图像处理设备、图像处理方法、程序、及存储介质的制作方法

专利名称：图像处理设备、图像处理方法、程序、及存储介质的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法、程序、及存储介 质，其用于执行将包括在运动图像数据中的帧作为静止图像数据提取 的处理。
背景技术：
近年来，由于家用数字摄影机变得广泛应用，消费者可以容易地
利用并享受各种运动图像数据，诸如高分辨率数字电视(HDTV)中 的高质量TV图片以及互联网上的许多运动图像内容。另外，便宜的 高图像质量打印机得到广泛应用。在这种情况下，在视频市场，存在 容易地将运动图像数据中的一个场景作为以高图像质量的静止图像打 印的需求。
常规上，运动图像数据的场景可以作为静止图像打印。关于这一 点，日本专利申请特开No. 2005-229237讨论了这样一种方法，其中当 使用数字视频摄影机拍摄运动图像数据时，将打印标记添加到由用户 从组成运动图像数据的多个图像帧中任意指定的图像帧，从而用户随 后可以容易地选择并打印附加了打印标记的帧。
在日本专利申请特开No. 2005-229237讨论的方法中，当选择要 被提供标记的帧时，检测到在连续帧中的图像变化度已经达到了预定 的水平，从而可以根据检测结果将标记添加到所需的帧。
此外，日本专利申请特开No. 2005-197910讨论了这样一种方法， 其中在拍摄时通过摄影机装置检测摄影机抖动度，并且与每帧相关联 地记录指示所检测到的摄影机抖动度的信息，从而可以根据关于摄影 机抖动的信息识别并提取几乎不受摄影机抖动影响的帧。
但是，在拍摄运动图像时，当镜头执行变焦并且拍摄对象运动时，
会频繁执行对对象的聚焦调整。因此，当将运动图像数据中特定的场 景作为静止图像数据来提取并打印时，如果所选帧的图像是在聚焦的 过程中被拍摄的，则会打印出散焦的图像。此外，用户可能选择由于 对象运动而导致的模糊的图像。
如上所述，可以通过使用之前与每帧相关联所记录的信息自动选 择几乎不受摄影机抖动影响的帧，该信息指示拍摄期间的摄影机抖动 度。但是，并不一定对于所有所需的运动图像数据记录这种信息。此 外，这种常规方法不能用于从没有用来记录指示摄影机抖动度的信息 的功能的装置所拍摄的运动图像数据中提取静止图像数据。
此外，摄影机抖动不会在聚焦时一直发生。因此，仅靠拍摄时指 示摄影机抖动度的信息识别在聚焦操作期间拍摄的帧是非常困难或者 不可能的。另外，该常规方法不能用于在拍摄期间由于对象运动导致 图像模糊的情况。
因此，在使用常规方法的情况下，用户需要执行复杂的操作。即， 用户必须紧密地逐帧检查运动图像数据，以便在视觉上检验和搜索每 帧的图像内容。当从长时间播放的运动图像数据中选择打印帧，或者 必须选择并打印许多帧时，手动检验图像内容效率极低。

发明内容
本发明旨在提供一种图像处理设备、图像处理方法、程序、以及 存储介质，其用于容易地从运动图像数据中所包括的多个帧中选择具 有最高锐度图像的帧。
根据本发明的一方面，提供一种图像处理设备，该图像处理设备
包括存储单元，其被配置为存储至少包括第一帧和第二帧的运动图像 数据；检测单元，其被配置为检测存储在该存储单元中的运动图像数 据的帧中包括的图像的清晰度；比较单元，其被配置为根据该检测单 元检测到的清晰度，比较包括在第 一 帧中的第 一 图像和包括在第二帧 中的第二图像；选择单元，其被配置为根据该比较单元的比较结果， 从第一帧和第二帧中选择具有更清晰的图像的帧；以及提取单元，其 被配置为提取该选择单元选择的帧作为静止图像数据。
本发明的进一步的特征和方面将参考附图通过对以下示例性实 施例的详细说明变得显而易见。


附图并入和构成说明书的一部分，其与说明书一起图示了本发明 的示例性实施例、特征、和各方面，用于说明本发明的原理。
图1示出了根据本发明第 一示例性实施例的示例多功能外围设备
(MFP)系统的框图。
图2示出了根据本发明第一示例性实施例的示例操作单元的外型结构。
图3示出了根据本发明第一示例性实施例的操作单元上显示的示 例拷贝基本画面。
图4示出了根据本发明第一示例性实施例的操作单元上显示的示 例文件列表画面。
图5示出了根据本发明第一示例性实施例的存储在硬盘驱动器 (HDD)上的运动图像数据的示例结构。
图6示出了根据本发明第 一 示例性实施例的时间代码信息。
图7示出了根据本发明第一示例性实施例的操作单元上显示的示 例帧指定画面。
图8示出了根据本发明第一示例性实施例的操作单元上显示的示 例帧确定画面。
图9是示出了根据本发明第一示例性实施例的用于从包括在运动 图像数据中的多个帧中识别具有最聚焦(most focused )图像的帧的一 系列示例操作的流程图。
图10示出了根据本发明第二示例性实施例的示例数字摄影机系 统的框图。
图11是示出了根据本发明第二示例性实施例的用于发送包括被 用户指定用于打印的帧的运动图像数据的 一 系列示例操作的流程图。
图12是示出了根据本发明笫二示例性实施例的用于接收和打印 包括被用户指定用于打印的帧的运动图像数据的一 系列示例操作的流 程图。
图13是示出了根据本发明第三示例性实施例的用于考虑运动图 像数据中帧图像示出的场景改变而比较聚焦状态的一 系列示例操作的 流程图。
图14是示出了根据本发明第四示例性实施例的用于考虑用户对 对象的指定而比较聚焦状态的 一 系列示例操作的流程图。
图15示出了根据本发明第四示例性实施例的操作单元上显示的 示例对象指定画面。
图16示出了根据本发明第五示例性实施例的操作单元上显示的 示例区域指定画面。
具体实施例方式
现在将在此处参考附图详细说明本发明的各示例性实施例、特 征、及各方面。应该注意，这些实施例中阐述的部件的相对布置、数 值表达式、及数值并不旨在限制本发明的范围，除非另外特别规定。
第一示例性实施例
现在将要在下面说明本发明的第一示例性实施例。图l示出了根 据本发明第 一示例性实施例的用作图像处理设备的多功能外围设备 (MFP) 100系统的4匡图。
参考图1，控制单元110与图像输入装置和图像输出装置(诸如 扫描仪130和打印机140)相连。控制单元110控制图像信息的输入 和输出。控制单元110与局域网(LAN )190和公共交换电话网(PSTN ) (公共线路)相连，并且控制包括运动图像数据或静止图像数据的图像 信息以及装置信息的输入和输出。
中央处理单元(CPU) lll控制MFP100的操作。CPU 111根据 存储在随机存取存储器(RAM)112中的程序进行操作。RAM 112还是
用于暂时存储图像数据的图像存储器。只读存储器(ROM)113是存储 系统引导程序的引导ROM。
硬盘驱动器(HDD)114存储系统软件、图像数据、以及用于控制 MFP 100的操作的程序。CPU 111读取存储在HDD 114中的程序并 将该读取的程序载入RAM 112，以控制MFP 100的操作。
操作单元接口 (I/F) 115是操作单元150和控制单元110之间的 接口。操作单元1/F115输出将被显示在操作单元150的画面上的图像 数据。当用户通过操作单元150输入信息时，操作单元I/F115将该输 入的信息发送至CPU 111。
网络I/F 116与LAN l卯相连并控制各种信息的输入和输出。调 制解调器117与PSTN相连并控制图像信息的输入和输出。
当再现存储在HDD 114中的运动图像数据和音频数据时，音频 输出单元118将音频信息输出至扬声器160。无线LAN I/F 119执行 无线通信诸如红外线通信，以便在MFP100和诸如便携电话、笔记本 型个人计算机(PC )和数字摄影机之类的便携式终端180之间交换运 动图像数据和静止图像数据。MFP 100通过无线LAN I/F 119接收运 动图像数据和静止图像数据，并将接收到的运动图像数据和静止图像 数据存储在下文说明的HDD 114中的用户存储箱(user box)中。
存储器120如同HDD 114—样，存储运动图像数据和静止图像 数据。存储器120可以是可拆卸的外部存储装置。
图像总线I/F 121通过图像总线控制图像数据的高速输入和输 出。光栅图像处理器(RIP )单元123把通过LAN 190和网络I/F 116 从主机170接收到的页面描述语言(PDL)代码光栅化为位像。
扫描仪图像处理单元125对扫描仪130从原稿读取的图像数据执 行图像校正。打印机图像处理单元126对将要输出给打印机140的图 像数据执行图像校正。
图像转换单元124对存储在RAM 112中的图像数据执行图像转 换。更具体地说，图像转换单元124对图像执行旋转处理和分辨率转 换。图像转换单元124将二进制图像数据转换为多值图像数据，并且
将多值图像数据转换为二进制图像数据。
图2示出了 MFP 100的操作单元150的示例性外形结构。参考 图2，液晶操作面板单元200是包括片状(sheet-like)触摸面板单元的液 晶显示(LCD)装置。液晶操作面板单元200显示用于执行各种设定 的操作画面，并且在该操作画面上显示由用户输入的设定信息。
液晶操作面板单元200再现并显示存储在HDD 114中的运动图 像数据，并显示存储在HDD114中的静止图像数据的预览图像。当用 户通过触摸面板输入指令时，液晶操作面板单元200检测到用户触摸 过的部分的位置信息。然后液晶操作面板单元200通过操作单元I/F 115将用户指令的内容传输给CPU 111。
启动键201是使用户能够生成用于启动由扫描仪130执行的读取 操作和由打印机140执行的打印操作的指令的硬键。绿色和红色发光 二极管(LED )被嵌入启动键201中。当MFP 100处于可操作状态时 绿色LED点亮。当MFP 100处于由错误引起的不可操作状态时红色 LED点亮。停止键202是使用户能够生成用于停止操作的指令的硬键。
硬键203包括数字键区、复位键、以及用户模式键。数字键区使 用户能够输入诸如拷贝数量的数值。复位键使用户能够对所有执行的 设定进行复位。用户模式键使用户能够转入用户模式来执行各种装置 设定。
图3示出了液晶操作面板单元200上显示的操作画面的例子。图 3示出的操作画面是当MFP IOO被接通电源时作为默认画面显示的基 本拷贝画面。MFP100包括四种模式，即拷贝模式、发送模式、存储 箱模式、和扫描模式，其分别被拷贝按钮301、发送按钮302、存储箱 按钮303、以及扫描按钮304激活。操作画面还包括缩放按钮305、修 整(finishing)按钮306、双面按钮307、纸张选择按钮308、文本/ 照片按钮309及颜色深度水平选择按钮310,
当MFP IOO处于拷贝模式时，MFP 100使用扫描仪130读取并 输入原稿的图像，并使用打印机140执行拷贝操作来打印出原稿。当 MFP IOO处于发送模式时，MFP IOO通过电子邮件经由LAN 190或因特网将经由扫描仪130输入的图像数据或预先存储在HDD 114中的 图像数据发送至发送目的地。
当MFP 100处于存储箱模式时，MFP 100处理(编辑、打印、 或传输)存储在存储箱中的各种数据。此处，"存储箱，，指HDD 114 上的被分配给每个用户的用户存储箱(存储区域)。
当MFP 100处于扫描模式时，MFP IO(H吏用扫描仪130读取和 输入原稿的图像，将读取的(输入的)图像数据存储在存储箱中，或 者通过LAN 190将存储的图像数据发送至主机PC 170。
当用户通过模式按钮301到304生成模式转换指令时，MFP 100 在上述模式中切换。在图3中，选择了拷贝模式。在该状态下，用户 执行各种设定。例如，用户执行用于将打印目标图像数据放大和缩小 的设定、排纸方法的选择、关于单面打印还是双面打印图像数据的选 择、纸张尺寸的选择、文本打印和照片打印的指定、及浓度的指定。
当用户选择图3示出的存储箱模式按钮303时，液晶操作面板单 元200显示用户存储箱列表画面(未示出)，其中分配给各用户的用 户存储箱及其各自的属性信息被显示为列表。当用户从显示在用户存 储箱列表画面上的用户存储箱列表中选择任何一个用户存储箱时，液 晶操作面板单元200显示如图4所示的文件列表画面。
图4示出了用于显示通过用户存储箱列表画面选择的存储在用户 存储箱中的文件的属性信息的文件列表画面的例子。文件名显示区域 401显示每个文件的名称。文件类型显示区域402显示指示每个文件 的类型的信息。
HDD II4可以存储运动图像数据(电影)和音频数据(声音)以 及静止图像数据(图像)。存储日期和时间显示区域403显示指示每 个文件存储入存储箱的日期和时间的信息。
当用户在任何一个显示的文件被选择的状态下按下按钮411到 413中任何一个时，启动对存储在用户存储箱中的文件的所需处理。 除非至少一个文件被选择，否则用户无法选择按钮411到413。并且 还提供"关闭"按钮415。
在选择文件时，用户触摸触摸面板中显示所需的文件的名称的部 分。当一个文件被选择时，显示所选文件的属性信息的部分的背景变 成不同的颜色来指示该文件已被选择。
在图4所示的例子中，名为"Birthday Party"的运动图像数据文 件被选择。这里可以被选择的文件数不限于一个，而且用户可以在同 一时间选择多个文件。当多个文件被同时选择时，显示每个所选文件 的属性信息的相应各部分的背景变成不同的颜色，从而指示该文件已 被选择《
当用户在文件已被选择的状态下选择显示按钮411时，用户可以 观看并检验该所选文件的内容。更具体的说，在用户选择了静止图像 数据文件的情况下，液晶操作面板单元200显示预览图像。
在用户选择音频数据文件的情况下，MFP 100从扬声器160输出 该音频数据。在用户选择运动图像数据文件的情况下，MFP100再现 并显示该运动图像数据，并从扬声器160输出音频数据。当用户选择 了多个文件时，MFP 100以选择的顺序连续显示或再现所选文件。
当用户在任何文件被选择的状态下按下打印按钮412时，MFP 100用打印机140打印该所选文件。在用户选择了运动图像数据文件 的情况下，MFP 100从包括在该所选运动图《象数据文件中的多个帧中 选择具有要被打印的图像的帧，并打印所选帧。在下文中详细说明打 印处理。
因为不能对音频数据执行打印处理，所以当用户选择了音频数据 文件时MFP 100显示警告消息。
当用户在任何文件被选择的状态下选择发送按钮413时，MFP 100将所选文件作为电子邮件的附件发送到指定的发送目的地。MFP 100不仅可以发送静止图像数据文件，还可以发送运动图像数据文件 和音频数据文件。在用户选择了多个文件的情况下，MFP100将多个 文件附加到一封电子邮件上，以便将所选文件通过电子邮件发送到指 定的发送目的地。
当用户在任何文件被选择的状态下按下打印按钮412时，MFP
100使用打印机140打印所选文件。此处，当用户选择了静止图像文 件时，MFP100根据通过打印条件设定画面(未示出)输入的打印条 件执行打印处理。
另一方面，当用户选择了运动图像数据文件时，MFP100从包括
然后提取所选帧中的图像作为静止图像数据,、然后打印该提取的静止 图像。此处，关于具有打印目标图像的帧的选择，根据第一示例性实 施例的MFP 100具有通过将用户指定的帧的图像与位于和该指定图 像邻近的另一帧进行比较而自动选择锐度最高的图像的功能。
图5示出了包括多个帧的运动图像数据的示例性结构。参考图5， 关于名为"Birthday Party.avi"(".avi"指示文件标识符)的运动图像数 据文件，三十帧在一秒钟内被一个接一个地再现(即，帧速率为30 帧每秒(fps))。因此，名为"Birthday Party.avi"的运动图像数据文 件的一秒钟内包括三十帧。
根据每帧被再现的时间将时间代码信息添加到构成运动图像数 据的每帧中。图6详细示出了时间代码信息的例子。
参考图6，时间代码信息包括四部分，即，从左到右"小时，，部分 601，"分钟"部分602，"秒钟"部分603,和"帧编号"部分604。"帧编 号"部分604指示在特定的一秒钟中的帧中从最顶部的帧开始的每帧 的编号。在30fps的运动图像数据的情况下，范围从"1"到"30，，的特定 数值被输入到"帧编号"部分604。
例如，在精确的一百二十分钟的运动图像数据的情况下，将时间 代码信息"(OO: 00: 01: 01)"添加到第一帧而将时间代码信息"(02: 00: 00: 30 )"添加到最后一帧。
如图5所示，名为"Birthday Party.avi，，的运动图像数据文件包括 帧502，其包括的时间代码信息501为"(01: 35: 27: 17)，，。在第 一示例性实施例中，描述用户指定帧502为作为静止图像数据要被提 取和打印的帧的情况作为例子。
回到图4,当用户在名为"Birthday Party.avi，，的运动图像数据文
件已被选择的状态下选择打印按钮412时，显示图7所示的帧指定画 面。参考图7，运动图像数据显示区域700显示该运动图像数据包括 的每帧的图像。
时间代码信息显示区域711显示与该运动图像数据显示区域700 所显示的帧对应的时间代码信息。搜索条(seek bar) 712指示在运动 图像数据显示区域700中显示的帧在全部运动图像数据中的相对位 置。
用户可以通过选择按钮713中的任何按钮来指令再现、停止、前 进、倒退、和逐帧步进，从而搜索他想要打印的帧的图像。为选择要 被作为静止图像数据提取和打印的帧，在所需的帧在运动图像数据显 示区域700中显示时的状态下，用户暂停运动图像数据的再现，并按 下打印启动按钮714和自动选择按钮715中的一个。
打印启动按钮714和自动选择按钮715如下使用。打印启动按钮 714使用户能够打印指定帧，而不执行任何选择处理。自动选择按钮 715使用户能够通过自动选择将用户指定的图像和用户指定的图像邻 近的图像的清晰度相比较而具有最高锐度的图像的帧来执行打印。
即，当用户在具有时间代码"01: 35: 27: 17，，的帧502被显示在 运动图像数据显示区域700中的状态下按下自动选择按钮715时，将 在帧502前0.5秒和后0.5秒中的帧与帧502作比较。
更具体地，MFP IOO在具有时间代码"OI: 35: 27: 02，，到"01: 35: 28: 02"的帧中自动选择具有最高锐度图像的帧。用于比较的时间 长度(在本例中，"0.5秒，，)可以由用户在用户模式等中任意设定。
在第 一示例性实施例中，通过检测图像的聚焦状态来确定图像的 清晰度，并且将最聚焦的图像确定为锐度最高的图像。可以使用公知 的方法作为用于检测图像聚焦状态的方法。
例如，在日本专利申请特开No.2003-262909讨论的方法中，MFP IOO可以检测对象边缘部的状态，以基于所检测的边缘的锐度、长度、 和方向确定聚焦状态。
此外，MFP 100可以使用在日本专利申请特开No.2005-148860
讨论的方法根据每个图像的亮度信息检测图像的聚焦状态。也可以采 用任何与上述方法不同的方法来确定图像的聚焦状态。另外，只要可 以检测图像的清晰度，也可以采用任何与确定聚焦状态的方法不同的 方法。
当从帧502之前15帧和之后15帧的图像当中识别出具有最聚焦 (锐度最高)的图像的帧时，显示图8所示的帧确定画面。在第一示 例性实施例中，在使用上述方法识别出具有锐度最高(最聚焦)的图 像的帧之后，将在该识别出的帧邻近的预定数量的帧的连续图像作为 选择候选显示在液晶操作面板单元200上。
即，即使一幅图像已经被识别为最聚焦的图像，被识别的图像可 能具有用户不想要的布局或者对象的眼睛可能在该图像中闭合。在这 种情况下，用户可能并不想打印该图像。为了处理这种问题，在本示 例性实施例中，显示与具有被确定为最聚焦的图像的帧邻近的其他帧 的图像，作为除最聚焦的图像外的选择候选。
因此，用户可以检验自动选择的图像的内容并选择最合适的帧。
图8示出了帧确定画面，其中显示了被确定为最聚焦的帧的图像 以及该帧之前两帧和之后两帧的图像。
参考图8，显示区域801显示被确定为最聚焦的图像。显示区域 802到805显示在具有最聚焦图像的帧的前两帧和后两帧中所包括的 图像，作为选择候选。
当用户从在帧确定画面上被显示为缩略图的帧的图像中选择了 所需的图像，并按下打印启动按钮714时，从运动图像数据中选择的 帧被提取作为静止图像数据。然后，根据提取的静止图像数据生成打 印图像数据。然后，MFP100用打印机140打印图像数据。
但是，MFP100也可以打印被确定为最聚焦的图像，而不显示允 许用户检验图像的内容的选择候选。
图9是精确示出了用于从包括在运动图像数据中的多个帧中识别 具有最聚焦图像的帧的一系列操作的流程图，该操作允许用户选择具 有最聚焦图像的帧。图9中的流程图所示的该一系列操作根据存储在
HDD 114中的程序由控制单元110的CPU 111执行。
参考图9，在步骤S901中，CPU lll检测用户是否已经按下了
打印按钮412。如果在步骤S901中检测到用户已经按下了打印按钮412 (步骤S901中的是)，CPU111前进至步骤S902。
另一方面，如果在步骤S901中检测到用户按下了与打印按钮412
不同的其他按钮(步骤S卯1中的否)，则CPU lll执行与已被按下
的按钮相应的处理。
在步骤S902中，CPU lll检测是否已经通过图4中所示的文件
列表画面选择了多个文件。如杲在步骤S902中检测到只有一个文件通
过图4中所示的文件列表画面被选择(步骤902中的否)，则CPU 111
前进至步骤S903。在步骤S903中，CPU 111检测^皮选择的文件是什
么类型。
如果在步骤S903中检测到运动图像数据文件被选择，则CPU 111 前进至步骤S905中。如果在步骤S903中检测到静止图像数据文件已 经4皮选择，则CPU 111前进至步骤S914。
如果在步骤S902中检测到已经通过图4所示的文件列表画面选 择了多个文件(步骤S902中的是)，或者如果在步骤S903中检测到 音频数据文件已被选择，则CPU 111前进至步骤S卯4。在步骤S904 中，CPU111显示警告，然后CPU111返回至步骤S901。
在步骤S905中，CPU Ul根据用户通过按钮713给出的指令显 示所选的运动图像数据。用户可以使用按钮713对运动图像数据的显 示执行再现、停止、暂停、前进、倒退、或者逐帧步进。在步骤S906 中，CPU 111检测用户是否已按下打印启动按钮714。
如果在步骤S906中检测到用户已经按下打印启动按钮714 (步 骤S906中的是)，则CPU 111前进至步骤S907。在步骤S907中， CPU 111提取在运动图像数据显示区域700中显示的图像作为静止图 像数据。
在另一方面，如果在步骤S906中检测到用户没有按下打印启动 按钮714 (步骤S906中的否)，则CPU 111前进至步骤S908。在步
骤S908中，CPU111检测用户是否按下了自动选择按钮715。如果在 步骤S908中检测到用户已经按下了自动选择按钮715(步骤S908中的 是)，贝'J CPU 111前进至步骤S910。在步骤S910中，CPU 111检测与 在运动图像数据显示区域700中显示的图像对应的帧之前15帧和之后 15帧的聚焦状态。
此外，CPU 111从被CPU 111互相比较过的三十帧中识别具有 最聚焦图像的帧。在步骤S911中，CPU111在液晶操作面板单元200
帧中的图、像作为选择候选。' '、 '
在步骤S912中，CPU lll检测用户是否在选择了任何显示作为 选择候选的图像之后按下了打印启动按钮714。如果检测到用户已经 按下了打印启动按钮714 (步骤S912中的是)，则CPU lll前进至 步骤S913。在步骤S913中，CPU lll提取所选图像作为静止图像数 据。
在步骤S914中，CPU 111根据用户的打印指令通过打印机140 打印被选择作为打印图像数据的静止图像数据。
如果在步骤S908中检测到用户没有按下自动选择按钮715 (步 骤S908中的否)，则CPU 111前进至步骤S909。在步骤S909中， CPU111检测用户是否按下了"完成"按钮716。如果在步骤S909中检 测到用户按下了"完成"按钮716 (步骤S909中的是)，则CPU 111 结束打印处理。
另一方面，如果在步骤S909中检测到用户没有按下"完成，，按钮 716 (步骤S卯9中的否)，则CPU 111返回至步骤S905以继续对运 动图像数据的显示进行再现、停止、前进、倒退和逐帧步进的操作， 并且等待直到用户按下打印启动按钮714、自动选择按钮715、和"完 成"按钮716中任何一个。
如上所述，根据第一示例性实施例，MFP IOO检测用户指定的帧 的图像以及和指定帧邻近的帧的图像的聚焦状态，并且根据检测结果 比较图像的聚焦状态，来选择具有最聚焦图像的帧。因此，用户不需
要执行复杂的操作来检索具有最聚焦图像的帧，由此改善用户的方便 性。
另外，连同具有最聚焦图像的帧一起，与该帧邻近的帧的图像被 显示作为选择候选，这使用户能够选择打印目标图像。因此，用户不 仅能够检验被检测为最聚焦的图像，还可以检验在该最聚焦的图像之 前和之后拍摄到的图像，从而进一步改善用户的方便性。
第二示例性实施例
现在将在下文描述本发明第二示例性实施例。在第一示例性实施
例中，用户从存储在MFP 100的HDD 114中的运动图像数据中包括 的多个帧中指定帧，并且MFP 100用该指定帧作为参考帧检测图像的
聚焦状态o
在第二示例性实施例中，用户操作便携式终端从存储在便携式终
端中的运动图像数据中包括的多个帧中指定帧。MFP100接收用于识 别指定帧的信息和存储在便携式终端中的运动图像数据，并使用指定 帧作为参考帧来检测聚焦状态。然后MFP 100提取并打印具有最聚焦 图像的帧作为静止图像数据。
在第二示例性实施例中，使用数字摄影机作为便携式终端180的 示例。图10示出了便携式终端系统180的示意性结构。控制单元1010 与操作单元1050和摄影机单元1060相连，并控制各种信息的输入和 输出。
CPU 1011控制便携式终端180的操作。CPU 1011根据存储在 RAM 1012中的程序进行操作。RAM 1012还用作暂时存储图像数据 的图像存储器。
ROM 1015是存储系统引导程序的引导ROM。存储器1016存储 系统软件、图像数据、以及用于控制便携式终端180操作的程序。 CPU1011读取存储在存储器1016中的程序并将读取的程序栽入RAM 1012来控制便携式终端180的操作。
操作单元I/F 1013是操作单元1050和控制单元1010之间的接 口。操作单元I/F 1013输出将要显示在操作单元1050画面上的图像 数据。当用户通过操作单元1050输入信息时，操作单元I/F 1013将 输入的信息发送至CPU 1011。
摄影机单元1060包括图像拍摄功能。通过摄影机单元I/F 1014， 将摄影机单元1060拍摄的静止图像数据或运动图像数据输入至控制 单元IOIO。无线LAN I/F 1017执行无线通信诸如红外线通信，从而 将运动图像数据和静止图像数据发送至MFP 100。
图ll是示出了由便携式终端180执行的一系列操作的流程图， 其用于将由摄影机单元1060拍摄的运动图像数据发送至MFP 100， 其帧由用户指定。图11中的流程图示出的该一系列操作的控制由控制 单元1010的CPU 1011根据存储在存储器1016中的程序来执行。
参考图11，在步骤S1101中，CPU 1011检测用户是否选择了用 于打印运动图像数据的模式。如果在步骤SllOl中检测到用户已选择 了用于打印运动图像数据的模式(步骤SllOl中的是)，则CPU 1011 前进至步骤S1102。另一方面，如果在步骤SllOl中检测到用户没有 选择用于打印运动图像数据的模式(步骤SllOl中的否)，则CPU 1011 根据来自用户的指令执行处理。
在步骤S1102中，CPU 1011根据来自用户的指令显示所选的运 动图像数据。此处，用户可以对运动图像数据的显示进行再现、停止、 暂停、前进、倒退、或者逐帧步进的操作。在步骤S1103中，CPU 1011 检测用户是否发出了用于打印运动图像数据的指令。
如果在步骤S1103中检测到用户已发出了用于打印运动图像数 据的指令(步骤S1103中的是)，则CPU1011前进至步骤S1104。在 步骤S1104中，CPU 1011将打印指定标记添加到与在操作单元1050 上显示的图像对应的帧中。
如果在步骤S1103中检测到用户没有发出用于打印运动图像数 据的指令(步骤S1103中的否)，或者在CPU 1011将打印指定标记 添加到与在操作单元1050上显示的图像对应的帧中之后，则CPU 1011前进至步骤S1105。在步骤S1105中，CPU 1011检测用户是否
已发出了终止运动图像数据打印的指令。如果在步骤S1105中检测出 用户没有发出终止运动图像数据打印的指令(步骤S1105中的否)， 则CPU 1011返回到步骤S1102。
另一方面，如果在步骤S1105中检测出用户已发出了终止运动图 像数据打印的指令(步骤S1105中的是)，则CPU1011前进至步骤 S1106.在步骤S1106中，CPU 1011发送包括具有打印指定标记的帧 的运动图像数据，然后结束处理。
图12是示出了由MFP IOO执行的用于提取和打印从便携式终端 180接收到的运动图像数据中所包括的多个帧中的任何帧的一系列操 作的流程图。图12中的流程图示出的该一系列操作由控制单元110 的CPU 111根据存储在HDD 114中的程序执行。
参考图12，在步骤S1201中，CPU lll检测MFP IOO是否已从 便携式终端180接收到运动图像数据。如果在步骤S1201中检测到 MFP 100已从便携式终端180接收到运动图像数据(步骤S1201中的 是)，则CPU 111前进至步骤S1202。在步骤1202中，CPU 111从 接收到的运动图像数据中所包括的多个帧中提取一帧。在步骤S1203 中，CPU 111检测打印指定标记是否被添加到所提取的帧中。
如果在步骤S1203中检测到打印指定标记被添加到所提取的帧 中(步骤S1203中的是)，则CPU 111前进至步骤S1204。在步骤S1204 中，CPU lll检测所提取的帧的图像和存在于该所提取的帧周围的帧 的图像的聚焦状态，并针对其聚焦状态比较这些图像。在步骤S1205 中，CPU 111从比较过的图像中提取具有最聚焦图像的帧作为静止图 像数据。
上述用于基于图像的聚焦状态比较帧中的图像，并选择具有最聚 焦图像的帧的处理与第 一示例性实施例中说明的处理是相似的。
在步骤S1206中，CPU111用打印机140打印在步骤S1205中提 取的静止图像数据。在步骤S1207中，CPU111检测是否接收到的运 动图像数据中的所有帧都已被处理。如果在步骤S1207中检测到未处 理的帧依旧存在(步骤S1207中的否)，则CPU 111返回至步骤S1202。另一方面，如果在步骤S1207中检测到接收到的运动图像数据中 的所有帧都已被处理(步骤S1207中的是)，则CPU111结束处理。
如上所述，在第二示例性实施例中，当MFP IOO从用户已在其 中指定了打印帧的外部终端(数字摄影机)接收运动图像数据时，MFP 100可以自动选择具有最聚焦的图像的帧并且打印所述被选择的帧。
用户可以在数字摄影机中指定是否要由MFP IOO执行自动选择 处理是有益的。此外，外部终端不限于数字摄影机，并且可以是不具 有摄影机功能的笔记本PC。
另外，数字摄影机可以执行用于检测帧中的图像的聚焦状态以及 比较该图像的处理是有益的。在这种情况下，便携式终端180的CPU 1011仅将被检测为最聚焦的图像发送到MFP 100。
第三示例性实施例
现在，将在下面说明第三示例性实施例。在第一示例性实施例中， MFP 100的CPU 111检测被用户指定的帧之前0.5秒和之后0.5秒内 的帧中的图像的聚焦状态。
在第三示例性实施例中，MFP 100进一步包括用于检测运动图l象 数据所包括的帧的图像中的场景变化的功能。利用该功能，MFP 100 从示出与被用户指定的图像同样场景的图像中选择最聚焦的图像。
在第一示例性实施例中，将存在于距离参考帧预定长度时间内的 帧中的图像相互比较。在这种情况下，可以选择与用户指定的图像完 全不同的图像作为最聚焦图像。在这种情况下，尽管所选图像在被比 较的图像中是最聚焦的，但是所选图像并不是用户想要打印的图像。 在该情况下打印所选图像是无用的。
在第三示例性实施例中，示出与用户所指定的图像相同场景的图 像被针对聚焦状态而进行比较。这样，MFP100可以自动从和用户想 要用于打印的图像相似的图像中选择最聚焦的图像。
一种公知的方法被用作检测运动图像数据中包括的帧的图像中 的场景变化的方法。即，如日本专利申请特开No.2004-361988中所讨 论的，提取每帧中图像的特征量，并且连续帧中的每个提取的特征量 彼此互相比较。
可以通过识别从图像中的特定对象(例如人脸)提取的特征来检 测场景的改变。检测运动图像数据场景改变的方法不限于以上所述， 也可以使用其他方法。
图13是示出了从具有示出和被用户指定的图像相同场景的图像 的帧中自动选择具有最聚焦图像的帧的一系列操作的流程图。图13 中的流程图示出的处理与图9中的流程图中示出的步骤S910到S913 中的处理相对应。
图13中的流程图示出的该一系列操作由控制单元110的CPU 111根据存储在HDD 114中的程序来执行。
参考图13，在步骤S1301中，通过上述方法，CPU lll检测运 动图像数据中包括的帧的图像中发生场景改变的位置。在步骤S1302 中，CPU 111提取具有示出和在步骤S卯9中由用户指定的帧的图像 相同场景的图像的帧。
在步骤S1303中，CPU 111检测在步骤S1302中提取的帧的图像 的聚焦状态，并针对聚焦状态比较提取的图像。在步骤S1304中，CPU 111从被比较的帧中选择具有最聚焦图像的帧。在步骤S1305中，CPU lll提取所选帧作为静止图像数据，然后前进至步骤S914。
如上所述，在第三示,性实施例中，CPU111根据运动图像数据 中包括的帧的图像的场景改变，提取将要被比较的帧。因此，能够从 具有用户想要的图像的帧中选择具有最聚焦图像的帧。
第四示例性实施例
现在，将在下文说明本发明第四示例性实施例。在第一示例性实 施例中，CPU 111对用户指定的帧之前0.5秒和之后0.5秒之内的帧的 图像针对其聚焦状态执行检测。
在第四示例性实施例中，CPU 111从用户接收对帧的指定以及对 由用户指定的帧的图像所包括的对象中的对象的指定，以便从包括指
23定对象的图像中选择最聚焦的图像。
在第一示例性实施例中，存在于距参考帧预定长度时间内的帧的 图像被彼此相互比较。在这种情况下，与用户指定的图像完全不同的 图像可能被选为最聚焦图像。在这种情况下，尽管所选图像在所比较 的图像中是最聚焦的，但是所选图像并不是用户想要打印的图像。因 此，打印该情况下的所选图像是无用的。
在第四示例性实施例中，示出由用户指定的对象的图像针对其聚
焦状态被进行比较。因此，MFP100可以从与用户想要用于打印的图 像相似的图像中自动选择最聚焦的图像。
当用户选择运动图像数据中包括的帧中的图像示出的对象时，示 出所选对象的帧可以被如下提取。
即，通过根据从由用户指定的图像中提取的特征量，将图像划分 成区域以识别每个对象。然后，CPU111从用户接收对对象的指定， 该指定是通过显示了每个被识别对象的对象选择画面而执行的。
图14是示出了用于从具有示出由用户指定的对象的图像的帧中 自动选择具有最聚焦图像的帧的一系列操作的流程图。图14中的流程 图示出的处理与图9中的流程图示出的步骤S910到步骤S913中的处 理相对应。
图13中的流程图示出的该一系列操作由控制单元110的CPU 111根据存储在HDD 114中的程序执行。
参考图14，在步骤S1401中，CPU 111使用上述方法将由用户 指定的帧的图像划分成各个区域，以便识别每个对象。在步骤S1402 中，CPU111通过图15所示的画面，接收用户对对象的指定。图15 示出了根据本发明第四示例性实施例的显示在操作单元上的示例对象 指定画面。上述画面可以通过"完成"按钮1501来关闭。
在步骤S1403中，CPU111提取具有示出在步骤S1402中由用户 指定的对象的图像的帧。
在步骤S1404中，CPU111检测在步骤S1403中提取的帧中每一 个图像的聚焦状态，并针对聚焦状态比较提取的图像。在步骤S1405中，CPU 111从被比较的帧中选择具有最聚焦图像的帧。在步骤S1406 中，CPU 111提取该所选帧作为静止图像数据，然后前进至步骤S914。
如上所述，在第四示例性实施例中，CPU 111提取具有示出被 用户指定的对象的图像的帧。
从而，能够从具有用户想要的图像的帧中选择具有最聚焦图像的帧。
第五示例性实施例
现在，将在下文说明本发明第五示例性实施例。在第一到第四示 例性实施例中，CPUlll对所有要被比较的帧的图像的聚焦状态执行 检测，并根据检测的聚焦状态比较所述图像。
在这种情况下，如果要比较大量的帧，大量处理负栽被施加给 CPU111，因此要花费长时间来完成处理。在第五示例性实施例中，如 下所述，CPU 111在两个不同的阶段执行用于检测聚焦状态和针对其 聚焦状态比较图像的处理。
作为处理的第一阶段，CPUlll从将要被比较的帧中以预定的时 间间隔提取一帧。然后，CPUlll检测被提取的帧的图像的聚焦状态， 并针对聚焦状态比较帧中的图像来选择具有最聚焦的图像的帧。
在处理的第二阶段中，CPUlll检测与在上述笫一阶段中所选择 的帧距离预定时间长度内的帧的图像的聚焦状态，并针对聚焦状态比 较图像来选择具有最聚焦图像的帧。然后，CPU 111提取所选帧作为 静止图像数据并打印该提取的静止图像数据。
如上所述，在第五示例性实施例中，无需对所有要被比较的帧的 图像执行聚焦状态的检测以及针对聚焦状态对所述图像的比较。因此， 可以降低施加给CPU 111的负载。
第六示例性实施例
现在将在下文说明第六示例性实施例。在第一示例性实施例中，
CPU lll检测运动图像数据中包括的帧中的每个图像的全部部分的聚
焦状态。
在第六示例性实施例中，用户可以在每帧的图像的区域中指定要 被针对聚焦状态而进行检测的区域。
用户预先通过图16示出的区域指定画面，在MFP100的用户模 式中，指定要针对聚焦状态而被检测的区域。在图16示出的例子中， 用户从四个图像区域中选择一个区域。
在用户指定一个区域之后，当根据上述流程图示出的处理来执行 针对聚焦状态的检测时，CPU111对于由用户指定的区域，执行针对 聚焦状态的检测。上述画面可通过"完成，，按钮1601关闭。
用于将图像划分成区域的方法不限于图16的例子中所示的方法。 用户可以指定任意大小的区域。另外，不必须在用户模式中执行用于 指定区域的方法。即，用户可以在每次打印运动图像数据时执行对图 像区域的指定。
上述的第一到第六示例性实施例中说明的每一个功能可以作为 单独独立的功能实现或者作为其組合来实现。
其他示例性实施例
本发明例如可以被实现为系统、设备、方法、程序、或者存储介 质(记录介质)。更具体地，本发明可以被应用于包括多个装置的系 统，或者可以被应用于包括一个装置的设备。
本发明可以通过直接或远程提供软件程序来实现，该软件程序将 上述示例性实施例中的功能(在示例性实施例的情况下，该程序对应 于图中的流程图)应用于系统或设备，并由该系统或设备的计算机读 取并执行所提供的程序代码，
因此，被安装到用于实现本发明的功能处理的计算机中的程序 代码本身实现本发明。即，本发明也包括实现本发明功能处理的计算 机程序。
因此，该程序可被配置为任何形式，诸如对象代码、被解释器执 行的程序、以及提供给OS的脚本数据。
作为用于提供这种程序代码的记录介质，例如可以使用软盘、硬
盘、光盘、磁光盘(MO)、紧凑盘只读存储器(CD-ROM)、可记 录紧凑盘(CD-R)、可重写紧凑盘(CD-RW)、磁带、非易失性存储 卡、ROM、和多功能数字盘(DVD ) (DVD只读存储器(DVD-ROM ) 和DVD可记录(DVD誦R)) o
也可以通过使用客户端计算机的浏览器连接到因特网上的网站， 并且从网站将程序下载至记录介质诸如硬盘中来提供上述程序。另外， 也可以通过从网站将包括自动安装功能的压缩文件下栽到记录介质诸 如硬盘上来提供上述程序。也可以通过将程序代码划分到多个文件中 并从不同的网站下栽每个被划分的文件来实现上述各实施例的功能。 即，用于允许多个用户下栽用于实现功能处理的程序文件的WWW服
务器构成本发明。
另夕卜，也可以通过分发存储执行加密后的根据本发明的程序的存
储介质诸如CD-ROM等来提供上述程序。然后，对于符合规定条件
息，从而可以通过计算机使用密钥信息安装并执行加密的程序代码。 另夕卜，根据上述实施例的功能不仅可以通过执行由计算机读取的
程序代码来实现，也可以通过基于程序代码给出的指令由OS(操作系
统)等执行其一部分或全部实际处理的处理来实现。
此外，在本发明实施例的另一方面，在从记录介质读取出的程序
代码被写入插入到计算机中的功能扩展板上设置的存储器或者与计算
机相连的功能扩展单元设置的存储器中之后，功能扩展板或功能扩展
单元上设置的CPU等执行部分或全部该处理来实现上述实施例的功能。
尽管已经参考示例性实施例说明了本发明，应该理解，本发明不 限于所述公开的示例性实施例。对以下权利要求的范围应进行最大范 围的解释，从而包含所有的变型、等同结构和功能。
权利要求
1. 一种图像处理设备，包括存储单元，其被配置为存储至少包括第一帧和第二帧的运动图像数据；检测单元，其被配置为检测存储在该存储单元中的运动图像数据的帧中包括的图像的清晰度；比较单元，其被配置为根据该检测单元检测到的清晰度，比较包括在第一帧中的第一图像和包括在第二帧中的第二图像；选择单元，其被配置为根据该比较单元的比较结果，从第一帧和第二帧中选择具有更清晰的图像的帧；和提取单元，其被配置为提取该选择单元选择的帧作为静止图像数据。
2. 根据权利要求1所述的图像处理设备，其中检测单元识别图像 的聚焦状态，并将更聚焦的图像识别为更清晰的图像。
3. 根据权利要求2所述的图像处理设备，其中检测单元检测图 像中包括的对象的边界部分的边缘，并根据所检测的边缘的状态识别 图像的聚焦状态。
4. 根据权利要求l所述的图像处理设备，进一步包括打印单元， 其被配置为打印由提取单元提取的静止图像数据。
5. 根据权利要求l所述的图像处理设备，进一步包括帧指定单元，其被配置为从运动图像数据中包括的多个帧中指定 一个帧作为第一帧；和第一识别单元，其被配置为识别存在于与被帧指定单元指定的帧 距离预定时间长度内的帧作为第二帧。
6. 根据权利要求l所述的图像处理设备，进一步包括帧指定单元，其被配置为从运动图像数据中包括的多个帧中指定 一个帧作为第一帧；和笫二识别单元，其被配置为识别一个帧作为第二帧，该帧包括与被帧指定单元指定的帧中所包括的图像相似的图像。
7. 根据权利要求l所述的图像处理设备，进一步包括 帧指定单元，其被配置为从运动图像数据中包括的多个帧中指定一个帧作为第一帧；对象指定单元，其被配置为从被帧指定单元指定的帧中的图像中 包括的多个对象中指定对象；和第三识别单元，其被配置为识别一个帧作为第二帧，该帧包括具 有与对象指定单元指定的对象相同的对象的图像。
8. 根据权利要求1所述的图像处理设备，进一步包括区域指定 单元，其被配置为指定要由检测单元进行检测的图像的区域，其中检 测单元检测指定区域中的图像的清晰度。
9. 根据权利要求1所述的图像处理设备，进一步包括显示单 元，其被配置为显示至少一帧作为将被提取单元提取的帧的候选，所 述至少一帧与选择单元选择的帧不同，并存在于与所选的帧距离预定 时间长度内。
10. —种图像处理设备中的方法，该方法包括 存储至少包括第一帧和第二帧的运动图像数据；检测所存储的运动图像数据的帧中包括的图像的清晰度； 根据检测的清晰度，比较包括在笫一帧中的第一图像和包括在第 二帧中的第二图像；根据比较结果，从笫一帧和第二帧中选^%具有更清晰的图像的 帧；和提取通过选择而选择的帧作为静止图像数据。
11. 根据权利要求10所述的方法，进一步包括通过识别图像的 聚焦状态将更聚焦的图像识别为更清晰的图像。
12. 根据权利要求11所述的方法，进一步包括检测图像中包括 的对象的边界部分的边缘，以根据所检测的边缘的状态识别图像的聚 焦状态。
13. 根据权利要求10所述的方法，进一步包括打印提取的静止图像数据。
14. 根据权利要求10所述的方法，进一步包括 从运动图像数据中包括的多个帧中指定一个帧作为第一帧；和 识别存在于与被指定的帧距离预定时间长度内的帧作为第二帧。
15. 根据权利要求10所述的方法，进一步包括 从运动图像数据中包括的多个帧中指定一个帧作为第一帧；和 识别一个帧作为第二帧，该帧包括与被指定的帧中所包括的图像相似的图像。
16. 根据权利要求10所述的方法，进一步包括 从运动图像数据中包括的多个帧中指定一个帧作为第一帧； 从被指定的帧的图像中包括的多个对象中指定对象；和 识别一个帧作为第二帧，该帧包括具有与指定的对象相同的对象的图像。
17. 根据权利要求10所述的方法，进一步包括 指定要进行检测的图像的区域，和 检测图像的指定区域的清晰度。
18. 根据权利要求10所述的方法，进一步包括显示至少一帧作 为将被提取的帧的候选，所述帧与所选的帧不同，并存在于与所选的 帧距离预定时间长度内。
19. 一种计算机可执行程序，使计算机执行下述处理 存储至少包括第一帧和第二帧的运动图像数据；检测所存储的运动图像数据的帧中包括的图像的清晰度； 才跟据检测的清晰度，比较包括在第 一帧中的第 一 图像和包括在第 二帧中的第二图像；根据比较结果，从第一帧和第二帧中选择具有更清晰的图像的 帧；和提取通过选择而选择的帧作为静止图像数据。
20. —种计算机可读存储介质，用来存储使计算机执行以下步骤 的程序，所述步骤包括存储至少包括第一帧和第二帧的运动图像数据； 检测所存储的运动图像数据的帧中包括的图像的清晰度； 根据检测的清晰度，比较包括在第一帧中的第一图像和包括在第 二帧中的第二图像；根据比较结果，从第一帧和第二帧中选择具有更清晰的图像的 帧；和提取通过选择而选择的帧作为静止图像数据。
全文摘要
本发明涉及一种图像处理设备、图像处理方法、程序、及存储介质，其中至少一个示例性实施例旨在提供一种图像处理设备，其被配置为存储包括多个连续存在的帧的运动图像数据，其中该多个连续存在的帧包括至少第一帧和第二帧。图像处理设备检测所存储的运动图像数据的帧中包括的图像的清晰度。此外，图像处理设备根据检测的清晰度将第一帧中包括的第一图像和第二帧中包括的第二图像进行比较。而且，图像处理设备根据比较结果从第一和第二帧中选择具有更清晰图像的帧。另外，图像处理设备提取所选的帧作为静止图像数据，并打印该提取的静止图像数据。
文档编号H04N1/00GK101207670SQ20071013701
公开日2008年6月25日 申请日期2007年7月19日 优先权日2006年12月19日
发明者金窪幸男 申请人:佳能株式会社