图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备，该图像处理设备用于产生这样的图像，在该图像 中布局有根据运动图像文件所提取出的多个帧图像。
背景技术：
传统地，提出了能够打印表示由多个帧图像构造的运动图像的打印设备。例如，打 印设备从运动图像提取指定数目的帧图像、将所提取的帧图像布局在单页的布置中以及打 印出所布局的帧图像。特开日本专利申请公布No. 2001-78127公开了一种打印设备，该打 印设备每隔通过使构成运动图像的帧图像的总数目除以要布局在单页上的帧图像数目所 确定的间隔，从运动图像文件提取帧图像。利用该构造，等间隔地按时间顺序提取帧图像， 使得用户很容易领会运动图像的流。在上述打印设备中，从运动图像所提取出的一些帧图像可能彼此相似。然而，在有 些情况下，布局相似的帧图像既不是有利的又不是有效的。例如，假定运动图像包含特定事 件的短场景。根据场景的转换，构成短场景的帧图像根本不能从运动图像中提取出并且不 能被布局以打印。如果是这种情况，那么用户难以识别出运动图像与什么有关。

发明内容
考虑到上述情况，本发明的目的是提供一种图像处理设备，该图像处理设备能够 产生使用户能够很容易识别出运动图像的流及实质的图像。本发明还提供一种便于用户对 运动图像的流及内容进行理解的图像处理方法。为了获得上述及其他目的，提供一种包括被构造成执行下述指令的处理器的图像 处理设备，所述指令使处理器提供包括设置单元、选择单元、布局图像产生单元的功能单 元。设置单元对由彼此相继按时间顺序排列的多个帧图像构造的运动图像中的多个提取目 标范围进行设置，每个提取目标范围由从构成运动图像的多个帧图像之中选择出来的并且 彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成使得 在提取目标范围之中不存在被共享的公共帧图像。选择单元从提取目标范围中的帧图像组 之中选择代表帧图像，该代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差 分在属于提取目标范围的各帧图像与另一代表帧图像的各差分之中是最大的，所述另一代 表帧图像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表 帧图像的所述提取目标范围的一个提取目标范围。布局图像产生单元产生布局图像，在该 布局图像中，按照表示代表帧图像之中的时间顺序关系的模式来布局被选的代表帧图像。根据另一方面，本发明提供一种图像处理方法，该图像处理方法包括对由彼此相 继按时间顺序排列的多个帧图像构造的运动图像中的多个提取目标范围进行设置，每个提 取目标范围由从构成了运动图像的多个帧图像之中选择出来的并且彼此相继按时间顺序 排列的一组帧图像所构造，并且将所述多个提取目标范围设置成在提取目标范围之中不不 存在被共享的公共帧图像；从提取目标范围中的帧图像组之中选择代表帧图像，该代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于提取目标范围的各帧图 像与另一代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标 范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一 个提取目标范围；以及产生布局图像，在该布局图像中，按照表示代表帧图像之中的时间顺 序关系的模式布局所选的代表帧图像。


在附图中图1是对包括CPU和内部存储器(RAM)的多功能设备的电构造进行说明的框图；图2A是用于说明如何从运动图像文件确定出基准帧图像的视图；图2B是用于说明如何在提取目标范围中选择代表帧图像的视图；图3A是用于从概念上说明RAM的输入图像信息存储区域的视图；图;3B是用于从概念上说明RAM的运动图像信息存储区的视图；图4A是用于从概念上说明RAM的基准帧图像信息存储区的视图；图4B是用于从概念上说明RAM的提取帧图像信息存储区的视图；图5A是用于从概念上说明布局多个帧图像的布局图像的视图；图5B是用于概念上说明RAM的帧差分信息存储区的视图；图6是多功能设备的CPU所执行的介质图像打印处理的流程图；图7是在图6的介质图像打印处理期间所执行的打印图像选择处理的流程图；图8是在图7的打印图像选择处理期间所执行的输出图像产生处理的流程图；图9是在图8的输出图像产生处理期间所执行的代表帧选择处理的流程图；以及图10是直方图产生处理的流程图。
具体实施例方式首先，参考图1对根据本发明实施例的多功能设备10 (以下简称为“MFD 10”)的
一般构造进行描述。MFD 10提供有包括打印机功能、扫描仪功能以及彩色复印机功能的各种功能。如 图1所示，MFD 10提供有通过信号线彼此互连的CPUll、R0M 12、内部存储器(RAM) 13、扫描 单元14、打印单元15、IXD单元16、输入单元17以及介质卡插槽18。CPU 11执行MFD 10的所有计算。ROM 12预存储有CPU 11执行的、以便实现随后 描述的处理(图6至9所示)的程序。RAM 13临时存储由CPU 11所执行的计算结果、输入 数据等等。随后将对RAM 13的细节进行描述。打印单元15打印向其发布了打印命令的图像数据。打印单元15能够利用青色、 洋红、黄色以及黑色这四色的墨粉或墨水来打印彩色图像。IXD单元16在小型彩色液晶显示器上显示图像(包括用于消息的字符串的图 像)。输入单元17具有用户能够按压的各种操作键并且根据所按压的键来输入数据。 更具体地说，输入单元17包括用于向上、向下、向左、向右移动指针的向上键、向下键、向左 键和向右键；以及用于接受选择的OK键(未示出所有键)。
介质卡插槽18接收插入到其中的诸如SD卡以及压缩快闪卡(便携式非易失性存 储介质)的介质卡。MFD 10还具有用于从在介质卡插槽18中插入的介质卡直接读取图像 文件并且打印由图像文件所表示的图像的直接打印功能。这里所讨论的图像文件包括表示静止图像的静止图像文件以及表示运动图像的 且由多个帧图像构造的运动图像文件。当要打印的图像文件是静止图像文件时，MFD 10 在单页上产生由静止图像文件所表示的静止图像。当要打印的图像文件是运动图像文件 时，MFD 10从构成由运动图像文件所表示的运动图像的多个帧图像提取指定数目的帧图像 (在本实施例中是九个)，并且产生且打印具有按时间顺序排列的顺序而布局在单页上的 提取帧图像的图像(称为"布局图像"；参见图5A)。更具体地说，如图2A所示，本实施例的MFD 10首先确定九个帧图像，其包括第一 图像(第一帧)、最后图像(最后帧)以及通过将运动图像文件中的帧的总数目分成八个 等间隔来平均分布在其之间的七个图像(七个帧)。如果无法将帧的总数目分成正好相 同量的八个划分，那么通过将帧的总数目分成八个近似等间隔来获得七个图像。将所提取 的九个帧图像称为基准帧图像REF(O)-REF(S)(用作基准点)。换句话说，在本实施例中选 择运动图像文件中的基本上等间隔地按时间顺序排列设置的九个帧图像作为基准帧图像 REF(0)-REF (8)。MFD 10进一步为九个基准帧图像REF(O)-REF(S)的每一个指定被称为“提取目 标范围ETR(O)-ETR(S)"的帧图像的范围。每个提取目标范围ETR(N)(其中，N = 0-8)包 括相应的基准帧图像REF(N)；以及与相应的基准帧图像REF(N)在按时间顺序排列上相连 续的多个连续帧图像(被称为"相邻帧图像")。确定提取目标范围，使得任何两个相邻提 取目标范围ETR(N-I)和ETR(N)彼此不共享任何公共帧图像。换句话说，任何两个相邻提 取目标范围彼此不重叠。应该注意的是，就第一提取目标范围ETR(O)而言，仅将按时间顺 序排列设置在基准帧图像REF(O)之后的并且与基准帧图像REF(O)相连续的那些帧图像选 择为相邻帧图像；对于最后提取目标范围ETR(S)而言，仅将按时间顺序排列设置在基准帧 图像REF(S)之前的并且与基准帧图像REF(S)相连续的那些帧图像选择为相邻帧图像；以 及对于其余的提取目标范围ETR(1)-ETR(7)而言，将按时间顺序排列设置在各个基准帧图 像(1)-REF(7)之前的并且与基准帧图像REF(1)-REF(7)相连续的以及按时间顺序排列设 置在各个基准帧图像(1)_REF(7)之后的并且与基准帧图像REF(1)-REF(7)相连续的那些 帧图像选择为相邻帧图像。从每个提取目标范围(N)(其中N = 0-8)中选择单个帧图像作为代表帧图像 REP(N)(其中N = 0-8)，然后实际上将该代表帧图像REP(N)布局在布局图像(参见图5A) 中。更具体地说，如图2B所示，MFD 10为除了第一提取目标范围ETR(O)之外的每个提取 目标范围ETR(N)计算与下述代表帧图像REP (N-I)的差分，所述代表帧图像REP (N-I)是已 从按时间顺序排列设置在紧接在当前所处理的提取目标范围ETR(N)之前的提取目标范围 ETR(N-I)中选择出来。将其差分在存在于提取目标范围ETR(N)中的所有帧图像之中最大 的帧图像确定为对象提取目标范围ETR(N)的代表帧图像REP(N)。换句话说，MFD 10选择提 取目标范围ETR(N)中的所有帧图像之中的具有与从提取目标范围ETR(N-I)所选择出来的 代表帧图像的最大差分的一个帧图像作为提取目标范围ETR(N)(其中N= 1-8)的代表帧 图像REP(N)。对于第一提取目标范围ETR(O)，因为不存在要比较的代表帧图像REP(N-I)，因此将提取目标范围ETR(O)(即第一帧图像)中的第一基准帧图像REF(O)确定为代表帧 图像 REP (0)。MFD 10在IXD单元16上显示预览屏幕(未显示)，这能够使用户从在介质卡上存 储的多个图像文件之中选择要打印的图像文件，并且打印由所选图像文件所表示的图像。接下来，参考图1和3A至5B来描述RAM 13的存储区。如图1所示，RAM 13提供有用于存储不同类型数据的各种存储区。该存储区包括 输入图像信息存储区31、运动图像信息存储区32、基准帧图像信息存储区33、代表帧图像 信息存储区34、帧差分信息存储区35、输出图像数据存储区36、预览图像数据存储区37、帧 图像数据存储区38、打印数据存储区39以及临时变量存储区40。输入图像信息存储区31用于存储与介质卡插槽18中插入的介质卡上存储的图像 文件有关的信息。更具体地说，如图3A所示，将输入图像信息存储区31分成输入图像ID 存储区51、输入图像文件名存储区52以及输入图像文件大小存储区53。输入图像ID存储区51用于存储介质卡上储存的图像文件的ID。基于在介质卡上 存储的图像文件的数目从0开始连续地分配ID(以下简称为〃输入图像ID")。按照从介 质卡读出文件这样的顺序，将输入图像ID分配给从介质卡读出的图像文件。输入图像文件名存储区52用于存储图像文件的文件名。具体地说，输入图像文件 名存储区52是256字节的区域，并且区域的每个字节所占的区域能够存储一个字符的数据 或者没有字符的数据。输入图像文件大小存储区53用于存储表示图像文件的文件大小的 数值(在该示例中，以千字节为单位的值)。运动图像信息存储区32用于临时存储所处理的运动图像文件的从介质卡所读取 的信息。具体地说，如图3B所示，运动图像信息存储区32提供有格式类型存储区61、编解 码器类型存储区62、水平大小存储区63、垂直大小存储区64以及总帧数目存储区65。格式类型存储区61存储所处理的运动图像文件的文件格式类型的数据。在本实 施例中，格式类型存储区61可以存储预先指定给三个文件格式之一的值0、1、2中的一个: 0用于AVI格式、1用于MOV格式以及2用于MPEG格式。编解码器类型存储区62存储所处理的运动图像文件的编解码器类型的数据。在 本实施例中，编解码器类型存储区62可以存储预先指定给三类编解码器之一的值0、1、2中 的一个0用于Motion JPEG编解码器、1用于MPEGl编解码器以及2用于DivX编解码器。水平大小存储区63存储表示构成所处理的运动图像文件(帧图像)的每个帧图 像中的水平方向上的像素数目的数字数据。垂直大小存储区64存储表示构成所处理的运动图像文件(帧图像)的每个帧图 像中的垂直方向上的像素数目的数字数据。总帧数目存储区65存储表示构成所处理的运动图像文件的总数目(帧数目)的 数字数据。基准帧图像信息存储区33用于存储与基准帧图像REF (0) -REF⑶有关的信息。具 体地说，如图4A所示，基准帧图像信息存储区33提供有基准帧信息控制号存储区71、基准 帧号存储区72、ETR起始帧号存储区73以及ETR结束帧号存储区74。基准帧信息控制号存储区71预存储用于对与九个基准帧图像REF (0) -REF (8)(控 制号(N)，其中N = 0-8)中的每一个有关的信息进行控制的数目0至8中的一个。
基准帧号存储区72用于存储下述数字数据，所述数字数据表示每个基准帧图像 REF(N)在运动图像文件内所处的位置，也就是说每个基准帧图像REF(N)的帧号，其中N = 0-8。向运动图像文件的第一帧分配帧号0。ETR起始帧号存储区73用于对每个控制号(N) ( S卩，每个提取目标范围ETR(N))存 储作为存在于提取目标范围ETR(N)中的帧图像的帧号之中最小的帧号(称为"ETR起始 帧号")。ETR结束帧号存储区74用于对每个控制号(N) ( S卩，每个提取目标范围ETR(N))存 储作为存在于提取目标范围中的帧图像的帧号之中最大的帧号(称为"ETR结束帧号")。代表帧图像信息存储区34用于存储与所有九个代表帧图像REP(O)-REP^)有关 的信息。具体地说，如图4B所示，代表帧图像信息存储区34提供有代表帧信息控制ID存 储区81以及代表帧号存储区82。代表帧信息控制ID存储区81预存储用于对与九个代表帧图像REP (0) -REP (8)中 的每一个有关的信息进行控制的数目0至8中的一个(控制号(N))。这些数目(0-8的控 制号(N))分别与预分配给图5A所示的布局图像中的各个布局位置的数目(0)-(8)相对应。代表帧号存储区82存储下述数字数据，该数字数据标识出代表帧图像 REP(O)-REP(S)在运动图像文件内所处的位置(即，代表帧图像REP(O)-REP(8)的帧号)。帧差分信息存储区35用于存储提取目标范围ETR(N)(第N提取目标范围)中的 帧图像与已从提取目标范围ETR(N-I)(与提取目标范围ETR(N)在按时间顺序排列上设置 成相邻的且在提取目标范围ETR(N)之前的第(N-I)提取目标范围或者"在前提取目标范 围ETR(N-I)")选择出来的代表帧图像REP (N-I)之间的差分。更具体地说，如图5B所示， 帧差分信息存储区35提供有可能的ETR帧数目存储区91、帧差分存储区92、相应的帧号存 储区93。可能的ETR帧数目存储区91用于存储表示在所处理的一个提取目标范围ETR(N) 中可能包括的多少帧图像的数字数据(称为"可能的ETR帧数目")。如随后所述的，基于 该可能的ETR帧数目来确定多少帧图像实际上包括在提取目标范围之内，但是其可以等于 或者不等于可能的ETR帧数目。帧差分存储区92用于临时存储提取目标范围ETR(N)中的帧图像与从在前提取目 标范围ETR(N-I)中选择出来的代表帧图像REP(N-I)(〃称为在前代表帧图像REP(N-I)“) 之间的差分的绝对值之和。相应的帧号存储区93用于临时存储下述数字数据，该数字数据表示帧图像被设 置在运动图像文件内的位置(帧号)，所述帧图像的与在前代表帧图像REP (N-I)的差分被 存储在帧差分存储区92中。输出图像数据存储区36用于临时存储输出图像数据(表示打印图像的已解码图 像数据)。对于运动图像文件而言，输出图像是在单页的相应布局位置处连续布局从运动图 像文件所提取出的九个代表帧图像REP(O)-REP(S)的布局图像(参见图5A)。对于静止图 像文件而言，输出图像是在单页上布局的由静止图像文件所表示的一个静止图像。预览图像数据存储区37用于临时存储通过将在输出图像数据存储区36中存储的 输出图像数据转换成(放大或缩小)预定预览图像大小所产生的预览图像。
帧图像数据存储区38用于临时存储从所处理的运动图像文件所提取出的帧图像 数据。根据运动图像文件的类型，以压缩状态且以运动图像文件所固有的格式(例如，JPEG 格式或MPEG格式)存储帧图像数据。打印数据存储区39用于临时存储对其执行打印处理以产生打印数据的中间处 理数据(栅格化数据)；以及所产生的打印数据(栅格化数据)。临时变量存储区40用于临时存储诸如预览ID计数器、代表帧计数器、基准帧计数 器、差分帧计数器以及差分计数器的计数器。如随后所描述的，在由CPU 11所执行的各种 处理期间使用这些计数器。接下来，参考图6至9，对MFD 10的CPU 11所执行的根据本实施例的处理进行详 细地描述。MFP 10的CPU 11执行图6所示的介质图像打印处理。介质图像打印处理包括打 印图像选择处理(图7)，在该打印图像选择处理期间执行输出图像产生处理(图8)。输出 图像产生处理进一步包括代表帧选择处理(图9)。在将存储图像文件的介质卡插入到介质卡插槽18中的同时，当用户对输入单元 17执行操作以选择图像打印模式时，CPU执行图6的介质图像打印处理。参考图6的流程图，对由CPU 11所执行的介质图像打印处理进行描述。在SlOl中，在介质图像打印处理的开始，CPU 11执行介质信息提取处理。具体地 说，CPU 11读取在介质卡中存储的每个图像文件的信息(文件名和文件大小)并且连续地 将所读取的信息与表示读取图像文件的顺序的输入图像ID相关联地存储在输入图像信息 存储区31的输入图像文件名存储区52和输入图像文件大小存储区53中。将从0开始的 输入图像ID分别存储在输入图像ID存储区51中。在S102中，CPU 11执行打印图像选择处理。在打印图像选择处理期间，CPU 11在 IXD单元16上显示至少一个预览图像，以能够使用户捕获在介质卡上存储的图像文件如何 看起来像是在实际打印时，并且提示用户以选择实际上应打印哪个图像文件。参考图7中的流程图，对S102的打印图像选择处理进行描述。在S201中，在打印图像选择处理的开始，CPU 11从在介质卡中存储的图像文件中 确定要在IXD单元16上显示的一个图像文件。更具体地说，向在临时变量存储区40中预 存储的预览ID计数器赋予初始值0。CPU 11将其输入图像ID (存储在输入图像ID存储区 51中)与预览ID计数器的值相对应的图像文件确定为将在LCD单元16上显示其预览图像 的目标图像文件。根据输入单元17上的向上、向下、向左、向右键的用户操作，能够将在LCD 单元16上所示出的预览图像切换到另一图像文件的另一预览图像，并且将按压OK键时显 示其预览图像的一个图像文件确定为要打印的目标图像文件。在S202中，CPU 11执行输出图像产生处理。在输出图像产生处理期间，CPU 11 产生在S201中所确定的图像文件的输出图像数据(已解码的打印图像数据)，并且将输出 图像数据存储在输出图像数据存储区36中。如果所选择的图像文件是运动图像文件，那么 输出图像数据表示图5A所示的布局图像数据。然而，如果所选择的图像文件是静止图像文 件，那么输出图像数据是单页上的由静止图像文件所表示的静止图像。参考图8中的流程图，对S202的输出图像产生处理进行描述。在S301中，在输出图像产生处理的开始，CPU 11读取(取回)在IXD单元16上显示其预览图像的目标图像文件的输入图像ID。更具体地说，CPU 11参考等于预览ID计 数器的当前值的输入图像ID并且读出输入图像ID。在S302中，CPU 11随后通过参考目标图像文件中的标头数据来确定是将在S301 中所确定的目标图像文件的类型分类为静止图像文件还是运动图像文件。具体地说，CPU 11参考与输入图像信息存储区31中的目标图像文件的输入图像ID相关联地存储在输入图 像文件名存储区52中的文件名。通过利用该文件名，CPU 11直接访问在介质卡上存储的 目标图像文件并且参考其中的标头数据。如果CPU 11在S302中确定出图像文件是运动图像文件，那么在S303中CPU 11 执行从运动图像文件提取运动图像参数的处理。在该处理中，CPU 11获取运动图像文件的 格式类型数据、编解码器类型数据、水平大小数据、垂直大小数据以及总帧数目数据。CPU 11将这些数据分别存储在运动图像信息存储区32的格式类型存储区61、编解码器类型存 储区62、水平大小存储区63、垂直大小存储区64以及总帧数目存储区65中(参见图3B)。 如果此时用于不同运动图像文件的数据已被存储在运动图像信息存储区32中，那么在存 储用于当前处理的运动图像文件的数据之前CPU 11首先删除现有数据(盖写现有数据)。在S304中，CPU 11执行代表帧选择处理。在代表帧选择处理期间，CPU 11从 运动图像文件中的帧图像之中选择九个代表帧图像REP(O)-REP^)。向九个代表帧图像 REP (0) -REP (8)分配从0开始至8的控制号(N)，并且将各个代表帧图像REP (0) -REP (8)的 帧号与控制号相关联地存储在代表帧图像信息存储区34的代表帧号存储区82中(参见图 4B)。随后参考图9，对提取帧选择处理的细节进行描述。CPU 11连续地执行(重复)S305-S309的处理，以将在S304中所选择的九个代表 帧图像REP(O)-REP(8)布局到布局图像上。具体地说，在第一次执行S305-S309的循环之前，向预存储在临时变量存储区40 中的代表帧计数器赋予初始值0。CPU 11对其控制号(N)与代表帧计数器的当前值(N) — 致的代表帧图像REP(N)连续地执行S305-S309的处理。当S309的处理结束(S309 否) 时，CPUll通过使代表帧计数器的值加一(1)而成为(N+1)并且返回到S305以对其余的代 表帧图像REP (N+1)的下一个执行S305-S309的处理。更具体地说，在S305中，CPU 11执行从运动图像文件提取其帧号与在代表帧号存 储区82中存储的代表帧图像的帧号相同的帧图像数据的处理。也就是说，CPU 11提取其 控制号(N)等于代表帧计数器的当前值(N)的代表帧图像REP(N)的帧图像数据。在S306中，CPU 11将在S305中所提取的帧图像数据(压缩状态)存储在帧图像 数据存储区38中。在S307中，CPU 11对在帧图像数据存储区38中存储的帧图像数据执行扩展(解 码)处理并且将该帧图像数据转换成其中像素计算是可以的格式(诸如将用于每个像素的 RGB值表示为从0到255的数值的图像数据)。在S308中，CPU 11将已解码的帧图像数据布局在其布局位置号与代表帧计数器 的当前值(N)相对应的布局位置处并且将其存储在输出图像数据存储区36中。在S309中，CPUll确定是否已将所有九个代表帧图像REP (0)-REP (8)(具有0_8 的控制号)布局在输出图像数据存储区36中。具体地说，当代表帧计数器到达8时，CPUll 确定已在输出图像数据存储区36中布局了所有代表帧图像。
当确定仍然保持要布局在输出图像数据存储区36中的代表帧图像(S309 否) 时，CPU 11使代表帧计数器加一(1)并且返回到S305，用于对下一代表帧图像的数据执行 S305-S309 的处理。当确定已将所有代表帧图像的数据布局在输出图像数据存储区36中时(S309 是)，CPU 11结束输出图像产生处理。此时，在输出图像数据存储区36中存储的图像数据 (艮口，布局图像)是用于运动图像文件的输出图像数据。另一方面，如果CPU 11在S302中确定目标图像文件是静止图像文件，那么在S310 中，CPU 11对静止图像文件执行扩展(解码)处理以将静止图像文件中的图像数据转换成 其中像素计算是可以的格式。在S311中，CPU 11将在S310中所扩展的图像数据存储在输出图像数据存储区36 中，并且随后结束当前输出图像产生处理。换句话说，对于静止图像文件而言，与运动图像 文件不一样，将单个静止图像布局在输出图像数据存储区36中。此时，在输出图像数据存 储区36中存储的图像数据(表示静止图像的像素数据)是用于静止图像文件的输出图像 数据。当输出图像产生处理完成时，CPUll行进到打印图像选择处理的S203(图7)。在S203中，CPUll利用众所周知的最近邻法将输出图像数据放大或缩小成预定大 小的预览图像(在本实施例中，160X 120像素的固定大小)，并且将所放大的/缩小的数据 (预览图像数据)存储在预览图像数据存储区37中。在S204中，CPU 11在输入单元17上显示由在预览图像数据存储区37中存储的 预览图像数据所表示的图像(预览图像)。在S205中，CPU 11根据用户对键的操作来接受来自输入单元17的输入。在S206 中，CPU 11确定所按压的键是OK键还是诸如向上键、向下键、向左键、或者向右键的另一 键。当所按压的键是除了 OK键之外的键时，CPUll行进到S207，在S207中，更新预览 ID计数器的值。更具体地说，当所按压的键是向下键或向右键时，在S207中，CPUll使预览ID计 数器加一(1)，以便将当前所显示的图像文件的预览图像切换到其输入图像ID比当前显示 其预览图像的图像文件的输入图像ID大一(1)的、图像文件的另一预览图像。另一方面， 如果按压了向上键或向左键，那么在S207中CPUll使预览ID计数器减一(1)以便将当前 显示的图像文件的预览图像切换到其输入图像ID比当前显示其预览图像的图像文件的输 入图像ID小一(1)的图像文件的另一预览图像。按照这种方式，将当前在IXD单元16上 显示的预览图像变成表示另一图像文件的另一预览图像。然后，CPU 11返回到S201。然而，如果作为上述加1或减1的结果而使预览ID计数器的值超过了 “在介质卡 上存储的图像文件的数目-1"，那么CPU 11保持预览ID计数器的值而无需执行任何计算。 此时，在IXD单元16上示出的预览图像不改变。在这里，CPU 11可以返返回到S205而不 是 S201。如果CPUll确定在S206中按压了 OK键，这意味着将当前在IXD单元16上显示的 预览图像选择为要打印的图像文件(打印目标)，那么CPU 11终止S102的打印图像选择处 理并且行进到介质图像打印处理S103(图6)。
在S103中，CPU 11执行图像打印处理，以打印用于在S102中所选择的图像文件 的输出图像。在图像打印处理中，CPUll逐行地将现在存储在输出图像数据存储区36中的 输出图像数据拷贝到打印数据存储区39、对所拷贝的输出图像数据执行颜色转换(从RGB 到CMYK)和二进制转换、并且将所转换的输出数据输出到打印单元15。然后，打印单元15 根据二进制数据执行打印。随后，CPU 11终止介质图像打印处理。接下来，参考图9中的流程图，对S304的代表帧选择处理进行描述。在该处理期 间，从目标运动图像文件中的帧图像之中选择九个代表帧图像，以实际地布局在由运动图 像文件所表示的运动图像的布局图像中。在S401中，在代表帧选择处理的开始，CPU 11计算目标运动图像文件中的每个提 取目标范围ETR(N)中应该包括多少个帧图像(可能的ETR帧数目)。在本实施例中，将可 能的ETR帧数目设置为等于1(基准帧图像的数目)与用于目标运动图像文件的FPS的值 (每秒帧数)的和。FPS表示在运动图像文件中每一秒重放多少个帧图像的数目。换句话说， 将可能的ETR帧数目设置成使得存在于每个提取目标范围(即，属于提取目标范围ETR(N) 的除了基准帧图像REF(N)之外的帧图像的数目)中的相邻帧图像的数目等于每一秒所重 放的帧图像的数目。在S402中，CPU将在S401中所计算的可能的ETR帧数目(S卩，FPS+1)存储在帧差 分信息存储区35的可能的ETR帧数目存储区91中(参见图5B，例如其中将31的值存储为 可能的ETR帧数目)。在S403中，CPU 11计算九个基准帧图像REF (0) -REF (8)的帧号(称为‘‘基准帧 号")。在本实施例中，选择九个基准帧图像REF(O)-REF(S)以包括第一帧图像、最后帧 图像以及平均地分布在其之间的七个帧图像，所述七个帧图像是通过将运动图像文件中的 帧的总数目划分成八个等间隔而得到的。更具体地说，运动图像文件中的每隔一定数目的 帧图像设置的帧图像被选择作为基准帧图像REF (0)-REF (8)，该数目等于通过使“帧图像的 总数目-1”除以要提取的帧图像的数目-1而获得的值(在本实施例中，9-1 = 8)。在通过 使“帧图像的总数目-1”除以“要提取的帧图像的数目-1”而获得的值不是整数的情况下， 将接近导出值的整数(例如，通过舍入小数点之后的导出值而获得的整数)可以设定为用 于确定基准帧图像的数目。在S404中，CPU 11将在S403中所计算的基准帧号存储在基准帧图像信息存储区 33的基准帧号存储区72中(图4A)。具体地说，与基准帧信息控制号存储区71的控制号 (N) (N = 0-8)相对应地连续存储基准帧号(图4A)，使得将较小基准帧号存储在分配有较 小控制号(N)的基准帧号存储区72的子区域中。在S405中，CPU 11通过执行以下过程[1]和[2]得到用于九个基准帧图像 REF(O)-REF(S)每一个的ETR起始帧号(在相应的提取目标范围中的最小帧号)以及ETR 结束帧号(在相应的提取目标范围中的最大帧号)。[1]计算ETR起始帧号。首先，基于基准帧号(N)，CPUll计算在提取目标范围ETR(N)中的基准帧图像 REF(N)之前按时间顺序排列地存在多少个相邻帧图像(称为"在前相邻帧数目")。更具 体地说，值A或者值B无论哪个在删减小数点后时均更小，CPU 11确定以下的值A或者值B 作为提取目标范围ETR(N)的在前相邻帧数目。
(值A)=(可能的ETR帧数目-IV2(值B)=(当前(第N)基准帧号-在前(第(N-I)基准帧号-1)/2值B是为了提取目标范围ETR(N)不具有与在前提取目标范围ETR(N-I)的任何重 叠所设置的极限值。换句话说，虽然值A (每0.5秒的帧图像数目)通常小于值B，但是存在 值A超过值B的情况；例如，当由运动图像文件所表示的整个运动图像的重放时间的长度极 其短时。因此，将值A和值B中的较小一个确定为在前相邻帧数目以便避免在前提取目标 范围ETR(N-I)与提取目标范围ETR(N)之间任何复制。该规则还应用于接下来所描述的" 随后相邻帧数目"。然后，CPUll通过使在前相邻帧数目减去基准帧号来计算ETR起始帧号(即ETR起 始帧号=基准帧号-在前相邻帧数目)。[2]计算ETR结束帧号首先，基于基准帧号(N)，CPU 11计算在提取目标范围ETR(N)中的基准帧图像 REF(N)之后按时间顺序排列地存在多少个相邻帧图像(称为"随后相邻帧数目")。具体 地说，值C和值D无论哪个在删减小数点后时更小，将以下值C或者以下值D确定为提取目 标范围ETR(N)的随后相邻帧数目。(值C)=(可能的ETR帧数目-1)/2(值D)=(下一个(第N+i)基准帧号-当前(第(N)基准帧号-1)/2与值B相似，值D是为了提取目标范围ETR(N)不具有与下一提取目标范围 ETR(N+1)的任何重叠所设置的极限值。然后，CPUll通过使随后相邻帧数目加上基准帧号来计算ETR结束帧号(即，ETR 结束帧号=基准帧号+随后相邻帧数目)。应该注意的是，对于第一基准帧图像REF(O)而言，CPU 11仅计算ETR结束帧号， 同时将ETR起始帧号设置为等于相应的基准帧号(第一帧图像的帧号，即0)。类似地，对于 最后基准帧图像REF(S)而言，CPU 11仅计算ETR起始帧号，同时将ETR结束帧号设置为等 于相应的基准帧号(最后帧图像的帧号)。在S406中，CPU 11将九个基准帧图像REF(0)-REF(8)中的每一个的、计算的ETR 起始帧号和ETR结束帧号分别存储在基准帧图像信息存储区33的ETR起始帧号存储区73 和ETR结束帧号存储区74中(参见图4A)。在S407中，CPUll将与基准帧信息控制号存储区71中的控制号(N)O相对应地存 储在基准帧图像信息存储区33的基准帧号存储区72中的第一基准帧号(第一帧图像的帧 号)被存储在与代表帧信息控制ID存储区81中的控制号(N)O相对应的代表帧图像信息存 储区34的代表帧号存储区82中。按照这种方式，将第一基准帧图像REF(O)(第一帧图像) 设置为首先从所有代表帧图像REP (O)-REP (8)之中选择出来的第一代表帧图像REP(O)。因 此，很容易确定第一代表帧图像REP(O)。然后，对具有1到8的控制号(N)且存储在基准帧图像信息存储区33中的其余基 准帧图像REF(I)-REF(8)连续地执行从S408至S417的处理。更具体地说，向预存储在临时变量存储区40中的基准帧计数器赋予初始值1。对 其控制号(N)与基准帧计数器的值相一致的基准帧图像REF(N)连续地执行S408-S417的 处理。当CPU 11从S417返回到S408时使基准帧计数器的值加一(1)。
在S408中，CPUll确定下述的一个帧图像(称为〃差分计算帧〃)，所述一个帧图 像与已从紧接在当前处理的提取目标范围ETR(N)之前的在前提取目标范围ETR(N-I)中所 选择出来的在前代表帧图像REP (N-I)的差分要被计算。在前代表帧图像REP (N-I)具有等 于代表帧图像信息存储区；34中的"当前基准帧计数器(N)-I"的值。在初始值为0的情况 下，差分帧计数器被预存储在临时变量存储区40中。CPU 11通过使差分帧计数器的当前值 加上ETR起始帧号来确定差分计算帧的帧号。在S409中，CPU 11将预存储在临时变量存储区40中的差分计数器初始化为零 (0)。从S410至S412，CPU 11计算差分计算帧与在前代表帧图像REP (N_l)之间的差分 的总和。更具体地说，CPUll对这两个帧图像数据执行扩展(解码)处理，并且计算就R、G、 B而言的所有坐标的差分的绝对值(差分绝对值)，并且对所有像素的差分绝对值求和以获 得两个帧图像之间的总差分。具体地说，CPU 11对一个像素计算差分绝对值(RGB像素值) 的和，使所计算的差分绝对值加上差分计数器的当前值(S411)，并且重复处理S410和S411 以直至累加在差分计算帧之中包含的所有像素的、在R、G、B方面的差分绝对值(S412)。在S413中，CPU 11确定差分计数器的值(在前代表帧图像REP(N_l)与差分计算 帧之间的差分)是否大于当前存储在帧图像差分信息存储区35的帧差分存储区92中的 值。应该注意的是，当开始代表帧选择处理时，将0存储在帧差分存储区92中，作为初始值。当CPUll确定差分计数器的值大于在帧差分存储区92中存储的值时(S413 是)， 那么在S414中，CPUll通过盖写现有数据，将差分计数器的值和差分计算帧的帧号分别存 储在帧差分存储区92和相应的帧号存储区93中，并且行进到S415。当差分计数器的值小于或等于在帧差分存储区92中存储的值时(S413 否)，CPU 11 跳到 S415。在S415中，CPU 11确定是否已对在当前处理的提取目标范围ETR(N)中包含的所 有帧图像计算了差分。具体地说，当ETR起始帧号与差分帧计数器的值(即，差分计算帧的 帧号)的和到达ETR结束帧号时，在S415中CPU 11确定为“是”。当确定仍然存在还没有计算其与在前代表帧图像REP(N-I)的差分的任何帧图像 时(S415:否)，CPU 11使差分帧计数器加一(1)，并且返回到S408。当已对当前提取目标范围ETR(N)中的所有帧图像计算了差分时6415:是)，在 S416中，CPU 11将帧图像差分信息存储区35的相应的帧号存储区93的值存储在代表帧图 像信息存储区；34中的其相应控制号(N)与基准帧计数器(N)的当前值相对应的代表帧号 存储区82中。也就是说，选择当前提取目标范围ETR(N)中的所有帧图像之中的、其与在前 代表帧图像REP(N-I)的差分最大的帧图像，作为当前处理的提取目标范围ETR(N)的代表 帧图像REP (N)，并且将所选择的帧图像的帧号(代表帧图像REP (N)的帧号)存储在代表帧 号存储区82中。在S417中，CPU 11对具有基准帧图像信息存储区33中的1_8的控制号(N)的所 有基准帧图像REF(I)-REF(S)来确定是否已从相应的提取目标范围ETR(N)中选择了代表 帧图像REP (N)。当仍然存在还没有从相应的提取目标范围ETR(N)为其选择出相应的代表帧图 像REP(N)的任何基准帧图像时(S417 否)，CPU 11使基准帧计数器加一(1)并且返回到S408。此时，还对帧差分存储区92进行初始化以具有值0。另一方面，当已对基准帧图像信息存储区33中的具有1-8的控制号(N)的所有基 准帧图像REF (I)-REF (8)选择了代表帧图像REP (1)-REP (8)时(S417:是)，CPU 11终止代 表帧选择处理并且行进到输出图像产生处理的S305(图8)以基于所选的九个代表帧图像 REP (0) -REP (8)产生输出图像。如上所述，相对于构成了运动图像的所有帧图像，本实施例的MFDlO指定九个提 取目标范围ETR(0)-ETR(8)，使得提取目标范围彼此不重叠(S401-S406)；从每个提取目标 范围REP(N)选择一个代表帧图像REP (N) (S407-S417)；以及产生按时间顺序在单页上布局 了所有所选代表帧图像REP(O)-REP^)的布局图像。更具体地说，MFD 10通过将运动图像文件中的帧的总数目划分成八个等间隔而 将第一帧图像、最后帧图像以及均勻分布在其之间的七个帧图像标识为九个基准帧图像 REF (O)-REF (8) (S401-S404)；以及确定九个提取目标范围ETR(O)-ETR (8)，使得每个基准 帧图像REF(N)被包括在九个提取目标范围ETR(N)中的一个中(S405、S406)。MFD 10首先从提取目标范围ETR(O)中选择第一帧作为第一代表帧图像REP (0)， 而不考虑第一帧与任何其他代表帧图像REP(I)-REP(S)如何不同(S407)。另一方面，MFD 10从提取目标范围ETR(I)-ETR(S)的每一个选择具有与如下的在前代表帧图像REP(N-I) 最大差分的一个帧图像(S408-S417)，所述在前代表帧图像REP(N-I)已从按时间顺序排列 设置在提取目标范围ETR(N)之前的在前提取目标范围ETR(N-I)中选择出来。利用该构造，将九个提取目标范围ETR(O)-ETR(S)设置为使得基本上等间隔地按 时间顺序排列设置在运动图像文件中的基准帧图像REF(O)-REF(S)中的每一个被包含在 提取目标范围ETR(O)-ETR(S)的每一个中。从提取目标范围ETR(O)-ETR(S)选择要被布局 在布局图像上的代表帧图像REP(O)-REP(S)。因此，代表帧图像能够在时间方面均勻地从整 个运动图像文件中选择出来。此外，选择每个提取目标范围ETR(N)中的帧图像之中的、与 在前代表帧图像REP(N-I)的差分最大的帧图像，作为代表帧图像REP (N)。因此，代表帧图 像还能够在内容方面均勻地从整个运动图像文件中选择出来。其结果是，当查看布局图像 时，用户能够很容易明白运动图像在时间上如何流动以及运动图像的内容与什么有关。具体地，本实施例的MFD 10从下述相应的提取目标范围ETR(N)确定每个代表帧 图像REP(N)，所述相应的提取目标范围ETR(N)由包括有几乎按时间顺序排列设置在提取 目标范围ETR(N)的中心的一个基准帧图像的多个帧图像来构造。因此，能够选择按时间顺 序排列在几乎彼此相等的间隔上的代表帧图像REP(N)。每个代表帧图像REP(N)未必正好按时间顺序排列设置在相应的提取目标范围 ETR(N)的中心处，但是按时间顺序排列设置在靠近相应的提取目标范围ETR(N)的中心。此外，在本实施例的MFD 10中，在一个提取目标范围ETR(N)中包括的帧图像的数 目(可能的ETR帧数目)随着运动图像在每个时间单位具有更大数目的要被重放的帧图 像而增大(FPS)。如果将可能的ETR帧数目设置为特定的固定数目，那么与提取目标范围 ETR(N)相对应的时间段对于不同FPS值所限定的各个运动图像而可能不同。与此相反，利 用本实施例的构造，能够为各个运动图像的提取目标范围ETR(N)设置固定时间段，即使运 动图像的FPS值彼此不同。虽然参考其实施例对本发明进行了详细地描述，但是对于本领域普通技术人员来说，在不脱离本发明的精神的情况下，可对其中做出各种变化和修改。例如，在本实施例中所有像素位置的像素值中的差分绝对值之和用作表示帧图像 之间的变化量的差分。然而，可以采用能够反映出两个帧图像不同到什么程度的任何值，作 为表示两个帧图像之间的变化量的"差分"。此外，代替两个帧图像中的像素值之间的差分绝对值之和，两个帧图像之间的运 动矢量的大小是通过众所周知的光流法来计算的并且用于确定帧图像之间的差分。此外，因为首先选择的第一代表帧图像REP(O)不能与任何其他代表帧图像相比 较，因此在本实施例中选择第一基准帧图像REF(O)作为代表帧图像REP(O) (S407)。然而， 本发明并不局限于该构造。例如，可以从第一提取目标范围ETR(O)中选择第一代表帧图像REP(O)，使得对在
提取目标范围ETR(O)中包括的每个帧图像来计算像素值的离差(dispersion)；以及将提
取目标范围ETR(O)中的所有帧图像之中的具有最大像素值离差的帧图像确定为第一代表
帧图像REP(O)。例如，能够从以下表达式(1)来计算每个帧图像中的像素值的离差。 2 p-l
YTim-ifDfs=J^____……表达式⑴
3χ ρ在该表达式(1)中，Dfs表示离差(采样方差)，p表示帧图像中的像素总数目，i 表示像素值，并且E (i)表示帧图像中的像素值的平均值(算术平均值)。j表示色平面(R、 G或B平面)。在这里，在分母中像素数目ρ乘以3，因为对R、G以及B平面的每一个，计算 平均像素值与每个像素值之间的差分。按照这种方式，就首先选择的代表帧图像REP(O)而言，可以选择在第一提取目标 范围ETR(O)中包括的帧图像之中的其像素值的离差最大的帧图像。该构造便于防止不适 宜捕获运动图像的内容的这样的帧图像(诸如，太黑图像或者猛烈抖动的图像)被选择为 第一提取目标范围ETR(O)的代表帧图像REP(O)。仍可替选地，可以通过以下步骤选择第一代表帧图像REP(O)首先计算存在于第 一提取目标范围ETR(O)中的每个帧图像中的像素值的直方图分布；然后，选择第一提取目 标范围ETR(O)中的所有帧图像之中的具有最大直方图分布范围的一个帧图像。具体地说，图10示出用于产生一个帧图像中的像素值的直方图的处理的流程图 (直方图产生处理)。在开始直方图产生处理时，在S501中，CPU 11首先创建多个强度计数 器，该强度计数器的总数目等于表示就每个色平面而言每个像素值可能拥有的强度的数值 的总数目。例如，如果用每一个色平面的每个像素的八位来表示一个帧图像，那么每个像素 值能够可能拥有0-255的数字值中的一个，作为该像素值的强度。在这种情况下，准备255 个强度计数器。向这255个强度计数器连续地分配从0开始至225的计数器号。赋予每个 强度计数器初始值为0。在S502中，CPUll使其计数器号与当前像素所拥有的数值(强度) 相对应的一个强度计数器的值加一(1)。在S503中，CPUll确定是否已对就R、G以及B平 面而言的当前像素的强度进行了计数。如果还留有还未对其进行计数当前像素的强度的任 何色平面(S503 否)，那么CPU 11返回到S502。当所有R、G、B平面已经进行了用于每个 像素的强度(S503:是)时，CPUll然后在S504中确定是否已对所有像素的强度进行了计 数。如果仍没有对所有像素的强度进行计数(S504 否)，那么CPU 11返回到S502并且重复S502-S504的处理。当已对一个帧图像中的所有像素的强度进行了计数时，CPUll终止 用于对象帧图像的直方图产生处理。按照这种方式，根据一个帧图像中的像素值，通过使强 度计数器的值加1，能够对一个帧图像产生直方图信息。随后，如下计算一个帧图像中的像素值的直方图分布的范围(直方图分布的范围)=(其值大于零的强度计数器的计数器号之中的最大计数 器号)_(其值大于零的强度计数器的计数器号之中的最小计数器号)对存在于第一提取目标范围ETR(O)中的所有帧图像执行产生像素值的直方图分 布并且计算直方图分布的范围的上述处理。然后，从第一提取目标范围ETR(O)中的所有帧 图像之中，选择具有最大直方图分布范围的一个帧图像作为代表帧图像REP(O)。利用该构造，可选择在强度分布方面很平衡的帧图像作为第一代表REP(O)。此外， 正象利用离差计算进行选择的情况一样，几乎不能够将不适当的帧图像选择为第一代表帧 图像 REP (0)。此外，在本实施例的MFD 10中，按照从运动图像中的所有提取目标范围 ETR(O)-ETR(S)之中的按时间顺序排列设置为最早的第一提取目标范围ETR(O)开始的以 时间顺序排列地连续地执行选择代表帧图像REP (0) -REP (8)。然而，相反地，按照从运动文 件中的所有提取目标范围ETR(O)-ETR(S)之中的按时间顺序排列设置在最后的最后提取 目标范围ETR^)开始的反向时间顺序，可以连续地执行选择代表帧图像REP(O)-REP(S)。 或者，首先执行从按时间顺序排列设置在运动图像中间的提取目标范围ETR(N)中选择 代表REP(O)-REP(8)。在这种情况下，按照首先选择从按时间顺序排列设置在运动图像 中间的中间提取目标范围ETR(N)中选择一个代表帧图像REP(N)这样的顺序，选择代表 REP(0)-REP(8)。然后，按照下述顺序连续地选择其他代表帧图像，所述顺序是与设置得更 远离中间提取目标范围ETR(N)的另一提取目标范围相比更早地选择靠近中间提取目标 范围ETR(N)的提取目标范围位置，并且彼此交替地选择按时间顺序排列设置在中间提取 目标范围ETR(N)之前的提取目标范围以及按时间顺序排列在中间提取目标范围ETR(N) 之后的提取目标范围。更具体地说，在首先选择代表帧图像REP(N)之后，从按时间顺序 排列设置在中间提取目标范围ETR(N)前边的提取目标范围ETR(N-I)中选择代表帧图 像REP(N-I)，然后从按时间顺序排列设置在中间提取目标范围ETR(N)后边的提取目标范 围ETR(N+1)中选择代表帧图像REP (N+1)，接下来从按时间顺序排列设置在提取目标范围 ETR(N-I)前边的提取目标范围ETR(Nj)中选择代表帧图像REP(N-幻，并且随后从按时间 顺序排列设置在提取目标范围ETR(N+1)后边的提取目标范围ETR(N+幻中选择代表帧图像 REP (N+2)等。此外，在本实施例中，在确定提取目标范围ETR (O)-ETR⑶之前选择基准 帧图像REF (0) -REF (8)，然后参考基准帧图像REF (0) -REF⑶来设置提取目标范围 ETR(O)-ETR(8)，使得每个基准帧图像REF(N)按时间顺序排列设置在相应的提取目标范围 ETR(N)的中心。然而，可以确定提取目标范围ETR(0)-ETR(8)，而不需要确定基准帧图像 REF(0)-REF (8)。此外，根据上述实施例的MFD 10从运动图像文件中识别出九个代表帧图像 REP(0)-REP(8)，但是本发明不局限于该构造。例如，从运动图像文件所提取出的代表帧图 像的数目可以不局限于九个，而是可以大于或小于九个，并且还可以不必固定为任何特定数目。提示用户以指定要提取多少帧图像。 此外，本发明应用于根据本实施例的作为图像处理设备示例的MFD 10，但是本发 明也可以应用于除了多功能设备之外的、诸如不具有扫描功能的打印机的打印设备。本发 明还可以应用于例如不将图像打印到诸如个人计算机的信息处理设备的设备。
权利要求
1.一种图像处理设备，包括处理器，所述处理器被构造成执行使处理器提供功能单元的指令，所述功能单元，包括设置单元，所述设置单元用于对由彼此相继按时间顺序排列的多个帧图像构造的运动 图像中的多个提取目标范围进行设置，每个提取目标范围由从构成所述运动图像的多个帧 图像之中选择的并且彼此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取 目标范围设置成使得在所述提取目标范围之中不存在被共享的公共帧图像；选择单元，所述选择单元用于从提取目标范围中的所述一组帧图像之中选择代表帧图 像，所述代表帧图像是这样一种帧图像，该帧图像与另一代表帧图像的差分在属于所述提 取目标范围的各帧图像与所述另一代表帧图像的各差分之中是最大的，所述另一代表帧图 像选择自所述各提取目标范围之中的、按时间顺序定位的相邻于从中选择所述代表帧图像 的所述提取目标范围的一个提取目标范围；以及布局图像产生单元，所述布局图像产生单元用于产生布局图像，在该布局图像中，按照 表示所述代表帧图像之中的时间顺序关系的模式来布局被选择的代表帧图像。
2.根据权利要求1所述的图像处理设备，其中，所述设置单元对每个提取目标范围进行设置，以使得每个提取目标范围在其中包括基 准帧图像，所述基准帧图像以基本上等间隔的方式按时间顺序定位在所述运动图像中。
3.根据权利要求2所述的图像处理设备，其中，所述基准帧图像基本上按时间顺序定位在每个提取目标范围中的该组帧图像的中心。
4.根据权利要求1所述的图像处理设备，其中，从中选择所述代表帧图像的提取目标范围被按时间顺序定位在从中选择所述另一代 表帧图像的提取目标范围之后。
5.根据权利要求1所述的图像处理设备，其中，从中选择所述代表帧图像的提取目标范围被按时间顺序定位在从中选择所述另一代 表帧图像的提取目标范围之前。
6.根据权利要求2所述的图像处理设备，其中，选择单元从每个提取目标范围来选择代表帧图像，以使得所述选择单元首先从一个提 取目标范围选择一个代表帧图像，而无关于在该代表帧图像和相邻于该一个提取目标范围 而按时间顺序定位的一提取目标范围中选择出来的另一代表帧图像之间的差分，以及，基 于与已从相邻于所述相应的提取目标范围而按时间顺序定位的一提取目标范围中选择出 来的另一代表帧图像之间的差分，所述选择单元从相应的提取目标范围中选择除了首先选 择的所述代表帧图像之外的其余的每个代表帧图像。
7.根据权利要求6所述的图像处理设备，其中，所述选择单元首先选择的所述代表帧图像是在所述一个提取目标范围中包括的基准 帧图像。
8.根据权利要求6所述的图像处理设备，其中，所述选择单元首先选择的所述代表帧图像是这样一种帧图像，在所述一个提取目标范 围中的各帧图像之中，该帧图像的像素值的离差是最大的。
9.根据权利要求6所述的图像处理设备，其中，所述选择单元首先选择的所述代表帧图像是这样一种帧图像，在所述一个提取目标范 围中的各帧图像之中，该帧图像的像素值的直方图分布的范围是最大的。
10.根据权利要求1所述的图像处理设备，其中，所述设置单元对每个提取目标范围进行设置，以使得在每个提取目标范围中包括的帧 图像的数目随着运动图像在每单位时间具有更大数目的帧图像而增大。
11.根据权利要求2所述的图像处理设备，其中，所述基准帧图像包括位于所述运动图像的开始处的第一帧图像、位于所述运动图像的 结尾处的最后帧图像、以及以基本上等间隔的方式分布在所述第一帧图像与所述最后帧图 像之间的至少一个帧图像。
12.—种图像处理方法，包括对由彼此相继按时间顺序排列的多个帧图像构造的运动图像中的多个提取目标范围 进行设置，每个提取目标范围由从构成所述运动图像的多个帧图像之中选择出来的并且彼 此相继按时间顺序排列的一组帧图像所构造，并且将所述多个提取目标范围设置成在所述 提取目标范围之中不存在被共享的公共帧图像；从提取目标范围中的帧图像组之中选择代表帧图像，所述代表帧图像是这样一种帧 图像，该帧图像与另一代表帧图像的差分在属于所述提取目标范围的各帧图像与所述另一 代表帧图像的各差分之中是最大的，所述另一代表帧图像选择自所述各提取目标范围之中 的、按时间顺序定位的相邻于从中选择所述代表帧图像的所述提取目标范围的一个提取目 标范围；以及产生布局图像，在该布局图像中，按照表明所述各代表帧图像之中的时间顺序关系的 模式来布局被选择的代表帧图像。
全文摘要
本发明涉及图像处理设备和图像处理方法。该图像处理设备包括执行使处理器提供功能单元的指令的处理器，所述功能单元包括设置单元，其对运动图像中的多个提取目标范围进行设置，每个提取目标范围由彼此相继按时间顺序排列的一组帧图像所构造，并且使得在各提取目标范围之中不存在共享的公共帧图像；选择单元，其选择代表帧图像，该代表帧图像与另一代表帧图像的差分在属于提取目标范围的各帧图像与另一代表帧图像的差分之中是最大的；以及布局图像产生单元，其产生按照表示代表帧图像之中的时间顺序关系的模式来布局所选择的代表帧图像的布局图像。
文档编号H04N1/00GK102131026SQ201110008090
公开日2011年7月20日 申请日期2011年1月12日 优先权日2010年1月12日
发明者长谷川智彦 申请人:兄弟工业株式会社