图像处理装置和图像处理方法

专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及图像处理装置和图像处理方法，更具体而言涉及被配置为创建并集的图像(image of union)作为每个场景的代表图像的图像处理装置和图像处理方法。
背景技术：
过去，无法被完全容纳在成像设备(相机)的一个画面中的被摄物是通过使用摇摄(pan)或俯仰(tilt)技术以分割在两个或更多个帧中的形式来拍摄的。图36示出了通过使用摇摄技术利用成像设备(相机)来拍摄在水平方向上延伸的被摄物的示例。另外，已经有这样的做法，即对拍摄或创建的图像信号进行处理以为每个场景选择预定的画面(例如第一个画面)，从而提供所选画面的图像作为代表图像。在此情况下， 例如，观看者或编辑者无法掌握如上所述通过使用摇摄技术利用成像设备(相机)拍摄的、 未被全部容纳在成像设备(相机)的一个画面中的被摄物的整个图像。此外，已知一种技术，其中，例如，通过如上所述利用摇摄技术拍摄被摄物而获得的图像信号被处理以创建并集(集合之和)的图像，在这种并集的图像中两个或更多个画面(帧)的图像被相互链接在一起(参考日本专利申请早期公布No. Hei 07498137和日本专利申请早期公布No. Hei06-326965)。

发明内容
考虑上述并集的图像(并集图像)被创建作为每个场景的代表图像(缩略图)。 如上所述创建的代表图像使得例如观看者或编辑者可以掌握例如如上所述通过使用摇摄技术利用成像设备(相机)拍摄的、未被全部容纳在成像设备(相机)的一个画面中的被摄物的整个图像。然而，例如，此代表图像不提供诸如以何种速度摇摄被摄物之类的信息。这造成了一个问题，即图像的观看者或编辑者不能够不仅概览到在某个场景中“示出了什么”而且概览到“以何种表现方式示出了什么”。因此，本发明处理了与现有技术方法和装置相关联的上述和其他问题，并且通过提供这样一种图像处理装置和图像处理方法来解决所处理的问题这种图像处理装置和图像处理方法被配置为使得在场景代表图像由并集的图像构成的情况下不仅可以了解场景内的整个图像，而且可以了解该场景内的每个图像的运动。在实现本发明时，根据其一个实施例，提供了一种图像处理装置。该图像处理装置具有代表图像创建块，该代表图像创建块被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，该符号描绘块被配置为基于预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。在此图像处理装置中，符号描绘块根据要在输出设备上显示的代表图像的显示大小来描绘指示全画面运动的符号。在上述实施例中，代表图像创建块创建通过相互链接构成预定场景的画面的图像而获得的并集图像作为代表图像。然后，基于预定场景中的每个画面的全画面运动，符号描绘块在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。在此情况下，指示全画面运动的符号是根据要在输出设备上显示的代表图像的显示大小来描绘的。如上所述，在上述实施例中，指示全画面运动的符号被描绘在由并集图像构成的场景代表图像的边缘上。因此，此新颖配置使得用户不仅可以了解每个场景中的整个图像， 还可以了解一个场景中的每个画面的运动。此外，根据输出设备中代表图像的显示大小来描绘指示全画面运动的符号。因此，如果输出设备中代表图像的显示大小相对较小，则可以确保每个符号的可见性。例如，上述实施例还具有全画面运动计算块，该全画面运动计算块被配置为处理预定场景的图像信号以计算预定场景中的每个画面的全画面运动。例如，符号描绘块基于由全画面运动计算块计算出的预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。例如，上述实施例还具有累积数计算块，该累积数计算块被配置为基于预定场景中的每个画面的全画面运动来计算每个画面的累积数。在此配置中，如果发现在预定画面中存在积累，则累积数计算块将该预定画面的累积数设定到0并且将累积计数器递增1，而如果没有发现存在积累，则累积数计算块将前一画面的累积数设定成累积计数器的值，将该预定画面的累积数设定到1并将累积计数器的值设定到1，并且将最末画面的累积数设定成累积计数器的值。例如，基于由累积数计算块计算出的每个画面的累积数，符号描绘块在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号。在上述实施例中，例如，如果预定画面的累积数至少是1，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘符号。在上述实施例中，例如，如果预定画面的累积数至少是1并且不大于N (N是至少为 1的整数)，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘普通符号作为符号；如果预定画面的累积数大于N，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘累积符号作为符号。在上述实施例中，例如，符号描绘块描绘在与全画面运动的方向正交的方向上延伸的线段形状的符号作为符号，并且把在预定画面的累积数不大于N的情况下要描绘的普通符号的长度设定到与该预定画面的全画面运动的大小相对应的长度。例如，符号描绘块把在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的长度h设定到 H*Mv/Mvmax，其中H是输出设备中的边缘的显示区域中的与全画面运动的方向正交的方向的长度，Mvmax是全画面运动之中的最大运动，并且Mv是每个画面的全画面运动。在此情况下，在每个画面中要描绘的普通符号的长度对应于该画面的全画面运动，从而增加了这个描绘的普通符号所指示的信息的量。在上述实施例中，例如，符号描绘块判定要描绘的符号彼此之间的邻近度，并且根据此判定的结果，改变在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的描绘方式。在此情况下，例如，符号描绘块按照关系W*Vmin(S+T)来计算显示区域上彼此最接近的符号之间的距离d，其中S是全画面运动的方向上一个画面的长度，T是全画面运动的总值，Vmin是当在全画面运动中未发现积累时的最小运动，并且W是输出设备中代表图像的显示区域的全画面运动的方向上的长度，从而基于如此获得的距离d来判定符号之间的邻近度。从而，根据符号邻近度判定的结果来改变在预定画面的累积数不大于N 的情况下要描绘的符号的描绘方式，使得在输出设备的代表图像的显示大小相对较小的情况下用户可以根据描绘的符号很容易地了解全画面运动。在上述实施例中，例如，符号描绘块对每预定数目的画面描绘普通符号，使得在全画面运动的方向上要描绘的符号之间的距离在输出设备中的显示区域中超过预定值。在此情况下，普通符号在描绘之前被疏化，从而，如果输出设备中代表图像的显示大小相对较小，则描绘的普通符号不会太过拥挤而导致用户难以了解全画面运动。在上述实施例中，例如，符号描绘块描绘在与全画面运动的方向正交的方向上延伸的线段形状的符号作为符号，把在预定画面的累积数至少为1并且不大于N的情况下要描绘的普通符号的长度h设定到H*Mv/Mvmax，其中H是输出设备中的边缘的显示区域中的与全画面运动的方向正交的方向的长度，Mvmax是全画面运动之中的最大运动，并且Mv是每个画面的全画面运动，并且以深色描绘对于每预定数目的画面要描绘的普通符号，而以浅色描绘在其他画面中要描绘的普通符号。在上述情况下，例如，因为以深色描绘的普通符号被疏化，所以如果输出设备中代表图像的显示大小相对较小，则描绘的普通符号不会太过拥挤而使得用户难以了解全画面运动。另外，在此情况下，每个画面中描绘的普通符号的长度对应于该画面的全画面运动， 从而增加了该普通符号指示的信息量。在上述实施例中，例如，如果在全画面运动的方向上要描绘的符号之间的距离在输出设备的显示画面区域上小于预定值，则符号描绘块根据每个画面与前一画面之间的全画面运动差异与加速时段相应地描绘加速符号，与勻速时段相应地描绘勻速符号，并且与减速时段相应地描绘减速符号。在上述情况下，对于指示全画面运动的符号，描绘缩减的符号(加速符号、勻速符号和减速符号)。如果输出设备中代表图像的显示大小相对较小，则可以减少要描绘的符号的数目，从而防止描绘的符号太过拥挤而使得用户难以了解全画面运动。此外，此新颖配置使得用户可以容易地了解每个全画面运动的加速时段、勻速时段和减速时段。在上述实施例中，例如，勻速数计算块基于预定场景中每个画面与前一画面之间的全画面运动差异来计算每个画面的勻速数。如果在预定画面上发现存在积累，则勻速数计算块将该预定画面的勻速数设定到0并且将勻速计数器递增1 ；如果发现不存在积累，则勻速数计算块将前一画面的勻速数设定成勻速计数器的值，将预定画面的勻速数设定到1， 并且将勻速计数器的值设定到1 ；并且，如果预定画面的勻速数至少为1并且不大于M(M是至少为1的整数)，则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘加速符号和减速符号之一，而如果预定画面的勻速数超过M,则符号描绘块在代表图像的边缘上与该预定画面相对应的位置处描绘勻速符号。例如，勻速数计算块通过判定预定画面的全画面运动差异是否在阈值范围内来判定是否存在积累。另外，例如，累积数计算块通过判定用于积累每个画面的全画面运动差异的累积手段的累积数是否在阈值范围内来判定是否存在积累。应当注意，如果没有发现积累则累积手段被重置到0。根据本发明的实施例，在由并集图像构成的场景代表图像的边缘上描绘指示全画面运动的符号，从而用户不仅能够掌握场景中的整个图像，还能够掌握该场景中的每个画面的运动。另外，根据本发明的实施例，根据代表图像在输出设备中的显示大小来描绘指示全画面运动的符号，从而，即使输出设备中代表图像的显示大小相对较小，也可以提供良好的符号可见性。


从以下参考附图对实施例的描述中将清楚本发明的其他特征和优点，附图中图1是图示出作为本发明第一实施例实现的图像处理装置的示例性配置的框图；图2是指示出累积数计算块中的处理过程的一个示例的流程图；图3是指示出当构成预定场景的帧(画面)的数目等于40时，每个帧的全画面运动Mv和通过累积数计算处理获得的每个帧(每个画面)的累积数和总值的示例的表格；图4是指示出在符号描绘块中要执行的示例性处理过程的流程图；图5是图示出当构成预定场景的帧(画面)的数目等于40时每个符号和累积数的描绘示例的示图；图6A和6B是图示出当构成预定场景的帧(画面)的数目等于40时每个符号和累积数的另一描绘示例的示图；图7是指示出在依据积累偏差Amv是否在阈值内判定积累的存在时累积数计算块中要执行的示例性处理过程的流程图；图8是指示出当指示累积顺序的符号(累积ID)被添加到累积符号时在符号描绘块中要执行的示例性处理过程的流程图；图9是图示出当全画面运动的方向从正方向改变成反方向时描绘每个符号、累积数和累积ID的示例的示图；图IOA和IOB示出了当全画面运动的方向从正方向改变成反方向时描绘符号、累积数和累积ID的其他示例；图11是图示出一种示例性描绘的示图，在该描绘中，全画面运动被向量分解到水平方向和垂直方向中，并且在每个向量方向上描绘符号；图12A、12B和12C是图示出指示全画面运动的符号的除线段以外的示例的示图；图13是指示出符号描绘块要执行的示例性处理过程的流程图；图14A和14B是图示出符号描绘处理所描绘的示例性描绘的示图；图15是图示出符号描绘处理所描绘的示例性描绘的示图；图16是图示出作为本发明第二实施例实现的图像处理装置的示例性配置的框图；图17A和17B是指示出用于计算显示区域中最邻近处的符号的距离d的画面的全画面运动方向上的长度S、全画面运动的总值T和输出设备中的代表图像的显示区域的全画面运动方向上的长度W的示图；图18是指示出符号描绘块要执行的示例性处理过程的流程图；图19是指示出符号描绘块要执行的另一示例性处理过程的流程图；图20是图示出符号描绘处理所描绘的示例性描绘的示图；图21是指示出符号描绘块要执行的另一示例性处理过程的流程图22是符号描绘处理所描绘的示例性描绘；图23是指示出符号描绘块要执行的另一示例性处理过程的流程图；图M是图示出符号描绘处理所描绘的示例性描绘的示图；图25是图示出作为本发明第三实施例实现的图像处理装置的示例性配置的框图；图沈是指示出勻速数计算块要执行的示例性处理过程的流程图；图27是图示出当构成预定场景的帧(画面)的数目为40时每个帧的全画面运动 Mv、利用每个帧的这个全画面运动Mv获得的累积数、总值、运动差异、勻速数的一个示例的示图；图观是指示出符号描绘块要执行的示例性处理过程的流程图；图四是指示出符号描绘块要执行的另一示例性处理过程的流程图；图30是图示出符号描绘处理所描绘的示例性描绘的示图；图31是图示出加速、勻速和减速的缩减的符号的变形例的示图；图32A、32B、32C、32D、32E和32F是图示出通过使用缩减的符号来描绘的示例性描绘的示图；图33A、3!3B和33C是图示出通过使用缩减的符号来描绘的其他示例性描绘的示图；图34是图示出作为本发明第四实施例实现的图像处理装置的框图；图35是指示出符号描绘处理要执行的示例性处理过程的流程图；并且图36是图示出通过使用摇摄技术利用成像设备(相机)拍摄在水平方向上延伸的被摄物的示例的示图。
具体实施例方式将参考附图利用本发明的实施例来更详细描述本发明。将按以下顺序进行描述。1.第一实施例2.第二实施例3.第三实施例4.第四实施例1.第一实施例图像处理装置的示例性配置现在，参考图1，其中示出了作为本发明第一实施例实现的图像处理装置100的示例性配置。此图像处理装置100具有图像输入块101、代表图像创建块102、全画面运动计算块103、累积数计算块104、符号描绘块105以及输出设备接口(I/F)106。图像输入块101把要处理的图像信号输入到图像处理装置100中。通过利用成像设备(例如相机)拍摄被摄物而获得的这个要处理的图像信号是直接从该成像设备提供来的或者是从预定的记录介质读取而提供来的。此外，此图像输入块101通过处理输入的图像信号来检测场景改变点、按场景分割输入的信号，并且将经分割的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。代表图像创建块102、全画面运动计算块103、累积数计算块104和符号描绘块105顺次执行每个场景的处理。下面描述以被处理的场景作为预定场景来描述这些块中的每一个。代表图像创建块102处理预定场景的图像信号，创建通过链接构成此预定场景的各个画面(帧)的图像而获得的并集图像，并且提供此并集图像作为该预定场景的代表图像。创建此并集图像的技术是公知的，因此在这里不做详细描述。例如，在日本专利申请早期公布No. Hei 7498137和日本专利申请早期公布No. Hei 6-326965中公开了此并集图像创建技术。例如，代表图像创建块102创建构成预定场景的每个画面的全画面运动(运动向量)，并且基于计算出的每个画面的全画面运动来链接图像，从而创建并集图像。全画面运动计算块103处理预定场景的图像信号以计算此预定场景内的每个画面的全画面运动(运动向量)。执行全画面运动的这个计算的技术是公知的，因此在这里不做详细描述。例如，在日本专利申请早期公布No. 2001-086387、日本专利申请早期公布 No. 2007-104516和日本专利申请早期公布No. 2004-88474中公开了此计算技术。例如，全画面运动计算块103通过与上述在代表图像创建块102中执行的计算全画面运动(运动向量)的处理类似的处理来计算构成预定场景的每个画面的全画面运动(运动向量)。累积数计算块104基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数。累积数计算处理图2所示的流程图指示出累积数计算块104中要执行的示例性处理过程。在步骤 STl中，累积数计算块104开始处理并且转到步骤ST2的处理。在此ST2中，累积数计算块 104将累积计数器C的值设定到0并且将总值(累积运动量)T也设定到0。接下来，在步骤ST3中，累积数计算块104将处理帧(处理画面)设定为第一帧(第一画面)。接下来，在步骤ST4中，累积数计算块104判定处理帧是否是最末帧(最末画面)。 如果发现处理帧不是最末帧，则累积数计算块104转到步骤ST5的处理。在步骤ST5中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值T，并将所获得的总值T记录为当前帧的总值。接下来，累积数计算块104在步骤ST6中判定是否存在积累。这里，累积数计算块 104基于当前帧的全画面运动Mv是否为0来判定积累的存在。更具体而言，如果Mv是0， 则累积数计算块104判定存在积累；如果Mv高于0，则累积数计算块104判定不存在积累。如果发现积累，则累积数计算块104转到步骤ST7的处理。在步骤ST7中，累积数计算块104将累积计数器C的值递增1，同时当前帧的累积数为0。另一方面，如果未发现积累，则累积数计算块104转到步骤ST8的处理。在步骤ST8中，累积数计算块104把上一个帧(一个画面)的累积数设定成累积计数器C的值并且将当前帧的累积数设定到1。然后，在步骤ST9中，累积数计算块104把累积计数器C的值设定到1。在步骤ST7的处理和步骤ST9的处理之后，累积数计算块104转到步骤STlO的处理。在步骤STlO中，累积数计算块104把处理帧设定成下一帧，然后返回到步骤ST4的处理。如果在步骤ST4中处理帧是最末帧，则累积数计算块104转到步骤STll的处理。 在步骤STll中，累积数计算块104把当前帧(=最末帧)的累积数设定成累积计数器C的值。此外，在步骤STll中，累积数计算块104将当前帧的全画面运动Mv加到总值T并且将此总值T的值记录为当前帧(=最末帧)的总值。然后，累积数计算块104在步骤ST12中终止处理。参考图3，其中示出了指示出当构成预定场景的帧(画面)的数目为40时，每个帧的全画面运动Mv和通过图2的流程图中所示的处理获得的每个帧(每个画面)的累积数和总数的示例性图表。在此示例中，在帧1至帧10中，全画面运动Mv是0，从而判定存在连续积累。对于帧11，全画面运动Mv是50，从而判定不存在积累。因此，帧1至帧9中的累积数是0，而帧10的累积数是10。另外，在此示例中，在帧11至帧25中，全画面运动Mv不是0，从而判定不存在连续积累。因此，在帧11至帧25中，积累数是1。另外，在此示例中，在帧沈至帧39中，全画面运动Mv是0，从而判定存在连续积累。因此，帧沈至帧39中的累积数是0，并且作为最末帧的帧40的累积数是15。基于由累积数计算块104计算出的每个画面的累积数，符号描绘块105在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。此外， 符号描绘块105把在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)提供给输出设备接口 I/F 106。符号描绘处理图4所示的流程图指示出在符号描绘块105中要执行的示例性处理。在步骤ST21 中，符号描绘块105开始处理，然后转到步骤ST22的处理。在步骤ST22中，符号描绘块105 取得全画面运动方向。例如，全画面运动方向包括水平方向、垂直方向和倾斜方向。在此情况下，符号描绘块105基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来取得全画面运动方向。接下来，在步骤ST23中，符号描绘块105确定符号描绘轴。在此情况下，符号描绘块105确定符号描绘轴以使该符号描绘轴对应于在步骤ST22中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。接下来，符号描绘块105在步骤STM中将处理帧(处理画面)设定成第一帧(第一画面)。在步骤ST25中，符号描绘块105判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105转到步骤SD6的处理。在步骤SD6中符号描绘块105判定累积数是0、1还是2或更大。如果累积数是0，则符号描绘块105在步骤ST27将处理帧设定成下一帧，然后返回到步骤ST25的处理。如果累积数是1，则符号描绘块105转到步骤SD8的处理。在步骤 ST28中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘普通符号作为符号。接下来，在步骤SD8的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，并返回到步骤ST25的处理。如果累积数是2或更大，则符号描绘块105转到步骤SD9的处理。在步骤SD9 中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号例如可在形状、大小、图案或颜色方面与上述普通符号区分开来。在步骤SD9中，符号描绘块105还在与累积符号的描绘位置相对应的位置处描绘累积数。然后，在步骤SD9的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，并返回到步骤ST25的处理。如果在步骤ST25中发现处理帧是最末帧，则符号描绘块105转到步骤ST30的处理。在步骤ST30中，符号描绘块105在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色等等方面与上述普通符号和累积符号区分开来。另外，在步骤ST30中，符号描绘块105在与末尾符号的描绘位置相对应的位置处描绘累积数。然后，在步骤ST30的处理之后，符号描绘块105在步骤ST31中结束处理。参考图5，其中示出了在构成预定场景的帧(画面)的数目为40的情况下，当帧 (画面)的累积数和总数在图3中示出时，符号和累积数的示例性描绘。应当注意，在此描绘示例中，每个符号是由线段指示的。在此示例中，在帧1至帧9中累积数是0，从而不执行符号描绘。在帧10，累积数是10，从而在与此帧相对应的位置(此帧的右上角)处描绘累积符号，并且在与累积符号相对应的位置处描绘累积数“10”。帧11至帧25中的累积数是1，从而在与这些帧相对应的位置处描绘普通符号。在帧沈至帧39中累积数是0，从而不执行符号描绘。对于最末帧40，描绘末尾符号并且在与末尾符号相对应的位置处描绘累积数“ 15”。应当注意，图5示出了全画面运动方向为水平的情况下的示例性描绘；如果全画面运动方向不是水平，则也以相同的方式执行描绘。例如，图6A示出了在全画面运动方向为垂直的情况下的示例性描绘，图6B示出了在全画面运动方向为倾斜的情况下的示例性描绘。输出设备接口 I/F 106把从符号描绘块105提供来的图像数据，即在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，提供给输出设备，例如图像显示装置或记录设备。例如，利用图像显示装置，显示在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。利用记录装置，每个场景的符号描绘的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。图像处理装置的示例性操作下面描述图1所示的图像处理装置100的示例性操作。在图像输入块101中输入要处理的图像信号。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得的并且是直接从成像设备或者从预定的记录介质提供来的。在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割输入的图像信号。然后，在图像输入块101中，将每个场景的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。在代表图像创建块102、全画面运动计算块103、累积数计算块104和符号描绘块 105中，每个场景被顺次设定成要处理的场景(预定场景)并被处理。更具体而言，在代表图像创建块102中，处理预定场景的图像信号，创建通过链接构成此预定场景的各个画面 (帧)的图像而获得的并集图像，并且将所创建的并集图像设定成该预定场景的代表图像。在全画面运动计算块103中，处理预定场景的图像信号并且计算此预定场景中的每个画面的全画面运动(运动向量)。这样计算出的预定场景中的每个画面的全画面运动被提供给累积数计算块104。在累积数计算块104中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和总值(参考图2)。在累积数计算块104中计算出的预定场景中的每个画面的累积数和总值被提供给符号描绘块105。在代表图像创建块102中创建的代表图像(并集图像)的图像信号(图像数据)也被提供给符号描绘块105。在此符号描绘块105中，基于预定场景中的每个画面的累积数在代表图像(并集图像)的边缘上描绘指示全画面运动的符号(参考图4)。在此情况下，在累积数为1的画面中，在代表图像(并集图像)的与该画面相对应的位置处描绘普通符号作为符号。在累积数为2或更大的画面中，在代表图像(并集图像) 的与该画面相对应的位置处描绘累积符号作为符号。另外，在末尾画面中，在与该画面相对应的位置处描绘末尾符号作为符号，并且还相应地描绘累积数。在符号描绘块105中，对于每个场景获得了在边缘上描绘有指示总画面运动的符号的代表图像(并集图像)的图像信号(图像数据)。所获得的图像信号(图像数据)被提供给输出设备接口 I/F 106。在输出设备接口 I/F 106中，从符号描绘块105提供来的图像信号，即在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)，被提供给输出设备，例如图像显示装置或记录装置。结果，在例如图像显示装置中，显示了在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。在例如记录装置中，每个场景的描绘有符号的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。如上所述，在图1所示的图像处理装置100中，预定场景的图像信号被代表图像创建块102处理并且互连了构成此预定场景的各个画面的图像的并集图像被创建作为代表图像。此外，预定场景的图像信号被全画面运动计算块103处理并且此预定场景中的每个画面的全画面运动被计算。另外，基于计算出的预定场景中的每个画面的全画面运动，预定场景中的每个画面的累积数被累积数计算块104计算。然后，指示全画面运动的符号(普通符号、累积符号和末尾符号)被符号描绘块 105基于计算出的预定场景中的每个画面的累积数描绘在由代表图像创建块102创建的代表图像(并集图像)的边缘上。因此，上述配置使得不仅可以了解场景中的整个图像，而且还可以了解场景中的每个画面。即，上述配置使得用户不仅可以看到在场景中“显示了什么”，而且还可以概览到“如何显示了什么”。现有技术的缩略图方案仅提供了使得可以了解显示了什么的表现能力。应当注意，在被制作得特别拥挤的图像的情况下，指示出“特定的对象是以何种图像表现方式来显示的”的时间性情境对于想要使用对象图像作为工作素材的观众和用户来说也是重要的信息。例如，取通过摇摄同一横长式场景而获得的两个图像。在没有一帧的积累、连续拍摄的图像和通过在开头和结尾处将相机停止四秒而拍摄的图像之间，这些图像的应用将是很不同的。如上所述，在每个场景的代表图像(并集图像)的边缘上描绘指示全画面运动的符号(普通符号、累积符号和末尾符号)。这有助于用户很容易地访问到用户想要看到或用作素材的图像。结果，上述配置使得不仅可以浏览图像并且将图像用作创作时的代表图像， 而且还可以将图像用作作为图像搜索的结果的代表图像。此外，在构造两个或更多个图像之间的关系时，上述配置使得可以基于有关“如何表现图像”的内容的新元数据来赋予关系。这也为图像搜索算法做出了贡献。从而，向用户
13可视地呈现出关于两个或更多个图像之间的关系的新指标对于搜索目标图像的搜索应用也是有利的。应当注意，在图1所示的图像处理装置100中，符号描绘块105在累积数为1的画面中描绘普通符号并且在累积数为2或更大的画面中描绘累积符号(参考图4)。然而，概括来说，普通符号可被描绘在累积数为1至N(N是等于或大于1的整数)的画面中，并且累积符号可被描绘在累积数大于N的画面中。在此情况下，用户可以通过用户操作块(未示出)来根据需要设定N的值。另外，在图1所示的图像处理装置100中，符号描绘块105被配置为基于预定场景中的每个画面的累积数来描绘指示全画面运动的符号(普通符号、累积符号和末尾符号)， 其中累积数是由累积数计算块104计算出的。然而，如下配置也是可能的即，例如，普通符号被描绘在与每个画面相对应的位置处，以便指示出场景中的每个画面的运动。在此情况下，符号描绘块105可以通过直接使用由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来执行符号描绘。另外，在图1所示的图像处理装置100中，符号描绘块105与累积符号和末尾符号的每个描绘位置相对应地描绘累积数。然而，并非总是必须这样描绘累积数。累积数计算的另一示例在以上描述中，累积数计算块104被配置为基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数。然而，如果以元数据的形式准备了关于每个画面的全画面运动，则累积数计算块104可以使用此信息来计算每个画面的累积数。在此情况下，例如，关于每个画面的全画面运动的信息被从图像输入块101 提供到累积数计算块104，从而无需全画面运动计算块103。在上述实施例中，累积数计算块104通过判定当前帧的全画面运动Mv是否为0来判定积累的存在。然而，图像可能是在未使用三脚架的情况下拍摄的，或者是利用低质量的三角脚拍摄的，或者曾被降频转换或升频转换。在此情况下，从拍摄者的意图或者观众的感觉来看，可能认为“积累是存在的”。然而，对于全画面运动可能计算出略微不同于0的值， 从而最终判定没有积累。为了克服此问题，可以通过定义全画面运动Mv的总值为积累偏差Amv并且判定此积累偏差Amv是否在阈值内来判定积累的存在。此配置使得可以判定从观众的感觉来看可能认为积累的画面确实是积累的。图7所示的流程图指示出在此情况下累积数计算块104 的示例性处理过程。在步骤ST41中，累积数计算块104开始处理，然后转到步骤ST42的处理。在步骤 ST42中，累积数计算块104将累积计数器C的值设定到0，将全画面运动Mv的总值(累积运动量)T设定到0，并且将积累偏差Amv设定到0。然后，在步骤ST43中，累积数计算块104 将处理帧(处理画面)设定成第一帧(第一画面)。接下来，在步骤ST44中，累积数计算块104判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则累积数计算块104转到步骤ST45的处理。在步骤 ST45中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值 T，并将所获得的总值T记录为当前帧的总值。另外，在步骤ST45中，累积数计算块104把全画面运动Mv加到积累偏差Amv，以更新积累偏差Amv。
接下来，在步骤ST46中，累积数计算块104判定是否存在积累。这里，累积数计算块104通过判定积累偏差Amv是否在阈值内来判定是否存在积累。S卩，如果发现Amv在阈值内，则累积数计算块104判定存在积累；如果发现Amv超过阈值，则累积数计算块104判定不存在积累。如果发现积累，则累积数计算块104转到步骤ST47的处理。在步骤ST47中，累积数计算块104将累积计数器C的值递增1，同时当前帧的累积数为0。另外，在步骤ST47中， 累积数计算块104记录积累偏差Amv的最大和最小值。这个记录的信息提供了指示出当没有发现积累时积累偏差Amv是多少的信息(元数据)。例如，基于此信息，可以适应性地改变阈值。另一方面，如果未发现积累，则累积数计算块104转到步骤ST48的处理。在步骤 ST48中，累积数计算块104把上一个帧(一个画面)的累积数设定成累积计数器C的值并且将当前帧的累积数设定到1。然后，在步骤ST49中，累积数计算块104把累积计数器C的值设定到1，并且将积累偏差Amv重置到0。在步骤ST47的处理和步骤ST49的处理之后，累积数计算块104转到步骤ST50的处理。在步骤ST50中，累积数计算块104把处理帧设定成下一帧，然后返回到步骤ST44的处理。如果在步骤ST44中处理帧是最末帧，则累积数计算块104转到步骤ST51的处理。 在步骤ST51中，累积数计算块104把当前帧(=最末帧)的累积数设定成累积计数器C的值。此外，在步骤ST51中，累积数计算块104将当前帧的全画面运动Mv加到总值T以获得当前帧中的总值T，并且记录所获得的总值T。然后，累积数计算块104在步骤ST52中结束处理。应当注意，在上述配置中，是通过判定作为全画面运动Mv的总值的积累偏差Amv 是否在阈值内来判定积累的存在的。另外，还可以通过判定每个画面(每个帧)的全画面运动Mv是否在阈值内来判定该画面中是否存在积累。在此情况下，如果发现积累，也记录全画面运动Mv的最大和最小值。这个记录的信息提供了指示出在没有发现积累的情况下全画面运动Mv的程度的全画面运动Mv的行为信息(元数据)。例如，可以基于此信息来适应性地改变阈值。符号描绘处理的另一示例在以上描述中，使用了全画面运动在一个方向上的示例。然而，有可能全画面运动是在两个或更多个方向上发生的。例如，有可能每个画面先在正方向上移动，然后在反方向上移动，就好像先向右摇摄然后又返回向左摇摄的情况那样。在这种情况下，与全画面运动方向为正方向(第一方向)的每个画面相对应的符号描绘位置和与反方向(第二方向)的每个画面相对应的符号描绘位置例如在与正方向和反方向正交的方向上被偏移。结果，指示出这些方向上的全画面运动的符号不会相互重叠，从而增强了符号的可见性。此外，在此情况下，因为如果只有末尾符号则可能难以理解图像的运动，所以向累积符号添加指示出积累的顺序的符号(累积ID)。图8所示的流程图指示出在上述情况下符号描绘块105要执行的示例性处理过程。在步骤ST61中，符号描绘块105开始处理，然后转到步骤ST62的处理。在步骤ST62 中，符号描绘块105取得全画面运动方向。例如，运动方向是水平、垂直或倾斜。在此情况下，例如，符号描绘块105基于由全画面运动计算块103计算出的每个画面的全画面运动 (运动向量)来取得全画面运动方向。接下来，在步骤ST63中，符号描绘块105确定符号描绘轴。在此情况下，符号描绘块105确定符号描绘轴以使该符号描绘轴对应于在步骤ST62中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。然后，在步骤ST64 中，符号描绘块105将处理帧(处理画面)设定成第一帧(第一画面)，并且在步骤ST65中将累积ID设定成1。接下来，符号描绘块105在步骤ST66中判定处理帧是否是最末帧(最末画面)。 如果发现处理帧不是最末帧，则符号描绘块105在步骤ST67中判定全画面运动方向是否已从正方向改变到反方向。如果没有发现方向改变，则符号描绘块105转到步骤ST68的处理。 另一方面，如果发现方向改变，则符号描绘块105在步骤ST69中使描绘位置向与上述正方向和反方向正交的方向偏移，然后转到步骤ST68的处理。在步骤ST68中，符号描绘块105判定累积数是0、1还是2或更大。如果发现累积数是0，则符号描绘块105在步骤ST70将处理帧设定成下一帧，然后返回到步骤ST66的处理。如果累积数是1，则符号描绘块105转到步骤ST71的处理。在步骤ST71中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。接下来，在步骤ST71的处理之后，符号描绘块105在步骤ST70中将处理帧设定成下一帧，然后返回到步骤ST66的处理。另外，如果发现累积数等于或高于2，则符号描绘块105转到步骤ST72的处理。在步骤ST72中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘累积符号作为符号。此累积符号例如可在形状、大小、图案或颜色方面与上述普通符号区分开来。而且，在步骤ST72中，符号描绘块105在与描绘累积符号的位置相对应的位置处描绘累积数。另外，符号描绘块105在与描绘此累积符号的位置相对应的位置处描绘累积 ID作为指示积累的顺序的符号，同时将累积ID递增1。在步骤ST72的处理之后，符号描绘块105在步骤ST70中将处理帧设定成下一帧，然后返回到步骤ST66的处理。如果在步骤ST66中发现处理帧是最末帧，则符号描绘块105转到步骤ST73的处理。在步骤ST73中，符号描绘块105在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。另外，在步骤ST73中，符号描绘块105在与描绘末尾符号的位置相对应的位置处描绘累积数。此外，符号描绘块105在与描绘此末尾符号的位置相对应的位置处描绘累积 ID作为指示积累的顺序的符号。然后，在步骤ST73的处理之后，符号描绘块105在步骤 ST74中结束处理。参考图9，其中示出了每个符号、累积数和累积ID的示例性描绘。应当注意，在此描绘示例中，每个符号是由线段表现的。在此示例中，每个累积ID是由带圆的数字表现的。 累积ID被描绘为带圈的1的描绘位置是第一累积位置。可以知晓在此位置处积累了 10个画面(帧)。累积ID被描绘为带圈的2的描绘位置是第二累积位置。可以看出在此位置处积累了 15个画面(帧)。
然后，全画面运动方向从正向改变成反向。因此，符号描绘位置被偏移。在此示例中，全画面运动方向改变到反方向后的符号描绘位置在相反一侧。带圈的3被描绘为累积 ID的末尾符号描绘位置是最末画面(最末帧)的位置。可以看出在此位置积累了 15个画面(帧)。参考图10A，其中示出了每个符号、累积数和累积ID的另一示例性描绘。此示例性描绘与图9所示的示例性描绘基本相同。在此示例中，全画面运动方向从反方向改变后的符号描绘位置是在同一侧垂直偏移的位置。图IOB示出了每个符号、累积数和累积ID的另一示例性描绘。此示例性描绘与图9所示的示例性描绘基本相同。在此示例中，全画面运动方向改变到反方向后的符号描绘位置也是在同一侧垂直偏移的位置。然而，与图IOA所示的示例性描绘的不同在于正方向的符号描绘位置和反方向的符号描绘位置被交换了。应当注意，在图9和图10所示的示例性描绘中，每个累积ID由带圈的数字指示。 然而，除了使用带圈的数字以外，使用自明的字符，例如A、B、C...或者等同的日本字符，或明确指示出运动方向的符号，例如颠倒的三角，也是可行的。在上述示例中，符号描绘轴在一个方向上。然而，一开始就将全画面运动进行向量分解到水平方向和垂直方向上，以在每个向量方向上描绘符号，也是可行的。图11示出了此方法执行的示例性描绘。在此示例性描绘中，全画面运动方向是从左上方向到右下方向的倾斜直线。此方法也可应用到在改变水平方向与垂直方向之间的运动速度比时方向半途改变的情况。另外，在上述示例中，如图5、6A、6B、9至11所示，指示全画面运动的符号是线段。 然而，除了线段指示以外，使用数字、如图12A所示的符号、如图12B所示的图形形状、如图 12C所示的灰度层次、或者颜色，也是可行的。符号描绘处理的另一示例在上述示例中，符号描绘块105描绘的每个普通符号是由相同长度的线段来指示的。这里，考虑了使每个普通符号的长度为与每个画面的全画面运动相对应的长度。在此情况下，在预定的画面上描绘的普通符号的长度h为H*Mv/Mvmax，其中H是输出设备的边缘上的显示区域的与全画面运动的方向(全画面运动方向)正交的方向上的长度，Mvmax是全画面运动中的最大运动，并且Mv是每个画面的全画面运动。图13所示的流程图指示出在上述情况下符号描绘块105要执行的示例性过程。在图13中，与图4所示的步骤类似的步骤被用相同的编号来表示，并且对其的详细描述将被跳过。在图13所示的流程图中，取代图4所示的流程图中的步骤SD8，插入了步骤SD8A。在步骤SD8A中，如果累积数是1，则符号描绘块105转到步骤SD8A的处理。在步骤SD8A中，符号描绘块105在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。在此情况下，符号描绘块105如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得长度h等于与当前帧的全画面运动Mv的大小相对应的长度。在步骤SD8A的处理之后，符号描绘块105在步骤ST27中将处理帧设定成下一帧，然后返回到步骤ST25的处理。应当注意，虽然跳过了详细描述，但图13所示的流程图中的其他步骤与图4所示的流程图中的相应步骤是大体相同的。图14A示出了图13所示的流程图中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是40个，并且每个帧(每个画面)的累积数和总值如图3所示。在此描绘示例中，与图5所示的上述描绘示例不同，每个普通符号的长度是与全画面运动的大小相对应的长度。图14B示出了图14A所示的符号部分的扩展视图。如上所述，每个普通符号的长度是H*Mv/Mvmax，从而描绘在全画面运动中的最大运动 Mvmax的画面上的每个普通符号的长度h是H。图15也示出了图13所示的最末帧中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个。在此情况下，要描绘的普通符号如图所示很拥挤的(或者说处于填满状态)。然而，因为每个普通符号的长度是与全画面运动的大小相对应的长度，所以通过包络线可以了解每个画面的全画面运动的大致趋势，虽然可能看不到画面的精细运动。如上所述，执行图13所示的流程图中描述的符号描绘处理使得在每个画面中描绘的每个普通符号的长度对应于该画面的全画面运动，从而增加了该普通符号所指示的信息量。另一示例性符号描绘处理在上述示例中，在符号描绘块105中，在所有累积数为1(概括来说是累积数为1 至N(N为等于或大于1的整数))的画面中描绘普通符号。然而，这可能使得描绘出的普通符号太拥挤，从而导致普通符号的重叠显示。为了避免此问题，考虑了这样一种方法其中， 判定所描绘的符号之间的邻近度，并且根据此判定的结果来改变描绘普通符号的方式。2.第二实施例图像处理装置的示例性配置参考图16，其中示出了作为本发明第二实施例实现的图像处理装置100B的示例性配置。图像处理装置100B具有图像输入块101、代表图像创建块102、全画面运动计算块 103、累积数计算块104、符号描绘块105B、输出设备接口 I/F 106以及疏化数计算块108。 参考图16，与先前在图1中描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被跳过。例如，计算显示区域中彼此最接近的符号之间的距离d，以基于所获得的距离d来判定符号之间的邻近度。距离d是按照以下式(1)，通过使用画面的全画面运动方向上的长度S、全画面运动的总值T、当在全画面运动中没有积累时的最小运动Vmin以及输出设备中的代表图像的显示区域的全画面运动方向上的长度W，来计算的。图17示出了长度S、总值 T和长度W之间的对应关系。d = W*Vmin/(S+T) . . . (1)在符号描绘块105B中，考虑对于预定数目的画面描绘普通符号，使得显示区域中彼此最接近的符号之间的距离d超过预定值。在此情况下，普通符号在被描绘之前被疏化。 图18所示的流程图示出了在此情况下被配置为获得疏化数η的疏化数计算块108要执行的处理过程的一个示例。在步骤ST41中，疏化数计算块108开始处理，然后转到步骤ST42的处理。在步骤 ST42中，疏化数计算块108获得全画面运动方向。例如，运动方向可以是水平的、垂直的或倾斜的。在此情况下，例如，疏化数计算块108基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来获得全画面运动方向。
接下来，在步骤ST43中，疏化数计算块108确定符号描绘轴。在此情况下，符号描绘块105B确定符号描绘轴以使得符号描绘轴对应于在步骤ST42中获得的全画面运动方向。例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。接下来，疏化数计算块108获得显示框的大小W，即上述的输出设备中的代表图像的显示区域中的全画面运动方向上的长度W。关于此长度W的信息是由用户操作给出的或者通过输出设备接口 I/F 106从输出设备自动获得的。接下来，在步骤ST45中，疏化数计算块108将帧合计数η设定到1。然后，在步骤 ST46中，符号描绘块105Β针对合计数后的帧的最小运动Vmin，通过上述式(1)来计算距离 d。然后，在步骤ST47中，疏化数计算块108判定这个计算出的距离d是否是使得可以辨别描绘符号的值(例如2)。如果距离d小于描绘符号的大小，则用户可以难以识别出描绘的符号。如果距离d是使得可以辨别描绘符号的值，则疏化数计算块108转到步骤ST48中符号描绘块105B的处理。另一方面，如果距离d是使得不可以辨别描绘符号的值，则疏化数计算块108转到步骤ST49的处理。在步骤ST49中，疏化数计算块108将帧合计数η递增1。然后，在步骤ST50中，疏化数计算块108对于每η帧合计全画面运动，然后返回到步骤ST46的处理。图19所示的流程图示出了图18所示的流程图的步骤ST48的符号描绘处理。在步骤ST51中，符号描绘块105Β开始处理，然后转到步骤ST52的处理。在步骤ST52中，符号描绘块105Β将处理帧(处理画面)设定成第一帧(第一画面)。即，符号描绘块105Β将处理的帧号码k设定成0。同时，符号描绘块105B显示疏化数η。接下来，在步骤ST53中，符号描绘块105Β判定处理帧是否是最末帧(最末画面)。 如果发现处理帧不是最末帧，则符号描绘块105Β转到步骤STM的处理。在步骤STM中， 符号描绘块105Β判定累积数是0、1还是2或更大。如果发现累积数是0，则符号描绘块105Β不描绘符号，在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。如果发现累积数是1，则符号描绘块105Β转到步骤ST56的处理。在步骤ST56中，符号描绘块105Β判定当前帧号码k是否是η的倍数。如果发现当前帧号码k是η的倍数，则符号描绘块105Β转到步骤ST57的处理。在步骤ST57中，符号描绘块105Β在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。接下来，在步骤ST57的处理之后，符号描绘块105Β在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。另一方面，如果发现当前帧号码k不是η的倍数，则符号描绘块105Β在步骤ST55中将处理帧设定成下一帧，并且返回到步骤ST53的处理。结果，每η帧执行一次普通符号的描绘，从而疏化了符号。如果在步骤STM中发现累积数是2或更大，则符号描绘块105Β转到步骤ST58的处理。在步骤ST58中，符号描绘块105Β在代表图像(并集图像)的与当前帧(当前画面) 相对应的位置处描绘累积符号作为符号。此累积符号可在形状、大小、图案或颜色方面与上述普通符号区分开来。此外，在步骤ST58中，符号描绘块105Β还在与描绘累积符号的位置相对应的位置处描绘累积数。然后，在步骤ST58的处理之后，符号描绘块105Β在步骤ST53中将处理帧设定成下一帧，然后返回到步骤ST53的处理。
如果在步骤ST53中发现处理帧是最末帧，则符号描绘块105B转到步骤ST59的处理。在步骤ST59中，符号描绘块105B在代表图像(并集图像)的与当前帧(最末帧)相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。此外，在步骤ST59中，符号描绘块105B还在与描绘末尾符号的位置处描绘累积数。然后，在步骤ST59的处理之后，符号描绘块105B在步骤ST60中结束处理。参考图20，其中示出了图18和图19所示的流程图中的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400，并且η = 10。从而， 执行图18和图19的流程图中所示的符号描绘处理在描绘之前疏化普通符号。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。应当注意，在图18所示的流程图中描述的处理中，从1起改变η，直到距离d变成在该距离下可以相互辨别描绘的符号的值为止，从而获得与疏化比率相关的η的最终值。 然而，获得η的值的方法并不限于上述方法。例如，简单地，η的值可以是与d的倒数Ι/d接近的整数。例如，取代从1起改变n，可以通过从接近d的倒数Ι/d的整数值起增大或减小 η来获得η的最终值。另一示例性符号描绘处理在图19所示的流程图中描述的处理中，符号描绘块105描绘的普通符号是由相同长度的线段来表现的。然而，将普通符号的这个长度设定成与每个画面的全画面运动相对应的长度，也是可行的。在此情况下，在预定画面上描绘的普通符号的长度h为H*Mv/ Mvmax，其中H是输出设备的边缘上的显示区域的与全画面运动的方向正交的方向上的长度，Mvmax是全画面运动中的最大运动，并且Mv是每个画面的全画面运动。图21所示的流程图指示出在此情况下符号描绘块105B要执行的示例性处理过程。参考图21，与先前参考图19描述的步骤相对应的步骤被用相同的标号来表示，并且对其的详细描述被跳过。在图21所示的流程图中，取代图19所示的流程图中的步骤ST57，插入了步骤ST57A。如果在步骤ST56中发现帧号码k是η的倍数，则符号描绘块105Β转到步骤ST57A 的处理。在步骤ST57A中，符号描绘块105Β在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘普通符号作为符号。在此情况下，符号描绘块105Β如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，以使得此长度对应于当前帧的全画面运动的大小Mv0在步骤ST57A的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。应当注意，虽然跳过了细节，但图21所示的流程图中的其他步骤与图19所示的流程图中的步骤是基本相同的。参考图22，其中示出了根据图21所示的流程图的符号描绘处理所进行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个，并且η = 10。从而， 执行图21的流程图中所示的符号描绘处理在描绘之前疏化普通符号。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。此外，执行图21所示的流程图所规定的符号描绘处理使得每次帧号码k是η的倍数时描绘的普通符号的长度对应于该画面的全画面运动，从而增加了此普通符号所指示的信息量。另一示例性符号描绘处理在图19所示的流程图所描述的上述处理中，在帧号码k为η的倍数的画面中描绘普通符号；然而，在其他画面中，则不描绘普通符号。然而，考虑在帧号码k为η的倍数的画面中，可以用深色调来描绘每个普通符号，而在其他画面中，则可以用浅色调来描绘每个普通符号。图23所示的流程图指示出在上述情况下符号描绘块105Β要执行的示例性处理过程。参考图23，与先前参考图21描述的步骤相对应的步骤被用相同的标号来表示，并且对其的详细描述被跳过。在图23所示的流程图中，取代图21所示的流程图的步骤ST57A，插入了步骤ST57B。此外，添加步骤ST61作为在帧号码k不是η的倍数时要执行的处理步骤。如果在步骤ST56中发现帧号码k是η的倍数，则符号描绘块105Β转到步骤ST57B 的处理。在步骤ST57B中，符号描绘块105Β在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘深色调普通符号作为符号。在此情况下，符号描绘块105Β如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得此长度对应于当前帧的全画面运动的大小Mv。在步骤ST57B的处理之后，符号描绘块105Β在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。如果在步骤ST56中发现帧号码k不是η的倍数，则符号描绘块105Β转到步骤ST61 的处理。在步骤ST61中，符号描绘块105Β在代表图像(并集图像)的与当前帧(当前画面)相对应的位置处描绘浅色调的普通符号作为符号。在此情况下，符号描绘块105Β如上所述把要描绘的普通符号的长度h设定成H*Mv/Mvmax，从而使得此长度对应于当前帧的全画面运动的大小Mv。在步骤ST61的处理之后，符号描绘块105B在步骤ST55中将处理帧设定成下一帧，然后返回到步骤ST53的处理。应当注意，虽然跳过了细节，但图23所示的流程图中的其他步骤与图21所示的流程图中的步骤是基本相同的。参考图24，其中示出了根据图23所示的流程图的符号描绘处理所执行的示例性描绘。在此描绘示例中，构成预定场景的帧(画面)的数目是400个，并且η = 10。从而， 在根据图23所示的流程图的符号描绘处理中，以深色调描绘的普通符号被疏化。因此，如果输出设备上代表图像的显示大小相对较小，则所描绘的普通符号不会太拥挤，以防止对全画面运动的了解变得困难。此外，在此情况下，在每个画面中描绘的每个普通符号的长度对应于该画面的全画面运动，从而增加了此普通符号所指示的信息量。3.第三实施例图像处理装置的示例性配置参考图25，其中示出了作为本发明第三实施例实现的图像处理装置100Α的示例性配置。图像处理装置100Α具有图像输入块101、代表图像创建块102、全画面运动计算块 103、累积数计算块104、符号描绘块105Α、输出设备接口(I/F) 106以及勻速数计算块107。 参考图25，与先前参考图1描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被适当跳过。图像输入块101把要处理的图像信号输入到图像处理装置100Α中。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得并直接从该成像设备(相机)提供来的，或者是从预定的记录介质提供来的。在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割经处理的图像信号。然后，每个场景的图像信号被顺次提供到代表图像创建块102和全画面运动计算块103。代表图像创建块102、全画面运动计算块103、累积数计算块104、勻速数计算块 107和符号描绘块105A顺次执行每个场景的处理。下面以要被处理的场景作为预定场景来描述每个上述块要执行的处理。代表图像创建块102处理预定场景的图像信号，创建通过链接构成该预定场景的画面(帧)的图像而获得的并集图像，并且将所获得的并集图像设定成该预定场景的代表图像。全画面运动计算块103处理预定场景的图像信号以计算此预定场景中的每个画面的全画面运动(运动向量)。累积数计算块104基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的累积数(参考图 2和图7)。勻速数计算块107基于由全画面运动计算块103计算出的预定场景中的每个画面的全画面运动来计算每个画面的勻速数。勻速数计算处理图沈所示的流程图指示出勻速数计算块107要执行的示例性处理过程。在步骤 ST71中，勻速数计算块107开始处理，然后转到步骤ST72的处理。在步骤ST72中，勻速数计算块107把勻速计数器C的值设定到0，并且把运动差异小计AD的值设定到0。然后，在步骤ST73中，勻速数计算块107把处理帧(处理画面)设定成第一帧(第一画面)。接下来，在步骤ST74中，勻速数计算块107判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则勻速数计算块107转到步骤ST75的处理。在步骤 ST75中，勻速数计算块107从当前帧的全画面运动中减去先前帧的全画面运动，以计算当前帧的全画面运动差异小计AD。另外，勻速数计算块107将全画面运动差异D加到运动差异小计AD，以获得当前帧中的运动差异小计AD。接下来，在步骤ST76中，勻速数计算块107判定是否存在勻速。这里，勻速数计算块107通过判定运动差异小计AD是否在阈值范围内来判定是否存在勻速。即，勻速数计算块107在AD在阈值范围内的情况下判定存在勻速，而在AD在阈值范围以外的情况下则判定不存在勻速。如果发现勻速，则勻速数计算块107转到步骤ST77的处理。在步骤ST77中，勻速数计算块107将当前帧的勻速数设定到0并且将勻速计数器C的值递增1。此外，在步骤 ST77中，勻速数计算块107记录运动差异小计AD的最大和最小值。此记录信息提供了指示出在存在勻速的情况下运动差异小计AD的程度的信息(元数据)。例如，基于此信息，可以适应性地改变阈值。如果在步骤ST76中没有发现勻速，则勻速数计算块107转到步骤ST78的处理。 在步骤ST78中，勻速数计算块107将前一帧(前一画面)的勻速数设定成勻速计数器C的值并将当前帧的勻速数设定到1，并且记录当前帧的全画面运动差异D。然后，在步骤ST79 中，勻速数计算块107把勻速计数器C的值设定到1，并且将运动差异小计AD重置到0。在步骤ST77的处理和步骤ST79的处理之后，勻速数计算块107转到步骤ST80的处理。在步骤ST80中，勻速数计算块107把处理帧设定成下一帧，然后返回到步骤ST74的处理。
如果在步骤ST74中发现处理帧是最末帧，则勻速数计算块107转到步骤ST81的处理。在步骤ST81中，勻速数计算块107把当前帧(=最末帧)的勻速数设定成勻速计数器C的值。同时，在步骤ST81中，勻速数计算块107计算当前帧的全画面运动差异D，并且记录计算出的全画面运动差异D。然后，勻速数计算块107在步骤ST82中结束处理。参考图17，其中示出了当构成预定场景的帧(画面)的数目是40时，每个帧的全画面运动Mv，和通过每个帧的这个全画面运动Mv获得的累积数、总值、运动差异和勻速数的一个示例。累积数和总值是通过根据图2和图7所示的流程图执行的累积数计算处理获得的累积数和总值。运动差异和勻速数是通过根据图25所示的上述流程图执行的勻速计算处理获得的运动差异和勻速数。在此示例中，从帧1到帧10，运动差异D是0，因此判定存在连续的勻速。在帧11，全画面运动Mv是50，并且运动差异D是50，因此判定不存在勻速。因此，从帧1到帧9的勻速数被判定为0，而在帧10的勻速数被判定为10。另外，在此示例中，从帧11到帧17的运动差异D是0，因此判定存在连续的勻速。 在帧18，运动差异D是50，因此判定不存在勻速。因此，从帧11到帧16的勻速数是0，而在帧17的勻速数是7。另外，在此示例中，从帧18到帧20的运动差异D是50，因此判定不存在连续的勻速。因此，从帧18到帧20的勻速数是1。此外，在此示例中，帧21和帧22的运动差异D是0，因此判定存在连续的勻速。在帧23，运动差异D是-50，因此判定不存在勻速。因此，帧21的勻速数是0，而帧22的勻速数是2。另外，在此示例中，从帧23到帧25的运动差异D是-50，因此判定不存在连续的勻速。因此，从帧23到帧25的勻速数是1。另外，在此示例中，从帧沈到帧39的运动差异D 是0，因此判定存在连续的勻速。因此，从帧27到帧39的勻速数是0，而帧40的勻速数是 15。应当注意，在根据图沈所示的流程图的勻速数计算处理中，在步骤ST76中对勻速的判定是通过判定运动差异小计AD是否在阈值内来执行的。然而，通过判定预定帧中的运动差异D是否在阈值内来执行对该帧中勻速的存在性的判定，也是可行的。符号描绘块105Α在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。在此情况下，符号描绘块105Α基于由累积数计算块104计算出的每个画面的累积数以及由勻速数计算块107计算出的每个画面的运动差异D和勻速数来执行描绘处理。同时，符号描绘块105Α把在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)提供给输出设备接口(I/F)106。符号描绘处理图28所示的流程图指示出符号描绘块105Α要执行的示例性处理过程。在步骤 ST91中，符号描绘块105Α开始处理，然后转到步骤ST92的处理。在步骤ST92中，符号描绘块105Α获得全画面运动方向。例如，运动方向是水平、垂直或倾斜。在此情况下，例如， 符号描绘块105Α基于由全画面运动计算块103计算出的每个画面的全画面运动(运动向量)来获得全画面运动方向。接下来，在步骤ST93中，符号描绘块105Α确定符号描绘轴。在此情况下，符号描绘块105Α确定符号描绘轴以使该符号描绘轴对应于在步骤ST92中获得的全画面运动方向。 例如，如果全画面运动方向是水平的，则符号描绘轴被确定在水平方向上。然后，符号描绘块105Α获得显示框的大小W，即上述的输出设备中的代表图像的显示区域的全画面运动方向上的长度W。关于此长度W的信息是由用户给出的，或者是通过输出设备接口(I/F)106 从输出设备自动给出的。接下来，在步骤ST95中，符号描绘块105A对于帧的最小运动Vmin，按照上述的式 (1)来计算距离d。然后，在步骤ST96中，符号描绘块105A判定计算出的距离d是否是能够辨别描绘符号的值(例如2)。如果距离d小于描绘符号的大小，则用户可能难以识别出所描绘的符号。如果发现距离d是使得可以辨别描绘符号的值，则符号描绘块105A转到步骤ST97 的符号描绘处理。对在步骤ST97中要执行的符号描绘处理的详细描述被跳过。此符号描绘处理与图4、图8和图13中所示的流程图所指示的处理大体相同。如果在步骤ST96中发现距离d不是使得可以辨别描绘符号的值，则符号描绘块 105A转到步骤ST98的缩减符号描绘的处理。图四所示的流程图指示根据图观所示流程图要执行的步骤ST98的缩减符号描绘处理。在步骤STlOl中，符号描绘块105A开始处理，然后转到步骤ST102的处理。在步骤ST102中，符号描绘块105A将处理帧(处理画面)设定成第一帧(第一画面)。接下来，在步骤ST103中，符号描绘块105A判定处理帧是否是最末帧(最末画面)。如果发现处理帧不是最末帧，则符号描绘块105A转到步骤ST104的处理。在步骤 ST104中，符号描绘块105A判定累积数是0、1还是2或更大。如果发现累积数是0，则符号描绘块105A在步骤ST105将处理帧设定成下一帧， 不执行符号描绘，然后返回到步骤ST103的处理。如果发现累积数是1，则符号描绘块105A 转到步骤ST106的处理。在步骤ST106中，符号描绘块105A判定当前帧的勻速数是0、1还是2或更大。如果发现勻速数是0，则符号描绘块105A在步骤ST105将处理帧设定成下一帧，不执行符号描绘，然后返回到步骤ST103的处理。如果发现勻速数是1，则符号描绘块105A转到步骤ST107的处理。在步骤ST107中，符号描绘块105A判定运动差异是正的还是负的。如果运动差异是正的，则符号描绘块105A转到步骤ST108的处理。在步骤ST108 中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动在加速的加速符号作为符号。另一方面，如果发现运动差异是负的，则符号描绘块105A转到步骤ST109的处理。在步骤ST109中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动在减速的减速符号作为符号。然后，在步骤ST108或步骤ST109的处理之后，符号描绘块105A在步骤ST105中将处理帧设定成下一帧，然后返回到步骤ST103的处理。如果在步骤ST106中发现勻速数是2或更大，则符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面)相对应的位置描绘指示出画面运动是勻速的勻速符号作为符号。然后，在步骤STllO的处理之后，符号描绘块105A在步骤ST105中将处理帧设定成下一帧，然后返回到步骤ST103的处理。如果在步骤ST104中累积数是2或更大，则符号描绘块105A转到步骤STlll的处理。在步骤STlll中，符号描绘块105A在代表图像(并集图像)的与当前帧(当前画面) 相对应的位置处描绘累积符号作为符号。此累积符号可在形状、大小、图案或颜色方面与上述普通符号区分开来。此外，在步骤STlll中，符号描绘块105A在与描绘累积符号的位置相对应的位置处描绘累积数。然后，在步骤STlll的处理之后，符号描绘块105A将处理帧设定成下一帧，并返回到步骤ST103的处理。如果在步骤ST103中发现处理帧是最末帧，则符号描绘块105A转到步骤ST112的处理。在步骤ST112中，符号描绘块105A在代表图像(并集图像)的与当前帧(最末帧) 相对应的位置处描绘末尾符号作为符号。此末尾符号可在形状、大小、图案或颜色方面与上述普通符号和累积符号区分开来。同时，在步骤ST112中，符号描绘块105A还在与描绘末尾符号的位置相对应的位置处描绘累积数。然后，在步骤ST112的处理之后，符号描绘块105A 在步骤STl 13中结束处理。参考图30，其中示出了当构成预定场景的帧(画面)的数目为40时，在每个帧(画面)的累积数、运动差异和勻速数如图27所示的情况下，每个符号和累积数的示例性描绘。 应当注意，在图30所示的示例性描绘中，显示了勻速、加速和减速的帧持续数，但不是必需执行此显示。输出设备接口 106把从符号描绘块105A提供来的图像数据，即在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，提供给输出设备， 例如图像显示装置或记录设备。在图像显示装置中，例如，显示在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。在记录装置中，例如，每个场景的描绘有符号的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。图像处理装置的示例性操作下面描述图25所示的图像处理装置100A的示例性操作。通过图像输入块101输入要处理的图像信号。这个要处理的图像信号例如是通过利用成像设备(相机)拍摄被摄物而获得的并且是直接从成像设备或者从预定的记录介质提供来的。在图像输入块101中，处理输入的图像信号以检测场景改变点，并且按每个场景分割经处理的图像信号。然后在图像输入块101中，将每个场景的图像信号顺次提供给代表图像创建块102和全画面运动计算块103。在代表图像创建块102、全画面运动计算块103、累积数计算块104、勻速数计算块 107和符号描绘块105A中，每个场景被顺次设定成要处理的场景(预定场景)并被处理。 即，在代表图像创建块102中，处理预定场景的图像信号，创建通过链接构成此预定场景的画面(帧)的图像而获得的并集图像，并且将所创建的并集图像设定为该预定场景的代表图像。在全画面运动计算块103中，处理预定场景的图像信号，以计算此预定场景中的每个画面的全画面运动(运动向量)。预定场景中的每个画面的全画面运动被提供给累积数计算块104。在累积数计算块104中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和总值(参考图2和图7)。另外，在勻速数计算块107中，基于预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的勻速数和运动差异(参考图26)。在累积数计算块104中计算出的预定场景中的每个画面的累积数和总值被提供给符号描绘块105A。在勻速数计算块107中计算出的预定场景中的每个画面的勻速数和运动差异被提供给符号描绘块105A。另外，在代表图像创建块102中创建的代表图像(并集图像)的图像信号(图像数据)也被提供到符号描绘块105A。在此符号描绘块105A中，基于预定场景中的每个画面的累积数、勻速和运动差异，在代表图像(并集图像)的边缘上描绘指示全画面运动的符号(参考图观和图29)。在此情况下，计算显示区域上彼此最接近的符号之间的距离d。然后，如果此距离 d的值使得可以辨别描绘的符号，则在代表图像(并集图像)的与累积数为1的画面相对应的位置处描述普通符号作为符号(参考图4、图8和图13)。另外，如果距离d的值使得不可以辨别描绘的符号，则在代表图像(并集图像)的与累积数为1且勻速数为1或更大的画面相对应的位置处描绘加速符号、勻速符号和减速符号作为缩减的符号(参考图四)。在累积数为2或更大的画面中，在代表图像(并集图像)的与该画面相对应的位置处描绘累积符号作为符号。同时，相应地描绘累积数。另外，在末尾画面中，在与该画面相对应的位置处描绘末尾符号作为符号，并同时相应地描绘累积数。在符号描绘块105A中，对于每个场景获得了在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)的图像信号(图像数据)，并且所获得的图像信号(图像数据)被提供给输出设备接口(I/F)106。然后，输出设备接口 106把从符号描绘块105A提供来的图像信号，即在边缘上描绘有指示全画面运动的符号的代表图像的图像信号(图像数据)，提供给输出设备，例如图像显示装置或记录装置。结果，在例如图像显示装置中，显示了在边缘上描绘有指示全画面运动的符号的代表图像(并集图像)。在例如记录装置中，每个场景的描绘有符号的代表图像的图像信号以与在图像输入块101中输入的图像信号的每个场景相关的方式被记录到记录介质。如上所述，在图25所示的图像处理装置100A中，代表图像创建块102处理预定场景的图像信号以创建相互链接了构成此预定场景的画面的图像的并集图像作为代表图像。 另外，全画面运动计算块103处理预定场景的图像信号，以计算此预定场景中的每个画面的全画面运动。另外，累积数计算块104基于计算出的预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的累积数和运动总值。此外，勻速数计算块107基于计算出的预定场景中的每个画面的全画面运动来计算预定场景中的每个画面的勻速数和运动差异。接下来，符号描绘块105A基于计算出的预定场景中的每个画面的累积数、运动差异和勻速数在由代表图像创建块102创建的代表图像(并集图像)的边缘上描绘指示全画面运动的符号。因此，上述新颖配置使得不仅可以了解场景中的整个图像，而且还可以了解场景中的每个画面的运动。即，上述配置使得用户不仅可以看到在场景中“显示了什么”，而且还可以概览到“如何显示了什么”。在图25所示的图像处理装置100A中，如果显示区域上彼此最接近的符号之间的距离d使得不可以辨别描绘的符号(普通符号)，则加速、勻速和减速的符号作为缩减的符号被描绘。因此，如果输出设备中代表图像的显示大小相对较小，则可以减少要描绘的符号的数目，从而防止可能导致用户难以了解全画面运动的符号拥挤。同时，上述配置使得用户可以容易地了解全画面运动的加速时段、勻速时段和减速时段。应当注意，图30的示例性描绘中所示的加速、勻速和减速的缩减符号只是例示性的，因此不限于此。例如，如图31所示，加速、勻速和减速的缩减符号可包括图形、符号、箭头粗细、箭头方向、箭头颜色、语言符号(日语的[加I等I减]，英文字母的[accleqlbr])，
26以及箭头的不同颜色重叠。虽然没有示出，但取决于输出设备的形式，基于闪烁或运动的图标的显示技术是可应用的。图32A至32F示出了基于各种缩减符号的描绘示例。在这些示例中，每个箭头的方向相对于基准线可以是向上或向下的。如上所述，通过使用与用于描绘具有与画面运动的大小相对应的长度的普通符号的算法相同的算法，沿着包络线的箭头(参考图32D)可用于表现画面的运动的大致分布。此外可以通过使用多边形以及长方形的颜色和灰度层次来显示符号。在图25所示的图像处理装置100A中执行的上述缩减符号描绘处理中，在成像设备(相机)勻速运动时，符号的数目显著减少。然而，在此情况下，有可能加速符号和减速符号被以拥挤的方式显示。通过用以下技术中的任何一种适当地设计符号形状或者进一步减少加速符号和减速符号的数目，可以确保拥挤的符号的可见性。在一种技术中，预先检测在勻速数连续为1，并且仅在连续的1中的最后一个的定时描绘加速符号或减速符号。在另一技术中，计算相对于运动差异之前的帧的差异。计算出的差异被称为运动加速差异。基于此运动加速差异，以与图沈的流程图中所示的处理相同的方式计算加速勻速数。计算出的加速勻速数可以按与上述勻速数相同的方式(参考图 29)被用于描绘加速符号和减速符号。在图25所示的图像处理装置100A中，符号描绘块105A在勻速数为1的画面上描绘加速符号或减速符号，而在勻速数为2或更大的画面上描绘勻速符号(参考图四)。然而，概括来说，加速符号或减速符号可被描绘在勻速数为1到M(M为1或更大的整数)的画面上，而勻速符号可被描绘在勻速数大于M的画面上。在此情况下，用户可以通过用户操作块(未示出)根据需要设定M的值。4.第四实施例在图25所示的图像处理装置100A中执行的符号描绘处理中，如果显示区域上彼此最接近的符号之间的距离d不具有使得可以辨别描绘的符号的值，则执行缩减符号描绘的处理(参考图观中所示的步骤ST98)。然而，如果此距离d不具有使得可以辨别描绘的符号的值，则用户可以可选择地执行用于执行缩减符号描绘或疏化符号描绘的处理。图像处理装置的示例性配置参考图34，其中示出了作为本发明第四实施例实现的图像处理装置100C的示例性配置。图像处理装置100C具有图像输入块101、代表图像创建块102、全画面运动计算块 103、累积数计算块104、符号描绘块105C、输出设备接口(I/F) 106、勻速数计算块107以及疏化数计算块108。参考图34，与先前参考图1、图16和图25描述的组件类似的组件被用相同的标号来表示，并且对其的详细描述被适当跳过。图35所示的流程图指示出在上述情况下符号描绘块105C要执行的示例性处理过程。参考图35，与先前参考图观描述的步骤类似的步骤被用相同的标号表示，并且对其的详细描述被跳过。在在步骤ST94中获得显示框的大小W之后，符号描绘块105C在步骤 ST121中将帧的合计数η设定到1，然后转到步骤ST95的处理。接下来，在步骤ST95中，符号描绘块105C按照上述式(1)，对于最小运动Vmin，计算距离d。然后，在步骤ST96中，符号描绘块105C判定计算出的距离d是否具有使得可以辨别描绘的符号的值(例如2)。如果距离d小于描绘的符号的大小，则其可能降低描绘的符号对于用户的可见性。如果在步骤ST96中发现距离d不具有使得可以辨别描绘的符号的值，则符号描绘块105C在步骤ST122中判定用户设定是缩减符号描绘还是疏化描绘。如果发现用户设定是缩减符号描绘，则符号描绘块105C转到步骤ST98的缩减符号描绘的处理。另一方面，如果发现用户设定是疏化描绘，则符号描绘块105C转到步骤ST123的处理。在步骤ST123中，符号描绘块105C将帧合计数η递增1。接下来，符号描绘块105C 在步骤ST124中合计每η帧中的全画面运动，然后返回到步骤ST95的处理。如果在步骤ST96中发现距离d具有使得可以辨别描绘的符号的值，则符号描绘块105C转到步骤ST125的处理。步骤ST125的这个处理对应于图18所示的流程图的步骤 ST48的处理(参考图19)。本发明的实施例可应用到被配置为从每个场景的图像信号创建每个场景的代表图像(缩略图)的图像处理装置。本申请包含与2010年3月19日向日本专利局提交的日本优先权专利申请JP 2010-063661和2010年3月19日向日本专利局提交的日本优先权专利申请JP 2010-063662中公开的主题相关的主题，特此通过引用将这些申请的全部内容并入。本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。
权利要求
1.一种图像处理装置，包括代表图像创建块，该代表图像创建块被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，该符号描绘块被配置为基于所述预定场景中的每个画面的全画面运动， 在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中所述符号描绘块根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。
2.根据权利要求1所述的图像处理装置，还包括累积数计算块，该累积数计算块被配置为基于所述预定场景中的每个画面的全画面运动来计算每个画面的累积数，其中，如果发现在预定画面中存在积累，则所述累积数计算块将所述预定画面的累积数设定到0并且将累积计数器递增1，而如果没有发现存在积累，则所述累积数计算块将前一画面的累积数设定到所述累积计数器的值，将所述预定画面的累积数设定到1并将所述累积计数器的值设定到1，并且将最末画面的累积数设定到所述累积计数器的值，并且基于由所述累积数计算块计算出的每个画面的累积数，所述符号描绘块在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。
3.根据权利要求2所述的图像处理装置，其中，如果预定画面的累积数至少是1，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述符号。
4.根据权利要求3所述的图像处理装置，其中，如果所述预定画面的累积数至少是1并且不大于N，其中N是至少为1的整数，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘普通符号作为所述符号；如果所述预定画面的累积数大于N，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘累积符号作为所述符号。
5.根据权利要求4所述的图像处理装置，其中所述符号描绘块描绘在与所述全画面运动的方向正交的方向上延伸的线段形状的符号作为所述符号，并且把在所述预定画面的累积数不大于N的情况下要描绘的所述普通符号的长度设定到与所述预定画面的全画面运动的大小相对应的长度。
6.根据权利要求5所述的图像处理装置，其中，所述符号描绘块把在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的长度h设定到H*Mv/Mvmax，其中H是所述输出设备中的所述边缘的显示区域中的与所述全画面运动的方向正交的方向的长度，Mvmax是所述全画面运动之中的最大运动，并且Mv是每个画面的全画面运动。
7.根据权利要求4所述的图像处理装置，其中所述符号描绘块判定要描绘的所述符号之间的邻近度，并且根据此判定的结果，改变在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的描绘方式。
8.根据权利要求7所述的图像处理装置，其中所述符号描绘块对每预定数目的画面描绘所述普通符号，使得在所述全画面运动的方向上要描绘的所述符号之间的距离在所述输出设备中的显示区域中超过预定值。
9.根据权利要求8所述的图像处理装置，其中所述符号描绘块描绘在与所述全画面运动的方向正交的方向上延伸的线段形状的符号作为所述符号，把在所述预定画面的累积数至少为1并且不大于N的情况下要描绘的所述普通符号的长度h设定到H*Mv/Mvmax，其中H是所述输出设备中的所述边缘的显示区域中的与所述全画面运动的方向正交的方向的长度，Mvmax是所述全画面运动之中的最大运动，并且Mv是每个画面的全画面运动，并且以深色描绘对于每所述预定数目的画面要描绘的所述普通符号，并且以浅色描绘在其他画面中要描绘的所述普通符号。
10.根据权利要求7所述的图像处理装置，其中，如果在所述全画面运动的方向上要描绘的所述符号之间的距离在所述输出设备的显示画面上小于预定值，则所述符号描绘块根据每个画面与前一画面之间的全画面运动差异与加速时段相应地描绘加速符号，与勻速时段相应地描绘勻速符号，并且与减速时段相应地描绘减速符号。
11.根据权利要求10所述的图像处理装置，还包括勻速数计算块，该勻速数计算块被配置为基于所述预定场景中每个画面与前一画面之间的所述全画面运动差异来计算每个画面的勻速数，其中，如果在预定画面上发现存在积累，则所述勻速数计算块将所述预定画面的勻速数设定到0并且将勻速计数器递增1 ；如果发现不存在积累，则所述勻速数计算块将前一画面的勻速数设定到所述勻速计数器的值，将所述预定画面的勻速数设定到1，并且将所述勻速计数器的值设定到1 ；并且，如果所述预定画面的勻速数至少为1并且不大于M，其中M是至少为1的整数，则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述加速符号和所述减速符号之一，而如果所述预定画面的勻速数超过所述M,则所述符号描绘块在所述代表图像的边缘上与所述预定画面相对应的位置处描绘所述勻速符号。
12.根据权利要求11所述的图像处理装置，其中所述勻速数计算块具有用于积累每个画面的所述全画面运动差异的累积手段，并且通过判定所述累积手段的累积值是否在阈值范围内来判定所述预定画面是否具有勻速运动，并且如果发现所述预定画面不具有勻速运动，则将所述累积手段的累积值重置到 O0
13.根据权利要求11所述的图像处理装置，其中所述勻速数计算块通过判定所述预定画面的所述全画面运动差异是否在阈值范围内来判定所述预定画面是否具有勻速运动。
14.根据权利要求7所述的图像处理装置，其中所述符号描绘块按照关系W*Vmin/(S+T)来计算所述显示区域上彼此最接近的符号之间的距离d，其中S是所述全画面运动的方向上一个画面的长度，T是所述全画面运动的总值，Vmin是当在所述全画面运动中未发现积累时的最小运动，并且W是所述输出设备中所述代表图像的显示区域的所述全画面运动的方向上的长度，从而基于如此获得的所述距离 d来判定所述符号彼此之间的邻近度。
15.根据权利要求1所述的图像处理装置，还包括全画面运动计算块，该全画面运动计算块被配置为处理所述预定场景的图像信号以计算所述预定场景中的每个画面的全画面运动，其中所述符号描绘块基于由所述全画面运动计算块计算出的所述预定场景中的每个画面的全画面运动，在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。
16.一种图像处理方法，包括以下步骤创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及基于所述预定场景中的每个画面的全画面运动，在代表图像创建步骤中创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中，所述符号描绘步骤根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。
17.一种图像处理装置，包括代表图像创建块，该代表图像创建块被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，该符号描绘块被配置为基于所述预定场景中的每个画面的全画面运动， 在由所述代表图像创建块创建的所述代表图像的边缘上描绘指示全画面运动的符号。
18.一种图像处理装置，包括代表图像创建装置，用于创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘装置，用于基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建装置创建的所述代表图像的边缘上描绘指示全画面运动的符号，其中所述符号描绘装置根据要在输出设备上显示的所述代表图像的显示大小来描绘指示全画面运动的符号。
19.一种图像处理装置，包括代表图像创建装置，用于创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘装置，用于基于所述预定场景中的每个画面的全画面运动，在由所述代表图像创建装置创建的所述代表图像的边缘上描绘指示全画面运动的符号。
全文摘要
本发明提供了图像处理装置和图像处理方法。这里公开了一种图像处理装置，包括代表图像创建块，被配置为创建相互链接了构成预定场景的画面的图像的并集图像作为代表图像；以及符号描绘块，被配置为基于预定场景中的每个画面的全画面运动，在由代表图像创建块创建的代表图像的边缘上描绘指示全画面运动的符号，其中，符号描绘块根据要在输出设备上显示的代表图像的显示大小来描绘指示全画面运动的符号。
文档编号H04N5/265GK102196179SQ201110065698
公开日2011年9月21日 申请日期2011年3月14日 优先权日2010年3月19日
发明者高木芳德 申请人:索尼公司