图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序，更具体地讲，涉及一种能够获得表达被摄体的动作推移的动作推移图像的技术。
背景技术：
如日本未审专利申请公布No. 2010-45727中所述，公开了一种通过使用多个帧图像合适地表达移动被摄体的充分动作表达和动作范围的方法。例如，可以产生如图32中所示的动作推移图像。通过在特征时间(关键帧)剪取执行动作的人物或物体(移动被摄体)以及通过在空间上排列剪取的图像以允许容易地识别动作推移，来制作这种动作推移图像。这种技术具有这样的特性即使移动被摄体未在空间上移动，也产生在空间上移动的图像。在图32的情况下，捕捉移动图片，其中执行高尔夫挥杆的被摄体人物被设置为移动被摄体，由此获得多个帧图像数据。从这一系列帧图像数据获取几个关键帧，执行图像合成以使得每个关键帧的移动被摄体的图像沿预定方向顺序排列。因此，可以获得能够一眼就能看出显示高尔夫挥杆形式的图像。

发明内容
这种动作推移图像对于以高尔夫为首的棒球、足球、网球等的形式确认是有效。然而，虽然这种图像适合形式确认，但难以表达根据动作推移移动的移动物体。例如，在图32中显示的高尔夫挥杆形式的动作推移图像的情况下，捕捉高尔夫球直至当高尔夫球杆的头与球接触时的撞击的时刻，但在该撞击之后，未捕捉球并且球从图像中消失。动作推移图像不仅用于形式确认，并且这个图像非常有趣，可考虑由用户用作欣赏的图像。从这个角度，在该图像中表达被摄体人物击打的球的情况可能更合适。在图32的例子中球在撞击之后消失的原因在于球在撞击之后立即高速飞起并且瞬间位于图像捕捉期间的画面的帧之外，因此未捕捉到球。因此，当希望使球保持在图像中时，考虑在连续帧图像数据之中提取紧接在撞击之后的帧并合成这些帧。在这种情况下，在紧接在撞击之后的几个帧的图像部分上捕捉还未位于帧之外的球，从而可以类似于图33中显示的例子在一定程度上允许在动作推移图像中包括开始移动的球。然而，相反地，关于类似于图33的动作推移图像，变得难以理解移动被摄体的动作推移。具体地讲，紧接在撞击之后的移动被摄体的图像的数量过多地增加，从而存在这样的问题，即可能难以表达流畅的动作推移。另外，虽然在某一程度上捕捉到球，但击打很快并且只有少数几帧图像数据中存在球，从而难以允许根据图像清楚地看见球轨迹，并且不适合作为球的表达。因此，希望通过在令人满意地表达移动被摄体的动作推移的同时充分地表达根据移动被摄体的动作推移移动的移动物体(例如，球)来产生一种更有效的图像和非常有趣的图像。根据本发明的实施例，提供了一种图像处理设备，包括图像输入单元，输入帧图像数据；以及合成处理单元，产生动作推移图像数据，产生移动物体图像数据，以及执行第二合成处理，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用由图像输入单元输入的多个帧图像数据中所包括的移动被摄体图像执行第一合成处理， 从而沿预定方向并排地顺序排列多个移动被摄体图像，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体，所述第二合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。另外，所述合成处理单元基于关于移动物体的轨迹确定处理产生移动物体轨迹图像数据作为移动物体图像数据，以及把移动物体轨迹图像数据与移动推移图像数据合成在一起，并产生附带移动物体图像的动作推移图像数据。另外，所述关于移动物体的轨迹确定处理包括通过使用输入帧图像数据中存在的移动物体图像的位置对在由该帧图像数据表达的移动物体的时点之后的移动物体的位置进行预测，以及确定移动物体的移动轨迹的处理。另外，所述关于移动物体的轨迹确定处理是基于输入的移动物体轨迹信息确定移动物体的移动轨迹的处理。另外，所述关于移动物体的轨迹确定处理是分析由动作推移图像数据表达的移动被摄体动作，以及确定输入帧图像数据中未作为图像存在的移动物体的移动轨迹的处理。另外，图像处理设备还包括图像输出单元，输出在合成处理单元中产生的附带移动物体图像的动作推移图像数据。另外，所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即移动物体图像布置在位于沿预定方向并排地顺序排列的所述多个移动被摄体图像中的最后移动被摄体图像后面的图像区域。另外，所述合成处理单元通过使用帧图像数据中所包括的背景图像作为布置移动物体图像的图像区域的背景图像执行第二合成处理。另外，所述合成处理单元通过使用帧图像数据中未包括的图像作为布置移动物体图像的图像区域的背景图像执行第二合成处理。另外，图像处理设备还包括指定单元，指定沿预定方向并排地顺序排列的所述多个移动被摄体图像中的最后移动被摄体图像，以及所述合成处理单元产生直到由指定单元指定的最后移动被摄体图像为止的动作推移图像数据，并以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即根据移动物体图像数据的移动物体图像布置在位于所述最后移动被摄体图像后面的图像区域。另外，图像处理设备还包括指定单元，指定布置移动物体图像的图像区域，以及所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即所述多个移动被摄体图像并排地排列在直至到达由指定单元指定的图像区域为止的图像区域中，并且根据移动物体图像数据的移动物体图像布置在位于所述最后移动被摄体图像后面的指定的图像区域中。另外，所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即移动物体图像布置为交叠在沿预定方向并排地顺序排列的所述多个移动被摄体图像上。在这种情况中，所述合成处理单元通过第二合成处理产生附带移动物体图像的动作推移图像数据，在所述附带移动物体图像的动作推移图像数据中，根据移动物体轨迹图像数据的图像优先于动作推移图像数据的图像显示。另外，图像处理设备还包括指定单元，指定沿预定方向并排地顺序排列的所述多个移动被摄体图像之中的一个被摄体图像，以及所述合成处理单元执行由指定单元指定的移动被摄体图像的放大图像和移动物体轨迹图像数据的第三合成处理。另外，所述合成处理单元通过使用输入帧图像数据中所包括的移动物体图像产生移动物体轨迹图像数据。另外，所述合成处理单元通过使用除输入帧图像数据中所包括的拍摄的移动物体图像之外的图像产生移动物体轨迹图像数据。另外，所述合成处理单元通过从输入帧图像数据选择多个关键帧以及通过沿预定方向并排地顺序排列从选择的多个关键帧提取的移动被摄体图像，产生动作推移图像数据。另外，所述合成处理单元通过按照以下的状态执行第一合成处理来产生动作推移图像数据最新输入的帧图像数据的移动被摄体层具有第一优先级，根据紧挨着的前一第一合成处理的帧图像数据的移动被摄体层具有第二优先级，最新输入的帧图像数据的背景层具有第三优先级，根据紧挨着的前一第一合成处理的帧图像数据的背景层具有第四优先级。根据本发明的另一个实施例，提供了一种图像处理方法，包括产生动作推移图像数据，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用输入的多个帧图像数据中所包括的移动被摄体图像执行第一合成处理，从而沿预定方向并排地顺序排列移动被摄体图像；产生移动物体图像数据，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体；执行第二合成处理，所述第二合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。根据本发明的另一实施例，提供了一种允许计算处理装置执行上述每个步骤的程序。根据本发明的实施例，首先，执行使用输入的多个帧图像数据中所包括的移动被摄体图像的第一合成处理，并产生动作推移图像数据，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即沿预定方向并排地顺序排列移动被摄体图像。因此，可以精确地表达移动被摄体的动作推移。另外，产生移动物体图像，所述移动物体图像表达根据移动被摄体的动作推移移动的移动物体(例如，通过移动被摄体的动作击打的球等)。这种移动物体图像包括表达估计的移动物体轨迹的移动物体轨迹图像等。在这种结构中，使用帧图像数据中实际上未呈现的图像并把该图像设置为允许清楚地理解移动物体的运动的图像。另外，移动物体图像与动作推移图像合成，由此产生附带移动物体图像的动作推移图像数据，但移动被摄体的动作推移和移动物体的移动都得到了充分表达。
根据本发明的实施例，可以通过在有效地表达移动被摄体的动作推移的同时充分地表达根据移动被摄体的动作推移移动的移动物体(例如，球)产生一种更有效的图像和非常有趣的图像。


图1是表示根据本发明实施例的图像处理设备的基本结构的方框图；图2是表示根据实施例的图像处理方法的流程图；图3是表示根据第一实施例的附带移动物体图像的动作推移图像的解释示图；图4是表示根据第一实施例的图像形成设备的结构的方框图；图5是表示根据实施例的产生动作推移图像的过程的解释示图；图6A和6B是表示根据实施例的层分离过程的解释示图；图7A至7C是表示根据实施例的输入图像的区域设置例子的解释示图；图8A至8C是表示根据实施例的推移动作有效区域和剩余背景区域的解释示图， 其中图8A表示输入图像，图8B表示推移动作有效区域，图8C表示剩余背景区域；图9A至9C是表示根据实施例的四层的层合成过程和球轨迹层的合成过程的解释示图；图10是表示动作推移图像的合成过程的解释示图；图11是表示根据第一实施例的产生附带移动物体图像的动作推移图像的过程的流程图；图12是根据实施例的层分离过程的流程图；图13A和1 是表示根据实施例的球轨迹图像的背景图像的解释示图，其中图13A 表示输入图像，图13B表示推移动作有效区域；图14是表示根据第二实施例的附带移动物体图像的动作推移图像的解释示图；图15是表示根据第三实施例的附带移动物体图像的动作推移图像的解释示图；图16是表示根据第四实施例的产生附带移动物体图像的动作推移图像的过程的流程图；图17是表示根据第五实施例的附带移动物体图像的动作推移图像的解释示图；图18是表示根据第五实施例的产生附带移动物体图像的动作推移图像的过程的流程图；图19是表示根据第五实施例的变型例的附带移动物体图像的动作推移图像的解释示图；图20是表示指定关于第六实施例的移动被摄体的解释示图；图21是表示根据第六实施例的合成图像的解释示图；图22是表示根据第六实施例的图像处理设备的结构的方框图；图23是表示根据第六实施例的合成过程的流程图；图M是表示根据第七实施例的图像处理设备的结构的方框图；图25是表示根据第七实施例的合成过程的流程图；图26A和26B是表示根据第七实施例的结束点的选择的解释示图；图27A至27C是表示根据第七实施例的球轨迹的初始点的选择的解释示图28A和28B是表示根据第七实施例的附带移动物体图像的动作推移图像的解释示图；图29A和29B是表示根据第七实施例的调整移动被摄体图像的数量的解释示图；图30是表示根据第八实施例的图像处理设备的结构的方框图；图31是表示根据第八实施例的产生附带移动物体图像的动作推移图像的过程的流程图；图32是现有技术的合成图像的解释示图；图33是表示执行了球显示的合成图像的解释示图。
具体实施例方式以下，将按照下面的次序描述本发明的实施例。1、实施例的基本结构和动作2、第一实施例2-1、图像处理设备的结构2-2、附带移动物体图像的动作推移图像的产生2-3、处理例子3、第二实施例4、第三实施例5、第四实施例6、第五实施例7、第六实施例8、第七实施例9、第八实施例10、变型例11、程序1、实施例的基本结构和动作首先，将描述本发明的实施例的图像处理装置和图像处理方法的基本结构和动作。实施例的图像处理设备可安装在各种装置上，例如信息处理装置(诸如，数字静态照相机、视频照相机、图像编辑装置、图像再现装置、图像记录装置和计算机等)。另外，实施例的图像处理设备可由硬件构造，或者可实现为安装在计算机等上的一种类型的软件、嵌入在各种装置中的固件等。另外，一部分结构可由硬件构造并且一部分构造可由软件构造。在图像处理设备由软件实现的情况下，这种软件可由用于执行实施例的图像处理方法的步骤的程序构造，并且这种程序自身可在市场上提供或出售。这个实施例的图像处理设备可具有图1中显示的结构。图1把由硬件或软件实现的功能结构显示为方框图。图像处理设备1包括图像输入单元101和合成处理单元102。图像输入单元101是输入帧图像数据的功能部分。帧图像数据可构造移动图片，或者可以是例如由连续捕捉的静态图像逐张地构造的图像等。也就是说，这种数据广泛地表示构成一张图像的图像数据，并且使用术语“帧图像数据”。图像输入单元101可以是顺序输入由例如数字静态照相机、视频照相机等捕捉的帧图像数据(也就是说，作为捕捉的移动图片图像的每一帧获得的图像数据)的单元。另夕卜，图像输入单元101可以是输入帧图像数据的功能部分，所述帧图像数据通过移动图片的捕捉而记录在记录介质(诸如，RAM(随机存取存储器)、非易失性存储器、存储卡、光盘和 HDD(硬盘驱动器))中或记录在记录介质上并从该记录介质读取帧图像数据。也就是说，图像输入单元101可以是这样的部分连续帧图像数据段以任意时间间隔被输入到该部分。多个帧图像数据可以按照例如与预定帧速对应的时间间隔顺序输入，或者可以按照相对较高的速度输入。由图像输入单元101接收的帧图像数据根据合成处理单元102的处理能力按照与帧图像数据的原始帧速对应的时间间隔或者按照相对较高速度时间间隔例如在合成处理单元102中顺序地经受处理。合成处理单元102具有动作推移图像产生功能102a、移动物体图像产生功能102b 和附带移动物体图像的动作推移图像产生功能102c。关于动作推移图像产生功能102a，执行使用由图像输入单元101输入的多个帧图像数据中所包括的移动被摄体图像的合成处理，并且产生通过沿预定方向并排地顺序排列多个移动被摄体图像代表移动被摄体的动作推移的动作推移图像数据。例如，在通过捕捉高尔夫挥杆获得的多个帧图像数据的情况下，使执行高尔夫挥杆的人物的图像被识别为移动被摄体，并且产生如图32中所示沿预定方向并排地顺序排列移动被摄体的动作推移图像数据。关于移动物体图像产生功能102b，产生代表根据移动被摄体图像的动作推移移动的移动物体的移动物体图像数据。例如，在高尔夫挥杆的情况下，根据移动被摄体的动作推移移动的移动物体可以是高尔夫球(以下，简称为球)。也就是说，移动物体是第二移动被摄体，它在图像上的位置根据移动被摄体的动作推移而移动。在真实动作中，球从高尔夫挥杆的撞击的时刻开始被高速击打并移动。因此，从撞击的时刻开始捕捉到几帧球图像。因此，例如，关于移动物体图像产生功能102b，实际上从几帧的图像数据中所包括的球图像的位置估计球轨迹，并且产生表达球轨迹的图像。另外，在关于连续帧图像数据球根本未移动的情况下，可通过从挥杆形式估计球轨迹来产生代表球轨迹的图像。关于附带移动物体图像的动作推移图像产生功能102c，合成由动作推移图像产生功能10 产生的动作推移图像和由移动物体图像产生功能102b产生的移动物体图像(例如，移动物体轨迹图像)，并且产生包括移动物体图像的动作推移图像，即附带移动物体图像的动作推移图像数据。在这种实施例的图像处理设备1中，执行使用输入的多个帧图像数据中所包括的移动被摄体图像的合成过程，并且由动作推移图像产生功能10 产生动作推移图像数据。 因此，可以精确地表达移动被摄体的动作推移。另外，关于移动物体图像产生功能102b，产生表达根据移动被摄体的动作推移移动的移动物体(例如，通过移动被摄体的动作击打的球等)的移动物体图像。这种移动物体图像包括表达估计的移动物体轨迹的移动物体轨迹图像等。在这种结构中，使用未实际存在于帧图像数据中的图像并把该图像设置为允许清楚地理解移动物体的动作的图像。另外，通过附带移动物体图像的动作推移图像产生功能102c，移动物体图像与动作推移图像合成，由此产生附带移动物体图像的动作推移图像数据，但移动被摄体的动作推移和移动物体的移动被独立地表达。图2显示图1中显示的图像处理设备1执行的图像处理方法的顺序。在步骤Fl中，图像处理设备1通过图像输入单元101的功能输入帧图像数据。在步骤F2中，合成处理单元102使用动作推移图像产生功能10 基于输入的连续帧图像数据产生动作推移图像数据。在步骤F3中，合成处理单元102通过使用移动物体图像产生功能102b基于例如输入的连续帧图像数据中的球图像产生移动物体图像数据。另外，步骤F2和F3中的处理的顺序可颠倒或者这些处理可同时执行。在步骤F4中，合成处理单元102通过使用附带移动物体图像的动作推移图像产生功能102c合成在步骤F2中产生的动作推移图像数据和在步骤F3中产生的移动物体图像数据，并产生附带移动物体图像的动作推移图像。在步骤F5中，图像处理设备1输出附带移动物体图像的动作推移图像。例如，这个图像被输出为合成了动作推移图像和移动物体图像的静态图像数据。2、第一实施例2-1、图像处理设备的结构以下，将描述相对具体的结构和操作作为第一至第八实施例。首先，关于第一实施例，将描述产生如图3中所示的附带移动物体图像的动作推移静态图像的例子。如图3中所示的附带移动物体图像的动作推移静态图像是执行高尔夫挥杆的人物(和高尔夫球杆)的图像被识别为移动被摄体的图像。该图像包括两段，移动被摄体的图像从左侧到右上并排地顺序排列。另外，下段的左端跟在上段的右端之后，并且移动被摄体的图像从左侧到右下并排地顺序排列。另外，在稍后描述的每个实施例中，在如图3中所示的两段图像中，移动被摄体并排地顺序排列的预定方向将会被描述为左上一右上一左下一右下的方向。这个预定方向不限于这个例子，作为变型例将在稍后描述另一例子。在图3中显示的第一实施例的情况下，移动被摄体图像按照该方向性排列在画面上，但排列直至高尔夫球杆与球接触时的撞击的时刻的移动被摄体图像。另外，画面的下段的大部分由代表球轨迹的图像构造。也就是说，例如，表达被摄体人物的高尔夫挥杆图像直至挥杆的前半部分的撞击为止，然后表达击打的球。也就是说，从紧接在撞击之后的几帧预测并合成球轨迹，由此同时表达直至撞击的挥杆形式和球轨迹。例如，稍后将描述用于实现附带移动物体图像的动作推移静态图像的图像处理设备1的更具体的结构。图4显示实施例的图像处理设备1的结构例子。
图像处理设备1包括输入图像选择单元2、层处理单元3、图像输出单元4、合成图像更新和保持单元5、球轨迹图像产生单元6、图像输入单元10、移动被摄体信息产生单元 11、移动被摄体信息输入单元12、球信息产生单元13、球信息输入单元14和输出装置40。以上描述的每个单元不必局限于构造为该情况下的结构部分。例如，图像输入单元10、移动被摄体信息产生单元11、移动被摄体信息输入单元12、球移动信息产生单元13、 球移动信息输入单元14和输出装置40可构造为具有不同形式的结构部分。另外，关于移动被摄体信息产生单元11和移动被摄体信息输入单元12，可仅提供任何一个单元。类似地，关于球信息产生单元13和球信息输入单元14，可仅提供任何一个单元。另外，关于输入图像选择单元2、层处理单元3、图像输出单元4、合成图像更新和保持单元5和球轨迹图像产生单元6，这些单元中的每一个可由硬件块构造，但可实现为通过计算机装置(诸如，微型计算机)中的软件程序实现的功能块。如上所述构造的图像处理设备1可布置在诸如图像捕捉设备(视频照相机等)和视频再现装置的装置中，或者可构造为专用于图像处理的装置。另外，图像处理设备1可构造为执行与个人计算机等中的软件和硬件协作实现的图像处理功能。图像输入单元10执行成为产生的动作推移图像的来源的帧图像数据组的输入。当图像处理设备1安装在图像捕捉设备上时，图像输入单元10包括透镜系统或光感测元件，并且可构造为从执行信号处理的图像捕捉系统接收帧图像数据并获得捕捉的图像信号的部分。另外，当得到从外部图像捕捉设备获得的捕捉的图像时，图像输入单元10构造为从图像信号接收处理系统接收帧图像数据的部分，该图像信号接收处理系统针对外部设备发送、接收、下载图像信号等。作为该接收处理系统，例如，可采用针对广播波的调谐器单元、外部装置接口单元(诸如，通用串行总线(USB)接口)、有限或无线网络通信单元等。另外，在图像信号被记录在记录介质上(诸如，存储卡(固态存储器)和光盘)或记录介质中的情况下，图像输入单元10可构造为从针对这种记录介质执行再现的再现系统接收帧图像数据的部分。根据图像输入单元10，输入作为移动图片的每个帧图像数据或者通过静态图像连续捕捉等获得的多个帧图像数据，并且图像输入单元10把这种帧图像数据提供给输入图像选择单元2、球轨迹图像产生单元6、移动被摄体信息产生单元11和球信息产生单元13。另外，图像输入单元10可执行预处理。也就是说，图像输入单元10可执行适合处理所需的类型的转换，诸如在接收到移动图片文件的情况下执行每一帧的展开以及在接收到隔行图像的情况下执行至逐行扫描的转换。另外，可执行缩放。移动被摄体信息产生单元11通过使用从图像输入单元10接收的原始数据组(帧图像数据组)或其它外部信息(深度信息等)产生移动被摄体信息。移动被摄体信息是这样的信息从该信息，能够确定在至少输入的帧图像数据中哪个部分是移动被摄体以及哪个部分是背景。移动被摄体信息产生单元11产生与输入的每个帧图像数据对应的移动被摄体信息，并把它提供给输入图像选择单元2。移动被摄体信息可由移动被摄体图像表达，并且在这种情况下，每个像素是移动被摄体还是背景由像素值表达。另外，指示每个移动被摄体的位置的信息可由方程或向量表达。在存在多个被摄体的情况下，除了移动被摄体和背景的分离之外，移动被摄体信息产生单元11还分离每个被摄体，或者可针对每个深度执行分离。在这种情况下，当移动被摄体信息由图像表达时，不使用表达每个像素是移动被摄体还是背景的二进制图像，而是使用表达每个像素属于哪个深度的多值图像(或多通道图像)。另外，可以不在这个实施例的图像处理设备1的装置中执行移动被摄体信息的产生，而是可以接收由另一装置或程序产生的移动被摄体信息。移动被摄体信息输入单元12 是从外部接收关于由图像输入单元10输入的每个帧图像数据的移动被摄体信息的部分。 移动被摄体信息输入单元12输入来自外部的与每个输入帧图像数据对应的移动被摄体信息并把它提供给输入图像选择单元2。因此，关于移动被摄体信息产生单元11和移动被摄体信息输入单元12，可提供它们中的至少一个。然而，由移动被摄体信息产生单元11产生的移动被摄体信息和由移动被摄体信息输入单元12输入的移动被摄体信息可以与彼此一起使用，从而在这种意义上可以有效地既提供移动被摄体信息产生单元11又提供移动被摄体信息输入单元12。球信息产生单元13通过使用从图像输入单元10接收的原始图像组(帧图像数据组)产生球信息(移动物体信息)。球信息是这样的信息从该信息，能够确定哪个部分是作为移动物体的球图像。例如，关于帧图像数据的每个像素，球图像部分和其它部分由像素值表达。球信息产生单元13执行经受每个输入帧图像数据的图像分析的球图像的物体识另IJ，作为其结果产生代表球图像的位置的球信息并把它提供给球轨迹图像产生单元6。另外，可以不在这个实施例的图像处理设备1的装置中执行球信息的产生，而是可以接收由另一装置或程序产生的移动被摄体信息。球信息输入单元14是从外部接收关于由图像输入单元10输入的每个帧图像数据的球信息的部分。球信息输入单元14输入来自外部的与每个输入帧图像数据对应的球信息并把它提供给球轨迹图像产生单元6。因此，关于球信息产生单元13和球信息输入单元14，可提供它们中的至少一个。 然而，由球信息产生单元13产生的球信息和由球信息输入单元14输入的球信息可以与彼此一起使用，从而在这种意义上可以有效地既提供球信息产生单元13又提供球信息输入单元14。另外，作为球信息，可以从球信息输入单元14输入从外部提供的球轨迹信息自身。输入图像选择单元2针对从图像输入单元10顺序提供的帧图像数据执行产生动作推移图像的处理。也就是说，输入图像选择单元2选择在层处理单元3的合成处理中必须使用的图像数据并把合适的图像组合输出到层处理单元3。另外，输入图像选择单元2把合成处理所需的信息(诸如，与输出给层处理单元3的帧图像数据对应的移动被摄体信息和用于合成的坐标信息)输出给层处理单元3。在图4中，关键帧确定单元21和坐标计算单元22显示在输入图像选择单元2中。 关键帧确定单元21执行关键帧确定处理或者在关键帧确定处理的基础上执行输出给层处理单元3的帧图像数据的选择。另外，坐标计算单元22执行用于合成处理的坐标计算。
关于作为动作推移图像的最终输出图像，关键帧是保持相同的静态图像作为动作推移轨迹并具有彼此不同的时间轴的多个图像。例如，通常认为，在时间上连续的帧图像数据组之中，按照规则间隔每单位时间捕捉的帧被设置为关键帧，但该间隔不必在时间上是规则的，而是可以改变为适合在视觉上识别将要捕捉的物体的动作推移的间隔。关键帧确定单元21执行在从图像输入单元10顺序提供的帧图像数据之中选择成为关键帧的帧图像数据的处理。如稍后所描述，在产生动作推移静态图像的情况下，仅有选择的关键帧经受由层处理单元3执行的处理。球轨迹图像产生单元6使用输入帧图像数据或球信息执行处理并产生球轨迹图像。在图4中，球坐标计算单元61、球轨迹预测单元62、图像合成单元63、球轨迹图像保持单元64以及球背景提取和保持单元65显示在球轨迹图像产生单元6中。球坐标计算单元61计算作为每个帧图像数据中的球图像的位置的坐标。球轨迹预测单元62从每个帧图像数据的球坐标预测球轨迹。例如，可以通过使用当前帧图像数据和紧挨着的前一个帧图像数据的球位置坐标估计轨迹，从该轨迹能够确认球移动。关于在球位于帧之外之后的轨迹，通过捕捉到球的帧中的球坐标和当捕捉图像时的帧时间间隔从移动距离能够估计这个轨迹。图像合成单元63产生球轨迹图像数据。根据每个帧图像数据的球坐标，顺序地合成球图像，由此可以产生球轨迹图像。另外，在未捕捉到球的帧中，例如，根据由球轨迹预测单元62预测的球轨迹合成球图像，由此可以产生球轨迹图像。另外，图像合成单元63可通过使用作为抽象图像的球表达图像产生表达估计的球轨迹的图像。另外，这里描述的术语“抽象”意味着这个图像不是实际捕捉的球图像(拍摄的图像)，这个图像包括多种图像，诸如代表球的标记图像、球的动画图像和球轨迹的图像。球轨迹图像保持单元64存储并保持由图像合成单元63产生的球轨迹图像。球背景提取和保持单元65从例如帧图像数据提取球轨迹图像的背景图像并保持该背景图像。另外，可保持抽象背景。另外，这里描述的术语“抽象”意味着这个图像是不同于实际捕捉的背景图像(在图像捕捉期间拍摄的背景图像)的图像，并且这个图像包括多种图像，诸如单色图像、动画图像和影像图像。层处理单元3包括层分离单元31、层加工单元32和层合成单元33，并执行产生动作推移图像的处理和产生附带移动物体图像的推移图像的处理。关于动作推移图像的产生，层分离单元31通过使用移动被摄体信息执行输入帧图像数据的层分离。术语“层”意味着移动被摄体部分、背景部分和关于一帧图像数据彼此分离的类似部分中的每一个。层分离单元31基于例如移动被摄体信息分别把经受层合成的范围内的输入图像和紧挨着的前一个图像中的每一个分离成背景和移动被摄体，并产生每一层的图像。在存在多个移动被摄体并且获得每个深度的情况下，它们被分离成移动被摄体的数量+多个背景层的数量。层加工单元32针对每个分离的层执行处理，诸如切割、缩放和坐标移动。也就是说，针对层分离的每个层执行多种处理，从而每个层被处理以具有能够合成的类型。由层加工单元32执行的处理主要包括几何计算(诸如，“缩放”、“旋转”和“平行移动”)，但也可以执行诸如动作部分的强调的图像处理。所述缩放根据关键帧的数量、输出图像的尺寸等被确定。层合成单元33使用处理过的层或紧挨着的前一个合成图像执行合成处理。也就是说，基于由层加工单元32处理过的图像、紧挨着的前一个合成图像、移动被摄体信息等执行将要输出的图像的合成。在上述合成中，基于移动被摄体信息确定反映哪个层的像素， 并且产生输出图像。可从单个层的像素选择该像素。然而，多个层的像素可以混合并输出ο另外，层合成单元33执行动作推移图像和球轨迹图像的合成处理，并产生附带移动物体图像的动作推移图像。在这种情况下，例如，从球轨迹图像产生单元6提供的球轨迹图像作为具有最高优先级的层被合成到动作推移图像中。图像输出单元4把由层处理单元3合成的合成图像(附带移动物体图像的动作推移图像)输出到输出装置40。输出装置40包括用作动作推移图像的输出目的地的多种装置，诸如监视器装置和存储装置。图像输出单元4的动作推移图像的具体输出目的地根据系统而不同，并且显示输出、部署于存储器、写到外部存储介质(诸如，硬盘、闪存)和网络目的地等可以是例子。在产生附带移动物体图像的动作推移静态图像的情况下，图像输出单元4把通过针对由预定数量的关键帧构成的帧图像数据执行动作推移图像的合成以及另外通过执行球轨迹图像的合成完成的作为附带移动物体图像的动作推移静态图像的一条帧图像数据输出给输出装置40。另外，关于产生动作推移静态图像的处理，图像输出单元4把合成图像数据输出给合成图像更新和保持单元5以用于这个数据的更新存储，以便在处理下一个帧图像数据时使用当前合成数据作为紧挨着的前一个已有合成图像数据。在产生动作推移静态图像的处理期间，合成图像更新和保持单元5保持每个时间点的合成图像数据。例如，在产生动作推移静态图像时，合成图像更新和保持单元5更新并存储每个时间点的从图像输出单元4输出的合成图像。例如，合成图像更新和保持单元5更新并存储在合成处理中所需的过去的合成图像数据作为紧挨着的前一个数据、第二紧挨着的前一个数据等。另外，合成图像更新和保持单元5存储并保持在产生每个合成图像时的关键帧信息、移动被摄体信息等。在上述图4的结构中，图像输入单元10是与图1中显示的图像输入单元101对应的部分。图1的合成处理单元102中的动作推移图像产生功能10 由输入图像选择单元 2、层处理单元3和合成图像更新和保持单元5中的处理实现。移动物体图像产生功能102b由球轨迹图像产生单元6中的处理实现。附带移动物体图像的动作推移图像产生功能102c由层处理单元3中的处理实现。2-2、附带移动物体图像的动作推移图像的产生这里，将给出关于主要由输入图像选择单元2、层处理单元3、图像输出单元4、合成图像更新和保持单元5、球轨迹图像产生单元6实现的产生附带移动物体图像的动作推移图像的处理的例子的描述。首先，如图3中所示，基于通过捕捉移动图片或者通过连续捕捉例如具有执行高尔夫挥杆的人物作为被摄体的静态图像获得的多个帧图像数据，产生由根据这个实施例的图像处理设备1产生的附带移动物体图像的动作推移图像。在图3中显示的动作推移静态图像中，通过使用多个帧图像数据表达在连续高尔夫挥杆的时间段期间的多个时间点的图像。另外，在执行高尔夫挥杆的人物的移动被摄体图像中，不存在例如高尔夫球杆的末端消失等的情况，在左图像和右图像不彼此部分交叠的同时表达每帧的全部的移动被摄体(人物和高尔夫球杆)。也就是说，获得这样的图像 在该图像中，使用多个帧图像作为动作推移图像的动作的充分表达和移动被摄体的动作范围的合适表达彼此兼容。除此之外，还表达移动物体(球)的轨迹。通过以下描述的处理，实现附带移动物体图像的动作推移图像。图5(a)至5(f)显示产生附带移动物体图像的动作推移图像的处理的图像。图5(a)示意性地显示输入到输入图像选择单元2的图像数据。例如，假设该图像数据是移动图片数据，FR1、FR2、FR3、...中的每一个分别表达一段帧图像数据。输入图像选择单元2从作为这种移动图片的在时间上连续的帧中选择关键帧。 例如，在每五帧中的一帧(即每隔四帧)被设置为关键帧的情况下，附带0的帧FR1、FR6、 FR11、FR16、FR21、...成为关键帧。图5B显示每个关键帧的移动被摄体图像的内容作为图形类型。在产生动作推移静态图像的情况下，仅关键帧用于合成处理。在这种情况下，输入图像选择单元2向层处理单元3发送关键帧以及从层处理单元3接收关键帧。通过稍后描述的处理，每当从输入图像选择单元2顺序提供帧FR1、FR6、FR11、 FR16、FR21、...的图像时，层处理单元3顺序执行合成处理，并产生如图5C中所示的动作推移静态图像。此时，以这样的方式执行合成处理移动被摄体的关键帧的当前合成的图像交叠在合成的图像上，直到该时刻为止。另外，图5D和5E显示由球轨迹图像产生单元6处理的图像。例如，假设帧FR21 是在当高尔夫球杆与球接触时的撞击的时刻的图像。球存在于这个帧FR21之后的几帧上。现在，当假设在帧FR25中球已经位于帧之外时，例如，图5D中显示的球图像存在于帧FR21至FRM的图像上。球轨迹图像产生单元6的球坐标计算单元61计算帧FR21至FRM的图像上的球图像的坐标。球轨迹预测单元62从每帧的球坐标估计球轨迹。图像合成单元63执行球图像的合成处理等，并产生图5E中显示的球轨迹图像数据。作为球轨迹层的数据，把这个球轨迹图像数据发送给层处理单元3以及从层处理单元3接收这个球轨迹图像数据。层处理单元3相对于图5C中显示的动作推移图像数据合成具有最高优先级的球轨迹层的数据(球轨迹图像数据)。以这种方式，如图5F中所示，产生作为附带移动物体图像的动作推移图像的包括球轨迹的动作推移静态图像。
另外，在如图3中所示的第一实施例的图像例子的情况下，表达移动被摄体的动作推移图像直至撞击的时刻，从而根据图5的描述，至关键帧FR21的图像被反映到动作推移图像。在稍后描述的实施例中，撞击之后的关键帧(例如，FR26、FR31)的移动物体图像可以被包括在动作推移图像中。作为执行这种图像合成的层处理单元3的处理，首先，产生动作推移图像的处理如下。层分离单元31基于例如移动被摄体信息分别把经受层合成的范围内的输入图像和紧挨着的前一个图像中的每一个分离成背景和移动被摄体，并产生每一层的图像。图6A显示输入图像(或者帧图像数据的一段)和关于帧图像数据的移动被摄体 fn息ο如上所述，输入图像选择单元2输出从图像输入单元10向层处理单元3顺序提供的帧图像数据？1 1、？1 2、？1 3、...之中成为关键帧的帧图像数据(例如，F1)。另外，从移动被摄体信息产生单元11或移动被摄体信息输入单元12向输入图像选择单元2提供与每个帧图像数据对应的移动被摄体信息。当输入图像选择单元2把作为关键帧的帧图像数据提供给层处理单元3时，移动被摄体的与帧图像数据对应的信息也被提供给层处理单元3。提供给层处理单元3的帧图像数据和移动被摄体信息显示在图6(a)的上端和下端。在这里，移动被摄体信息由二进制值表达。也就是说，“1”被给予构成移动被摄体的像素，“0”被给予构成除移动被摄体之外的背景的像素。在图6(a)的下端，无色的部分代表 “ 1 ”( g卩，移动被摄体)，黑色部分代表“0”(即，背景)。层分离单元31通过使用这种移动被摄体信息分离输入帧图像数据。分离之后的移动被摄体层和背景层显示在图6(b)中。图6(b)的上端显示的移动被摄体层成为通过从图6 (a)中显示的输入图像提取移动被摄体部分(即，通过仅提取具有移动被摄体信息“1”的像素)形成的图像。另外，图6(b)的下端显示的背景层成为通过从图6(a)中显示的输入图像提取背景部分(即，通过仅提取具有移动被摄体信息“0”的像素)形成的图像。另外，当假设存在多个移动被摄体的情况时，使用三值或更多的多值移动被摄体信息。在这种情况下，在移动被摄体信息产生单元11或移动被摄体信息输入单元12中，产生(或者获取)根据所述多个移动被摄体的深度(沿深度方向的图像上的前后关系)具有不同值的移动被摄体信息。在这种情况下，层分离单元31执行分离以具有移动被摄体的数量+背景的数量的层。层加工单元32针对层分离的每个层执行多种处理，从而每个层被处理以具有能够合成的类型。关于动作推移图像，并不针对作为目标的输入帧图像的全部区域执行处理，而是按照切割该区域的一部分的方法执行处理。另外，移动被摄体有效的范围和保留在最终图像上的背景区域彼此不同。当作为输入帧图像数据的图像的宽度和高度设置为Wimg和Himg时，推移动作有效区域的宽度和高度设置为Wmov和Hmov，并且剩余背景区域的宽度和高度设置为Wback和Hback，例如，假设图7A至7C中显示的区域。另外，图7A至7C中显示的区域用于说明并且本发明不限于此。图7A至7C中显示的推移动作有效区域变为用于切割主要移动被摄体的范围。另夕卜，剩余背景区域是用作合成处理中的背景图像的区域。关于推移动作有效区域的这种值(Wmov和Hmov)或剩余背景区域的值(Wback和 Hback)，根据被摄体的推移方向(也就是说，当被表达为动作推移图像时图像在时间上行进的方向)，宽度可以相同或者长度可以相同。在每个移动被摄体图像类似于图3中显示的动作推移图像沿横向方向推移的情况下，当高度(Hmov和Hback)具有与原始帧图像数据的高度(Himg)的值相同的值时经常是非常合适的，类似于图7B中显示的例子。另外，在每个移动被摄体图像沿垂直方向推移的情况下，当宽度(Wmov和ffback) 具有与原始帧图像数据的宽度(Wimg)的值相同的值时经常是非常合适的，类似于图7C中显示的例子。在动作物体是人物并且这个人物站立(像是体育动作的形式确认的情况)等的情况下，经常发生横向推移，但在动作移动主要沿垂直方向发生的情况下，可经常发生垂直推移。以这种方式，推移方向和根据推移方向的每个图像的大小在很大程度上取决于将要捕捉的物体。图8A至8C显示根据图7B中显示的例子设置推移动作有效区域和剩余背景区域的例子。图8A显示原始输入帧图像数据，该帧图像数据的大小假设为例如 VGA(640X480)。推移动作有效区域和剩余背景区域假设为具有相同的中心。推移动作有效区域被设置为具有320的宽度Wmov和480的高度Hmov的区域，如图8B中所示。剩余背景区域被设置为具有160的宽度Wfback和480的高度Hback的区域，如图 8C中所示。这个例子仅是说明性的，实际上，可根据被摄体的大小或者其移动合适地设置这些区域，然后可以切割用于合成处理的图像。层合成单元33基于例如由层加工单元32处理的输入图像(被设置为当前关键帧的帧图像数据)、紧挨着的前一个关键帧图像、移动被摄体信息和在该时间点已有的合成图像数据执行将要输出的图像的合成。另外，所述紧挨着的前一个关键帧图像是在紧挨着的前一时间从输入图像选择单元2输入并用于合成处理的图像。然而，这个图像可存储在层处理单元3中直到这个处理时间点为止，或者可存储在合成图像更新和保持单元5中以及可以在合成处理时与该时间为止的合成图像数据一起被从合成图像更新和保持单元5读出。将使用图9描述关于输入时间(当前关键帧)和紧挨着的前一关键帧的合成时的视点。通过由上述层分离单元31执行的处理，输入的当前关键帧被分离成移动被摄体层和剩余背景层。另外，紧挨着的前一关键帧也被分离成移动被摄体层和剩余背景层。
图9A至9C显示关于这四个层的合成。如图9A中所示，最新的输入帧图像数据(当前关键帧)的移动被摄体层具有第一优先级。另外，根据紧挨着的前一合成处理的帧图像数据(紧挨着的前一关键帧)的移动被摄体层具有第二优先级。另外，最新的输入帧图像数据(当前关键帧)的剩余背景层具有第三优先级。另外，根据紧挨着的前一合成处理的帧图像数据(紧挨着的前一关键帧)的剩余背景层具有第四优先级。基于这些优先级，合成四层图像，由此获得图9B中显示的合成图像。这个合成图像被合成到在该时间点已有的合成图像数据的预定区域，从而使用多个关键帧把一个移动被摄体图像新增加到前一合成图像。例如，图10显示在最终产生动作推移静态图像之前的任何时间点的合成状态。也就是说，所述时间点是执行关于此时输入的关键帧FRx的合成处理的时间点。当前输入的关键帧FRx的推移动作有效区域和在当前处理时间点已有的在输入紧挨着的前一关键帧时合成的合成图像数据的范围被视为在这个图中显示的范围内。当针对这个图中的区域B通过合成处理加入当前关键帧FRx的图像时，当前关键帧FRx的推移动作有效区域的像素可以按原样被复制到新的合成图像数据上。另外，关于区域C，在该时间点已有的合成图像数据(即，在紧挨着的前一关键帧的合成处理之后的时间点的合成图像数据)的像素可以按原样被复制到新的合成图像数据上。在这种情况下，区域A变成问题。也就是说，在区域A中，当前关键帧FRx中的移动被摄体FRxD的图像和紧挨着的前一关键帧中的移动被摄体FR(x-l)D的图像部分地彼此交叠。关于这个区域A，必须利用图9A中显示的优先级合成每个层。也就是说，关于区域A，层合成单元33通过使用当前关键帧FRx和紧挨着的前一关键帧执行图9中显示的层合成。另外，关于区域B，按原样使用与当前关键帧FRx的区域B 对应的部分。以这种方式，从当前关键帧和紧挨着的前一关键帧获得区域A和B的合成图像。从合成图像更新和保持单元5读出区域A和B的这个合成图像，并把它合成到在这个时间点的其余合成图像数据中。也就是说，随后执行把此时产生的区域A和B连接到已有合成图像数据的区域C的处理。以这种方式，可以获得图10中显示的合成图像数据。这个合成图像数据存储在合成图像更新和保持单元5中，并类似地在与下一关键帧FR(x+l)相关的合成处理中被使用。如上所述，关于在合成时变为交叠区域的区域A，执行图9中显示的层合成，从而在不丢失移动被摄体FRxD的一部分的同时把区域A加入到前一合成图像数据。因此，如图 3中所示，即使当使用多个关键帧时，也可以产生合适地表达移动被摄体的动作的动作推移图像。在如上所述合成动作推移图像之后，如图9C中所示进一步合成球轨迹图像。在这种情况下，球轨迹图像的部分被合成到动作推移图像中作为球轨迹层。另外，在如图3中所示的第一实施例的合成图像的情况下，动作推移图像部分和球轨迹图像部分不彼此交叠，从而不存在与优先级相关的问题。然而，如稍后描述的第五实施例的图17中所示，动作推移图像部分和球轨迹图像部分可彼此交叠。在这种情况下，考虑按照比动作推移图像的每个层中的优先级更高的优先级合成球轨迹层。2-3、处理例子将参照图11和12描述图像处理设备1的具体处理例子。图11显示当产生附带移动物体图像的动作推移静态图像时由输入图像选择单元 2、层处理单元3、图像输出单元4、合成图像更新和保持单元5、球轨迹图像产生单元6执行的处理。在步骤FlOl中，输入图像选择单元2获取这个帧的帧图像数据和移动被摄体信息。另外，球轨迹图像产生单元6获取这个帧的帧图像数据和球信息。如上所述，从图像输入单元10把时间上连续的帧图像数据提供给输入图像选择单元2。每当输入一张帧图像的数据时，在步骤FlOl中，输入图像选择单元2执行获取帧图像数据以及从移动被摄体信息产生单元11 (或移动被摄体信息输入单元1 获取与帧图像数据对应的移动被摄体信息的处理。另外，球轨迹图像产生单元6执行获取帧图像数据以及从球信息产生单元13 (或球信息输入单元14)获取与帧图像数据对应的球移动信息的处理。在步骤F102中，确定当前输入帧是否是处于球撞击完成的状态(在移动物体开始移动之后)的帧。由于从球信息产生单元13或球信息输入单元14提供的球信息，能够进行这项确定。也就是说，当基于球信息确定球正在从图像上的初始位置移动时，确定撞击完成。另外，输入图像选择单元2可执行输入帧图像数据的图像分析，例如确定高尔夫球杆头图像和球图像是否彼此接触，并确定紧接在高尔夫球杆头图像和球图像彼此接触的帧后面的帧之后的帧作为撞击之后的帧。在撞击之前，也就是说，在确定球被击打之前获取每个帧图像数据的时间点，通过步骤F103至FllO中的处理执行动作推移图像的产生。在步骤FlOl中，输入图像选择单元2获取帧图像数据和移动被摄体信息，并在存在撞击之前的帧的情况下在步骤F103中确定这个帧图像数据是否被选择为关键帧。例如， 当如图5中所示执行关键帧的选择时，每五个帧中的一帧(诸如，第一、第六、第十一、...) 被设置为关键帧。在输入帧图像数据是关键帧的情况下，输入图像选择单元2把处理移动到步骤 F104。在输入帧图像数据不是关键帧的情况下，输入图像选择单元2使处理返回到步骤 F101，并执行下一帧图像数据的输入处理。也就是说，在产生动作推移静态图像的处理中， 除关键帧之外的帧不用于合成处理。在步骤F102中获取的帧图像数据是关键帧的情况下，输入图像选择单元2执行使用该帧图像数据进行合成处理的处理。因此，在步骤F104中，执行坐标计算单元22的坐标计算。在这种坐标计算中，计算用于把当前帧图像数据反映到合成图像的像素位置。也就是说，坐标计算是计算用于在最终合成图像的尺寸(动作推移静态图像的尺寸)内应用当前帧图像数据的像素范围的处理。输入图像选择单元2把在这个步骤F104中计算的坐标与当前帧图像数据(当前关键帧图像)和移动被摄体信息一起输出给层处理单元3。在层处理单元3中，首先，在步骤F105中，层分离单元31通过使用输入帧图像数据(当前关键帧图像)、移动被摄体信息、紧挨着的前一关键帧图像、紧挨着的前一关键帧图像的移动被摄体信息执行成为四层的层分离。也就是说，如参照图6所述，执行通过使用移动被摄体信息的移动被摄体层和背景层的层分离，以及如图9A中所示，执行当前关键帧的移动被摄体层、紧挨着的前一关键帧的移动被摄体层、当前关键帧的背景层和紧挨着的前一关键帧的背景层的层分离。另外，关于紧挨着的前一关键帧的移动被摄体层和紧挨着的前一关键帧的背景层，可存储当输入紧挨着的前一关键帧时在步骤F105中执行的层分离结果以用于当前处理。可存储在紧挨着的前一时间输入的关键帧的图像数据和移动被摄体信息以用于这个时间。通过创建图9A中显示的每个层图像，可把四个层的分离存储在存储区域中。然而，在这里，将描述通过创建“层分离信息”执行层分离的例子。这种层分离信息作为像素值表达哪个层最终有效作为紧挨着的前一关键帧图像和当前关键帧图像的推移动作有效区域彼此交叠的部分中(也就是说，在参照10描述的合成对象区域中)的每个像素。这个处理显示在图12中。图12中显示的处理是针对当前关键帧的推移动作有效区域中的所有像素逐个地确定的处理。首先，在步骤F500中，层处理单元3设置当前关键帧的推移动作有效区域中的第一像素作为确定对象。针对确定对象像素，执行步骤F501至F510中的确定处理。在步骤F511中，直到针对这个关键帧的推移动作有效区域中的所有像素的确定处理完成为止，在把步骤F512中的确定对象改变为下一像素的同时重复步骤F501至F510 的确定处理。在步骤F501中，针对确定对象的一个像素，层处理单元3确定该像素是否在合成对象区域内。在确定对象的像素不在合成对象区域内的情况下，该处理前进至步骤F502，层处理单元3把当前关键帧中的确定对象的像素设置为将要复制到合成结果图像(层合成图像)的像素。例如，关于确定对象的像素，像素值“0”被存储到层分离信息。然后，处理前进至步骤F511。例如，针对与图10中的区域B对应的像素，执行步骤F501 — F502的处理。在确定对象的像素在合成对象区域内的情况下，该处理前进至步骤F503，层处理单元3确定该确定对象的像素是否是当前关键帧的移动被摄体区域内的像素。在该确定对象的像素是当前关键帧的移动被摄体区域内的像素的情况下，在步骤F504中，关于该确定对象的像素，像素值“1”被存储于层分离信息。然后，处理前进至步骤F511。像素值“1”是代表图9A中的“第一优先级”的值。例如，在图10的区域A中(在合成对象区域内)，关于当前关键帧的移动被摄体区域的像素(例如，高尔夫球杆的末端部分的像素)，执行步骤F503 — F504的处理。在步骤F503中确定该确定对象的像素不是当前关键帧的移动被摄体区域内的像素的情况下，层处理单元3在步骤F505中确定该确定对象的像素是否在紧挨着的前一关键帧的移动被摄体区域内。在这种情况下，该处理前进至步骤F506，并且关于确定对象的像素，层处理单元3把像素值“2”存储到层分离信息。然后，处理前进至步骤F511。像素值 “2”是代表图9A中的“第二优先级”的值。例如，在图10的区域A中(在合成对象区域内)，关于紧挨着的前一关键帧的移动被摄体区域的像素(例如，构成移动被摄体F(X-I)D等的像素)，执行步骤F505 — F506的处理。在步骤F505中确定该确定对象的像素不是紧挨着的前一关键帧的移动被摄体区域内的像素的情况下，层处理单元3在步骤F507中确定该确定对象的像素是否在当前关键帧的背景区域内。在这种情况下，该处理前进至步骤F508，并且关于确定对象的像素，层处理单元3存储像素值“3”。然后，处理前进至步骤F511。像素值“3”是代表图9A中的“第三优先级”的值。在步骤F507中确定该确定对象的像素不是当前关键帧的背景区域内的像素的情况下，层处理单元3在步骤F509中确定该确定对象的像素是否在紧挨着的前一关键帧的背景区域内。在这种情况下，该处理前进至步骤F510，并且关于确定对象的像素，层处理单元3存储像素值“4”。然后，处理前进至步骤F511。像素值“4”是代表图9A中的“第四优先级”的值。执行上述处理，直至在步骤F511中确定完成关于当前关键帧的推移动作有效区域的所有像素的确定。按照从底部开始的次序，如图9A中所示的合成对象区域中的四个层包括“紧挨着的前一关键帧图像的背景层(第四优先级)”、“当前关键帧的剩余背景层(第三优先级)”、 “紧挨着的前一关键帧图像的移动被摄体层(第二优先级)”和“当前关键帧的移动被摄体层(第一优先级)”。当这些层从底部开始顺序地彼此交叠并且从顶部观看所获得的交叠图像时，这个图像变为输出图像。也就是说，上层具有更高优先级，从而在层自身上方的层中存在有效像素的情况下，这个事实与自身层的像素有效或无效或者具有任何像素值的情况无关。执行图12中显示的处理，从而层分离信息可针对合成对象区域中的每个像素保留有效层的编号。例如，当层分离信息或者像素值是“1”时，这代表在结果图像的这个像素的位置将会使用从具有第一优先级的当前关键帧图像的移动被摄体层提取的像素。另外，例如，当层分离信息或者像素值是“2”时，这代表在结果图像的这个像素的位置将会使用从具有第二优先级的紧挨着的前一关键帧图像的移动被摄体层提取的像素。也就是说，通过层分离信息，表达图9A中显示的每个层。随后，在图11的步骤F106中，层处理单元3执行层加工单元32的加工处理。也就是说，执行层合成所需的处理。另外，作为这个加工处理，可根据输入图像的尺寸和用于在从合成获得的图像上反映输入图像的尺寸执行缩放、图像的旋转等。具体地说，在按原样在合成结果上反映输入图像的每个像素等情况下，可不需要缩放或旋转。随后，层处理单元3在步骤F107中执行层合成，并在当前关键帧中以及在紧挨着的前一关键帧中产生层合成图像。另外，这里描述的术语“层合成图像”是指图10中的区域A和B的图像。
首先，针对在图12的步骤F502中确定为具有像素值“0”的像素(即，根据图10的区域B内的像素)，复制从当前关键帧提取的像素并把该像素按原样应用于层合成图像。针对合成对象区域(区域A)内的每个像素执行层合成。在这种情况下，针对当参考层分离信息时具有像素值“1”的像素的位置，从当前关键帧提取像素并把该像素应用于层合成图像。另外，当像素值为“2”时，从紧挨着的前一关键帧提取像素并把该像素应用于层合成图像。针对具有像素值“3”的像素的位置，从当前关键帧提取像素并把该像素应用于层合成图像。另外，当像素值为“4”时，从紧挨着的前一关键帧提取像素并把该像素应用于层合成图像。如上所述，层分离信息保留这样的信息针对每个像素位置，四层的哪个像素是有效的。因此，针对每个像素位置，根据层分离信息的像素值从当前关键帧或紧挨着的前一帧提取像素并应用该像素，从而针对图10中显示的合成对象区域，执行根据图9中的优先级的合成。通过上述处理，产生与图10中的区域A和B对应的层合成图像，并且在这个层合成图像中，如图10中所示，当前关键帧FRx的移动被摄体FRxD的图像和紧挨着的前一关键帧的移动被摄体FR(x-l)D的图像部分地彼此交叠，从而不会省略当前关键帧FRx的移动被摄体FRxD并表达该移动被摄体FRxD。另外，在层合成处理中，当前关键帧的移动被摄体层具有第一优先级，从而在当前移动被摄体图像和紧挨着的前一移动被摄体图像彼此交叠的部分中，当前帧的(也就是说，在该时点的最新帧的)移动被摄体的图像具有优先级。随后，在步骤F108中，层处理单元3把层合成图像合成到紧挨着的前一图像上。 已有的紧挨着的前一合成图像数据被保持在合成图像更新和保持单元5中，从而层处理单元3把在步骤F107中产生的合成图像合成到从合成图像更新和保持单元5读出的紧挨着的前一合成图像数据上。当根据图10中显示的例子进行描述时，在该时点的已有合成图像数据处于这样的状态合成包括区域C和区域A的区域的每个关键帧图像。针对这个合成图像数据，复制区域A和B的层合成图像。针对区域A，通过层合成覆盖层合成图像。以这种方式，产生图 10中显示的合成图像数据。在步骤F109中，如上所述产生的合成图像数据被从层处理单元3发送给图像输出单元4并被保持在那里。在获取合成图像数据之后，图像输出单元4把它提供给合成图像更新和保持单元5。在步骤FllO中，合成图像更新和保持单元5存储并保持提供的合成图像数据作为用于下一合成处理的已有合成图像数据。也就是说，合成图像更新和保持单元5通过在此时产生的合成图像数据更新已有合成图像数据的内容。处理返回到步骤F101，并继续进行下一帧图像数据的输入处理。另外，在以上描述中，描述了在步骤F107中执行层合成并且在步骤F108中把层合成图像合成到已有合成图像中，但毫无疑问地，当输入第一关键帧时不需要该处理(特别地，合成处理)。在这个时点，还不存在已有合成图像数据。在这种情况下，在步骤F107和F108中，第一关键帧的图像的每个像素被复制到具有图8中显示的尺寸的用于合成的图像数据的右上部分的区域上，产生第一合成图像数据，这个合成图像数据在步骤FllO中被保持在合成图像更新和保持单元5中。在输入第二关键帧之后，存在在该时间的紧挨着的前一关键帧或已有合成图像数据，从而执行上述处理。另外，产生合成图像数据的处理可包括除步骤F107和F108中的处理之外的多种处理。例如，针对区域B的像素，该像素可首先被复制到已有合成图像数据上，可产生关于区域A的层合成图像，然后可以把层合成图像覆盖和复制到已有合成图像数据的区域A上。对于每个关键帧重复步骤FlOl至FllO中的上述处理，由此形成动作推移图像。在这些处理期间，在任何时点，由输入图像选择单元2输入的帧图像数据变为球的撞击的时刻之后的图像。在第一实施例的情况下，制作动作推移图像直至如图3中所示的撞击的时刻为止，从而在撞击的时刻之后的帧图像数据的输入时点，不执行步骤F103至F110。在这种情况下，每当在步骤FlOl中输入帧图像数据时，处理从步骤F102前进至步骤Fill并且重复步骤Fill至F118。在步骤Fill中，球轨迹图像产生单元6的球坐标计算单元61参考当前帧图像数据中的球信息计算球图像的坐标。在步骤Fl 12中，球轨迹预测单元62执行球轨迹预测。通过比较当前步骤Fill中计算的坐标和关于紧挨着的前一图像数据的步骤Fill中计算的坐标可预测这个球轨迹。 另外，在当前帧图像数据涉及在球图像已位于帧外面之后的图像的情况下，通过使用在该时间之前的球轨迹预测并产生球轨迹信息。在步骤F113中，图像合成单元63把作为坐标值或预测值确定其位置的当前球图像合成到紧挨着的前一球轨迹图像上。在步骤F114中，作为合成结果的球轨迹图像数据被存储并保持在球轨迹图像保持单元64中。在步骤F115中，把存储在球轨迹图像保持单元64中的球轨迹图像发送给层处理单元3以及从层处理单元3接收该球轨迹图像，并且由层合成单元33把球轨迹图像合成到动作推移图像中。合成的动作推移图像是在该时点存储在合成图像更新和保持单元5中的合成图像。层处理单元3把合成的图像数据发送给图像输出单元4。在步骤F116中，合成了球轨迹图像的动作推移图像被保持为最新的合成图像。另夕卜，该合成图像被提供给合成图像更新和保持单元5。在步骤F117中，合成图像更新和保持单元5更新并保持提供的合成图像作为最新的动作推移图像。执行上述处理直至在步骤Fl 18中确定自从球位于帧之外时起已过去一帧。因此，根据图5中显示的输入图像数据的每帧的时间顺序，在步骤Fill至F117中执行的处理如下。例如，当帧FR21是在撞击的时刻的图像时，紧接在撞击之后的帧图像数据(即，当球从初始位置移动时的图像)被设置为帧FR22。当输入从帧FRl到帧FR21的帧图像数据时，执行上述步骤F103至Fl 10。
当输入帧FR22时，处理前进至步骤Fill。在这种情况下，首先，由球坐标计算单元61计算帧FR22中的球坐标。在这种情况下的球轨迹变为连接帧FR21之前的静态位置坐标和当前球位置坐标的轨迹。在步骤F113和F114中产生并保持根据这个轨迹的图像，并且在步骤F115中把球轨迹图像与到该点的动作推移图像合成在一起。接下来，当输入帧FR23时，也在步骤Fill中计算球位置的坐标，并且在步骤Fl 12 中通过紧挨着的前一球轨迹和当前坐标预测球轨迹。在步骤F113和F114中产生并保持根据该轨迹的图像，并且在步骤F115中把这个球轨迹图像与此时的最新动作推移图像合成
在一起。当输入帧FRM时也执行这些处理。然后，即使当输入已经在帧外面的图像作为帧FR25时，也执行步骤Fill至F117。 然而，此时，从球信息确定不存在球图像，并且不执行步骤Fill中的坐标的计算。另外，在这种情况下，在步骤F112中根据在紧挨着的前一时间为止确定的球移动估计随后的球移动。可执行这种估计，从而到该点的球轨迹线性延长。另外，例如，可以根据帧FR21和 FR22之间或者帧FR22和FR23之间的球坐标值以及每帧的时间间隔估计球速，从而可以考虑球速估计根据该速度的抛物线轨迹。另外，通过根据撞击的时刻的图像分析球杆头的状态和球的附近的状态可以估计球轨迹。以这种方式，当检测到在球位于帧外面之后的帧图像数据的输入时，基于过去的坐标等估计球轨迹。在步骤F113和F114中产生并保持根据估计的轨迹的球轨迹图像数据。 例如，沿估计的球轨迹布置紧挨着的前一帧图像数据中所包括的球图像并且产生球轨迹图像数据。在步骤F115中，把球轨迹图像数据发送给层处理单元3以及从层处理单元3接收球轨迹图像数据，并且把球轨迹图像数据与到该点的动作推移图像合成在一起。例如，在这个时点合成的图像变为最终表达球的动作推移图像，如图3中所示。在这个时点，在步骤Fl 18中确定自从球位于帧之外时起已过去一帧，从而处理前进至步骤Fl 19。在步骤F119中，图像输出单元4把在该时点保持的合成图像数据(也就是说，在图3中显示的状态下的合成图像数据)输出给输出装置40作为附带移动物体图像的动作推移静态图像数据。以这种方式，由根据这个实施例的图像处理设备1产生并输出附带移动物体图像的动作推移静态图像数据的一段。然而，在图3显示的例子中，还包括球轨迹图像数据的背景。当在步骤F115中把球轨迹图像数据发送给层处理单元3以及从层处理单元3接收球轨迹图像数据时，球背景提取和保持单元65把背景图像发送给层处理单元3以及从层处理单元3接收背景图像，并且这个背景图像被提供用于合成处理。这个球背景图像可通过下面的方式提取。首先，如图13A中所示，考虑一种使用作为左右边缘的除动作推移有效区之外的区域ARl的方法。另外，类似于图13B，可考虑使用作为左右边缘的区域AR2的信息。然而，在这种情况下，使用在撞击的时刻的帧信息。这是因为认为移动被摄体的主体在撞击的时刻不进入动作推移有效区域的左右边缘。球背景提取和保持单元65从帧图像数据提取图13A和1 显示的背景图像，并保持这种提取的背景图像。另外，球背景提取和保持单元65把这种背景数据发送给层处理单元3以及从层处理单元3接收这种背景数据，并允许在合成球轨迹图像时合成所有这种背景数据。另外，层处理单元3可以按照这种方式执行合成处理使背景图像的优先级低于球轨迹图像数据的优先级。根据上述实施例，关于动作推移图像的自动产生，可实现通过可移动范围的扩展的移动被摄体的精确表达和通过并排地排列多个移动被摄体的准确动作推移的时间表达之间的兼容性。具体地，通过层合成，例如在不省略高尔夫球杆的末端的情况下精确地表达了每个动作推移图像，并且可以并排地排列多个移动被摄体图像，从而可以按照时间上非常短的间隔表达动作推移。另外，可以表达根据动作推移移动的移动物体的运动轨迹，从而可以容易地实现对用户很有用的图像(诸如，能够精确地表达体育中的动作的图像)和有趣的图像。另外，在第一实施例的情况下，如图3中所示，形成动作推移图像部分(诸如，高尔夫挥杆)和球轨迹部分不彼此交叠的图像。也就是说，以这种方式执行球轨迹图像数据和动作推移图像数据的合成处理移动物体(球)图像排列在位于沿预定方向并排地顺序排列的多个移动被摄体图像中的最后移动被摄体图像后面的图像区域。通过这种合成处理，获得可容易地既看到动作推移又看到球轨迹的图像。另外，关于球轨迹图像的背景，使用帧图像数据中所包括的背景图像，从而背景在挥杆形式的动作推移图像部分和球轨迹图像部分基本上相同，因此可以获得作为一个静态图像的整体的感觉。另外，根据这个实施例的图像处理设备1可以是能够获取由能够捕捉连续静态图像或移动图片的图像捕捉设备捕捉的多个帧图像数据的设备。例如，图像处理设备1可嵌入在图像捕捉设备中，或者可嵌入在再现捕捉的多个帧图像数据的再现设备中。另外，图像处理设备1可嵌入在这样的设备中该设备接收捕捉的多个帧图像数据并且这种图像数据被发送和输入到该设备。因此，例如，这个图像处理设备可以广泛地应用于蜂窝电话、个人数字助手(PDA)、 个人计算机、视频再现设备、视频编辑设备等。3、第二实施例以下，将描述第二实施例。另外，根据第二实施例的图像处理设备1的结构和处理基本上与第一实施例的图像处理设备1的结构和处理相同，因此仅描述不同的部分。图14显示根据第二实施例产生的附带移动物体图像的动作推移静态图像的例子。
这个第二实施例是在帧图像数据中不存在的图像(诸如，抽象图像)用作球轨迹图像的背景的例子。
首先，在以上描述中，描述了球轨迹图像产生单元6中的球背景提取和保持单元 65可保持帧图像数据中不存在的抽象背景图像作为成为球轨迹的背景的图像。例如，单色图像、动画图像、图像等可以是例子。图14是球轨迹图像的背景由作为一种抽象图像的灰度图像形成的例子。也就是说，在球轨迹图像的背景中，未布置特别有意义的图像，而是设置其浓度仅沿横向方向变化的图像。
在球背景提取和保持单元65中，例如，保持抽象背景图像(诸如，这个灰度背景数据)，并且当合成球轨迹图像时，作为背景图像数据把灰度背景图像发送给层处理单元3 以及从层处理单元3接收灰度背景图像，从而可以获得多种合成图像。
图14中显示的例子仅是说明性的，并且灰度的浓度方向不同于上述例子的背景图像、单色图像(红色、蓝色等的单色图像)、由多种颜色或形状形成的几何图案图像等可用作球轨迹图像的背景。
另外，可合成在实际图像捕捉中可能看不见的背景图像。这种背景图像可包括 雨、雪和晴朗天空的图像或拍摄图像；表达太空、风景、山脉等的动画图像或拍摄图像；多个观众的动画图像或拍摄图像等。
也就是说，当捕捉真实高尔夫挥杆时未获得的图像用作球轨迹图像的背景，并且产生附带移动物体图像的动作推移图像。
以这种方式，可以产生具有很高娱乐价值的有趣图像作为附带移动物体图像的动作推移图像。
另外，根据作为背景的单色或灰度等的使用，存在增加球轨迹图像的可见性的效果。
另外，可以在球背景提取和保持单元中预设置多种抽象背景图像，并且用户可选择将要使用哪个图像作为背景。
另外，用户可输入任意图像并允许这个图像被保持在球背景提取和保持单元中， 并且用户可使用该任意图像作为球轨迹图像的背景。
另外，关于图14中显示的球轨迹图像的背景，使用与在真实图像捕捉时的背景不同的图像。然而，关于动作推移图像部分的背景，(也就是说，执行高尔夫挥杆的被摄体人物的背景)，可使用在帧图像数据中不存在的上述抽象背景图像。
4、第三实施例
以下，将描述第三实施例。另外，根据第三实施例的图像处理设备1的结构和处理基本上与第一实施例的图像处理设备1的结构和处理相同，因此仅描述不同的部分。
图15显示根据第三实施例产生的附带移动物体图像的动作推移静态图像的例子。
第三实施例是通过使用不同于帧图像数据中存在的拍摄的球图像的图像(例如， 抽象图像)产生球轨迹图像自身的例子。
球轨迹图像产生单元6中的图像合成单元63基于由球轨迹预测单元62估计的球轨迹产生球轨迹图像数据。
在第一实施例中，例如，沿球轨迹布置拍摄的球图像，由此通过多个球图像表达球轨迹。
相反地，在第三实施例中，不使用真实球图像，或者可以部分地使用真实球图像， 但球轨迹由不同于真实球图像的图像表达。例如，表达球的符号标记图像、动画球图像、球轨迹自身的图像等可以是例子。
例如，图15中显示的例子是代表在划过空间的同时带着火焰飞行的球(拍摄的球图像或者动画球图像)的图像。
除此之外，例如，可把球轨迹图像数据产生为诸如以下各项的图像激光束、彩虹色线的图像、虚线和在画圆圈的同时前进的线等。
另外，可以考虑作为球，使用诸如星形、三角形和矩形的图形或者除球之外的物品的图像，并且这个图形或图像沿球轨迹布置。
以这种方式，图像合成单元63通过使用抽象图像产生球轨迹图像数据。把这个图像数据发送给层处理单元3以及从层处理单元3接收这个图像数据，并且把这个图像数据与动作推移图像合成在一起，从而可产生如图15中所示的附带移动物体图像的动作推移图像。
以这种方式，利用抽象图像产生球轨迹图像数据，从而获得具有高度娱乐性的多种合成图像，诸如有趣的图像和有一定冲击力的图像。当强调球轨迹时，可以产生容易看见轨迹的图像。
另外，关于用于表达球轨迹的抽象图像，多种抽象图像可预先存储在图像合成单元63中，并且用户可选择将要使用哪个图像。
另外，用户可输入任意图像并允许这个图像被保持在图像合成单元63中，并且用户可使用该任意图像表达球轨迹。
另外，第二实施例的抽象背景图像和抽象球轨迹图像可以保持在一组中，并且用户可指定任意的组。
5、第四实施例
以下，将描述第四实施例。
第四实施例是从外部把球轨迹信息输入到图像处理设备1的例子。
例如，图4中显示的球信息输入单元14变为这样的部分替代帧图像数据内的球位置，球轨迹信息被输入到该部分。
例如，关于已经捕捉的连续帧图像数据，在图1中显示的图像处理设备1外部执行图像分析和轨迹预测处理的情况下，当利用图像处理设备1执行合成时，可视为已经获得与连续帧图像数据对应的球轨迹信息的情况。在这种情况下，可以从球信息输入单元14输入球轨迹信息。
另外，在考虑娱乐性的情况下，不必表达原始球轨迹。例如，作为球轨迹，可考虑波动的球轨迹或者在画圆圈的同时前进的球轨迹。可以从外部把实际上不存在的球轨迹信息输入到图像处理设备1。
如上所述，在从球信息输入单元14输入球轨迹信息的情况下，球轨迹图像产生单元6不执行球坐标计算和球轨迹预测，可基于输入的球轨迹信息确定球(移动物体)的移动轨迹，并且可根据这项确定产生球轨迹图像数据。
因此，可考虑图16中显示的处理例子。
在图16中，步骤102至Fl 10基本上与图11中的步骤102至Fl 10相同，从而将不会重复对这些步骤的描述。
在图16的情况下，在步骤FlOlA中，输入图像选择单元2执行帧图像数据和移动被摄体信息的获取。另外，不必像图11中的步骤FlOl那样对于每个数据输入执行球信息的获取的处理。
根据在步骤F102中被确定为球撞击结束之后的帧为止的每个帧图像数据的接收，通过如图11中所述的步骤103至FllO中的处理产生动作推移图像数据。
当在步骤F102中确定步骤FlOlA中获取的帧图像数据为球撞击结束之后的帧时， 处理前进至步骤F120。
在步骤F120中，球轨迹图像产生单元6从球信息输入单元14获取球轨迹信息。
在步骤F121中，球轨迹图像产生单元6的图像合成单元63基于输入的球轨迹信息产生球轨迹图像数据。
在步骤F122中，把由图像合成单元63产生的球轨迹图像发送给层处理单元3以及从层处理单元3接收该球轨迹图像，并且把球轨迹图像合成到在该时点保持在合成图像更新和保持单元5中的动作推移图像数据中。
在步骤F123中，由层处理单元3产生的合成图像(即，附带移动物体图像的动作推移静态图像)被保持在图像输出单元4中，并且在步骤F119中，附带移动物体图像的动作推移静态图像被输出到输出装置40。
如上所述，球轨迹图像数据可通过使用从外部输入的球轨迹信息来产生，并且可以是动作推移图像数据。
在这种情况下的球轨迹图像数据中，类似于第一实施例，通过根据球轨迹信息布置存在于帧图像数据中的球图像，可以产生球轨迹图像数据，并且可以产生如图3中所示的图像合成图像。另外，通过类似于第三实施例产生抽象球轨迹图像可产生如图15中所示的合成图像。
另外，在类似于图3使用从帧图像数据提取的球图像的情况下，可利用步骤FlOl 的处理替换图11中的步骤F101A，球轨迹图像产生单元6可输入与帧图像数据对应的球信息，并且可基于球信息从任意帧图像数据提取图像。
6、第五实施例
以下，将描述第五实施例。在以上描述的第一实施例中，通过并排地排列到撞击为止的一系列挥杆形式中的移动被摄体图像形成动作推移图像。
通过并排地排列撞击之后的移动被摄体图像，第五实施例也表达例如挥杆击球后的弧形动作。除此之外，还表达球轨迹图像。
附带移动物体图像的动作推移图像的例子显示在图17中。如这个图中所示，通过使用从左上端到右下端的画面的全部区域表达挥杆形式。
例如，使在撞击的时刻的图像中的球位置作为开始点，并且球轨迹图像交叠在动作推移图像上。
将参照图18描述产生这种附带移动物体图像的动作推移静态图像的处理。另外， 图像处理设备1的结构与图4的图像处理设备1的结构相同。
在步骤F201中，输入图像选择单元2确定作为合成对象的所有一系列帧图像数据的获取是否结束。
在从第一帧图像数据的获取到最后帧图像数据的获取的获取每个帧图像数据的时点，处理从步骤F201前进至步骤F202，并且输入图像选择单元2执行帧图像数据的获取。
从图像输入单元10把时间上连续的帧图像数据提供给输入图像选择单元2。每当提供一张帧图像数据时，在步骤F202中，输入图像选择单元2获取帧图像数据，并且从移动被摄体信息产生单元11 (或移动被摄体信息输入单元1 获取与帧图像数据对应的移动被摄体信息。另外，球轨迹图像产生单元6获取帧图像数据，并且从球信息产生单元13 (或球信息输入单元14)获取与帧图像数据对应的球移动信息。
在步骤F203中，确定此时获取的帧图像数据是否是球撞击结束之后的图像的帧。 也就是说，确定帧图像数据是否是移动物体(球)开始移动之后的图像。
当帧图像数据不是球撞击结束之后的帧时，处理前进至步骤F209。
步骤F209至F216中的处理基本上与图11的步骤F103至FllO相同，从而将不会重复对它们的描述。在图18的情况下，首先，在获取到高尔夫球杆头与球接触时的撞击的时刻为止的每个帧图像数据的时点，在步骤F209至F216中，产生使用关键帧的移动被摄体图像和背景图像的动作推移图像。
在任意时点，输入到输入图像选择单元2的帧图像数据变为球的撞击的时刻之后的图像。在这种情况下，处理从步骤F203前进至步骤F204。在步骤F204中，确定此时获取的帧图像数据是否是自从球位于帧外面时起已过去一帧之后的帧图像数据。
例如，参照图5中显示的例子进行描述。当获取帧FR22至FR25作为紧接在球撞击之后位于帧外面的第一帧时，执行步骤F205至F208中的处理。
步骤F205至F208中的处理基本上与图11中的步骤Fl 11至Fl 14相同。
因此，例如，当获取图5中显示的帧冊22至FR25时，执行下面的处理。
例如，在当输入帧FR22作为紧接在撞击之后的帧图像数据时的时点，处理前进至步骤F205。在这种情况下，由球坐标计算单元61计算帧FR22中的球坐标。关于在这种情况下的球轨迹，在步骤F206中，把连接帧FR21之前的静态位置坐标和当前球位置坐标的轨迹视为球轨迹信息。
在步骤F207中由图像合成单元63产生与这个球轨迹信息对应的图像并且在步骤 F208中由球轨迹图像保持单元64保持该图像。
然后，处理前进至步骤F209。
在这种情况下，当帧FR22被设置为关键帧时，通过使用这个帧FR22的移动被摄体图像执行步骤F210至F216中的处理。也就是说，连续地执行动作推移图像的合成。当帧 FR22未被设置为关键帧时，处理返回到步骤F201，并且获取下一帧图像数据。
即使当获取帧FR23作为下一帧图像数据时，也执行相同的处理。
也就是说，在步骤F205中计算球位置坐标，并且在步骤F206中，通过使用紧挨着的前一球轨迹和当前坐标预测球轨迹。在步骤F207和F208中产生并保持根据该轨迹的图像。然后处理前进至步骤F209。当帧FR23是关键帧时，也执行步骤F210至F216。
对于输入下一帧FRM的情况也是如此。
然后，即使当输入球已经位于帧外面的图像作为帧FR25时，执行步骤F205至 F208。然而，此时，从球信息确定不存在球图像，并且不执行步骤F205中的坐标的计算。另外，在这种情况下，在步骤F206中从直到紧挨着的前一时间为止确定的球移动估计随后的球移动。
可执行这种估计，从而到该点的球轨迹为线性延长。另外，例如，可以从帧FR21和 FR22之间或者帧FR22和FR23之间的球坐标值以及每帧的时间间隔估计球速，从而可以考虑球速估计根据该速度的抛物线轨迹。
另外，通过从撞击的时刻的图像分析球杆头的状态和球的附近的状态可以估计球轨迹。
以这种方式，当检测到在球位于帧外面之后的帧图像数据的输入时，基于过去的坐标等估计球轨迹。在步骤F207和F208中产生并保持根据估计的轨迹的球轨迹图像数据。 例如，沿估计的球轨迹布置紧挨着的前一帧图像数据中所包括的球图像并且产生球轨迹图像数据。
然后，处理前进至步骤F209。当帧FR25是关键帧时，也执行步骤F210至F216。
随后，即使当输入帧FM6时，处理从步骤F203前进至F204。然而，在此时点，确定自从球位于帧外面时起已过去一帧，从而不执行步骤F205至F208并且处理前进至步骤 F209。当帧FM6是关键帧时，也执行步骤F210至F216。
对于执行帧FR27之后的输入的情况也是如此。
然后，当所有一系列帧图像数据的获取完成时，处理从步骤F201前进至F217。
在这个时点，合成使用一系列帧图像数据的每一帧的动作推移图像。例如，动作推移图像是这样的动作推移图像如图17中所示并排地排列顺序包括向后挥杆、撞击和击球后的弧形动作的挥杆过程的图像。这个动作推移图像被保持在图像输出单元4以及合成图像更新和保持单元5中。
然而，在这个时点，球轨迹图像未被合成到动作推移图像中。
因此，在步骤F217中，执行把球轨迹图像合成到动作推移图像中的处理。也就是说，把通过步骤F205至步骤F208中的处理产生并保持在球轨迹图像保持单元64中的球轨迹图像数据发送给层处理单元3以及从层处理单元3接收该球轨迹图像数据。在层处理单元3中，执行合成保持在合成图像更新和保持单元5中的最新动作推移图像和球轨迹图像数据的处理。
另外，执行合成从而优先于动作推移图像显示此时的球轨迹图像。
以这种方式，例如，产生如图17中所示的附带移动物体图像的动作推移静态图像。
在步骤F218中，合成图像数据被发送给图像输出单元4并被保持在那里。在步骤 F219中，图像输出单元4把在该时间保持的合成图像数据(也就是说，在图17的状态下的合成图像数据)输出给输出装置40作为附带移动物体图像的动作推移静态图像数据。
以这种方式，由图像处理设备1产生一张附带移动物体图像的动作推移静态图像数据并输出该图像数据。
如上所述，在第五实施例中，图像处理设备1以这样的方式执行合成球轨迹图像数据和动作推移图像数据的处理移动物体(球)图像被布置为叠加在沿预定方向并排地顺序排列的多个移动被摄体图像上。
以这种方式，如图17中所示，移动被摄体的数量很多，从而获得这样的动作推移图像在相对较宽的时间间隔中表达挥杆形式等并且与此对应地表达球轨迹。
以这种方式，可以实现动作推移图像的精确和详细表达、球轨迹图像的表达和已有表达。
另外，在这种情况下，还可以通过利用类似于第三实施例的抽象图像表达球轨迹来产生很有娱乐性的合成图像。
另一方面，在第五实施例的情况下，动作推移图像和球轨迹图像彼此交叠，从而在一些情况下这两种图像可能都难以看见。
因此，可以在交叠部分使这些图像中的一方不可见。
例如，在图19中，在撞击之后的移动被摄体图像和背景图像由虚线表达，但实际上这个虚线部分由例如单色图像、变灰图像等形成。也就是说，关于在撞击之后的关键帧， 例如，除了通过步骤F212中的层加工处理加工成单色图像、变灰图像等之外，还执行步骤 F213中的层合成处理。
以这种方式，不会发生由于交叠导致的模糊，从而能够获得清楚地表达球轨迹的附带移动物体图像的动作推移静态图像。
7、第六实施例
以下，将描述第六实施例。这个第六实施例将被描述为在类似于第五实施例输出附带移动物体图像的动作推移静态图像之后根据用户操作的处理。然而，这个实施例也可以应用于在输出第一实施例的附带移动物体图像的动作推移静态图像之后根据用户操作的处理。
例如，假设产生如图17中所示的附带移动物体图像的动作推移静态图像并把该图像显示在作为输出装置40的显示装置上。
关于这个静态图像，用户执行如图20中所示指定任意帧的移动物体图像的操作输入。当显示装置具有触摸面板功能时，通过手指等的触摸输入可执行这种操作。另外，通过操作在画面上移动的光标、鼠标指针等可执行指定输入。另外，通过使用操作单元(诸如，遥控器和硬件按键)可执行该指定。可采用任何指定方法，只要用户能够指定显示的动作推移图像中并排地显示的任意移动被摄体图像即可。
当用户指定任意移动被摄体图像时，如图21中所示输出放大这个指定的移动被摄体图像并且合成球轨迹图像的合成图像。
为了实现这种动作，图像处理设备1具有图22的结构。另外，把相似的标号给予与图4的部件相同的部件，并且将不会重复对它们的描述。图22和图4之间的差异在于 在图22中提供了任意帧指定单元7。
任意帧指定单元7检测用户的操作输入，指出所指定的移动被摄体，并向层处理单元3通知所指出的移动被摄体。
这个任意帧指定单元7构造为这样的单元该单元检测触摸面板输入、鼠标指针输入、遥控器输入等，并确定由用户指定的移动被摄体图像。
图像处理设备1具有上述结构并执行图23中显示的处理。
另外，在图23的步骤F201至F219中，执行与第五实施例的图18相同的处理。在这个第六实施例中，在步骤F220之后执行上述放大显示。
通过步骤F201至F219，例如，产生如图17中所示的附带移动物体图像的动作推移静态图像，显示并输出该图像。
关于这种显示，如图20中所示，例如，用户可通过触摸操作执行指定操作。在步骤 F220中，任意帧指定单元7检测用户的指定输入。例如，画面上所指定的位置的坐标与附带移动物体图像的动作推移静态图像的坐标相关联，并且确定是否指定了哪个帧图像数据 (关键帧)的移动被摄体图像的区域。任意帧指定单元7向层处理单元3通知确定的关键帧的编号。
层处理单元3执行具有指定的编号的图像的放大处理作为步骤F221中的处理。
也就是说，层处理单元3切割保持在合成图像更新和保持单元5中的动作推移图像之中指定的帧的移动被摄体图像，并由层加工单元32对这个切割的移动被摄体图像进行放大处理。
另外，在步骤F222中，层处理单元3执行球轨迹图像的合成处理。也就是说，层处理单元3接收保持在球轨迹图像保持单元64中的球轨迹图像数据，并由层合成单元33合成这个球轨迹图像数据和在层加工单元32中放大的指定帧的移动被摄体图像。然后，层处理单元3把合成图像数据输出给图像输出单元4。
在步骤F223中，图像输出单元4存储并保持提供的合成图像。在步骤F2M中，图像输出单元4把合成图像提供给输出装置40 (例如，显示装置)以进行显示和输出。以这种方式，如图21中所示显示合成了放大的关键帧和球轨迹图像的合成图像。
如上所述，在第六实施例中，提供任意帧指定单元7作为指定沿预定方向并排地顺序排列的多个移动被摄体图像之中的一个移动被摄体图像的指定单元。另外，在层处理单元3中，放大该帧的移动被摄体图像并把它与球轨迹图像合成在一起。输出这个合成图像，从而用户能够获得表达任意移动被摄体图像和球轨迹图像的图像。
以这种方式，合成在所希望的时刻(姿势)的图像和球轨迹图像，由此产生新图像，从而可以增加动作推移图像的可用性。例如，可容易地产生用户以最优选的姿势击球的图像。
另外，关于背景图像，可以按原样使用指定的帧的背景图像。也就是说，关于指定的帧，可以以这样的方式执行合成不仅放大移动被摄体部分还放大背景部分，并且球轨迹图像交叠在放大的部分上。
另外，可以以这样的方式产生图21中显示的合成图像不从帧提取背景图像，而是使用在第二实施例中描述的抽象背景。
另外，在以上描述中，如图17中所示通过交叠动作推移图像和球轨迹图像合成的合成图像在图23的步骤F219中被呈现给用户，并且在步骤F220中允许用户指定任意帧。 除此之外，像第一实施例中的图3那样，也可以存在这样的情况用户指定任意帧，合成指定帧的放大图像和球轨迹图像，并且在动作推移图像和球轨迹图像不交叠的合成图像被呈现给用户的状态下产生如图21中所示的合成图像并输出产生的合成图像。
另外，可以考虑例如，在步骤F219中，呈现在未合成球轨迹图像的状态下的动作推移图像，允许用户选择任意帧，然后利用步骤F221至F2M中的处理产生并输出如图21 中所示的合成图像。
8、第七实施例
以下，将描述第七实施例。第七实施例是这样的例子允许用户调整附带移动物体图像的动作推移静态图像的布局或者这个布局被自动调整为非常合适的布局。另外，根据下面的假设实现这个实施例类似于第一实施例，移动被摄体图像和球轨迹图像不彼此交叠，并且球轨迹图像布置在位于沿预定方向并排地顺序排列的多个移动被摄体图像中的最后移动被摄体后面的图像区域。
图像处理设备1的结构显示在图M中。另外，把相似的标号给予与图4的部件相同的部件，并且将不会重复对它们的描述。图M和图4之间的差异在于除图4的结构之外，还提供移动被摄体显示结束点指定单元81、球轨迹显示初始点指定单元82、预备关键帧保持单元9和预备关键帧确定单元23。
移动被摄体显示结束点指定单元81检测用户的操作输入，指出所指定的移动被摄体，并向输入图像选择单元2通知这个指出的移动被摄体。
移动被摄体显示结束点指定单元81检测例如触摸面板输入、鼠标指针输入、遥控器输入、硬件按键输入、通信输入等，并确定由用户指定的移动被摄体图像。
球轨迹显示初始点指定单元82检测用户的操作输入，指出所指定的图像上的区域，并向输入图像选择单元2通知所指出的区域。
球轨迹显示初始点指定单元82可检测例如触摸面板输入、鼠标指针输入、遥控器输入、硬件按键输入、通信输入等，并确定由用户指定的图像中的区域。
当输出动作推移图像和球轨迹图像的合成图像时，移动被摄体显示结束点指定单元81和球轨迹显示初始点指定单元82使得可以设置图像的区域的一部分将要用于球轨迹的表达(球轨迹显示初始点指定单元8 或者设置将要表达全部挥杆形式之中的哪个挥杆动作(移动被摄体显示结束点指定单元81)。
提供预备关键帧确定单元23作为输入选择单元2的功能。这个预备关键帧确定单元23执行确定包括由关键帧确定单元21确定为关键帧的相对多个关键帧作为预备关键帧的处理。
预备关键帧保持单元9存储并保持由预备关键帧确定单元23确定为预备关键帧的帧图像数据。
预备关键帧确定单元23和预备关键帧保持单元9基于用户对移动被摄体显示结束点指定单元81和球轨迹显示初始点指定单元82的输入确定并保持成为候选的预备关键帧，因为当重构动作推移静态图像时需要预备图像帧。
例如，参照图28A和^B以及图29A和29B进行描述，但例如为了应付合适地排列动作推移到挥杆形式相对较快的阶段的时点的情况，与普通关键帧的确定相比，关于预备关键帧的确定更频繁。
将参照图25中的流程图描述一系列处理的流程。
另外，图25的步骤F201至F219中的每个步骤的基本处理基本上与图18的步骤 F201至F219中的基本处理相同，从而将不会重复该描述。然而，图18和图25的结构彼此不同，不同之处在于在图25的情况下，在步骤F209之前加入步骤F230和F231，在图18的情况下，步骤F217和F218不是必需的(但可以执行)。在此基础上，将描述图25的处理。
从图像输入单元10把时间上连续的帧图像数据提供给输入图像选择单元2。直到在步骤F201中确定作为处理对象的一系列帧图像数据的合成结束为止，每当提供一张帧图像数据时，在步骤F202中，输入图像选择单元2执行获取帧图像数据以及从移动被摄体信息产生单元11 (或移动被摄体信息输入单元1 获取与帧图像数据对应的移动被摄体信息的处理。另外，球轨迹图像产生单元6执行从球信息产生单元13 (或球信息输入单元 14)获取与帧图像数据对应的球信息的处理。
在步骤F203和步骤F204中，当确定球被击打并且确定自从球位于帧外面时起尚未过去一帧时，在步骤F205至F208中执行球坐标的计算、球轨迹的预测、与紧挨着的前一球轨迹图像的合成和球轨迹图像的保持。
在步骤F209至F216中，执行动作推移图像的产生，但在步骤F230中执行关于预备关键帧的确定，在步骤F231中执行预备关键帧的保持，这不同于图18等的上述处理。
预备关键帧确定单元23确定普通关键帧和除普通关键帧之外的帧作为预备关键帧。作为例子，当关键帧确定单元21确定每四帧中的一帧图像数据作为关键帧时，预备关键帧确定单元23确定每两帧中的一帧图像数据作为预备关键帧。
预备关键帧包括普通关键帧，从而在处理中当获取到在步骤F230中确定为不是预备关键帧的帧时，这个帧被自动视为不是关键帧，不仅略过步骤F231，还略过步骤F209 至F216，并且处理返回到步骤F201。
当在步骤F230中确定当前帧图像数据为预备关键帧时，当前帧图像数据在步骤 F231中由预备关键帧保持单元9保持为预备关键帧。
然后，当它通过步骤F209中的确定被确定为关键帧时，类似于图18等执行步骤 F210至F216中的动作推移图像的产生。
然后，当在步骤F201中确定所有帧的获取结束时，处理前进至步骤F219，并且图像输出单元4输出在该时点保持的动作推移静态图像。
在这种情况下，例如，如图2队中所示，输出还未合成球轨迹图像的合成图像。例如，并排地排列从作为帧FRl至FR(N)的各关键帧提取的移动被摄体图像的动作推移图像可以是例子。
然而，在步骤F219的时点，可输出合成了球轨迹图像的动作推移图像。例如，在处理球位于帧外面的帧的时点，在步骤F207中产生并且在步骤F208中保持的球轨迹图像数据可以被发送给层处理单元3并且可以在步骤F213中被合成。另外，类似于图18，通过紧挨在步骤F219之前执行图18的步骤F217和F218可以把球轨迹图像合成到动作推移图像上。
无论如何，在这个实施例的情况下，只要存在通过至少关键帧的合成产生的动作推移图像，在步骤F219中就不存在问题。
另外，在这个实施例的情况下，在步骤F219中的输出的点，如图沈中所示，例如， 优选地把消息“请选择设置为结束点的图像”显示给用户。
在步骤F240中，图像处理设备1通过移动被摄体显示结束点指定单元81和球轨迹显示初始点指定单元82执行用户输入的检测。
例如，在像图的显示输出中，图像处理设备1等待用户输入。
相反地，如图^B中所示，假设用户通过触摸面板操作指定任意移动被摄体(帧 FR(Pl))。
移动被摄体显示结束点指定单元81检测到这种指定输入，并向输入图像选择单元2通知帧FR(Pl)被指定为动作推移图像。
另外，随后，如图27A中所示，图像输出单元4把请求初始点的指定的图像显示到输出装置40(显示装置)。
在图27A中，显示了显示两段帧和消息“请指定球轨迹显示的初始点”的图像。例如，当从移动被摄体显示结束点指定单元81接收到指示结束点的指定的信息时，输入图像选择单元2向图像输出单元4提供输出如图27A中所示的图像的指令，根据这个指令，输出单元4把用于指定的图像数据提供给输出装置40。
另外，用于球轨迹显示初始点的指定的图像不限于图27A中显示的图像。例如，在显示图2队的动作推移图像的同时可仅改变消息文本。
例如，关于如图27A中所示的显示，用户通过触摸面板操作等指定图像中的区域。 图27B是用户指定靠近下段的左端的部分(沿横向方向与下段的三分之一对应的位置)的例子，图27C是用户指定一部分(沿横向方向与下段的四分之三对应的位置)的例子。
当用户执行用于指定位置的输入时，球轨迹显示初始点指定单元82检测到这种输入，并把指定的图像内的位置信息(例如，位于该位置的被摄体图像的坐标或帧编号)发送给输入图像选择单元2。
类似于上述例子，在步骤F240中执行检测由用户执行的移动被摄体显示结束点和球轨迹显示初始点的用户指定的处理。
在步骤F241中，输入图像选择单元2的关键帧确定单元23自动选择显示为动作推移图像的关键帧。这是考虑到此时指定的移动被摄体的显示结束点和球轨迹显示初始点，在保持在预备关键帧保持单元9中的预备关键帧之中重新选择所需数量的帧作为关键帧的处理。将描述自动选择的具体例子。
当自动选择了关键帧时，在步骤F242至F249中，通过使用选择的关键帧执行动作推移图像的重新合成。
步骤F243中的坐标计算、步骤F244中的层分离、步骤F245中的层加工、步骤F246 中的层合成、步骤F247中与紧挨着的前一合成图像的合成、步骤F248中的合成图像的保持和步骤F249中的紧挨着的前一合成图像的更新是与步骤F210至F216中的处理相同的处理。
也就是说，在这种情况下，针对预备关键帧保持单元9中的每个帧顺序读出多个重新选择的关键帧，执行步骤F242至F249中的处理，并且产生动作推移图像。
因此，针对所有新自动选择的关键帧，执行步骤F242至F249中的处理，并且在步骤F242的时点，确定完成自动选择的关键帧的合成，产生由新自动选择的关键帧形成的动作推移图像并把该动作推移图像保持在图像输出单元4以及合成图像更新和保持单元5 中。
然后，处理前进至步骤F250，在该时点把球轨迹图像合成到该动作推移图像中。在这种情况下，把保持在球轨迹图像保持单元64中的球轨迹图像数据发送给层处理单元3以及从层处理单元3接收该球轨迹图像数据。层处理单元3通过使用保持在合成图像更新和保持单元5中的最新动作推移图像和提供的球轨迹图像数据执行合成处理，由此产生附带移动物体图像的动作推移静态图像。
另外，在这种情况下，从由用户指定的球轨迹显示初始点开始布置球轨迹图像。因此，调整球轨迹图像的长度。
当合成球轨迹图像并产生附带移动物体图像的动作推移静态图像时，在步骤 F252中，附带移动物体图像的动作推移静态图像数据被保持在图像输出单元4中。在步骤 F252中，图像输出单元4把附带移动物体图像的动作推移静态图像数据提供给输出装置40 以便输出。
例如，输出如图28A和^B中所示合成球轨迹图像的动作推移图像和挥杆形式的合成图像。
这里，将描述步骤F241中的关键帧的自动选择的具体例子。
首先，将描述输出如图28k中所示的结果合成图像的情况。这种情况对应于这样的情况如图26B中所示用户指定帧FR(Pl)作为变为结束点的图像，并且如图27B中所示下段的三分之一位置被指定为球轨迹初始点。
例如，首先，在一系列帧图像数据之中选择22个关键帧，从而在步骤F219中如图 26A中所示显示并排地排列22个移动被摄体的动作推移图像。也就是说，图沈的帧FR(η) 是一些列帧之中被选择为第22个关键帧的帧。
这是以下情况的例子在上段和下段分别布置11个移动被摄体。
这里，如图^B中所示，由用户指定为最后显示帧的帧FR(Pl)是图^B的动作推移图像中的第19个关键帧。
另一方面，如图27Β中所示，在下段的三分之一位置被用户指定为球轨迹初始点的情况下，从这个位置开始布置球轨迹图像。在这个实施例的情况下，如上所述，动作推移图像和球轨迹图像不彼此交叠。
作为最后显示帧的指定帧FR(Pl)位于球轨迹图像的初始点位置附近。根据图26Α 的图像，这个初始位置对应于第15个关键帧FR(SPl)的布置位置。
也就是说，最初设置为第19个关键帧的最后产生的帧FR(Pl)被设置为图2名k中的第15个关键帧，由此产生动作推移图像。
因此，在这种情况下，当在步骤F241中重新选择关键帧时，调整关键帧的数量并且以这样的方式选择关键帧，即最初的第19个选择的关键帧变为第15个选择的关键帧。
在这个例子的情况下，在最初在步骤F209和F210的处理中用作关键帧的22个帧之中，在从FRl到FR(Pl)的19个关键帧之中进一步选择包括FR(Pl)的15个关键帧。在从FRl到FR(Pl)的19个关键帧之中可丢弃4个帧，或者可使用保持在预备关键帧保持单元9中的多个关键帧选择包括帧FR(Pl)及其先前帧的15个帧。
针对如上所述重新选择的15个关键帧，执行步骤F243至F249中的处理，由此可以产生图28A的动作推移图像部分。
当针对15个关键帧的合成处理时，在步骤F250中执行球轨迹合成。在这种情况下，以这样的方式执行该合成球轨迹图像布置在图像上的下段的区域的剩余三分之二中。
结果，如图^A中所示，产生与由用户指定的移动被摄体显示结束点和球轨迹显示初始点对应的布局的附带移动物体图像的动作推移静态图像。
接下来，将描述这样的情况输出如图28B中所示的结果合成图像。这种情况对应于这样的情况如图^B中所示用户指定帧FR(Pl)作为变为结束点的图像，并且如图27C 中所示下段的四分之三位置被指定为球轨迹初始点。
在这种情况下，如图^B中所示由用户指定为最后显示帧的帧FR(Pl)变为图沈的动作推移图像中的第19个关键帧。
另一方面，如图27C中所示，当下段的四分之三位置被用户指定为球轨迹初始点的时，从这个位置开始布置球轨迹图像。因此，指定为最后显示帧的帧FR(Pl)被布置在球轨迹图像的初始点附近，但根据图2队的图像，这个初始点位置对应于第20个关键帧 FR(SP2)的布置位置。
也就是说，最初设置为第19个关键帧的帧FR(Pl)被设置为最后产生的图^B中的第20个关键帧，由此产生动作推移图像。
因此，在这种情况下，当在步骤F241中重新选择关键帧时，调整关键帧的数量并且以这样的方式选择关键帧，即最初的第19个选择的关键帧变为第20个选择的关键帧。
在这个例子的情况下，选择为帧的20个关键帧包括帧FR(Pl)及其先前帧。由此， 能够看出关于原始关键帧，一帧是不够的。因此，通过使用保持在预备关键帧保持单元9 中的帧选择包括帧FR(Pl)及其先前帧的20个帧。
针对如上所述重新选择的20个关键帧，执行步骤F243至F249中的处理，由此可以产生图^B的动作推移图像部分。
当针对20个关键帧的合成处理完成时，在步骤F250中执行球轨迹合成。在这种情况下，以这样的方式执行该合成球轨迹图像布置在图像上的下段的剩余四分之一区域中。
结果，如图^B中所示，产生与由用户指定的移动被摄体显示结束点和球轨迹显示初始点对应的布局的附带移动物体图像的动作推移静态图像。
如上所述，在第七实施例的情况下，提供移动被摄体显示结束点指定单元81作为指定单元，它指定沿预定方向并排地顺序排列的多个移动被摄体图像中的最后移动被摄体图像。
另外，提供球轨迹显示初始点指定单元82作为指定单元，它指定布置移动物体图像的图像区域。
产生在移动被摄体显示结束点指定单元81检测的用户指定的最后移动被摄体图像为止的动作推移图像数据，并且以这样的方式执行合成处理根据移动物体图像数据的移动物体图像布置在位于最后移动被摄体图像后面的图像区域中。
另外，球轨迹显示初始点被设置为由球轨迹显示初始点指定单元82检测的用户指定的位置。在合成处理时，直到该位置为止，多个移动被摄体图像并排地排列，并且球轨迹图像布置在位于最后移动被摄体后面的图像区域中。
根据这个实施例的操作，用户能够根据他的偏好和目的指定由动作推移图像表达的操作范围或者球轨迹图像的显示范围，从而可以获得根据用户的偏好等的布局的合成图像。
另外，由于动作推移图像和球轨迹图像的布局，可以实现具有相对较好平衡的图像。
另外，可考虑由用户执行的多种指定输入方法。可考虑如图26A至27C中所示的画面上的触摸操作，并且可考虑通过鼠标或遥控器执行的操作。
另外，替代于指定画面上的帧或位置，可考虑菜单类型指定。
例如，作为移动被摄体显示结束点的指定菜单，可由用户指定和选择诸如“向后挥杆”、“撞击”和“击球后的弧形动作”的条目。输入图像选择单元2可确定对应的帧并把它设置为移动被摄体显示结束点。
另外，它可以是这样的指定方法在球轨迹显示初始点，选择诸如“左下”、“下段的中心”和“右下”的条目，或者显示并输入与画面上的位置对应的值。另外，它可以是这样的方法指定并输入显示的球图像的数量、球轨迹的长度等。
另外，作为构成动作推移图像的移动被摄体的指定范围，不仅可指定结束点帧还可以指定初始点帧。
类似地，作为球轨迹显示范围，不仅可指定初始点位置还可指定结束点位置。
另外，可考虑这样的方法预设关于移动被摄体的范围或球轨迹显示的范围的多种设置，并且用户从预设的设置进行选择。
然而，除用户的指定之外，可执行用于实现非常合适的图像的自动调整。
例如，假设用户在图^B的上段的右端指定帧FR(P2)作为移动被摄体显示结束点。另外，假设用户指定下段的左端作为球轨迹显示初始点。
当按原样根据这种假设状态执行上述处理时，产生如图^A中所示的合成图像。 用户可能想要这个图像，但可能经常存在相反的情况。例如，用户不熟悉操作的情况、执行指定而未深入考虑的情况等可以是例子。在这种情况下，操作推移图像和球轨迹图像分成上段和下段，导致具有较差平衡的图像或没有冲击力的图像。
因此，可预先设置在一定程度上具有良好平衡的布置并且可提供自动调整设置布局的功能。
例如，下段的多达三分之一区域可以被设置用于动作推移图像，下段的剩余三分之二区域可被设置用于球轨迹图像，等等。所有这些可以被设置为合适的例子。在执行指定操作以产生如图29A和^B中所示的图像的情况下，球轨迹显示初始点根据这种设置自动改变到下段的三分之一位置。另外，根据这种情况，执行步骤F241中的关键帧的选择，从而指定的帧FR(P2)存在于改变之后的球轨迹显示初始点的附近的位置。
以这种方式，可以产生如图^B中所示的合成图像，其中动作推移图像和球轨迹图像处于良好的平衡。
当提供这种执行布局自动调整的功能时，它可以容易地由相对不太熟练的用户使用。
实际上，在接收到用户的指定的时点，在通过图像处理设备1确定结果图像具有较差平衡的情况下，当根据这种指定执行合成处理时，可考虑执行自动调整功能。
另外，根据用户的指定执行图像合成处理，并且呈现合成图像。当用户不喜欢合成图像并发出调整的指令时，可考虑执行自动调整功能，并且产生再次调整的合成图像。
9、第八实施例
以下，将描述第八实施例。在到目前为止描述的实施例中，描述了基于通过捕捉被摄体人物通过高尔夫球杆击球的场景获得的一系列帧图像数据执行合成处理的例子。也就是说，这对应于这样的情况在捕捉的图像的帧图像数据中，球作为被摄体而存在。
另一方面，也可以产生通过使用经捕捉被摄体人物在未击球的情况下执行练习挥杆的场景获得的一系列帧图像数据合成球轨迹图像获得的附带移动物体图像的动作推移静态图像。在第八实施例中，将描述使用作为练习挥杆图像的帧图像数据的合成处理。
图30显示图像处理设备1的结构例子。图30与图4的不同之处在于未提供球信息产生单元13和球信息输入单元14，并且替代于球轨迹图像产生单元6中的球坐标计算单元61提供图像分析单元66。
当输入保持在合成图像更新和保持单元5中的动作推移图像时，图像分析单元66 分析移动被摄体的操作。
图31显示图像处理设备1的处理例子。
输入的一系列帧图像数据是当被摄体人物执行练习挥杆时捕捉的图像。
在步骤F201中，输入图像选择单元2确定一系列帧图像数据的获取是否结束。
在顺序输入一系列帧图像数据的时点，在步骤F202A中，输入图像选择单元2执行帧图像数据和移动被摄体信息的获取。
在步骤F209中，确定获取的帧图像数据是否是关键帧。
在关键帧的情况下，在步骤F210至F216中，执行动作推移图像的合成处理。这个处理与图18等的步骤F210至F216相同。
当作为对象的一系列帧图像数据的获取结束时，处理前进至步骤F260。在步骤 F260中，球轨迹图像产生单元6的图像分析单元66执行在该时点保持在合成图像更新和保持单元5中的移动被摄体的分析。例如，分析高尔夫球杆头的移动轨迹和移动速度。通过每帧的时间间隔和图像上的位置变化可估计移动速度。另外，确定与撞击的时刻对应的图像中的球杆头角度。
当分析了高尔夫球杆头的移动轨迹和移动速度、在撞击的时刻的高尔夫球杆头角度等时，球轨迹预测单元62估计球轨迹。也就是说，从分析的高尔夫球杆的情况，估计在图像捕捉期间实际上不存在的球轨迹。
在步骤F261中，根据估计的球轨迹信息，图像合成单元63产生球轨迹图像数据， 并且球轨迹图像数据被保持在球轨迹图像保持单元64中。
在步骤F262中，执行把球轨迹图像合成到在步骤F209至F216中产生的动作推移图像中的处理。也就是说，把保持在球轨迹图像保持单元64中的球轨迹图像数据发送给层处理单元3以及从层处理单元3接收该球轨迹图像数据。层处理单元3执行合成保持在合成图像更新和保持单元5中的最新动作推移图像数据和球轨迹图像数据的处理。
合成的合成数据在步骤F263中被发送给图像输出单元4，存储并保持在那里。在步骤F264中，图像输出单元4把在该时点保持的合成图像数据(也就是说，合成了球轨迹的动作推移图像)输出给输出装置40作为附带移动物体图像的动作推移静态图像数据。
以这种方式，由这个实施例的图像处理设备1产生并输出一张附带移动物体图像的动作推移静态图像数据。
根据这个第八实施例，从通过捕捉在未击球的情况下执行的练习挥杆获得的帧图像数据，也可以获得合成了球轨迹图像的合成图像，从而可以实现用于确认形式的图像或非常有娱乐性的图像。
10、变型例
以上，描述了多种实施例，但本发明不限于上述每个例子，而是可以考虑多种变型例。
首先，毫无疑问地，可组合第一至第八实施例之中的多个实施例中所描述的处理。
在实施例中，描述了输出附带移动物体图像的动作推移静态图像的例子，但可输出动作推移移动图片。
例如，关于图11中的处理例子，在步骤F109中，当图像输出单元4把在该时点的合成图像数据提供给作为输出装置40的显示装置时，可显示顺序表达移动被摄体图像的移动图片。
为了更具体地表达移动图片，可以针对除关键帧之外的帧图像数据执行合成，并且可以把每个合成图像数据提供给输出装置40作为构成每个移动图片的帧。
在实施例中，执行高尔夫挥杆的被摄体的图像被描述为例子，但被摄体不限于此。 例如，通过使用经捕捉多种操作(诸如，棒球的球棒的挥动和投球形式、网球的球拍的挥动、排球的发球或扣球、篮球的投篮和保龄球的滚动)作为被摄体获得的帧图像数据可产生移动被摄体的动作推移图像。在这种情况下，把篮球、网球、排球等表达为移动被摄体，由此可以产生有意义的合成图像。
这种移动被摄体不限于作为球形体的球。
作为其位置根据移动被摄体的连续动作改变的移动物体，存在飞盘、掷标枪的标枪、掷铅球的一掷、羽毛球、橄榄球。
另外，关于与除体育之外的日常生活相关的多种游戏或普通活动，可考虑多种被摄体的合成图像。
在实施例中，作为合成图像的画面例子，例示了合成图像在具有上段和下段的两段的画面上从动作推移图像的左侧向右侧行进的例子，但画面例子不限于此。
画面可具有一段结构或者除三段之外的结构。另外，可采用垂直划分的多个列。
用于根据时间的流逝布置移动被摄体的方向性可以是从左侧到右侧、从右侧到左侧、从上侧到下侧或者从下侧到上侧。另外，也可以存在倾斜方向。另外，可根据被摄体的种类选择方向性。
11、程序
在上述实施例中，参照图像处理设备1进行了描述，但除应用于专用于产生动作推移图像的设备之外，根据本发明的图像处理设备1还可应用于执行图像处理的多种设备。例如，用于图像再现设备、图像捕捉设备、通信设备、图像记录设备、游戏机、视频编辑设备等。
另外，关于除通用目的个人计算机之外的信息处理设备，它可用于实现图像处理设备1。
例如，当提供允许计算处理装置执行图11(和图12)、图18、图23、图25和图31的各个处理的程序作为图像处理应用软件时，可以在个人计算机等中实现合适的图像处理。
也就是说，实现图像处理设备1的图像处理的程序是允许计算处理装置执行下面步骤中的每个步骤的程序。
具体地讲，该程序允许计算处理装置执行产生动作推移图像数据的步骤，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用输入的多个帧图像数据中所包括的移动被摄体图像执行合成处理，从而沿预定方向并排地顺序排列移动被摄体图像。
另外，该程序允许计算处理装置执行产生移动物体图像的步骤，所述移动物体图像表达根据移动被摄体图像的动作推移移动的移动物体。
另外，该程序允许计算处理装置执行进行合成处理的步骤，该合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。
由于这种程序，除个人计算机、蜂窝电话、个人数字助手(PDA)之外，本发明的实施例还可用于允许使用图像数据的多种信息处理设备执行图像处理。
另外，这些程序可预先记录于作为记录介质嵌入在个人计算机等中的HDD、具有 CPU的微型计算机中的ROM、闪存等。
另外，该程序可临时或永久存储(记录)于可移动记录介质，诸如软盘、CD-ROM(压缩盘只读存储器)、M0(磁光)盘、DVD、蓝光盘、磁盘、半导体存储器、存储卡等。可作为所谓的套装软件提供这种可移动记录介质。
另外，除了从可移动记录介质安装在个人计算机等之外，还可经网络(诸如， LAN(局域网)和互联网)从下载站点下载该程序。
本发明包含与2010年10月27日提交给日本专利局的日本优先权专利申请JP 2010-240299公开的主题相关的主题，其全部内容包含于此以资参考。
本领域技术人员应该理解，在不脱离权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。
权利要求
1.一种图像处理设备，包括图像输入单元，输入帧图像数据；以及合成处理单元，产生动作推移图像数据，产生移动物体图像数据，以及执行第二合成处理，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用由图像输入单元输入的多个帧图像数据中所包括的移动被摄体图像执行第一合成处理，从而沿预定方向并排地顺序排列多个移动被摄体图像，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体，所述第二合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。
2.如权利要求1所述的图像处理设备，其中所述合成处理单元基于关于移动物体的轨迹确定处理产生移动物体轨迹图像数据作为移动物体图像数据，以及所述合成处理单元把移动物体轨迹图像数据与移动推移图像数据合成在一起，并产生附带移动物体图像的动作推移图像数据。
3.如权利要求2所述的图像处理设备，其中所述关于移动物体的轨迹确定处理包括通过使用输入帧图像数据中存在的移动物体图像的位置对在由该帧图像数据表达的移动物体的时点之后的移动物体的位置进行预测，以及确定移动物体的移动轨迹的处理。
4.如权利要求2所述的图像处理设备，其中所述关于移动物体的轨迹确定处理是基于输入的移动物体轨迹信息确定移动物体的移动轨迹的处理。
5.如权利要求2所述的图像处理设备，其中所述关于移动物体的轨迹确定处理是分析由动作推移图像数据表达的移动被摄体动作，以及确定输入帧图像数据中未作为图像存在的移动物体的移动轨迹的处理。
6.如权利要求1所述的图像处理设备，还包括图像输出单元，输出在合成处理单元中产生的附带移动物体图像的动作推移图像数据。
7.如权利要求2所述的图像处理设备，其中所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即移动物体图像布置在位于沿预定方向并排地顺序排列的所述多个移动被摄体图像中的最后移动被摄体图像后面的图像区域。
8.如权利要求7所述的图像处理设备，其中所述合成处理单元通过使用帧图像数据中所包括的背景图像作为布置移动物体图像的图像区域的背景图像执行第二合成处理。
9.如权利要求7所述的图像处理设备，其中所述合成处理单元通过使用帧图像数据中未包括的图像作为布置移动物体图像的图像区域的背景图像执行第二合成处理。
10.如权利要求7所述的图像处理设备，还包括指定单元，指定沿预定方向并排地顺序排列的所述多个移动被摄体图像中的最后移动被摄体图像，其中所述合成处理单元产生直到由指定单元指定的最后移动被摄体图像为止的动作推移图像数据，并以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即根据移动物体图像数据的移动物体图像布置在位于所述最后移动被摄体图像后面的图像区域。
11.如权利要求7所述的图像处理设备，还包括指定单元，指定布置移动物体图像的图像区域，其中所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即所述多个移动被摄体图像并排地排列在直至到达由指定单元指定的图像区域为止的图像区域中，并且根据移动物体图像数据的移动物体图像布置在位于所述最后移动被摄体图像后面的指定的图像区域中。
12.如权利要求1所述的图像处理设备，其中所述合成处理单元以这样的方式执行移动物体轨迹图像数据和动作推移图像数据的第二合成处理，即移动物体图像布置为交叠在沿预定方向并排地顺序排列的所述多个移动被摄体图像上。
13.如权利要求12所述的图像处理设备，其中所述合成处理单元通过第二合成处理产生附带移动物体图像的动作推移图像数据，在所述附带移动物体图像的动作推移图像数据中，根据移动物体轨迹图像数据的图像优先于动作推移图像数据的图像显示。
14.如权利要求2所述的图像处理设备，还包括指定单元，指定沿预定方向并排地顺序排列的所述多个移动被摄体图像之中的一个移动被摄体图像，其中所述合成处理单元执行由指定单元指定的移动被摄体图像的放大图像和移动物体轨迹图像数据的第三合成处理。
15.如权利要求2所述的图像处理设备，其中所述合成处理单元通过使用输入帧图像数据中所包括的移动物体图像产生移动物体轨迹图像数据。
16.如权利要求2所述的图像处理设备，其中所述合成处理单元通过使用除输入帧图像数据中所包括的拍摄的移动物体图像之外的图像产生移动物体轨迹图像数据。
17.如权利要求1所述的图像处理设备，其中所述合成处理单元通过从输入帧图像数据选择多个关键帧以及通过沿预定方向并排地顺序排列从选择的多个关键帧提取的移动被摄体图像，产生动作推移图像数据。
18.如权利要求1所述的图像处理设备，其中所述合成处理单元通过按照以下的状态执行第一合成处理来产生动作推移图像数据最新输入的帧图像数据的移动被摄体层具有第一优先级，根据紧挨着的前一第一合成处理的帧图像数据的移动被摄体层具有第二优先级，最新输入的帧图像数据的背景层具有第三优先级，根据紧挨着的前一第一合成处理的帧图像数据的背景层具有第四优先级。
19.一种图像处理方法，包括产生动作推移图像数据，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用输入的多个帧图像数据中所包括的移动被摄体图像执行第一合成处理， 从而沿预定方向并排地顺序排列移动被摄体图像；产生移动物体图像数据，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体；执行第二合成处理，所述第二合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。
20. 一种允许计算处理装置执行下面步骤的程序产生动作推移图像数据，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用输入的多个帧图像数据中所包括的移动被摄体图像执行第一合成处理， 从而沿预定方向并排地顺序排列移动被摄体图像；产生移动物体图像数据，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体；执行第二合成处理，所述第二合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。
全文摘要
本发明涉及图像处理设备、图像处理方法和程序。公开了一种图像处理设备，包括图像输入单元，输入帧图像数据；合成处理单元，产生动作推移图像数据，产生移动物体图像数据，并执行合成处理，所述动作推移图像数据以这样的方式表达移动被摄体的动作推移，即通过使用由图像输入单元输入的多个帧图像数据中所包括的移动被摄体图像执行合成处理，从而沿预定方向并排地顺序排列多个移动被摄体图像，所述移动物体图像数据表达根据移动被摄体图像的动作推移移动的移动物体，所述合成处理通过合成移动物体图像数据和动作推移图像数据产生包括移动物体图像的附带移动物体图像的动作推移图像数据。
文档编号H04N1/387GK102542573SQ20111031760
公开日2012年7月4日 申请日期2011年10月19日 优先权日2010年10月27日
发明者渡边宽之, 町谷康文 申请人:索尼公司