图像生成方法、图像生成装置的制作方法

专利名称：图像生成方法、图像生成装置的制作方法
技术领域：
本发明涉及图像生成方法和图像生成装置。
背景技术：
现有技术中，已知下述技术:通过将运动控制点设定在二维静止图像内的希望位置上，将希望的运动指定给想要附加运动的运动控制点，来使该静止图像运动(US8063917)。但是，在上述专利的情况下，由于运动控制点的运动在二维空间上表现，因此存在下述问题:对于将该静止图像的一部分的区域与其他的区域前后重叠那样的运动，不能够合适地进行进深的表现。

发明内容
本发明是鉴于这样的问题提出的，本发明的课题是提供一种能够由使二维静止图像变形的变形图像来合适地进行进深的表现的图像生成方法、图像生成装置和程序。根据本发明的实施方式的图像生成方法，使用了具备存储单元的图像生成装置，该存储单元存储表示多个重 叠基准点的二维空间内的位置的位置信息，所述重叠基准点被设定于构成包括基准图像的运动物体模型在内的模型区域的多个区域的每个区域上，并且与每个预定时间间隔的对所述二维空间在进深方向上的基准位置对应关联，其中，该图像生成方法包括:取得步骤，取得二维的静止图像 ’第I设定步骤，在由该取得步骤所取得的所述静止图像的包括被摄体的被摄体区域内，设定多个与所述被摄体的运动的控制相关的运动控制点；第2设定步骤，在由所述取得步骤所取得的所述静止图像的所述被摄体区域内，在与所述多个重叠基准点对应的各个位置上设定多个与用于构成所述被摄体区域的多个构成区域的重叠的控制相关的重叠控制点；计算步骤，基于与所述多个重叠控制点的每一个对应的所述重叠基准点在所述进深方向上的基准位置，计算出所述多个构成区域的每一个区域的每个预定时间间隔在进深方向上的位置；和生成步骤，根据所述多个运动控制点的运动，生成使所述被摄体区域变形的变形图像，所述生成步骤，包括基于由所述计算步骤计算出的每个预定时间间隔在进深方向上的位置，使在该每个预定时间间隔上所述被摄体区域中的各个构成区域在进深方向相互不同的位置上沿该进深方向进行位移的步骤。根据本发明的实施方式的图像生成装置，包括存储部，该存储部存储表示多个重叠基准点的二维空间内的位置的位置信息，所述重叠基准点被设定于构成包括基准图像的运动物体模型在内的模型区域的多个区域的每个区域上，并且与每个预定时间间隔的对所述二维空间在进深方向上的基准位置对应关联，其中，该图像生成装置包括:取得部，取得二维的静止图像；第I设定部，在由该取得部所取得的所述静止图像的包括被摄体的被摄体区域内，设定多个与所述被摄体的运动的控制相关的运动控制点；第2设定部，在由所述取得部所取得的所述静止图像的所述被摄体区域内，在与所述多个重叠基准点对应的各个位置上设定多个与用于构成所述被摄体区域的多个构成区域的重叠的控制相关的重叠控制点；计算部，基于与所述多个重叠控制点的每一个重叠控制点对应的所述重叠基准点在所述进深方向上的基准位置，计算出所述多个构成区域的每一个构成区域的每个预定时间间隔在进深方向上的位置；和生成部，根据所述多个运动控制点的运动，生成使所述被摄体区域变形的变形图像，所述生成部，包括基于由所述计算部计算出的所述多个构成区域的每一个构成区域的每个预定时间间隔在进深方向上的位置，使在该每个预定时间间隔上所述被摄体区域中的各个构成区域在进深方向相互不同的位置上沿该进深方向进行位移的处理。根据本发明的实施方式的记录有程序的记录介质，该程序使具备存储部的图像生成装置的计算机发挥以下功能，该存储部存储表示多个重叠基准点的二维空间内的位置的位置信息，所述重叠基准点被设定于构成包括基准图像的运动物体模型在内的模型区域的多个区域的每个区域上，并且与每个预定时间间隔的对所述二维空间的在进深方向上的基准位置对应关联:取得功能，取得二维的静止图像 ’第I设定功能，在由该取得功能所取得的所述静止图像的包括被摄体的被摄体区域内，设定多个与所述被摄体的运动的控制相关的运动控制点；第2设定功能，在由所述取得功能所取得的所述静止图像的所述被摄体区域内，在与所述多个重叠基准点对应的各个位置上设定多个与用于构成所述被摄体区域的多个构成区域的重叠的控制相关的重叠控制点；计算功能，基于与所述多个重叠控制点的每一个对应的所述重叠基准点在所述进深方向上的基准位置，计算出所述多个构成区域的每一个的每个预定时间间隔在进深方向上的位置；和生成功能，根据所述多个运动控制点的运动，生成使所述被摄体区域变形的变形图像，所述生成功能，包括基于由所述计算功能计算出的所述多个构成区域的每一个的每个预定时间间隔在进深方向上的位置，使在该每个预定时间间隔上所述被摄体区域中的各个构成区域在进深方向相互不同的位置上沿该进深方向进行位移的功能。


图1是表示适用了本发明的一个实施方式的运动图像生成系统的概略构成的方框图。图2是表示构成图1的运动图像生成系统的用户终端的概略构成的方框图。图3是表示构成图 1的运动图像生成系统的服务器的概略构成的方框图。图4是模式地表示图3的服务器所存储的运动信息的示意图。图5是表示与由图1的运动图像生成系统实现的运动图像生成处理相关的动作的一个例子的流程图。图6是表示图5的运动图像生成处理的接续部分的流程图。图7是表示与图5的运动图像生成处理中的帧图像生成处理相关的动作的一个例子的流程图。图8是表示与图5的运动图像生成处理中的构成区域确定处理相关的动作的一个例子的流程图。图9是表示与图5的运动图像生成处理中的帧描绘处理相关的动作的一个例子的流程图。图10是模式地表示图3的服务器所存储的层信息的示意图。
图11是模式地表示与图7的帧图像生成处理相关的图像的一个例子的示意图。图12是模式地表示与图7的帧图像生成处理相关的图像的一个例子的示意图。图13是模式地表示与图7的帧图像生成处理相关的图像的一个例子的示意图。
具体实施例方式下面，对于本发明，使用附图，说明具体的方式。但是，说明的范围不局限于图示的例子。图1是表示适用了本发明的一个实施方式的运动图像生成系统100的概略构成的方框图。本实施方式的运动图像生成系统100，如图1所示，包括摄像装置1、用户终端2和服务器3，用户终端2和服务器3介由规定的通信网络N被连接成能够接收发送各种信息。首先，说明摄像装置I。摄像装置I具有对被摄体进行摄像的摄像功能和将摄像图像的图像数据记录在记录介质C上的记录功能等。即，摄像装置I能够使用公知的摄像装置，例如，不仅包含将主要功能设为摄像功能的数字摄像机，而且还包含具备摄像功能不设为主要功能的便携式电话机等的便携式终端等。下面，参考图2，说明用户终端2。用户终端2例如由个人计算机等构成，访问由服务器3开设的Web页(例如运动图像生成用页)，在该Web页上输入各种指示。图2是表示用户终端2的概略构成的方框图。如图2所示，用户终端2具体地包括中央控制部201、操作输入部202、显示部203、声音输出部204、记录介质控制部205、通信控制部206等。中央控制部201控制用户终端2的各个部分。具体地，中央控制部201包括CPU、RAM、R0M(都省略图示)，按照ROM中所存储的用户终端2用的各种处理程序(省略图示)来进行各种控制动作。此时，CPU使各种处理结果存储在RAM内的存储区域内，并且根据需要，使该处理结果显示在显示部203上。RAM例如包括用于对由CPU执行的处理程序等进行展开的程序存储区域和用于对输入数据和执行上述处理程序时所产生的处理结果等进行存储的数据存储区域等。ROM存储以计算机能够读取的程序代码的形式所存储的程序，具体地，存储由用户终端2能够执行的系统程序、以该系统程序能够执行的各种处理程序、或者在执行这些各种处理程序时所使用的数据等。操作输入部202，例如，包括由用于输入数值、文字等的数据输入键以及用于进行数据的选择、发送操作等的上下左右移动键和各种功能键等构成的键盘和鼠标等，将由用户按压的键的按压信号和鼠标的操作信号输出到中央控制部201的CPU。而且，作为操作输入部202，还可以设为将触摸面板(省略图示)配设在显示部203的显示画面上并根据触摸面板的接触位置来输入各种指示那样的构成。显示部203例如由IXD、CRT(阴极射线管)等显示器构成，在中央控制部201的CPU的控制下，将各种信息显示在显示画面上。S卩，显示部203例如基于从服务器3发送且由通信控制部206接收的Web页(例如运动图像生成用页)的页数据，将对应的Web页显示在显示画面上。具体地，显示部203基于与运动图像生成处理(后述)相关的各种处理画面的图像数据，将各种处理画面显示在显示画面上。声音输出部204例如由D/A转换器、LPF (低通滤波器)、放大器、扬声器等构成,在中央控制部201的CPU的控制下进行播音。即，声音输出部204例如基于从服务器3发送且由通信控制部206接收的乐曲信息，将该乐曲信息的数字数据通过D/A转换器变换成模拟数据，介由放大器从扬声器以规定的音色、音高、音长来对乐曲进行播音。此外，声音输出部204，可以对一个音源(例如乐器)的声音进行播音，也可以对多个音源的声音同时地进行播音。记录介质控制部205，被构成为使记录介质C安装拆卸自由，并且控制从安装的记录介质C中的数据的读出和对记录介质C的数据的写入。即，记录介质控制部205，从由摄像装置I拆下而安装的记录介质C中读出与运动图像生成处理(后述)相关的被摄体存在图像(省略图示)的图像数据(YUV数据)，并输出到通信控制部206。这里，所谓被摄体存在图像，是在规定的背景内存在主要的被摄体的图像的情况。此外，在记录介质C上，记录了通过摄像装置I的图像处理部(图示省略)、根据规定的编码形式(例如JPEG形式等)而被编码的被摄体存在图像的图像数据。然后，通信控制部206，介由规定的通信网络N，将输入的被摄体存在图像的图像数据发送到服务器3。通信控制部206例如由调制解调器(MODEM:调制器/解调器)、终端适配器(Terminal Adapter)等构成,介由规定的通信网络N,与服务器3等的外部设备之间进行信息的通信控制。而且，通信网络N例如是利用专用线或者已存的一般公众线路所构筑的通信网络，能够适用LAN(局域网络)和WAN(广域网络)等各种各样的线路形式。此外，通信网络N包括例如电话线路网、ISDN线路网、专用线、移动体通信网、通信卫星线路、CATV线路网等各种通信线路网以及用于连接它们的因特网服务提供器等。下面，参考图3，说明服务器3。服务器3，作为Web(万维网)服务器，具有在因特网上开设Web页(例如运动图像生成用页)的功能，根据来自用户终端2的访问，将Web页的页数据发送到该用户终端2。此外，服务器3，作为图像生成装置，在静止图像的被摄体区域B内，在相对二维空间的与进深方向的基准位置对应关联的多个重叠基准点R、…所对应的各个位置上设定多个与多个构成区域L、…的重叠的控制相关的重叠控制点T。然后，服务器3，基于与多个重叠控制点T、…的每一个相对应的重叠基准点R的进深方向的基准位置所算出的多个构成区域L、…的各自的每个预定时间间隔的进深方向的位置，在每个该预定的时间间隔上使被摄体区域B中的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移，同时根据被摄体区域B内所设定的多个运动控制点S、…的运动，生成使该被摄体区域B变形的变形图像。图3是表示服务器3的概略构成的方框图。如图3所示，服务器3具体地包括中央控制部301、显示部302、通信控制部303、被摄体剪切部304、存储部305、运动图像处理部306等而构成。
中央控制部301控制服务器3的各个部分。具体地，中央控制部301包括CPU、RAM、R0M(都省略图示)，CPU根据ROM中所存储的服务器3用的各种处理程序(省略图示)来进行各种的控制动作。此时，CPU使各种处理结果存储在RAM内的存储区域内，并且根据需要，使该处理结果显示在显示部302上。RAM例如包括用于对由CPU执行的处理程序等进行展开的程序存储区域和用于对输入数据和执行上述处理程序时产生的处理结果等进行存储的数据存储区域等。ROM存储以计算机能够读取的程序代码的形式所存储的程序，具体地，存储由服务器3能够执行的系统程序、以该系统程序能够执行的各种处理程序、或者在执行这些各种处理程序时所使用的数据等。显示部302例如由IXD、CRT等显示器构成，并且在中央控制部301的CPU的控制下，将各种信息显示在显示画面上。通信控制部303例如由调制解调器、终端适配器等构成，介由预定的通信网络N，与用户终端2等的外部设备之间进行信息的通信控制。具体地，通信控制部303例如接收由运动图像生成处理(后述)而从用户终端2介由预定的通信网络N所发送的被摄体存在图像的图像数据，将该图像数据输出到中央控制部301的CPU。中央控制部301的CPU将输入的被摄体存在图像的图像数据输出到被摄体剪切部304。被摄体剪切部304从被摄体存在图像中生成被摄体剪切图像(省略图示)。即，被摄体剪切部304使用公知的被摄体剪切方法，从被摄体存在图像中生成包含被摄体的被摄体区域被剪切的被摄体剪切图像。具体地，被摄体剪切部304取得从中央控制部301的CPU输出的被摄体存在图像的图像数据，例如基于由用户实现的用户终端2的操作输入部202 (例如鼠标等)的预定操作，通过显示部203所显示的该被摄体存在图像上所描绘的边界线(省略图示)来划分该被摄体存在图像。接着，被摄体剪切部304，在由被摄体存在图像的剪切线所划分的多个划分区域当中，推定被摄体的背景，基于该背景的各个像素的像素值，进行预定的运算，将被摄体的背景色推定作为预定的单一色。此后，被摄体剪切部304生成在预定的单一色的背景用图像和被摄体存在图像之间对应的各个像素的差分信息(例如差异度图等)。然后，被摄体剪切部304，在将生成的差分信息的各个像素的像素值与预定的阈值进行比较并二值化之后，进行对构成相同连结分量的像素集合赋予相同序号的标示(labeling)处理并将面积最大的像素集合设为被摄体部分。此后，被摄体剪切部304，例如，对上述面积为最大的像素集合是“I”、其他的部分是“O”的被二值化后的差分信息，通过实施低通滤波而使边界部分产生中间值，生成α值，在被摄体剪切图像内，生成作为对被摄体区域的位置进行表示的位置信息的α图(图示省略)。所谓α值(O < α < I)，例如，是对于被摄体存在图像的各个像素，表示将被摄体区域的图像相对预定的背景进行α混合时的权重。在该情况下，对于被摄体区域，α值变为“1”，被摄体存在图像相对预定背景的透过率变为0%。另一方面，对于被摄体的背景部分，α值变为“0”，该被摄体存在图像相对预定背景的透过率变为100%。然后，被摄体剪切部304基于α图，将被摄体图像与预定的单一色图像进行合成，生成被摄体剪切图像的图像数据，使得在被摄体存在图像的各个像素当中、使α值为“I”的像素对预定的单一色图像不透过，并且使α值为“O”的像素透过。此外，被摄体剪切部304基于α图，生成将被摄体区域B (图1IA中，用白色表示的区域)的各个像素设为第I像素值(例如“I”等)以及将背景区域(图1lA中，带有点的区域)的各个像素设为与第I像素值不同的第2像素值(例如“O”等)的二值图像即掩模图像Pl (参考图11Α)。即，被摄体剪切部304生成作为在被摄体剪切图像内对被摄体区域B的位置进行表示的位置信息的掩模图像Pl。被摄体剪切图像的图像数据，例如，是与生成的α图和掩模图像Pl等的位置信息对应关联的数据。而且，由上述的被摄体剪切部304实现的被摄体剪切方法是一个例子，不局限于此，如果是从被摄体存在图像中剪切包含被摄体的被摄体区域的公知的方法，可以使用任何构成的方法。此外，作为被摄体剪切图像的图像数据，例如，可以适用RGBA形式的图像数据，具体地，在由RGB色空间所规定的各色上附加了透过率A的信息。在该情况下，被摄体剪切部304利用透过率A的信息，可以生成在被摄体剪切图像内表示被摄体区域B的位置的位置信息(图示省略)。存储部305 例如由半导体非易失性存储器或者HDD(硬盘驱动器)等构成，存储发送到用户终端2的Web页的页数据和由被摄体剪切部304所生成的被摄体剪切图像的图像数据等。此外，存储部305存储多个运动图像生成处理所使用的运动信息305a。各个运动信息305a，是对在预定空间即例如由相互正交的二轴(例如x轴、y轴等)规定的二维平面空间以及除了这二轴之外还由与该二轴正交的轴(例如z轴等)规定的三维立体空间内的多个运动基准点Q、…的运动进行表示的信息。而且，运动信息305a还可以是通过使二维平面空间围绕预定的转动轴旋转而在多个运动基准点Q、…的运动上维持进深那样的信息。这里，对于各个运动基准点Q的位置，通过考虑成为运动之模型的运动物体模型(例如人或者动物)的骨骼形状和关节位置等而分别规定。即，对于各个运动基准点Q，在变成基准的基准图像的运动物体模型被包含的模型区域A内，考虑运动物体模型的骨骼形状和关节位置等而被设定。例如，对于运动基准点Q，在基准图像的模型区域A内，在与人的左右手腕的每一个相当的位置上设定左右的手腕运动基准点Ql、Q2，在与人的左右脚脖子的每一个相当的位置上设定左右的脚脖子运动基准点Q3、Q4，此外，在与人的脖子相当的位置上设定脖子运动基准点Q5 (参考图4)。而且，运动基准点Q的个数根据运动物体模型的形状和大小等而能够适当任意地设定。这里，图4是对从正面观察作为运动物体模型的人的状态进行模式地表示的基准图像。该基准图像，朝向左侧配置了作为运动物体模型的人的右腕和右脚，另一方面，朝向右侧配置了作为运动物体模型的人的左腕和左脚。此外，各个运动信息305a，通过将使在预定空间内多个运动基准点Q、…的全部或者至少一个移动的坐标信息在预定的时间间隔进行连续排列，来连续表示多个运动基准点Q、…的每个预定的时间间隔的运动。具体地，各个运动信息305a，例如，是使基准图像的模型区域A内所设定的多个运动基准点Q、…进行移动使得与预定的舞蹈相对应的信息。例如，如图4所示，运动信息305a，沿着时间轴，空出预定的时间间隔，按照对伸出人的运动物体模型的两个胳膊并且打开两脚的状态模式地进行表示的多个运动基准点Q、…的坐标信息Dl ;对一个脚(图4中的左侧的脚)与另一个脚交叉的状态模式地进行表示的多个运动基准点Q、…的坐标信息D2 ;对将另一个胳膊(图4中左侧的胳膊)朝下的状态模式地进行表示的多个运动基准点Q、…的坐标信息D3那样连续排列(对于图4，坐标信息D3以后的坐标信息的图示省略)。而且，图4所示的运动信息305a是一个例子，不局限于此，运动的种类等是能够适当任意地变更。此外，多个运动基准点Q、…的坐标信息的每一个例如可以是对各个运动基准点Q相对变成基准的运动基准点Q的坐标信息的移动量进行规定后的信息，也可以是对各个运动基准点Q的绝对位置坐标进行规定后的信息。此外，存储部305将表示多个重叠基准点R、…的二维空间内的位置的重叠位置信息305b存储多个。各个重叠位置信息305b是表示由相互正交的二轴(例如X轴、y轴等)所规定的二维平面空间中的多个重叠基准点R、…的位置的信息。这里，各个重叠基准点R，被设定在构成基准图像的模型区域A的多个区域的每个区域上，即例如被设定在作为运动物体模型的人的代表性各个部位的每个部位上，优选地被设定在离体干远的位置上。此外，各个重叠基准点R可以被设定在与各个运动基准点Q大致相等的位置上。具体地，例如，对于各个重叠基准点R，在基准图像的模型区域A内，在与人的左右手腕的每一个相当的位置上设定左右的手腕重叠基准点Rl、R2，在与人的左右脚脖子的每一个相当的位置上设定左右的脚脖子重叠基准点R3、R4。此外，各个重叠基准点R，对每个预定的时间间隔的二维空间，与进深方向的基准位置(进深信息)对应关联 。即，各个重叠位置信息305b，通过将使多个重叠基准点R、…的全部或者至少一个在对二维平面空间的进深方向(例如z轴方向等)上移动的坐标信息在预定时间间隔上进行连续排列，来连续表示多个重叠基准点R、…的每个预定时间间隔的进深方向的基准位置。而且，多个重叠基准点R、…的坐标信息的每一个例如可以是对各个重叠基准点R相对变成基准的重叠基准点R的坐标信息的移动量进行了规定的信息，也可以是对各个重叠基准点R的绝对位置坐标进行了规定的信息。这样，存储部305构成被设定在用于构成基准图像的运动物体模型被包含的模型区域A的多个区域的每个区域上、并且用于存储对与每个预定时间间隔的相对二维空间的进深方向的基准位置对应关联的多个重叠基准点R、…的二维空间内的位置进行表示的位置信息的存储单元。存储部305存储多个运动图像生成处理所使用的乐曲信息305c。乐曲信息305c，是用于通过运动图像处理部306的运动图像再现部306i (后述)与运动图像一起将乐曲自动地进行再现的信息。即，乐曲信息305c例如通过使拍子、节奏、音程、音阶、调子、表达感情色彩的符号(expression mark)等不同而被规定多个,并且与各自曲名对应关联而被存储。此外，各个乐曲信息305c例如是按照MIDI (乐器数字接口)标准等而规定的数字数据，具体地，具有规定了声道(track)数和四分音符的分辨率(滴答计数数值)等的头信息、由被分配给各个部分的音源(例如乐器等)所供给的事件及时刻构成的声道信息等。作为该声道信息的事件，例如具有拍子或者节奏的变更、或者用于指示NoteOn -Off的信息
坐寸ο运动图像处理部306具有图像取得部306a、第I设定部306b、第2设定部306c、区域分割部306d、区域确定部306e、进深位置计算部306f、帧生成部306g、背面图像生成部306h、运动图像再现部306 i。图像取得部306a，取得运动图像生成处理中所使用的静止图像。即，图像取得部306a，作为取得单元，取得变成运动图像生成处理之处理对象的二维的静止图像。具体地，图像取得部306a取得由被摄体剪切部304生成的被摄体剪切图像的图像数据和与该被摄体剪切图像的图像数据对应关联的掩模图像Pl的图像数据。第I设定部306b，在变成运动图像生成处理之处理对象的静止图像的被摄体区域内设定多个运动控制点S。即，第I设定部306b，作为第I设定单元，在由图像取得部306a所取得的二维的静止图像的被摄体区域内，设定多个与被摄体的运动的控制相关的运动控制点S。具体地，第I设定部306b，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，在与基准图像的模型区域A内所设定的多个运动基准点Q、…相对应的各个位置上设定多个运动控制点
S、…的每一个。例如，第I设定部306b，从存储部305中读出运动物体模型(例如人)的运动信息305a，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，将与该运动信息305a所规定的基准帧(例如第I帧等)的多个运动基准点Q、…(例如运动基准点Ql Q5等)的每一个相对应的运动控制点S(例如运动控制点SI S5等)分别设定在基于由用户实现的用户终端2的操作输入部202的预定操作所指定的希望位置上(参考图11A)。这里，第I设定部306b，通过在被摄体剪切图像的被摄体区域B内分别设定运动控制点S，从而即使对与该被摄体剪切图像相对应的背面图像内的预定位置，也可以自动地设定分别对应的运动控制点S。此时，第I设定部306b，对于运动物体模型的模型区域A和被摄体剪切图像或者掩模图像Pl的被摄体区域B，例如，可以进行尺寸的调整(例如运动物体模型的放大或缩小、变形等)，使得与脸形等主要部分的大小吻合。此外，例如，可以使被摄体区域B的图像与模型区域A重叠而确定被摄体区域B中多个运动基准点Q、…的每一个对应的位置。而且，第I设定部306b，对于运动信息305a所规定的多个运动基准点Q、…的全部，可以设定对应的运动控制点S，也可以仅仅设定与被摄体的中央部和各个前端部等代表性的预定数的运动基准点Q相对应的运动控制点S。而且，第I设定部306b，在被摄体剪切图像和掩模图像Pl的被摄体区域B内，可以自动地确定从存储部305读出的运动信息305a所规定的基准帧(例如第I帧等)的多个运动基准点Q、…的每一个对应的位置。例如，第I设定部306b，考虑被摄体的骨骼形状或关节的位置等而确定多个运动基准点Q、…的每一个对应的位置。然后，第I设定部306b，在被确定的多个运动基准点Q、…的每一个对应的位置上分别设定运动控制点S。此外，即使是自动地进行由第I设定部306b实现的运动控制点S的设定的情况下，也可以基于由用户实现的操作输入部的预定操作而受理运动控制点S的设定位置的修正(变更)。第2设定部306c，在变成运动图像生成处理之处理对象的静止图像的被摄体区域B内设定多个重叠控制点T。即，第2设定部306c，作为第2设定单元，在由图像取得部306a所取得的二维的静止图像的被摄体区域B内，在与多个重叠基准点R、…相对应的各个位置上设定多个与构成被摄体区域B的多个构成区域L、…的重叠的控制相关的重叠控制点T。具体地，第2设定部306c，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，在与构成基准图像之模型区域A的多个区域的每个区域(例如作为运动物体模型的人的代表性的各个部位的每个部位等)上所设定的多个重叠基准点R、…相对应的各个位置上设定多个重叠控制点T、…的每一个。例如，第2设定部306c，从存储部305中读出重叠位置信息305b，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，将与该重叠位置信息305b所规定的基准帧(例如第I帧等)的多个重叠基准点R、…(例如重叠基准点Rl R4等)的每一个相对应的重叠控制点T(例如重叠控制点Tl T4等)分别设定在基于由用户实现的用户终端2的操作输入部202的预定操作所指定的希望位置上(参考图11A)。此时，第2设定部306c，对于重叠位置信息305b所规定的多个重叠基准点R、…的全部，可以设定对应的重叠控制点T，也可以仅仅设定与被摄体的中央部、胳膊或者脚的各个前端部等代表性的预定数的重叠基准点R相对应的重叠控制点T。此外，第2设定部306c，将由第I设定部306b实现的运动控制点S的设定位置设为基准，例如可以在与运动控制点S的设定位置大致相等的位置上设定重叠控制点T。此时，第2设定部306c，对于已经设定的运动控制点S的全部，在大致相等的位置上可以设定重叠控制点T，也可以仅仅设定与被摄体的中央部或者各个前端部等代表性的预定数的运动控制点S相对应的重叠控制点T。

区域分割部306d，将被摄体区域B分割成预定形状的多个图像区域Ba、…。S卩，区域分割部306d，例如对被摄体剪切图像和掩模图像Pl的图像数据进行德劳内(Delaunay)的三角形分割，在被摄体区域B内以预定的间隔配置顶点并分割成三角形的网状的多个图像区域Ba、...(参考图11B)。这里，在与运动控制点S或者重叠控制点T大致相等的位置上，可以设定图像区域Ba的顶点，也可以设定在不同的位置上。而且，所谓德劳内的三角形分割，是在用将各点设为顶点的多个三角形对处理对象的区域进行分割的方法当中，进行分割使得三角形的最小角的和成为最大的方法。而且，作为由区域分割部306d实现的被摄体区域B的分割方法，例示了德劳内的三角形分割，但是其是一个例子，并不局限于此，如果是将被摄体区域B分割成多个图像区域Ba、…的方法,能够进行适当任意地变更。区域确定部306e，对于多个重叠控制点T、…的每一个，确定用于构成被摄体区域B的多个构成区域L、…。即，区域确定部306e，对于由第2设定部306c设定的多个重叠控制点T、…的每一个，将与在最近的位置上存在的其他的重叠控制点T之间的距离设为基准，确定多个在掩模图像Pl的被摄体区域B当中作为构成区域L的重叠控制区域M。具体地，区域确定部306e,例如,利用代克思托演算法(Dij kstra/ s algorithm)等,对于各个重叠控制点T (例如，左手腕重叠控制点Tl等)，在沿着通过区域分割部306d分割了被摄体区域B的多个图像区域Ba、...(例如三角形的图像区域Ba)的边缘部的路径上，确定最近位置上存在的其他的重叠控制点T(例如右手腕重叠控制点T2等)(参考图12A)。然后，区域确定部306e，对于各个重叠控制点T，将由成为被确定的最近位置上存在的其他重叠控制点T之前的距离一半的距离以内存在的多个图像区域Ba、...构成的区域确定作为该重叠控制点T的重叠控制区域M(参考图12B)。例如，区域确定部306e，分别确定与左手腕重叠控制点Tl相关的左腕重叠控制区域Ml、与右手腕子重叠控制点T2相关的右腕重叠控制区域M2、与左脚脖子重叠控制点T3相关的左脚重叠控制区域M3、与右脚脖子重叠控制点T4相关的右脚重叠控制区域M4。而且，在图12A、后述的图12C中，省略对被摄体区域B进行分割后的多个图像区域Ba、…的图示,示意地用虚线表示重叠控制点T彼此的距离。此外，区域确定部306e,将在被摄体区域B当中多个重叠控制区域M、…以外的非重叠控制区域N确定作为构成区域L。即，区域确定部306e，作为在掩模图像Pl的被摄体区域B之中重叠控制区域M被确定的结果，将剩余的部分的区域确定作为非重叠控制区域N。具体地，区域确定部306e，例如，作为在掩模图像Pl的被摄体区域B之中左右胳膊重叠控制区域M1、M2和左右脚重叠控制区域M3、M4被确定后的结果，将剩余的部分的区域即作为主要与身体和头相当的各个区域确定作为非重叠控制区域N(参考图12B)。就是说，与身体相当的非重叠控制区域N，变成被摄体区域B的相对中心侧的区域，多个重叠控制区域M、…·，与非重叠控制区域N相邻而变成该被摄体区域B的相对端部侧的区域。而且，由区域确定部306e实现的重叠控制区域M和非重叠控制区域N的确定方法是一个例子，不局限于此，能够适当任意地进行变更。进深位置计算部306f，对构成被摄体区域B的多个构成区域L、…的每一个的在每个预定时间间隔的进深方向的位置进行计算。S卩，进深位置计算部306f，作为计算单元，基于与多个重叠控制点T、…的每一个对应的重叠基准点R的进深方向的基准位置(进深信息)，对多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置进行计算。具体地，进深位置计算部306f，基于与各个重叠控制区域M相关的重叠控制点T对应的重叠基准点R的每个预定时间间隔的对二维空间的进深方向的基准位置，算出由区域确定部306e确定的多个重叠控制区域M、…的每一个的每个预定时间间隔的进深方向的位置。例如，进深位置计算部306f，从存储部305中读出重叠位置信息305b，取得通过第2设定部306c各个重叠控制点T被对应关联的重叠基准点R的每个预定时间间隔的对二维空间的进深方向的基准位置。然后，进深位置计算部306f，基于被取得的重叠基准点R的每个预定时间间隔的对二维空间的进深方向的基准位置，对与该重叠基准点R对应的重叠控制点T相关的各个重叠控制区域M的每个预定时间间隔的进深方向的位置进行计算，使得构成各个重叠控制区域M的多个图像区域Ba、…的各个顶点的像素在预定方向(例如从被摄体区域B的端部侧向着中央部侧的方向)上相互不重合。这里，进深位置计算部306f，对于多个重叠控制区域(构成区域L)M、…的每一个，可以将距与该各个重叠控制区域M相关的重叠控制点T的距离设为基准，对通过区域分割部306d各个重叠控制区域M被分割后的多个图像区域Ba、…的各个顶点的进深方向的位置进行计算。例如，进深位置计算部306f，对于多个重叠控制区域(构成区域L)M、…的每一个，对用“O” “I”范围的值将多个图像区域Ba、…的各个顶点的位置进行归一化(normalization)后的进深归一化信息进行计算。具体地，进深位置计算部306f,对重叠控制点T的位置变成“1”，距离重叠控制点T越远值越小，在最远的位置上存在的顶点(重叠控制区域M的与重叠控制点T相反一侧的顶点)的位置处变成“O”那样的进深归一化信息进行计算。此外，进深位置计算部306f，在各个重叠控制区域M内，将重叠控制点T设为基准，将与向着距该重叠控制点T最近位置上存在的其他重叠控制点T之方向相反一侧的区域Ma内存在的预定数的图像区域Ba的各个顶点的进深归一化信息与重叠控制点T同样地设为“ I”(参考图12C)。这里，进深位置计算部306f，在各个重叠控制区域M内，可以将重叠控制点T设为基准，将预定 的距离(例如在重叠控制区域M内取得的最长路径的1/5左右等)内存在的各个顶点的进深归一化信息设为“I”。此外，进深位置计算部306f，为了用于构成由区域确定部306e确定的非重叠控制区域N的各个像素变成在进深方向上相互不同的位置，计算该非重叠控制区域N的每个预定时间间隔的进深方向的位置。S卩，进深位置计算部306f，对于非重叠控制区域N，计算用“O” “ I ”范围的值将多个图像区域Ba、…的各个顶点的位置进行了归一化的进深归一化信息。具体地，进深位置计算部306f，例如，沿着y轴方向(上下方向)，将多个图像区域Ba、…的各个顶点进行归一化，计算进深归一化信息，使得最上部(例如头侧)存在的顶点的位置变成“1”，最下部(例如脚侧)存在的顶点的位置变成“O”。然后，进深位置计算部306f，将非重叠控制区域N的进深方向的位置设为基准，计算多个重叠控制区域M、…的进深方向的位置。S卩，进深位置计算部306f，例如，将非重叠控制区域N的任意的点(非重叠控制点)的进深方向的位置设为“0”，从存储部305中读出重叠位置信息305b，取得与多个重叠控制区域M、…的每一个相关的重叠控制点T相对应的重叠基准点R的进深方向的基准位置，之后，根据预定的规则，将该多个重叠控制点T、…和非重叠控制点进行重新排列。例如,在重叠位置信息305b为将与左手腕重叠控制点Tl对应的左手腕重叠基准点Rl的进深方向的基准位置设为“100”、将与右手腕重叠控制点T2对应的右手腕重叠基准点R2的进深方向的基准位置设为“20”、将与左脚脖子重叠控制点T3对应的左脚脖子重叠基准点R3的进深方向的基准位置设为“-50”、将与右脚脖子重叠控制点T4对应的右脚脖子重叠基准点R4的进深方向的基准位置设为“-70”之内容的情况下，进深位置计算部306f以左手腕子重叠控制点Tl、右手腕子重叠控制点T2、非重叠控制点、左脚脖子重叠控制点T3、右脚脖子重叠控制点T4的顺序进行重新排列。然后，进深位置计算部306f，以与左手腕子重叠控制点Tl相关的左胳膊重叠控制区域Ml、与右手腕子重叠控制点T2相关的右胳膊重叠控制区域M2、与非重叠控制点相关的非重叠控制区域N、与左脚脖子重叠控制点T3相关的左脚重叠控制区域M3、与右脚脖子重叠控制点T4相关的右脚重叠控制区域M4的顺序，分配到预定层数的层(例如第I 第5层；参考图10)。这里，预定层数的层以在进深方向上相互不同的位置被设定(使得不重合)，并且变成帧图像实际被描绘时所利用的进深方向的值(参考图10)。此外，对于预定层数的层的进深方向，该方向的长度(厚度)被设定成在帧图像的状态下为不明显那样的值以使该处理对象的静止图像恰似二维的静止图像那样。此外，进深位置计算部306f，基于左胳膊重叠控制区域Ml、右胳膊重叠控制区域M2、非重叠控制区域N、左脚重叠控制区域M3、以及右脚重叠控制区域M4的进深归一化信息，计算各个构成区域L的各个顶点的进深方向的位置。具体地，进深位置计算部306f，判定与变成处理对象的重叠控制区域M相对应的重叠基准点R的进深方向的基准位置是否比非重叠控制区域N的进深方向的位置“O ”更大，根据该判定结果，变换并设定用于对进深方向的位置进行计算的一般式。例如，进深位置计算部306f，如左胳膊重叠控制区域Ml或者右胳膊重叠控制区域M2那样，在重叠基准点R的进深方向的基准位置比非重叠控制区域N的进深方向的位置“O”小的情况下，基于下述式A计算用于构成各个重叠控制区域M的图像区域Ba的各个顶点的层内的进深方向的位置“Zpos”。同样地，进深位置计算部306f，对于非重叠控制区域N，基于下述式A计算用于构成该非重叠控制区域N的图像区域Ba的各个顶点的层内的进深方向的位置“Zpos”。Zpos = “进深归一化信息” * “层W，，+ “层Min”式A此外，进深位置计算 部306f，如左脚重叠控制区域M3或者右脚重叠控制区域M4那样，在重叠基准点R的进深方向的基准位置比非重叠控制区域N的进深方向的位置“O”更大的情况下，基于下述式B计算用于构成各个重叠控制区域M的图像区域Ba的各个顶点的层内的进深方向的位置“ Zpos ”。Zpos = (1- “进深归一化信息”)* “层 W，，+ “层 Min” 式 B这里，上述式A、B中，“层W”表示对于对应的各个层所取得的进深距离(宽度)的最大值“层Max”和最小值“层Min”之间的差(宽度)。而且，由进深位置计算部306f实现的各个构成区域L的各个顶点的进深方向的位置的计算方法是一个例子，不局限于此，能够适当任意地进行变更。帧生成部306g，依次生成用于构成运动图像的多个基准帧图像。S卩，帧生成部306g，为了跟踪到由运动图像处理部306指定的运动信息305a的多个运动基准点Q、…的运动，使被摄体剪切图像的被摄体区域B内所设定的多个运动控制点S、…移动，依次生成多个基准帧图像(参考图13A和图13B)。具体地，帧生成部306g，例如，依次取得根据运动信息305a在预定时间间隔进行移动的多个运动基准点Q、…的坐标信息，计算与该运动基准点Q的每一个对应的各个运动控制点S的坐标。然后，帧生成部306g，通过在计算出的坐标上使运动控制点S依次移动，并且使通过区域分割部306d被摄体区域B被分割了的多个图像区域(例如三角形的网状的区域)Ba、…进行移动或者变形，生成基准帧图像(图示省略)。此时，帧生成部306g，作为生成单元，基于由进深位置计算部306f计算出的多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置(Zpos)，生成使在该每个预定时间间隔上被摄体区域B上的各个构成区域L以在进深方向上相互不同的位置在该进深方向上进行位移，并且根据多个运动控制点S、…的运动而使被摄体区域B变形的基准帧图像(变形图像)。具体地，帧生成部306g，例如，利用Open GL等的三维的描绘接口等，基于作为被摄体区域B构成的构成区域L的多个重叠控制区域M、…及非重叠控制区域N的每一个的每个预定时间间隔的进深方向的位置“Zpos”，使在该每个预定时间间隔上被摄体剪切图像的被摄体区域B中的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移。而且，由于使将运动控制点S设为基准的预定的图像区域Ba移动或者变形的处理是公知的技术，因此在这里省略详细的说明。在图13A和图13B中，模式地表示了与变形后的基准帧图像对应的掩模图像P2、P3，图13A是与运动信息305a的多个运动基准点Q、…的坐标信息D2相对应的示意图，图13B是与运动信息305a的多个运动基准点Q、…的坐标信息D3相对应的示意图。而且，在图13A和图13B所示的掩模图像P2、P3中，为了与变形后的基准帧图像对应，模式地表示使两个脚交叉的状态。就是说，尽管在变形后的基准帧图像中，交叉的部分进行定位使得前后重叠，但是在二维的掩模图像P2、P3中，实际上没有表示出脚之间的前后关系。此外，帧生成部306g，生成在沿着基于与移动后的运动基准点Q的每一个相对应的多个运动控制点S、…所生成的时间轴而相邻的两个基准帧图像彼此之间进行内插的内插帧图像(图示省略)。即，帧生成部306g，为了通过运动图像再现部306i以预定的再现帧速率(例如30fps等)来 再现多个帧图像，生成预定数个用于在两个基准帧图像彼此之间进行内插的内插帧图像。具体地，帧生成部306g，依次取得在相邻两个的基准帧图像间由运动图像再现部306i再现的预定乐曲的再现进行程度，根据该进行程度，依次生成在相邻两个基准帧图像间所再现的内插帧图像。例如，帧生成部306g，基于MIDI标准的乐曲信息305c，取得拍子的设定信息和四分音符的分辨率(滴答计数数值)，将由运动图像再现部306i再现的预定乐曲的再现的经过时间变换到滴答计数数值。接着，帧生成部306g，基于与预定乐曲的再现的经过时间对应的滴答计数数值，例如用百分率计算与预定的时刻(例如各小节的第一拍等)同步的相邻两个基准帧图像间的预定乐曲的再现的相对进行程度。然后，帧生成部306g，根据预定乐曲的再现的相对进行程度，改变对该相邻两个基准帧图像的加权，并生成内插帧图像。而且，由于用于生成内插帧图像的处理是公知的技术，因此在这里，省略详细的说明。此外，由帧生成部306g实现的基准帧图像或者内插帧图像的生成，与上述同样，也关于掩模图像Pl的图像数据和α图来进行。背面图像生成部306h，生成用于对被摄体的背侧(背面侧)模拟地进行表示的背面图像(图示省略)。即，背面图像生成部306h，例如，基于被摄体剪切图像的被摄体区域的轮廓部分的颜色信息，对与背面图像中的被摄体剪切图像的被摄体区域相对应的被摄体对应区域进行描绘，生成该背面图像。
运动图像再现部306i，对由帧生成部306g生成的多个帧图像的每一个进行再现。S卩，运动图像再现部306i，基于按照由用户实现的用户终端2的操作输入部202的预定操作所指定的乐曲信息305c，对预定的乐曲自动地进行再现，并且在该预定乐曲的预定时刻，再现多个帧图像的每一个。具体地，运动图像再现部306i，将预定乐曲的乐曲信息305c的数字数据通过D/Α转换器而变换到模拟数据，使该预定的乐曲自动地再现，此时，为了与预定的时刻(例如各小节的第I拍或者各个拍等)同步，再现相邻的两个基准帧图像，并且根据相邻的两个基准帧图像间的预定乐曲的再现的相对进行程度，对与该进行程度相对应的各个内插帧图像进行再现。而且，运动图像再现部306i，还可以用由运动图像处理部306指定的速度来对与被摄体图像相关的多个帧图像进行再现。在该情况下，运动图像再现部306i，通过改变使相邻两个基准帧图像同步的时刻，变更在预定的单位时间内所再现的帧图像的数量，使被摄体图像的运动的速度可变。下面，参考图5 图12，说明使用用户终端2和服务器3的运动图像生成处理。这里，图5和图6是表示与运动图像生成处理相关的动作的一个例子的流程图。而且，在以下的说明中，假设从被摄体存在图像的图像数据中生成的被摄体剪切图像和与该被摄体剪切图像对应的掩模图像Pl的图像数据被存储于服务器3的存储部305中。如图5所示，用户终端2的中央控制部201的CPU，基于由用户实现的操作输入部202的预定操作，在通过服务器3所开设的运动图像生成用页的访问指示被输入时，通过通信控制部206介由预定的通信网络N将该访问指示发送到服务器3 (步骤SI)。当通过服务器3的通信控制部303，接收了从用户终端2发送的访问指示时，中央控制部301的CPU，通过通信控制部303介由预定的通信网络N将运动图像生成用页的页数据发送到用户终端2 (步骤S2)。然后，当通过用户终端2的通信控制部206，接收了运动图像生成用页的页数据时，显示部203基于该运动图像生成用页的页数据，显示运动图像生成用页的画面(图示省略)。接着，用户终端2的中央控制部201，基于由用户实现的操作输入部202的预定操作，通过通信控制部206介由预定的通信网络N将与在运动图像生成用页的画面内被操作的各种按钮相对应的指示信号发送到服务器3 (步骤S3)。如图6所示，服务器3的中央控制部301的CPU，根据来自用户终端2的指示的内容，使处理分支(步骤S4)。具体地，中央控制部301的CPU，在来自用户终端2的指示是与被摄体图像的指定相关的内容的情况下(步骤S4 ;被摄体图像的指定)，使处理转移到步骤
S51;在是与背景图像的指定相关的内容的情况下(步骤S4;背景图像的指定)，使处理转移到步骤S61 ;在是与运动和乐曲的指定相关的内容的情况下(步骤S4;运动和乐曲的指定)，使处理转移到步骤S71。<被摄体图像的指定>在步骤S4，当来自用户终端2的指示是与被摄体图像的指定相关的内容的情况下(步骤S4 ;被摄体图像的指定)，运动图像处理部306的图像取得部306a从存储部305所存储的被摄体剪切图像的图像数据当中读出并取得由用户指定的被摄体剪切图像的图像数据和与该被摄体剪切图像的图像数据对应关联的掩模图像Pl的图像数据(步骤S51)。接着，运动图像处理部306，判定在取得的被摄体剪切图像和掩模图像Pl的被摄体区域B内运动控制点S和重叠控制点T是否已经被设定(步骤S52)。在步骤S52，当判定运动控制点S和重叠控制点T没有被设定时(步骤S52 ;否)，运动图像处理部306基于被摄体剪切图像和掩模图像Pl的图像数据，通过将被摄体区域B的预定位置(例如中心位置等)设为基准来对该被摄体剪切图像和掩模图像Pl进行修整(trimming),校正使得被摄体区域B和运动物体模型的模型区域A的大小变成相等(步骤S53)。而且，即使对于与该被摄体剪切图像的图像数据对应关联的α图，也进行修整。此后，运动图像处理部306，进行用于生成对修整后的图像的被摄体区域B的图像的背侧模拟地进行表示的背面图像(图示省略)的背面图像生成处理(步骤S54)。接着，中央控制部301的CPU，通过通信控制部303介由预定的通信网络N将与生成的背面图像对应关联的被摄体剪切图像的图像数据发送到用户终端2 (步骤S55)。此后，运动图像处理部306，在被摄体剪切图像和掩模图像Pl的每一个的被摄体区域B内，设定多个运动控制点S和重叠控制点T (步骤S56)。具体地，运动图像处理部306的第I设定部306b，从存储部305中读出运动物体模型(例如人)的运动信息305a，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，将与该运动信息305a所规定的基准帧(例如第I帧等)的多个运动基准点Q、…的每一个相对应的运动控制点S分别设定到基于由用户实现的用户终端2的操作输入部202的预定操作所指定的希望位置上(参考图11A)。此外，运动图像处理部306的第2设定部306c，将由第I设定部306b实现的运动控制点S的设定位置设为基准，例如，在与被摄体区域B的前端部等所设定的运动控制点S大致相等的位置上设定预定数个重叠控制点T。

例如，如图1lA所示，第I设定部306b，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，设定与左右手腕运动基准点Ql、Q2的每一个对应的左右手腕运动控制点S1、S2 ;与左右脚脖子运动基准点Q3、Q4的每一个对应的左右脚脖子运动控制点S3、S4 ;与脖子运动基准点Q5对应的脖子运动控制点S5。此外，例如，第2设定部306c，在被摄体剪切图像和掩模图像Pl的各个被摄体区域B内，设定与左右手腕重叠基准点R1、R2的每一个对应的左右手腕重叠控制点Tl、T2 ;与左右脚脖子重叠基准点R3、R4的每一个对应的左右脚脖子重叠控制点T3、T4。然后，运动图像再现部306i，将对该被摄体区域B所设定的运动控制点S和重叠控制点T、以及被摄体图像的合成位置和大小等的合成内容登录到预定的存储单元(例如预定的存储器等)(步骤S57)。此后，中央控制部301的CPU，使处理转移到步骤S8。关于步骤S8的处理的内容，后述。而且，当在步骤S52中判定为已经设定了运动控制点S和重叠控制点T时(步骤
S52;是)，中央控制部301的CPU跳过步骤S53 S57的处理，使处理转移到步骤S8。关于步骤S8的处理的内容，后述。〈背景图像的指定〉在步骤S4，当来自用户终端2的指示是与背景图像的指定相关的内容的情况下(步骤S4 ;背景图像的指定)，运动图像处理部306的运动图像再生部306i，基于由用户实现的操作输入部202的预定操作，读出并取得希望的背景图像(其他的图像)的图像数据(步骤S61)，将该背景图像的图像数据设为运动图像的背景，登录到预定的存储单元(步骤S62)。具体地，介由通信网络N和通信控制部303，在用户终端2的显示部203所显示的运动图像生成用页的画面内的多个图像当中，基于由用户实现的操作输入部202的预定操作所指定的任何一个的图像数据的指定指示被输入到服务器3。运动图像再现部306i，在从存储部305中读出并取得与该指定指示相关的背景图像的图像数据之后，将该背景图像的图像数据登录作为运动图像的背景。接着，中央控制部301的CPU，通过通信控制部303介由预定的通信网络N将背景图像的图像数据发送到用户终端2 (步骤S63)。此后，中央控制部301的CPU，使处理转移到步骤S8。关于步骤S8的处理的内容，后述。<运动和乐曲的指定>在步骤S4，当来自用户终端2的指示是与运动和乐曲的指定相关的内容的情况下(步骤S4 ;运动和乐曲的指定)，运动图像处理部306基于由用户实现的操作输入部202的预定操作，设定运动信息305a和运动的速度(步骤S71)。具体地，介由通信 网络N和通信控制部303，在用户终端2的显示部203所显示的运动图像生成用页的画面内的多个运动模型的模型名当中，基于由用户实现的操作输入部202的预定操作所指定的任何一个的模型名(例如草裙舞等)的指定指示被输入到服务器
3。运动图像处理部306，在存储部305所存储的多个运动信息305a、…当中，设定与该指定指示相关的运动模型的模型名对应关联的运动信息305a。而且，运动图像处理部306，在多个运动信息305a、...当中，例如，还可以自动地指定作为默认值(default)而设定的运动信息305a和通过用户而上一次指定的运动信息305a。此外，介由通信网络N和通信控制部303，在用户终端2的显示部203所显示的运动图像生成用页的画面内的多个运动的速度(例如，1/2倍、标准(等倍)、2倍等)当中，基于由用户实现的操作输入部202的预定操作所指定的任何一个的速度(例如标准等)的指定指示被输入到服务器3。运动图像处理部306将该指定指示相关的速度设定作为被摄体图像的运动的速度。此后，运动图像处理部306的运动图像再现部306i，将设定的运动信息305a和运动的速度设为运动图像的运动的内容而登录到预定的存储单元中(步骤S72)。接着，运动图像处理部306，设定基于由用户实现的操作输入部202的预定操作而自动地再现的乐曲(步骤S73)。具体地，介由通信网络N和通信控制部303，在用户终端2的显示部203所显示的运动图像生成用页的画面内的多个乐曲名当中，基于由用户实现的操作输入部202的预定操作所指定的任何一个的乐曲名的指定指示被输入到服务器3。运动图像处理部306设定该指定指示相关的乐曲名的乐曲。此后，中央控制部301的CPU，使处理转移到步骤S8。关于步骤S8的处理的内容，后述。
在步骤S8中，中央控制部301的CPU，判定是否是运动图像能够生成的状态(步骤S8)。即，基于由用户实现的操作输入部202的预定操作，服务器3的运动图像处理部306，通过进行对被摄体区域B的运动控制点S和重叠控制点T的登录、被摄体区域B的图像的运动的内容的登录、背景图像的登录等，从而整理运动图像的生成准备，判定是否能够生成运动图像。这里，当判定为不是能够生成运动图像的状态时(步骤S8 ;否)，中央控制部301的CPU使处理返回到步骤S4，根据来自用户终端2的指示的内容，使处理产生分支(步骤S4)。另一方面，当判定为能够生成运动图像的状态时(步骤S8 ;是)，如图4所示，中央控制部301的CPU使处理转移到步骤SlO。在步骤S10，服务器3的中央控制部301的CPU，判定是否基于由用户实现的用户终端2的操作输入部202的预定操作而输入了运动图像的预览指示(步骤S10)。S卩，在步骤S9中，用户终端2的中央控制部201，通过通信控制部206介由预定的通信网络N，将基于由用户实现的操作输入部202的预定操作而输入的运动图像的预览指示发送到服务器3 (步骤S9)。然后，当在步骤SlO通过服务器3的中央控制部301的CPU判定输入了运动图像的预览指示时(步骤SlO ;是)，运动图像处理部306的运动图像再生部306i将与已经设定的乐曲名相对应的乐曲信息305c作为与运动图像一起被自动地再现的信息而登录到预定的存储单元中(步骤SI I)。接着，运动图像处理部306，基于存储单元所登录的乐曲信息305c，开始由运动图像再现部306i实现的预定乐曲的再现(步骤S12)。接着，运动图像处理部306，判定由运动图像再现部306i实现的预定乐曲的再现是否结束(步骤S13)。这里，当判定为乐曲的再现没有结束时(步骤S13 ;否)，运动图像处理部306执行用于生成基准帧图像的帧图像生成处理(参考图7)(步骤S14)。而且，对于帧图像生成处理，后述。接着，帧生成部306g，根据由运动图像再现部306i再现的预定乐曲的再现的进行程度，生成用于在相邻两个基准帧图像彼此之间进行内插的内插帧图像(步骤S15)。此外，运动图像处理部306，与上述基准帧图像的情况同样地，使用公知的图像合成方法，将内插帧图像和背景图像进行合成(详细后述)。接着，中央控制部301的CPU，通过通信控制部303介由预定的通信网络N，将由运动图像再现部306i自动地再现的乐曲的乐曲信息305c与由在该乐曲的预定时刻所再现的基准帧图像和内插帧图像构成的预览运动图像的数据发送到用户终端2(步骤S16)。这里，预览运动图像的数据构成了由预定数的基准帧图像和内插帧图像构成的多个帧图像和用户希望的背景图像被合成后的运动图像。接着，运动图像处理部306使处理返回到步骤S18，判定乐曲的再现是否结束(步骤 S13)。上述的处理被重复进行直到由步骤S13判定为乐曲的再现结束了为止(步骤S13 ；是)。然后，当判定为乐曲的再现结束时(步骤S13 ;是)，如图6所示，中央控制部301的CPU使处理返回到步骤S4，根据来自用户终端2的指示的内容，使处理产生分支(步骤S4)。当在步骤S16通过用户终端2的通信控制部303接收从服务器3发送的预览运动图像的数据时，中央控制部201的CPU控制声音输出部204和显示部203，使预览运动图像再现(步骤S17)。具体地，声音输出部204基于乐曲信息305c而自动地再现乐曲，并从扬声器中进行播音，同时，显示部203在该被自动地再现的乐曲的预定的时刻将由基准帧图像和内插帧图像构成的预览运动图像显示在显示画面上。而且，尽管在上述的运动图像生成处理中，使得再现预览运动图像，但是，其是一个例子，不局限于此，例如，还可以将被依次生成的基准帧图像或者内插帧图像或者背景图像的图像数据和乐曲信息305c作为一个文件而存储在预定的存储单元中，在与运动图像相关的全部的数据的生成结束之后，将该文件从服务器3发送到用户终端2，由该用户终端2进行再现。〈帧图像生成处理〉下面，参考图7 图9，详细说明由运动图像处理部306实现的帧图像生成处理。图7是表示与运动图像生成处理中的帧图像生成处理相关的动作的一个例子的流程图。如图7所示，首先，运动图像处理部306的区域分割部306d，例如，对被摄体剪切图像和掩模图像Pl的图像数据进行德劳内的三角形分割，在被摄体区域B内以预定的间隔配置顶点，并分割成三角形的网状的多个图像区域Ba、…(步骤SlOl ;参考图11B)。接着，运动图 像处理部306，进行用于对构成掩模图像Pl之被摄体区域B的多个构成区域L、…进行确定的构成区域确定处理(参考图8)(步骤S102)。而且，关于帧图像生成处理，后述。此后，运动图像处理部306，进行使被摄体区域B的多个构成区域L、…在进深方向上位移，并且对根据运动控制点S的运动而变形的基准帧图像进行描绘的帧描绘处理(参考图9)(步骤S103)。而且，关于帧图像生成处理，后述。然后，运动图像处理部306，使用公知的图像合成方法，对生成的基准帧图像和背景图像进行合成(步骤S104)。具体地，运动图像处理部306，例如，在背景图像的各个像素当中，使α值为“O”的像素透过，α值为“I”的像素用基准帧图像对应的像素的像素值书写，而且，在背景图像的各个像素当中，对于α值为“0< α < I”的像素，在使用I的补数(l-α)而生成了对基准帧图像的被摄体区域进行剪切后的图像(背景图像X(1-CO)之后，在使用α图中的I的补数(l-α)而生成了基准帧图像时，计算与单一背景色混合后的值，从基准帧图像中减去该值，将其与对被摄体区域进行剪切后的图像(背景图像X(1-Ci))进行合成。通过这样，结束帧图像生成处理。〈构成区域确定处理〉下面，参考图8，详细说明由运动图像处理部306实现的构成区域确定处理。图8是表示与帧图像生成处理中的构成区域确定处理相关的动作的一个例子的流程图。
如图8所示，首先，运动图像处理部306的区域确定部306e，例如，利用代克思托演算法(Dijkstra' s algorithm),计算从多个重叠控制点T、…的每一个开始到由区域分割部306d分割的全部的图像区域Ba的各个顶点为止的距离(步骤S201)。接着，区域确定部306e，在根据预定的顺序配置了多个重叠控制点T、…之后，在指定了任何一个的重叠控制点T (例如左手腕重叠控制点Tl等)之后(步骤S202)，判定是否指定用于对将指定的重叠控制点T设为基准的重叠控制区域M进行确定的区域信息(步骤S203)。这里，作为区域信息，例如，举出“将距重叠控制点T的距离为预定数(例如100)的像素以内设为重叠控制区域M”等的信息。此外，可以将下述信息设为区域信息:即对于与一个重叠控制点T最近的其他的重叠控制点T，如后述，在由成为该重叠控制点T彼此的距离之一半的距离 以内存在的多个图像区域Ba、…构成的区域被确定作为该其他的重叠控制点T的重叠控制区域M的情况下，将由剩余之一半的距离以内所存在的多个图像区域Ba、…构成的区域设为关于一个重叠控制点T的重叠控制区域M那样的信息。当在步骤S203判定为区域信息没有被指定时(步骤S203 ;否)，区域判定部306e对到其他的各个重叠控制点T为止的最短距离进行计算(步骤S204)。具体地，区域确定部306e，使用到在步骤S201所计算出的全部的图像区域Ba的各个顶点为止的距离，计算出在沿着多个图像区域Ba、...(例如三角形的图像区域Ba)的边缘部的路径上到其他的各个重叠控制点T为止的最短距离(参考图12A)。然后，区域确定部306e，在到算出的其他的各个重叠控制点T为止的最短距离当中，在确定了最短距离最短的即最近的位置上存在的其他的重叠控制点T(例如右手腕重叠控制点Τ2等)之后，将由成为到该其他的重叠控制点T为止的距离之一半的距离以内存在的多个图像区域Ba、…构成的区域确定作为该重叠控制点T的重叠控制区域M(步骤S205 ;参考图 12Β)。另一方面，当在步骤S203判定为区域信息被指定的情况下(步骤S203 ;是)，区域确定部306e，基于该区域信息，确定重叠控制点T的重叠控制区域M (步骤S206)。此后，运动图像处理部306的进深位置计算部306f，在被确定的重叠控制区域M内，用“O” “I”范围的值将多个图像区域Ba、…的各个顶点的位置进行归一化并且计算出进深归一化信息(步骤S207)，使得重叠控制点T的位置设为“I”、距重叠控制点T越远，值变得越小，在最远的位置上存在的顶点的位置处设为“O”。接着，进深位置计算部306f,在被确定的重叠控制区域M内，将与向着距重叠控制点T最近位置上存在的其他的重叠控制点T之方向相反一侧的区域Ma内存在的预定数的图像区域Ba的各个顶点的进深归一化信息与重叠控制点T同样地设为“I”(步骤S208)。而且，当用“O” “I”范围的值进行归一化时，可以按下述那样进行。在与向着距一个重叠控制点T最近的位置上存在的其他的重叠控制点T之方向相反一侧的区域Ma内，将距重叠控制点T最远点的进深归一化信息设为“I”。“O”是如上述那样，也可以在其间按照距离用“O” “ I”范围的值进行归一化。接着，运动图像处理部306，判定对于全部的重叠控制点T，是否确定重叠控制区域M (步骤S209)。这里，当判定对于全部的重叠控制点T不确定重叠控制区域M时(步骤S209 ;否)，区域确定部306e,作为下一个处理对象,在多个重叠控制点T、…中，在指定了尚未指定的重叠控制点T (例如右手腕重叠控制点T2等)之后(步骤S210)，将处理转移到步骤S203。此后，运动图像处理部306依次重复执行步骤S203以后的处理直到由步骤S209判定出对于全部的重叠控制点T确定了重叠控制区域M(步骤S209;是)为止。通过这样，对于多个重叠控制点T、…的每一个,重叠控制区域M被确定。然后，当由步骤S209判定出对于全部的重叠控制点T确定了重叠控制区域M时(步骤S209 ;是)，区域确定部306e在掩模图像Pl的被摄体区域B中确定非重叠控制区域N(步骤S211 ;参考图12B)。具体地，区域确定部306e，作为在掩模图像Pl的被摄体区域B中重叠控制区域M被确定的结果，将剩余部分的区域(例如作为主体与身体和头相当的各个区域)确定作为非重叠控制区域N。接着，进深位置计算部306f，对于非重叠控制区域N，为了沿着y轴方向，将最上部(例如头侧)存在的顶点的位置设为“1”，将最下部(例如脚侧)存在的顶点的位置设为“0”，用“O” “ 1”范围的值对多个图像区域Ba、…的各个顶点的位置进行归一化，计算出进深归一化信息(步骤S212)。接着，进深位置计算部306f，将被确定的非重叠控制区域N的任意的点设为非重叠控制点，将进深方向的位置设定为“O” (步骤S213)，结束构成区域确定处理。〈帧描绘处理〉下面，参考图9，详细说明由运动图像处理部306实现的帧描绘处理。图9是表示与帧图像生成处理中的帧描绘处理相关的动作的一个例子的流程图。如图9所示，首先，运动图像处理部306的帧生成部306g，从存储部305中读出运动信息305a，基于该运动信息305a，计算出与变成处理对象的基准帧图像中的多个运动基准点Q、…的每一个相对应的各个运动控制点S的位置(坐标信息)(步骤S301)。接着，帧生成部306g，使各个运动控制点S在计算出的坐标上依次移动，并且使构成被摄体剪切图像之被摄体区域B的多个图像区域Ba、…移动或者变形(步骤S302)。接着，进深位置计算部306f，从存储部305中读出重叠位置信息305b，取得与多个重叠控制区域M、…的每一个相关的重叠控制点T所对应的重叠基准点R的进深方向的基准位置(步骤S303)。接着，进深位置计算部306f，基于与多个重叠控制区域M、…的每一个相对应的重叠基准点R的进深方向的基准位置和非重叠控制点的进深方向的位置“0”，按照预定的规贝U，将该多个重叠控制点T、…和非重叠控制点进行重新排列(步骤S304)。例如，进深位置计算部306f以左手腕重叠控制点Tl、右手腕重叠控制点T2、非重叠控制点、左脚脖子重叠控制点T3、右脚脖子重叠控制点T4的顺序进行重新排列。然后，进深位置计算部306f，取得与预定的存储单元(例如存储器等)中所存储的预定层数的层相关的层信息(步骤S305 ;参考图10)。接着，进深位置计算部306f，在与多个重叠控制点T、…相关的重叠控制区域M和与非重叠控制点相关的非重叠控制区域N之中，按照种类顺序，指定任何一个的重叠控制区域M(例如，位于最深侧的重叠控制区域M)(步骤S306)。例如，进深位置计算部306f，指定例如与左手腕重叠控制点Tl相关的左胳膊重叠控制区域Ml。然后，进深位置计算部306f，对被指定的重叠控制区域M(例如左胳膊重叠控制区域Ml)，按照种类顺序来分配对应的层(例如第I层等)(步骤S307)。
接着，进深位置计算部306f，判定与变成处理对象的重叠控制区域M相对应的重叠基准点R的进深方向的基准位置是否比与非重叠控制区域N相关的非重叠控制点的进深方向的位置“O”更大(步骤S308)。这里，当判定出比非重叠控制点的进深方向的位置“O”更小时(步骤S308 ;否)，进深位置计算部306f，基于下述式A计算用于构成该重叠控制区域M(例如左胳膊重叠控制区域Ml等)的图像区域Ba的各个顶点的层内的进深方向的位置“Zpos” (步骤S309)。即，进深位置计算部306f，按照进深归一化信息越靠近“ I ”则越接近深侧，越靠近“O”则越靠跟前侧的方式，计算各个顶点的层内的进深方向的位置“Zpos ”。Zpos = “进深归一化信息” * “层W” + “层Min”式A另一方面，当由步骤S308判定出比非重叠控制点的进深方向的位置“O”更大时(步骤S308 ;是)，进深位置计算部306f，基于下述式B计算用于构成该重叠控制区域M(例如左脚重叠控制区域M3等)的图像区域Ba的各个顶点的层内的进深方向的位置“Zpos” (步骤S310)。即，进深位置计算部306f，按照进深归一化信息越接近“I”则越靠近跟前侧，越接近“O”则越靠近深侧的方式，计算各个顶点的层内的进深方向的位置“Zpos”。Zpos = (1- “进深归一化信息”)* “层 W，，+ “层 Min” 式 B接着，进深位置计算部306f，判定对于全部的重叠控制区域M是否进行用于计算出各个顶点的进深方向的位置“Zpos”的处理(步骤S311)。这里，在判定对于全部的重叠控制区域M不进行处理时(步骤S311 ;否)，进深位置计算部306f，作为下一个处理对象，在多个重叠控制区域M、…之中，在按照种类顺序而指定了尚未指定的重叠控制区域M(例如右胳膊重叠控制区域M2等)之后(步骤S312)，将处理转移到步骤S307。

此后,进深位置计算部306f依次重复执行步骤S307以后的处理,直到由步骤S311判定出对于全部的重叠控制区域M进行了处理(步骤S311 ;是)为止。通过这样，对于多个重叠控制区域M、…的每一个，各个顶点的进深方向的位置“Zpos”被计算出。然后，当由步骤S311判定出对于全部的重叠控制区域M进行了处理时(步骤S311 ;是)，进深位置计算部306f，基于下述式A计算出用于构成非重叠控制区域N的图像区域Ba的各个顶点的层内的进深方向的位置“Zpos”(步骤S313)。S卩，进深位置计算部306f，按照进深归一化信息越接近“I”则越靠近深侧，越接近“O”则越靠近跟前侧的方式，计算各个顶点的层内的进深方向的位置“Zpos ”。此后,巾贞生成部306g,例如,利用Open GL等的三维的描绘接口(interface)等,基于由进深位置计算部306f计算出的多个构成区域L、...(多个重叠控制区域M、…及非重叠控制区域N等)的进深方向的位置“Zpos”，使被摄体剪切图像的被摄体区域中的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移(步骤S314)。其结果，生成在使被摄体剪切图像的被摄体区域中的各个构成区域L在进深方向上进行位移，并且使被摄体区域变形的基准帧图像。通过这样，结束帧描绘处理。如上述，根据本实施方式的运动图像生成系统100，服务器3能够生成下述的基准帧图像(变形图像):基于与多个重叠控制点T、…的每一个对应的重叠基准点R的对二维空间的进深方向的基准位置来算出多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置，基于计算出的多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置，使在该每个预定时间间隔上被摄体区域中的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移，并且根据被摄体区域内所设定的多个运动控制点S^..的运动而使该被摄体区域变形。即，在生成根据多个运动控制点S、…的运动而使二维的静止图像的被摄体区域变形的变形图像的情况下，即使是使该静止图像的被摄体区域的一部分区域与其他的区域进行前后重叠那样的运动，通过使构成被摄体区域的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移，从而多个构成区域L、…的每一个也不会存在于在进深方向上相同的位置上，通过使二维的静止图像变形的变形图像也能够适当地进行进深的表现。其结果，能够合适地进行由表现了用户希望的运动的多个帧图像构成的运动图像的生成。此外，由于对于多个重叠控制点T、…的每一个，将与最近位置上存在的其他的重叠控制点T之间的距离设为基准，在被摄体区域B之中确定多个重叠控制区域M，基于与和各个重叠控制区域M相关的重叠控制点T对应的重叠基准点R的进深方向的基准位置来计算出该多个重叠控制区域M、…的每一个的每个预定时间间隔的进深方向的位置，因此在被摄体区域B之中，当对在进深方向相互不同的位置上作为在该进深方向进行位移的构成区域L的重叠控制区域M确定多个的情况下，对于一个重叠控制点T，通过考虑到在最近位置上存在的其他的重叠控制点T为止的距离，对与其他的重叠控制点T对应的重叠控制区域M的大小，能够确定平衡良好之大小的重叠控制区域M。通过这样，能够适当地进行将变形图像中的一个重叠控制区域M和其他的重叠控制区域M进行前后重叠那样的运动的表现。而且，由于对于多个重叠控制区域M、…的每一个，将距与该各个重叠控制区域M相关的重叠控制点T的距离设为基准，来计算出用于分割各个重叠控制区域M的多个图像区域Ba、…的顶点的进深方·向的位置，因此能够由变形图像适当地进行用于构成重叠控制区域M的多个图像区域Ba、…的进深的表现。而且，由于所谓上述距离，是与沿着用于分割被摄体区域B的多个图像区域Ba、...的边缘部的路径相关的距离，因此能够适当地进行重叠控制点T间的距离和从重叠控制点T开始到各个图像区域Ba的顶点为止的距离的计算。此外，由于将被摄体区域B之中多个重叠控制区域M、…以外的非重叠控制区域N确定作为构成区域L，为了用于构成该非重叠控制区域N的各个像素变成在进深方向相互不同的位置而对该非重叠控制区域N的每个预定时间间隔的进深方向的位置进行计算，因此不仅能够由变形图像适当地进行用于构成非重叠控制区域N的各个像素的进深的表现，而且能够适当地进行将变形图像中的非重叠控制区域N和重叠控制区域M进行前后重叠那样的运动的表现。特别地，由于将非重叠控制区域N的进深方向的位置设为基准，计算出与该非重叠控制区域N邻接的该被摄体区域B的相对的端部侧的区域即多个重叠控制区域M、…的进深方向的位置，因此能够适当地进行多个重叠控制区域M、…的进深方向的位置的计算，并且能够适当地进行将变形图像中的一个重叠控制区域M与其他的重叠控制区域M或者非重叠控制区域N进行前后重叠那样的运动的表现。此外，由于在静止图像的被摄体区域B内，在与基准图像的运动物体模型的模型区域A内所设定的多个运动基准点Q、…相对应的位置上设定多个运动控制点S、…，因此能够将多个运动基准点Q、…的位置设为基准而适当地进行多个运动控制点S、…的设定，并且能够适当地进行二维的静止图像的变形即变形图像的生成。具体地，基于对基准图像的模型区域A内所设定的多个运动基准点Q、…的每个预定时间间隔的运动进行表示的运动信息305a，基于与该运动信息305a相关的多个运动基准点Q、…的每个预定时间间隔的运动，使多个运动控制点S、…进行运动，根据这些多个运动控制点S、…的运动，使被摄体区域变形，从而能够适当地生成每个预定时间间隔的变形图像。而且，本发明不局限于上述实施方式，在不脱离本发明构思的范围内，可以进行各种改良和设计变更。例如，尽管在上述实施方式中，基于由用户实现的用户终端2的预定操作，通过作为Web服务器而发挥功能的服务器(图像生成装置)3来生成运动图像，但是其是一个例子，不局限于此，图像生成装置的构成能够适当任意地进行变更。即，作为通过软件来实现与作为变形图像的基准帧图像的生成相关的运动图像处理部306的功能的构成，通过安装在用户终端2上，从而不需要通信网络N，也可以由该用户终端2单机进行运动图像生成处理。此外，尽管在上述实施方式中，基于与沿着用于分割了被摄体区域B的多个图像区域Ba、…的边缘部的路径相关的距离，来计算重叠控制点T间的距离和从重叠控制点T开始到各个图像区域Ba的顶点为止的距离，但是，重叠控制点T间的距离和从重叠控制点T开始到各个图像区域Ba的顶点为止的距离的计算方法是一个例子，不局限于此，能够适当任意地变更。而且，尽管在上述实施方式中，将被摄体剪切图像或者掩模图像的被摄体区域B之中多个重叠控制区域M以外的区域确定作为非重叠控制区域N，但是，是否确定非重叠控制区域N是能够适当任意地进行变更的。即，在非重叠控制区域N被设定在被摄体区域B的中心侧、并且重叠控制区域M被设定在胳膊或者脚之类的运动比较大的区域中的情况下，由于难以假定将该非重叠控制区域N进行能动地运动而与重叠控制区域M前后地进行重合那样的运动，因此未必需要预先确定非重叠控制区域N。此外，尽管在上述实施方式的运动图像生成处理中，在静止图像的被摄体区域内，在设定了多个运动控制点S、…之后(第I设定步骤)，在静止图像的被摄体区域内，设定多个重叠控制点T、…(第2设定步骤)，但是，运动控制点S和重叠控制点T的设定的顺序是一个例子，不局限于此，可以相反地进行，也可以同时进行。而且，在上述实施方式的运动图像生成处理中，还可以构成为能够调整被摄体图像的合成位置或者大小。即，用户终端2的中央控制部201，基于由用户实现的操作输入部202的预定操作，在判定输入了被摄体图像的合成位置或者大小的调整指示时，通过通信控制部206介由预定的通信网络N，使与该调整指示对应的信号发送到服务器3。然后，服务器3的运动图像处理部306，基于介由通信控制部所输入的调整指示，可以将被摄体图像的合成位置设定在希望的合成位置上，或者可以将该被摄体图像的大小设定为希望的大小。此外，尽管在上述实施方式中，作为用户终端2，例示了个人计算机，但是其是一个例子，不局限于此，能够适当任意地变更， 例如，还可以适用便携式电话机等。而且，在被摄体剪切图像或者运动图像的数据中，还可以嵌入用于对由用户实现的预定改变进行禁止的控制信息。此外，尽管在上述实施方式中，将作为取得单元、第I设定单元、第2设定单元、计算单元、生成单元的功能设为在中央控制部301的控制下通过图像取得部306a、第I设定部306b、第2设定部306c、进深位置计算部306f、帧生成部306g进行驱动来实现的构成，但是，不局限于此，还可以设为通过由中央控制部301的CPU来执行预定的程序等来实现的构成。即，在用于存储程序的程序存储器(图示省略)中，预先存储包含取得处理例行程序、第I设定处理例行程序、第2设定处理例行程序、计算处理例行程序、生成处理例行程序的程序。然后，可以通过取得处理例行程序使中央控制部301的CPU作为用于取得二维的静止图像的取得单元发挥作用。此外，可以通过第I设定处理例行程序使中央控制部301的CPU作为在由取得单元取得的静止图像的被摄体被包含的被摄体区域B内对与被摄体的运动的控制相关的运动控制点S设定多个的第I设定单元发挥作用。此外，可以通过第2设定处理例行程序使中央控制部301的CPU作为在由取得单元取得的静止图像的被摄体区域B内在与多个重叠基准点R、…对应的各个位置上设定多个与用于构成被摄体区域B的多个构成区域L、…的重叠的控制相关的重叠控制点T的第2设定单元发挥作用。此外，可以通过计算处理例行程序使中央控制部301的CPU作为基于与多个重叠控制点T、…的每一个相对应的重叠基准点R的进深方向的基准位置来对多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置进行计算的计算单元发挥作用。此外，可以通过生成处理例行程序使中央控制部301的CPU作为基于由计算单元计算出的多个构成区域L、…的每一个的每个预定时间间隔的进深方向的位置，生成在使在该每个预定时间间隔上被摄体区域中的各个构成区域L在进深方向相互不同的位置上在该进深方向上进行位移，并且根据多个运动控制点S、…的运动而使被摄体区域变形的变形图像的生成单元发挥作用。而且，作为存储了用于执行上述各个处理的程序的计算机可读取的介质，除了 ROM或者硬盘等之外，还能够适用闪烁存储器等的非易失性存储器、CD-ROM等可拆卸记录介质。此外，作为介由预定的通信线路来提供程序的数据的介质，还适用载波(输送波)。
权利要求
1.一种图像生成方法，使用了具备存储单元的图像生成装置，该存储单元存储表示多个重叠基准点的二维空间内的位置的位置信息，所述重叠基准点被设定于构成包括基准图像的运动物体模型在内的模型区域的多个区域的每个区域上，并且与每个预定时间间隔的对所述二维空间在进深方向上的基准位置对应关联，其中，该图像生成方法包括: 取得步骤，取得二维的静止图像； 第I设定步骤，在由该取得步骤所取得的所述静止图像的包括被摄体的被摄体区域内，设定多个与所述被摄体的运动的控制相关的运动控制点； 第2设定步骤，在由所述取得步骤所取得的所述静止图像的所述被摄体区域内，在与所述多个重叠基准点对应的各个位置上设定多个与用于构成所述被摄体区域的多个构成区域的重叠的控制相关的重叠控制点； 计算步骤，基于与所述多个重叠控制点的每一个对应的所述重叠基准点在所述进深方向上的基准位置，计算出所述多个构成区域的每一个构成区域的每个预定时间间隔在进深方向上的位置；和 生成步骤，根据所述多个运动控制点的运动，生成使所述被摄体区域变形的变形图像， 所述生成步骤包括:基于由所述计算步骤计算出的每个预定时间间隔在进深方向上的位置，使在该每个预定时间间隔上所述被摄体区域中的各个构成区域在进深方向相互不同的位置上沿该进深方向进行位移的步骤。
2.根据权利要求1所述的图像生成方法，其中， 所述图像生成方法还包括确定步骤，对于所述多个重叠控制点的每一个重叠控制点，将与在最近位置上存在的其他的重叠控制点之间的距离设为基准，确定多个在所述被摄体区域之中作为所述构成区域的重叠控制区域， 所述计算步骤，基于与各个重叠控制区域相关的重叠控制点对应的所述重叠基准点在所述进深方向上的基准位置，计算出由所述确定步骤确定的所述多个重叠控制区域的每一个重叠控制区域的每个预定时间间隔在进深方向上的位置。
3.根据权利要求2所述的图像生成方法，其中， 所述确定步骤，还将所述被摄体区域之中所述多个重叠控制区域以外的非重叠控制区域确定为所述构成区域， 所述计算步骤，按照使构成由所述确定步骤确定的所述非重叠控制区域的各个像素成为在进深方向上相互不同的位置的方式，计算出该非重叠控制区域的每个预定时间间隔在进深方向上的位置。
4.根据权利要求3所述的图像生成方法，其中， 所述多个重叠控制区域是与所述非重叠控制区域相邻的该被摄体区域的端部侧的区域， 所述计算步骤，将所述非重叠控制区域在进深方向上的位置设为基准，计算出所述多个重叠控制区域在进深方向上的位置。
5.根据权利要求2所述的图像生成方法，其中， 所述计算步骤，还对于 所述多个重叠控制区域的每一个重叠控制区域，将距与各个重叠控制区域相关的重叠控制点的距离设为基准，计算出用于分割该各个重叠控制区域的多个图像区域的顶点在进深方向上的位置。
6.根据权利要求2所述的图像生成方法，其中， 所述距离是与沿着用于分割所述被摄体区域的多个图像区域的边缘部的路径相关的距离。
7.根据权利要求1所述的图像生成方法，其中， 所述第I设定步骤，在所述静止图像的所述被摄体区域内，在与所述基准图像的所述模型区域内所设定的多个运动基准点相对应的位置上设定所述多个运动控制点。
8.根据权利要求7所述的图像生成方法，其中， 所述存储单元，还存储对所述基准图像的所述模型区域内所设定的多个运动基准点的每个预定时间间隔的运动进行表示的运动信息， 所述生成步骤，还基于与所述存储单元存储的所述运动信息相关的所述多个运动基准点的每个预定时间间隔的运动，使所述多个运动控制点进行运动，根据该多个运动控制点的运动，使所述被摄体区域变形并生成所述变形图像。
9.一种图像生成装置，包括存储部，该存储部存储表示多个重叠基准点的二维空间内的位置的位置信息，所述重叠基准点被设定于构成包括基准图像的运动物体模型在内的模型区域的多个区域的每个区域上，并且与每个预定时间间隔的对所述二维空间在进深方向上的基准位置对应关联，其中，该图像生成装置包括: 取得部，取得二维的静止图像； 第I设定部，在由该取得部所取得的所述静止图像的包括被摄体的被摄体区域内，设定多个与所述被摄体的 运动的控制相关的运动控制点； 第2设定部，在由所述取得部所取得的所述静止图像的所述被摄体区域内，在与所述多个重叠基准点对应的各个位置上设定多个与用于构成所述被摄体区域的多个构成区域的重叠的控制相关的重叠控制点； 计算部，基于与所述多个重叠控制点的每一个重叠控制点对应的所述重叠基准点在所述进深方向上的基准位置，计算出所述多个构成区域的每一个构成区域的每个预定时间间隔在进深方向上的位置；和 生成部，根据所述多个运动控制点的运动，生成使所述被摄体区域变形的变形图像， 所述生成部包括:基于由所述计算部计算出的所述多个构成区域的每一个构成区域的每个预定时间间隔在进深方向上的位置，使在该每个预定时间间隔上所述被摄体区域中的各个构成区域在进深方向相互不同的位置上沿该进深方向进行位移的处理。
10.根据权利要求9所述的图像生成装置，其中， 所述图像生成装置还包括确定部，其对于所述多个重叠控制点的每一个，将与在最近位置上存在的其他的重叠控制点之间的距离设为基准，确定多个在所述被摄体区域之中作为所述构成区域的重叠控制区域， 所述计算部，基于与各个重叠控制区域相关的重叠控制点对应的所述重叠基准点在所述进深方向上的基准位置，计算出由所述确定部确定的所述多个重叠控制区域的每一个重叠控制区域的每个预定时间间隔在进深方向上的位置。
11.根据权利要求10所述的图像生成装置，其中， 所述确定部，还将所述被摄体区域之中所述多个重叠控制区域以外的非重叠控制区域确定为所述构成区域，所述计算部，按照使构成由所述确定部确定的所述非重叠控制区域的各个像素成为在进深方向上相互不同的位置的方式，计算出该非重叠控制区域的每个预定时间间隔在进深方向上的位置。
12.根据权利要求11所述的图像生成装置，其中， 所述多个重叠控制区域是与所述非重叠控制区域相邻的该被摄体区域的端部侧的区域， 所述计算部，将所述非重叠控制区域在进深方向上的位置作为基准，计算出所述多个重叠控制区域在进深方向上的位置。
13.根据权利要求10所述的图像生成装置，其中， 所述计算部，还对于所述多个重叠控制区域的每一个重叠控制区域，将距与各个重叠控制区域相关的重叠控制点的距离设为基准，计算出用于分割该各个重叠控制区域的多个图像区域的顶点在进深方向上的位置。
14.根据权利要求10所述的图像生成装置，其中， 所述距离是与沿着用于分割所述被摄体区域的多个图像区域的边缘部的路径相关的距离。
15.根据权利要求9所述的图像生成装置，其中， 所述第I设定部，在所述静止图像的所述被摄体区域内，在与所述基准图像的所述模型区域内所设定的多个 运动基准点相对应的位置上设定所述多个运动控制点。
16.根据权利要求15所述的图像生成装置，其中， 所述存储部，还存储对所述基准图像的所述模型区域内所设定的多个运动基准点的每个预定时间间隔的运动进行表示的运动信息， 所述生成部，还基于与所述存储部存储的所述运动信息相关的所述多个运动基准点的每个预定时间间隔的运动，使所述多个运动控制点进行运动，根据该多个运动控制点的运动，使所述被摄体区域变形并生成所述变形图像。
全文摘要
本发明提供一种图像生成方法以及图像生成装置，使用具备存储单元的图像生成装置，图像生成方法包括取得二维的静止图像的步骤；第1设定步骤，在由取得步骤取得的静止图像的包括被摄体的被摄体区域内，设定多个与被摄体的运动的控制相关的运动控制点；第2设定步骤，在由取得步骤取得的静止图像的被摄体区域内，在与多个重叠基准点对应的各个位置上设定多个与用于构成被摄体区域的多个构成区域的重叠的控制相关的重叠控制点；基于与多个重叠控制点的每一个对应的重叠基准点在进深方向上的基准位置，计算出多个构成区域的每一个区域的每个预定时间间隔的进深方向的位置的步骤；根据多个运动控制点的运动，生成使被摄体区域变形的变形图像的步骤。
文档编号G06T7/20GK103198442SQ20121030546
公开日2013年7月10日 申请日期2012年8月24日 优先权日2011年8月25日
发明者中岛光康 申请人:卡西欧计算机株式会社