专利名称：运动图像生成方法及运动图像生成装置的制作方法
技术领域：
本发明涉及根据静止图像生成运动图像的运动图像生成方法、运动图像生成装置及记录介质。
背景技术：
以往公开了如下技术，即对静止图像内的期望位置设定控制点，对要施加运动的控制点指定期望运动，由此使该静止图像运动(日本特开2007-323293号公报)。然而，在上述文献的情况下，存在必须对每个控制点指定运动，不仅其作业比较繁杂也难以再现用户期望的运动的问题。
发明内容
本发明上基于上述的问题而提出的，其目的在于提供一种能够简便地进行用户期望的运动的运动图像的生成的运动图像生成方法、运动图像生成装置及程序。本发明的一个方式涉及运动图像生成方法，是利用了预先存储有表示规定空间内的多个可动点的运动的多个运动信息的运动图像生成装置的运动图像生成方法，所述运动图像生成方法的特征在于，包括取得步骤，取得静止图像；设定步骤，在由所述取得步骤取得的静止图像内，在所述多个可动点所对应的各位置处设定运动的多个控制点；帧图像生成步骤，生成多个帧图像，该多个帧图像是按照下述方式得到的，即基于用户从所述多个运动信息中指定出的一个运动信息的所述多个可动点的运动而使所述多个控制点运动，并按照该控制点的运动使所述静止图像变形；和运动图像生成步骤，根据由所述帧图像生成步骤生成的多个帧来生成运动图像。本发明的另一个方式涉及运动图像生成装置，其特征在于，具备存储单元，其预先存储表示规定空间内的多个可动点的运动的多个运动信息；取得单元，其取得静止图像；设定单元，其在由所述取得单元取得的静止图像内，在所述多个可动点所对应的各位置处设定运动的多个控制点；帧图像生成单元，其生成多个帧图像，该多个帧图像是按照下述方式得到的，即基于用户从所述多个运动信息中指定出的一个运动信息的所述多个可动点的运动而使所述多个控制点运动，并按照该控制点的运动使所述静止图像变形；和运动图像生成单元，其根据由所述帧图像生成单元生成的多个帧来生成运动图像。
图I是表示应用了本发明的一实施方式的运动图像生成系统的概略构成的框图。图2是表示构成运动图像生成系统的用户终端的概略构成的框图。图3是表示构成运动图像生成系统的服务器的概略构成的框图。图4是表示由运动图像生成系统进行的运动图像生成处理涉及的动作的一例的流程图。图5是表不图4的运动图像生成处理的后续处理的流程图。
图6是示意性表示图4的运动图像生成处理涉及的图像的一例的图。图7是用于说明图4的运动图像生成处理的图。图8是用于说明图4的运动图像生成处理的图。
具体实施例方式以下，利用附图，对本发明的具体方式进行说明。其中，发明范围并不限定于图示例子。图I是表示应用了本发明的一实施方式的运动图像生成系统100的概略构成的框图。本实施方式的运动图像生成系统100如图I所示，具备摄像装置I、用户终端2、以及服务器3，用户终端2和服务器3连接成经由规定的通信网络N可收发各种信息。 摄像装置I具备拍摄被摄体的摄像功能、将摄像图像的图像数据记录于记录介质C的记录功能等。即、摄像装置I可应用公知的摄像装置，例如不仅是主要功能为摄像功能的数码相机等，也包括具备摄像功能不为主要功能的便携电话机等。接着，参照图2，对用户终端2进行说明。用户终端2例如由个人计算机等构成，访问由服务器3开设的Web网页(例如，运动图像生成用网页)，在该Web网页上输入各种指示。图2是表示用户终端2的概略构成的框图。如图2所示，用户终端2具体具备中央控制部201、通信控制部202、显示部203、声音输出部204、记录介质控制部205、操作输入部206等。中央控制部201控制用户终端2的各部。具体而言，中央控制部201具备CPU、RAM、ROM(均省略图示)，按照ROM中存储的用户终端2用的各种处理程序(省略图示)来进行各种控制动作。此时，CPU使RAM内的保存区域内保存各种处理结果，并根据需要使显示部203显示其处理结果。RAM例如具备用于将由CPU执行的处理程序等展开的程序保存区域、用于保存输入数据或在执行上述处理程序时产生的处理结果等的数据保存区域等。ROM存储以计算机可读取的程序代码的形式保存的程序，具体而言，保存用户终端2可执行的系统程序、该系统程序可执行的各种处理程序、在执行这些各种处理程序时所使用的数据等。通信控制部202例如由调制解调器(MODEM =Modulater /DEModulater)、终端适配器(Terminal Adapter)等构成，用于经由规定的通信网络N而在与服务器3等外部设备之间进行信息的通信控制。此外，通信网络N例如是利用专用线或已有的一般公众线路而构建的通信网络，可应用LAN(Local Area Network)或WAN(Wide Area Network)等的各种各样的线路形式。另外，在通信网络N中例如包含电话线路网、ISDN线路网、专用线、移动体通信网、通信卫星线路、CATV线路网等的各种通信线路网、以及将它们连接起来的因特网服务供应商等。显示部203例如由LCD、CRT (Cathode Ray Tube)等显示器构成，在中央控制部201的CPU的控制下将各种信息显示于显示画面。S卩、显示部203例如基于从服务器3发送并由通信控制部202接收到的Web网页(例如，运动图像生成用网页)的网页数据，将所对应的Web网页显示于显示画面。具体而言，显示部203基于运动图像生成处理(后述)涉及的各种处理画面的图像数据，将各种处理画面显示于显示画面(参照图7A等)。声音输出部204例如由D/A转换器、LPF(Low Pass Filter)、放大器、扬声器等构成，在中央控制部201的CPU的控制下进行放声。S卩、声音输出部204例如基于从服务器3发送并由通信控制部202接收到的再生信息，通过D/A转换器将该再生信息的数字数据变换成模拟数据，经由放大器从扬声器以规定的音色、音高、音长播放曲子。另外，声音输出部204即可以播放一个声源(例如乐器)的声音，也可以同时播放多个声源的声音。记录介质控制部205以可自由装卸记录介质C的方式构成,控制从所安装的记录介质C中读出数据、以及向记录介质C写入数据。即、记录介质控制部205从摄像装置I卸下而安装上的记录介质C中读出运动图像生成处理(后述)涉及的被摄体存在图像Pl (参照图6A)的图像数据，并输出至通信控制部202。 在这里，被摄体存在图像Pl是指，在规定的背景内存在主要被摄体的图像。另外，在记录介质C中记录了通过摄像装置I的图像处理部(省略图示)以规定的编码形式(例如，JPEG形式等)编码后的被摄体存在图像Pl的图像数据。并且，通信控制部202经由规定的通信网络N将所输入的被摄体存在图像Pl的图像数据发送至服务器3。操作输入部206例如具备用于输入数值、字符等的数据输入按键、用于进行数据的选择、送出操作等的上下左右移动按键、由各种功能按键等构成的键盘、鼠标等，并将用户按下的按键的按下信号、鼠标的操作信号输出至中央控制部201的CPU。此外，作为操作输入部206也可采用下述构成，即将触摸面板(省略图示)配设于显示部203的显示画面，并根据触摸面板的接触位置来输入各种指示。接着，参照图3，对服务器3进行说明。服务器3作为Web (World Wide Web)服务器而具备在因特网上开设Web网页(例如，运动图像生成用网页)的功能，根据来自用户终端2的访问而将Web网页的网页数据发送至该用户终端2。另外，服务器3作为运动图像生成装置，而在静止图像内在运动信息M涉及的多个可动点Da、……所对应的各位置处设定运动的多个控制点Db，按照追踪所指定的运动信息M的多个可动点Da、……的运动的方式使多个控制点Db、……运动而生成运动图像Q。图3是表示服务器3的概略构成的框图。如图3所示，服务器3具体构成为具备中央控制部301、显示部302、通信控制部303、被摄体剪切部304、存储部305、运动图像处理部306等。中央控制部301控制服务器3的各部。具体而言，中央控制部301具备CPU、RAM、ROM(均省略图示)，CPU按照ROM中存储的服务器3用的各种处理程序(省略图示)来进行各种控制动作。此时，CPU使RAM内的保存区域内保存各种处理结果，并根据需要使显示部302显示其处理结果。RAM例如具备用于将由CPU执行的处理程序等展开的程序保存区域、用于保存输入数据或在执行上述处理程序时产生的处理结果等的数据保存区域等。
ROM存储以计算机可读取的程序代码的形式保存的程序，具体而言，保存服务器3可执行的系统程序、该系统程序可执行的各种处理程序、在执行这些各种处理程序时所使用的数据等。显示部302例如由IXD、CRT等显示器构成，在中央控制部301的CPU的控制下将各种信息显示于显示画面。通信控制部303例如由调制解调器、终端适配器等构成，用于经由规定的通信网络N而在与用户终端2等外部设备之间进行信息的通信控制。具体而言，通信控制部303例如通过运动图像生成处理(后述)接收经由规定的通信网络N从用户终端2发送出的被摄体存在图像Pl的图像数据，并将该图像数据输出至中央控制部301的CPU。中央控制部301的CPU将所输入的被摄体存在图像Pl的图像数据输出至被摄体剪切部304。被摄体剪切部304根据被摄体存在图像Pl生成被摄体剪切图像P2。S卩、被摄体剪切部304利用公知的被摄体剪切手法，生成从被摄体存在图像Pl中剪切了包含被摄体S的区域之后的图像。具体而言，被摄体剪切部304取得从中央控制部301的CPU输出的被摄体存在图像Pl的图像数据，例如基于用户对用户终端2的操作输入部206 (例如，鼠标等)的规定操作，通过显示部203显示的该被摄体存在图像Pl上绘制出的边界线(省略图示)来划分该被摄体存在图像P1。然后，被摄体剪切部304提取由被摄体存在图像Pl的边界线划分的包含被摄体S的被摄体区域，将该被摄体区域的α值设为“1”，并且将被摄体S的背景部分的α值设为“0”，生成将该被摄体区域的图像与规定的单一颜色图像合成之后的被摄体剪切图像Ρ2(参照图6Β)的图像数据。即、被摄体剪切图像Ρ2之中的、相对于α值为“I”的被摄体区域的规定背景的透过度为0%，另一方面，相对于α值为“O”的被摄体S的背景部分的规定背景的透过度为100%。另外，作为被摄体剪切图像Ρ2的图像数据，例如能够应用RGBA形式的图像数据，具体而言，能够对RGB色空间中规定的各种颜色附加透过度A的信息。此外，被摄体剪切图像Ρ2的图像数据例如也可采用下述构成针对被摄体存在图像Pl的各像素，与将被摄体区域的图像和规定背景进行α混合(blending)时的权重表示为α值(O < α < I)的α映射建立对应。此外，上述的被摄体剪切部304的被摄体剪切手法只是一例，但是并不限定于此，只要是从被摄体存在图像Pi中剪切包含被摄体S的区域的公知手法，就可应用任何手法。存储部305例如由半导体的非易失性存储器、HDD (Hard Disc Drive)等构成，并存储发送至用户终端2的Web网页的网页数据、由被摄体剪切部304生成的被摄体剪切图像P2的图像数据等。另外，存储部305存储在运动图像生成处理中用到的多个运动信息M。各运动信息M是表示规定空间、即例如由相互正交的二轴(例如，χ轴、y轴等)规定的二维平面空间、或者除了二轴之外还由与该二轴正交的轴(例如，z轴等)规定的三维立体空间内的多个可动点Da、……的运动的信息。此外，运动信息M也可以是通过使二维平面空间绕着规定转动轴旋转而使多个可动点Da、……的运动具有进深的信息。在这里，各可动点Da的位置在考虑成为运动模型的运动体模型(例如，人或动物等)的骨骼的形状或关节的位置等的基础上分别进行规定。另外，可动点Da的个数可以根据运动体模型的形状或大小等适当地任意设定。另外，关于各运动信息M，将在规定空间内使多个可动点Da、……的全部或者至少一个移动的坐标信息以规定的时间间隔连续地排列，由此连续地表示多个可动点Da、……的运动(参照图8A)。具体而言，各运动信息M例如是按照与规定的舞蹈对应的方式使多个可动点Da、……移动的信息，并分别与连续地表示多个可动点Da、……的运动的运动体模型的模型名相对应地进行存储。另外，各运动信息M根据运动的种类(例如，街舞、摇摆舞、机器人舞等)、变奏曲(例如，街舞I 3等)而使多个可动点Da、……的连续运动不同。例如，如图8A所示，关于运动信息M，如示意性表示举起人的运动体模型的两只手臂的状态的多个可动点Da、……的坐标信息D1、示意性表示放下单只手臂(图8A中的左侧手臂)的状态的多个可动点Da、……的坐标信息D2、示意性表示放下两只手臂的状态的多个可动点Da、……的坐标信息D3那样，沿着时间轴隔着规定的时间间隔连续地排列(在图8A中，省略了坐标信息D3以后的坐标信息的图示)。 在这里，多个可动点Da、……的坐标信息D1、D2、D3、…的各个信息例如既可以是对各可动点Da相对于成为基准的可动点Da的坐标信息(例如，坐标信息Dl等)的移动量进行规定的信息，也可以是对各可动点Da的绝对位置坐标进行规定的信息。此外，图8A所示的运动信息M只是一例，但是并不限定于此，运动种类等可以适当地任意变更。这样，存储部305构成了预先存储表示规定空间内的多个可动点Da、……的运动的多个运动信息M的存储单元。另外，存储部305存储在运动图像生成处理中用到的多个再生信息T。再生信T是与运动图像Q—起由运动图像再生部306e再生的信息。即、再生信息T因为例如乐曲速度、拍子、音程、音阶、音调、思想标语等的不同而规定为多个，并分别与曲名相对应地进行存储。另外，各再生信息T例如是按照MIDI(Musical Instruments Digital Interface)规格等而规定的数字数据，具体而言，具有规定了磁道数及四分音符的分辨率(Tick计数数)等的头部信息、和规定了各声源(例如，乐器等)的再生信息T等的磁道信息等。另外，磁道信息中规定了乐曲速度及拍子的设定信息、NoteOn · Off的时刻等。运动图像处理部306具备图像取得部306a、控制点设定部306b、运动指定部306c、图像生成部306d、运动图像再生部306e、以及速度指定部306f。图像取得部306a取得在运动图像生成处理中用到的静止图像。S卩、图像取得部306a取得从存在背景和被摄体S的被摄体存在图像Pl之中剪切包含被摄体S的区域之后得到的被摄体剪切图像P2，作为静止图像。具体而言，图像取得部306a将由被摄体剪切部304生成的被摄体剪切图像P2的图像数据作为处理对象的静止图像来取得。控制点设定部306b在处理对象的静止图像内设定运动的多个控制点Db。S卩、控制点设定部306b在由图像取得部306a取得的被摄体剪切图像P2的被摄体图像Ps内，在多个可动点Da、……所对应的各位置处设置运动的多个控制点Db。具体而言，控制点设定部306b从存储部305中读出运动体模型(例如，人)的运动信息M,在被摄体剪切图像P2的被摄体图像Ps内，确定该运动信息M中规定的基准帧(例如，第I帧等)的多个可动点Da、……的各个可动点所对应的位置。例如，控制点设定部306b在被摄体图像Ps是将人作为主要被摄体S剪切之后的图像的情况下(参照图7B)，在考虑了人的骨骼的形状或关节的位置等的基础上，确定多个可动点Da、……的各个可动点所对应的位置。此时，针对运动体模型和被摄体图像Ps，例如也可按照使面部等的主要部分的大小相匹配的方式进行尺寸的调整(例如，运动体模型的放大及缩小、变形等)。另外，例如，也可使运
动体模型和被摄体图像Ps相重叠来确定被摄体图像Ps中的多个可动点Da、......的各个可
动点所对应的位置。并且，控制点设定部306b在所确定的多个可动点Da、……的各个可动点所对应的位置处，分别设定运动的控制点Db。此外，由控制点设定部306b进行的运动的控制点Db的设定，既可以如上述那样自动地进行，也可以手动地进行。即、例如，也可在基于用户对用户终端2的操作输入部206 的规定操作而输入的期望位置处设定运动的控制点Db。而且，即便在由控制点设定部306b进行的运动的控制点Db的设定自动执行的情况下，也可以基于用户对操作输入部的规定操作来接受控制点Db的设定位置的修正(变更)。运动指定部306c指定在运动图像生成处理中用到的运动信息M。S卩、运动指定部306c在存储部305存储的多个运动信息M、……之中，指定任意一个运动信息M。具体而言，若基于用户对用户终端2的操作输入部206的规定操作在显示部203显示的规定画面内的多个运动模型的模型名之中指定任意一个模型名(例如，街舞I等)这样的指示是经由通信网络N及通信控制部303进行输入的，则运动指定部306c在多个运动信息M、……之中指定与指定指示涉及的运动模型的模型名相对应的运动信息M。此外，运动指定部306c在多个运动信息Μ、……之中，例如也可自动地指定作为默认值被设定的运动信息Μ、或用户前次指定的运动信息Μ。图像生成部306d逐次生成构成运动图像Q的多个帧图像F、......。S卩、图像生成部306d按照追踪由运动指定部306c指定的运动信息M的多个可动点Da、……的运动的方式，使被摄体剪切图像P2的被摄体图像Ps内设定的多个控制点Db、……移动，而逐次生成多个帧图像F、……。具体而言，图像生成部306d逐次取得例如根据运动信息M以规定的时间间隔移动的多个可动点Da、……的坐标信息，并算出该可动点Da的各个可动点所对应的各控制点Db的坐标。然后，图像生成部306d使控制点Db逐次移动到所算出的坐标，并且以至少一个控制点Db为基准使被摄体图像Ps内设定的规定的图像区域(例如，三角形或矩形的网格状的区域)移动或者变形，由此生成基准帧图像Fa(参照图SB)。由此，分别生成了例如在运动信息M的多个可动点Da、……的各坐标信息Dl、D2、D3 (参照图8B)等所对应的位置处配设了控制点Db的基准帧图像Fa (参照图8B)。此外，在图SB中，假设地示出各控制点Db，而并非在基准帧图像Fa中实际包含着各控制点Db。另外，使以控制点Db为基准的规定的图像区域移动或者变形的处理是公知技术，所以在此省略详细说明。另外，图像生成部306d生成插值帧图像Fb，该插值帧图像Fb是对基于移动后的可动点Da的各个可动点所对应的多个控制点Db、……而生成的、沿着时间轴相邻的2个基准帧图像Fa、Fa彼此之间进行插值的图像(图SB参照)。S卩、图像生成部306d生成对2个基准帧图像Fa、Fa彼此之间进行插值的规定个数的插值帧图像Fb，以便运动图像再生部306e以规定的再生帧频(例如，30fps等)再生多个帧图像F。具体而言，图像生成部306d逐次取得相邻的2个基准帧图像Fa、Fa之间的、由运动图像再生部306e再生的规定曲子 的再生的行进程度，并根据该行进程度逐次生成在相邻的2个基准帧图像Fa、Fa之间再生的插值帧图像Fb。例如，图像生成部306d基于MIDI规格的再生信息T取得乐曲速度的设定信息及四分音符的分辨率(Tick计数数)，将由运动图像再生部306e再生的规定曲子的再生的经过时间变换成Tick计数数。接着，图像生成部306d基于规定曲子的再生的经过时间所对应的Tick计数数，例如以百分率算出与规定的时刻(例如，各小节的第一拍等)同步的相邻的2个基准帧图像Fa、Fa之间的规定曲子的再生的相对行进程度。然后，图像生成部306d根据规定曲子的再生的相对行进程度，改变对该相邻的2个基准帧图像Fa、Fa的加权，而生成插值帧图像Fb。在这里，规定曲子的再生的相对行进程度在相邻的2个基准帧图像Fa、Fa的各个基准帧图像同步的规定的时刻彼此之间，进行乐曲速度或拍子的变更，在算出的行进程度相对于前次算出的行进程度减少的情况下，也可按照行进程度的减少程度变小的方式修正该行进程度。由此，能够考虑曲子的行进程度生成更适当的插值帧图像Fb。此外，生成插值帧图像Fb的处理是公知技术，所以在这里省略详细说明。另外，由图像生成部306d进行的基准帧图像Fa或插值帧图像Fb的生成，例如在RGBA形式的图像数据的情况下，是针对RGB色空间中规定的被摄体图像Ps的各种颜色的信息及透过度A的信息这两个信息进行的。另外，在利用由控制点设定部306b进行的控制点Db的设定处理，相对于运动信息M的基准帧的可动点Da的位置而远离规定距离以上的位置处，设定了该可动点Da所对应的控制点Db的情况下，也可考虑该可动点Da与控制点Db之间的距离来进行基准帧图像Fa的生成。S卩、在多个可动点Da、……的坐标信息D1、D2、D3、……的各个信息例如是对各可动点Da相对于成为基准的可动点Da的坐标信息(例如，坐标信息Dl等)的移动量进行规定的信息的情况下，为了对应于成为基准的可动点Da的坐标信息以后的坐标信息(例如，坐标信息D2、D3等)，有时根据各个可动点Da的移动量而移动的控制点Db的位置相对于运动信息M预先规定的可动点Da的位置而言会远离规定距离以上。其结果，存在所生成的基准帧图像Fa不能再现运动信息M规定的可动点Da的运动的顾虑。因此，关于成为基准的可动点Da的坐标信息以后的坐标信息(例如，坐标信息D2、D3等)，也可在各自的可动点Da的移动量上相加成为基准的可动点Da与该可动点Da所对应的控制点Db之间的距离，而算出各个可动点Da所对应的控制点Db的坐标。运动图像再生部306e再生由图像生成部306d生成的多个帧图像F、......的各个
帧图像。S卩、运动图像再生部306e基于用户对用户终端2的操作输入部206的规定操作而指定的再生信息T来再生规定曲子，并且以该规定曲子的规定的时刻再生多个帧图像F、……的各个帧图像。具体而言，运动图像再生部306e通过D/Α转换器将规定曲子的再生信息的数字数据变换成模拟数据而再生该规定曲子，此时以与规定的时刻(例如，各小节的第I拍或各拍等)同步的方式再生相邻的2个基准帧图像Fa、Fa，并且根据相邻的2个基准帧图像Fa、Fa之间的规定曲子的再生的相对行进程度来再生该行进程度所对应的各个插值帧图像Fb。此外，运动图像再生部306e也可以以由速度指定部306f (后述)指定的速度来再生被摄体图像Ps涉及的多个帧图像F、……。这种情况下，运动图像再生部306e通过改变使相邻的2个基准帧图像Fa、Fa同步的时刻，由此变更在规定的单位时间内再生的帧图像F的个数以改变被摄体图像Ps的运动速度。速度指定部306f指定被摄体图像Ps的运动速度。S卩、速度指定部306f指定由控制点设定部306b设定的多个运动的控制点Db的运动速度。具体而言，基于用户对用户终端2的操作输入部206的规定操作而在显示部203显示的规定画面内的被摄体图像Ps的多个速度(例如，1/2倍、标准(等倍)、2倍等)之中 指定任意一个速度(例如，标准等)这样的指示，经由通信网络N及通信控制部303输入至服务器3。速度指定部306f在多个运动速度之中将该指定指不涉及的速度指定为被摄体图像Ps的运动速度。由此，以规定的单位时间进行切换的帧图像F的个数例如变更为1/2倍、等倍、2倍
坐寸ο接着，参照图4 图8，对采用了用户终端2及服务器3的运动图像生成处理进行说明。在这里，图4及图5是表示运动图像生成处理涉及的动作的一例的流程图。另外，图6A 图6C是不意性表不运动图像生成处理涉及的图像的一例的图。另外，图7A及图7C是示意性表示运动图像生成处理中的用户终端2的显示部203所显示的显示画面的一例的图，图7B是不意性表不可动点Da与控制点Db之间的对应关系的一例的图。另外，图8A是示意性表示运动信息M的一例的图，图8B是示意性表示构成运动图像Q的巾贞图像F的一例的图。此外，在以下的说明中，设根据被摄体存在图像Pl的图像数据所生成的被摄体剪切图像P2(参照图6B)的图像数据被存储至服务器3的存储部305。另外，设以人为运动体模型的运动信息M (参照图8A)被存储至存储部305。如图4所示，若用户终端2的中央控制部201的CPU基于用户对操作输入部206的规定操作而输入了由服务器3开设的运动图像生成用网页的访问指示，则通过通信控制部202将该访问指示经由规定的通信网络N而发送至服务器3 (步骤SI)。若通过服务器3的通信控制部303接收到从用户终端2发送来的访问指示，则中央控制部301的CPU通过通信控制部303将运动图像生成用网页的网页数据经由规定的通信网络N而发送至用户终端2 (步骤S2)。并且，若通过用户终端2的通信控制部202接收到运动图像生成用网页的网页数据，则显示部203基于该运动图像生成用网页的网页数据而显示运动图像生成用网页的画面Pg (参照图7A)。接着，用户终端2的中央控制部201基于用户对操作输入部206的规定操作，通过通信控制部202将在运动图像生成用网页的画面Pg内操作的各种按钮所对应的指示信号经由规定的通信网络N而发送至服务器3 (步骤S3)。如图5所示，服务器3的中央控制部301的CPU根据来自用户终端2的指示的内容，使处理分支(步骤S4)。具体而言，在来自用户终端2的指示是与被摄体图像Ps的指定相关的内容的情况下(步骤S4 ;被摄体图像的指定)，中央控制部301的CPU使处理移行至步骤S51。另外，在是与控制点Db的修正相关的内容的情况下(步骤S4 ;控制点的修正)，使处理移行至步骤S61。另外，在是与合成内容的修正相关的内容的情况下(步骤S4 ;合成内容的修正)，使处理移行至步骤S71。另外，在是与背景图像Pb的指定相关的内容的情况下(步骤S4;背景图像的指定)，使处理移行至步骤S81。另外，在是与运动及曲子的指定相关的内容的情况下(步骤S4 ;运动及曲子的指定)，使处理移行至步骤S91。<被摄体图像的指定>在步骤S4中来自用户终端2的指示是与被摄体图像Ps的指定相关的内容的情况下(步骤S4 ;被摄体图像的指定)，运动图像处理部306的图像取得部306a从存储部305 存储的被摄体剪切图像P2的图像数据之中读出并取得由用户指定的被摄体剪切图像P2的图像数据(步骤S51)。接着，控制点设定部306b判定在所取得的被摄体剪切图像P2的被摄体图像Ps内是否已经设定了运动的控制点Db(步骤S52)。若在步骤S52中判定为未设定运动的控制点Db (步骤S52 ;否)，则控制点设定部306b基于被摄体剪切图像P2的图像数据来进行该被摄体剪切图像P2的修剪，在修剪后的图像P3的被摄体图像Ps的背面附加规定颜色的图像而生成背面图像(省略图示)(步骤S53)。具体而言，控制点设定部306b基于被摄体剪切图像P2的图像数据，以被摄体图像Ps的规定位置(例如，中心或人的面部的位置等)作为基准来修剪被摄体剪切图像P2，由此修正成被摄体图像Ps和运动模型(例如，人)的大小相等(步骤S53)。图6C示出被摄体剪切图像P2的修剪后的图像P3。此时，控制点设定部306b，例如在被摄体图像Ps为人的情况下，也可修剪成该人的面部或脊椎骨这样的中心部沿着修剪后的图像P3的左右方向的中心配设。另外，被摄体剪切图像P2的修剪，例如在是RGBA形式的图像数据的情况下，是针对RGB色空间中规定的被摄体图像Ps的各种颜色的信息及透过度A的信息而进行。接着，中央控制部301的CPU通过通信控制部303将修剪后的图像P3的图像数据经由规定的通信网络N而发送至用户终端2 (步骤S54)。然后，控制点设定部306b在修剪后的图像P3的被摄体图像Ps内，在多个可动点Da、……所对应的各位置处设定运动的多个控制点Db (步骤S55 ;参照图7B)。具体而言，控制点设定部306b从存储部305中读出运动体模型(例如，人)的运动信息M，在被摄体剪切图像P2的被摄体图像Ps内确定了该运动信息M中规定的多个可动点Da、……的各个可动点所对应的位置之后，在该多个可动点Da、……的各个可动点所对应的位置处分别设定运动的控制点Db。之后，运动图像再生部306e将针对该被摄体图像Ps设定的多个控制点Db、……、以及被摄体图像Ps的合成位置及尺寸等合成内容登录到规定的保存单元(例如，规定的存储器等)(步骤S56)。
然后，中央控制部301的CPU使处理移行至步骤S10。关于步骤SlO的处理内容在后面叙述。此外，若在步骤S52中判定为已经设定有运动的控制点Db (步骤S52 ;是)，则中央控制部301的CPU跳过步骤S53 S56的处理，而使处理移行至步骤S10。〈控制点的修正〉在步骤S4中来自用户终端2的指示是与控制点Db的修正相关的内容的情况下(步骤S4 ;控制点的修正)，运动图像处理部306的控制点设定部306b基于用户对操作输入部206的规定操作来修正运动的控制点Db的位置(步骤S61)。S卩、如图4所示那样，若在步骤Sll中用户终端2的中央控制部201基于用户对操作输入部206的规定操作而判定为输入了已设定的控制点Db的修正指示(步骤Sll ;是)，则通过通信控制部202将该修正指示所对应的信号经由规定的通信网络N而发送至服务器3 (步骤S3)。 并且，如图5所示，运动图像处理部306的控制点设定部306b在基于用户对操作输入部206的规定操作而输入的期望位置处设定运动的控制点Db (步骤S61)。然后，中央控制部301的CPU使处理移行至步骤S10。关于步骤SlO的处理内容在后面叙述。〈合成内容的修正〉在步骤S4中来自用户终端2的指示是与合成内容的修正相关的内容的情况下(步骤S4 ;合成内容的修正)，运动图像处理部306基于用户对操作输入部206的规定操作来设定被摄体图像Ps的合成位置及尺寸(步骤S71)。S卩、如图4所示，若在步骤Sll中用户终端2的中央控制部201基于用户对操作输入部206的规定操作而判定为输入了被摄体图像Ps的合成位置及尺寸的修正指示(步骤Sll ;是)，则通过通信控制部202将该修正指示所对应的信号经由规定的通信网络N而发送至服务器3 (步骤S3)。之后，如图5所示，运动图像处理部306基于用户对操作输入部206的规定操作，将被摄体图像Ps的合成位置设定在期望的合成位置，或者将该被摄体图像Ps的尺寸设定成期望的尺寸(步骤S71)。然后，中央控制部301的CPU使处理移行至步骤S10。关于步骤SlO的处理内容在后面叙述。〈背景图像的指定〉在步骤S4中来自用户终端2的指示是与背景图像Pb的指定相关的内容的情况下(步骤S4 ;背景图像的指定)，运动图像处理部306的运动图像再生部306e基于用户对操作输入部206的规定操作，读出期望的背景图像(其他图像)Pb的图像数据(步骤S81)，将该背景图像Pb的图像数据作为运动图像Q的背景而登录到规定的保存单元(步骤S82)。具体而言，在用户终端2的显示部203所显示的运动图像生成用网页的画面Pg内的多个图像数据之中，基于用户对操作输入部206的规定操作所指定的任意一个图像数据的指定指示，经由通信网络N及通信控制部303被输入至服务器3。运动图像再生部306e在将该指定指示涉及的背景图像Pb (参照图7A)的图像数据从存储部305中读出并取得之后(步骤S81)，将该背景图像Pb的图像数据作为运动图像Q的背景进行登录(步骤S82)。
接着，中央控制部301的CPU通过通信控制部303将背景图像Pb的图像数据经由规定的通信网络N而发送至用户终端2 (步骤S83)。然后，中央控制部301的CPU使处理移行至步骤S10。关于步骤SlO的处理内容在后面叙述。<运动及曲子的指定>在步骤S4中来自用户终端2的指示是与运动及曲子的指定相关的内容的情况下(步骤S4 ;运动及曲子的指定)，运动图像处理部306基于用户对操作输入部206的规定操作来设定运动信息M及运动速度(步骤S91)。具体而言，在用户终端2的显示部203所显示的运动图像生成用网页的画面Pg内的多个运动模型的模型名之中，基于用户对操作输入部206的规定操作所指定的任意一个模型名(例如，草裙舞等)的指定指示，经由通信网络N及通信控制部303被输入至服务器3。运动图像处理部306的运动指定部306c在存储部305存储的多个运动信息M、……之 中，设定与该指定指示涉及的运动模型的模型名相对应的运动信息M。另外，在用户终端2的显示部203所显示的运动图像生成用网页的画面Pg内的多个运动速度之中，基于用户对操作输入部206的规定操作所指定的任意一个速度(例如，标准等)的指定指示，经由通信网络N及通信控制部303被输入至服务器3。运动图像处理部306的速度指定部306f将该指定指示涉及的速度设定为被摄体图像Ps的运动速度。然后，运动图像处理部306的运动图像再生部306e将所设定的运动信息M及运动速度作为运动图像Q的运动内容而登录到规定的保存单元(步骤S92)。接着，运动图像处理部306基于用户对操作输入部206的规定操作来设定与运动图像一起再生的曲子(步骤S93)。具体而言，在用户终端2的显示部203所显示的运动图像生成用网页的画面Pg内的多个曲名之中，基于用户对操作输入部206的规定操作所指定的任意一个曲名的指定指示，经由通信网络N及通信控制部303被输入至服务器3。运动图像处理部306设定该指定指示涉及的曲名的曲子。然后，中央控制部301的CPU使处理移行至步骤S10。关于步骤SlO的处理内容在后面叙述。在步骤SlO中，中央控制部301的CPU判定是否是可生成运动图像Q的状态(步骤S10)。S卩、服务器3的运动图像处理部306基于用户对操作输入部206的规定操作，进行与被摄体图像Ps相应的控制点Db的登录、被摄体图像Ps的运动内容的登录、背景图像Pb的登录等，由此判定运动图像Q的生成准备是否完成、即是否可生成运动图像Q。在这里，若判定为不是可生成运动图像Q的状态(步骤SlO ;否)，则中央控制部301的CPU将处理返回到步骤S4，根据来自用户终端2的指示的内容使处理分支(步骤S4)。另一方面，若判定为是可生成运动图像Q的状态(步骤SlO ;是)，则如图4所示，中央控制部301的CPU使处理移行至步骤S13。在步骤S13中，服务器3的中央控制部301的CPU基于用户对用户终端2的操作输入部206的规定操作来判定是否输入了运动图像Q的预览指示(步骤S13)。S卩、在步骤Sll中用户终端2的中央控制部201判定为未输入被摄体图像Ps的合成位置及尺寸的修正指示之后(步骤Sll ;否)，通过通信控制部202将基于用户对操作输入部206的规定操作所输入的运动图像Q的预览指示经由规定的通信网络N而发送至服务器3(步骤S12)。之后，若在步骤S13中通过服务器3的中央控制部301的CPU判定为输入了运动图像Q的预览指示(步骤S13 ;是)，则运动图像处理部306判定控制点Db的位置及合成内容是否存在修正(步骤S14)。即、运动图像处理部306判定在步骤S61中是否修正了控制点Db的位置，或者在步骤S71中判定是否进行了被摄体图像Ps的合成位置及尺寸的修正。若在步骤S14中判定为控制点Db的位置及合成内容存在修正(步骤S14;是)，则运动图像再生部306e进行控制点Db的位置的再登录、被摄体图像Ps的合成位置及尺寸的再登录，以便反映修正内容(步骤S15)。接着，运动图像处理部306的运动图像再生部306e将已设定的曲名所对应的再生信息T作为与运动图像Q —起自动再生的信息而登录到规定的保存单元(步骤S16)。 此外，若在步骤S14中判定为控制点Db的位置及合成内容没有修正(步骤S14 ；否)，则运动图像处理部306跳过步骤S15的处理，而使处理移行至步骤S16。接着，运动图像处理部306基于保存单元中登录的再生信息T，由运动图像再生部306f开始再生规定曲子，并且由图像生成部306d开始生成构成运动图像Q的多个帧图像F、......(步骤 S17)。接着，运动图像处理部306判定基于运动图像再生部306f的规定曲子的再生是否结束(步骤S18)。在这里，若判定为曲子的再生未结束(步骤S18 ;否)，则运动图像处理部306的图像生成部306d生成根据运动信息M而变形后的被摄体图像Ps的基准帧图像Fa (步骤S19 ；参照图SB)。具体而言，图像生成部306d分别取得根据保存单元中登录的运动信息M以规定的时间间隔移动的多个可动点Da、……的坐标信息，并算出该可动点Da的各个可动点所对应的各控制点Db的坐标。之后，图像生成部306d使控制点Db逐次移动至所算出的坐标，并且根据控制点Db的移动使被摄体图像Ps内设定的规定的图像区域移动或者变形，由此生成基准帧图像Fa。另外，运动图像处理部306利用公知的图像合成手法来合成基准帧图像Fa和背景图像(其他图像)Pb。具体而言，运动图像处理部306，例如使背景图像Pb的各像素之中的α值为“O”的像素透过，使α值为“I”的像素用基准帧图像Fa所对应的像素的像素值重写，进而关于背景图像Pb的各像素之中的α值为“0< α < I”的像素，在利用I的补数(l-α)生成了将基准帧图像Fa的被摄体区域剪切出后得到的图像(背景用图像Χ(1-α))之后，利用α映射中的I的补数(l-α)生成了基准帧图像Fa之时，计算与单一背景色混合后的值，将该值从基准帧图像Fa中减去，然后将其与将被摄体区域剪切出后得到的图像(背景用图像Χ(1-α))进行合成。接着，图像生成部306d根据由运动图像再生部306e再生的规定曲子的再生的行进程度，生成对相邻的2个基准帧图像Fa、Fa彼此之间进行插值的插值帧图像Fb (步骤S20 ;参照图8B)。具体而言，图像生成部306d逐次取得相邻的2个基准帧图像Fa、Fa之间的、由运动图像再生部306e再生的规定曲子的再生的行进程度，并根据该行进程度逐次生成在相邻的2个基准帧图像Fa、Fa之间再生的插值帧图像Fb。另外，运动图像处理部306与上述基准帧图像Fa的情况同样地，利用公知的图像合成手法来合成插值帧图像Fb和背景图像(其他图像)Pb。接着，中央控制部301的CPU通过通信控制部303与由运动图像再生部306e自动再生的曲子的再生信息一起，将由以该曲子的规定的时刻再生的基准帧图像Fa及插值帧图像Fb构成的预览运动图像的数据，经由规定的通信网络N而发送至用户终端2 (步骤S21)。在这里，预览运动图像的数据构成了将由规定个数的基准帧图像Fa及插值帧图像Fb构成的多个帧图像F、和用户期望的背景图像(其他图像)Pb合成后的运动图像。接着，运动图像处理部306将处理返回到步骤S18，判定曲子的再生是否结束(步骤 S18)。上述的处理反复执行到在步骤S18中判定为曲子的再生结束为止(步骤S18 ；是)。之后，若判定为曲子的再生结束(步骤S18 ;是)，则如图5所示，中央控制部301 的CPU将处理返回到步骤S4，根据来自用户终端2的指示的内容使处理分支(步骤S4)。若在步骤S21中通过用户终端2的通信控制部303接收到从服务器3发送来的预览运动图像的数据，则中央控制部201的CPU控制声音输出部204及显示部203而使预览运动图像再生(步骤S22)。具体而言，声音输出部204基于再生信息自动再生曲子并从扬声器放声，且显示部203在该自动再生的曲子的规定时刻将由基准帧图像Fa及插值帧图像Fb构成的预览运动图像显示于显示画面。此外，在上述的运动图像生成处理中，虽然要再生预览运动图像，但是这只是一例，并不限定于此，例如也可将逐次生成的基准帧图像Fa、插值帧图像Fb、背景图像的图像数据以及再生信息作为一个文件而存储至规定的存储单元，在运动图像Q涉及的全部数据的生成完成之后，将该文件从服务器3向用户终端2发送并由该用户终端2进行再生。以上，根据本实施方式的运动图像生成系统100，在处理对象的静止图像(例如，被摄体图像Ps)内，在运动信息M涉及的多个可动点Da、……所对应的各位置处设定运动的多个控制点Db，并按照追踪所指定的运动信息M的多个可动点Da、……的运动的方式使多个控制点Db、……运动而生成运动图像Q。即、预先存储表示规定空间内的多个可动点Da、……的运动的多个运动信息M，按照追踪所指定的运动信息M的多个可动点Da、……的运动的方式使对应于多个可动点Da、……而在静止图像内设定的多个控制点Db、……移动，由此能够生成构成运动图像Q的各帧图像F，如以往那样按每个控制点Db来指定运动的作业就不需要了。因此，利用在多个运动信息M、……之中指定任意一个运动信息M这样的简单作业，也能简便地生成再现了用户期望的运动的运动图像Q。另外，因为能够基于与用户对操作输入部206的规定操作相应的模型名的指定，来指定与该模型名相对应的运动信息M，所以能够更简便地进行多个运动信息M、……之中的任意一个运动信息M的指定，能够简便地进行再现了用户期望的运动的运动图像Q的生成。而且，基于使多个可动点Da、……如对应于规定舞蹈的方式运动的运动信息M，按照追踪于该多个可动点Da、……的运动的方式使多个控制点Db、……移动，由此能够生成构成再现了规定舞蹈的运动图像Q的各帧图像F。因此，能够简便地进行再现了用户期望的舞蹈的运动的运动图像Q的生成。此外，本发明并不限于上述实施方式，在不脱离本发明宗旨的范围内可以进行各种改良及设计的变更。例如，在上述实施方式中，基于用户对用户终端2的规定操作，通过作为Web服务器发挥功能的服务器(运动图像生成装置)3生成运动图像Q，但是这只是一例，并不限定于此，运动图像生成装置的构成也可适当地任意变更。即、作为通过软件来实现运动图像Q的生成涉及的运动图像处理部306的功能的构成，也可通过安装于用户终端2而无需通信网络N，该用户终端2单独地进行运动图像生成处理。另外，在上述实施方式中，作为用户终端2而例示了个人计算机，但是这只是一例，并不限定于此，也可适当地任意变更，例如可以应用便携电话机等。
此外，在被摄体剪切图像P2或运动图像Q的数据中，也可嵌入禁止用户进行规定的改变的控制信息。此外，在上述实施方式中，虽然在中央控制部301的控制下通过图像取得部306a、控制点设定部306b、图像生成部306d、运动图像处理部306进行驱动来实现作为取得单元、设定单元、帧图像生成单元、运动图像生成单元所发挥的功能，但是并不限定于此，也可采用通过中央控制部301的CPU执行规定程序等来实现的构成。S卩、在存储程序的程序存储器(省略图示)中，预先存储包括取得处理例行程序、设定处理例行程序、帧图像生成处理例行程序、运动图像生成处理例行程序在内的程序。并且，也可通过取得处理例行程序而使中央控制部301的CPU作为取得静止图像的取得单元发挥功能。另外，也可通过设定处理例行程序而使中央控制部301的CPU作为在由取得单元取得的静止图像内在多个可动点Da、……所对应的各位置处设定运动的多个控制点Db的设定单元来发挥功能。另外，也可通过指定处理例行程序而使中央控制部301的CPU作为在存储单元中存储的多个运动信息M、……之中指定任意一个运动信息M的指定单元来发挥功能。另外，也可通过帧图像生成处理例行程序而使中央控制部301的CPU作为基于由指定单元指定的运动信息M的多个可动点Da、……的运动而使多个控制点Db运动、并生成根据该控制点Db的运动而使静止图像变形后的多个帧图像F的帧图像生成单元来发挥功能。另外，也可通过运动图像生成处理例行程序而使中央控制部301的CPU作为根据由帧图像生成单元生成的多个帧F来生成运动图像Q的运动图像生成单元来发挥功能。而且，作为对用于执行上述各处理的程序进行保存的计算机可读取的介质，除了ROM或硬盘等之外，还可以应用闪存等非易失性存储器、⑶-ROM等的可携带记录介质。另夕卜，作为经由规定的通信线路提供程序数据的介质，也可应用载波(career wave)。
权利要求
1.一种运动图像生成方法，是利用了预先存储有表示规定空间内的多个可动点的运动的多个运动信息的运动图像生成装置的运动图像生成方法，所述运动图像生成方法的特征在于，包括 取得步骤，取得静止图像； 设定步骤，在由所述取得步骤取得的静止图像内，在所述多个可动点所对应的各位置处设定运动的多个控制点； 帧图像生成步骤，生成多个帧图像，该多个帧图像是按照下述方式得到的，即基于用户从所述多个运动信息中指定出的一个运动信息的所述多个可动点的运动而使所述多个控制点运动，并按照该控制点的运动使所述静止图像变形；和 运动图像生成步骤，根据由所述帧图像生成步骤生成的多个帧来生成运动图像。
2.根据权利要求I所述的运动图像生成方法，其特征在于， 所述运动信息分别与连续地表示所述多个可动点的运动的运动模型的模型名相对应地进行存储， 在所述帧图像生成步骤中，基于与和用户进行的规定操作相应的所述模型名相对应的运动信息的所述多个可动点的运动而使所述多个控制点运动。
3.根据权利要求I所述的运动图像生成方法，其特征在于， 所述运动信息包括按照使所述多个可动点与规定的舞蹈相对应的方式运动的运动信肩、O
4.根据权利要求I所述的运动图像生成方法，其特征在于， 在所述取得步骤中，作为所述静止图像而取得从存在背景和被摄体的图像之中剪切包含被摄体的区域之后得到的剪切图像， 在所述运动图像生成步骤中，使由所述剪切图像生成的多个帧图像与其他图像进行合成而生成运动图像。
5.根据权利要求I所述的运动图像生成方法，其特征在于， 在所述帧图像生成步骤中，根据与运动图像一起再生的曲子的行进程度来生成帧间的插值图像。
6.一种运动图像生成装置，其特征在于，具备 存储单元，其预先存储表示规定空间内的多个可动点的运动的多个运动信息； 取得单元，其取得静止图像； 设定单元，其在由所述取得单元取得的静止图像内，在所述多个可动点所对应的各位置处设定运动的多个控制点； 帧图像生成单元，其生成多个帧图像，该多个帧图像是按照下述方式得到的，即基于用户从所述多个运动信息中指定出的一个运动信息的所述多个可动点的运动而使所述多个控制点运动，并按照该控制点的运动使所述静止图像变形；和 运动图像生成单元，其根据由所述帧图像生成单元生成的多个帧来生成运动图像。
7.根据权利要求6所述的运动图像生成装置，其特征在于， 所述运动信息分别与连续地表示所述多个可动点的运动的运动模型的模型名相对应地进行存储， 所述帧图像生成单元基于与和用户进行的规定操作相应的所述模型名相对应的运动信息的所述多个可动点的运动而使所述多个控制点运动。
8.根据权利要求6所述的运动图像生成装置，其特征在于， 所述运动信息包括按照使所述多个可动点与规定的舞蹈相对应的方式运动的运动信肩、O
9.根据权利要求6所述的运动图像生成装置，其特征在于， 所述取得单元作为所述静止图像而取得从存在背景和被摄体的图像之中剪切包含被摄体的区域之后得到的剪切图像， 所述运动图像生成单元使由所述剪切图像生成的多个帧图像与其他图像进行合成而生成运动图像。
10.根据权利要求6所述的运动图像生成装置，其特征在于， 所述帧图像生成单元根据与运动图像一起再生的曲子的行进程度来生成帧间的插值图像。
全文摘要
本发明提供一种运动图像生成方法及运动图像生成装置。该方法是利用了预先存储有表示规定空间内的多个可动点的运动的多个运动信息的运动图像生成装置的运动图像生成方法，所述运动图像生成方法的特征在于，包括取得步骤，取得静止图像；设定步骤，在由所述取得步骤取得的静止图像内，在所述多个可动点所对应的各位置处设定运动的多个控制点；帧图像生成步骤，生成多个帧图像，该多个帧图像是按照下述方式得到的，即基于用户从所述多个运动信息中指定出的一个运动信息的所述多个可动点的运动而使所述多个控制点运动，并按照该控制点的运动使所述静止图像变形；和运动图像生成步骤，根据由所述帧图像生成步骤生成的多个帧来生成运动图像。
文档编号H04N5/232GK102811352SQ20121017383
公开日2012年12月5日 申请日期2012年5月30日 优先权日2011年6月3日
发明者牧野哲司, 中岛光康, 广浜雅行, 浜田玲, 前野泰士, 挂川聪, 石井克典, 手岛义裕, 绵贯正敏, 田中飞雄太, 二瓶道大, 佐佐木雅昭, 松井绅一 申请人:卡西欧计算机株式会社