专利名称：动态影像的动作转移方法与系统的制作方法
技术领域：
本发明是有关于一种数据处理方法，且特别有关于一种动态影像的动作 转移方法与系统。
背景技术：
在计算机动画与游戏中，为了使做出来的角色动作更为逼真，直接撷取
表演者的动作的动态捕捉技术(Motion Capture)已被广泛使用。然而，将动 态捕捉技术直接应用在互动系统(例如，角色对战游戏)中需要记录大量各 种不同角度、反应的动作，所呈现的动态效果就仅限于所拍摄的动作。
为了扩充动作的变化性，可使用动作混合技术(MotionBlending)与动作 转移技术(Motion Transition)。动作混合技术是将多段类似的动画利用线性 插补法(Interpolation)的方式，再乘上不同的权重，即可得到一个全新的动 作，其可丰富动作的变化性。动作转移技术是将两段不同的动作前后连接起 来，而中间在接合时所产生的突兀现象，则可加入一个缓冲区间，然后利用 插补技术来产生平顺的转换过程。
就动作转移技术来说，如图1所示，借由一实时产生的动作片段(Motion Clip) C来连接动作片段A与动作片段B，使得动作片段A能无缝自然的转 移至动作片段B的技术。然而，如上所述，动作转移技术是经由数学算法的 运算直接产生两动作片段间过场的动作转移数据，即利用插补法实时计算并 产出产生两动作片段间过场的动作转移数据(在动作转移过程中角色的各个 关节旋转量所需要的数值)，其缺点为容易产生人为不自然的现象，且产生 的动作转移数据无变化性。
发明内容
基于上述问题，本发明实施例揭露了一种动态影像的动作转移方法。预 先录制至少一动作数据，其中所述的动作数据包括复数影像讯框。对所述的 这些影像讯框进行分群并建立一图形结构，所述的图形结构包括复数分群。 决定连结一第一动作片段与一第三动作片段的至少一第二动作片段在所述的 图形结构中所在的分群，并且执行一路径搜寻操作，以判断在所述的图形结 构中是否找到对应所述的第二动作片段的至少一动作路径。若找到一动作路 径，则从经过所述的动作路径的复数分群中分别选取至少一第二动作片段， 以取得复数第二动作片段作为一动作转移数据，并且调整所述的这些第二动 作片段并将所述的第一动作片段与所述的这些第二动作片段相互连接。
本发明实施例更揭露了一种动态影像的动作转移系统，包括一数据库、 一数据分群与图形化模块、 一判断模块与一动作调整与连接模块。所述的数 据库储存预先录制的至少一动作数据，其中所述的动作数据包括复数影像讯 框。所述的数据分群与图形化模块对所述的这些影像讯框进行分群并建立一 图形结构，所述的图形结构包括复数分群。所述的判断模块决定连结一第一 动作片段与一第三动作片段的至少一第二动作片段在所述的图形结构中所在 的分群，并且执行一路径搜寻操作，以判断在所述的图形结构中是否找到对 应所述的第二动作片段的至少一动作路径。若找到一动作路径，则所述的动作调 整与连接模块从经过所述的动作路径的复数分群中分别选取至少一第二动作片 段，以取得复数第二动作片段作为一动作转移数据，调整所述的这些第二动作片 段，并且将所述的第一动作片段与所述的这些第二动作片段相互连接。
由于是采用真实的动作数据进行连接，可增加动作的丰富性，提高互动 机制，并且减少可能的人为不自然现象的产生。
图1为现有动作转移方法的示意图。图2为本发明实施例的对影像讯框进行分群与图形结构化的示意图。 图3为本发明实施例的动态影像的动作转移方法的步骤流程图。
图4为本发明实施例的对影像讯框进行分群的示意图。 图5为本发明实施例的计算动作姿势相似度的示意图。 图6为本发明实施例的对影像讯框进行图形结构化的示意图。 图7为本发明实施例的决定欲连结的动作数据在图形结构中所在分群的 示意图。
图8为本发明实施例的动作路径搜寻的示意图。
图9为本发明实施例的选取适当动作片段来进行连接影像讯框的示意图。
图IO为本发明实施例的混接动作片段的示意图。
图11为本发明实施例的动态影像的动作转移系统的架构示意图。
附图标号 100 数据库
200 数据分群与图形化模块
300 判断模块
400 动作数据产生模块
500 动作调整与连接模块
A、 B、 C 动作片段
P卜Pn 动作数据
具体实施例方式
为了让本发明的目的、特征、及优点能更明显易懂，下文特举较佳实施 例，并配合所附图示图2至图11，做详细的说明。本发明说明书提供不同的 实施例来说明本发明不同实施方式的技术特征。其中，实施例中的各组件的 配置是为说明之用，并非用以限制本发明。且实施例中图式标号的部分重复， 是为了简化说明，并非意指不同实施例之间的关联性。
8本发明实施例揭露了一种动态影像的动作转移方法与系统。 本发明实施例的动态影像的动作转移方法是将预先录制好的动作转移数 据进行分类以产生图形化的结构，通过路径搜寻的机制得到适当的路径信息， 从路径信息中获得两动作片段所需要的动作转移数据，并修改动作数据细节。 由于是采用真实的动作数据进行连接，可增加动作的丰富性，提高互动机制， 并且减少可能的人为不自然现象的产生。
本发明通过预先录制好的动作数据来产生动作转移的动作数据。将预先
录制的动作数据进行分群(Cluster)与图形结构化的处理，通过路径搜寻的概 念产出适当的动作转移数据，让两动作片段能够无缝的连接。利用预先录制 好的真实动作数据来产出动作转移数据，可以克服用传统数学计算所可能产 生的人为不自然的现象，并能够达到多样变化性的优点。如图2所示，将复
数个影像讯框(P!、 P2.....Pn)中的人物影像的动作姿势相互对比，以将类
似动作姿势的影像讯框分群为同一个影像片段，然后再进行结构化处理。
需注意到，"动作姿势"是指一影像讯框中的人物影像的动作姿势。当 描述一动作姿势时，即是指对应所述的动作姿势的影像讯框，故在下文中不 再另行赘述。
图3是显示本发明实施例的动态影像的动作转移方法的步骤流程图。 首先，预先录制所需的动作数据，其包括复数个影像讯框(步骤S31)， 并且对动作数据进行分群并建立图形结构(步骤S32)。在对动作数据分群时， 必须先判断动作讯框中的角色姿势的相似性。预先撷录的动作数据是一连串 的动作姿势所构成的档案数据。参考图4，将动作数据中的第一个影像讯框(例 如，P。中包含的动作姿势当作是第一个分群(分群l)的中心动作姿势(中 心讯框)，并且利用一动作姿势相似度计算方法来判断另一影像讯框(例如， P2)中包含的动作姿势与所述的中心动作姿势的差异值。如果差异值小于一使 用者自订的门坎值，则将所述的动作姿势并入分群1中。如果差异值大于所 述的门坎值，则建立一个新的分群(例如，分群2)，并将所述的动作姿势做为分群2的中心动作姿势。以此类推，将各影像讯框中的各动作姿势与各分 群的中心动作姿势对比，以并入各中心动作姿势的分群或产生新的分群，即
可完成自动化的分群动作。在本发明实施例，建立好的分群包括分群1 (d)、 分群2 (C2)、分群3 (C3)与分群4 (C4)，每一分群包括复数个动作片段， 如图4所示。
接下来说明动作姿势相似度的计算方法，其是根据两动作姿势的各个关 节节点间在空间位置中的距离差距来判定两动作姿势是否相似。如图5所示， 定义P()为一动作姿势的所有关节点在空间中所处位置的集合，则P,(v,, v2,...，
vw)与P2(ql5 q2， ...， q^分别为两动作姿势的所有关节点在空间中所处位置的集 合。两动作姿势的差异值定义为D二P,—TXWXP2，其中T为将两动作姿势
的原点对齐的转换矩阵，而W为各个关节的权重值。通过与使用者自订的门 坎值对比，即可判定两动作姿势的相似度是否足够。
在分群完毕之后，接着要将各个分群之间的关连性建立起来，此即为建 立图形结构的流程。在分群的流程中，相似的动作姿势会被并入同一分群， 所以被并入同一分群且原本位于同一个影像数据的相邻动作姿势会形成一段 段的动作片段。参考图6，在建立关连性的过程中，如果分群1包括一动作片 段a (未显示)，且分群2包括一动作片段b (未显示)，其中动作片段a在 动作数据中的位置是位于动作片段b之前，则存在一个连通路径从分群1指 向分群2。以此类推，即可完成分群之间的连通性而完成图形化的结构处理。
需注意到，在图6中，分群1的中心讯框(中心动作姿势)为原始动作 数据中的第一讯框，分群2的中心讯框为原始动作数据中的第5讯框，分群3 的中心讯框为原始动作数据中的第i讯框，分群4的中心讯框为原始动作数据 中的第j讯框，但其仅为一实施例，并非用以限定本发明。
在对动作数据进行分群并建立图形结构后，决定欲连结的动作数据在图 形结构中所在的分群(步骤S33)。如图7所示，若欲连接动作片段Ma与 MB，则必须在分群中找出连接动作片段MA的影像讯框MPa与幼作片段Mb的影像讯框MPB的动作片段所在的分群。因此，将二个影像讯框的动作姿势 分别与不同分群中的动作片段中的动作姿势对比，以决定欲连结的动作片段 (至少包含一影像讯框)在图形结构中所在的分群。
执行一路径搜寻操作，以判断是否找到至少一动作路径(步骤S34)。不
同的动作路径，代表拥有不同的动作数据而可形成不同的动作转移数据，以 提供动作转移的高弹性的需求。从每一分群中所找出的动作路径代表可用以
连接影像讯框MCA与影像讯框MCB的动作片段所在的各个分群位置。利用一 路径搜寻算法(例如，贪婪搜寻算法(Greedy Search))可找出所有的动作 路径。如图8所示，动作路径的起点在分群l，终点在分群3，而所找到的动 作路径包括路径l (d—C2—C3)与路径2 (C,—C2—C4—C3)。
若可找到一动作路径，则从找到的动作路径所经过的每个分群中选取至 少一动作片段做为动作转移数据(步骤S35)。如图9所示，根据先前的路径 搜寻操作，可找出分群1与分群2间所有适合的动作片段，其根据动作姿势 的相似性至少可产生第一动作片段群(MCG》、第二动作片段群(MCG2) 与第三动作片段群(MCG3)。每一动作片段群包括复数个动作片段，而每一 动作片段包括复数个影像讯框。比较每一动作片段群的第一动作片段中的第 一动作姿势和已合成的动作片段(Syn—Motion)中的最后一个动作姿势的差 异度，然后根据差异度符合一门坎值的动作姿势，选取动作片段的长度大小 符合一预设门坎值的动作片段群，以将对应所述的选取的动作片段群中的动 作片段做为动作转移数据。
若无法找到动作路径，则利用贝兹插补法(Bezier Interpolation)来产生 所需要的动作转移数据(步骤S36)。当取得所需的动作转移数据时，调整所 述的动作转移数据并施行动作连接操作(步骤S37)。取得选取出来的动作片 段后即开始进行两动作片段的混合连接，其是将一动作片段中定义好的头端 与另一动作片段中定义好的尾端进行混接而完成。如图10所示，首先，分别 定义出每一动作片段(例如，动作片段Md与MC2)中欲混接部分的长度大小，对这两个混接部分进行动态时间偏移(Dynamic Time Warping)的计算， 以让两部分的长度等长，并记录两者的相对关系。利用四元插补法(Quaternion Interpolation)运算将两动作片段的头尾端进行混接，以完成两动作片段的连 接。
图11为显示本发明实施例的动态影像的动作转移系统的架构示意图。
本发明实施例的动态影像的动作转移系统包括一数据库100、 一数据分群 与图形化模块200、 一判断模块300与一动作调整与连接模块400。数据库100 储存预先录制所需的动作数据，其包括复数个影像讯框。数据分群与图形化 模块200对数据库100中的动作数据进行分群并建立图形结构。判銜模块300 决定欲连结的动作数据在图形结构中所在的分群，并且执行一路径搜寻操作， 以判断是否找到动作路径。若可找到动作路径，动作调整与连接模块400从 找到的动作路径所经过的每个分群中选取至少一动作片段做为动作转移数 据。若无法找到动作路径，动作调整与连接模块400利用贝兹插补法来产生 所需要的动作转移数据。当取得所需的动作转移数据时，动作调整与连接模 块400对所述的动作转移数据进行调整并施行动作连接操作。
本发明更提供一种记录媒体(例如光盘片、磁盘片与抽取式硬盘等等)， 其记录一计算机可读取的权限签核程序，以便执行上述的动作转移方法。在 此，储存于记录媒体上的权限签核程序，基本上是由多数个程序代码片段所 组成的(例如建立组织图程序代码片段、签核窗体程序代码片段、设定程序 代码片段、以及部署程序代码片段)，并且这些程序代码片段的功能对应到 上述方法的步骤与上述系统的功能方块图。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何 掌握此技术者，在不脱离本发明的精神和范围内，可作各种的更动与润饰， 因此本发明的保护范围当视的权利要求书所界定的为准。
权利要求
1. 一种动态影像的动作转移方法，其特征在于，所述的方法包括下列步骤预先录制至少一动作数据，其中所述的动作数据包括复数影像讯框；对所述的这些影像讯框进行分群并建立一图形结构，所述的图形结构包括复数分群；决定连结一第一动作片段与一第三动作片段的至少一第二动作片段在所述的图形结构中所在的分群；执行一路径搜寻操作，以判断在所述的图形结构中是否找到对应所述的第二动作片段的至少一动作路径；若找到一动作路径，则从经过所述的动作路径的复数分群中分别选取至少一第二动作片段，以取得复数第二动作片段作为一动作转移数据；以及调整所述的这些第二动作片段并将所述的第一动作片段与所述的这些第二动作片段相互连接。
2. 如权利要求1所述的动态影像的动作转移方法，其中，若未找到所述 的动作路径，则利用一数学算法来产生所需要的动作转移数据。
3. 如权利要求1所述的动态影像的动作转移方法，其中，对所述的这些 影像讯框进行分群的步骤更包括将一第一影像讯框中包含的一第一动作姿势作为一第一分群的中心动作 姿势；判断一第二影像讯框中包含的一第二动作姿势与所述的中心动作姿势的 差异值；若所述的差异值小于一自订门坎值，则将所述的第二影像讯框并入所述 的第一分群中；以及若所述的差异值大于所述的自订门坎值，则建立一第二分群，并将所述 的第二动作姿势作为所述的第二分群的中心动作姿势。
4. 如权利要求3所述的动态影像的动作转移方法，其中，对所述的这些影像讯框进行分群的步骤更包括根据所述的第一与第二动作姿势的各个关节 节点间在空间位置中的距离差距来判断所述的第一与第二动作姿势的差异 值。
5. 如权利要求3所述的动态影像的动作转移方法，其特征在于，所述的动态影像的动作转移方法更包括下列步骤根据所述的第一与第三动作姿势的相似性，产生至少一第一动作片段群 与一第二动作片段群，其中每一动作片段群包括复数动作片段且每一动作片段包括复数影像讯框；比较每一动作片段群的第一动作片段中最后一个动作姿势的差异度；以及根据所述的差异度符合一门坎值的所有动作姿势，选取动作片段的长度 大小符合一预设门坎值的动作片段群，以将对应所述的选取的动作片段群中 的动作片段做为所述的动作转移数据。
6. 如权利要求1所述的动态影像的动作转移方法，其中，所述的图形结 构包括至少一第一分群与一第二分群，对所述的这些影像讯框进行分群的步 骤更包括当所述的第一与第二动作片段属于同一动作数据但分别属于所述的第一 与第二分群时，产生从所述的第一分群指向所述的第二分群的一动作路径。
7. 如权利要求1所述的动态影像的动作转移方法，其中，连接所述的第 一动作片段与所述的这些第二动作片段的步骤更包括-分别定义欲连接的所述的第一动作片段的一第一影像部分与所述的这些 第二动作片段中的一第二动作片段的一第二影像部分的影像长度；利用一动态时间偏移方法计算所述的第一与第二影像部分，以使所述的 第一与第二影像部分的影像长度等长，并记录所述的第一与第二影像部分的相对关系；以及将所述的第一动作片段的所述的第一影像部分与所述的第二动作片段的 所述的第二影像部分连接。
8. —种动态影像的动作转移系统，其特征在于，所述的动态影像的动作 转移系统包括一数据库，其储存预先录制的至少一动作数据，其中所述的动作数据包括复数影像讯框；一数据分群与图形化模块，对所述的这些影像讯框进行分群并建立一图 形结构，所述的图形结构包括复数分群；一判断模块，决定连结一第一动作片段与一第三动作片段的至少一第二 动作片段在所述的图形结构中所在的分群，并且执行一路径搜寻操作，以判 断在所述的图形结构中是否找到对应所述的第二动作片段的至少一动作路 径；以及一动作调整与连接模块，若找到一动作路径，则从经过所述的动作路径 的复数分群中分别选取至少一第二动作片段，以取得复数第二动作片段作为 一动作转移数据，调整所述的这些第二动作片段，并且将所述的第一动作片 段与所述的这些第二动作片段相互连接。
9. 如权利要求8所述的动态影像的动作转移系统，其中，若未找到所述 的动作路径，则所述的动作调整与连接模块利用一数学算法来产生所需要的 动作转移数据。
10. 如权利要求8所述的动态影像的动作转移系统，其中，所述的数据分 群与图形化模块将一第一影像讯框中包含的一第一动作姿势作为一第一分群 的中心动作姿势，判断一第二影像讯框中包含的一第二动作姿势与所述的中 心动作姿势的差异值，若所述的差异值小于一自订门坎值，则将所述的第二 影像讯框并入所述的第一分群中，若所述的差异值大于所述的自订门坎值， 则建立一第二分群，并将所述的第二动作姿势作为所述的第二分群的中心动 作姿势。
11. 如权利要求10所述的动态影像的动作转移系统，其中，所述的数据分 群与图形化模块根据所述的第一与第二动作姿势的各个关节节点间在空间位 置中的距离差距来判断所述的第一与第二动作姿势的差异值。
12. 如权利要求10所述的动态影像的动作转移系统，其中，所述的动作调 整与连接模块根据所述的第一与第三动作姿势的相似性产生至少一第一动作 片段群与一第二动作片段群，其中每一动作片段群包括复数动作片段且每一 动作片段包括复数影像讯框，比较每一动作片段群的第一动作片段中的最后 一个动作姿势的差异度，并且根据所述的差异度符合一门坎值的所有动作姿 势，选取动作片段的长度大小符合一预设门坎值的动作片段群，以将对应所 述的选取的动作片段群中的动作片段做为所述的动作转移数据。
13. 如权利要求8所述的动态影像的动作转移系统，其中，当所述的第一 与第二动作片段属于同一动作数据但分别属于所述的第一与第二分群时，所 述的数据分群与图形化模块产生从所述的第一分群指向所述的第二分群的一 动作路径。
14. 如权利要求8所述的动态影像的动作转移系统，其中，所述的动作调 整与连接模块分别定义欲连接的所述的第一动作片段的一第一影像部分与所 述的这些第二动作片段中的一第二动作片段的一第二影像部分的长度，利用 一动态时间偏移方法计算所述的第一与第二影像部分，以使所述的第一与第 二影像部分的影像长度等长，并所述的第一与第二影像部分的相对关系，并 且将所述的第一动作片段的所述的第一影像部分与所述的第二动作片段的所 述的第二影像部分连接。
全文摘要
本发明是关于一种动态影像的动作转移方法与系统。所述的动态影像的动作转移方法将预先录制好的动作转移数据进行分类以产生图形化的结构，通过路径搜寻的机制得到适当的路径信息，从路径信息中获得两动作片段(Motion Clip)所需要的动作转移数据，并修改动作数据细节。由于是采用真实的动作数据进行连接，可增加动作的丰富性，提高互动机制，并且减少可能的人为不自然现象的产生。
文档编号G06T13/00GK101458820SQ200710199688
公开日2009年6月17日 申请日期2007年12月12日 优先权日2007年12月12日
发明者彭任右, 林奕成, 赵瑞祥, 郑育镕 申请人:财团法人资讯工业策进会