专利名称：运动编码影像及生成模块、影像处理模块及运动展示模块的制作方法
技术领域：
本发明关于一种编码影像，特别关于一种运动编码影像及其影像处理模块、运动展示模块与生成模块。
背景技术：
虽然三维的人体运动追踪器已经被开发许久，但是目前人类肢体运动的数字化与典藏大部分停留在二维的视讯影像撷取与处理上。至于人体运动的编码，一般舞蹈艺术训练的记录现在仍使用拉曼(Laban)所发明的方法，这是一种使用二维方式记录人体三维的运动，共分五个成分记录(body, space, effort, shape, and relationship),问题是针对同一个动作，不同的人可能有不同的记录；而且依照相同的记录由不同的演员来表演阐述，其动作仍有不同。 而现今一般人体运动的分析研究则大多是二维串流影像的姿势特征辨识，基本上是使用在安全监视与人机界面处理方面。对宝贵的人体三维运动信息，如云门舞集的经典创作或太极拳法，无法像音乐的曲谱一样可以将人体运动予以严密的记录与典藏，进而可以将肢体运动进行较细腻的编修，创作出更完美的动作。亦无法将人体运动撷取后，能直接复制于人形机器人的运动规划与编辑，使机器人能进行人体的相同动作，从而取代人体劳力，服务人类。因此，如何提供一种运动编码影像及其影像处理模块、运动展示模块与生成模块，能够将人体运动予以严密的记录与典藏，并可将肢体运动进行较细腻的编修，创作出更完美的动作，且能直接复制于机器人或其它多关节系统而使其进行相同动作，实为当前重要课题之一。
发明内容
本发明的目的是提供一种能够将人体运动予以严密的记录与典藏，并可将肢体运动进行较细腻的编修，创作出更完美的动作，且能直接复制于机器人或其它多关节系统而使其进行相同动作的运动编码影像及其影像处理模块、运动展示模块与生成模块。本发明可采用以下技术方案来实现的。本发明的一种运动编码影像，其是通过一三维运动撷取装置针对一多关节系统的运动摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动Ih息进行编码的影像。在一实施例中，运动编码影像包括多个灰阶列，各灰阶列对应各关节，各灰阶列表示各关节的一运动量随时间的变化。对各灰阶列而言，利用不同灰阶值来描述运动量的变化。上述的灰阶列亦可更换为彩色列，则可利用不同色度或色彩来描述运动量的变化。运动量可例如是角度。本发明亦揭露一种影像处理模块，其用以处理上述的运动编码影像，影像处理模块所进行的处理可包括灰阶影像补点、影像平滑化、影像滤除、影像撷取、影像编辑以及影像插入的至少一个。本发明亦揭露一种运动展示模块，其依据如上所述的影像处理模块所处理而产生的一运动处理影像以及一多关节系统外形数据结构，而产生所述多关节系统外形数据结构所对应的所述多关节系统的连续三维绘图数据。亦即，本发明可将一多关节系统的运动状态完全复制到另一个多关节系统，并以连续的三维动态绘图来呈现。在一实施例中，运动展示模块，包括一译码单元、一顺向运动学单元以及一三维绘图展示单元。译码单元对所述运动处理影像(或运动编码影像)进行译码并得到多个关节运动信息。顺向运动学单元可通过顺向运动学处理所述关节运动信息而得到多个特征点的运动信息。三维绘图展示单元依据所述特征点的运动信息以及所述多关节系统外形数据结构而产生所述三维绘图数据。上述特征点的运动信息可例如包括所述特征点(例如配戴标志体处、或杆件或关节几何原点)的坐标位置与方位角。本发明亦揭露一种运动编码影像的生成模块，其用以生成如上所述的运动编码影像，其中三维运动撷取装置针对多关节系统的运动摄取多个动态影像而得到多个特征点的 运动信息，所述生成模块包括一逆向运动学单元以及一编码单元。逆向运动学单元通过逆向运动学并依据所述特征点的运动信息以及所述多关节系统所对应的一关节数据结构而产生多个关节运动信息。编码单元对所述关节运动信息进行编码而产生所述运动编码影像。本发明的运动编码影像通过一三维运动撷取装置针对一多关节系统摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动信息进行编码的影像。换言之，本发明的运动编码影像由编码过的关节运动信息所构成，其中，关节运动信息特别是针对所定义的关节的运动的变化量。借此，本发明将一多关节系统的运动以影像的方式记录下来，如同曲谱将音乐记录下来一样，进而为多关节系统的运动提供严密的记录与典藏并定义记录格式，还为三维运动力学分析立下坚固的基石。此外，本发明亦揭露了对运动编码影像进行影像处理的影像处理模块，其所进行的处理可例如包括灰阶影像补点、影像平滑化、影像滤除、影像撷取、影像编辑、影像插入或其它的影像处理方式。由于本发明将三维运动以编码影像的方式记录下来，因此后续的运动处理可利用影像处理的方式来进行，进而简化了三维运动处理过程与时间，也扩展了运动编码影像的应用范围及程度，例如可将原本不顺畅的动作进行较细腻的编修，而创作出更完美的动作。此外，本发明亦揭露了将运动编码影像(或运动处理影像)展示出来的运动展示模块，其可依据上述运动编码影像以及任一多关节系统外形数据结构，而展示出所述多关节系统外形数据结构所对应的所述多关节系统的连续三维绘图数据。换言之，运动展示模块可将原来的多关节系统(例如人体)的运动过程以连续的动态三维绘图展示出来，或者将其运动过程复制到其它多关节系统(例如机器人、其它人体、或数字化虚拟体)上并以连续的动态影像展示出来。此外，本发明亦揭露一种运动编码影像的生成模块，其通过逆向运动学并依据特征点的运动信息以及多关节系统的一关节数据结构来计算出关节运动信息，再将所述关节运动信息进行编码而产生运动编码影像。
图I是本发明优选实施例的一种运动编码影像的示意图；图2是人体经过一特定模型化所得到的关节数据结构的示意图；图3是本发明优选实施例的一种运动编码影像的影像处理模块、运动展示模块与生成模块整合的方块示意图；图4显示以人体为例的多关节系统的特征点的位置；
图5显示应用本发明的生成模块所产生的运动编码影像以及应用本发明的运动展示模块所展示的三维绘图数据显示于屏幕上的影像；以及图6显示应用本发明的影像处理模块将图5的运动编码影像经过影像处理的运动处理影像以及应用本发明的运动展示模块对所述运动处理影像所展示的三维绘图数据显示于屏幕上的影像。主要元件符号说明10 :生成模块11 :逆向运动学单元12 :编码单元20 :影像处理模块30 :运动展示模块31 :译码单元32:顺向运动学单元33:三维绘图展示单元I :运动编码影像I’ 运动处理影像JD :关节数据结构M :标志体
具体实施例方式以下将参照相关图式，说明依本发明优选实施例的一种运动编码影像及其生成模块、影像处理模块、与运动展示模块，其中相同的元件将以相同的元件符号加以说明。图I是本发明优选实施例的一种运动编码影像I的示意图，其通过一三维运动撷取装置针对一多关节系统摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动信息进行编码的影像。其中，多关节系统可以是生物体或非生物体，生物体例如是人体、动物等，非生物体例如是机器人或是数字化的虚拟体等。以下以人体来举例说明运动编码影像I。图2是人体经过一特定模型化所得到的关节数据结构的示意图。人体的主要分为头、躯干、四肢等六大部分，躯干可分为胸部、腰部、及臀部。若不计手指、脚指及其它较小的运动关节，全身可使用23个连杆来模拟其运动状态。就其相对运动自由度来说，头对胸部(即颈关节)有3个旋转运动及一个平移自由度；躯干的两肩甲骨及腰部也各提供4个自由度；两手臂对肩膀各有3个旋转自由度，两腿对臀部也各有3个旋转自由度。手部的肘及腕关节、腿部的膝及踝关节又各提供2个旋转自由度，加上手指及脚指旋转共48个运动自由度来记录人体每一姿势的关节参数。图2中的线段表示连杆，图2中的◎图案表示关节处。图2所示用以描述人体的模型仅是举例，并不用以限制本发明。本发明即可对图2所示的48个关节参数的运动过程进行编码而得到如图I所示的运动编码影像I。运动编码影像I可包括多个灰阶列，各灰阶列对应各关节，各灰阶列表示各关节的一运动量随时间的变化。因此，运动编码影像I的元素可表示为(x，y)，其中I表示第I个灰阶列，对应至其中一个关节参数，例如I = I代表第一个关节参数，X表示第X个灰阶值，其中X与x+1可相距一特定时间，例如1/30秒。运动量可例如是角度值。总括来说，当一三维运动撷取装置针对一多关节系统(其模型化例如图2所示)的运动摄取多个动态影像时，可分析所述动态影像而计算得到所述多关节系统的多个关节运动信息，例如上述的48个关节运动信息，其中包括随时间变化的角度值。当所述关节运动信息编码之后，即可得到如图I所示的运动编码影像(图I仅列出前29个关节，即y = 29)。若以256个灰阶来记录一个关节，则每一个关节以编码方式记录其角度需要Ibyte,则48个关节仅需要48bytes，以实时影像每秒30格论(即三维运动撷取装置每秒取得30个画面)，每分钟只要86. 4Kbytes的储存空间，数据的简洁度相当惊人。而即使这么简洁的数据编码，仍不失其分辨率，因为人体的关节没有一个可连续旋转360度。以肘关节来说，一般大约可旋转150度左右，编码可依照所述关节的最大旋转角度范围为比例，以256灰阶记录其实际位置。以肘关节为例，其可解析至0. 58(150/256)度左右，以三维观视来说，眼睛已分不清两个相邻位置了。若生物运动力学分析的要求更高分辨率，则可使用两码编列一个关节位置，则可编成216 = 65534个位置，分辨率可到达0. 00229度，远超过人体运动分析需求的分辨率。上述以灰阶值来作为运动编码影像的元素，而在其它实施例中，亦可使用色度或色彩来作为运动编码影像的元素，或两者混合使用。而在此种态样中，运动编码影像包括多个彩色列，各彩色列对应各关节，各彩色列表示各关节的一运动量随时间的变化，运动量可例如是角度。图3是本发明优选实施例的一种运动编码影像的影像处理模块、运动展示模块与生成模块所整合的方块示意图。请参照图3所示，本发明优选实施例的一种运动编码影像的生成模块10包括一逆向运动学单元11以及一编码单元12。当三维运动撷取装置对一多关节系统摄取多个动态影像时，其可得到多个特征点的运动信息。图4显示以人体为例的多关节系统的特征点的位置，其特征点位置以配戴标志体(Hiarker)M处为例，当然，特征点亦可以是与标志体具有固定相对位置的点，例如杆件几何原点。当人体运动时，标志体M亦随着运动，通过三维运动撷取装置可撷取标志体的影像并分析得到所述特征点的运动信息，特征点的运动信息例如可包括所述特征点的坐标位置与方位角。逆向运动学单元11可通过逆向运动学并依据所述特征点的运动信息以及所述多关节系统所对应的一关节数据结构JD (其例如对应图2所示的模型)而产生多个关节运动信息，意即从特征点的运动信息再配合关节数据结构，并通过逆向运动学的计算可得出关节运动信息，例如关节随时间变化的角度值。编码单元12对所述关节运动信息进行编码而产生运动编码影像。由于关节运动信息以及运动编码影像已详述如前，故在此不再赘述。在生成模块10产生运动编码影像之后，即可应用影像处理来对运动编码影像进行后处理，其目的例如是制造更完美的运动影像、或创制其它的运动影像等等。其中，影像处理模块20所进行的处理可包括灰阶影像补点、影像平滑化、影像滤除、影像撷取、影像编辑、影像插入或其它影像处理方法的至少一个。其中，灰阶影像补点、平滑化、影像滤除等功能可侦测并滤除不合理的运动时段，并使用连续性函数填补被滤除区域，使运动顺滑地联接起来。本发明亦可依据运动编码影像而产生新的运动编码影像，例如是抽取几个特选的运动时段，且各时段之间由影像计算来填补而重新组成；或甚至直接编辑或编排各关节的运动，创造全新的人体动作。运动编码影像I经影像处理之后即成为运动处理影像I'。如图3所示，本发明优选实施例的一种运动展示模块30可依据上述的运动处理影像I'以及一多关节系统外形数据结构，而产生所述多关节系统外形数据结构所对应的所述多关节系统的连续三维绘图数据。所谓多关节系统外形数据结构即描述一多关节系统，例如人体的外形的数据结构，其可例如通过对人体进行三维扫描而得到空间云点数据，再对所述空间云点数据进行定义(例如依据人体杆件分割与定位)而产生。另外，多关节系统外形数据结构除了可对应人体之外，亦可以是机器人或虚拟的外形数据结构。
本实施例的运动展示模块30包括一译码单元31、一顺向运动学单元32以及一三维绘图展示单元33。译码单元31对运动处理影像I'进行译码并得到多个关节运动信息。顺向运动学单元32可通过顺向运动学处理所述关节运动信息而得到多个特征点的运动信息，于此，顺向运动学单元32依据所述关节运动信息以及多关节系统所对应的一关节数据结构JD而产生所述特征点的运动信息。三维绘图展示单元33依据所述特征点的运动信息以及所述多关节系统外形数据结构而产生所述三维绘图数据，并将其展示于屏幕画面上。于此，三维绘图展示单元33可包括一注册整合单元，其整合特征点运动信息与多关节系统外形数据结构，并透过数据的重现(Implication)方法，以呈现所述物体真实的动态影像。由于关节运动信息以及特征点的运动信息已详述如上，故在此不再赘述。当三维绘图展示单元33依据不同的多关节系统外形数据结构来进行运算时，即可将特征点的运动信息套用在不同的多关节系统而产生对应的动态三维绘图。并且运动重现的方式可快、慢动作，前进、后退，步进或步退；并且可随时暂停并放大、缩小、转换角度反复观视运动中任一时序的运动姿势。本发明具有下列特征I、结合多关节系统外形数据结构与运动编码影像来展现栩栩如生的运动。并且运动编码影像与多关节系统外形数据结构完全独立，亦即可使用某甲的身体来表演某乙所做的运动，也可使用人形机器人来表演真人的运动，可让机器人进入危险区域替代人体执行重要工作，如核能场灾变处理等。2、运动编码影像(或运动处理影像)有如音乐的曲谱一样，利用编码影像储存人体关节运动角度，可以实时观察运动的顺滑性，并可依据影像处理技术滤除不合理的运动，因此可编辑修改、甚至创作复杂的人体运动。另外，图5显示应用本发明的生成模块所产生的运动编码影像以及应用本发明的运动展示模块所展示的三维绘图数据显示于屏幕上的影像。图6显示应用本发明的影像处理模块将图5的运动编码影像经过影像处理(例如灰阶影像滤除、影像补点、影像平滑化)的运动编码影像以及应用本发明的运动展示模块对所述运动处理影像所展示的三维绘图数据显示在屏幕上的影像。由图5的三维绘图数据可知，人形的左脚明显不符实际情况，且运动编码影像也对应地在各灰阶列中有许多突出的画素。而在经过影像处理后，由图6可知，人形的左脚已修正为实际情况，且运动处理影像也对应地在各灰阶列中减少突出的画素。综上所述，本发明的运动编码影像通过一三维运动撷取装置针对一多关节系统摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动信息进行编码的影像。换言之，本发明的运动编码影像由编码过的关节运动信息所构成，其中，关节运动信息特别是针对所定义的关节的运动的变化量。借此，本发明将一多关节系统的运动以影像的方式记录下来，如同曲谱将音乐记录下来一样，进而为多关节系统的运动提供了严密的记录与典藏并定义了记录格式，也为三维运动力学分析立下坚固的基石。此外，本发明亦揭露了对运动编码影像进行影像处理的影像处理模块，其所进行的处理可例如包括灰阶影像补点、影像平滑化、影像滤除、影像撷取、影像编辑、影像插入或 其它的影像处理方式。由于本发明将三维运动以编码影像的方式记录下来，因此后处理可利用影像处理的方式来进行，进而简化了处理过程与时间，也大大扩展了运动编码影像的应用范围及程度，例如可将原本不顺畅的动作进行较细腻的编修，而创作出更完美的动作。此外，本发明亦揭露了将运动编码影像(或运动处理影像)展示出来的动态运动展示模块，其可依据上述影像以及任一个多关节系统外形数据结构，而展示出所述多关节系统外形数据结构所对应的所述多关节系统的连续三维绘图数据。换言之，动态运动展示模块可将原来的多关节系统(例如人体)的运动过程以连续的动态三维绘图展示出来，或者将其运动过程复制到其它多关节系统(例如机器人、其它人体、或数字化虚拟体)上并以连续的动态三维绘图展示出来。此外，本发明亦揭露一种运动编码影像的生成模块，其通过逆向运动学并依据特征点的运动信息以及多关节系统的一关节数据结构来计算出关节运动信息，再将所述关节运动信息进行编码而产生运动编码影像。以上所述仅是举例性，而非限制性。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包括在权利要求所限定的范围内。
权利要求
1.ー种运动编码影像，其特征在于，其是通过一三维运动撷取装置针对ー多关节系统的运动摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动イM息进行编码的影像。
2.根据权利要求I所述的运动编码影像，其特征在于，其包括多个灰阶列，各灰阶列对应各关节，各灰阶列表示各关节的ー运动量随时间的变化。
3.根据权利要求I所述的运动编码影像，其特征在于，其包括多个彩色列，各彩色列对应各关节，各彩色列表示各关节的ー运动量随时间的变化。
4.根据权利要求2所述的运动编码影像，其特征在于，所述运动量是角度。
5.根据权利要求3所述的运动编码影像，其特征在于，所述运动量是角度。
6.ー种影像处理模块，其特征在于，其是用以处理如权利要求I至5的任ー项所述的运动编码影像，所述影像处理模块所进行的处理包括灰阶影像补点、影像平滑化、影像滤除、影像撷取、影像编辑以及影像插入的至少ー个。
7.—种运动展示模块，其特征在干，其是根据权利要求6所述的影像处理模块所处理而产生的ー运动处理影像以及ー多关节系统外形数据结构，而产生所述多关节系统外形数据结构所对应的所述多关节系统的一三维绘图数据。
8.根据权利要求7所述的运动展示模块，其特征在于，包括 一译码单元，对所述运动处理影像进行译码并得到多个关节运动信息； 一顺向运动学单元，通过顺向运动学处理所述关节运动信息而得到多个特征点的运动ィ目息;以及 一三维绘图展示単元，依据所述特征点的运动信息以及所述多关节系统外形数据结构而产生所述三维绘图数据。
9.根据权利要求8所述的运动展示模块，其特征在于，所述特征点的运动信息包括所述特征点的位置与方位角。
10.ー种运动编码影像的生成模块，其特征在于，其是用以生成如权利要求第I至5的任ー项所述的运动编码影像，其中所述三维运动撷取装置针对所述多关节系统摄取多个动态影像而得到多个特征点的运动信息，所述生成模块包括 一逆向运动学単元，通过逆向运动学并依据所述特征点的运动信息以及所述多关节系统所对应的ー关节数据结构而产生多个关节运动信息；以及 一编码单元，对所述关节运动信息进行编码而产生所述运动编码影像。
全文摘要
一种运动编码影像，其通过一三维运动撷取装置针对一多关节系统的运动摄取多个动态影像以得到所述多关节系统的多个关节运动信息，进而对所述关节运动信息进行编码的影像。因此，本发明能够将人体运动予以严密的记录与典藏，并可将肢体运动进行较细腻的编修，创作出更完美的动作，且能直接复制于机器人或其它多关节系统而使其进行相同动作。
文档编号H04N7/26GK102761759SQ20111030764
公开日2012年10月31日 申请日期2011年10月12日 优先权日2011年4月29日
发明者李宏文, 杨子纬, 蔡明俊 申请人:成功大学