专利名称：处理被动光学运动获取数据的方法
技术领域：
本发明涉及一种处理被动光学运动获取数据的方法，包括获取步骤，获取带有被动光学标记的被摄体的同步多摄像机图像；三维重建步骤，从获取的数据得到标记的一组三维坐标；作标记步骤，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体身体部分的位置；和连接角计算步骤，以一组所作的标记为基础，确定被摄体运动投影到的运动模型的每个连接的角度，并且计算被摄体的姿式。
已知的被动光学运动获取中，作标记的步骤通常是在结束图像获取步骤之后进行。原因如下当标记隐藏在被摄体的手和脚的后面，或当标记位于摄像机的盲点位置时，由于上面提及的标记被遮蔽的情况，就不能得到标记的三维坐标。在这种情况下，标记作为数据消失，而且消失的标记重新出现。处于这种情况，很难在获取图像步骤的同时找到标记对应的名称。在自动执行作标记步骤的情况下，有一种方法，其中最接近于在先作标记步骤中获取的标记被确定为相同的标记，但不涉及标记的消失和重现，而且对于被摄体的身体结构，甚至输出实际上不可能的结果。
为了解决上面提及的问题，Yang Song等人研究了一种技术，它利用频率函数来自动执行作标记的步骤(Yang Song，Luis Goncalves，Enrico DiBerrnardo and Pietro Perona，“Monocular Perception of BiologicalMotion-Detection and Labeling”，In Proc.IEEE CVPR，pp805-812，1999)。然而，用这种技术需要事先得知“典型的”运动，并难以增加用于图像获取操作的标记数量，而且，用这种技术，在结束图像获取步骤之后，作标记的步骤是以这样的方式完成的，即各次作标记以非矛盾方式参考所有所作标记的结果来完成。因此，就难以实时实现这种技术。
下面概括已知的处理被动光学运动获取数据方法中的问题。
(1)因为没有参考被摄体的身体结构来作标记，实际上不可能的结果被输出。
(2)在标记消失的情况下，不能确定消失标记的位置。为了估算消失标记的位置，需要采用另一种方法。
(3)用这种技术，因为所作的标记是通过许多在先前和作标记步骤后所作标记获取的，消失的标记得到补偿，这种技术不可能实现实时作标记，其中作标记的步骤在图像获取的时间间隔或类似的情况下完成的。
(4)在作标记后连接角的计算步骤中，根据所用的算法，因为在无论标记消失与否，所有的标记总是标着的情况下，不可能计算连接角，因而增加作标记步骤的负担。
根据本发明，一种处理被动光学运动获取数据的方法包括图像获取步骤，获取带有被动光学标记的被摄体的同步多摄像机图像；三维重建步骤，从获取的数据获得标记的一组三维坐标；作标记步骤，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体的身体部分的位置；以及连接角计算步骤，以一组所作的标记为基础，确定被摄体投影到的运动模型的每个连接的角度，并且计算被摄体的姿式，其中作标记步骤和连接角计算步骤被连成环，并同时行。
根据本发明，通常是独立地完成的作标记步骤和连接角计算步骤形成环，并同时进行，因此，能获得以下功能和效果(a)连接角计算后，消失的标记的坐标可以估算出来，并且总能获得所有标记的运动。
(b)在作标记的情况下，因为目前被摄体的姿式可以估算出来，所以就可以有效地进行找出附在身体不同部分的标记的操作。
(c)因为各次获得全部标记数据和全部连接角数据变得容易，所以可以将本发明应用于实时运动获取。
作为优选实施例，本次作标记步骤参考上次被摄体上的虚拟标记来完成，而上次被摄体上的虚拟标记通过对上次的获取数据执行上次的连接角计算步骤获得。这个实施例被优选是因为实现本发明更有效。而且，当利用上面提及的处理被动光学运动获取数据的方法时，可以实现实时运动获取系统。
作连接角计算用于其运动待确定的被摄体的运动模型、CG特征或类似人的身体模型。虚拟标记设置在运动模型上，以尽可能多地将虚拟标记重叠在实际计算和所作的标记上的方式移动各个连接处，从而确定整个身体的姿式。连接角计算是否要求全部标记坐标依赖所用的算法，而不考虑丢失标记，在结束计算后，就能无一例外地确定身体模型上的全部虚拟标记位置。利用这个特性，如
图1a-1f所示的运动获取系统就能构成。
首先，在图1a-1f所示的实施例中，如图1a所示的图像获取步骤、如图1b所示的三维坐标重建步骤、如图1c所示的初级作标记步骤都与已知的方法相同。作为连接角计算时采用的模型，一个基于被摄体身体的运动模型或其他模型被利用(图1d)。所有在连接角计算后确定的虚拟标记坐标，作为参考信息，被反馈给下一次作标记(图1e)。因为作标记总是通过利用这样确定的参考信息，并如此参考被摄体的身体结构来完成，因而与已知的方法相比，能提高性能。
作为作标记的方法，各种各样作标记的方法都可被利用。在这些方法中，有一种作标记方法，其中，位于最接近参考标记位置的标记被作标记，因为在已知的方法中，上一次作标记的标记位置被确定为参考标记位置，所以不可能涉及丢失标记。然而，根据本发明，因为从连接角计算反馈的标记位置被确定为参考标记位置，所以即使在丢失标记的情况下，总能利用参考标记位置，从而就可以继续作标记。如果无论丢失标记是否存在，所有的标记坐标都要被输出，则在紧急情况下，就可能输出反馈参考标记的位置。
在不同于被摄体的运动模型的运动被作为最后输出来获取的情况下，通过完成关于被摄体的连接角计算获得的运动模型的一组虚拟标记被一次确定。然后，对于不同于被摄体的运动模型，新的连接角计算被执行(图1f)。
根据本发明，除初次以外的无论何时，可以仅仅利用上次的参考信息，来完成作标记和连接角计算，因而，就可以实现光学运动获取的实时处理。
上面提及的本发明，除了应用于上面提及的光学运动获取系统和光学实时运动获取系统外，更适宜应用于类似人的机器人的实时操作输入装置和仿生学运动测量装置等。
从上面的说明可以清楚地理解，根据本发明处理被动光学运动获取数据的方法，即使作标记的算法和连接角计算的算法与已知的方法相同，与作标记和连接角计算是独立完成的已知方法相比，本发明能获得以下的效果(a)通过利用连接角计算反馈的参考信息，可限制作标记所要搜寻的空间。这样能降低标记丢失和减少搜寻时间。
(b)因为使用包括身体结构的参考信息，就能够避免实际上不可能的标记结果。
(c)在利用其中连接角计算要求输入所有标记位置的算法的情况下，如果在作标记期间出现标记丢失，可以通过提供上次的参考信息作为输出来涉及这种情况。
(d)只要能进行连接角计算，无论标记是否消失，全部次数的所有标记坐标能被确定。
权利要求
1.一种处理被动光学运动获取数据的方法，包括图像获取步骤，获取带有被动光学标记的被摄体的同步多摄像机图像；三维重建步骤，从获取的数据获得标记的一组三维坐标；作标记步骤，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体的身体部分的位置；和连接角计算步骤，以一组所作的标记为基础，确定被摄体运动投影到的运动模型的每个连接的角度，并计算被摄体的姿式，其中作标记的步骤和连接角计算步骤被连成环，并同时进行。
2.如权利要求1所述的处理被动光学运动获取数据的方法，其中，本次作标记的步骤是参考上次被摄体上的虚拟标记来完成的，而上次被摄体上的虚拟标记是通过对上次的获取数据执行上次的连接角计算步骤获得的。
3.一种实时运动获取系统，其中利用如权利要求1或2所述的处理被动光学运动获取数据的方法。
全文摘要
一种处理被动光学运动获取数据的方法，包括图像获取步骤，获取带有被动光学标记的被摄体的同步多摄像机图像；三维重建步骤，从获取的数据获得标记的一组三维坐标；作标记步骤，确定连续获取中各标记之间在时间上的对应，从而确定附有标记的被摄体的身体部分的位置；和连接角计算步骤，以一组所作的标记为基础，确定被摄体运动投影到的运动模型的每个连接的角度，并且计算被摄体的姿势，其中作标记的步骤和连接角计算步骤被连成环，并同时进行。
文档编号G06T15/70GK1455355SQ03120688
公开日2003年11月12日 申请日期2003年2月12日 优先权日2002年2月12日
发明者中村仁彦, 山根克, 栗原一贵, 铃木一郎 申请人:东京大学