专利名称：一种人体运动捕获方法
技术领域：
本发明涉及一种人体运动捕获系统，尤其是舞蹈动作的获取，涉及到计算机视觉、图像处理、人体运动学等领域。
背景技术：
:目前，公知的运动捕获的方法主要包括基于机械、电磁、声学、光学和图像的设备的运动获取方法，这些方法有两个很大的缺点:需要很昂贵的运动捕获设备，并且附加在人体身上的传感器限制了演员的自由表演。发明内容:为了克服有的人体运动捕获方法要求昂贵的设备，对环境要求比较严格和运动者不方便佩戴等不足，本发明提供一种新的人体运动捕获方法，该运动捕获方法对环境要求比较简单，而且能够准确快速的捕获到人体的3D动作。为实现上述目的，本发明采用的技术方案是:一种人体运动捕获方法，其步骤如下:1、摄像头的标定:将易于佩戴的简易标志固定在人体关节点，作为标记。两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果。2、人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像，测量人体关节各部位在世界坐标系中的3D坐标，最终对首帧图像中人体棍状模型初始化。3、人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹。本发明通过分析双目视频中的人体的2D舞蹈动作来恢复3D运动，完成自动的摄像机标定工作，使用易于佩戴的简易标志作为人体关节点标记，采用区域扩张法识别人体各个标记，通过聚类方法剔除冗余标记，自动完成首帧人体模型的初始化，并在后续帧中对人体关节点跟踪，通过目标跟踪方法在后续图像帧中，连续地获取关节部位信息。采用本发明的方法，可以准确快速的捕获到人体的3D舞蹈动作。本发明提供一种把易于佩戴的简易标志作为人体关节点的标记。一方面易于运动者的佩戴，不会限制到运动者的运动，能够随意的做出各种动作；另一方面易于佩戴的简易标志对外部的环境以及设备要求比较低，只须双目摄像头以及电脑即可完成，极大的降低了运动捕获的费用。而且本发明提供一种可以自动提取、匹配双目视频中的运动跟踪首帧图像，一方面省略了手动标定的步骤，实现了运动跟踪整体自动化、智能化；另一方面通过算法实现了在众多的首帧候选图像中找到一组最优的首帧图像。
图1是本发明的整体工作原理图。图2是本发明的整体程序流程原理图。图3是目标人体上标记点提取程序流程原理图。图4是标记点聚类程序流程原理图。图5是双目视频中首帧标记点匹配程序流程原理图。
图6是标记点跟踪程序流程原理图。
具体实施方式
如图1所示:一种人体运动捕获方法，其主要步骤如下:
1、摄像头的标定:将红色布条固定在人体关节点，作为标记。两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果。
2、人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像，测量人体关节各部位在世界坐标系中的3D坐标，最终对首帧图像中人体棍状模型初始化。
3、人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹。
如图2所示:本发明的具体流程是:
1、单目摄像机标定:在拍摄的视频中，手持标定板，根据视频中标定板的不同位姿选择至少三幅视频图像作为标定帧，计算摄像机的内外参数，存储标定结果，使用标定后的摄像机对已知目标进行双目测距并与其真实值进行对比，验证了标定结果的准确性。
2、双目摄像机的同步:针对不同的系统环境,使用DirectShow驱动摄像机,并同时打开两个摄像机进行拍摄，实现双目摄像机的同步工作。
3、双目摄像机标定:两台摄像机冋时拍摄，犾取标定巾贞，王要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行优化，获得精确的标定结果。
4、人体标记点提取:目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置。
5、标记点聚类:为了能够找到准确的标志点，运用加权和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。
6、标记点匹配:为了在双目视频中相同部位的标记进行匹配，分别在两幅图像中选取一个标记向量的起点，然后根据向量是不是相等或者是相似来识别其他的标志点。
7、人体各个关节点跟踪:通过双目视频中的首帧图像中得到的二维关节点信息和摄像头标定的结果计算出关节点的三维位置信息，利用3D kalman滤波器预测出关节点在下一帧的3D位置信息，将预测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹。
8、计算关节点三维信息:通过跟踪得到的每个关节点的二维位置信息和摄像机标定结果，反投影出各个关节点的三维信息。最后，通过人体各个关节点之间的约束关系，对得到的人体棍状模型进行校正处理。
如图3所示,给出了目标人体上的标记点提取的原理图。目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置。
具体的操作步骤:
1、首帧图像的选取。
( 1)选取视频中前N (根据情况选定)帧；(2)自动提取出每一帧中的标记点位置信息；(3)通过双目摄像头之间的位置信息对两组标记点进行匹配；(4)选择匹配误差最小的一组图像作为首帧图像。2、通过双目摄像机测量人体关节各部位在世界坐标系中的3D坐标。3、首帧图像中人体棍状模型初始化:分析首帧中人体各个关节点，为15个关节点编号，构造了人体棍棒模型，将测量到的3D坐标输入模型，并计算了人体各个关节点的欧拉角。其具体步骤是:步骤一:找到一个符合标记颜色信息的点，将这个点的坐标放入队列；步骤二:将已经找到的标记点从队列中取出，同时改变该点的颜色(设置为背景的颜色)，同时将该点相邻的八个方向中符合标记点颜色特征的点放入队列；步骤三:重复过程(2)，直到队列为空，则结束当前区域的查找过程，取当前区域的X方向和Y方向的平均值作为该区域的中心。步骤四:重新回到(I)执行，直到找到图像中的全部符合标记点的区域为止，并且将相应的区域中的点的个数和区域的中心点存储起来。如图4所示，给出了标记点聚类的原理图。由于光照等外界的影响，可能使得标记在不同的角度呈现出不同的颜色。这样就可能出现了同一个标记上会标出大于一个的标志点，显然，这样的标志点是错误的。为了能够找到唯一的、比较精确的标志点，运用加权思想和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。具体通过区域的中心点以及区域中像素点的个数来求得标记区域中心点的过程如下。假设，区域I (XI，Yl)(其中，区域中像素的个数为counterl)，和区域2 (X2，Y2)(其中，区域中像素的个数为counted)需要聚类合并在一起，那么，我们通过下面的计算得到聚类的中心(X，Y)。
权利要求
1.一种人体运动捕获方法，其步骤如下: (1)摄像头的标定:将易于佩戴的简易标志固定在人体关节点，作为标记，两台摄像机同时拍摄，获取标定帧，计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行了优化，获得精确的标定结果； (2)人体模型初始化:首先选择匹配误差最小的一组图像作为首帧图像，测量人体关节各部位在世界坐标系中的3D坐标，最终对首帧图像中人体棍状模型初始化； (3)人体关节点跟踪:测出的3D位置投影到双目摄像头所对应的图像上，结合预测出的关节点的位置信息和实际过程中提取的关节点的位置信息进行关节点的跟踪，从而获取各个关节点在视频中的运动轨迹。
2.如权利要求1所述的一种人体运动捕获方法，其特征在于:所述的摄像头的标定具体包括以下步骤: (1)单目摄像机标定:在拍摄的视频中，手持标定板，根据视频中标定板的不同位姿选择至少三幅视频图像作为标定帧，计算摄像机的内外参数，存储标定结果； (2)双目摄像机的同步:使用DirectShow驱动摄像机,并同时打开两个摄像机进行拍摄，实现双目摄像机的同步工作； (3)双目摄像机标定:两台摄像机同时拍摄，获取标定帧，主要计算了双目摄像机之间的相对旋转与平移关系，并对单目摄像机标定的结果进行优化，获得精确的标定结果。
3.如权利要求1所述的一种人体运动捕获方法，其特征在于:所述的人体模型初始化具体包括以下步骤: (1)人体标记点提取:目标人体上标志点的提取是通过识别颜色将标记的中心位置信息提取的，采用区域生长的方法分割出运动人体上的标记，从而求得标记的中心位置； (2)标记点聚类:为了能够找到准确的标志点，运用加权和层次聚类相结合的方法对图像中找到的标记区域进行聚类处理。
(3)标记点匹配:为了在双目视频中相同部位的标记进行匹配，分别在两幅图像中选取一个标记向量的起点，然后根据向量是不是相等或者是相似来识别其他的标志点。
4.如权利要求1所述的一种人体运动捕获方法，其特征在于:所述的易于佩戴的简易标志为红色布条。
全文摘要
本发明公开了一种人体运动捕获方法，通过分析双目视频中的人体的2D舞蹈动作来恢复3D运动，完成自动的摄像机标定工作，使用易于佩戴的简易标志作为人体关节点标记，采用区域扩张法识别人体各个标记，通过聚类方法剔除冗余标记，自动完成首帧人体模型的初始化，并在后续帧中对人体关节点跟踪。该系统包括摄像机标定，确定摄像机的内外参数，用于计算双目视频中人体动作信息；人体图像初始化，用于在初始帧图像中确定人体各个关节部位的位置信息；关节点跟踪，通过目标跟踪方法在后续图像帧中，连续地获取关节部位信息。采用本发明的系统和方法，可以准确快速的捕获到人体的3D舞蹈动作。
文档编号G06T7/20GK103198492SQ20131010600
公开日2013年7月10日 申请日期2013年3月28日 优先权日2013年3月28日
发明者石祥滨, 刘芳, 代钦, 张楠, 毕静, 张德元, 朱艳梅, 张劲松 申请人:沈阳航空航天大学