专利名称：基于单目摄像机和多平面镜折反射装置的运动捕捉方法
技术领域：
本发明提供了一种新型的运动捕捉方法，具体涉及一种基于单目摄像机和多平面 镜折反射装置的运动捕捉方法。
背景技术：
运动捕捉技术涉及尺寸测量、物理空间里物体的定位及方位测定等方面可以由计 算机直接理解处理的数据。在运动物体的关键部位设置跟踪器，由运动捕捉系统捕捉跟踪 器位置，再经过计算机处理后向用户提供可以在动画制作中应用的数据。当数据被计算机 识别后，动画师即可以在计算机产生的镜头中调整、控制运动的物体。运动捕捉技术的出现可以追溯到二十世纪七十年代末，当时迪士尼公司为了提高 动画角色的动作质量而提出的这一方法，后因效果不理想而放弃。此后，运动捕捉技术吸引 了越来越多研究人员和开发商的目光，并从实验性研究逐步走向了实用化和商业化。随着 计算机软硬件技术的飞速发展，目前在发达国家，运动捕捉已经得到广泛的应用，成功地应 用于影视特效、动画制作、虚拟现实、游戏、人体工程学、模拟训练、生物力学研究等许多方目前的运动捕捉系统，为了提高系统的稳定性同时获得精确的捕捉数据，大多数 都采用由光学式运动捕捉和高速拍照摄像机阵列组成的运动捕捉系统，这样，为了保证系 统获得的运动捕捉的数据的稳定和准确，就不可避免的会遇到多相机标定和立体匹配这两 个经典难题，同时还要解决多台相机同步采集的难题，这也在很大程度上关系到结果的鲁 棒性和准确性。
发明内容
本发明的目的是在传统运动捕捉系统的基础上提出的一种更简单易用，可扩展性 更强，更易于推广的基于单目摄像机和多平面镜折反射装置的运动捕捉方法；旨在解决传 统运动捕捉系统中由于使用了摄像机阵列而引起的多相机标定和同步控制的难题，进而提 高获取的标志点匹配的精度，从而提高对标志点三维重建的准确性和系统的稳定性。为实现这一目的，首先利用多平面镜和单目摄像机，搭建数据采集系统，调整真实 摄像机的拍摄角度和光圈，对拍摄区域的运动物体进行数据采集。采用阈值法取得标志点， 应用区域填空法得到标志点的中心位置，对得到的标志点进行三维重建，利用极线约束进 行对应点的匹配，采取歧义性最小的摄像机组合对标志点进行三维重建，可以在最大程度 上保证系统的稳定性。最后，将处理得到的标志点运动轨迹与三维模型相结合，进行运动编 辑。本发明的技术方案如下(流程参见图1)一种运动捕捉方法，其特征在于，-该方法利用一台单目摄像机和一个由多平面镜折反射装置进行图像捕捉；_捕捉方法如下
4
A.数据预处理阶段，包括三个步骤1)图像数据采集，计算镜面夹角。用摄像机以30° 100°的俯角拍摄照片，在同 一张照片中同时获取不同视点的场景，选取不同场景中的对应点，计算场景中平面镜的夹 角；2)标定真实摄像机。选取不同场景中对应的点，对真实的摄像机进行内外参数的 标定；3)标定虚拟摄像机。真实的摄像机与虚拟摄像机之间有如下几何关系X2+Y2+Z2 = R2其中，(X，Y，Ζ)是真实相机和虚拟相机光心的世界坐标，R为正数，是光心到镜面 交线的距离，亦即全局比例因子。由于所有场景中只有唯一一台真实相机，所以每台相机的 内参数都相同，亦即真实相机的内参数，同时利用以上公式体现的真实相机和虚拟相机之 间的关系，就可以方便地获取每台相机的外参数，记录每台相机的内外参数；B.标识点的跟踪和获取阶段，包括一个步骤4)采集运动场景数据并处理。利用光学式运动捕捉技术对运动物体进行运动轨迹 的数据采集，抽取每个视点场景中的对应点数据，获取标识点的中心坐标；C.三维重建和运动数据编辑阶段，包括两个步骤5)恢复标识点的三维坐标。将每个试点场景进行对应点数据的配准，根据标定的 摄像机参数，恢复数据点的三维坐标并记录；6)运动数据编辑。由于人体的骨骼结构在本质上是结构化的，所以，对应人体骨骼 的树形结构，选择盆骨的位置为树根，将运动捕捉数据结构化。建立树形结构之后，整个运 动捕捉数据的描述就比较简单了，而且一些基本的约束可以隐含在结构中，无须显式的表 达。提取运动捕捉数据的关键帧，驱动三维模型。其中，所述多平面镜折反射装置由两面平面镜组成；两平面镜镜面相对，俯视成 “V”字摆放。本发明的有益效果本发明采用单目摄像机，同时充分利用多平面镜间的折反射 关系，彻底解决了传统的运动捕捉系统中由于使用摄像机阵列而面临的多相机标定的难题 以及同步控制的问题，从而达到了提高标志点三维恢复精度和系统稳定性的目的；同时大 大降低了系统的成本，系统具备良好的可扩展性，使运动捕捉变得简单易行。
图1为本发明的系统流程图；图2为本发明的装置结构示意图；图3为实施例中的数据样图。
具体实施方案为了更好的理解本发明的技术方案，以下结合附图做进一步的详细说明。由图1的系统流程图可以看出系统的整个处理过程由三个阶段组成数据预处 理、标识点的跟踪和获取、三维重建和运动数据编辑。1、数据预处理
5
该阶段包括步骤1)图像数据采集，计算镜面夹角——图3为数据样图，步骤2) 标定真实摄像机和步骤3)标定虚拟摄像机，还有为了保证系统的实时性而进行的背景建 模。由于本发明的硬件采集系统是由单目摄像机和多平面镜组成——如图2，故而不 必考虑相机阵列中涉及的同步控制采集图像的问题，可以直接采集运动场景的数据。然后 利用 X. Ying，K. Peng, R.Ren，H. Zha，“Geometric Properties of Multiple Reflections in Catadioptric Camera with TwoPlanar Mirrors，，，to appear in I Proc. EEE Int. Conf. on Computer Vision and Pattern Recognition(CVPR* 10),San Francisco，CA，USA，June 13-18,2010方法，对摄像机进行内外参数标定，对背景进行建模，以便保证系统的实时性。2、标识点的跟踪和获取本阶段包括步骤4)采集运动场景数据并处理。标志点的跟踪和获取的方法是首 先用获取的图像序列和背景图像相减，得到前景；再利用阈值的方法获取标识点，再用区域 填空的方法得到标识点的中心位置。本发明利用国际上流行的多高斯或单高斯分布对每一 个像素进行建模，同时用获取的图像序列实时地更新背景图像。考虑到系统的实时性，背景 建模已经在数据预处理阶段完成。具体做法如下本发明的光源系统采用主动发光的LED灯，将符合要求亮度的LED灯粘贴到被实 验者的衣服上，对实验实的光照环境进行适当的布置，使之满足实验要求的光照条件。相机 亮度调整到一定的亮度范围(低亮度)，相机拍摄到的场景图像中只显示标志点。这将大大 降低标志点的检测难度，。图像中需要检测的像素个数与标志点的个数成正比。鉴于以上 原因，本发明采用简单的阈值法和区域生长算法来求取标志点的区域。经过实验验证该方法简单、有效、快速、实用，对相机的帧率影响较小。程序流程1)设定标志点的阈值。2)将超过阈值的点进行区域生长，生成不同的区域。3)求取每个区域的(X，y)坐标的均值作为标志点的中心位置。3、三维重建和运动数据编辑本阶段包括步骤5)恢复标识点的三维坐标和步骤6)运动数据编辑。当一个标志 点被至少两台摄像机同时拍摄到时，这个标志点的三维位置将是唯一确定的。目前，国际上 绑定的优化方法是基于两台摄像机的。本发明采用的方法是当一个标志点仅仅在两个视 点场景中出现时，将用传统的方法来重建它；当一个标志点出现在至少三个视点场景中时， 选用三个歧义性最小、可靠性最高的视点场景来重建它。这里的歧义性最小是指该标志点 在三个视点场景中为同一个标志点的概率最大。该方法有效的解决了歧义性影响系统稳定 性的问题。另一方面，图像匹配一直是视觉领域的经典难题，本发明中，由于获取的图像内容 比较简单，并且由于使用平面镜的关系，不同视点的场景之间的几何关系很容易根据平面 镜之间的位置关系确定，所以，本发明只采用了极线约束的方法进行点的匹配。将处理后的运动数据与人体骨骼对应起来，由于人体的骨骼结构在本质上是结构 化的，所以，对应人体骨骼的树形结构，选择盆骨的位置为树根，将运动捕捉数据结构化。建
6立树形结构之后，整个运动捕捉数据的描述就比较简单了，而且一些基本的约束可以隐含 在结构中，无须显式的表达。使用优化的聚类方法提取运动捕捉数据的关键帧，驱动三维模 型。使用本发明提出的运动捕捉系统，可以利用数据本身的特征自动标定摄像机，由 于没有使用摄像机阵列，从根本上解决了多相机标定的重大难题和同步控制的问题，大大 提高了数据对应点的匹配精度，使提取的运动轨迹更加准确。另外本方法在很大程度上解 决了运动人体自遮挡的问题，利用其中几个点的信息可以估计并恢复出在遮挡位置该点的 信息。本系统的提出使运动捕捉变得更加稳定可靠、简单易用。需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技 术人员可以理解在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是 可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求 书界定的范围为准。
权利要求
一种运动捕捉方法，其特征在于， 该方法利用一台单目摄像机和一个由多平面镜折反射装置进行图像捕捉； 捕捉方法如下A.数据预处理阶段，包括三个步骤1)图像数据采集，计算镜面夹角；2)标定真实摄像机；3)标定虚拟摄像机；B.标识点的跟踪和获取阶段，包括一个步骤4)采集运动场景数据并处理；C.三维重建和运动数据编辑阶段，包括两个步骤5)恢复标识点的三维坐标；6)运动数据编辑。
2.如权利要求1所述的方法，其特征在于，所述多平面镜折反射装置由两面平面镜组 成；两平面镜镜面相对，俯视成“V”字摆放。
3.如权利要求1所述的方法，其特征在于，所述步骤1)的实现方法为用摄像机以 30° 100°的俯角拍摄照片，在同一张照片中同时获取不同视点的场景，选取不同场景中 的对应点，计算场景中平面镜的夹角。
4.如权利要求3所述的方法，其特征在于，所述步骤2)的实现方法为选取不同场景 中对应的点，对真实的摄像机进行内外参数的标定。
5.如权利要求4所述的方法，其特征在于，所述步骤3)的实现方法为真实的摄像机与虚拟摄像机之间有如下几何关系X2+Y2+Z2 = R2其中，(X，Y，ζ)是真实相机和虚拟相机光心的世界坐标；R为正数，是光心到镜面交线 的距离；每台相机的内参数都等于真实相机的内参数，利用上面公式求出每台相机的外参 数；记录每台相机的内外参数。
6.如权利要求5所述的方法，其特征在于，所述步骤4)的实现方法为利用光学式运 动捕捉技术对运动物体进行运动轨迹的数据采集，抽取每个视点场景中的对应点数据，获 取标识点的中心坐标。
7.如权利要求6所述的方法，其特征在于，所述步骤5)的实现方法为将每个试点场 景进行对应点数据的配准，根据标定的摄像机参数，恢复数据点的三维坐标并记录。
8.如权利要求7所述的方法，其特征在于，所述步骤6)的实现方法为对应人体骨骼 的树形结构，选择盆骨的位置为树根，将运动捕捉数据结构化；提取运动捕捉数据的关键 帧，驱动三维模型。
9.如权利要求1所述的方法，其特征在于，在数据预处理阶段还包括为了保证系统的 实时性而进行的背景建模步骤。
10.如权利要求1所述的方法，其特征在于，利用阈值法和区域生长算法来求取标志点 的区域，方法如下a)设定标志点的阈值；b)将超过阈值的点进行区域生长，生成不同的区域；c)求取每个区域的(x，y)坐标的均值作为标志点的中心位置。
全文摘要
本发明提供了一种基于单目摄像机和多平面镜折反射装置的新型运动捕捉方法。利用多平面镜和单目摄像机，对拍摄区域的运动物体进行数据采集；采用阈值法取得标志点，对标志点进行三维重建；最后，将处理得到的标志点运动轨迹与三维模型相结合，进行运动编辑。本发明采用单目摄像机，同时充分利用多平面镜间的折反射关系，彻底解决了传统的运动捕捉系统中由于使用摄像机阵列而面临的多相机标定的难题以及同步控制的问题，从而达到了提高标志点三维恢复精度和系统稳定性的目的；同时大大降低了系统的成本，系统具备良好的可扩展性，使运动捕捉变得简单易行。
文档编号G06T17/00GK101930628SQ20101028890
公开日2010年12月29日 申请日期2010年9月21日 优先权日2010年9月21日
发明者任仁, 侯璐璐, 别怀伟, 彭琨, 查红彬, 英向华 申请人:北京大学