专利名称：基于多视角的深度相机的无标记动作捕捉方法及装置的制作方法
技术领域：
本发明涉及计算机视觉领域，特别涉及一种基于多视角的深度相机的无标记动作捕捉方法及装置。
背景技术：
人体运动捕捉是计算机视觉中的重点以及难点问题。准确鲁棒的运动捕捉算法在电影制作、电视转播、机器人控制等方面有着广泛应用。运动捕捉一般可以分为有标记和无标记两类方法。其中有标记运动捕捉是指演员要穿着带有特殊标志物的服装进行表演，算法通过对这些标志物的识别，实时的获取演员的动作参数。这种方法准 确性高，算法复杂度小，已经被广泛的应用于商业电影的制作过程中。但这种方法中演员必须穿着笨重的紧身道具服进行表演，而且该方法也很难应用于摄影棚外真实场景的拍摄环境。为了解决上述不足，无标记动作捕捉技术逐渐成为近年本领域研究热点。现有的无标记运动捕捉技术一般指表演者穿着日常普通服装，在一间绿幕布摄影棚内进行表演，由设在其中的多相机系统采集其动作，由特定的算法对采集的多视角视频序列进行运动跟踪。这种方法突破了有标记运动捕捉方法必须穿着带有标记点服装进行采集的不足，但仍然离不开绿幕布的使用，无法适用于一般场景的拍摄。深度相机是近年来逐渐开始普及的感知三维世界的新方式，对于环境中的每个点，深度相机不但可以返回其颜色信息，还可以返回该点距离深度相机光心平面的垂直距离。这一开创性的技术发明为一般场景的无标记运动捕捉技术提供了可能性。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉方法。本发明的另一目的在于提出一种无需标记设备、追踪结果更优鲁棒的基于多视角的深度相机的无标记动作捕捉装置。为了实现上述目的，根据本发明的基于多视角的深度相机的无标记动作捕捉方法包括以下步骤A.对所述多视角的深度相机进行标定，得到标定参数；B.通过所述多视角的深度相机采集深度图和彩色图；C.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；D.根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；E.根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。在本发明的一个实施例中，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。在本发明的一个实施例中，根据下列计算公式进行三维空间变换得到所述点云集合P = R-1 (K-1OjLdO, j))T — Tc).其中P为所述点云集合中的三维点云点，(i，j)为所述
深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。
在本发明的一个实施例中,所述将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配进一步包括遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计
算公式为:S(V, P) =cN),产^ * 产，其中，N(V)、N(P)分
别表不表面网格点V和三维点云点P的法向信息值，O N表不两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O。表不颜色分布归一化阈值，X (V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。在本发明的一个实施例中，所述人体模型符合骨架驱动表面规律，即满足所述骨
架驱动表面规律的定义公式= n|Uexp(0j《j) V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。在本发明的一个实施例中，所述根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果包括根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函数MgxminEiWiIITxVi - P1II得到最优化的关节转角X，即得到追踪结果。在本发明的一个实施例中，还包括步骤对所述人体模型进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为aTinCIIlv — 5Il2 +入丨丨cv — q丨丨2}，其中11LV- s 112为拉普拉斯坐标系表面几何约束，
CV-q I2为运动约束，入为表面网格变形权重。根据本发明实施例的基于多视角的深度相机的无标记动作捕捉方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、算法运行速度快、系统成本低的优点。为了实现上述目的，根据本发明的基于多视角的深度相机的无标记动作捕捉方法装置以下部分多视角的深度相机，用于采集深度图和彩色图；标定模块，用于对所述多视角的深度相机进行标定，得到标定参数；点云转换模块，用于根据所述标定参数和所述深度图，进行三维空间变换得到点云集合；匹配模块，用于根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；运动捕捉模块，用于根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。在本发明的一个实施例中，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。在本发明的一个实施例中，根据下列计算公式进行三维空间变换得到所述点云集合P = R-1- 7ic)，其中P为所述点云集合中的三维点云点，(i，j)为所述
深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。在本发明的一个实施例中，在所述匹配模块中遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计算公式为[_] S(V,P) = max(N(V)N(P),，其中，麵、應分别
表不表面网格点V和三维点云点P的法向信息值，O N表不两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O c表不颜色分布归一化阈值，X(V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。在本发明的一个实施例中，所述人体模型符合骨架驱动表面规律，即满足所述骨架驱动表面规律的定义公式TXV = []^哪(；0而)V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。 在本发明的一个实施例中，在所述运动追踪模块中，联合所述人体骨架驱动表面模型的定义公式，根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函^arTnSiWiHTxVi - P1Ih得到最优化的关节转角X，即得到追踪结果。在本发明的一个实施例中，还包括优化模块，所述优化模块用于对所述人体模型 进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为I Ilv-S 112为拉普拉斯坐标系表面几何约束，I |cv-q| I2为运动约束，入为表面网格变形权重。根据本发明实施例的基于多视角的深度相机的无标记动作捕捉装置，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、算法运行速度快、系统成本低的优点。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图I是根据本发明一个实施例的基于多视角的深度相机的无标记动作捕捉方法的流程图；图2是根据本发明另一个实施例的基于多视角的深度相机的无标记动作捕捉方法的流程图；图3是根据本发明一个实施例的基于多视角的深度相机的无标记动作捕捉装置的结构框图；以及图4是根据本发明另一个实施例的基于多视角的深度相机的无标记动作捕捉装置的结构框图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。下面参考附图描述根据本发明实施例的基于多视角的深度相机的无标记动作捕捉方法及装置。图I是根据本发明一个实施例的基于多视角的深度相机的无标记动作捕捉方法的流程图。如图I所示，该方法包括下述步骤步骤S101，对多视角的深度相机进行标定，得到标定参数。具体地，本发明采用了多台不同视角的深度相机，首先需要对这些深度相机的参数进行标定。在本发明的一个实施例中，定义对于相机C，标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。其中，内参数矩阵反映该深度相机的一些基本性质(相机焦距、主点位置等)，通常采用棋盘格标定方法对深度相机进行内参标定。外参数矩阵反映相机在世界坐标系下的位置与姿态。步骤S102，通过多视角的深度相机采集深度图和彩色图。具体地，多台不同视角的深度相机获得深度视频和彩色视频，在具体运算操作中，将连续的视频分解为多帧沿时间轴排列的深度图和彩色图，逐一进行运动捕捉。步骤S103，根据标定参数和深度图，进行三维空间变换得到点云集合。具体地，对于将深度图上的像素点，可以将该像素点的坐标信息、该像素点的深度值信息以及相机的标定参数相结合，变换得到一个三维空间点。从而，对多张深度图进行变换并融合，最终得到一个整体的点云集合。在本发明的一个实施例中，根据下列计算公式进行三维空间变换得到点云集合；
权利要求
1.一种基于多视角的深度相机的无标记动作捕捉方法，其特征在于，包括以下步骤 A.对所述多视角的深度相机进行标定，得到标定参数； B.通过所述多视角的深度相机采集深度图和彩色图； C.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合； D.根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果； E.根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。
2.如权利要求I所述的基于多视角的深度相机的无标记动作捕捉方法，其特征在于，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。
3.如权利要求2所述的基于多台深度相机的无标记动作捕捉方法，其特征在于，根据下列计算公式进行三维空间变换得到所述点云集合P = Rc1 (KdiJ.dG, j))T - 7；),其中P为所述点云集合中的三维点云点，(i，j)为所述深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。
4.如权利要求3所述的基于多视角的深度相机的无标记动作捕捉方法，其特征在于，所述将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配进一步包括遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计算公式为 其中，麵、N(P)分别表示表面网格点V和三维点云点P的法向信息值，0,表示两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O。表不颜色分布归一化阈值，X (V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。
5.如权利要求4所述的基于多视角的深度相机的无标记动作捕捉方法，其特征在于，所述人体模型符合骨架驱动表面规律，即满足所述骨架驱动表面规律的定义公式TxV = njLoexp(0i^) V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。
6.如权利要求5所述的基于多视角的深度相机的无标记动作捕捉方法，其特征在于，所述根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果包括根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函WiHTxVi-P1II-H到最优化的关节转角X，即得到追踪结果。
7.如权利要求6所述的基于多视角的深度相机的无标记动作捕捉方法，其特征在于，还包括步骤对所述人体模型进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为严^inIIILV-6丨|2+A丨丨CV-q||2]、其中LV-6 I I2为拉普拉斯坐标系表面几何约束，I CV-q I2为运动约束，A为表面网格变形权重。
8.一种基于多视角的深度相机的无标记动作捕捉装置，其特征在于，包括以下部分 多视角的深度相机，用于采集深度图和彩色图；标定模块，用于对所述多视角的深度相机进行标定，得到标定参数； 点云转换模块，用于.根据所述标定参数和所述深度图，进行三维空间变换得到点云集合; 匹配模块，用于根据所述深度图和彩色图中的信息，将所述点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果； 运动捕捉模块，用于根据所述匹配结果，通过优化能量函数进行运动捕捉，得到追踪结果。
9.如权利要求8所述的基于多视角的深度相机的无标记动作捕捉装置，其特征在于，所述标定参数包括内参矩阵Kc、旋转矩阵Re和平移向量Tc。
10.如权利要求9所述的基于多台深度相机的无标记动作捕捉装置，其特征在于，根据下列计算公式进行三维空间变换得到所述点云集合P = Rc1 (K-1OJlCiaj))7 - 其中P为所述点云集合中的三维点云点，(i，j)为所述深度图中的像素点，i、j表示所述像素点的坐标，d(i，j)表示所述像素点(i，j)的深度值。
11.如权利要求10所述的基于多视角的深度相机的无标记动作捕捉装置，其特征在于，在所述匹配模块中 遍历地计算所述三维点云点P与各个表面网格点V的匹配度量函数S (V，P)，并选取所述度量函数最大值的所述V点作为与所述P点匹配成功的点，其中，所述度量函数的计算公式为娜P) = maX(N(V)M(P), aN) **产与^其中，麵、N(P)分别表示表面网格点V和三维点云点P的法向信息值，0,表示两法向内积阈值，C(V)、C(P)分别表不表面网格点V和三维点云点P的颜色信息值，O C；表不颜色分布归一化阈值，X (V)、X(P)分别表不表面网格点V和三维点云点P的位置信息值，O x表不距离分布归一化阈值。
12.如权利要求11所述的基于多视角的深度相机的无标记动作捕捉装置，其特征在于，所述人体模型符合骨架驱动表面规律，即满足所述骨架驱动表面规律的定义公式TxV = n|Lo exp(e^j) V，其中V为表面网格点，TxV为表面网格点在关节转角X下变形Tx得到的目标位置，j为关节，叫^为关节旋转参数。
13.如权利要求12所述的基于多视角的深度相机的无标记动作捕捉装置，其特征在于，在所述运动追踪模块中，联合所述人体骨架驱动表面模型的定义公式，根据所述匹配结果，结合所述骨架驱动表面规律的定义公式，求解能量函数aTin Ei Wi丨丨Tx Vi -削，得到最优化的关节转角X，即得到追踪结果。
14.如权利要求13所述的基于多视角的深度相机的无标记动作捕捉装置，其特征在于，还包括优化模块，所述优化模块用于对所述人体模型进行拉普拉斯表面变形，以使所述追踪结果更接近实际情况，其中，所述拉普拉斯表面变形的计算公式为argfn(HLV — 5II2 + ^IIcv- qll2)'其中11 Lv- s 112为拉普拉斯坐标系表面几何约束，CV-q I2为运动约束，入为表面网格变形权重。
全文摘要
本发明提出一种基于多视角的深度相机的无标记动作捕捉方法及装置，该方法包括步骤对多视角的深度相机进行标定，得到标定参数；通过多视角的深度相机采集深度图和彩色图；根据标定参数和深度图，进行三维空间变换得到点云集合；根据深度图和彩色图中的信息，将点云集合中的每一个三维点云点P与人体模型上的每一个表面网格点V进行匹配，得到匹配结果；根据匹配结果，按照人体骨架驱动表面模型进行运动捕捉，得到追踪结果。根据本发明实施例的方法，无需借助笨重的标志物，能够更加灵活便捷地进行运动捕捉，具有运动参数准确鲁棒、表面网格模型复原程度高、算法运行速度快、系统成本低的优点。
文档编号G06T7/20GK102800103SQ201210207809
公开日2012年11月28日 申请日期2012年6月18日 优先权日2012年6月18日
发明者刘烨斌, 叶亘之, 戴琼海 申请人:清华大学