一种面向任意姿态的三维人体姿态模型匹配方法
【技术领域】
[0001] 本发明涉及电子信息学科学领域，特别涉及一种面向任意姿态的三维人体姿态模 型匹配方法。
【背景技术】
[0002] 人体的三维姿态估计是人体运动分析领域的研宄热点。人体三维姿态数据在动 画、游戏、体育、医疗等领域具有广泛的应用。
[0003] 当前，获得人体三维姿态的方法主要有基于光学、机械或电磁的动作捕捉技术或 基于Kinect等深度摄像机的姿态跟踪技术。前者需要购置昂贵的动作捕捉设备，代价高且 应用时需要人体对象穿戴特定的触点设备，不够方便；后者也需要深度摄像机，但一般只能 对有限距离的人体对象进行较粗糙的姿态跟踪。在计算机视觉领域，一种获得人体三维姿 态的方法的是采用人体模型，使得人体模型与图像序列中人体成像相匹配，以估计出三维 人体姿态；这种基于模型的人体姿态估计方法具有的重要意义是无需对人体对象进行接触 式测量，仅仅依靠无接触的图像数据，具备代价小、较为便捷等特点。
[0004] 基于模型的三维人体姿态估计一般需要解决的重要问题是，如何将人体模型与初 始的人体姿态相匹配，使得后续姿态跟踪得以进行。姿态初始化一般需要解决两个问题： (1)初始姿态估计，即估计出人体对象的初始姿态，姿态参数一般包括人体各肢体关节角 度、驱干位移、旋转角度等；（2)人体尺寸估计，即估计出人体各肢体的三维尺寸，以使得人 体模型与人体对象匹配上。初始姿态估计和尺寸估计是后续姿态跟踪的基础。一种常用的 姿态初始化方法是要求人体对象以特定姿势（如以"T"字型站立）作为初始的姿态，以省 去姿态估计；这种方法虽然简单，但比较笨拙，且无法应用于对于人体对象初始图像数据丢 失或要求人体对象以某种姿态呈现的场合。因此，需要一种可以对任意姿态的人体对象进 行准确的三维人体模型匹配，以达到更灵活、鲁棒的姿态初始化效果。
【发明内容】
[0005] 本发明的目的是针对上述已有技术的不足，提出一种实用性强、鲁棒性好的面向 任意姿态的三维人体姿态模型匹配方法。
[0006] 本发明的技术方案是：
[0007] -种面向任意姿态的三维人体姿态模型匹配方法，包括以下步骤：
[0008] SI.针对以任意姿态站立的人体对象，采取扫描或者三维重建的方法，获得人体对 象的三维人体形体数据；
[0009] S2.按照正常人体的标准比例数据，设计一种尺寸、姿态可调的三维虚拟人体模 型，所述三维虚拟人体模型通过改变尺寸和姿态参数能够适应于不同身材比例并且能以各 种姿态呈现的人体形体；
[0010] S3.将三维虚拟人体模型准确的匹配到重建出的三维人体形体数据上，使得三维 虚拟人体模型以相同的姿态和相近的形体尺寸呈现。
[0011] 优选地，在步骤Si中，所述三维人体形体数据以点云、体块或/和多边形表皮的任 意组合形式存在。
[0012] 优选地，在步骤Sl中，所述扫描的方法是指采取基于激光或光学照相等技术的三 维扫描设备，在要求人体在指定的扫描空间内保持静止状态，通过光学测量的方法获取人 体对象表面点云数据。
[0013] 优选地，在步骤Sl中，所述三维重建方法是指采取计算机视觉领域的立体成像或 Shape-from-SiIhouette技术，重建出人体对象点云或体块数据，通过对点云或体块数据， 采取表皮化处理得到多边形表皮的三维形体形式。
[0014] 优选地，在步骤S2中，所述三维虚拟人体模型为包括头、上身、左右上肢、左右下 肢的基于一桶状模型；其中桶状模型由5个参数描述 ：（1，1>1^，〇,，〇13);其中1指模型高度， (rt，rb)指上下圆形面的半径长，（〇t，〇b)指轴线两端点离上下圆形面的距离。
[0015] 优选地，在步骤S3中，基于模型的姿态和尺寸估计方法的具体步骤为：
[0016] S31、采用分等级优化的方法，先后对上身、左右下肢、左右上肢、头部进行匹配，具 体过程如下：首先对躯干的位置和方位参数进行估计，包括三个位置和三个旋转参数；然 后对头部、大腿和上臂关节参数进行估计；最后对小腿和下臂的关节参数进行估计；
[0017] S32、对整个人体姿态参数进行局部修正。
[0018] 优选地，在步骤S31中，具体的步骤为，包括对人体躯干的位置（Xtl,Ytl,Ztl)和方位 外，估计、以及对人体某部分匹配时，采用迭代优化的方法，
[0019]其中躯干的位置（Xtl,y(l，Ztl)和方位(成,妁，估计采用如下方法：
[0020] al、对重建的人体点云通过切片的方法检测得到躯干部位对应的点云集合；所谓 切片方法是指以一定的采样间隔获取三维点云在垂直于躯干平面（或竖直平面）上的点集 合；
[0021] bl、计算所找到的点云集合的重心位置(叉孓F):
【主权项】
1. 一种面向任意姿态的三维人体姿态模型匹配方法，其特征在于，包括以下步骤：
51. 针对以任意姿态站立的人体对象，采取扫描或者三维重建的方法，获得人体对象的 三维人体形体数据；
52. 按照正常人体的标准比例数据，设计一种尺寸、姿态可调的三维虚拟人体模型，所 述三维虚拟人体模型通过改变尺寸和姿态参数能够适应于不同身材比例并且能以各种姿 态呈现的人体形体；
53. 将三维虚拟人体模型准确的匹配到重建出的三维人体形体数据上，使得三维虚拟 人体模型以相同的姿态和相近的形体尺寸呈现。
2. 根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于， 在步骤S1中，所述三维人体形体数据以点云、体块或/和多边形表皮的组合形式存在。
3. 根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于， 在步骤S1中，所述扫描的方法是指采取基于激光或光学照相技术的三维扫描设备，在要求 人体在指定的扫描空间内保持静止状态，通过光学测量的方法获取人体对象表面点云数 据。
4.根据权利要求1所述的面向任意姿态的三维人体姿态模型匹配方法，其特 征在于，在步骤S1中，所述三维重建方法是指采取计算机视觉领域的立体成像或 Shape-from-Silhouette技术，重建出人体对象点云或体块数据，通过对点云或体块数据， 采取表皮化处理得到多边形表皮的三维形体形式。
5.根据权利要求1至4中任意一项所述的面向任意姿态的三维人体姿态模型匹配方 法，其特征在于，在步骤S2中，所述三维虚拟人体模型为包括头、上身、左右上肢、左右下肢 的基于一桶状模型；其中桶状模型由5个参数描述：（l，rt，rb，〇t，〇b);其中1指模型高度， (rt，rb)指上下圆形面的半径长，（〇t，〇b)指轴线两端点离上下圆形面的距离。
6.根据权利要求1至4中任意一项所述的面向任意姿态的三维人体姿态模型匹配方 法，其特征在于，在步骤S3中，基于模型的姿态和尺寸估计方法的具体步骤为： 531、 采用分等级优化的方法，先后对上身、左右下肢、左右上肢、头部进行匹配，具体过 程如下：首先对躯干的位置和方位参数进行估计，包括三个位置和三个旋转参数；然后对 头部、大腿和上臂关节参数进行估计；最后对小腿和下臂的关节参数进行估计； 532、 对整个人体姿态参数进行局部修正。
7.根据权利要求6所述的面向任意姿态的三维人体姿态模型匹配方法，其特征在于， 在步骤S31中，具体的步骤为，包括对人体躯干的位置（Xd, zj和方位(成，怀，6*。)估计、以 及对人体某部分匹配时，采用迭代优化的方法， 其中躯干的位置（X&y(l，zj和方位砵)估计采用如下方法： al、对重建的人体点云通过切片的方法检测得到躯干部位对应的点云集合； bl、计算所找到的点云集合的重心位置
cl、设为（Xd,yd,Zd)的初始值，进行位置（Xd,yd,Zd)和方位(為，p。，参数 和躯干部位的尺寸估计，具体步骤为：首先保持以(T，.?，匀初始值和尺寸参 数不变，采用基于粒子群优化方法使得残差最小，得到（沁'《）；然后保持尤《）和 尺寸参数不变，继续进行残差优化估计得到（x'py'i，。i);之后保持和 (?py'dZ'i)不变，估计得到新的尺寸参数；如此往复，直到各参数数值稳定； 其中对人体某部分匹配时，采用迭代优化的方法，具体为： a) 固定模型尺寸参数，设前一级的匹配姿态结果作为初始姿态，随机采样一部分模型 表皮点作为匹配点；假设随机获得的模型点集合为Mn={pn;i |i=1，2,…，mn}，其中pn;i为 身体部分n的随机模型点，mn为身体部分n的采样点个数； b)对任意随机模型点，找到对应的最近距离的重建三维点，以所有点对应的距离之和 作为残差；即求解如下方程：
其中为找到的对应于Pn;i的最近三维重建点； c) 采用基于粒子群优化的全局搜索算法进行迭代优化，使得残差值趋近于最小的稳定 值；为使得优化可收敛，引入以下权重约束：
上式中A(k)为以k(k>1)为变量的权重函数，k越大，权重值也越大，可简单设为 线性函数，其中〇表示对应关系，上述问题变为：
d)固定上一步得到姿态参数，以尺寸参数作为变量，迭代优化得到新的尺寸参数； e) 如此迭代直至各参数不再变化； f) 最后对整个人体姿态参数进行局部修正，最终得到准确的尺寸和姿态参数。
【专利摘要】本发明公开了一种面向任意姿态的三维人体姿态模型匹配方法，包括：人体对象以任意姿态站立，仅要求肢体不要紧贴在身体上，由三维重建方法重建出三维人体数据；设计一种可调整各肢体形状、大小等参数的普适三维人体虚拟模型；设计和采用一种基于模型的姿态估计方法，将虚拟人体模型准确的匹配到重建出的三维人体形态数据上，使得虚拟人体模型以相同的姿态和相近的形体尺寸呈现。本发明所公开的三维人体姿态模型匹配方法能够针对任意的初始人体姿态，以一个普适的虚拟模型准确恢复出人体的姿态和形体尺寸数据，其操作简便、具有适应性强和鲁棒性好等优点。
【IPC分类】G06T17-00
【公开号】CN104700452
【申请号】CN201510129258
【发明人】张政, 徐玮, 刘煜, 张茂军, 熊志辉
【申请人】中国人民解放军国防科学技术大学
【公开日】2015年6月10日
【申请日】2015年3月24日