单幅图像的人体三维姿态重构方法
【专利摘要】本发明公开了一种单幅图像的人体三维姿态重构方法，其包括以下步骤：步骤一，建立人体的标准三维骨架模型；步骤二，在人体图像中生成人体关节点及肢体端点的位置；步骤三，估计弱透视投影的比例参数；步骤四，将标准三维骨架中的所有节点与图像中的相应标记初步对齐；步骤五，采用优化算法进行优化。本发明提高了三维姿态重构的效率。
【专利说明】单幅图像的人体三维姿态重构方法
【技术领域】
[0001]本发明涉及一种三维姿态重构方法，特别是涉及一种单幅图像的人体三维姿态重构方法。
【背景技术】
[0002]人体姿态三维重构是近年来计算机视觉领域中备受关注的前沿方向，它从包含人体在人体图像序列中检测、运动分析、三维人体跟踪以及行为进行理解与描述，属于图像分析和理解的范畴。从技术角度而言，人的运动分析的研究内容相当丰富，主要涉及到模式识另IJ、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、人体的姿态变化、人体自遮挡等也为人体姿态三维重建带来了很大的挑战。
[0003]由于人体三维姿态重构与人体三维运动分析在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了国内外广大科研工作者及相关商家的浓厚兴趣，尤其在美国、英国等国家已经开展了大量相关项目的研究。人体姿态三维重构目前主要应用于智能视频监控、智能人机接口、虚拟现实以及游戏制作、体育运动分析以及康复评价。
[0004]从方法上考虑，人体姿态三维重构分为多相机方法和单相机方法。多相机方法包括运动捕捉器、空间雕刻法、立体视觉、结构光方法；微软公司开发的Kinects采用的是结构光方法；虽然三维图像获取使用了一个相机，实质上属于多相机方法。相对而言，由于二维图像失去了目标物体的三维信息，从单个相机的一幅图像中重构人体的三维姿态具有更大的困难与挑战。在单相机人体三维姿态重构中，通常所采用的图像特征包括二维人体轮廓特征、人体图像边缘特征、纹理特征等，但是重构的效率较低。本方法采用人体图像的二维节点标志特征，配合使用人体三维骨架模型，是一个新的有效的方法。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种单幅图像的人体三维姿态重构方法，其提高了三维姿态重构的效率。
[0006]本发明是通过下述技术方案来解决上述技术问题的:一种单幅图像的人体三维姿态重构方法，其特征在于，所述单幅图像的人体三维姿态重构方法包括以下步骤:
[0007]步骤一，建立人体的标准三维骨架模型；
[0008]步骤二，在人体图像中生成人体关节点及肢体端点的位置；
[0009]步骤三，估计弱透视投影的比例参数，比例参数是图像中的人体相邻关节点间的距离与标准三维骨架模型中对应的肢体长度比例的最大值，按照所估计出的弱透视投影比例参数将标准三维骨架放大；
[0010]步骤四，保持骨架的肢体长度不变，从根节点开始，依次调节标准三维骨架中的人体节点的位置，实现标准三维骨架中的所有节点皆与图像中相应的标记点基本的初步对齐；[0011]步骤五，采用优化算法进行人体姿态优化，使标准三维骨架的所有节点在人体图像上的弱透视投影与相应的图像标记点位置之差的总合为最小。
[0012]优选地，所述单幅图像的人体三维姿态重构方法采用了人体骨架的结构对骨架节点的运动约束。
[0013]优选地，所述图像的产生采用弱透视投影模型。
[0014]优选地，所所步骤五的人体姿态优化实现人体三维骨架各节点在图像平面上的弱透视投影与图像中的人体节点标记的最佳对齐。
[0015]优选地，所述步骤五优化后，人体骨架节点的三维坐标位置以及弱透视投影比例参数将被确定下来，从而重构了人体的三维姿态。
[0016]本发明的积极进步效果在于:本发明单幅图像的人体三维姿态重构方法提高了三维姿态重构的效率。本发明具有重构参数少，效率高等优点，可应用于智能视频监控、智能人机接口、虚拟现实以及游戏制作、体育运动分析以及健康评价等方面。本发明具体涉及在弱透视投影情况下采用图像人体二维标记与人体三维骨架的节点位置配准实现人体骨架的三维姿态重建，属于计算机视觉领域。本发明将三维姿态重构过程中所需要的七个全局变量减少到一个。由于三维重构中的待确定变量的数目减少，从而降低了运算过程的非线性程度，使得运算的收敛范围增大，提高了重构中对人体三维初始姿态误差的容忍，同时，简化了运算过程，提高了计算速度，大大地提高了三维姿态重构的效率。
【专利附图】
【附图说明】
[0017]图1为本发明实施例中采用的人体的标准三维骨架模型的示意图。
[0018]图2为本发明采用的单幅人体图像的示意图。
[0019]图3为本发明采用的人体图像与二维标记的示意图。
[0020]图4为本发明进行图像二维标记与人体三维骨架节点对齐的示意图。
【具体实施方式】
[0021]下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
[0022]本发明是一种从单幅二维图像重构人体三维姿态的方法，具体涉及在弱透视投影情况下采用图像人体二维标记与人体三维骨架的节点位置配准实现人体骨架的三维姿态重建。本发明基于以下三个规定:1)图像的产生采用弱透视投影模型；2)图像标记点采用图像中的人体关节点或者肢体端点；3)人体三维姿态采用标准三维骨架表示，如图1所示，其中圆点表示骨架节点。本发明采用人体三维骨架模型实现人体姿态三维重建，用人体骨架模型的肢体约束限制人体关节点在三维空间的位置。标准三维骨架的三维姿态由三维骨架的节点与图像中的相应人体节点标记最佳对齐来实现。本发明以前帧图像所得到的人体三维姿态作为当前帧图像对应的人体三维姿态的估算姿态，将单幅图像的人体三维姿态重构方法应用到视频图像的人体三维姿态重建与人体三维跟踪。在弱透视投影情况下，人体标记点的图像坐标和对应的三维节点空间坐标存在一个比例关系，即X=sx, Y=sy,其中(X，y, z)是人体三维骨架模型上的节点坐标；(X，Y)是图像上对应的二维标记坐标。
[0023]本发明单幅图像的人体三维姿态重构方法包括以下步骤:
[0024]步骤一，根据图1，建立人体的标准三维骨架模型；将标准三维骨架中的人体节点依次进行定义，比如腰关节点定义为根节点(即零号节点O);依次将颈关节点、头顶点、左肩关节点、左肘关节点、左手关节点、右肩关节点、右肘关节点、右手关节点、左胯节点、左膝节点、左脚节点、右胯节点、右膝节点、右脚节点等，分别定义为一号节点1、二号节点2、三号节点3、四号节点4、五号节点5、六号节点6、七号节点7、八号节点8、九号节点9、十号节点10、十一号节点11、十二号节点12、十三号节点13、十四号节点14等；根据应用需要，实施时亦可以对模型进行修改，臂如在根节点和颈节点之间增加一个“胸节点”。
[0025]步骤二，在人体图像中生成(可以由软件自动生成或者手工生成)人体关节点及肢体端点的位置；这些人体节点的位置坐标可以采用人机交互的方法获取，也可以利用软件自动获取(比如在以下文件中公开的技术:M.Andriluka, S.Roth, and B.Schiele,“Pictorial Structures Revisited:People Detection and Articulated PoseEstimation, ” CVPR,2009)；
[0026]步骤三，估计弱透视投影的比例参数，比例参数s是图像中的人体相邻关节点间的距离与标准三维骨架模型中对应的肢体长度比例的最大值，按照所估计出的弱透视投影比例参数将标准三维骨架放大；
[0027]步骤四，保持骨架的肢体长度不变，从根节点开始，依次调节标准三维骨架中的人体节点的位置，实现标准三维骨架中的所有节点皆与图像中相应的标记点基本的初步对齐，具体如下:依次调节标准三维骨架中的一号节点的位置，使其与图像中的颈节点标记对齐；调节二号节点，使其与图像中的头节点标记对齐；调节三号节点，使其与图像中的左肩节点标记对齐；调节四号节点，使其与图像中的左肘节点标记对齐；调节五号节点，使其与图像中的左手节点标记对齐，依次操作直至调节完十四号节点为止，最后实现标准三维骨架中的所有节点皆与图像中相应的标记点基本初步对齐；
[0028]步骤五，采用优化算法进行人体姿态优化，使标准三维骨架的所有节点在人体图像上的弱透视投影与相应的图像标记点位置之差的总合为最小。经过优化，人体骨架节点的三维坐标位置以及弱透视投影比例参数将被确定下来，如此人体的三维姿态重构完成，从而所获得骨架关节点的三维坐标位置，人体三维姿态亦可以转换成骨架肢体围绕该肢体的上节点(即靠根节点较近的节点)旋转来标示；
[0029]本发明所提出的方法可以拓展到视频图像的人体三维姿态重建与人体三维跟踪。具体方法是以前帧图像所得到的人体三维姿态作为步骤五的结果，重复步骤五和步骤六的过程，直至视频结束。本发明采用了人体骨架的结构对骨架节点的运动约束。图像的产生采用弱透视投影模型。步骤五的人体姿态优化实现人体三维骨架各节点在图像平面上的弱透视投影与图像中的人体节点标记的最佳对齐。步骤五优化后，人体骨架节点的三维坐标位置以及弱透视投影比例参数将被确定下来，从而重构了人体的三维姿态。
[0030]以下结合图2至图4对本发明的技术方案作进一步详细说明。本例选用图2所示的人体图像，希望采用本发明给出的方法重构图中人体对应的三维骨架的姿态，具体实施步骤如下所示:
[0031]一，建立人体的标准三维骨架模型。跟据人体解剖学统计，取躯干长度为550像素单位，头颈间长度32单位，颈节点至肩节点220单位，上臂280单位，小臂250单位，根节点至跨节点90单位、大腿450单位、下腿420单位。将骨架中的腰关节点定义为根节点(即零号节点)；依次将颈关节点、头节点、左肩关节点、左肘关节点、左手关节点等，定义为一号节点、二号节点、三号节点、四号节点、五号节点等。
[0032]二，在人体图像中，采用人机交互方法，用鼠标标出人体图像的关节点位置，结果如图3所示。获取相应节点的图像坐标值(Xi，Yi)，其中下标i对应人体骨架的节点编号。
[0033]三，估计弱透视投影比例参数。根据勾股定理计算图像标记点间的人体肢体长度。以图像中的二维人体肢体长度与三维骨架中对应的肢体长度的比例系数的最大值为弱透视投影比例参数，即如下式(I):
[0034]S=Max(LijZlij1......................................................(I)
[0035]其中，Lij为图像中的人体肢体长度；lu为三维骨架中对应的人体肢体长度。
[0036]四，将放大以后的三维骨架中的根节点与图像中的腰节点标记对齐，骨架根节点的z坐标可以是任意值。在本实施例中，为了使在任何姿态情况下人体三维骨架中的任何节点的z坐标都不出现负值，此处取z=3000。调整人体三维骨架的根节点位置，使其基本满足如下式(2):
[0037]X0 ^ sx0 ；Y0 ^ sy0 ；z0=3000..................(2)
[0038]在人体三维骨架的约束下，即三维骨架中的肢体只能围绕该肢体上靠近根节点较近的那个节点做三维旋转运动，从一号节点开始，依序调节人体三维骨架中的各个节点位置，使其与图像中的相应关节点基本对齐。即如下式(3):
[0039]Xi ^ SX1-,Yi ^ Sy1...............(3)
[0040]其中，i=l，2，3，…
[0041]五，采用退火粒子滤波方法(实际上可以采用任何数值优化方法)，在人体三维骨架的约束下使人体三维骨架各节点在人体图像平面上的弱透视投影与图像中的人体节点标记得到最佳对齐，即如下式(4):
[0042]
【权利要求】
1.一种单幅图像的人体三维姿态重构方法，其特征在于，所述单幅图像的人体三维姿态重构方法包括以下步骤: 步骤一，建立人体的标准三维骨架模型； 步骤二，在人体图像中生成人体关节点及肢体端点的位置； 步骤三，估计弱透视投影的比例参数，比例参数是图像中的人体相邻关节点间的距离与标准三维骨架模型中对应的肢体长度比例的最大值，按照所估计出的弱透视投影比例参数将标准三维骨架放大； 步骤四，保持骨架的肢体长度不变，从根节点开始，依次调节标准三维骨架中的人体节点的位置，实现标准三维骨架中的所有节点皆与图像中相应的标记点基本的初步对齐； 步骤五，采用优化算法进行人体姿态优化，使标准三维骨架的所有节点在人体图像上的弱透视投影与相应的图像标记点位置之差的总合为最小。
2.如权利要求1所述的单幅图像的人体三维姿态重构方法，其特征在于，所述单幅图像的人体三维姿态重构方法采用了人体骨架的结构对骨架节点的运动约束。
3.如权利要求1所述的单幅图像的人体三维姿态重构方法，其特征在于，所述图像的产生采用弱透视投影模型。
4.如权利要求1所述的单幅图像的人体三维姿态重构方法，其特征在于，所述步骤五的人体姿态优化实现人体三维骨架各节点在图像平面上的弱透视投影与图像中的人体节点标记的最佳对齐。
5.如权利要求1所述的单幅图像的人体三维姿态重构方法，其特征在于，所述步骤五优化后，人体骨架节点的三维坐标位置以及弱透视投影比例参数将被确定下来，从而重构了人体的三维姿态。
【文档编号】G06T17/00GK103942829SQ201410134422
【公开日】2014年7月23日 申请日期:2014年4月2日 优先权日:2014年4月2日
【发明者】刘允才, 熊君君, 黄英, 卞亚涛 申请人:上海交通大学, 北京三星通信技术研究有限公司