专利名称：采用单目视觉的三维重建来进行步态识别的方法
技术领域：
本发明涉及单视角条件下步态识别方法，尤其是身份识别中基于单摄像机即单目视觉的利用三维重建人体步行轨迹来进行步态识别的方法。
背景技术：
步态识别是远距离身份识别技术一个新兴子领域，它是根据人走路的姿态、方式等行为特征来实现个体的身份识别。步态识别与以往基于生物特征的识别技术比较，具有远距离识别、非侵犯、不易隐藏、对图像(视频)质量要求低等优点。在某些特定的场合中，无法通过交互性接触采集到人脸、指纹和虹膜等生理特征，而步态特征可以实现远距离的非接触性的采集，因此步态特征在这类特定场合下成为了唯一可以用于身份识别的生物特征。目前，步态识别技术广泛应用于社会安防和反恐维稳等领域，将视频处理技术与步态识别技术结合，智能分析公众场合下的监控视频，自动识别出隐藏于人群中的危险人物，并发出警报，实现有效预防意外事件的发生。2000年，美国国防部高级研究计划局DARPA (Defense Advanced Research Project Agency)资助的 HID (Human Identificationat a Distance)研究计划，集合了包括麻省理工学院等26家高校和科研机构，进行远距离情况下行为人的检测和识别的研究。它的任务就是开发多模态的、大范围的视觉检测技术，以实现对人体的检测、分类和识别，这一计划的实施有力的推动了远距离生物特征识别技术的研究和发展。目前用于步态识别的特征参数主要有两类基于二维图像平面的步态特征参数和基于三维立体空间的步态特征参数。这两类步态特征在用于步态识别过程中表现出来的优势和问题都十分明显。基于人体序列轮廓图像提取步态特征参数是二维步态特征提取的代表性方法，Wagg 等在 2004 年第 15 期《Computer Animation and Virtual Worlds》发表的“Automated Marker less Extraction of Walking People Using Deformable ContourModels” 一文中提出了二维步态识别的四个步骤
第一步，按照固定角度放置摄像头，对人体行走过程的视频进行采集；第二步，对采集到的视频进行初始化和预处理，得到一系列二维的包含人体步态信息的图像序列；第三步，去除序列中每帧二维图像中的背景，得到序列人体轮廓。将序列人体图像叠加在一帧图像中，借助于运动补偿时变累积算法，建立了轴向旋转运动及垂直震荡运动模型，结合线性霍夫变换求出胯部、膝盖及脚踝处的平均宽度的特征集。第四步，对得到特征集进行分类识别，确定身份信息。基于二维图像提取步态特征参数，算法实现相对简单，执行效率较高。但是，基于二维图像的步态特征参数受监控摄像头视角影响很大，这类步态特征参数会随着视角的变化而变化，严重影响身份识别的准确率。对于预先设定好的世界坐标系，三维场景空间是唯一确定的，且三维场景下提的步态特征参数具有很好的视角鲁棒性，消除了视角对步态识别精度的影响，减少提取的步态特征的误差，所以三维步态识别能够取得较高的准确率。目前，人体运动三维重建研究多采用多目相机捕获步态数据，通过三维重建获得的人体运动特征。明东等在申请号为200910068882. 4的专利“基于人体运动结构正投影三维重建的步态识别方法”提出在Wagg的步骤三中进行人体步态的三维重建，在十一个固定摄像头的条件下进行步态识别。人体运动的三维重建是三维空间步态特征提取过程中的关键步骤之一，文章将不同摄像头采集的图像提取人体轮廓后进行三维投影，从而利用图像序列得到人体轮廓运动三维轨迹，提取三维轨迹特征值进行身份识别。但是，此方法对环境的要求较为苛刻，在现实环境中往往都是利用单摄像头实现对公共环境的监控，很难实现多摄像头对同一场景的采集，因此常规基于双目或多目视觉的步态识别方法不适用于监控场景内人体运动的三维重建，因此不适于公共场所的步态识别。为了减少步态识别的成本，提高步态识别的识别率。近期，如何利用在单视角下采集的单幅二维图像实现三维场景的重建以进行步态识别成为研究热点，其中代表性的方法是 Zhang 和 Troje 在 2007 年发表的文章 “3D Periodic Human Motion Reconstructionfrom 2DMotion Sequences”提出的周期性步态运动三维重建算法。该方法采用傅里叶分解构造了人体运动的简洁表达式，通过一组样本来训练一个低维的线性模型，多幅二维图像的数据采用最小二乘法投影到这个模型上。由于建立的低维线性模型与实际轨迹拟合较差，从而形成一个粗糙的三维模型。它实现了基于单目视觉的步态运动三维重建，实验效果良好。但是该方法必须满足一定的假设条件(I)测试样本和训练样本的摄像机角度必须 相一致；(2) 二维图像是人体运动的一个正投影，即人行走的轨迹方向垂直于摄像机的光轴。这些严格的假设条件极大程度地限制了该方法在身份识别中的应用。使得身份识别对环境的要求过大，成本过高，且识别率较低。因此，如何降低成本、精确构建三维模型、提高步态识别率仍是本领域技术人员极为关注的技术问题。技术方案本发明要解决的技术问题是提出一种采用单目视觉的三维重建来进行 步态识别的方法，解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。构建的三维模型在单视角条件下将步态三维轨迹重建中时间的周期性变换为空间的多维性，同时得到二维图像法方向上的步态信息，通过获取法方向的数据，有效提高实验精度和识别概率，避免二维步态轨迹建立时摄像机角度对实验结果的影响。本发明的技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机Λ L处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间二维曲线中步幅、如步幅、后步幅、步闻特征值，利用支持矢量机的方法完成身份识别。本发明包括以下步骤第一步，标定单个摄像机。结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数。方法是1.1.构建实验场景。标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45° -135°之间，并将立体标定靶放置于摄像机视场内。I. 2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为X轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心O。为摄像机坐标系的坐标原点，以摄像机主轴为Z。轴，以平行于X轴且通过O。的直线为摄像机坐标系轴X。，以平行于I轴且通过O。的直线为摄像机坐标系轴Y。，建立摄像机坐标系Οε-ΧεΥεΖ。。同时，根据现实世界的水平面确立Ow-XwYw面，根据垂直方位建立轴Zw，建立世界坐标系Ow-XwYwZw作为一个基准坐标系来描述空间点和摄像机的位置，Ow为世界坐标系的坐标原点；I. 3 利用张正友 2OOO 年在 IEEE Trans. Pattern Analysis and MachineIntelligence 第 20 期文章“A flexible new technique for camera calibration”提出的基于二维平面模板的摄像机标定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数图像坐标系原点O在摄像机坐标系中的图像坐标(cx，cy)、焦距f与摄像机单个像元在X轴方向投影的物理尺寸fx、焦距f与摄像机单个像元在I轴方向投影的物理尺寸
fyO
I. 4 米用 Tsai 等 1987 年在 IEEE Journal of Robotics and Automation 第三期文章“A versatile camera calibration technique for high-accuracy 3D machinevision metrology using off-the-shelf TV cameras and lenses，，提出的基于立体标定靶摄像机标定方法和已求出的(cx，cy)、fx、fy，以立体标定靶为输入得到摄像机的外参数摄像机在世界坐标系中的位置和姿态。第二步，跟踪获取人体步态二维轨迹。2. I运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列作为处理对象；2. 2利用刘之贵2010年在“微型机与应用”第二期文章“复杂背景环境下运动目标的检测算法设计”提出的背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象。采用微软的视频处理开发工具包Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓。利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪点；2.3由于人体在步行过程中前后位移距离不会很大，为防止在轮廓提取时出现较大偏差，利用 Yizong Cheng 在 1995 年 IEEE Trans. Pattern Analysis and MachineIntelligence 第 17 期文章 “Mean shift, mode seeking, and clustering” 提出的目标跟踪mean-shift算法预测下一巾贞图像中人体运动对象检测区域。2. 4根据步骤2. 2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹。第三步，构建脚踝顶点三维轨迹。为使摄像机最大限度的获得人体步态轨迹的轮廓，将摄像机放置于人体运动方向的一侧，并使得摄像机的主轴与人体步态轨迹的夹角保持在45° -135°之间，利用人体步态二维轨迹的步态周期信息，完成单视角下的多个步态轨迹周期转化为多个视角下的单一步态轨迹。利用二维轨迹的步态周期信息构建一台虚拟摄像机并将假设的虚拟摄像机安放在距实体摄像机AL的位置，AL为人体步态周期平移量。然后运用多视角重建理论，重建步态中脚踝顶点的三维轨迹。方法是
3. I利用XwOwYw平面和第二步得到的人体步态二维轨迹来计算步态周期平移量AL。其中，由于一帧图像上只有一个跟踪点，设单帧图像上跟踪点的坐标为(Xi，yi)，那么单中贞图像序列的整个序列中图像跟踪点的坐标值为(X1, Yi)，(X2，y2) · · · (Xi, Yi) - · · (χη，yn)，η为单帧图像序列的帧数，η等于人体通过摄像机视场的时间t和摄像机帧率的乘积，设定滑窗大小为M个连续的坐标点，M为正整数，根据摄像头分辨率而定，一般取摄像机图像平面长度值的1/5，按公式一计算滑窗的质心C(i, i+M-1) = [(X^Xw+... +Xi^1)/M, (yi+yi+1+. · · +yi+M-i)/M]公式一其中C(i，i+M_l)是以(Xyyi)为边界的滑窗的质心位置，记下此时滑窗质心Gi =C(i，i+M-1)，滑窗继续向后移动，当i = n时停止滑动。这样，可以得到一系列质心点G1,G2... Gn，这些点就是所要求解的周期划分点，将它们连线得到平移量Λ L在摄像机图像平面上的投影的长度。利用公式二计算步态周期的长度即平移量AL;AL = M' /cos Θ 公式二
AL'为Λ L在摄像机图像平面上的投影的长度，通过量取周期划分点两点之间连线得到，Θ为标定摄像机时，摄像机主轴与人体步态轨迹的夹角，也即XwOwYw平面与二维轨迹的方向存在的夹角，Θ e [45° ,135° ]。3. 2通过构建虚拟摄像机得到实际摄像机和虚拟摄像机中两幅图像间的极几何约束关系，采用Sampson估计方法估计实际空间点P在实际摄像机平面图像I上的对应位置的点m，利用同样方法估计P在虚拟摄像机的平面图像I'上的对应位置的点m'。将点m和点m'分别与实际摄像机的光心O。与虚拟摄像机的光心O'。相连，构造出沿P点方向的两条射线15和Ip,，两条射线相交从而确定匕的位置，匕是重建的三维轨迹上的一点，求出单帧图像序列中每帧图像对应的Pt)点，在空间中拟合这些点得到一个人体步态的空间三维曲线。第四步，运用构建的人体步态的空间三维曲线进行身份识别。4. I由于人体步态的空间三维曲线具有周期、幅度，所以根据踝关节运动模式，利用周期性曲线的周期和幅度等，提取具有周期性运动的人体步态的空间三维曲线的步幅、iu步幅、后步幅、步闻特征；4. 2运用孙即祥2008年《现代模式识别》一书中提出的支持矢量机的方法对提取的步幅、前步幅、后步幅、步高特征进行步态识别。支持矢量机是从二十世纪90年代以来发展起来的一种统计学习方法，在解决小样本学习、非线性及高维模式识别问题时具有较好的效果。在未知样本较多时，局部核函数的学习能力较之全局核函数更强，所以输入步幅、前步幅、后步幅、步高组成的特征集到局部核函数。局部核函数中σ 2表示支持矢量机方法的训练宽度，是减少测试误差的主要因素，其中σ 2值分别取σ2=0. I, σ2=0. 3, σ2=0. 5,σ2=1，识别结果如表I所示。表I支持矢量机分类识别结果
I2值选取识别率 σ 2 = O. I 82. 6 σ 2 = O. 3 ~89. 8% σ 2 = O. 5 ~83. 33
Q2=I75%
取σ 2 = O. 3，识别正确率可达89. 8%，明东在申请号为200910068882. 4的专利“基于人体运动结构正投影三维重建的步态识别方法”中提出的步态识别方法中十一个摄像头的条件下的识别率也只能达到87%，充分证明了方法成本低、识别率高的优点。采用本发明可以得到以下技术效果I、本发明既不需要通过样本训练获得三维重建模型，也不需要设定严格的初始条件，就能获得较好的识别效果。2、本发明利用单个摄像头，避免了在专利200910068882. 4中利用i^一个摄像头情况下成本过高的问题；3、本发明通过利用步态的周期特性构建虚拟摄像机得到三维模型，模型效果高于 Zhang和Troje构建二维线性模型的效果；4、通过实验检测，本发明的步态识别的准确率高达89. 8%，高于一般的步态识别方法。所以，发明解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题，达到了较好的技术效果。
图I是申请号为200910068882. 4的专利中公布的一般三维步态识别总体流程图；图2是本发明总体流程图；图3是本发明第一步建立的坐标系示意图；图4是本发明第三步将单视角下多个步态周期转化为多视角下的单一步态示意图；图5是第三步构建步态三维轨迹中两个摄像机的极几何约束图；图6是第三步动态周期性轨迹重建结果图；图7是第四步构建的踝关节运动一般模式图。
具体实施例方式图I是一般三维步态识别总体流程图。第一步，按照(0°、18°、36° . . . 180° ) 11个方向安放11台摄像机，并获取视频，摄取11个方向的视频，从而得到单帧视频序列；第二步,跟踪人体步态轨迹。使用Kinematics模型构建整个人体的骨架模型,建立和向量P= Ix，y，θ17 θ2，...，θ1(ι}相关的动作估计方程，其中(x，y)是人体的位置，θ1； θ2，...，θ1(ι表示肩膀、肘、髋等十个关节的角度。动作估计方程就是用前一帧提取的步态特征来估计现在的动作，防止在对人体跟踪的过程中出现较大偏差。第三步，三维的步态重建。正投影视图与照相机中的坐标系存在公式二的关系
权利要求
1. 一种采用单目视觉的三维重建来进行步态识别的方法，其特征在于包括以下步骤 第一步，结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数，方法是 · 1.1.构建实验场景标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45° -135°之间，并将立体标定靶放置于摄像机视场内； I.2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为X轴和y轴，建立图像坐标系O-xy ;在空间中，以摄像机中心O。为摄像机坐标系的坐标原点，以摄像机主轴为Z。轴，以平行于X轴且通过O。的直线为摄像机坐标系轴X。，以平行于y轴且通过O。的直线为摄像机坐标系轴Y。，建立摄像机坐标系Oe-XcTc^ ;同时，根据现实世界的水平面确立Ow-XwYw面，根据垂直方位建立轴Zw，建立世界坐标系Ow-XwYwZw作为一个基准坐标系来描述空间点和摄像机的位置,Ow为世界坐标系的坐标原点； I.3利用基于二维平面模板的摄像机标定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数图像坐标系原点0在摄像机坐标系中的图像坐标(cx, cy)、焦距f与摄像机单个像元在X轴方向投影的物理尺寸fx、焦距f与摄像机单个像元在I轴方向投影的物理尺寸fy ; ·1.4采用基于立体标定靶摄像机标定方法和(cx，cy)、fx、fy，以立体标定靶为输入得到摄像机的外参数摄像机在世界坐标系中的位置和姿态； 第二步，跟踪获取人体步态二维轨迹 · 2.I运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列； ·2.2利用背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象；采用Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓；利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪占. ·2.3利用目标跟踪mean-shift算法预测下一帧图像中人体运动对象检测区域； ·2.4根据步骤2. 2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹； 第三步，利用二维轨迹的步态周期信息构建一台虚拟摄像机，将虚拟摄像机安放在距实体摄像机AL的位置，AL为人体步态周期平移量，运用多视角重建理论重建步态中脚踝顶点的三维轨迹，方法是 · 3.I利用XwOwYw平面和第二步得到的人体步态二维轨迹来计算步态周期平移量AL，设单帧图像上跟踪点的坐标为(Xi，yi)，单帧图像序列的整个序列中图像跟踪点的坐标值为(X1, Y1), (x2, y2)... (Xi, Yi). . . (xn, yn), n为单巾贞图像序列的巾贞数,n等于人体通过摄像机视场的时间t和摄像机帧率的乘积，设定滑窗大小为M个连续的坐标点，M为正整数，按公式一计算滑窗的质心C(i, i+M-1) = [ (xi+xi+1+... +XiI1Vm, (yi+yi+1+. +yi+M-i) /M]公式一 其中C(i，i+M-1)是以(Xi，yi)为边界的滑窗的质心位置，记下此时滑窗质心Gi = C(i，i+M-1)，滑窗继续向后移动，当i = n时停止滑动，得到一系列质心点G1, G2. . . Gn，这些点就是周期划分点，将它们连线得到平移量AL在摄像机图像平面上的投影，利用公式AL =AL' /cos 0计算步态周期平移量AL，AL'为平移量A L在摄像机图像平面上的投影的长度，e为标定摄像机时，摄像机主轴与人体步态轨迹的夹角，e e [45° ,135° ]； ·3.2通过构建虚拟摄像机得到实际摄像机和虚拟摄像机中两幅图像间的极几何约束关系，采用Sampson估计方法估计实际空间点P在实际摄像机平面图像I上的对应位置的点m，利用同样方法估计P在虚拟摄像机的平面图像I'上的对应位置的点m';将!!1与实际摄像机的光心O。相连，将m'与虚拟摄像机的光心0'。相连，构造出沿P点方向的两条射线15和Ip,，两条射线相交从而确定匕的位置，匕是重建的三维轨迹上的一点，求出单帧图像序列中每帧图像对应的Ptj点，在空间中拟合这些点得到一个人体步态的空间三维曲线； 第四步，运用构建的人体步态的空间三维曲线进行身份识别 · 4.I根据踩关节运动|旲式，提取人体步态的空间二维曲线的步幅、如步幅、后步幅、步闻特征； ·4.2运用支持矢量机的方法对提取的步幅、如步幅、后步幅、步闻特征进行步态识别，输入步幅、前步幅、后步幅、步高组成的特征集到局部核函数。
2.如权利要求I所述的采用单目视觉的三维重建来进行步态识别的方法，其特征在于所述m值取摄像机图像平面长度值的1/5。
3.如权利要求I所述的采用单目视觉的三维重建来进行步态识别的方法，其特征在于所述运用支持矢量机的方法对提取的步幅、如步幅、后步幅、步闻特征进行步态识别时，取O2 = 0. 3, O 2为局部核函数中支持矢量机方法的训练宽度。
全文摘要
本发明公开了一种采用单目视觉的三维重建来进行步态识别的方法，目的是解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机ΔL处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间三维曲线中步幅、步高特征值，利用支持矢量机的方法完成身份识别。本发明解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题。
文档编号G06K9/00GK102697508SQ20121012124
公开日2012年10月3日 申请日期2012年4月23日 优先权日2012年4月23日
发明者侯金鑫, 张军, 李国辉, 李硕豪, 来旭, 涂丹, 黄伟强, 黄魁华 申请人:中国人民解放军国防科学技术大学