一种三维人脸模型弱特征点的自动定位方法
【专利摘要】本发明属于计算机图形学技术领域，涉及一种三维人脸模型弱特征点的自动定位方法。所述方法包括：选取一个三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点；提取目标人脸模型的径向曲线；通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。本发明通过在三维人脸模型的径向曲线上选取弱特征点，大幅度增加了人脸模型自动标定特征点的数量以及特征点在人脸上的分布密度，并且保证了特征点自动标定的精准性与通用性。本发明能够广泛应用于颅面重建、三维人脸识别、表情分析、人脸动画等领域。
【专利说明】
一种三维人脸模型弱特征点的自动定位方法
技术领域
[0001]本发明属于计算机图形学技术领域，具体涉及一种三维人脸模型弱特征点的自动定位方法。
【背景技术】
[0002]目前，三维成像技术和三维扫描设备的不断涌现使三维人脸的应用越来越广泛，如颅面重建、三维人脸识别、表情分析、人脸动画等。三维人脸特征点标定是这些应用中的一项关键技术，相对于比较成熟的二维人脸特征点定位技术，三维人脸特征点定位更加复杂和困难，尚没有可靠成熟的自动定位方法。
[0003]现有的三维特征点标定方法主要包括手工标定方法和基于局部区域特征分析的方法。手工标定方法费时费力;基于局部区域特征分析的方法一般是对顶点的局部形状构建特征描述，通过对局部形状特征描述子的统计分析来自动匹配特征点。公开号为CN101976359A的中国发明专利公开了一种三维人脸的特征点自动定位的方法，该方法包括:进行三维人脸模型的姿态定位;进行顶点的子空间划分;进行子空间的直方图统计;计算顶点的特征描述子;进行三维人脸的特征点模板的构建;三维人脸的特征点的定位。通过描述局部曲面，突破了仅有少数几个三维人脸的特征点可自动定位的限制，提高了三维人脸的特征点定位方法的精准性与通用性。其存在问题是，三维人脸特征点定位方法只能标定少量的生理特征点如鼻尖和内眼角，这些少量特征点对很多应用来说都是不足的。
【发明内容】
[0004]为了解决现有技术中存在的上述问题，本发明提出一种通过参考人脸模型与目标人脸模型径向曲线(人脸模型上过鼻尖点的曲线)的配准，实现目标人脸模型弱特征点的自动定位方法。弱特征点是在人脸模型的径向曲线上选取的其特征相对于鼻尖、眼角等生理特征点较弱的几何特征点，比如拐点、凸点等。相对于少量的生理特征点，弱特征点的数量要多得多，因此弱特征点的引入使人脸模型自动标定特征点的个数以及特征点在人脸上的分布密度明显提高。
[0005]为达到上述目的，本发明采用如下技术方案:选取一个标准的三维人脸模型作为参考人脸模型，提取参考人脸模型上的一组径向曲线，在径向曲线上选取那些几何特征明显的点如拐点、凸点等，作为参考人脸模型的弱特征点；提取目标人脸模型(待定位的人脸模型)的一组径向曲线，将所述径向曲线与参考人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上与参考人脸模型对应的弱特征点。具体方案如下:
[0006]一种三维人脸模型弱特征点的自动定位方法，包括以下步骤:
[0007]步骤I，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点。
[0008]步骤2，提取目标人脸模型的径向曲线。
[0009]步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。
[0010]优选地，所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型的平均模型。
[0011 ]优选地，提取径向曲线的方法包括以下步骤:
[0012](I)人脸姿态调整
[0013]先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向。以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系；然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴;对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中。
[0014](2)定位鼻尖点
[0015]取Y坐标值最大的点为鼻尖点。
[0016](3)估计对称平面
[0017]以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点(人脸模型采用计算机图形学中通用的多边形网格模型，这里的顶点指网格顶点)以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行ICP(Iterative ClosestPoint，迭代最近点)配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面。
[0018](4)提取径向曲线
[0019]以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。
[0020]优选地，步骤I所述参考人脸模型上的弱特征点采取手工选取方式确定。
[0021]优选地，步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤:
[0022]在两条径向曲线上分别均匀采样一组等距的离散点；计算所述离散点处的曲率，分别将两条径向曲线上所有离散点的曲率组成特征序列;采用动态时间规整DTW(DynamicTime Warping)算法对两个特征序列进行配准，建立两条径向曲线之间的点对应。
[0023]与现有技术相比，本发明具有以下有益效果:
[0024]本发明通过提取三维人脸模型的径向曲线，选取径向曲线上一组几何特征明显的点为弱特征点，并进行参考人脸模型与目标人脸模型上位置对应的径向曲线间的配准，实现了目标人脸模型上弱特征点的自动定位。本发明通过在径向曲线上选取弱特征点，大幅度增加了人脸模型自动标定特征点的数量以及特征点在人脸上的分布密度，并且保证了特征点自动标定的精准性与通用性。本发明可应用于颅面重建、三维人脸识别、表情分析、人脸动画等领域。
【附图说明】
[0025]图1为三维人脸模型的径向曲线示意图；
[0026]图2为三维人脸模型弱特征点示意图，(a)为手工选取的参考人脸模型上的弱特征点示意图，(b)为自动标定的目标人脸模型上的弱特征点示意图。
【具体实施方式】
[0027]下面结合附图和实施例对本发明做进一步说明。
[0028]一种三维人脸模型弱特征点的自动定位方法，具体包括以下步骤:
[0029]步骤I，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点。
[0030]几何特征明显的点是指曲线上的拐点、凸点等。选取几何特征明显的点有利于提高特征点的定位精度。
[0031]步骤2，提取目标人脸模型的径向曲线。
[0032]步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。
[0033]所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型求平均获得的模型。
[0034]径向曲线的提取方法如下:
[0035](I)人脸姿态调整
[0036]先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向。以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系；然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴;对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中。
[0037](2)定位鼻尖点
[0038]取Y坐标值最大的点为鼻尖点。由于鼻尖点是面部的最突出点，所以鼻尖点的Y坐标值最大。
[0039](3)估计对称平面
[0040]以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行ICPdterativeClosest Point，迭代最近点)配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面。
[0041]ICP算法是一种数据点集间的配准算法，该方法通过迭代地使用最近点搜索和刚性变换的策略建立两个点集间的点对应。假定球形邻域内的顶点A与镜像点集中的点B是ICP得到的一对对应点，则镜像点B在人脸模型上的源点V与点A左右对称。
[0042](4)提取径向曲线
[0043]以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。
[0044]本实施例选取角度间隔为10度，得到18条径向曲线，如图1所示。
[0045]步骤I所述的参考人脸模型的弱特征点采取手工选取方式确定。本实施例手工选取了 187个特征点，如图2a所示。
[0046]步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤:
[0047](I)径向曲线的离散点采样
[0048]为了提高径向曲线配准的准确度，对径向曲线进行采样间隔很小的等距采样。当然，采样间隔过小会使计算量增大。本实施例选取的采样间隔为0.01mm，使得径向曲线上大约有100个等距离散点。
[0049](2)径向曲线间的配准
[0050]可以根据曲线的多种几何特征进行参考人脸模型与目标人脸模型上位置对应的径向曲线间的配准。由于曲率特征对曲线所处的空间位置和姿态不敏感，即曲线旋转和平移时曲线的曲率不变，因此，本实施例以曲线的曲率特征进行径向曲线的配准，具体方法是:将曲线上所有离散点的曲率特征组成特征序列，采用动态时间规整DTW算法对两个径向曲线的特征序列进行对齐，从而建立径向曲线间的点对应。
[0051]动态时间规整DTW算法是时间序列分析中的一种常用方法，用于比较两个长度不同的时间序列的相似度，从而建立两个时间序列的对应。将两条径向曲线的曲率特征序列看作两个时间序列，建立两个特征序列间的点对应。具体方法如下:
[0052]假定A={ai，a2，...，am}和B= {bi，b2，…，bn}分别为长度分别为π^Ρη的待配准的径向曲线的曲率特征序列，构造一个m*n的矩阵C，C(i，j)越小，A中第i点和B中第j点间的相似度越高。本实施例的C( i，j)为点对曲率值的曼哈顿距离。
[0053]将矩阵C的元素连成一个网格，利用动态规划寻找一条从网格点C(l，I)到网格点C(m，n)的最优路径，该路径上所有网格点对应的C(i，j)的累加值最小。根据路径上的C(i，j)便可得到两条径向曲线上的离散点的对应点。
[0054]本实施例在目标人脸模型上确定的特征点如图2b所示。
[0055]本发明不限于上述实施方式，本领域技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本发明的构思和所附权利要求的保护范围。
【主权项】
1.一种三维人脸模型弱特征点的自动定位方法，其特征在于，包括以下步骤: 步骤I，选取一三维人脸模型为参考人脸模型，提取参考人脸模型上的一组径向曲线，在所述径向曲线上选取几何特征明显的点作为参考人脸模型的弱特征点;所述几何特征明显的点包括拐点、凸点； 步骤2，提取目标人脸模型的径向曲线； 步骤3，通过对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准，自动定位目标人脸模型上的弱特征点。2.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，所述参考人脸模型是一个面部完整的三维人脸模型，或者是一组三维人脸模型的平均模型。3.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，提取径向曲线的方法包括以下步骤: (1)人脸姿态调整 先对人脸模型上所有顶点的三维坐标进行主成分分析，得到三个主方向；以这三个主方向建立人脸模型的三维直角坐标系，即以人脸模型中心为原点、以由右耳指向左耳的主方向为X轴正方向、由下巴指向额头的主方向为Z轴正方向建立三维直角坐标系;然后以Z轴为柱面初始对称轴、以人脸模型上所有顶点X坐标的平均值为柱面半径初始值，对人脸模型进行柱面拟合优化，得到柱面对称轴;对三维直角坐标系进行旋转变换，将Z轴旋转至与所述柱面对称轴平行，将人脸模型变换到旋转变换后的坐标系中； (2)定位鼻尖点 Y坐标值最大的点为鼻尖点； (3)估计对称平面 以鼻尖点为中心确定一个球形邻域，求该球形邻域内人脸模型上的顶点以YOZ平面为镜像平面的镜像点，对球形邻域内的顶点集合及其镜像点集进行迭代最近点配准，得到球形邻域内的顶点与其镜像点集间的点对应，从而确定人脸模型在该球形邻域内左右脸的对称点，由此估计对称平面； (4)提取径向曲线 以过鼻尖点且方向与对称平面法线方向和Z轴方向的外积方向相同的直线为旋转轴，以等角度间隔绕旋转轴转动对称平面，所述对称平面转过所述角度间隔时与人脸模型的交线即为径向曲线。4.根据权利要求1所述的三维人脸模型弱特征点的自动定位方法，其特征在于，所述参考人脸模型上的弱特征点采取手工选取方式确定。5.根据权利要求1?4所述的三维人脸模型弱特征点的自动定位方法，其特征在于，步骤3所述对参考人脸模型与目标人脸模型上对应位置的径向曲线进行配准的方法包括以下步骤: 步骤3.1在两条径向曲线上分别均匀采样一组等距离的离散点； 步骤3.2计算径向曲线在所述离散点处的曲率，分别将两条径向曲线上所有离散点的曲率组成特征序列； 步骤3.3采用动态时间规整算法对两个特征序列进行配准，建立两条径向曲线之间的点对应。
【文档编号】G06K9/00GK106022267SQ201610342047
【公开日】2016年10月12日
【申请日】2016年5月20日
【发明人】肖泽东, 程郑鑫, 白方域, 邓擎琼, 陈郁聪, 段福庆
【申请人】北京师范大学