专利名称：多模态信息结合的多姿态三维人脸面部五官标志点定位方法
技术领域：
本发明涉及一种多姿态三维人脸面部五官标志点定位方法，特别是一种多模态信 息结合的多姿态三维人脸面部五官标志点定位方法。
背景技术：
多姿态人脸五官标志点提取是人脸建模、表情分析及人脸识别中的关键技术，准 确高效的面部五官特征提取能够为上述应用奠定良好的基础。文 献"Guangpeng Zhang, Yunhong Wang. A 3D facial feature point localization method based on statistical shape model, in Proceeding of ICASSP2007，pp. 249-252. ”公开了一种多姿态三维人脸面部五官标志点定位方法。该方法 通过检测面部曲面形状变化，并建立五官分布统计模型对人脸五官标志点进行定位。首先， 采用曲面形状索引特征对人脸表面区域进行粗分割，分割出五官区域；其次采用面部五官 统计形状模型对分割后的区域进行特征点定位，五官区域中满足统计形状模型分割规律且 距离区域中心点最近的点即为最终定位的五官特征点，从而实现姿态不变特征点的提取。 但是，该方法存在以下问题首先，该方法中的曲面形状索引受曲面噪声点的影响较大，定 位准确率只有88. 3% ；其次，采用五官统计形状模型对姿态有着较大的依赖性，虽然能够克 服部分姿态影响，但是对于姿态变化较大的人脸模型，定位准确率仅仅达到57. 5%。
发明内容
为了克服现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的不 足，本发明提供一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法。该方法 采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清 晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行 估计和补偿，从而对姿态有着较强的鲁棒性。本发明解决其技术问题所采用的技术方案一种多模态信息结合的多姿态三维人 脸面部五官标志点定位方法，其特点是包括下述步骤(a)对人脸二维纹理图像进行特征点检测，将每幅人脸二维纹理图像对由前视位 置绕相机光轴方向变化产生的图像形变失真进行精确仿真，倾斜转换度由定向的t子采
样，仿真图像依照 =」7进行Φ旋转，在X方向采用标准偏差^r^的高斯函数对图像
COS^cVr -1
进行卷积操作，C = 0.8 ；式中，Φ是相机经度角，θ是相机纬度角；对形变变量通过相机经度角Φ和相机纬度角θ调节；采用相似度不变匹配方法对所有仿真图像进行比较，提取出的特征点中抽取最具 有代表性的五官特征描述点；(b)将人脸二维纹理图像中检测出的五官特征点数据U = Iui e R2 :i = 1,2,'",N}，R2表示二维数据空间，根据相应关系映射到三维人脸模型中；二维图像中非人脸区域内 检测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，将非人脸区域点从 三维人脸数据中剔除；对三维人脸模型数据集P {Pi，i = 1,2, ...,N}中的每一个顶点Pi， 计算由最大曲率和最小曲率、,,表示的三维人脸五官区域凹凸变化的结构描述信息脊线作为人脸五官的局部突变点集；式中，kthreshl, kthresh2分别为局部区域的门限曲率， 由遗传算法计算得出，得到人脸五官区域位置的脊线Udge和谷线Ivalley ；(c) Stepl 分别对不同姿态三维人脸数据集Mf*Mnf的突变点集合PF|mart|f* PG|marknf中的每一个标志点Pi, Fimar/, Pj, F|maAnf，建立形状编码，并比较Mf和Mnf特征点对间的 约束关系及=(p,,Fima/ PjMnf IU e 斤}；St印2 对R建立的点对约束，计算PF|maritf和PF|maAnf各点的匹配误差D (pijF|markf, Pj, F|maritnf)，统计出偏差阈值τ ；乂印3:去除PF|maAf*PF|maAnf中误差值大于偏差阈值τ的点，建立新的集合 PF|fflarkf/和PF|maAnf'，转&印2，若相邻两次阈值差小于给定误差值，迭代结束；Step4 :PF|markf'和PF|■广即是相应人脸数据模型中的五官标志点。本发明的有益效果是由于采用多模态信息结合进行三维人脸面部五官标志点定 位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势， 能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，对正面 三维人脸模型的五官标志点平均定位准确率达到98. 5%，对姿态变化较小人脸模型，定位 准确率由背景技术的88. 3%提高到91. 6% ；对于姿态变化较大的人脸模型，本发明具有显 著的优越性，定位准确率由背景技术的57. 5%提高到73. 5%，远远高于背景技术的定位准 确率。下面结合具体实施方式
对本发明作详细说明。
具体实施例方式本发明多模态信息结合的多姿态三维人脸面部五官标志点定位方法，首先对二维 人脸纹理图像采用仿射不变的AfTine-SIFT方法进行特征点检测；然后，利用映射关系将 二维空间中检测出的特征点投影到三维空间，对三维人脸模型数据集中的每一个顶点，计 算由最大、最小曲率表示的三维人脸五官区域凹凸变化的结构描述信息脊线和谷线，作为 人脸五官的局部突变点集；最后，建立不同姿态人脸特征点对间的约束关系，用最小二乘 法进行匹配优化，对匹配结果进行统计分析，得出某一偏差值，使绝大多数点均在该偏差值 以内，以此偏差值作为阈值滤除偏差大的点，建立新的集合，认为被滤出的点是非五官标志 点，直到相邻两次阈值之差小于给定的误差值，将此时集合中的点确定为人脸五官标志点。 由于本发明采用多模态信息结合的思路进行三维人脸面部五官标志点定位，借助二维图像 中五官结构轮廓清晰和三维人脸模型中五官标志区域较易凹凸分明的优势，能够不用预先 对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，实现了对多姿态三维人脸面部五官标志点的定位。1、基于二维纹理图像的特征点检测。人脸可以在三维空间中进行6自由度的运动，同时实际应用中不同相机获取到的 人脸图像由于相机光轴方向的变化而产生图像失真，从而使得人脸特征点的检测面临着更 大的困难。ASIFT(Affine Scale Invariant Feature Transform)在保留 SIFT 方法优良 性能，如对旋转、尺度缩放、平移、亮度变化保持不变性，对视角变化、噪声也保持一定程度 的稳定性的基础上，对仿射变化具有更强的不敏感性。ASIFT方法首先对由相机光轴方向 变化产生的图像失真进行精确仿真，然后，采用与SIFT相同的步骤进行特征点检测。ASIFT 能够对三个参数进行仿真，即尺度、相机经度角和相机纬度角，同时对旋转和平移参数进行 归一化，因此对仿射变换具有不变性。ASIFT方法具体实现步骤如下Stepl 将每幅图对由前视位置绕相机光轴方向可能引起的仿射形变进行仿真， 该形变由两个参数决定相机经度角Φ和纬度角Θ。图像经由依照倾斜转换度相关参数
t = 进行Φ旋转。对于数字图像而言，倾斜转换度由一个定向的t子采样来完成，该过
COS汐
程需要首先在X方向上使用一个有着标准偏差cr^v/^I的高斯函数来对图像进行卷积操作， 选取c = 0. 8。St印2 这些旋转和倾斜转换度变量通过一系列有限的纬度和经度角来调节，这些 参数的采样步骤保证仿真图像与其他由相机经度角Φ和纬度角θ产生的视图相似性较 强。St印3 所有仿真图像用相似度不变匹配方法SIFT来进行比较。ASIFT对仿射变换具有不变性，同时由于其保留了 SIFT本身对尺度、旋转、平移的 不变特性，因此ASIFT能够较为鲁棒地检测同一个体的不同姿态人脸图像对间相匹配的特 征点对。但是由ASIFT提取的大多数特征点在人脸五官描述方面并没有实际意义，对于人 脸识别所需要的最为重要的五官描述标志点，绝大多数特征点为冗余特征。为了有效地进 行人脸分析，必须从提取出的特征点中抽取最具有代表性的五官特征描述点。2、五官局部突变描述。人脸库中的二维图像数据U= Iui e R2! = 1,2,-,N}与三维网格数据V = Ivj =(Xj，yj，Zj) e R3 :j = 1,2, -,Μ}存在映射关系，记为 ψ =Ui — Vj，/ = l，2,...,iV|v, ￠0，R2， R3分别表示二维、三维数据空间。将二维图像的特征点向三维空间进行映射，二维图像中非 人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，由此可 以将非面部区域点从三维人脸数据中自动剔除。以P{Pi，i = 1,2,...,N}表示三维人脸数据集合，对该数据集中的每一个顶点Pi， 其最大和最小曲率分别表示为年,,和，能够描述曲面结构的重要信息，而由最大最小曲率 计算出的三维曲面上的脊线和谷线能够较好地描述人脸五官区域的凹凸变化，分别以lHdge 和Ivalley表示，其计算原则为Indge = {ρ,, Α^ > kthKM)\Pl e ρ}(1) Imlley ={p if(k2pi <Kthreshl)\ρ, eρ}(2)
其中kthreshl、kthresh2分别为局部区域的门限曲率，其值可以由遗传算法计算得出。 由以上谷线和脊线的计算原则，能分别得到人脸五官区域位置的谷线和脊线。假设映射到三维空间的面部区域特征点集由尋PF{PFJ，j = 1,2,...,M;M<N}表示，在该集合中按照式(1)
和⑵计算满足脊线和谷线的点，并保留相应的脊线和谷线。令特征点集Pf内的脊线和谷 线分别标记为PFki_，PF|valley，并将两集合合并为PF|mart，表示人脸五官的局部突变点集。3、迭代约束的五官标志点定位。为了从五官局部突变点集合PF|marit中确定最终的标志点，需要建立不同姿态人脸 数据集中五官标志点间的约束关系，并采用迭代优化的方式进行修正，达到最优匹配。算法 思想为建立不同姿态人脸特征点对间的约束关系，然后用最小二乘法进行匹配优化，对匹 配结果进行统计分析，得出某一偏差值τ，使绝大多数点均在该偏差值以内，以此偏差值作 为阈值滤除偏差大的点，建立新的集合PF|maA'，认为被滤出的点是非五官标志点，直到相 邻两次阈值之差小于给定的误差值，将此时集合PF|maA'中的点确定为人脸五官标志点。算法过程如下Stepl 假设不同姿态三维人脸数据集Mf,分别对Mf和Mnf的突变点集合PF|martf和 PF|fflarknf中的每一个标志点Pi, Fimar/，Pj, Flmarkni,建立形状编码，并比较Mf和Mnf特征点对间的 约束关系及={p,,Flmo/ e PjMnf I ij e N、；Step2 对R建立的点对约束，计算PF|maritf和PF|maAnf各点的匹配误差D (pijF|markf, Pj, F|maritnf)，统计得出偏差阈值τ ；Step3 去除PF|maAf和PF|martnf中误差值大于阈值τ的点，建立新的集合PF|martf ‘ 和PF|maAnf ‘，转&印2，若相邻两次阈值差小于给定误差值，迭代结束；Srep4:记此时的PF|martf'和PF|maAnf'即为相应人脸数据模型中的五官标志点。
权利要求
1. 一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，其特征在于包括 下述步骤(a)对人脸二维纹理图像进行特征点检测，将每幅人脸二维纹理图像对由前视位置绕 相机光轴方向变化产生的图像形变失真进行精确仿真，倾斜转换度由定向的t子采样，仿真图像依照 = 进行Φ旋转，在χ方向采用标准偏差^^的高斯函数对图像进行卷 cos 汐cVr -1积操作，c = 0.8 ；式中，Φ是相机经度角，θ是相机纬度角；对形变变量通过相机经度角Φ和相机纬度角θ调节；采用相似度不变匹配方法对所有仿真图像进行比较，提取出的特征点中抽取最具有代 表性的五官特征描述点；(b)将人脸二维纹理图像中检测出的五官特征点数据U= Iui e R2 :i = 1,2,…，N}， R2表示二维数据空间，根据相应关系映射到三维人脸模型中；二维图像中非人脸区域内检 测出的特征点在三维人脸数据中对应点的特征值为0，即非人脸区域，将非人脸区域点从三 维人脸数据中剔除；对三维人脸模型数据集P{Pi，i = 1,2,...,N}中的每一个顶Api，计算 由最大曲率和最小曲率、,,表示的三维人脸五官区域凹凸变化的结构描述信息脊线Udge和Ivalley
全文摘要
本发明公开了一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法，用于解决现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的技术问题。技术方案是采用多模态信息结合进行三维人脸面部五官标志点定位，借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势，能够不用预先对人脸模型的姿态进行估计和补偿，从而对姿态有着较强的鲁棒性，对正面三维人脸模型的五官标志点平均定位准确率达到98.5％，对姿态变化较小人脸模型，定位准确率由背景技术的88.3％提高到91.6％；对于姿态变化较大的人脸模型，本发明具有显著的优越性，定位准确率由背景技术的57.5％提高到73.5％。
文档编号G06K9/00GK102081733SQ201110007180
公开日2011年6月1日 申请日期2011年1月13日 优先权日2011年1月13日
发明者张艳宁, 林增刚, 梁君, 郗润平, 郭哲 申请人:西北工业大学