基于深度图像的三维人脸描述方法及装置制造方法
【专利摘要】一种基于深度图像的三维人脸描述装置及其方法，该装置包括：用于选取表情鲁棒区域的选择单元；用于存储盖博滤波器系数的第一存储单元；利用盖博滤波器系数对选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；用于存储三维人脸数据的视觉词典的第二存储单元；以及获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与视觉词典进行直方图映射的映射算单元。本发明通过盖博滤波提取三维人脸数据细节纹理，通过直方图映射获取三维人脸数据全局属性，通过视觉词典方式把细节纹理的描述性和直方图的鲁棒性结合起来，兼顾深度三维人脸数据细节纹理有效性和全局纹理鲁棒性，有效提升三维人脸特征向量的描述能力。
【专利说明】基于深度图像的三维人脸描述方法及装置
【技术领域】
[0001]本发明涉及人脸识别【技术领域】，尤其是指基于深度图像的三维人脸描述方法及装置。
【背景技术】
[0002]三维人脸的特征描述是诸如三维人脸识别、三维人脸种族分类以及情感状态分析等众多应用的基础性工作。因此，在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多研究者都将研究重点投入到该领域中。
[0003]其中，于2010年12月29日公开的201010256907.6号中国发明专利申请提出了
采用三维弯曲不变量的相关特征用来进行人脸特性描述的方法，该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。
[0004]而2011年5月4日公开的200910197378.4号中国发明专利申请则提出了一种全自动三维人脸检测和姿势纠正的方法，该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该方法目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。
[0005]有效而鲁棒的描述三维人脸数据是三维人脸领域中许多应用的基础性工作。因此，该领域的初始工作大部分是利用三维数据的信息:如曲率、深度等数据对人脸进行描述，但是由于三维数据的采集中有很多数据的噪点，因此曲率等特征数据由于其本身对于噪音的敏感特性，使得其作为三维人脸的特征描述向量在识别结果上精度不高。在将三维数据映射到深度图数据后，很多二维人脸的表象特征开始应用到该领域，如主成分分析(PCA)以及盖博(Gabor)滤波器特征；但是这些特征也有各自的缺点:(I)对于PCA特征，由于其隶属于全局的表象特征，因此对于三维数据的细节纹理描述能力不足(2)对于盖博滤波器特征，由于三维数据的噪音问题，导致其对于三维人脸数据的描述能力依赖于获取的三维人脸数据的质量。
【发明内容】
[0006]本发明所要解决的技术问题在于，提供一种基于深度图像的三维人脸描述装置，以兼顾深度三维人脸数据细节纹理有效性以及全局纹理鲁棒性。
[0007]本发明进一步所要解决的技术问题在于，提供一种基于深度图像的三维人脸描述方法，以兼顾深度三维人脸数据细节纹理有效性以及全局纹理鲁棒性。[0008]为解决上述技术问题，本发明提供如下技术方案:一种基于深度图像的三维人脸描述装置，其包括:
用于选取原始三维人脸数据的表情鲁棒区域的选择单元；
用于存储不同尺度和方向的盖博滤波器系数的第一存储单元；
利用不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元；
用于存储训练获得的三维人脸数据的视觉词典的第二存储单元；以及获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射的映射算单元。
[0009]另一方面，本发明还提供一种基于深度图像的三维人脸描述方法，包括如下步骤:
选择步骤，由选择单元选取三维人脸数据表情鲁棒区域；
盖博响应计算步骤，第一数据计算单元利用预定义好并存储于第一存储单元中的不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算；
直方图映射步骤，由第二计算单元获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射，从而得到视觉词典直方图。
[0010]进一步地，所述选择步骤中，选择单元对原始三维人脸数据的表情鲁棒区域进行截取，提取人脸到鼻子的局部有效区域，并直接过滤额头、嘴唇以及嘴角区域。
[0011]进一步地，所述盖博响应计算步骤中，所述第一数据计算单元基于深度三维人脸数据，提取其表象特征，并利用预定义好的盖博滤波器系数，对三维人脸深度图像进行卷积运算，对每个深度图像像素获取得到其对应的盖博滤波响应向量。
[0012]进一步地，所述盖博响应计算步骤中，所述盖博滤波器系数的定义如下:
【权利要求】
1.一种基于深度图像的三维人脸描述装置，其特征在于，其包括: 用于选取原始三维人脸数据的表情鲁棒区域的选择单元； 用于存储不同尺度和方向的盖博滤波器系数的第一存储单元； 利用不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算的盖博响应计算单元； 用于存储训练获得的三维人脸数据的视觉词典的第二存储单元；以及 获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射的映射算单元。
2.一种基于深度图像的三维人脸描述方法，其特征在于，包括如下步骤: 选择步骤，由选择单元选取三维人脸数据表情鲁棒区域； 盖博响应计算步骤，第一数据计算单元利用预定义好并存储于第一存储单元中的不同尺度和方向的盖博滤波器系数对选择单元所选取的三维人脸数据进行不同尺度和方向的响应计算； 直方图映射步骤，由第二计算单元获得第一数据计算单元通过计算得到的每个像素获得的盖博响应向量，并将其与从第二存储单元中读取到的视觉词典进行直方图映射，从而得到视觉词典直方图。
3.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述选择步骤中，选择单元对原始三维人脸数据的表情鲁棒区域进行截取，提取人脸到鼻子的局部有效区域，并直接过滤额头、嘴唇以及嘴角区域。
4.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述盖博响应计算步骤中，所述第一数据计算单元基于深度三维人脸数据，提取其表象特征，并利用预定义好的盖博滤波器系数，对三维人脸深度图像进行卷积运算，对每个深度图像像素获取得到其对应的盖博滤波响应向量。
5.如权利要求2或4所述的基于深度图像的三维人脸描述方法，其特征在于，所述盖博响应计算步骤中，所述盖博滤波器系数的定义如下:
6.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述方法还包括获取视觉词典步骤，利用训练集中的三维人脸图像的盖博响应向量集合，通过聚类算法，以其聚类中心作为视觉词汇，将所有的词汇汇集在一起获取视觉词典。
7.如权利要求6所述的基于深度图像的三维人脸描述方法，其特征在于，所述聚类算法为K均值算法，包括如下步骤: 步骤1，对于数据对象集，任意选取K个对象作为初始的类中心；步骤2，根据类中对象的平均值，将每个对象重新赋给最相似的类； 步骤3，更新类的平均值，即计算每个类中对象的平均值； 步骤4，跳回步骤2，循环进行步骤2和步骤3，直至所得平均值不再发生变化即停止。
8.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述第二储存单元中所储存的盖博响应向量组是min的数据矩阵，其中，m为获取的聚类中心个数，η为盖博响应向量的维数。
9.如权利要求2所述的基于深度图像的三维人脸描述方法，其特征在于，所述直方图映射步骤中，通过计算每个像素盖博响应后的向量与其距离最近的视觉词汇，构建基于视觉词典的直方图描述，第二储存单元中存储的聚类中心为m个，则得到的对于三维人脸数据的直方图描述向量也为m维。
10.如权利要求9所述的基于深度图像的三维人脸描述方法，其特征在于，所述直方图映射步骤的具体步骤如下: 将三维人脸深度图像分割成一些局部纹理区域； 对每个盖博滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达； 最近邻分类器被用来作为最后的人脸识别，并以LI距离作为距离度量，所述LI距离的
定义为
【文档编号】G06K9/46GK103971122SQ201410182357
【公开日】2014年8月6日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】夏春秋 申请人:深圳市唯特视科技有限公司