融合灰度信息和深度信息的多模态人脸识别装置及方法
【技术领域】
[0001] 本发明涉及人脸识别技术领域，尤其涉一种融合灰度信息和深度信息的多模态人 脸识别装置及方法。
【背景技术】
[0002] 三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素 影响较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升 之后，很多学者都将他们的研宄投入到该领域中。
[0003] CN20101025690提出了三维弯曲不变量的相关特征用来进行人脸特性描述。该方 法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征； 对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用K最 近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因 此在效率上限制了该方法的进一步应用；
[0004] CN200910197378提出了一种全自动三维人脸检测和姿势纠正的方法。该方法通过 对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提 出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根 据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系， 并据此自动地进行人脸姿势的纠正应用。该专利目的在于对三维人脸数据的姿态进行估 计，属于三维人脸识别系统的数据预处理阶段。
[0005] 人脸灰度图像容易受到光照变化的影响，而人脸深度图像容易受到数据采集精度 以及表情变化等影响，这些因素在一定程度上影响了人脸识别系统的稳定性及准确性。
[0006] 因此多模态融合系统越来越受到人们的关注。多模态系统通过进行多模态数据的 采集，可以利用每个模态数据的优点，并通过融合策略来克服单模态系统的某些内在弱点 (如灰度图像的光照，深度图像的表情），有效地提升了人脸识别系统的性能。
【发明内容】
[0007] 为了解决上述技术问题，多模态融合系统越来越受到人们的关注。多模态系统通 过进行多模态数据的采集，可以利用每个模态数据的优点，通过融合策略来克服单模态系 统的内在弱点（如灰度图像的光照，深度图像的表情），有效的提升了人脸识别系统的性 能，本发明采用如下技术方案来解决上述技术问题：
[0008] 一种融合灰度信息和深度信息的多模态人脸识别装置，包括对于灰度信息进行人 脸识别的计算单元；用于对深度信息进行人脸识别的计算单元；基于多模态人脸识别分数 进行融合的计算单元；对数据进行分类的分类器计算单元。
[0009] 优选的，在上述的一种融合灰度信息和深度信息的多模态人脸识别装置中，所述 对于灰度信息进行人脸识别的计算单元包括：人眼检测单元、二维数据配准计算单元、灰度 人脸特征提取单元和灰度人脸识别分数计算单元。
[0010] 优选的，在上述的一种融合灰度信息和深度信息的多模态人脸识别装置中，对深 度信息进行人脸识别的计算单元包括：鼻尖检测器单元、三维数据配准计算单元、深度人脸 特征提取单元和深度人脸识别分数计算单元。
[0011] 本发明还公开一种一种融合灰度信息和深度信息的多模态人脸识别方法，包括如 下步骤：
[0012] A.对人脸灰度信息进行识别；
[0013] B.对人脸深度信息进行识别；
[0014] C.利用特征层融合策略，在获取各数据源特征后，将所有特征拼接在一起形成特 征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑 选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类 器计算出匹配分数，以此实现多模态人脸识别。
[0015] 优选的，在上述的一种基于灰度和深度信息的多层融合的多模态脸识别方法中， 所述步骤A包括如下步骤：
[0016] Al.特征区域定位，使用人眼检测器获取人眼区域，所述人眼检测器为层级分类器 H，经如下算法得到：
[0017] 给定训练样本集合，弱空间分类器々，其中Xie X，为样本向量，，为分类标签， 为样本总数；初始化样本概率分布；
[0018] ，对中的每个弱分类器作如下操作：
[0019] 对样本空间X进行划分，得到X1, X2, . . .，Xn ;
[0020]
【主权项】
1. 一种融合灰度信息和深度信息的多模态人脸识别装置，其特征在于：包括对于灰度 信息进行人脸识别的计算单元；用于对深度信息进行人脸识别的计算单元；基于多模态人 脸识别分数进行融合的计算单元；对数据进行分类的分类器计算单元。
2. 根据权利要求1所述的一种融合灰度信息和深度信息的多模态人脸识别装置，其特 征在于，所述对于灰度信息进行人脸识别的计算单元包括：人眼检测单元、二维数据配准计 算单元、灰度人脸特征提取单元和灰度人脸识别分数计算单元。
3. 根据权利要求1所述的一种融合灰度信息和深度信息的多模态人脸识别装置，其特 征在于，多数对深度信息进行人脸识别的计算单元包括：鼻尖检测器单元、三维数据配准 计算单元、深度人脸特征提取单元和深度人脸识别分数计算单元。
4. 一种融合灰度信息和深度信息的多模态人脸识别方法，其特征在于，包括如下步 骤： A. 对人脸灰度彳目息进行识别； B. 对人脸深度信息进行识别； C. 利用特征层融合策略，在获取各数据源特征后，将所有特征拼接在一起形成特征池， 特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对 于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算 出匹配分数，以此实现多模态人脸识别。
5. 根据权利要求4所述的一种融合灰度信息和深度信息的多模态人脸识别方法，其特 征在于，所述步骤A包括如下步骤： A1.特征区域定位，使用人眼检测器获取人眼区域，所述人眼检测器为层级分类器H， 经如下算法得到： 给定训练样本集合，弱空间分类器I，其中Xie X，为样本向量，，为分类标签，为样 本总数；初始化样本概率分布； ，对中的每个弱分类器作如下操作： 对样本空间x进行划分，得到&，X2, ...Xn;
，其中为一小正常数； 计算归一化因子，
在弱分类器空间中选择一个，使得最小化
ht=argminZ 更新训练样本概率分布
，其中为 归一化因子，使得为一个概率分布； 最终强分类器H为
A2.使用获得的人眼区域位置进行配准，利用LBP算法处理人眼位置数据获得LBP直 方图特征，取值公式为
将该LBP直方图特征作为灰度图像的特征表述。
6. 根据权利要求4所述的一种基于弧度和深度信息的多层融合的多模态人脸识别方 法，其特征在于，所述步骤B包括如下步骤： B1.特征区域定位，判定人脸鼻尖区域位置； B2.对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配 准，配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离； B3.按照深度信息进行深度图像的获取，利用滤波器对于映射后的深度图像中的噪音 点进行补偿去噪，最后对表情鲁棒区域进行选择，得到最终的三维人脸深度图像； B4.提取是三维深度图像的视觉词典直方图特征向量，当测试人脸图像输入后，经过Gabor滤波后，将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比 较，通过距离匹配的方式，把它映射到与之距离最为接近的基元上，提取出原始深度图像的 视觉词典直方图特征，利用该特征输入深度图像分类器获取匹配分数。
7. 根据权利要求6所述的一种融合灰度信息和深度信息的多模态人脸识别方法，其特 征在于，所述步骤B1具体包括 步骤1 :确定阈值，确定域平均负有效能量密度的阈值，定义为thr; 步骤2 :利用深度信息选取待处理数据，利用数据的深度信息，提取在一定深度范围内 的人脸数据作为待处理数据； 步骤3 :法向量的计算，计算由深度信息选取出的人脸数据的方向量信息； 步骤4:区域平均负有效能量密度的计算，按照区域平均负有效能量密度的定义，求出 待处理数据中个连通域的平均负有效能量密度，选择其中密度值最大的连通域； 步骤5 :判定是否找到鼻尖区域，当前区域阈值大于预定义的thr时，该区域即为鼻尖 区域，否则回到步骤1重新开始循环。
8. 根据权利要求6所述的一种融合灰度信息和深度信息的多模态人脸识别方法，其特 征在于，所述ICP算法主要步骤包括： 确定匹配数据集合对，从参考模板中的三维鼻尖数据选取参考数据点集P，再利用点对 点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q; 计算刚性运动参数，计算旋转矩阵R和平移向量t 当X行列式值为1时，R=X; t=P-R*Q 根据刚性变换后的数据集RQ+t和参考数据集P之间的误差判断三维数据集是否配准， 配准之后通过下式计算输入数据与注册库中的三维人脸模型数据之间的欧式距离
其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。
9.根据权利要求6所述的一种融合灰度信息和深度信息的多模态人脸识别方法，其特 征在于，步骤B4具体为： 将三维人脸深度图像分割成一些局部纹理区域； 对于每个GaBor滤波响应向量，按照位置的不同将其映射到其对应的视觉分词典的词 汇中，并依此为基础建立视觉词典直方图向量作为三维深度人脸的特征表述。
【专利摘要】本发明公开一种融合灰度信息和深度信息的多模态人脸识别装置及方法，主要包括步骤：对人脸灰度信息进行识别；对人脸深度信息进行识别；利用特征层融合策略，在获取各数据源特征后，将所有特征拼接在一起形成特征池，特征池中的每一个特征构建一个弱分类器，然后利用Adaboost算法，在特征池中挑选出对于分类最为有效的特征，最后基于多模态特征层融合得到的特征，利用最近邻分类器计算出匹配分数，以此实现多模态人脸识别。采用本发明的方案，多模态系统通过进行二维灰度信息和三维深度信息的采集，利用二维灰度信息和三维深度信息的优点，通过融合策略来克服单模态系统的某些内在弱点，有效地提升了人脸识别系统的性能，使得人脸识别更加准确快捷。
【IPC分类】G06K9-00, G06K9-62
【公开号】CN104778441
【申请号】CN201510006669
【发明人】夏春秋
【申请人】深圳市唯特视科技有限公司
【公开日】2015年7月15日
【申请日】2015年1月7日