一种基于三维数据的人脸识别系统的制作方法
【专利摘要】本发明公开一种基于三维数据的人脸识别系统，通过在点云层对三维数据质量进行初步评估，检测鼻尖区域，以鼻尖区域作为基准数据进行配准，进行深度人脸图像映射，再次评估图像质量后，进行深度人脸数据进行纹理修复，最后按照训练好的三维人脸视觉词典进行三维数据的视觉词典直方图向量提取，利用分类器实现三维人脸识别。本发明提高了人脸数据的质量和三维人脸识别的效率。
【专利说明】-种基于H维数据的人脸识别系统 所属技术领域
[0001] 本发明设及一种人脸识别系统，尤其设及一种=维深度人脸数据的人脸识别系 统。
【背景技术】
[0002] =维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态W及表情等因素 影响较小等优点，因此在=维数据采集技术飞速发展W及=维数据的质量和精度大大提升 之后，很多学者都将他们的研究投入到该领域中。
[0003] 现阶段，=维人脸识别是=维人脸领域中许多应用的基础性工作。该领域的初始 工作大部分是利用=维数据的信息:如曲率，深度等等对人脸进行描述，但是由于=维数据 的采集中有很多数据的噪点，因此曲率等特征由于其本身对于噪音的敏感特性，使得其作 为=维人脸的特征描述向量在识别结果上精度不高;后面再将=维数据映射到深度图数据 后，很多二维人脸的表象特征开始应用到该领域，如主成分分析(PCA) W及Gabor滤波器特 征;但是运些特征也有各自的缺点:对于PCA特征，由于其隶属于全局的表象特征，因此对于 S维数据的细节纹理描述能力不足;对于Gabor滤波器特征，由于S维数据的噪音问题，导 致其对于=维人脸数据的描述能力依赖于获取的=维人脸数据的质量。
[0004] CN Pat. No. 201010256907提出了S维弯曲不变量的相关特征用来进行人脸特性 描述。该方法通过编码=维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量 相关特征;对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并 运用K最近邻分类方法对=维人脸进行识别。但是由于提取变量相关特征时需要复杂的计 算量，因此在效率上限制了该方法的进一步应用。
[0005] CN化t.No.200910197378提出了一种全自动S维人脸检测和姿势纠正的方法。该 方法通过对人脸=维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糖地检测人脸曲 面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸 曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸 坐标系，并据此自动地进行人脸姿势的纠正应用。该专利目的在于对=维人脸数据的姿态 进行估计，属于=维人脸识别系统的数据预处理阶段。
[0006] 本发明据=维点云的特性，提取=维人脸区域的特征区域进行定位;然后依据此 特殊区域首先判断=维点云是否包含合格的=维人脸，在点云层对=维数据质量进行初步 评估;如果存在合格的鼻尖区域，则W此区域作为基准数据进行配准;数据配准后根据预设 的x、y、z分辨率和位置信息将点云数据映射成深度图像;得到人脸深度图像后再次进行人 脸数据质量评估;评估合格后的深度人脸数据进行纹理修复，实现数据去噪W及深度纹理 进一步优化;最后按照训练好的=维人脸视觉词典进行=维数据的视觉词典直方图向量提 取，利用分类器实现=维人脸识别。本发明目的在于给出完整的=维人脸识别解决方案，涵 盖:数据特征区域提取、数据配准、数据预处理、数据质量评估、特征提取W及数据分类。
【发明内容】
[0007] 为了提出完整的=维人脸识别解决方案，解决上述技术问题，本发明公开一种基 于S维数据的人脸识别系统。
[0008] 一种基于=维数据的人脸识别系统，包括维人脸点云数据输入计算单元;人脸 特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度人脸图像评 估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;=维人脸识别计算 单元。
[0009] 本发明包括如下步骤：
[0010] A.S维人脸点云数据的输入；
[0011] B.对于=维人脸点云数据中人脸特定区域检测；
[0012] C.对于检测到的人脸特定区域进行数据配准；
[0013] D.对于配准后的=维人脸点云数据进行深度人脸数据映射；
[0014] E.人脸深度数据质量评估计算单元；
[0015] F.对于深度人脸数据进行深度人脸纹理修复；
[0016] G.人脸深度数的特征提取；
[0017] H.对于深度人脸数据进行=维人脸识别。
[0018] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤A支持各类= 维点云采集设备的数据输入。
[0019] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤B包括如下步 骤：
[0020] 步骤一:确定域平均负有效能量密度的阔值，定义为thr;
[0021 ]步骤二:利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数 据；
[0022] 步骤计算由深度信息选取出的人脸数据的法向量信息；
[0023] 步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平 均负有效能量密度，选择其中密度值最大的连通域；
[0024] 步骤五：当该区域的阔值大于预定义的thr时，该区域即为鼻尖区域，否则回到步 骤一继续。
[0025] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤C，包括如下 步骤：
[0026] 步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；
[0027] 步骤二:得到配准的参考区域后，计算3*3的矩阵，公式如下：
[002引
[0029] 步骤
计算旋转矩阵R和平移矩阵t，当X行列值为1时，R=X，t = P-R*Q;
[0030] 步骤四：获取两个=维数据点集之间的=维空间变换矩阵，从而实现两个点集的 配准。
[0031] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤D，获得的人 脸鼻尖区域作为深度图像数据的中屯、位置的参考基准，其空间坐标系的X轴和y轴信息映射 为人脸深度图像的图像坐标系信息;具体计算过程如下：
[0032] 鼻尖点为N(x，y，z)，则空间点P(xl，yl，zl)的图像坐标为：
[0033] Ix= (xl-x)+wid1:h/2
[0034] ]；y= (yl-y)+hei 曲 t/2
[0035] 其中wi化h为深度图像的宽度，hei曲t为深度图像的高度；
[0036] 同时，根据S维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系 的Z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：
[0037]
[0038] 完成将=维点云数据映射为深度人脸图像的数据映射。
[0039] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤E，包括深度 特征脸的计算和深度图像数据质量评估，包括如下步骤：
[0040] 深度特征脸的计算步骤如下：
[0041] 步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向 量，将运些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸 过后的人脸列向量的维度就是D = M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的 维度就是D*N;
[0042] 步骤二:将训练集中的脚长深度人脸图像在对应维度上相加然后求平均，就可W得 到深度图像的平均脸;将脚长深度图像都减去深度平均脸，得到差值图像数据矩阵O ;
[0043] 步骤=:对协方差矩阵C = O * O T进行特征值分解;根据占据所有特征值能量的比 率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；
[0044] 步骤四：深度人脸图像都可W投影到运些特征脸张成的空间中进行近似计算。
[0045] 深度图像数据质量评估计算过程如下：
[0046] 该过程分为训练和评估两个阶段:在训练阶段，如图5(a)所示，训练出深度人脸图 像的特征脸，W此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像， 将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；
[0047]
[004引然后将近似图像与原始图像进行对比，如果差值大于某个阔值，则说明该深度图 像不符合运些深度特征脸代表的类型，评估不通过;否则则认为该图像符合运些深度特征 脸代表的类巧.评化诵讨，
[0049]
[0050] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤F，包括如下 步骤：
[0051] 步骤一:对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空桐 W及数据的凸起，在深度图像中则表现为人脸深度数据中的零值W及局部纹理的深度凸起 值。
[0052]步骤二:进行深度数据去噪本发明中采用邻域深度有效值滤波，对上述深度人脸 图像中的噪音进行过滤，该滤波表达式可W描述为：
[0化3]
[0054] 其中当I(x-m，y-n)为深度图像有效点时，值为W(A--AVV-H) = C-; 当I (x-m，y-n)为深度图像无效点时，值为0。
[0055] 步骤在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度 图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于）。双边滤波 器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由 像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组 合：
[0056:
[0化7:
[0058:
[0059:
[0060；
[0061；
[0062；
[0063] 通过运种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据 噪音的过程中也可W保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的 修复W及人脸深度特性信息的增强。
[0064] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤G，分为视觉 词汇训练阶段和视觉字典直方图特征提取阶段，包括如下步骤：
[0065] 在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor 滤波器滤波，通过运种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将 运些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的 聚类中屯、为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）； 将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
[0066] 在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将 任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配 的方式，把它映射到与之距离最为接近的基元上。通过运种方式，就可W提取出原始深度图 像的视觉词典直方图特征。
[0067] 优选的，在上述的一种基于=维数据的人脸识别系统中，所述的步骤H，包括如下 步骤：
[0068] 步骤一:将=维人脸深度图像分割成一些局部纹理区域；
[0069] 步骤二:对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉 分析词典的词汇中，并W此为基础建立视觉词典直方图向量作为=维人脸的特征表达；
[0070] 步骤最近邻分类器被用来作为最后的人脸识别，其中Ll距离被选作为距离度 量，获得最终的分类结果。
[0071] 与现有技术相比，本发明具有如下技术效果：
[0072] 本发明据=维点云的特性，提取=维人脸区域的特征区域进行定位;然后依据此 特殊区域首先判断=维点云是否包含合格的=维人脸，在点云层对=维数据质量进行初步 评估;如果存在合格的鼻尖区域，则W此区域作为基准数据进行配准;数据配准后根据预设 的x、y、z分辨率和位置信息将点云数据映射成深度图像;得到人脸深度图像后再次进行人 脸数据质量评估;评估合格后的深度人脸数据进行纹理修复，实现数据去噪W及深度纹理 进一步优化;最后按照训练好的=维人脸视觉词典进行=维数据的视觉词典直方图向量提 取，利用分类器实现=维人脸识别。提高了人脸数据的质量和=维人脸识别的效率。
【附图说明】
[0073] 图1是本发明系统流程图；
[0074] 图2是本发明鼻尖检测模块示意图；
[0075] 图3是本发明数据配准模块示意图；
[0076] 图4是本发明数据空间映射示意图；
[0077] 图5是本发明人脸深度图像质量评估流程示意图；
[0078] 图6是本发明深度纹理修复示意图；
[0079] 图7是本发明特征提取示意图；
[0080] 图8是本发明人脸识别流程示意图；
[0081] 图9是本发明系统框图。
【具体实施方式】
[0082] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0083] 本发明公开一种基于=维数据的人脸识别系统，包括维人脸点云数据输入计 算单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深 度人脸图像评估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;=维 人脸识别计算单元。
[0084] 如图1所示，本发明系统流程如下：
[0085] A.S维人脸点云数据的输入；
[0086] B.对于=维人脸点云数据中人脸特定区域检测；
[0087] C.对于检测到的人脸特定区域进行数据配准；
[0088] D.对于配准后的=维人脸点云数据进行深度人脸数据映射；
[0089] E.人脸深度数据质量评估计算单元；
[0090] F.对于深度人脸数据进行深度人脸纹理修复；
[0091] G.人脸深度数的特征提取；
[0092] H.对于深度人脸数据进行=维人脸识别。
[0093] 如图2所示，在上述的一种基于=维数据的人脸识别系统中人脸特定区域检测计 算单元，图2(a)中，由于=维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他 位置，因此本发明中人脸特征区域采用的是鼻尖区域;图2(b)是鼻尖区域定位的流程图，包 括如下步骤：
[0094] 步骤一:确定域平均负有效能量密度的阔值，定义为thr;
[00%]步骤二:利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数 据；
[0096] 步骤计算由深度信息选取出的人脸数据的法向量信息；
[0097] 步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平 均负有效能量密度，选择其中密度值最大的连通域；
[0098] 步骤五：当该区域的阔值大于预定义的thr时，该区域即为鼻尖区域，否则回到步 骤一继续。
[0099] 如图3所示，在上述的数据配准计算单元，包括如下步骤：
[0100] 步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据；
[0101] 步骤二:得到配准的参考区域后，计算3*3的矩阵，公式如下：
[0102]
[0103] 步骤计算旋转矩阵R和平移矩阵t，当X行列值为1时，R=X，t = P-R*Q;
[0104] 步骤四：获取两个=维数据点集之间的=维空间变换矩阵，从而实现两个点集的 配准。
[0105] 如图4所示，在上述的深度人脸数据映射计算单元，该计算单元检测获得的人脸鼻 尖区域作为深度图像数据的中屯、位置的参考基准，其空间坐标系的X轴和y轴信息映射为人 脸深度图像的图像坐标系信息;具体计算过程如下：
[0106] 鼻尖点为N(X，y，Z)，则空间点P(Xl，y 1，Z1)的图像坐标为：
[0107] Ix=(xl-x)+wid 化/2
[0108] ]；y= (yl-y)+hei 曲 t/2
[0109] 其中Wi化h为深度图像的宽度，hei曲t为深度图像的高度；
[0110] 同时，根据S维点云数据的深度精度预先设定深度分辨率Zref,作为将空间坐标系 的Z轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：
[0111]
[0112] 完成将=维点云数据映射为深度人脸图像的数据映射。
[0113] 如图5所示，其中（a)为深度人脸图像的特征脸示意图，深度特征脸的计算过程可 W总结为：
[0114] 步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向 量，将运些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸 过后的人脸列向量的维度就是D = M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的 维度就是D*N;
[0115] 步骤二:将训练集中的脚长深度人脸图像在对应维度上相加然后求平均，就可W得 到深度图像的平均脸;将脚长深度图像都减去深度平均脸，得到差值图像数据矩阵O ;
[0116] 步骤S:对协方差矩阵C = O *巫T进行特征值分解;根据占据所有特征值能量的比 率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；
[0117] 步骤四：深度人脸图像都可W投影到运些特征脸张成的空间中进行近似计算。
[0118] 其中（b)为本发明中的深度图像数据质量评估模块的算法流程，该模块分为训练 和评估两个阶段：
[0119] 在训练阶段，如图5(a)所示，训练出深度人脸图像的特征脸，W此为基础张成深度 人脸图像空间;在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一 点，得到利用深度特征脸表征的近似深度人脸图像；
[0120]
[0121] 然后将近似图像与原始图像进行对比，如果差值大于某个阔值，则说明该深度图 像不符合运些深度特征脸代表的类型，评估不通过;否则则认为该图像符合运些深度特征 脸代表的类型，评估通过；
[0122]
[0123] 如图6在上述的深度人脸纹理修复计算单元，包括如下步骤：
[0124] 步骤一:对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空桐 W及数据的凸起，在深度图像中则表现为人脸深度数据中的零值W及局部纹理的深度凸起 值。
[0125] 步骤二:进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人 脸图像中的噪音进行过滤，该滤波表达式可W描述为：
[0126]
[0127] 其中当I (x-m，y-n)为深度图像有效点时，值为 当I (x-m，y-n)为深度图像无效点时，值为0。
[0128] 步骤=:在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度 图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于）。双边滤波 器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由 像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组 合：
[0129]
[0130]
[0131]
[0132]
[0133]
[0134]
[0135]
[0136] 通过运种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据 噪音的过程中也可W保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的 修复W及人脸深度特性信息的增强。
[0137] 如图7所示为本发明中的对人脸深度图像数据进行视觉词典直方图特征提取的示 意图该过程可W分为视觉词汇训练阶段和视觉字典直方图特征提取阶段。
[013引在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor 滤波器滤波，通过运种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将 运些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的 聚类中屯、为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）； 将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
[0139] 在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将 任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配 的方式，把它映射到与之距离最为接近的基元上。通过运种方式，就可W提取出原始深度图 像的视觉词典直方图特征。
[0140] 如图8所示为本发明中的人脸识别流程示意图，对纹理优化后的=维人脸图像进 行视觉直方图特征提取，特征提取之后采用最近邻分类器与注册数据库中的深度人脸模板 进行匹配，获得最终的分类结果。具体步骤如下：
[0141] 步骤一:将=维人脸深度图像分割成一些局部纹理区域；
[0142] 步骤二:对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉 分析词典的词汇中，并W此为基础建立视觉词典直方图向量作为=维人脸的特征表达；
[0143] 步骤最近邻分类器被用来作为最后的人脸识别，其中Ll距离被选作为距离度 量，获得最终的分类结果。
[0144] 如图9所示为本发明的系统框图，包括各个模块在系统中的位置W及其主要功能。
【主权项】
1. 一种基于三维数据的人脸识别系统，其特征在于，包括:三维人脸点云数据输入计算 单元;人脸特定区域检测计算单元;数据配准计算单元;深度人脸数据映射计算单元;深度 人脸图像评估计算单元;深度人脸纹理修复计算单元;深度人脸特征提取计算单元;三维人 脸识别计算单元。2. 基于权利要求1所述的一种基于三维数据的人脸识别系统，其特征在于，包括如下步 骤： A. 三维人脸点云数据的输入； B. 对于三维人脸点云数据中人脸特定区域检测； C. 对于检测到的人脸特定区域进行数据配准； D. 对于配准后的三维人脸点云数据进行深度人脸数据映射； E. 人脸深度数据质量评估计算单元； F. 对于深度人脸数据进行深度人脸纹理修复； G. 人脸深度数的特征提取； Η.对于深度人脸数据进行三维人脸识别。3. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 Α支持各类三维点云采集设备的数据输入。4. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 B，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此人脸特 征区域采用的是鼻尖区域，鼻尖区域定位包括如下步骤： 步骤一:确定域平均负有效能量密度的阈值，定义为thr; 步骤二:利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据； 步骤三:计算由深度信息选取出的人脸数据的法向量信息； 步骤四：按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负 有效能量密度，选择其中密度值最大的连通域； 步骤五：当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到步骤一 继续。5. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 C包括如下步骤： 步骤一:在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据； 步骤二:得到配准的参考区域后，计算3*3的矩阵，公式如下：步骤三:计算旋转矩阵R和平移矩阵t，当X行列值为1时，R=X，t = P-R*Q; 步骤四：获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。6. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 D，该步骤检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标 系的X轴和y轴信息映射为人脸深度图像的图像坐标系信息;具体计算过程如下： 鼻尖点为N(x，y，z)，则空间点P(xl，yl，zl)的图像坐标为： Ix=(xl-x)+width/2 Iy=(yl~y)+height/2 其中width为深度图像的宽度，height为深度图像的高度； 同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z 轴信息作为映射为人脸深度图像的深度值的参考基准，公式如下：完成将三维点云数据映射为深度人脸图像的数据映射。7. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 E，包括深度特征脸的计算和深度图像数据质量评估，包括如下步骤： 深度特征脸的计算步骤如下： 步骤一:将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量， 将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过 后的人脸列向量的维度就是D = M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维 度就是D*N; 步骤二:将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深 度图像的平均脸;将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ; 步骤三:对协方差矩阵C= Φ * Φ τ进行特征值分解;根据占据所有特征值能量的比率，选 择最大的一些特征值，其所对应的特征向量即为深度特征脸； 步骤四：深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算； 深度图像数据质量评估计算过程如下： 该过程分为训练和评估两个阶段:在训练阶段，如图5(a)所示，训练出深度人脸图像的 特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其 映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不 符合这些深度特征脸代表的类型，评估不通过;否则则认为该图像符合这些深度特征脸代 表的类型，评估通过；08. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 F，包括如下步骤： 步骤一：对于深度图像中的噪点进行检测计算单元，噪点类型主要包括数据空洞以及 数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。 步骤二:进行深度数据去噪本发明中采用邻域深度有效值滤波，对上述深度人脸图像 中的噪音进行过滤，该滤波表达式可以描述为：其中当1(11,7-11)为深度图像有效点时，值为观(_^-/?,;\'-/?) = <^(*^2：)/2:<72/2節_:2;当1 (x-m, y-n)为深度图像无效点时，值为Ο; 步骤三:在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像 进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于）。双边滤波器是 由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素 差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：其中，由几何空间距离决定的滤波器系数，其公式为：由像素差值决定的滤波器系数，其公式为：则权重系数则为空间域系数以及值域系数的乘积：9. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步骤 G，分为视觉词汇训练阶段和视觉字典直方图特征提取阶段，包括如下步骤： 在视觉词汇训练阶段，对训练集中的Ρ幅分辨率为Μ*Ν的深度图像首先进行Gabor滤波 器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些 向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的聚类 中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）；将每 组的视觉向量连接起来，就构成了深度人脸图像的视觉词典； 在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将任一 滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方 式，把它映射到与之距离最为接近的基元上;通过这种方式提取出原始深度图像的视觉词 典直方图特征。10. 基于权利要求2所述的一种基于三维数据的人脸识别系统，其特征在于，所述的步 骤Η，包括如下步骤： 步骤一:将三维人脸深度图像分割成一些局部纹理区域； 步骤二:对于每个Gabor滤波响应向量，按照位置的不同将其映射到其对应的视觉分析 词典的词汇中，并以此为基础建立视觉词典直方图向量作为三维人脸的特征表达； 步骤三:最近邻分类器被用来作为最后的人脸识别，其中L1距离被选作为距离度量，获 得最终的分类结果。
【文档编号】G06K9/00GK105956582SQ201610472527
【公开日】2016年9月21日
【申请日】2016年6月24日
【发明人】夏春秋
【申请人】深圳市唯特视科技有限公司