一种基于三维数据的人脸分类系统的制作方法
【专利摘要】本发明涉及三维人脸分类系统，涵盖特征点定位、三维数据配准、数据去噪、数据质量评估、特征提取以及分类器设计等三维人脸分类系统的多个模块。利用视觉词典纹理特征，准确的描述了三维深度人脸图像的特性，然后利用SVM分类器在深度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复杂多样，如何准确的定义种族类别。本专利引入模糊分类的概念，通过构建东方视觉词典和西方视觉词典，利用隶属度函数来判断深度人脸图像的种族分类。准确的分类结果不仅可以有效地获取人脸数据中的人脸特性，获取更多的人脸语义理解信息，同时还可以作为三维人脸识别的一个粗分类步骤，提升识别系统的精度。
【专利说明】
一种基于三维数据的人脸分类系统
技术领域
[0001] 本发明涉及三维人脸分类系统，涵盖特征点定位、三维数据配准、数据去噪、数据 质量评估、特征提取以及分类器设计等三维人脸分类系统的多个模块。
【背景技术】
[0002] 三维人脸识别相对于二维人脸识别，有着其对光照、受姿态以及表情等因素影响 较小等优点，因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之 后，很多学者都将他们的研究投入到该领域中。
[0003] 曾有人提出了三维弯曲不变量的相关特征用来进行人脸特性描述（专利号： 201010256907)。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯 曲不变量相关特征;对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得 主成分，并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要 复杂的计算量，因此在效率上限制了该方法的进一步应用；
[0004] 三维人脸分类是三维人脸领域的一个基础工作。为了提高提取变量的效率，准确 分类的对人脸分类尤为重要。准确的分类结果不仅可以有效地获取人脸数据中的人脸特 性，获取更多的人脸语义理解信息，同时还可以作为三维人脸识别的一个粗分类步骤，提升 识别系统的精度。本发明设计性别分类和种族分类两种分类方式。性别分类的难点在于如 何准确的描述人脸数据的性别特性以及如何在特征空间的基础上实现准确的分类。本专利 利用视觉词典纹理特征，准确的描述了三维深度人脸图像的特性，然后利用SVM分类器在深 度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复 杂多样，如何准确的定义种族类别。本专利引入模糊分类的概念，通过构建东方视觉词典和 西方视觉词典，利用隶属度函数来判断深度人脸图像的种族分类。
【发明内容】
[0005] 针对现有三维人脸识别计算量大，效率低的问题，本发明目的在于提供一种基于 三维数据的人脸分类系统，对三维人脸数据进行分类。
[0006] 为解决上述问题，本发明提供一种基于三维数据的人脸分类系统，其主要内容包 括：
[0007] (一)三维人脸点云数据的输入部分；
[0008] (二)对于三维人脸点云数据中人脸特定区域检测部分；
[0009] (三)对于检测到的人脸特定区域进行数据配准部分；
[0010] (四）对于配准后的三维人脸点云数据进行深度人脸数据映射部分；
[0011] (五)对于深度人脸数据进行人脸深度数据质量评估部分；
[0012] (六)对于深度人脸数据进行深度人脸纹理修复部分；
[0013] (七)对于深度人脸数据进行三维人脸识别部分；
[0014] 其中，三维点云数据的输入部分包括对各类三维点云采集设备的数据输入；
[0015] 其中，三维人脸点云数据中人脸特定区域检测部分包括根据三维点云数据提取特 征信息以及利用训练好的分类器进行人脸特定区域检测的模块；
[0016] 进一步的，对人脸特定区域检测的模块，采用鼻尖区域作为人脸特征区域，主要步 骤如下：
[0017] 1)确定域平均负有效能量密度的阈值，定义为thr
[0018] 2)利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据
[0019] 3)计算由深度信息选取出的人脸数据的法向量信息
[0020] 4)按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有 效能量密度，选择其中密度值最大的连通域
[0021] 5)当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继 续。
[0022] 其中，利用检测到的人脸特定区域进行数据配准部分包括根据检测获取的人脸特 定区域与模板库中该特定区域的标准数据进行数据配准的模块；
[0023] 进一步的，基于检测到的人脸鼻尖区域为基础的数据配准模块，首先我们需要在 模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据， 得到配准的参考区域后，按照ICP算法进行数据的配准。该算法主要步骤如下：
[0024]假设我们已经得到匹配数据集合对P和Q，
[0025] 1)计算3*3的矩阵
[0026] H 端 i-'-i
[0027]其中N是数据集合的容量。
[0028] 2)做H矩阵的SVD分解
[0029] H=UAVt
[0030] X = VUT
[0031] 3)计算旋转矩阵R和平移矩阵t
[0032]当X行列式值为1时，R=X;
[0033] t = P_R*Q
[0034]通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个 点集的配准。
[0035]其中，将三维人脸点云数据进行深度人脸图像映射部分包括根据预定的深度分辨 率以及检测获取的人脸特定区域位置进行数据映射的模块；
[0036]进一步的，将三维点云数据映射为深度人脸图像的数据映射模块，将检测获得的 人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映 射为人脸深度图像的图像坐标系信息。计算过程如下：
[0037]设鼻尖点为N(x，y，z)，则空间点P(xl，yl，zl)的图像坐标为：
[0038] Ix=(xl-x)+width/2
[0039] Iy= (yl-y)+height/2
[0040] width为深度图像的宽度，height为深度图像的高度。
[0041]同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系 的Z轴信息作为映射为人脸深度图像的深度值的参考基准，其公式为： \{z\ - z) t Ztvf + 255, zl <= z C〇〇42] Idep，h = [255, zl>z
[0043] 完成将三维点云数据映射为深度人脸图像的数据映射。
[0044] 其中，深度人脸数据进行采集数据质量评估部分包括根据典型性深度人脸数据产 生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。
[0045] 进一步的，根据典型性深度人脸数据产生深度特征脸，深度特征脸的计算过程可 以总结为：
[0046] 1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将 这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后 的人脸列向量的维度就是D = M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度 就是D*N;
[0047] 2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深 度图像的平均脸;将N张深度图像都减去深度平均脸，得到差值图像数据矩阵〇;
[0048] 3)对协方差矩阵C=〇*〇T进行特征值分解;根据占据所有特征值能量的比率，选 择最大的一些特征值，其所对应的特征向量即为深度特征脸；
[0049] 深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；
[0050] 进一步的，深度图像数据质量评估模块分为训练和评估两个阶段:在训练阶段训 练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的 深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深 度人脸图像；
[0051] ^apr = X W i ' agen i
[0052] 然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图 像不符合这些深度特征脸代表的类型，评估不通过;否则则认为该图像符合这些深度特征 脸代表的类型，评估通过。 (〇, abs{I - Iori) > Thr
[0053] E = r 'Pl ' |l：? abs(Ijpi - Iorj) <r= Thr
[0054]其中，对人脸深度图像数据进行纹理修复包括根据图像邻域数据点进行噪点数据 过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块。
[0055] 进一步的，其主要步骤为:首先对于深度图像中的噪点进行检测，噪点类型主要包 括数据空洞以及数据的凸起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理 的深度凸起值。
[0056] 然后进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸 图像中的噪音进行过滤，该滤波表达式可以描述为： m^vin.n^vin
[0057] = X./ (x ~ m^y ~ n) ^ ft) m=-wi>hn=--\vi>!
[0058] 当I (x-m，y-n)为深度图像有效点时，值为w(x-树=e-W+"W /2服2 ;当I (x-m，y-n)为深度图像无效点时，值为0。
[0059]进一步的，在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深 度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于）。双边滤 波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是 由像素差值决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权 组合：
[0061]其中，由几何空间距离决定的滤波器系数，其公式为：
[0063]由像素差值决定的滤波器系数，其公式为：
[0065]则权重系数则为空间域系数以及值域系数的乘积：
[0067] 通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据 噪音的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的 修复以及人脸深度特性信息的增强。
[0068] 其中，深度人脸数据进行三维人脸识别部分包括根据深度数据提取深度人脸特征 以及分类器进行人脸识别的模块。
[0069] 进一步的，对人脸深度图像数据进行视觉词典直方图特征提取可以分为视觉词汇 训练阶段和视觉字典直方图特征提取阶段。主要步骤为：
[0070] 在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor 滤波器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将 这些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的 聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）； 将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
[0071]在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将 任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配 的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图 像的视觉词典直方图特征。
[0072] 进一步的，SVM分类器的原理为：
[0073] 设线性可分样本集和为&1，71)，1 = 1，~，11^￡#，7￡{ + 1，-1}是类别标号。则
[0074] w ? x+b = 0
[0075]是SVM分类器的分类面方程。
[0076] 在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下 面两个条件：
[0077] O (x) =min(wTw)
[0078] yi(w ? Xi+b)-1^0
[0079] 通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的 点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本， 因为它们支撑了最优分类面，因此被称为支撑向量。纹理优化后的三维人脸图像首先进行 视觉直方图特征提取，特征提取之后输入到SVM性别分类器之中，获得最终的性别分类结 果。
[0080] 进一步的，东方和西方人脸视觉词典构建的主要步骤为:分别对典型的东方深度 人脸图像和西方深度人脸图像进行视觉词汇计算。对计算得出的所有视觉词汇，对于其中 距离比较近的视觉词汇区域，我们将其视为种族深度视觉词汇的临界区域，其代表的是人 的属性;对于相距比较远的区域，我们将其视为代表了种族的特性信息（东方或者西方深度 人脸图像），以此为基础分别构建东方视觉词典库和西方视觉词典库。
[0081] 进一步的，人脸种族分类不同于性别分类的二分类设计，我们将种族分类视为一 个模糊分类问题。纹理优化后的三维人脸图像首先进行Gabor滤波，获取该深度图像的 Gabor滤波器响应向量集合;对该集合的每个响应向量，将其向东方(西方)视觉词典库进行 映射，如果与东方（西方）词典库中的某个词汇距离小于阈值，则该响应向量属于东方（西 方)人脸，其对应的向量数目6881：11111]1(￥681：11111]1)进行+1处理 ;最终的模糊隶属度函数为：
[0082] membership(I)=eastnum/westnum
【附图说明】
[0083] 图1是本发明一种基于三维数据的人脸分类系统的系统流程图。
[0084]图2是本发明一种基于三维数据的人脸分类系统的鼻尖检测模块示意图。
[0085]图3是本发明一种基于三维数据的人脸分类系统的数据配准模块示意图。
[0086] 图4是本发明一种基于三维数据的人脸分类系统的数据空间映射示意图。
[0087] 图5是本发明一种基于三维数据的人脸分类系统的人脸深度图像质量评估流程示 意图。
[0088]图6是本发明一种基于三维数据的人脸分类系统的深度纹理修复示意图。
[0089]图7是本发明一种基于三维数据的人脸性别分类系统的特征提取示意图。
[0090] 图8是本发明一种基于三维数据的人脸性别分类系统的分类流程图。
[0091] 图9是本发明一种基于三维数据的人脸种族分类系统的种族视觉词典构建示意 图。
[0092]图10是本发明一种基于三维数据的人脸种族分类系统的分类流程图。
[0093]图11是本发明一种基于三维数据的人脸分类系统的系统框图。
【具体实施方式】
[0094]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
[0095] 图1是本发明一种基于三维数据的人脸分类系统的系统流程图。如图1所示，本发 明提出的一种基于三维数据的人脸分类系统，其主要内容包括：
[0096] ( - )视频人脸数据的输入部分，对各类视频采集设备的数据驶入。
[0097] (二)对于视频数据中人脸检测部分，包括将通过人脸检测算法进行视频当前帧中 的人脸检测的模块以及将检测到的人脸图像进行质量评估的模块；
[0098] (三)对于检测到的人脸数据中特征点定位部分，包括根据人脸图像进行预订的特 征点定位的模块以及将定位到的特征点进行质量评估的模块；
[0099] (四）对于人脸特征点进行人脸特定区域提取部分，包括根据人脸图像以及定位到 的特征点，按照特定区域规则提取出人脸特定局部纹理。
[0100] (五)对于深度人脸数据进行人脸深度数据质量评估部分，包括根据典型性深度人 脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。；
[0101] (六)对于深度人脸数据进行深度人脸纹理修复部分，包括根据图像邻域数据点进 行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块。；
[0102] (七)对于深度人脸数据进行三维人脸识别部分，包括根据深度数据提取深度人脸 特征以及分类器进行人脸识别的模块。
[0103] 图2是本发明一种基于三维数据的人脸分类系统的鼻尖检测模块示意图。如图2所 示为本发明的人脸特征区域检测模块，图2(a)中，由于三维点云人脸数据中鼻尖区域的数 据信息明显区别于人脸的其他位置，因此本发明中人脸特征区域采用的是鼻尖区域；图2 (b)是鼻尖区域定位的流程图，其主要步骤如下：
[0104] 1.确定阈值
[0105] 该步骤主要是确定域平均负有效能量密度的阈值，定义为thr。
[0106] 2.利用深度信息选取待处理数据
[0107]该步骤主要是利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处 理数据。
[0108] 3.法向量的计算
[0109]该步骤主要是计算由深度信息选取出的人脸数据的法向量信息。
[0110] 4.区域平均负有效能量密度的计算
[0111]该步骤主要是按照区域平均负有效能量密度的定义，求出待处理数据中各连通域 的平均负有效能量密度，选择其中密度值最大的连通域。
[0112] 5.是否找到鼻尖区域判断
[0113] 该步骤主要是当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回 到第1步继续。
[0114] 图3是本发明一种基于三维数据的人脸分类系统的数据配准模块示意图。如图3所 示为本发明中基于检测到的人脸鼻尖区域为基础的数据配准模块。首先我们需要在模板库 中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配 准的参考区域后，按照ICP算法进行数据的配准;配准前后的对比如图3所示。
[0115] ICP算法实质上是一个求最小均方误差的最优化问题，假设我们已经得到匹配数 据集合对P和Q，则该算法主要步骤如下：
[0116] 1.计算3*3的矩阵
[0117]
[0118] 其中N是数据集合的容量。
[0119] 2.做H矩阵的SVD分解
[0120] H=UAVt
[0121] X = VUT
[0122] 3.计算旋转矩阵R和平移矩阵t
[0123] 当X行列式值为1时，R=X;
[0124] t = P_R*Q
[0125] 通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个 点集的配准。
[0126] 图4是本发明一种基于三维数据的人脸分类系统的数据空间映射示意图。如图4所 示为本发明中的将三维点云数据映射为深度人脸图像的数据映射模块。其中，检测获得的 人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映 射为人脸深度图像的图像坐标系信息。
[0127] 例如已知鼻尖点为N(x，y，z)，则空间点P(xl，yl，zl)的图像坐标为：
[0128] Ix= (xl-x)+width/2
[0129] Iy= (yl-y)+height/2
[0130] 其中width为深度图像的宽度，height为深度图像的高度。
[0131] 同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系 的Z轴信息作为映射为人脸深度图像的深度值的参考基准。 f(^1 - z) / X, + 255, z\ <= z. C〇132] Idepth = l255, zl>z
[0133] 图5是本发明一种基于三维数据的人脸分类系统的人脸深度图像质量评估流程示 意图，如图5(a)所示为深度人脸图像的特征脸示意图。深度特征脸的计算过程可以总结为：
[0134] 1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将 这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后 的人脸列向量的维度就是D = M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度 就是D*N;
[0135] 2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深 度图像的平均脸;将N张深度图像都减去深度平均脸，得到差值图像数据矩阵〇;
[0136] 3)对协方差矩阵C=〇*〇T进行特征值分解;根据占据所有特征值能量的比率，选 择最大的一些特征值，其所对应的特征向量即为深度特征脸；
[0137] 4)深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；
[0138] 如图5(b)所示为本发明中的深度图像数据质量评估模块的算法流程。该模块分为 训练和评估两个阶段:在训练阶段，如图5(a)所示，训练出深度人脸图像的特征脸，以此为 基础张成深度人脸图像空间;在评估阶段，对于输入的深度人脸图像，将其映射为深度特征 脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；
[01 39] laijr -〉j W i Idgen i
[0140] 然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图 像不符合这些深度特征脸代表的类型，评估不通过;否则则认为该图像符合这些深度特征 脸代表的类型，评估通过。 f〇, abs(I"i>,-!iiJ>Thr
[0141] E-{
[l, abs(!ai>r - Inl,) <= Thr
[0142] 图6是本发明一种基于三维数据的人脸分类系统的深度纹理修复示意图。如图6所 示，首先对于深度图像中的噪点进行检测，噪点类型主要包括数据空洞以及数据的凸起，在 深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
[0143] 然后进行深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸 图像中的噪音进行过滤，该滤波表达式可以描述为：
[0145] 其中当I(x-m，y_n)为深度图像有效点时，值为w(;s；-w，j-?) = e-/2縦2 ; 当I (x-m，y-n)为深度图像无效点时，值为0。
[0146] 在对奇异点进行初步的低通滤波之后，继续利用边缘保持滤波对于深度图像进行 进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波(不限于）。双边滤波器是由两 个函数构成，一个函数是通过几何空间距离决定滤波器系数，另一个函数则是由像素差值 决定滤波器系数。在双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合：
[0148]其中，由几何空间距离决定的滤波器系数，其公式为：
[0150]由像素差值决定的滤波器系数，其公式为：
[0152]则权重系数则为空间域系数以及值域系数的乘积：
[0154] 通过这种结合方式，在图像滤波中同时考虑了空间域与值域的差别，在滤除数据 噪音的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的 修复以及人脸深度特性信息的增强。
[0155] 图7是本发明一种基于三维数据的人脸性别分类系统的特征提取示意图。如图7所 示，该过程可以分为视觉词汇训练阶段和视觉字典直方图特征提取阶段。
[0156] 在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor 滤波器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将 这些向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的 聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）； 将每组的视觉向量连接起来，就构成了深度人脸图像的视觉词典。
[0157] 在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将 任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配 的方式，把它映射到与之距离最为接近的基元上。通过这种方式，就可以提取出原始深度图 像的视觉词典直方图特征。
[0158] 如图8(a)所示为SVM分类器的原理图。
[0159] 设线性可分样本集和为&1，71)，1 = 1，~，114￡#，7￡{ + 1，-1}是类别标号。则
[0160] w ? x+b = 0
[0161]是SVM分类器的分类面方程。
[0162] 在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下 面两个条件：
[0163] O (x) =min(wTw)
[0164] yi(w ? Xi+b)-1^0
[0165] 通过解此约束优化问题就可以得到最优分类面，如图6所示。而过两类样本中离分 类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那 些特殊样本，因为它们支撑了最优分类面，因此被称为支撑向量。如图8(b)所示为本发明中 的人脸性别分类流程图。纹理优化后的三维人脸图像首先进行视觉直方图特征提取，特征 提取之后输入到SVM性别分类器之中，获得最终的性别分类结果。
[0166] 图9是本发明一种基于三维数据的人脸种族分类系统的种族视觉词典构建示意 图。如图7所示，分别对典型的东方深度人脸图像和西方深度人脸图像进行视觉词汇计算。 对计算得出的所有视觉词汇，对于其中距离比较近的视觉词汇区域，我们将其视为种族深 度视觉词汇的临界区域，其代表的是人的属性;对于相距比较远的区域，我们将其视为代表 了种族的特性信息（东方或者西方深度人脸图像），以此为基础分别构建东方视觉词典库和 西方视觉词典库。
[0167] 图10是本发明一种基于三维数据的人脸种族分类系统的分类流程图。如图10所 示，不同于性别分类的二分类设计，我们将种族分类视为一个模糊分类问题。纹理优化后的 三维人脸图像首先进行Gabor滤波，获取该深度图像的Gabor滤波器响应向量集合;对该集 合的每个响应向量，将其向东方(西方)视觉词典库进行映射，如果与东方（西方)词典库中 的某个词汇距离小于阈值，则该响应向量属于东方(西方)人脸，其对应的向量数目eastnum (westnum)进行+1处理;最终的模糊隶属度函数为：
[0168] membership(I)=eastnum/westnum
[0169] 图11是本发明一种基于三维数据的人脸分类系统的系统框图，如图11所示，包括 各个模块在系统中的位置以及其主要功能。
[0170] 对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精 神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发 明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的 保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变 更和修改。
【主权项】
1. 一种基于基于三维数据的人脸分类系统，其特征在于，主要内容包括： (一) 三维人脸点云数据的输入部分； (二) 对于三维人脸点云数据中人脸特定区域检测部分； (三) 对于检测到的人脸特定区域进行数据配准部分； (四） 对于配准后的三维人脸点云数据进行深度人脸数据映射部分； (五) 对于深度人脸数据进行人脸深度数据质量评估部分； (六) 对于深度人脸数据进行深度人脸纹理修复部分； (七) 对于深度人脸数据进行三维人脸识别部分。2. 基于权利要求书1所述的三维点云数据的输入部分(一），其特征在于，包括对各类三 维点云采集设备的数据输入。3. 基于权利要求书1所述的三维人脸点云数据中人脸特定区域检测部分(二），其特征 在于，包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检 测的模块。4. 基于权利要求书1所述的利用检测到的人脸特定区域进行数据配准部分(三），其特 征在于，包括根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配 准的模块。5. 基于权利要求书1所述的将三维人脸点云数据进行深度人脸图像映射部分（四），其 特征在于，包括根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的 丰旲块。6. 基于权利要求书1所述的深度人脸数据进行采集数据质量评估部分(五），其特征在 于，包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据 质量评估的模块。7. 基于权利要求书1所述的深度人脸数据进行深度人脸纹理修复部分(六），其特征在 于，包括根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹 理修复的模块。8. 基于权利要求书1所述的深度人脸数据进行三维人脸识别部分(七），其特征在于，包 括根据深度数据提取深度人脸特征以及分类器进行人脸识别的模块。9. 基于权利要求书3所述的人脸特征区域检测模块，其特征在于，采用鼻尖区域作为人 脸特征区域，主要步骤如下： 1) 确定域平均负有效能量密度的阈值，定义为thr 2) 利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据 3) 计算由深度信息选取出的人脸数据的法向量信息 4) 按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能 量密度，选择其中密度值最大的连通域 5) 当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继续。10. 基于权利要求书4所述的基于检测到的人脸鼻尖区域为基础的数据配准模块，其特 征在于，主要步骤如下： 首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不 同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，该算法主要步 骤如下： 假设我们已经得到匹配数据集合对P和Q，1) 计算3*3的矩阵 其中N是数据集合的容量 2) 做H矩阵的SVD分解 H=UAVt X = VUt 3) 计算旋转矩阵R和平移矩阵t 当X行列式值为1时，R=X: t = P_R*Q 通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集 的配准。11. 基于权利要求书5所述的将三维点云数据映射为深度人脸图像的数据映射模块，其 特征在于，检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐 标系的X轴和y轴信息映射为人脸深度图像的图像坐标系信息，计算过程如下： 设鼻尖点为N(x，y，z)，则空间点P(xl，yl，zl)的图像坐标为： Ix=(xl-x)+width/2 Iy=(yl~y)+height/2 width为深度图像的宽度，height为深度图像的高度 同时，根据三维点云数据的深度精度预先设定深度分辨率Zref，作为将空间坐标系的z 轴信息作为映射为人脸深度图像的深度值的参考基准完成将三维点云数据映射为深度人脸图像的数据映射。12. 基于权利要求书6所述的根据典型性深度人脸数据产生深度特征脸，其特征在于， 深度特征脸的计算过程可以总结为： 1) 将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些 列向量组合在一起形成矩阵A，假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人 脸列向量的维度就是D=M*M，若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是 D*N; 2) 将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图 像的平均脸;将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ; 3) 对协方差矩阵C= 〇*〇7进行特征值分解，根据占据所有特征值能量的比率，选择最 大的一些特征值，其所对应的特征向量即为深度特征脸； 深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。13. 基于权利要求书6所述的深度图像数据质量评估模块的算法流程，其特征在于，该 模块分为训练和评估两个阶段:在训练阶段训练出深度人脸图像的特征脸，以此为基础张 成深度人脸图像空间;在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间 中的一点，得到利用深度特征脸表征的近似深度人脸图像；然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不 符合这些深度特征脸代表的类型，评估不通过;否则则认为该图像符合这些深度特征脸代 表的类型，评估通过。14.基于权利要求书7所述的对人脸深度图像数据进行纹理修复的图像处理模块，主要 步骤为:首先对于深度图像中的噪点进行检测，噪点类型主要包括数据空洞以及数据的凸 起，在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值;然后进行 深度数据去噪，在本发明中采用邻域深度有效值滤波，对上述深度人脸图像中的噪音进行 过滤，该滤波表达式可以描沭为：其中当I (χ-m，y-η)为深度图像有效点时，值为= #)2°" /2?cr2;当I (x-m，y-n)为深度图像无效点时，值为0,在对奇异点进行初步的低通滤波之后，继续利用边 缘保持滤波对于深度图像进行进一步的纹理修复，本发明中边缘保持滤波器采用双边滤波 (不限于），双边滤波器是由两个函数构成，一个函数是通过几何空间距离决定滤波器系数， 另一个函数则是由像素差值决定滤波器系数，在双边滤波器中，输出像素的值依赖于邻域 像素的值的加权组合：其中，由几何空间距离决宙的滤波器系数，其公式为：由像素差值决定的滤波器系数，其公式为：则权重系数则为空间域系数以及值域系数的乘积：通过这柙结合万式，在图像滤波中问时考處/ S间域与值域的差别，在滤除数据噪音 的过程中也可以保留数据中的特定边缘信息，有效的进行了深度人脸图像数据噪音的修复 以及人脸深度特性信息的增强。15. 基于权利要求书8所述的根据深度数据提取深度人脸特征，其特征在于，该过程可 以分为视觉词汇训练阶段和视觉字典直方图特征提取阶段： 在视觉词汇训练阶段，对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波 器滤波，通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些 向量按照其所在图像的空间位置进行分组，并对每组向量集合进行K均值聚类，得到的聚类 中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇(视觉分词典）；将每 组的视觉向量连接起来，就构成了深度人脸图像的视觉词典： 在视觉词典直方图特征提取阶段，当测试人脸图像输入后，经过Gabor滤波后，将任一 滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较，通过距离匹配的方 式，把它映射到与之距离最为接近的基元上，通过这种方式，就可以提取出原始深度图像的 视觉词典直方图特征。16. 基于权利要求书8所述的分类器进行人脸识别的模块，其特征在于，分类器的原理 为:设线性可分样本集和为&1，7 1)，1 = 1，~，11，氏1^，3^{+1，-1}是类别标号，则 w · x+b = 0 是SVM分类器的分类面方程，在分类时，为了使分类面对所有样本正确分类且分类间隔 达到最大，需要满足下面两个条件： Φ (X) =min(wTw) yi(w · xi+b)-l 通过解此约束优化问题就可以得到最优分类面，而过两类样本中离分类面最近的点且 平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为 它们支撑了最优分类面，因此被称为支撑向量，纹理优化后的三维人脸图像首先进行视觉 直方图特征提取，特征提取之后输入到SVM性别分类器之中，获得最终的性别分类结果。17. 基于权利要求书16所述的分类模块，其特征在于，不同于性别分类的二分类设计， 我们将种族分类视为一个模糊分类问题，纹理优化后的三维人脸图像首先进行Gabor滤波， 获取该深度图像的Gabor滤波器响应向量集合;对该集合的每个响应向量，将其向东方(西 方)视觉词典库进行映射，如果与东方(西方)词典库中的某个词汇距离小于阈值，则该响应 向量属于东方(西方)人脸，其对应的向量数目eastnum(westnum)进行+1处理;下列公式： membership(I)=eastnum/westnum 为最终的模糊隶属度函数。18. 基于权利要求书16所述的视觉词典，其特征在于，分别对典型的东方深度人脸图像 和西方深度人脸图像进行视觉词汇计算，对计算得出的所有视觉词汇，对于其中距离比较 近的视觉词汇区域，我们将其视为种族深度视觉词汇的临界区域，其代表的是人的属性;对 于相距比较远的区域，我们将其视为代表了种族的特性信息（东方或者西方深度人脸图 像），以此为基础分别构建东方视觉词典库和西方视觉词典库。
【文档编号】G06T3/00GK105894047SQ201610490306
【公开日】2016年8月24日
【申请日】2016年6月28日
【发明人】夏春秋
【申请人】深圳市唯特视科技有限公司