专利名称：基于弯曲不变量相关特征的三维人脸识别方法及系统的制作方法
技术领域：
本发明涉及图像处理和模式识别领域，尤其涉及一种基于弯曲不变量相关特征的 三维人脸识别方法及系统。
背景技术：
近年来，信息和通信技术已经融入到我们生活的各个部门和所有部分，打开了一 个史无前例的世界，这里人们同嵌入在敏感的响应用户存在的电子设备的进行交互。的确， 以提供用户需要的智能建筑为特征的计算机辅助的安保系统正成为国内研究的趋势，需要 更多复杂的服务。视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是 要对场景作出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和 观察者的意愿制定出行为规划。这种情况为探索物体的识别和理解和基于观察行为的实用化应用提供了机会。一 个主要例子是使用人脸代替侵入式生物特征的潜力，它不仅可以规则地进入到控制环境 中，而且可以根据待识别用户的偏好和需要提供服务。生物特征识别指使用不同的生理特 征(如指纹、人脸、视网膜、虹膜)和行为特征如(步态、签名)特征，作为生物辨识来自动识 别个人。因为生物辨识不易错位、仿造和共享，它们比传统的标识和基于知识的识别方法具 有更高的可靠性。生物识别的另一个典型目标是用户方便(如无需用户辨别号的服务接 入)，更安全(如仿冒接入困难)。所有这些原因使非侵入式生物特征更适于环绕智能环境 的应用，这点对基于人脸的生物辨识尤其准确，它是用在可视化交互的人脸识别中最具普 遍性的方法，并且允许一种与传感器无任何物理接触的非侵入方式。
发明内容
鉴于上述问题，本发明的目的在于提供一种基于弯曲不变量相关特征的三维人脸 识别方法及系统。一方面，本发明公开了基于弯曲不变量相关特征的三维人脸识别方法，包括如下 步骤图像预处理步骤，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操 作，获取预处理后的三维人脸；弯曲不变量的计算步骤，计算所述预处理后的三维人脸的弯 曲不变量；弯曲不变量相关特征提取步骤，编码三维人脸表面相邻节点的弯曲不变量的局 部特征，提取弯曲不变量相关特征；特征降维步骤，对所述弯曲不变量的相关特征进行签名 并采用谱回归进行降维，获得主成分；分类识别步骤，基于所述主成分，运用K最近邻分类 方法对三维人脸进行识别。上述三维人脸识别方法，优选图像预处理步骤中，所述的人脸区域提取包括计算 有效点矩阵的列和并从点云中估计一个垂直投影曲线；定义投影曲线的左右拐点的两个侧 阈值来删除对象肩膀上超过此阈值的数据；通过阈值化深度值直方图进一步删除对应于对 象胸部的数据点，去除了对应前脸信息后面的大深度值数据；删除保留在区域中但与主要 人脸区域不连接的异常点并且仅将最大的区域视为人脸区域。
上述三维人脸识别方法，优选图像预处理步骤中，所述三维人脸匹配包括点云协 方差矩阵的正交特征矢量，V1, V2, V3,作为点云的三个主轴，旋转点云使V1, V2, V3分别平行 于参考坐标系的Y，x和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转 和平移将所有三维人脸数据进行粗匹配；人脸信号用最近邻内插在球面等角网格上采样， 通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)，所有人脸信息通过 ICP进一步与AFM对齐避免嘴和颂的影响；通过最小化Z-buffer距离的全局最优技术进行 精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。上述三维人脸识别方法，优选所述三维人脸弯曲不变量的计算步骤中，所述三维 人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低 维欧式空间Rm的距离作为三维表面点的弯曲不变量。上述三维人脸识别方法，优选所述三维人脸弯曲不变量相关特征提取步骤中，所 述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变 量局部特征获得。另一方面，本发明还公开了一种基于弯曲不变量相关特征的三维人脸识别系统， 包括图像预处理模块，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的 操作，获取预处理后的三维人脸；弯曲不变量的计算模块，用于计算所述预处理后的三维人 脸的弯曲不变量；弯曲不变量相关特征提取模块，用于编码三维人脸表面相邻节点的弯曲 不变量的局部特征，提取弯曲不变量相关特征；特征降维模块，用于对所述弯曲不变量的相 关特征进行签名并采用谱回归进行降维，获得主成分；分类识别模块，用于基于主成分，运 用K最近邻分类系统对三维人脸进行识别。上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现人脸区域提 取的子模块，包括用于计算有效点矩阵的列和并从点云中估计一个垂直投影曲线的单元； 用于定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据的单元； 用于通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息 后面的大深度值数据单元；用于删除保留在区域中但与主要人脸区域不连接的异常点并且 仅将最大的区域视为人脸区域的单元。上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现三维人脸匹 配的子模块，包括用于点云协方差矩阵的正交特征矢量，V1, V2, V3，作为点云的三个主轴， 旋转点云使Vl，V2, V3分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作 为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配的单元；用于人脸 信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构 建平均人脸模型AFM，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颂的影响的单元； 用于通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角 形上点独立性，并删除所有的人脸不相关信息的单元。上述三维人脸识别系统，优选所述弯曲不变量的计算模块中，所述三维人脸弯曲 不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空 间Rm的距离作为三维表面点的弯曲不变量。上述三维人脸识别系统，优选所述所述弯曲不变量相关特征提取模块中，所述三 维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。相对于现有技术而言，本发明对比现在通常使用的3D人脸识别技术具有更好的 有效性和高效性。在处理人脸表情和姿态变化上效果尤其好。具体而言，具有如下特点准确性3D系统对比2D系统准确性的显著增加用来判定引入的3D系统，或单独 使用或结合其它模式使用。有效性3D捕获每一个对象创造了更大的数据文件，要求较大的内存和大的计算 代价，需要将原始的3D数据转换为有效的元数据。规整性传感器产生的每个样本由一个3D散列点云描述。由于在不同的区域如 头发、遮挡、噪声和水平边界的突起物如鼻和较低的下巴，在获得的捕捉中存在丢失的。本 发明旨在建立一个具有固定节点和面片数的规则的和密集的网格来描述一个人脸形状。而 且，不同网格需要有对应节点并且与平均模型同向。大的姿态和表情变化中性人脸的识别性能显著改进，而大姿态和表情变化是准 确率显著下降。自动化实用系统必须使功能全自动，因此不能接受用户干预如在3D人脸扫描中 手工定位关键点。
图1是本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的结构示意 图；图2是三维人脸数据预处理过程示意图；图3是预处理前后的三维人脸数据(a)原始的三维人脸数据；(b)预处理后的三 维人脸数据)示意图；图4是3D LBP原理框图；图5为本发明基于弯曲不变量相关特征的三维人脸识别方法实施例的步骤流程 图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实 施方式对本发明作进一步详细的说明。参照图1，图1为本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的 结构示意图，包括图像预处理模块110，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸 匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算模块111，用于计算所述预处理 后的三维人脸的弯曲不变量；弯曲不变量相关特征提取模块112，用于编码三维人脸表面 相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块113，用于对 所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别模块 114，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。如图1所示，首先，探索了一种自动的3D人脸区域提取方法。然后处理它使得最 小化大姿态变化的影响并且有效地改进整个3D人脸识别系统的性能。为了克服大的表情变化，所提出算法的一个核心思想就是运用人脸表面的一种描述，叫做弯曲不变量(Bi)，它 对由表情和姿态变化引起的等距形变不变。为了编码相邻网格节点，3D LBP用于获得几何 相关不变量，它对于描述孤立点的人脸结构具有更多的潜力并且对于特征化信号的局部相 关细节更有效。然后通过对特征签名后的图像进行谱回归得到特征降维后的主成分节省了 大量的计算时间。最后运用K最近邻分类方法对人脸进行识别。我们的系统对比现在通常 使用的3D人脸识别系统具有更好的有效性和高效性。在处理人脸表情和姿态变化上效果 尤其好。下面对具体的实施过程分块进行描述；图像预处理模块实际应用中获取的三维人脸数据以三维散列点云方式存储，一些示例如图2a，3a。 预处理过程主要包括两方面内容，人脸区域提取和3D人脸匹配。接下来将描述这些任务的 细节。人脸提取的主要目的是从3D点云中删除不相关的信息，如肩膀或头发的数据和 由激光扫描仪造成的钉状物。一个人脸扫描的输出形成一个3D点云，点的X和Y坐标形成 统一的欧式网格和Z坐标值提供对应的深度信息，不同的图像具有相同的分辨率X*Y。人脸 提取的第一步，我们计算有效点矩阵的列和并从点云中估计一个垂直投影曲线。然后，通过 定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据如图2b。我 们通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后 面的大深度值数据如图2c。最后，删除保留在区域中但与主要人脸区域不连接的异常点并 且仅将最大的区域视为人脸区域如图2d。上述自动人脸提取算法在数据库中的大部分人脸 点云上有效地工作，仅在很少的异常情况下失败。从3D扫描中提取主要人脸区域后，一个关键的预处理步骤是3D匹配实现姿态对 齐。我们运用一个多阶段自动匹配方法，存在人脸表情变化时可以提供鲁棒准确的对齐结 果。每一步用前一步的输出作为输入。早期的步骤对局部最小值提供更大容忍度而后面的 步骤提供更准确的匹配。首先，我们计算点云协方差矩阵的正交特征矢量，Vl，V2，V3,作为点 云的三个主轴。我们旋转点云使力，力，、分别平行于参考坐标系的Y，x和Z轴。鼻尖在参 考坐标系上的位置作为参考坐标系的原点。通过旋转和平移将所有三维人脸数据进行粗匹 配。人脸信号用最近邻内插在球面等角网格上采样。通过计算所有训练人脸图像上每个网 格点值构建平均人脸模型(AFM)。所有人脸信息通过ICP进一步与AFM对齐避免嘴和颂的 影响。最后，通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数 据三角形上点独立性，并删除所有的人脸不相关信息。三维人脸数据预处理的结果如图3b 所示。弯曲不变量的计算模块我们的3D人脸识别系统的核心是一种对等距形变不变的人脸表面描述子，叫做 弯曲不变量。人脸表面经历的形变不是任意的，经验观察显示面部表情可用等距(或长度 保持)变换模型化。因为，我们为等距表面引入一种有效的特征用于签名，推导作为弯曲不 变量，它是在一个减小的点集上由等距映射形成的人脸表面的多边形近似并且在全部点 集上进行内插。给定一个人脸表面M(x，y，z) e R3，弯曲不变量Im (x，y，z) e R3是等距映射算法的一个输出。一个等距测地线通过映射Ψ —M'形成，/(x,y,z) e M3,dM(x,y,z) = Μ,{ψ{χ\ψ{γ\ψ{ζ))对一个给定人脸表面构建不变量特征的关键一步是一个计算表面测地距离的有 效算法即dM(x，y，ζ)。计算测地距离可以有效地反映人脸形状信息并且克服3D人脸图像 中一些尚未解决的问题，如大的表情和姿态变化，数据噪声等。一种数值一致连续算法用于 计算一个表面点和规则三角化域中其余η个表面点间的距离，具有0(η)计算复杂度，叫做 三角化域中快速行进法(FMTD)。距离计算后，我们通过在连续表面有限点集上采样并且根 据表面结构离散化这种机制获得测地距离的一个近似。这种机制对于任意顺序点的等距表面形变是不变的。我们想要获得一个测地不变 量，一方面他对等距表面是唯一的，另一方面允许用等距刚性表面匹配来计算这个不变量。基于以上讨论，等价于找到两种机制空间的一个映射，
炉(M, Jm) —、Rm ,d); φ(ρ) = Xi它可以最小化内嵌误差。ε = f(|dM-d|) ；d = Il Xi-Xj Il 2d是嵌入在基于等距映射的低维欧式空间Rm的距离。M维描述获得是对应于表 面点Pi的一个点集Xi e Rffl(i = 1，…，n)。Rm中的内嵌是通过双中心化矩阵Δ形成
B = -^JAJ (这里=I是ηΧη单位矩阵，U是由一个人脸全部数据组成的矩
ο，
阵。前m个特征矢量ei对应于BWm个最大特征值，用作内嵌坐标系。Xj. = C/;/= 1，…= 1,...，W这里Χ/表示矢量Xi的第j-th个坐标。特征矢量用一个标准的特征分解方法计 算。因为只有m个特征矢量需要(通常m= 3)，所以计算有效。通过等距映射，将3D人脸样本从高维观测空间通过线性或非线性映射投影到一 个低维特征空间，从而找出隐藏在高维观测数据中有意义的低维结构并且构建了高维数据 流形空间与低维表示空间之间的相互映射这种方法有许多优点，包括压缩数据，降低存储 量；消除不必要的噪声；用于识别有效数据特征便于提取；把数据投影到一个低维空间，有 利于实现高维数据可视化。弯曲不变量相关特征提取模块局部二值模式(LBP)描述子首先应用于纹理描述并成功用于2D人脸识别。受到 原始LBP的启发，我们引入3D LBP描述子来获得人脸表面的局部相关特征。在3D LBP中 不仅包含原始的LBP，而且将弯曲不变量差也编码进二值模式中。原始的LBP描述子首先将图像中的每个节点弯曲不变量的值减去它的邻域节点 值。然后差值转换为二进制单元根据正负符号分配0或1。第三步二进制单元顺时针排 列，我们可以获得节点局部二值模式的二进制单元集。二值模式进一步转化为十进制数。两 个参数(P，R)用于控制邻域数P的选择和它们的局部半径R，可以是(8，2)，(16,2), (24， 3)等。从前面的讨论中，我们可以看到LBP描述子通常可以编码它们邻域节点的相关 性，即本专利中的相关特征。所以LBP可以视为一种局部相关特征。人脸表面的结构信息应该存在于表面点的相关特征中。根据前面分析的LBP的相关属性，我们将LBP描述子运用 到编码3D人脸表面的结构信息中。但是LBP描述子只能编码弯曲不变量差的符号不适于 描述3D人脸，因为人脸表面相同点的弯曲不变量差在不同人脸上有区别。例如A和B是两 个不同的人，他们鼻尖点LBP是相同的，因为所有围绕鼻尖点的弯曲不变量值都低于鼻尖。 如果不同的人的两个相同位置的人脸区域有相同的弯曲不变量变化趋势，LBP将不适于区 分它们。然而，虽然两个鼻尖点弯曲不变量差的符号和他们的领域相同，但是差的精确值是 不同的。这一点对3D人脸识别尤其关键。我们进一步将弯曲不变量差的精确值编码为二 值模型。根据统计分析，在R = 2时多于94%的点间弯曲不变量差值小于7，所以我们增加 三个单元来编码节点和它邻域的每个弯曲不变量差。三个二值单元(U2i3i4})对应弯曲不 变量差的绝对值DD 0 7。所有DD ^ 7的情况设为7。弯曲不变量差的符号记为0、1作 为头二值单元^这与原始LBP相同。最终我们获得一个四个二值单元UihhiJ来描述的 两点间DD。四个二值单元被划分为四层如图4所示。每层的二值单元顺时针排列。最终，我们 在每个节点得到四个十进制数作为其描述=P1,P2，P3，P4，记为3D LBP0匹配时，3D LBP首先 分别根据 P1, P2，P3，P4 变换为四幅图3DLBPMapl (等于原始 LBP 图)，3DLBPMap2, 3DLBPMap3, 3DLBPMap4。然后四幅图局部区域的直方图串联作为匹配的相关特征局部统计值。此法不仅增强类似于边缘以及峰、谷、脊轮廓等底层图像特征，这相当于增强了被 认为是面部关键部件的鼻子、眼睛、嘴巴等信息，同时也增强了诸如酒窝、黑痣、伤疤等局部 特征，从而使得在保留总体人脸信息的同时增强局部相关特性成为可能。当人脸的姿态、表 情、位置发生变化时，其所引起的局部特征的变化要小于全局特征的变化，从而使用局部相 关特征可以得到更加鲁棒的人脸表示。特征降维模块我们运用三维谱回归进行特征降维处理。每个3D人脸的弯曲不变量相关特征描 述为一维矢量。提出结合图嵌入理论的三维谱回归降维方法处理三维人脸数据不仅保持了 人脸数据流形的局部近邻结构，增加了全局的判别信息，而且很好的继承了局部特征保持 能力，增加了特征的可分性，也在一定程度上克服了人脸表情，姿态等变化。假设我们有m张三维人脸图像。CI为它们的矢量描述。降维旨在找到接下来介绍算法细节。首先，我们构建一个邻接图。给定一个m个顶点的图G，描 述人脸数据。W是一个mXm的稀疏对称矩阵，Wij是边相邻顶点i和j间权重，它可以测量 顶点对间的相似性。我们设定
0，if there is no edge between/andj !/^5Ifxl and Xj- both belongto the A — th class δ. s(iy j)y otherwise 其中0 < δ < 1是在监督与非监督信息间调整权重的参数，s(i, j)是评价样本 Wjj =间相似性的一个热核函数。在有监督训练模式下求解拉普拉斯算子的特征向量，寻找人脸 图像上的最优局部嵌套，从而避免了局部保留投影(LPP)因没有去除矩阵行列间相关性， 导致不能很好的抽取识别特征并且计算复杂的问题。
IhII2-^rf-
s(hj) = e 2σ ,aeRy = [Yl,y2,…，ym]T是从图到实线间的映射。人脸识别旨在最小化一个距离来确 定是否顶点(样本)i和j接近，则Yi和Yj也接近。我们得到Y^y-y^w^i/Ly
Uj这里，L = D-W是拉普拉斯图且D是对角矩阵，它的输入是W的列(或行，因W对 称)和，Dii =Σ JffjiO最终，最小化问题转化为
*. τ τ■ yTLyy = argminjv Ly = argmin
/y Dy限制yTDy = 1删除嵌入中的任意尺度因子。解最小化特征问题获得最优yLy = λ Dy如果我们选择一个线性函数yi = f(Xi) = aTxi0等式转写为
*. yTWy. aTXWXTaa - arg mm T 二 arg mm -^r-
yTDyaTXDXTa其中x=[Xl，…，xm]T，最优a被推推导为XLXTa = λ XDXTa然而，这些方法中的计算涉及密集矩阵的特征分解费时且占用内存。3D人脸识别 中涉及大量数据运算，我们引入谱回归解决特征问题同时减少时间和内存上消耗。算法分 为两步正则化最小平方找到C-I个矢量 ，…，ac_! e Rn(k = 1，…，c_l)作为正则化 最小平方问题的解
mak = argmin(^{aTxt -y\ f+a||α||2)
a )=1其中J；，是yk的第i-th个元素。易得到ak是线性等式系统的解。(ΧΧΤ+α I)ak = Xyk其中I是ηΧη单位矩阵。标准的高斯消元法用于解这个线性等式系统。当X大 时，一些有效迭代算法如LSQR，用来直接解上面正则最小平方问题。SR内嵌:A = La1,…，a。_J是nX (c_l)转移矩阵。样本可以嵌入到c_l维子空 间χ — ζ = A1X将3D人脸样本从高维观测空间通过线性或非线性映射投影到一个低维特征空 间，从而找出隐藏在高维观测数据中有意义的低维结构可以有效地压缩数据，降低存储量； 消除不必要的噪声；用于识别的有效数据特征便于提取；把数据投影到一个低维空间，有利于实现高维数据的可视化。分类识别模块我们使用K最近邻分类方法对3D人脸数据进行分类识别。K最近邻(k-Nearest Neighbor, KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之 一。该方法的思路是如果一个样本在特征空间中的k个最相似(即特征空间中最邻近) 的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居 都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别 来决定待分样本所属的类别。KNN方法虽然从原理上也依赖于极限定理，但在类别决策时， 只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别 类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方 法较其他方法更为适合。参照图5，图5为本发明基于弯曲不变量相关特征的三维人脸识别方法实施例的 步骤流程图。包括图像预处理步骤510，自动提取三维人脸区域，包括人脸区域提取和三 维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算步骤511，计算所述预处 理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取步骤512，编码三维人脸表面相 邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维步骤513，对所述弯 曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别步骤514，基 于主成分，运用K最近邻分类方法对三维人脸进行识别。上述于弯曲不变量相关特征的三维人脸识别方法与系统的原理相同，在此不再赘 述，相关之处互相参照即可。以上对本发明所提供的一种基于弯曲不变量相关特征的三维人脸识别方法及系 统进行详细介绍，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上 实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技 术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处。综上所述，本 说明书内容不应理解为对本发明的限制。
权利要求
一种基于弯曲不变量相关特征的三维人脸识别方法，其特征在于，包括如下步骤图像预处理步骤，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算步骤，计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取步骤，编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维步骤，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别步骤，基于所述主成分，运用K最近邻分类方法对三维人脸进行识别。
2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述图像预处理步骤中，所 述的人脸区域提取包括计算有效点矩阵的列和并从点云中估计一个垂直投影曲线； 定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据； 通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息 后面的大深度值数据；删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸 区域。
3.根据权利要求2所述的三维人脸识别方法，其特征在于，所述图像预处理步骤中，所 述三维人脸匹配包括点云协方差矩阵的正交特征矢量，V1, V2, V3,作为点云的三个主轴，旋转点云使Vl，V2, V3 分别平行于参考坐标系的Y，x和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点， 通过旋转和平移将所有三维人脸数据进行粗匹配；人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网 格点值构建平均人脸模型(AFM)，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颂的影 响；通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角 形上点独立性，并删除所有的人脸不相关信息。
4.根据权利要求3所述的三维人脸识别方法，其特征在于，所述三维人脸弯曲不变量的计算步骤中，所述三维人脸弯曲不变量通过快速行进法计 算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间Rm的距离作为三维表面 点的弯曲不变量。
5.根据权利要求4所述的三维人脸识别方法，其特征在于，所述三维人脸弯曲不变量相关特征提取步骤中，所述三维人脸弯曲不变量相关特征通 过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。
6.一种基于弯曲不变量相关特征的三维人脸识别系统，其特征在于，包括图像预处理模块，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的 操作，获取预处理后的三维人脸；弯曲不变量的计算模块，用于计算所述预处理后的三维人脸的弯曲不变量； 弯曲不变量相关特征提取模块，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块，用于对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维， 获得主成分；分类识别模块，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。
7.根据权利要求6所述的三维人脸识别系统，其特征在于，所述图像预处理模块中，包 括用于实现人脸区域提取的子模块，包括用于计算有效点矩阵的列和并从点云中估计一个垂直投影曲线的单元；用于定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据的 单元；用于通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸 信息后面的大深度值数据单元；用于删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为 人脸区域的单元。
8.根据权利要求7所述的三维人脸识别系统，其特征在于，所述图像预处理模块中，包 括用于实现三维人脸匹配的子模块，包括用于点云协方差矩阵的正交特征矢量，V1, V2, v3，作为点云的三个主轴，旋转点云使V1, V2, V3分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的 原点，通过旋转和平移将所有三维人脸数据进行粗匹配的单元；用于人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每 个网格点值构建平均人脸模型AFM，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颂的 影响的单元；用于通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据 三角形上点独立性，并删除所有的人脸不相关信息的单元。
9.根据权利要求8所述的三维人脸识别系统，其特征在于，所述弯曲不变量的计算模块中，所述三维人脸弯曲不变量通过快速行进法计算三维人 脸表面点的测地距离，再通过等距映射获得低维欧式空间IT的距离作为三维表面点的弯曲 不变量。
10.根据权利要求9所述的三维人脸识别系统，其特征在于，所述弯曲不变量相关特征提取模块中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。
全文摘要
本发明公开了一种基于弯曲不变量相关特征的三维人脸识别方法及系统。该方法包括自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；计算所述预处理后的三维人脸的弯曲不变量；编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；基于主成分，运用K最近邻分类方法对三维人脸进行识别。本发明相比现有的3D人脸识别具有更好的有效性和高效性，在处理人脸表情和姿态变化上效果尤其好。
文档编号G06K9/46GK101930537SQ20101025690
公开日2010年12月29日 申请日期2010年8月18日 优先权日2010年8月18日
发明者明悦, 阮秋琦 申请人:北京交通大学