的表面结构组织排列属性。当人脸表情发生变化时，映射得到的图像中纹 理特征也会发生相应变化。本发明采用改进的LBP算法进行纹理特征提取。具体步骤如下： [0059] (1)E区、N区和Μ区二维图像金字塔
[0060]为了更全面的描述二维人脸图像的纹理特征，本发明利用高斯函数对人脸图像典 型区域，即Ε区、Ν区和Μ区，进行高斯平滑和降采样，得到典型区域图像的高斯金字塔。且每 个区域均构建3层高斯金字塔，大小分别为原始图像的1/2和1/4。
[0061 ] (2)LBP纹理特征提取
[0062]针对典型区域高斯金字塔图像，本发明提取每层图像的LBP纹理特征，并进行融 合，得到描述能力更强的LBP纹理特征描述符。LBP纹理特征提取算法如下：
[0063]假设像素 c(灰度值为g。)拥有P个邻域像素(灰度值为ge，l Se^P)。首先将图像分 为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像 素。
[0064]然后计算候选像素与其各邻域像素灰度值的差值PU。。并根据如下公式计算该候 选像素的局部二元模式特征值：
[0065]
(1.6)
[0066]
。.在此LBP算法中，邻域像素点集是以中心像素点为 圆心、半径R的一个环形邻域点集。这样可以有效地提高LBP算子的旋转不变性能。
[0067] 最后使用统计方法提取图像中所有像素点的局部二元模式特征值，得到LBP纹理 直方图，记为LBP(p,r)。
[0068] 由于高斯金字塔每层图像是由图像降采样获取，因此，选取每层图像的LBP纹理特 征分别为:1^3([^ )，1^?(:^測和1^?讲,如。结合提取到的3层金字塔的1^?纹理特征，进行如 下融合，得到改进的LBP特征描述符LBP final。
[0069] LBPfmai = {LBP(p,R),LBP(2p,2r) ,LBP(3p,3r)} (17)
[0070] 所以，E区、N区和M区的LBP纹理特征可以表述为：
[0071]
[0072]
[0073]
[0074] 5. SVM训练
[0075] 根据步骤3和4,分别得到三维人脸典型区域的三维和二维特征，分别为：
[0076]
[0077]根据提取的典型区域三维和二维特征，为了全面地描述三维人脸表情特征，本发 明利用高斯归一化对三维和二维特征进行处理，并进行特征融合。假设三维和二维特征归 一化之后，可表述为下表所示：
[0078]
[0079]那么，对于归一化后的二维和三维特征融合结果为：
[0080]
[0081]最后根据不同区域的融合特征，分别进行SVM训练，实现不同区域对于三维人脸表 情识别的效果。如果某一区域的融合特征能够很好地辨识出某种表情，那么在SVM训练器 中，对于这种表情的判断只用针对单一区域的融合特征。如果不行，则继续添加其他区域进 行判断。这样即有利于观察不同区域对不同表情的贡献程度，又能很好地减少表情识别的 计算量。
[0082] 有益效果
[0083] 1.根据三维人脸不同区域对于表情的贡献，本发明提出了三维人脸典型区域的概 念，并进行区域自动标定工作。这对于研究三维人脸不同部位对于表情的贡献程度有着重 要的参考价值。
[0084] 2.针对三维人脸表情识别，本发明分别提取了人脸的三维和二维特征。利用典型 区域的等高线图分别提取人脸典型区域的整体形态特征、坡度特征和弯曲度特征;利用三 维人脸映射到二维的图像，提取其改进的LBP纹理特征。实现了从多维度对三维人脸特征 进行描述。
[0085] 3.根据人脸等高线的特征，本发明对每个区域的划分侧重点各有不同，以便进行 不同方式的特征融合。在眼睛区域和嘴巴区域，整体形态特征、坡度特征和弯曲度特征均有 显著影响，但在两颊区域，只有整体形态特征和弯曲度特征影响显著，因此在进行特征融合 时不选取弯曲度特征，减小了计算量。
[0086] 4.根据典型区域的融合特征，分别进行SVM训练，并进行实验得到三维人脸表情识 别结果。根据不同区域的识别准确率，可以直观地看出不同区域对于人脸表情的影响程度。 同时，对于3个典型区域的融合特征分别进行训练，能有效地降低算法复杂度，有效地缓解 了三维人脸表情识别计算量大的问题。
【附图说明】
[0087]图1是本发明的整体流程图；
[0088]图2是三维人脸的三维特征提取算法流程图；
[0089]图3是三维人脸的二维特征提取算法流程图；
[0090]图4是三维人脸典型区域划分图；
[0091]
【具体实施方式】
[0092] 图1为本发明的整体流程图，下面为本发明的具体实施步骤：
[0093] 1.人脸数据预处理
[0094]本发明以BU-3DFE三维人脸数据库为基础进行操作。由于三维人脸点云数据通常 伴有毛刺、噪声等的干扰，为了获取更规则的三维人脸点云数据，根据实际需要对获得的原 始三维人脸点云数据进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种 预处理工作。
[0095] 2.三维人脸表情典型区域自动标定
[0096]本发明根据三维人脸表情的特点，划分出三个重要的人脸表情相关区域，分别为 眼部区域(E区）、两颊区域(N区）和嘴巴区域(M区）。这三个人脸表情典型区域对于不同表情 的特点有着重要的描述能力。典型区域的自动标定分为两步:首先确定鼻尖点的位置，然后 根据鼻尖点的位置，完成三维人脸典型区域的自动标定。具体实施步骤如下：
[0097] (1)鼻尖点的确定
[0098]根据BU-3DFE三维人脸数据库的三维人脸点云数据坐标限定，Z轴方向最大值即为 鼻尖点位置。为了结果更为精确，选取Z轴最大值周边点，取平均，得到鼻尖点位置。
[0099] (2)E区、N区和Μ区自动标定
[0100] 沿下眼睑，两侧外眼角划分区域，这个区域将包括额头和双眼，作为眼睛区域(Ε 区），以鼻尖点为原点，分别向嘴角的两个边界点做射线，这两条射线之间的区域为嘴巴区 域(Μ区）。其余部分为两颊区域(Ν区）。具体如图4所示。
[0101] 3.典型区域三维特征提取
[0102] 三维特征是基于典型区域的等高线图来获取的。首先，将三维人脸放平，分别得到 Ε区、Ν区和Μ区的等高线图，根据等高线图提取其整体形态特征、坡度特征和弯曲度特征，具 体提取过程如下：
[0103] (1)整体形态提取
[0104] 假设区域内有m条等高线，被划分为Τ个基本形貌单元，其中，第i个基本形貌单元 含有ΠΗ条等尚线，平均每个基本形貌单兀包含的等尚线为/Η = 0?:/.Γ〇.对等尚线数目进彳丁规 范化处理后，即可算得由于高差特征的多样性产生的信息量Ι(Χ，具体公式如下：
[0105]
(21)
[0106] 对于形貌单元的覆盖面积特征指标Sl，整个等高线图的面积为s，仿等高线数目特 征指标，可得整体层次上形貌单元覆盖区域的差异信息量Ifc为：
[0107]
(22)
[0108] 最后，结合这两种特征，即可得到等高线图整体形态上的特征值Ιζτ，具体公式如 下：
[0109] Izt=Igc(iii)+Ifg(s) (23)
[0110] (2)坡度特征提取
[0111] 对于一个由mw条等高线组成的形貌单元Tw，按照一定的方向对每相邻等高线围成 的区域求取坡度qp由于后续信息量度量仅考虑坡度多样性和差异性，即仅与坡度的相对 关系有关，而不涉及坡度绝对值，因而可将W简化表达为：
[0112] qj = aj/lj, 1 < j < mw (24)
[0113] 其中，1」和％分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。
[0114] 对形貌Tw，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q。根据以 下公式即可得到形貌Iw的坡度差异性信息量。
[0115]
(25)
[0116] 由此，综合坡度差异信息量，可得到等高线坡度特征IPD表达式(26):
[0117]
(26)
[0118] 其中，Τ表示等高线图被分解为基本形貌单元的总数。
[0119] (2)弯曲度特征提取
[0120]不妨设一幅等尚线图有m条等尚线，对于其任一条等尚线Lu，首先对等尚线进彳丁弯 曲划分，得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲，采用式(27)和式(28)计算 弯曲度f uv和弯曲面积比puv。
[0121] (27)
[0122] (.28.) )'二
[0123] 其中，η为曲线的弯曲个数。luv是曲线Lu的第v个弯曲的曲线长度，duv是第v个弯曲 底线宽度。s uv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积表示所 有弯曲的弯曲面积均值。
[0124] 从而，单备等高线的弯曲庠特征为：
[0125](.29.) V=i
[0126] 等高线图的弯曲度特征Iwq为：
[0127]
(30).
[0128] 其中，fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度;puv对应于等高线L u