经弯曲划分后的第v个弯曲的弯曲面积比；i?(Lu)对应等高线Lu包含的弯曲度信息量;i?为 整个区域内所有等高线包含的弯曲度信息量。
[0129] 由公式(29)可得所有等高线的弯曲信息序列，求所有等高线的平均弯曲信息，记 为Iw，则可得等高线的形态复杂度Ih为：
[0130]
(31) u
[0131] 则弯曲度信息总量I?为：
[0132] Iwd = Iwq+Iwx (32)
[0133] (4)根据步骤(1)(2)(3)，可以获取E区、N区和Μ区的三维特征分别为：
[0134] IE = {IEZTJFpDjfrjy\ (33)
[0135] ΙΝ = {Ι^ηΙλρο} (34)
[0136] = (35)
[0137] 4.典型区域二维特征提取
[0138] 为了更好地描述典型区域的纹理特征，本发明提出了一种改进型LBP纹理特征提 取算法，具体流程如下：
[0139] (1)E区、N区、Μ区构造3层高斯金字塔
[0140] 以Ε区、Ν区和Μ区图像作为输入图像，分别构造3层高斯金字塔。第0层为输入图像， 第1层和第2层图像大小分别为原区域的1/2和1/4。
[0141] (2)纹理特征的提取
[0142] 提取3个典型区域输入图像的LBP纹理特征，提取步骤如下：
[0143] 假设像素 c(灰度值为g。)拥有Ρ个邻域像素(灰度值为ge，l Se^P)。首先将图像分 为若干个细胞。对细胞中的每一个像素，确定其为候选像素，其周围的像素定义为邻域像 素。
[0144] 然后计算候选像素与其各邻域像素灰度值的差值PU。。并根据如下公式计算该候 选像素的局部二元模式特征值：
[0145]
(36) 0-1
[0146] 其中
在此LBP算法中，邻域像素点集是以中心像素点为 圆心、半径为R的一个环形邻域点集。最后使用统计方法提取图像中所有像素点的局部二元 模式特征值，得到LBP纹理直方图，记为LBP(p,r)。本发明选取P = 8和R=l。
[0147] 由于高斯金字塔每层图像是由图像降采样获取，因此，选取每层图像的LBP纹理特 征为:1^?(以)，1^? (沙,測和1^?讲,如。结合提取到的3层金字塔的1^?纹理特征，进行如下融 合，得到改进的LBP特征描述符LBP finai。
[0148] LBPfinai={LBP(8，1)，LBP (16,2)，LBP(24,3)} (37)
[0149] 所以，E区、N区和Μ区的LBP纹理特征可以表述为：
[0150] (38)
[0151] (39)
[0152] (40)
[0153] 5. SVM训练
[0154] 根据步骤3和4,分别得到三维人脸典型区域的三维特征和二维特征，为了更好地 观察特征对于三维人脸的贡献程度，将它们进行高斯归一化，并进行特征融合。具体实施 步骤如下：
[0155] 对获取的三维人脸典型区域的三维和二维特征进行高斯归一化，得到如下结果：
[0156]
[0157] 将每个典型区域的三维特征和二维特征进行如下方式融合：
[0158]
[0159] 最后，选取BU-3DFE数据库中60个人的三维人脸数据进行训练和实验。每人24个三 维表情，共1440个表情，这60个人被分成10组，利用SVM进行训练，9组拿来训练，1组验证训 练效果。结果计入下表，观察训练后三维人脸表情识别效果。（单位：％)
[0160]
[0161] 从上述训练后的识别结果可以得知，眼睛区域(E区）对于愤怒表情的影响最大，识 别准确率为76.12%，远远超过了对于其他表情的识别准确率;而两颊区域(N区）对于高兴、 悲伤、愤怒和恐惧表情的识别影响程度相当，无明显的甄别能力；利用嘴巴区域(M区）的融 合特征进行训练后，对于悲伤表情的识别准确率为75.32%，M区对于悲伤表情有着很好的 识别效果。
[0162] 通过上述实验，我们可以发现愤怒表情可以仅由E区特征进行识别，悲伤表情仅由 Μ区特征进行识别，无需利用三个区域共同进行识别，可以有效地降低算法复杂度，同时，可 以有效地观察出不同区域对不同表情的贡献程度。
[0163] 最后，利用三个区域融合特征(4, i^L',4；，进行上述实 验，得到本算法最后的识别平均准确度为71.13%。结果证明了本算法有着较好的表情识别 准确率。
【主权项】
1. 一种基于典型区域多维度特征的三维人脸表情识别算法，其特征包括以下步骤： (1) 对三维人脸数据预处理以获取更规格化的三维人脸点云数据，根据实际需要预处 理操作包括剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样； (2) 实现三维人脸表情典型区域的自动标定，典型区域包括眼部区域(E区）、两颊区域 (N区）和嘴巴区域(Mg); (3) 获取典型区域的等高线图，根据等高线图，分别提取典型区域的整体形态特征、坡 度特征和弯曲度特征，并进行特征融合，得到典型区域三维特征； (4) 将三维人脸典型区域映射到二维平面，分别对典型区域二维图像构造3层高斯金字 塔，提取金字塔每层的LBP纹理特征，综合3层LBP特征，得到典型区域的二维纹理特征； (5) 对典型区域的三维特征和二维特征分别进行高斯归一化和特征融合，针对典型区 域融合特征进行SVM训练，实现三维人脸表情识别。2. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤（1)中，根据实际需求，对三维人脸点云数据进行剪切、去刺、平滑、补洞、坐 标校正、网格对齐重采样的一种或几种预处理操作。3. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(2)中，根据选取的BU-3DFE三维人脸数据库的特点，得到人脸鼻尖点位置； 并根据鼻尖点位置，进行E区、N区和Μ区的自动标定。4. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(3)中，典型区域等高线图的整体特征Ιζτ提取公式： 假设等高线图有m条等高线，被划分为Τ个基本地貌单元，其中，第个基本地貌单元含 有mi条等尚线，平均每个基本地貌单兀包含的等尚线为m = ot/Γ ;地貌单兀的覆盖面积特 征指标Si，等尚线图总面积为s;其中，ICC和IFC分别表示等高线图高差特征的多样性产生的信息量和地貌单元覆盖区域 的差异信息量。5. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(3)中，典型区域等高线图的邻域特征I?提取公式： 假设形貌Iw有^条等高线，每两条相邻等高线围成的区域求取坡度w，具体表述为： Qj = aj/lj, 1 < j < niw (2) 其中，ljPa」分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积； 对形貌Iw，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q;形貌Tw的坡度 差异性信息量Ipd(Tw)为：6. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(3)中，典型区域等高线图的元素特征Iw Q提取公式：其中，η为曲线的弯曲个数，m表不等尚线图有m条等尚线，fuv对应于等尚线Lu经弯曲划 分后的第v个弯曲的弯曲度;puv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲面积比； Iw Q(Lu)对应等高线Lu包含的弯曲度信息量;^为整个区域内所有等高线包含的弯曲度信息 量； 等高线的形态复杂度Ih为：则弯曲度信息总量I?为： Iwd= Iwq+Iwx (6) 〇7. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(4)中，典型区域二维特征提取过程:首先构造典型区域3层高斯金字塔，并 分别提取高斯金字塔每层的LBP纹理特征，结合各层纹理特征，得到典型区域纹理特征公式 如下：其中，和分别表示最终提取的Ε区、Ν区和Μ区改进的纹理特征； 别表示Ε区半径为1、2、3,邻域像素为8、16、24的LBP纹理特征； N区和Μ区的纹理特征与E区相同。8. 根据权利要求1所述的基于典型区域多维度特征的三维人脸表情识别算法，其特征 在于:所述步骤(5)中，对典型区域三为特征和二维特征进行高斯归一化并融合，根据典型 区域融合特征进行SVM训练，实现三维人脸表情识别。
【专利摘要】本发明提出一种基于典型区域多维度特征的三维人脸表情识别算法，具体包括以下步骤：首先，对三维人脸数据进行预处理操作，获取更规格化的点云数据；接着，进行三维人脸表情典型区域的自动标定，根据鼻尖点位置，完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定；然后，分别提取三个典型区域的三维特征和二维特征，进行高斯归一化，并特征融合；最后，根据各典型区域的融合特征进行SVM训练，实现三维人脸表情识别。本发明不仅能观察出人脸不同区域对于不同表情的贡献程度，而且能有效地识别三维人脸的不同表情。
【IPC分类】G06K9/00
【公开号】CN105678235
【申请号】CN201511021337
【发明人】蔡轶珩, 盛楠, 詹昌飞, 崔益泽, 高旭蓉, 邱长炎
【申请人】北京工业大学
【公开日】2016年6月15日
【申请日】2015年12月30日