基于典型区域多维度特征的三维人脸表情识别方法
【技术领域】
[0001] 本发明涉及计算机视觉以及模式识别领域，具体来说涉及一种基于典型区域多维 度特征的三维人脸表情识别方法。
【背景技术】
[0002] 人脸表情识别是计算机视觉以及模式识别领域的热点研究问题，自20世纪80年代 以来的三十年间受到了越来越多研究人员的重视。同时作为人工智能以及情感分析的重要 分支，人脸表情识别在人机交互、重症病房监护等领域具有很大的研究价值以及应用前景。
[0003] 早期的人脸表情识别专注于二维图像以及图像序列，也即视频上的算法实现。但 是由于二维人脸图像是三维物体的二维平面投影，在投影过程中必然会损失纹理、形状等 特征，还会受到姿态、光照等的影响。因此，近些年来，基于三维人脸点云模型的表情识别逐 渐成为该领域的研究重点。
[0004] 三维人脸表情识别通常包括三个主要步骤，分别为人脸图像预处理、表情特征提 取和表情分类。基于此，本发明提出一种基于面部表情典型区域混合维度的三维人脸表情 识别方法。针对三维人脸不同区域对表情的影响程度，将人脸划分为三个典型区域。刘慧敏 等人在《地图上等高线信息度量的层次方法研究》一文中详细介绍了等高线图信息的利用 方法。本发明基于等高线图信息度量研究，提出针对三维人脸典型区域等高线图的信息度 量方法。全面的利用了人脸等高线图，极大地丰富了三维特征的信息量。然后，将三维人脸 典型区域映射到二维平面进行研究。最后，结合典型区域的二维和三维特征实现三维人脸 表情识别。
【发明内容】
[0005] 本发明针对三维人脸点云数据，提出一种基于面部表情典型区域多维度的三维人 脸表情识别方法。
[0006] 首先，对三维人脸点云数据进行预处理操作，得到规格化的三维人脸点云数据;然 后，自动标定三维人脸面部表情典型区域，分别为眼部区域(E区）、两颊区域(N区）和嘴巴区 域(M区）。分别提取这三个典型区域的二维和三维特征；最后，根据提取的二维和三维特征 进行SVM训练，实现三维人脸表情识别。具体流程如下：
[0007] 1.人脸数据预处理
[0008] 根据获取的原始三维人脸点云数据特点，对其进行剪切、去刺、平滑、补洞、坐标校 正、网格对齐重采样的一种或几种预处理工作，从而得到规格化后的三维人脸点云数据。
[0009] 2.三维人脸表情典型区域自动标定
[0010] 人脸表情通常指高兴、悲伤、愤怒、惊讶、厌恶和恐惧6种。在人脸呈现不同表情时， 其眼部、两颊和嘴巴三个区域会呈现不同的特征，且这些不同特征对于不同表情有着良好 地描述能力。基于此，本发明就这三个人脸表情典型区域进行自动标定，以进行后续的研究 和分析。
[0011] 三个典型区域的自动标定，首先需要确定人脸的鼻尖点，然后再进一步确定各个 区域。具体步骤如下：
[0012] (1)鼻尖点的确定
[0013] 本发明采用BU-3DFE三维人脸数据库，由于此数据库中的三维人脸点云都有严格 的坐标限定，即采集实验者人脸点云时人脸与正对的三维数据采集设备平面连线并指向图 像采集方向为Z轴正方向，与Z轴垂直平面为X轴、Y轴所在的二维平面，并且符合右手定则， 水平方向为X轴，向右为X轴正方向，竖直方向为Y轴，向上为Y轴正方向。故由人脸解剖学可 以获取人脸正面最高点，即该点坐标的Z轴坐标值最大点即为大体鼻尖端点。出于准确性考 虑，提取Z轴坐标最大点及其邻接各点的三维坐标，取平均以获取更加准确的鼻尖三维坐 标。
[0014] (2)E区、N区和Μ区的自动标定
[0015] 沿下眼睑，两侧外眼角划分区域，这个区域将包括额头和双眼，作为眼睛区域(Ε 区），以鼻尖点为原点，分别向嘴角的两个边界点做射线，这两条射线之间的区域为嘴巴区 域(Μ区）。其余部分为两颊区域(Ν区）。具体如图4所示。
[0016] 3.典型区域三维特征提取
[0017] 当人脸表情变化时，脸部的高低起伏也随之变化。为了有效地描述这种变化的量 化规律，对人脸典型区域作等高线图。对于人脸典型区域的等高线图，本发明首先关注表情 变化时整个人脸典型区域等高线图的变化，即人脸等高线图的整体形态特征；随后关注的 是人脸局部起伏程度及其变化，即人脸等高线图坡度特征;最后，关注的是表情变化时，等 高线图单条等高线走向的曲折变化，即弯曲度特征。用每个典型区域提取到的整体形态特 征、坡度特征和弯曲度特征，构成特征矢量，全面地描述三维人脸表情特征。具体提取过程 如下：
[0018] (1)整体形态特征提取
[0019] 人脸等高线图会根据人脸表情的不同而呈现出不同的形态。当人脸表情发生变化 时，等高线图的等高线数量和不同等高线围成的基本形貌单元面积等都将发生变化。本发 明采取这两个指标来描述等高线图的每个区域的整体形态特征。
[0020] 假设区域内有m条等高线，被划分为Τ个基本形貌单元，其中，第i个基本形貌单元 含有ΠΗ条等尚线，平均每个基本形貌单兀包含的等尚线为 ：树。对等尚线数目进彳丁规 范化处理后，即可算得由于等高线的多样性而产生信息量Ι(χ，具体公式如下：
[0021]
(1 )
[0022] 假设形貌单元的覆盖面积为Sl，整个等高线图的面积为s，即可得形貌覆盖区域面 积的信息量Ifc为：
[0023]
(2)
[0024] 最后，结合这两种特征，即可得到等高线图整体形态上的特征值Ιζτ，具体公式如 下：
[0025] Izt=Igc(iii)+Ifg(s) (3)
[0026] (2)坡度特征提取
[0027] 人脸在呈现不同表情特征时，脸部的高低起伏存在着较大的区别，这将造成人脸 等高线图的等高线形态和脸部平均坡度发生变化。基于此，进行坡度信息特征提取的具体 过程如下：
[0028] 对于一个由mw条等高线组成的形貌Iw，按照一定的方向对每两条相邻等高线围成 的区域求取坡度qp由于后续信息量度量仅考虑坡度多样性和差异性，即仅与坡度的相对 关系有关，而不涉及坡度绝对值，因而可将W简化表达为：
[0029] qj = aj/lj, 1 < j < mw (4)
[0030] 其中，1』和％分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。
[0031] 对形貌Iw，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q。代入公 式(5)即可得到形貌Iw的坡度差异性信息量。
[0032]
'(5)
[0033]由此，综合坡度差异信息量，可得到等高线坡度特征i?表达式：
[0034]
(6)
[0035] 其中，T表示区域内等高图被分解为基本形貌单元的总数。
[0036] (3)弯曲度特征提取
[0037] 人脸表情的变化会导致人脸等高线图中单条等高线的弯曲度和弯曲面积比发生 相应变化。对于一幅人脸等尚线图，不妨设有m条等尚线，对于其任一条等尚线L u，首先对等 高线进行弯曲划分，得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲，采用式(7)和 (8)计算弯曲度f uv和弯曲面积比puv。
[0038] (7)
[0039] ⑷
[0040] 其中，η为曲线的弯曲个数。luv是曲线Lu的第v个弯曲的曲线长度，duv是第v个弯曲 底线宽度。s uv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积表示所 有弯曲的弯曲面积均值。
[0041 ]从而，单条等高线的弯曲度特征IWQ (Lu)为：
[0042]
(9)
[0043] 等高线图的弯曲度特征Iwq为：
[0044
(10)
[0045]其中，fuv对应于等高线Lu经弯曲划分后的第v个弯曲的弯曲度;puv对应于等高线L u 经弯曲划分后的第v个弯曲的弯曲面积比；Iwq(Lu)对应等高线Lu包含的弯曲度信息量;Iwq为 整个区域内所有等高线包含的弯曲度信息量。
[0046] 由公式(9)可得所有等高线的弯曲信息序列，求所有等高线的平均弯曲信息，记为 Iwp，则可得等高线的形态复杂度Ih为：
[0047]
(11 )
[0048] 则弯曲度信息总量I?为：
[0049] Iwd = Iwq+Iwx (12)
[0050] (4)典型区域特征矢量获取
[0051 ]经过上述步骤，可以获取三个典型区域等高线图的整体形态特征、坡度特征和弯 曲度特征，但根据人脸等高线的特征，两颊部分，即N区，弯曲度特征变化不明显，因此在N区 只选取整体形态特征和坡度特征进行计算。
[0052] 所以，眼部区域(E区）、两颊区域(N区）和嘴巴区域(M区）的三维特征分别可以表述 为：
[0053]
[0054]
[0055]
[0056] 4.典型区域二维特征提取
[0057]虽然三维表情识别的研究是近年来学术界针对表情识别的研究热点，但是由于其 巨大的数据量，对计算机处理技能的要求，导致短期内无法实现实时的三维表情识别。为了 减轻三维人脸表情识别的计算量，本发明结合由三维人脸映射得到的二维人脸进行特征提 取与分析研究。
[0058]纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化 或者周期性变化