基于贝叶斯融合稀疏表示分类器的人脸情感识别方法
【技术领域】
[0001] 本发明涉及一种模式识别技术，特别涉及一种基于贝叶斯融合稀疏表示分类器的 人脸情感识别方法。
【背景技术】
[0002] 随着人机交互成为新世纪的热潮，人脸情感识别也随之发挥着越老越大的作用。 现在许多电子设备均具有提高理解人类情感能力的需求。譬如：如果一个护理机器人具有 持续性监控病人情感状态的能力，它就可以给与病人恰当的照顾并能迅速应对危急情况。 另外，如果智能家居的所有者被检测出表露了负面情绪，那么智能家居系统可以选择播放 所有者爱好的音乐或说出积极的话语予以应对。
[0003] 正是由于人脸情感识别的广泛应用，许多针对人脸情感识别的方法纷纷被提出。 其中稀疏表示分类器的出现无疑为人脸情感识别拉开了崭新的序章。在其提出之后，许多 在此基础上的改进算法也纷纷涌现。而其中较为有趣的莫过于在稀疏表示分类器上的集 成。但是，现在的集成大多是基于特征的集成，并且没有注意到在人脸情感识别过程中五官 与其他部位对识别度的贡献度是不尽相同的。少有的基于加权融合方法也忽略了情感与情 感之前相似混杂的特性，因此，本发明提出了一种利用贝叶斯融合稀疏表示分类器结果的 方法。
【发明内容】
[0004] 本发明的目的在于克服现有技术的缺点与不足，提供一种基于贝叶斯融合稀疏表 示分类器的人脸情感识别方法，该人脸情感识别方法是一种结合局部与整体信息，兼顾情 感之前相似与相异特性的方法，模拟实验表明该方法实现简单，对噪音及遮挡具有鲁棒性， 在现实生活中具有实用性。
[0005] 本发明的目的通过下述技术方案实现：基于贝叶斯融合稀疏表示分类器的人脸情 感识别，包括：预处理，图像分割，特征抽取，分类及分类器结果融合，本发明认为不同五官 在不同表情及是否存在遮挡物的情况下对人脸情感识别的贡献度是不一致的。因此通过构 建权重矩阵给不同五官的信息以不同的置信度，并且通过贝叶斯融合理论对来自不同子图 像及原图像的稀疏表示分类器结果进行融合，以达到提高人脸情感识别准确度的目的。
[0006] 所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中采用ASM算法对 人脸表情图像进行特征点标注。并根据所标记的特征点对人脸五官进行相应的分割。
[0007] 所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中利用不同五官及 原图像在稀疏表示分类器中的正确识别率以及错分为其他类别的概率组合成对应的混淆 矩阵。该混淆矩阵的作用是表明人脸表情之间的相似性与相异性，用于评估在分类器给出 结果之后该结果的可信程度。即：利用加权贝叶斯融合理论对稀疏表示分类器的结果进行 融合，考虑了表情与表情之间的相似性与相异性及五官的重要程度
[0008] 所述的基于贝叶斯融合稀疏表示分类器的人脸情感识别方法中具有一个权重矩 阵W，该权重矩阵的作用是衡量五官对识别结果的贡献程度并对其识别结果进行加权。
[0009] 本发明相对于现有技术具有如下的优点及效果：
[0010] 1、本发明实现简单且其结构决定了其适用于并行算法从而节省运行时间；本发明 的识别方法实践简单，对噪音，遮挡的鲁棒性强，能更好的应对现实人脸表情识别的复杂情 况并提高人脸表情识别的准确度等优点
[0011] 2、本发明考虑了五官在不同表情，是否有遮挡物等不同情况下对人脸情感识别的 动态贡献程度，更加符合人脸情感识别的基本自然规律，因此提高了人脸情感识别的准确 度。
[0012] 3、本发明利用混淆矩阵记录了每一子图像及原图像对表情的准确识别能力及将 该情绪错分为其他情绪的概率，从而得到了情绪之间的相似性，相异性变化。
[0013] 4、本发明考虑了情绪之间的相似性，相异性关系，将贝叶斯融合理论引入分类器 的融合之中，利用概率来判别不同分类器结果的可信程度。这种方式不仅比传统的稀疏表 示分类器的人脸情感分类能力要强，也比多数投票，DS证据理论等融合方式的识别率要高。
[0014] 5、本发明需要的参数少，无需特意调参，增加了算法的鲁棒性。
[0015] 6、算法对噪音及遮挡具有一定的鲁棒性。
【附图说明】
[0016] 图1是基于贝叶斯融合稀疏表示分类器的人脸情感识别方法的基本结构图。
[0017] 图2a是本发明分割人脸表情图像时预处理的示意图。
[0018] 图2b是本发明分割人脸表情图像的不意图。
[0019] 图3是本发明求解权重矩阵及混淆矩阵的示意图。
[0020] 图4是本发明采用的模拟实验中的人脸表情数据库的示意图。
[0021] 图5是本发明采用的模拟实验中给数据库中人脸表情图像添加眼镜示意图。
【具体实施方式】
[0022] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限 于此。
[0023] 实施例
[0024] 如图1所示，基于贝叶斯融合稀疏表示分类器的人脸情感识别方法，包括训练部 分及测试部分：
[0025] 在训练部分中包括以下步骤：
[0026] 第一步：预处理。如图2a和图2b所示，对人脸图像用HAAR级联分类器检测出人 脸图像并去除背景区域。将表情区域图像归一化为灰度图并归一化为64*64大小，并使用 直方图均衡化处理图像以减少来自光照的影响。
[0027] 第二步：利用事先训练好的ASM算法识别出人脸表情图像的五官，并根据ASM算法 标注点的提示将人脸表情图像依据五官分布分为四个部分分别对应于额头，眼睛，鼻子和 嘴。
[0028] 第三步：将分割好的子图像连同原图分别送入五个稀疏表示分类器。
[0029] 稀疏表示分类器的基本原理是将测试样本视为训练样本的稀疏现行表示。给定一 个测试样本，设为y，给定训练样本设为A，则需将其表示为y = A α，α表示待求的稀疏系 数，在训练样本数小于图像维度的情况下，该方程是欠定的；因此可以通过以下方式求解：
[0030] min I I a I 10, s. t. y = A α ?
[0031] I I I |。是一个LO问题，同时它是NP难的，然而幸运的是，α如果足够稀疏的话，这 个问题可以等价于Ll问题。
[0032] min I I a I 1S. t. I I y_A a I 12< ε，
[0033] 上述等式是凸优化的，并且可以通过外点法在多项式时间内得到求解。求解到的 α将会在与测试样本y同类的训练样本处达到峰值，同时在其余部分保持稀疏。通过求解 测试样本与其重构样本间的最小残差argrni叫||y - Zafll2,得到测试样本的最后分类C。
[0034] 根据训练样本可以求解每一个子图像及原图在稀疏表示分类器上的正确识别率 及在其他类上的错分率。可得到混淆矩阵CM:
[0035]
[0036] 这里k代表了五官的序号（分别对应于额头，眼睛，鼻子，嘴巴与脸），Cm1,代表了 第i类数据被分到第j类的概率。其对角线数据表明了正确分类的概率。
[0037] 另外建立权重矩阵，如图3所示，使其元素等于混淆矩阵的对角线元素。
[0038]