一种表情识别方法及装置与流程

本发明涉及一种计算机技术，尤其涉及一种表情识别方法及装置。

背景技术：

1、人类的心情(如高兴、生气、伤心等)作为一种心理状态可以在脸部表现出来，因此通过人脸的表情识别可以确定其内在的心理状态，进而根据心理状态作为参考依据，进行智能化的人机交互。以语音式的人际交互为例，通过表情识别可以自动播放识别出的表情对应的聊天语音；例如当识别出伤心表情时，可以播放“怎么不开心啊，有什么不开心的事情吗？”，实现一种智能化聊天功能。再例如，通过表情识别可以自动播放识别出的表情对应的音乐等等。

2、然而，人脸表情在多种状态下可以呈现不稳定、不规律的情况；具体的，不同的人表达相同的表情时会呈现出很大的差异性(这种相同表情之间具有较大的差异性可以称之为类内差异性)，同一种表情在表达时也存在表情幅度不同的差异性(这种不同表情之间具有一定的相似性称之为类间相似性)。

3、由于类内差异性和类间相似性的存在，导致表情识别的准确率不高，难以实现强鲁棒性。

技术实现思路

1、本发明的目的之一在于提供一种表情识别和表情识别方法，可以提升表情识别的准确率。

2、基于根据上述发明目的，本发明提出了一种表情识别方法，所述方法包括：

3、对待识别表情的人脸图像进行特征提取，得到所述人脸图像中的全局色彩特征和局部二值特征；

4、将所述全局色彩特征与所述局部二值特征进行特征融合，得到融合特征；

5、将所述融合特征输入到表情分类器中进行计算，得到所述人脸图像属于各种表情的概率分布，并基于所述概率分布确定最终的表情。

6、进一步地，在一些实施例中，所述对待识别表情的人脸图像进行特征提取，得到所述人脸图像中的全局色彩特征和局部二值特征，包括：

7、对待识别表情的人脸图像进行全局色彩特征提取，得到所述人脸图像中的全局色彩特征；

8、将所述人脸图像转换为局部二值图像，并对所述局部二值图像进行局部二值特征提取，得到所述局部二值图像中的全局二值特征。

9、进一步地，在一些实施例中，所述全局色彩特征包括红黄蓝三原色特征。

10、进一步地，在一些实施例中，所述对待识别表情的人脸图像进行全局色彩特征提取，得到所述人脸图像中的全局色彩特征，包括：

11、将待识别表情的人脸图像输入到第一残差网络中进行全局色彩特征提取，得到所述第一残差网络输出的全局色彩特征；

12、所述对所述局部二值图像进行局部二值特征提取，得到所述局部二值图像中的全局二值特征，包括：

13、将所述局部二值图像输入到第二残差网络中进行局部二值特征提取，得到所述第二残差网络输出的局部二值特征。

14、进一步地，在一些实施例中，所述第一残差网络和第二残差网络具有相同的网络参数。

15、进一步地，在一些实施例中，所述将所述全局色彩特征与所述局部二值特征进行特征融合，包括：

16、对所述全局色彩特征与所述局部二值特征进行特征相加处理。

17、进一步地，在一些实施例中，所述将所述融合特征输入到表情分类器中进行计算之前，还包括：

18、对所述融合特征分别进行局部特征提取和全局特征提取，得到局部特征和全局特征；

19、将所述局部特征和全局特征进行特征融合，将融合后的第二融合特征作为新的融合特征，以作为所述表情分类器的输入。

20、进一步地，在一些实施例中，所对所述融合特征分别进行局部特征提取和全局特征提取，包括：

21、将所述融合特征分别输入到局部注意力模型和全局注意力模型中进行特征提取；

22、在所述将所述局部特征和全局特征进行特征融合之前，还包括：

23、使用与所述局部注意力模型对应的激活函数、对所述局部注意力模型提取的局部特征进行计算；

24、使用与所述全局注意力模型对应的激活函数、对所述全局注意力模型提取的全局特征进行计算；

25、所述将所述局部特征和全局特征进行特征融合，包括：

26、将激活函数计算得到的局部特征和全局特征进行特征融合。

27、进一步地，在一些实施例中，在将所述融合特征输入到表情分类器中进行计算之前，还包括：

28、将所述融合特征输入到transformer模型进行特征增强处理，得到特征增强的融合特征。

29、进一步地，在一些实施例中，所述将所述融合特征输入到transformer模型进行特征增强处理，包括：

30、将融合特征作为transformer模型的class模块与其它的position模块组合后进行位置编码；进一步，将位置编码结果输入到transformer encoder进行自注意力特征增强，得到特征增强的融合特征。

31、进一步地，在一些实施例中，所述对待识别表情的人脸图像进行特征提取，包括：

32、对待识别表情的人脸图像进行区域识别，确定所述人脸图像中位于目标区域的局部图像，并对所述局部图像进行特征提取。

33、本发明的还提供一种表情识别装置，所述装置包括：

34、提取单元，对待识别表情的人脸图像进行特征提取，得到所述人脸图像中的全局色彩特征和局部二值特征；

35、融合单元，将所述全局色彩特征与所述局部二值特征进行特征融合，得到融合特征；

36、识别单元，将所述融合特征输入到表情分类器中进行计算，得到所述人脸图像属于各种表情的概率分布，并基于所述概率分布确定最终的表情。

37、进一步地，在一些实施例中，所述提取单元，包括：

38、第一提取子单元，对待识别表情的人脸图像进行全局色彩特征提取，得到所述人脸图像中的全局色彩特征；

39、第二提取子单元，将所述人脸图像转换为局部二值图像，并对所述局部二值图像进行局部二值特征提取，得到所述局部二值图像中的全局二值特征。

40、进一步地，在一些实施例中，所述全局色彩特征包括红黄蓝三原色特征。

41、进一步地，在一些实施例中，所述第一提取子单元，进一步用于将待识别表情的人脸图像输入到第一残差网络中进行全局色彩特征提取，得到所述第一残差网络输出的全局色彩特征；

42、所述第二提取子单元，进一步用于将所述局部二值图像输入到第二残差网络中进行局部二值特征提取，得到所述第二残差网络输出的局部二值特征。

43、进一步地，在一些实施例中，所述第一残差网络和第二残差网络具有相同的网络参数。

44、进一步地，在一些实施例中，所述融合单元，进一步用于对所述全局色彩特征与所述局部二值特征进行特征相加处理。

45、进一步地，在一些实施例中，在所述识别单元之前，还包括：

46、处理单元，对所述融合特征分别进行局部特征提取和全局特征提取，得到局部特征和全局特征；将所述局部特征和全局特征进行特征融合，将融合后的第二融合特征作为新的融合特征，以作为所述表情分类器的输入。

47、进一步地，在一些实施例中，所述处理单元，进一步包括：

48、第三提取子单元，将所述融合特征分别输入到局部注意力模型和全局注意力模型中进行特征提取；

49、计算子单元，使用与所述局部注意力模型对应的激活函数、对所述局部注意力模型提取的局部特征进行计算；使用与所述全局注意力模型对应的激活函数、对所述全局注意力模型提取的全局特征进行计算；

50、处理子单元，将激活函数计算得到的局部特征和全局特征进行特征融合，将融合后的第二融合特征作为新的融合特征，以作为所述表情分类器的输入。

51、进一步地，在一些实施例中，在所述识别单元之前，还包括：

52、增强单元，将所述融合特征输入到transformer模型进行特征增强处理，得到特征增强的融合特征。

53、进一步地，在一些实施例中，所述增强单元，进一步用于将融合特征作为transformer模型的class模块与其它的position模块组合后进行位置编码；进一步，将位置编码结果输入到transformer encoder进行自注意力特征增强，得到特征增强的融合特征。

54、进一步地，在一些实施例中，所述提取单元，进一步用于对待识别表情的人脸图像进行区域识别，确定所述人脸图像中位于目标区域的局部图像；并对所述局部图像进行特征提取，得到所述局部图像中的全局色彩特征和局部二值特征。

55、本发明所述的表情识别方法及装置具有以下有益效果：

56、一方面引入局部二值特征，由于提取局部二值特征时可以屏蔽掉人脸图像中的平滑区域从而使得局部二值特征可以充分表达人脸图像中的局部纹理特征，从而增强了与表情具有差异性的表达；并且通过将局部二值特征与全局色彩特征进行特征融合，由于融合后特征同时具备局部纹理信息和全局图像信息，因此能够更为准确的识别人脸图像中的表情。

57、另一方面通过transformer模型对局部二值特征和全局色彩特征的融合特征进行特征增强，以建立图像特征间的长程关系，从而进一步增强表情特征的鲁棒性，最终实现更好的表情识别准确率。