一种基于双注意力机制的人脸微表情识别方法

本发明属于图像处理，具体涉及一种基于双注意力机制的人脸微表情识别方法。

背景技术：

1、微表情是心理学名词，人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息，“微表情”持续时间较短，可能一个下意识的表情可能只持续一瞬间，但很容易暴露情绪。

2、为提高微表情识别方法的效率和适用性，目前通常采用机器识别方法识别人类的微表情，即需要获取待识别对象的视频数据，然后采用基于深度学习的识别模型对视频数据进行微表情识别；中国专利cn113963423a公开了一种基于神经网络的微表情识别方法、系统、设备及存储介质，该方法包括：对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像；提取预处理后的微表情图像中的微表情时空特征；将预处理后的微表情图像中的微表情时空特征输入到微表情识别模型中，对所述待识别视频中的微表情进行识别；但是现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，基于此，本发明提出了一种基于双注意力机制的人脸微表情识别方法。

技术实现思路

1、本发明的目的在于针对现有技术的不足之处，提供一种基于双注意力机制的人脸微表情识别方法，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的问题。

2、本发明是这样实现的，一种基于双注意力机制的人脸微表情识别方法，包括：

3、获取人脸微表情图像；其中，所述人脸微表情图像通过全方位图像信息捕捉，用于获取不同角度的人脸微表情信息；

4、基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，所述图像元素信息满足ar空间三维建模需求；

5、将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。

6、优选地，所述获取人脸微表情图像，具体包括：

7、对人脸微表情获取设备工作过程中的数据信息进行提取，从拍摄图像的数据信息中统计所监控的数据信息，然后基于以下函数公式找到最清晰的拍摄图像数据；

8、f(x)＝min(min(tσ(y)))→0

9、其中，f(x)为获取设备的图像数据集合；tσ(y)为获取设备的信息变量；y为所获取的图像数据信息的高清图像集；t为分解图像的识别时间；σ为所分解监控图像数据信息的模糊去噪常数。

10、优选地，所述获取人脸微表情图像，具体还包括：

11、获取最清晰的拍摄图像数据，基于暗通道方式对所有拍摄图像的模糊区域数据信息过滤并清除，得到清除后图像数据集。

12、优选地，所述双注意力识别模型的训练方法，具体包括：

13、获取双注意力识别模型训练用样本数据，将样本数据按照3:1:1的比例分为训练集、测试集和验证集；

14、基于所述训练集以及预设的双注意力机制的cnn-lstm模型算法对预先建立的双注意力识别模型进行训练，获得训练后的双注意力识别模型；

15、提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型；

16、基于交叉验证从所有所述剪枝后的双注意力识别模型中选择出最优的双注意力识别模型。

17、优选地，所述双注意力识别模型的训练方法，具体还包括：

18、提取验证集，采用通道注意力机制为所述双注意力识别模型中的最大池化特征和所述平均池化特征分配权重，以输出图像空间特征。

19、优选地，所述提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型，具体包括：

20、将所述测试数据集中所有数据输入至初始双注意力识别模型内，当所述所有数据进入初始决策树模型后，分别计算所述初始双注意力识别模型内每一个节点的损失；

21、判断所述初始双注意力识别模型内每一个节点的损失是否小于预设阈值，其中，每个节点的预设阈值基于预设阈值集获取；若当前节点损失小于预设阈值，则停止当前节点建树。若当前节点损失大于预设阈值，调整所述初始决策树模型节点参数，基于双注意力机制重新剪枝。

22、优选地，所述基于预训练的双注意力识别模型对人脸微表情图像进行处理，具体包括：

23、获取清除后图像数据集；

24、通过双注意力识别模型的分解函数对图像进行分解，在所分解的监控图像数据中标注识别坐标；

25、根据图像进行分解数据，对分解数据中无效的区域进行容差计算，得到处理后不同维度的图像元素信息。

26、优选地，所述分解函数为：

27、

28、其中，为图像分解结果，n为图像集的总数量，i为图像集中图像的索引值，kσ表示在获取图像时受到外界环境数据信息影响因子；σ表示信息获取过程中产生模糊区域的模糊去噪常数。

29、优选地，将所述转换后的图像元素信息构建为三维微表情模型，具体包括：

30、在三维微表情显示界面形成至少一个互动显示区域；

31、获取不同维度的图像元素信息；

32、通过mfc算法模型实现虚拟图像元素信息显示。

33、优选地，所述通过mfc算法模型实现虚拟图像元素信息显示，具体包括：

34、将不同维度的图像元素信息根据双注意力识别模型进行维度特征定义；

35、通过双注意力识别模型实现不同维度图像数据信息模块的维度特征定义，所述维度特征定义采用卷积分算法模型实现数据的维度特征定义；

36、基于虚拟化三维建模环境进行，通过显示器实现三维微表情模型动态演示；

37、所述双注意力识别模型根据三维微表情模型的显示内容对人脸微表情图像进行识别，得到识别结果，根据三维微表情模型的显示分别为3d模型动态演示和局部特征信息演示。

38、与现有技术相比，本申请实施例主要有以下有益效果：

39、本申请通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。

技术特征：

1.一种基于双注意力机制的人脸微表情识别方法，其特征在于，所述基于双注意力机制的人脸微表情识别方法包括：

2.如权利要求1所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述获取人脸微表情图像，具体包括：

3.如权利要求2所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述获取人脸微表情图像，具体还包括：

4.如权利要求1-3任一所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述双注意力识别模型的训练方法，具体包括：

5.如权利要求4所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述双注意力识别模型的训练方法，具体还包括：

6.如权利要求5所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型，具体包括：

7.如权利要求1-3任一所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述基于预训练的双注意力识别模型对人脸微表情图像进行处理，具体包括：

8.如权利要求7所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述分解函数为：

9.如权利要求8所述的基于双注意力机制的人脸微表情识别方法，其特征在于：将所述转换后的图像元素信息构建为三维微表情模型，具体包括：

10.如权利要求9所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述通过mfc算法模型实现虚拟图像元素信息显示，具体包括：

技术总结
本发明公开了一种基于双注意力机制的人脸微表情识别方法，属于图像处理技术领域，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的问题，方法包括：获取人脸微表情图像；基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息；将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。该方法通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，提高了识别效率。

技术研发人员：张绍阳,王英帆,柳永利,张子卓,李亮
受保护的技术使用者：长安大学
技术研发日：
技术公布日：2024/1/15