微表情识别方法、识别模型训练方法、装置、设备及介质与流程

本发明涉及人工智能，尤其涉及一种微表情识别方法、识别模型训练方法、装置、设备及介质。

背景技术：

1、微表情是一种微妙不自觉的面部表情，具有持续时间短，强度低的特点。目前微表情识别方法主要有两类：基于手工设计的方法和基于深度学习的方法。基于手工特征的分类方法在识别过程中并不稳定，而基于深度特征进行微表情识别时，但现有的微表情数据库样本数量较少，在有限的样本下仅仅利用单一模态信息对识别模型进行训练，使得训练得到的识别模型的识别精度较低，因此，在微表情识别过程中，如何提高识别模型的识别精度成为亟需解决的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种微表情识别方法、识别模型训练方法、装置、设备及介质，以解决在微表情识别过程中，识别模型的识别精度较低的问题。

2、本申请实施例的第一方面提供了一种基于线下会客业务的微表情识别模型的训练法，所述识别模型的训练方法包括：

3、获取目标图像和所述目标图像对应的目标文本，以及初始识别模型，所述目标图像包括图像特征标签与图像分类标签，所述目标文本包括文本特征标签与文本分类标签，所述初始识别模型包括初始图像编码器、初始图像解码器、初始文本编码器与初始文本解码器，所述初始图像解码器用于对所述初始文本编码器输出的编码特征进行解码处理，所述初始文本解码器用于对所述初始图像编码器输出的编码特征进行解码处理；

4、使用所述目标图像与所述目标文本对所述初始识别模型进行监督训练，得到训练好的识别模型。

5、本申请实施例的第二方面提供了一种基于线下会客业务的微表情识别方法，所述识别方法包括：

6、获取待识别图像与所述待识别图像对应的待识别文本；

7、将所述待识别图像和所述待识别文本输入至上述第一方面所述的识别模型的训练方法训练好的识别模型，输出微表情识别结果。

8、本申请实施例的第三方面提供了一种基于线下会客业务的微表情识别模型的训练装置，所述识别模型的训练装置包括：

9、第一获取模块，用于获取目标图像和所述目标图像对应的目标文本，以及初始识别模型，所述目标图像包括图像特征标签与图像分类标签，所述目标文本包括文本特征标签与文本分类标签，所述初始识别模型包括初始图像编码器、初始图像解码器、初始文本编码器与初始文本解码器，所述初始图像解码器用于对所述初始文本编码器输出的编码特征进行解码处理，所述初始文本解码器用于对所述初始图像编码器输出的编码特征进行解码处理；

10、训练模块，用于使用所述目标图像与所述目标文本对所述初始识别模型进行监督训练，得到训练好的识别模型。

11、本申请实施例的第四方面提供了一种基于线下会客业务的微表情识别装置，所述识别装置包括：

12、第二获取模块，用于获取待识别图像；

13、使用模块，用于将所述待识别图像输入至使用上述第一方面所述的识别模型的训练方法训练好的识别模型，输出微表情识别结果。

14、本申请实施例的第五方面提供了一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的识别模型的训练方法或者如上述第二方面所述的识别方法。

15、本申请实施例的第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的识别模型的训练方法或者如上述第二方面所述的识别方法。

16、本发明与现有技术相比存在的有益效果是：

17、获取目标图像和目标图像对应的目标文本，以及初始识别模型，目标图像包括图像特征标签与图像分类标签，目标文本包括文本特征标签与文本分类标签，初始识别模型包括初始图像编码器、初始图像解码器、初始文本编码器与初始文本解码器，初始图像解码器用于对初始文本编码器输出的编码特征进行解码处理，初始文本解码器用于对初始图像编码器输出的编码特征进行解码处理，使用目标图像与目标文本对初始识别模型进行监督训练，得到训练好的识别模型。本申请中，使用图像模态数据与文本模态数据对识别模型进行训练，训练时，使用文本解码器对图像模态数据中的图像特征进行解码重构，使用图像解码器对文本模态数据中的文本特征进行解码重构，使图像解码器可以学习到对应的文本模态的特征，文本解码器可以学习到图像模态的特征，解码器学习到多模态特征，在解码重构时，可以提高对不同模态的重构精度，基于重构损失进行训练时，从而提高图像编码器与文本编码器对对应模态数据的特征表征能力，进而使用训练好的识别模型进行微表情识别时，可以提高识别精度。

技术特征：

1.基于线下会客业务的微表情识别模型的训练方法，其特征在于，所述识别模型的训练方法包括：

2.如权利要求1所述的识别模型的训练方法，其特征在于，所述使用所述目标图像与所述目标文本对所述初始识别模型进行监督训练，得到训练好的识别模型，包括：

3.如权利要求2所述的识别模型的训练方法，其特征在于，所述使用所述目标图像与所述目标文本对所述初始识别模型进行监督训练，得到训练好的识别模型还包括：

4.如权利要求2所述的识别模型的训练方法，其特征在于，所述根据所述第一编码特征与所述第二编码特征，计算语义损失值，包括：

5.如权利要求1所述的识别模型的训练方法，其特征在于，所述根据所述第一解码结果、所述第二解码结果、所述图像特征标签与所述文本标签，计算跨模态重构损失值，包括：

6.基于线下会客业务的微表情识别方法，其特征在于，所述识别方法包括：

7.基于线下会客业务的微表情识别模型的训练装置，其特征在于，所述识别模型的训练装置包括：

8.基于线下会客业务的微表情识别装置，其特征在于，所述识别装置包括：

9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的微表情识别模型的训练方法或者如权利要求6所述的微表情识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的微表情识别模型的训练方法或者如权利要求6所述的微表情识别方法。

技术总结
本发明涉及人工智能技术领域，尤其涉及一种微表情识别方法、识别模型训练方法、装置、设备及介质。本申请中，使用图像模态数据与文本模态数据对识别模型进行训练，训练时，使用文本解码器对图像模态数据中的图像特征进行解码重构，使用图像解码器对文本模态数据中的文本特征进行解码重构，使图像解码器可以学习到对应的文本模态的特征，文本解码器可以学习到图像模态的特征，解码器学习到多模态特征，在解码重构时，可以提高对不同模态的重构精度，基于重构损失进行训练时，从而提高图像编码器与文本编码器对对应模态数据的特征表征能力，进而使用训练好的识别模型进行微表情识别时，可以提高识别精度。

技术研发人员：满园园
受保护的技术使用者：中国平安人寿保险股份有限公司
技术研发日：
技术公布日：2024/1/25