一种基于脑机知识蒸馏的面部情绪识别方法

本发明属于脑机协同、迁移学习与情绪识别的交叉领域，具体涉及一种基于脑机知识蒸馏的面部情绪识别方法。

背景技术：

1、机器学习，尤其是深度神经网络，已经在包括面部情绪识别(facial emotionrecognition，fer)在内的各个领域取得了卓越的性能。这得益于大模型和大数据发展的巨大进步。深度神经网络因其深层和复杂的结构，可在大规模标注的训练集上自动训练，从而实现精确分类。然而，深度学习仍然存在许多问题。问题之一是提出了更大的模型，虽然能提高性能，但会产生大量计算成本。问题之二是大型数据集的收集、标注和维护通常成本高昂。

2、人脑与机器的不同之处在于，它可以从少量的训练数据样本中高效地获取情绪分类所需的信息。这是因为人脑的工作依赖于一般原理和认知过程，而不是特定的模型和数据。逆向工程方法测量大脑活动信号，用生理信号记录大脑的认知过程。在各种生理信号中，脑电信号是大脑认知活动的综合反映。如果能将人脑的知识提炼出来并转移到机器上，就有可能提高机器的性能。为了促进知识的提炼和转移，人们专门提出了知识蒸馏方法。

3、作为迁移学习的流行方法之一，知识蒸馏的思想涉及将知识从教师转移到学生。它通过构建一个教师模型和一个学生模型来实现，让学生模型近似于教师模型，从而提高学生模型的性能，有时甚至超过教师模型的性能。在传统的知识蒸馏框架中，教师模型往往比较复杂，而学生模型往往比较简单，教师模型和学生模型通常处理相同的输入，以实现模型的压缩和加速。跨模态蒸馏的提出打破了同一模态数据的限制，实现了不同模态的知识转移。自蒸馏的提出，打破师生模型的固有配对，实现模型自蒸馏。

技术实现思路

1、本发明的一个目的是针对现有技术的不足，提出一种基于脑机知识蒸馏的面部情绪识别方法。其目的是赋予机器人脑判断情绪的能力，使其具有接近人脑的情绪识别模式。逆向工程是从大脑中提取认知信息的可行解决方案，它可以通过脑电信号将大脑的认知过程记录下来。脑机知识蒸馏框架由教师模型和学生模型组成。教师模型和学生模型同时接受训练，将教师模型的知识传授给学生模型。为了学生模型更好地向教师模型学习，我们除了在学生模型的输出层添加监督外，还在其隐藏层添加了监督。

2、本发明提供一种基于脑机知识蒸馏的面部情绪识别方法，其包括以下步骤：

3、第一方面，本发明提供一种基于脑机知识蒸馏的面部情绪识别方法，包括以下步骤：

4、步骤1、获取带有情绪类别标签的图像数据i和脑电数据e。

5、步骤2、针对图像数据i和脑电数据e，分别设计学生模型和教师模型。学生模型和教师模型组成基于脑机知识蒸馏的情绪识别神经网络。所述的教师模型包括依次相连的卷积模块、第一全连接层和第一softmax层。所述的学生模型包括依次相连的多个残差块。每一级残差块的输出均引出至一组依次相连的第二全连接层和第二softmax层；各第二softmax层分别对应不同残差块层数的多个分类器。

6、第一softmax层的输出与标签之间计算交叉熵损失l1；所述第一全连接层的输出与各第二全连接层的输出之间计算均方误差损失l2；第一softmax层的输出与各第二softmax层的输出之间计算kl散度损失l3；各第二softmax层的输出与标签之间计算交叉熵损失l4。

7、步骤3、将脑电数据e输入教师模型，将图像数据i输入学生模型；基于损失函数l对情绪识别神经网络进行基于脑机知识蒸馏的训练。损失函数l中包含交叉熵损失l1、均方误差损失l2、kl散度损失l3、交叉熵损失l4。

8、步骤4、将被测图像输入经过训练的情绪识别神经网络中的学生模型；学生模型输出被测图像中对象所处的情绪类别。

9、作为优选，所述的教师模型中的卷积模块包括时间卷积块、深度卷积块和可分离卷积块。时间卷积块用于在时间维度上处理输入数据。深度卷积块用于在相应时间间隔内捕捉不同通道之间的相关性。可分离卷积块是深度卷积和点卷积的组合，前者用于独立学习每个特征图的时间表征，后者用于在优化合并特征图。

10、作为优选，所述的学生模型中残差块的数量为四个。各残差块的输出尺寸逐渐减小。

11、作为优选，除最后一级残差块外，各残差块的输出与对应的第二全连接层之间设有瓶颈层。

12、作为优选，所述的学生模型中的不同残差块用于提取不同尺寸输入的特征图。

13、作为优选，步骤三的训练过程中，教师模型从脑电数据e中提炼知识；学生模型处理图像数据i并学习教师模型的知识。

14、作为优选，所述的损失函数l的表达式如下：

15、l＝l1+αl2+βl3+γl4

16、其中，α、β和γ为用于平衡学生模型的三个损失的三个超参数。

17、作为优选，被识别的情绪类别共有七种，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立和快乐。

18、第二方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器存储计算机程序；所述处理器执行前述的一种基于脑机知识蒸馏的面部情绪识别方法。

19、第三方面，本发明提供一种可读存储介质，存储有计算机程序；所述计算机程序被处理器执行时用于实现前述的一种基于脑机知识蒸馏的面部情绪识别方法。

20、本发明的有益效果如下：

21、1.本发明提出了一种脑机知识蒸馏方法，通过将人脑知识提炼并转移到机器中来增强机器的情感判断能力。

22、2.知识蒸馏得到的教师知识作为监督信息，学生模型需要学习并接近监督信息，这为学生模型提供了更多的信息，增强了学生模型的泛化能力。

23、3.本发明针对面部情绪图像的小样本数据集，实现了基于小样本的面部情绪识别任务，具有良好的分类性能。

技术特征：

1.一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：所述的教师模型中的卷积模块包括时间卷积块、深度卷积块和可分离卷积块；时间卷积块用于在时间维度上处理输入数据；深度卷积块用于在相应时间间隔内捕捉不同通道之间的相关性；可分离卷积块是深度卷积和点卷积的组合，前者用于独立学习每个特征图的时间表征，后者用于在优化合并特征图。

3.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：所述的学生模型中残差块的数量为四个；各残差块的输出尺寸逐渐减小。

4.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：除最后一级残差块外，各残差块的输出与对应的第二全连接层之间设有瓶颈层。

5.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：所述的学生模型中的不同残差块用于提取不同尺寸输入的特征图。

6.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：步骤三的训练过程中，教师模型从脑电数据e中提炼知识；学生模型处理图像数据i并学习教师模型的知识。

7.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：所述的损失函数l的表达式如下：

8.根据权利要求1所述的一种基于脑机知识蒸馏的面部情绪识别方法，其特征在于：被识别的情绪类别共有七种，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立和快乐。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述存储器存储计算机程序；其特征在于：所述处理器执行如权利要求1-8中任意一项所述的一种基于脑机知识蒸馏的面部情绪识别方法。

10.一种可读存储介质，存储有计算机程序；其特征在于：所述计算机程序被处理器执行时用于实现如权利要求1-8中任意一项所述的一种基于脑机知识蒸馏的面部情绪识别方法。

技术总结
本发明公开一种基于脑机知识蒸馏的面部表情识别方法。深度学习存在许多基本的未决问题。其中一个问题是大型模型的提出，它可以提高性能，但计算成本较高。第二个问题是，收集和标记大型数据集通常是一项成本高昂的工作。与机器不同的是，由于一般原理和认知过程，人脑可以从有限的样本中高效地获得情绪分类所需的信息。为了赋予机器人脑判断情绪的能力，使其具有接近人脑的情绪识别模式，本发明提供一种“基于脑机知识蒸馏的面部表情识别方法“，以提炼人脑知识并将其传递给机器。脑机知识蒸馏框架由教师模型和学生模型组成。教师模型从视觉图像刺激诱发的脑电信号中提炼知识。学生模型处理视觉图像，同时从教师模型中学习认知知识。

技术研发人员：孔万增,刘栋军,戴玮辰,刘鸿刚,仪航捷,金宣妤
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/3/4