一种课堂教学下低分辨率图像的人脸超分与表情识别方法

本发明涉及人脸识别，具体为一种课堂教学下低分辨率图像的人脸超分与表情识别方法。

背景技术：

1、面部表情作为一种显著的外在信号，深刻地反映了人类的情绪状态。由人脸肌肉的微妙变化引发的面部特征的变化，构成了丰富多样的人脸表情，人脸表情是一种非语言的重要的表达方式，通过其独特的方式，可以向外界传达个体的情绪、态度、意愿和反应，据心理学家a.mehrabia的研究表明，人类在日常交流中通过表情传递的信息比通过语言传递的信息多得多，在众多的研究中，研究者们通常将人脸表情分为六种基本类型，即快乐、悲伤、惊讶、恐惧、愤怒和厌恶。

2、现有的表情识别技术已经由传统的机器学习的方式逐渐转换成以深度学习为主的方式，人脸表情的识别准确率也有了较大幅度的增长，针对实验室数据集的表情识别，现有的大多数的模型都可以做到较高的识别准确率，然而当这些方法应用到真实世界的数据集中的时候，识别准确率都会有较大幅度的下降，由于真实世界的数据通常存在遮挡、姿势扭曲、光照不足、图像分辨率较低等问题，由于摄像头等硬件设备的限制，获取到的人脸图像往往是不清晰的，其中最大的问题就是低分辨率的问题，低分辨率的图片相对于高分辨率的图片信息含量有显著的降低，计算机就很难通过特征分析技术去取得图片中的信息，因此导致不同图片之间的区分度不够大，也很难对其中的表情进行分类。

技术实现思路

1、针对现有技术的不足，本发明提供了一种课堂教学下低分辨率图像的人脸超分与表情识别方法，其目的在于通过一个端到端的模型实现了输入低分辨的人脸图片，模型可以得出这张图片人物所展示的表情同时，也能获得这张图片的更清晰的高分辨率版本，并且具有更丰富的表情特征。

2、为实现上述目的，本发明提供如下技术方案：一种课堂教学下低分辨率图像的人脸超分与表情识别方法,包括以下步骤：

3、步骤s1，构建面部表情数据集；

4、步骤s2，对面部表情数据集内将所有图像进行尺寸标准化，生成一组低分辨率图像；

5、步骤s3，构建超分表情识别模型，由超分辨率生成网络和多尺度注意力分类器组成；

6、所述超分辨率生成网络包括编码器、超分辨率生成器、解码器；

7、所述编码器由残差稠密块网络、多层卷积层、全连接层组成；

8、所述多尺度注意力分类器包括有注意力模块；

9、步骤s4，将低分辨率图像输入至编码器中得到低分辨率图像的特征；

10、步骤s5，将低分辨率图像的特征输入至超分辨率生成器中，对低分辨率图像的特征进行分析和解析，得出高分辨率特征；

11、步骤s6，通过解码器对高分辨率特征进行逐层解码，得出超分辨率图像；

12、步骤s7，得出超分辨率图像输入至鉴别器中，对面部表情数据集内与超分辨率图像相匹配的高分辨率图像进行判断，同时通过对抗网络反向传播计算减小超分辨率图像与相匹配的高分辨率图像之间差异；

13、步骤s8，基于步骤s5将得到高分辨率的特征进行统一输入至多尺度注意力分类器中，对统一归化的特征进行挖掘，提取有效的表情特征。

14、其中，所述步骤s4中获取低分辨率图像的特征过程为：通过残差密块网络提取低分辨率图像的特征，将提取的最后一个特征输入至组合的多层卷积和全连接层当中，最终分解为多个包含面部细节的隐编码，为生成的超分辨率图像提供基本的面部细节信息；

15、编码器表达式用公式（1）表示和隐编码表达式用公式（2）表示：

16、 （1）；

17、 （2）；

18、式中，表示编码器中第0个特征，表示编码器中的第i个尺度特征，表示编码器中的第m个特征，表示编码器，表示低分辨图像，表示第0个隐编码，表示第1个隐编码，表示第个隐编码的上一个编码，表示第个隐编码，表示隐编码生成层。

19、其中，所述步骤s5中对低分辨率图像的特征进行分析和解析，得出不同尺度高分辨率图像的特征过程为：将编码器的低分辨率图像的特征逐步输入到每个层中，每一层输出的结果作为后续层的输入，且在每一层中引入表示面部细节特征的隐编码，以约束和纠正高分辨率特征的生成；

20、超分辨率生成器生成高分辨率的过程表达式用公式（3）表示：

21、（3）；

22、式中，表示超分辨率生成器特征，表示超分辨率生成器第0层，表示超分辨率生成器第i层的时候，表示超分辨率生成器的第i层，表示第i个隐编码，表示高分辨率特征，表示i－1个低分辨率特征，表示第－1个低分辨率特征。

23、其中，所述步骤s6中得出超分辨率图像过程为：将得出高分辨率特征被用作解码器前半部每一层输入一部分，结合不同尺度的图像特征信息和逐步解码操作；

24、得出完整的超分辨率图像，解码操作表达式用公式（4）表示：

25、 （4）；

26、式中，表示是第i层的高分辨率图像，表示编码器的第0，表示编码器第i层，表示最后一个高分特征，表示第i－1个高分辨率，表示m－2＋i个高分辨特征。

27、其中，所述步骤s7中对超分辨率图像与相匹配的高分辨率图像进行判断，同时通过对抗网络反向传播计算减小超分辨率图像与相匹配的高分辨率图像之间差异过程为；通过鉴别器对输入超分辨率图像与相匹配的高分辨率图像进行判断是否有模型生成，通过超分辨率生成器与鉴别器不断的对抗，使模型逐步提升，提高生成图像的质量；

28、同时通过对抗网络反向传播计算减小超分辨率图像与匹配的高分辨率图像之间差异过程为：

29、对抗网络损失的描述表达式用公式（5）表示：

30、；

31、式中，表示对抗网络的生成对抗损失，ming表示对抗网络的最小化生成的图像与真实图像之间的差异，maxd表示对抗网络的最大化生成的图像与真实图像之间的差异，表示真实图像的分布，表示真实的图像，表示鉴别器，表示生成图像的分布，表示超分辨率生成器；

32、同时引入均方误差损失和感知损失来优化超分辨率网络，均方误差损失表达式用公式（6）表示，感知损失表达式用公式（7）表示：

33、（6）；

34、（7）；

35、式中，表示图像的宽度，表示图像的长度，表示感知网络第j层特征图的长度，表示感知网络第j层特征图的宽度，表示感知网络第j层特征图的通道数，表示vgg网络的第j层。

36、其中，所述步骤s9中对超分辨率生成的高分辨率特征进行挖掘，提取有效的表情特征过程为：从高分辨率特征中进一步提取有效的表情特征，并为不同尺度的高分辨率特征，构建了不同的特征统一块，将高分辨率特征统一到共同的尺度中；

37、特征统一由多层卷积和平均池化组成，表达式用公式（8）表示：

38、（8）；

39、式中，表示映射特征，meanpooling表示平均池化操作，conv2d表示二维卷积；

40、为了捕捉每个尺度包含的表达特征重要性，使用多尺度注意力分类器融合了不同尺度的特征；

41、融合后的特征被定义为，表达式用公式（9）表示：

42、（9）；

43、式中，z表示所有的串联，表示是归一化指数函数，表示注意力模块中全连接层的参数；

44、每个尺度的重要性权重通过全连接层和s型函数获得，融合特征学习每个尺度的判别性表达特征，随后输入到最终的全连接层和归一化指数函数以获得分类结果，表达公式用公式（10）表示：

45、（10）；

46、式中，表示最后的模型结果；表示归一化指数函数，fc表示全连接层；

47、在基础分类损失上增加了等级正则化损失，训练过程中，对置信度较低的面部表情标签进行了重新标注操作，进一步提高了低光照图像中面部表情识别的鲁棒性，表达式用公式（11）表示：

48、（11）；

49、式中，表示总的分类损失，表示数权重交叉熵损失，表示模型预测的结果，表示真实的图像表情分类标签，表示等级正则化损失；

50、通过将超分辨率生成器中生成的图像与真实图像之间的相似性损失，以及多尺度注意力分类器中的表情识别损失相结合，将所有损失相加并统一的方式将其反向传播，总损失表达式用公式（12）表示：

51、（12）；

52、式中，式中，表示总损失，α表示损失项的权重值，β表示损失项的权重值，γ表示损失项的权重值，δ表示损失项的权重值，表示表情分类损失。

53、与现有的技术相比，本发明具备以下有益效果：

54、（1）本发明通过实施了一种端到端的模型，该模型在低分辨率的人脸图像上进行了精确的表情识别，相较于现有的两阶段表情识别方法，该模型展现出了更高的运行效率，现有的方法通常需要先进行特征提取，利用这些特征进行表情识别，这种分离的流程可能会导致信息的丢失，然而，通过实施了一种端到端模型可以直接从原始图像中学习到有用的特征，从而提高了识别的准确性。

55、（2）在低分辨率人脸图像上实现了超分辨率重建，相比于现有的超分辨率算法，本方法能够生成的超分辨率图像包含更丰富的表情特征，且同时模型还关注于恢复高分辨率的细节，也注重于保留和增强原有图像的表情特征，然而在现有的超分辨率算法中往往被忽视。

56、（3）应用领域非常广泛，特别是在教室环境下的低分辨率表情识别方面，展示出了极大的潜力，具体来说，模型可以用于智慧教育应用，例如，通过分析学生的表情，教师可以实时了解学生的学习状态，从而对教学方法进行调整，不仅能够提高教学效果，同时也为研究学生的学习行为提供了新的视角。