一种基于多任务学习的面部动作单元检测模型建立方法

本发明涉及面部动作检测领域,尤其涉及一种基于多任务学习的面部动作单元检测模型建立方法。

背景技术：

1、面部动作单元是基于面部肌肉解剖结构的描述面部表情的系统化方法。通过判断人脸图片中每个au的发生与否，面部au检测可以提供全面客观的面部表情分析，是一项重要的面部属性分析任务。近年来，随着深度学习的发展，面部au检测任务取得了长足的发展，但大部分研究专注于单一任务，通过训练一个特定任务的模型来实现面部au检测。这样忽略了au与其他面部属性的关系，没有很好的抗噪能力和适应能力。

2、多个au可以被同时激活，au之间存在相互关系，并非孤立存在。例如当一个人表现出快乐的表情时，au6(抬起脸颊)和au12(上扬嘴角)很可能会同时出现，而很少出现au15(嘴角垂直向下拉动)。当表现出悲伤的表情时，au1(内侧眉毛抬起)、au15、au17(挤动下唇向上顶)很可能会同时出现，而很少出现au12。利用好au的相关信息无疑可以提高检测精度。传统的au检测方法多采用贝叶斯网络和受限波尔兹曼机来利用au关系，这些概率生成模型总是需要与手工特征相结合，限制了au检测的性能，达不到要求，因此，本发明提出一种基于多任务学习的面部动作单元检测模型建立方法。

技术实现思路

1、为了克服现有技术存在的缺点与不足,本发明提供一种基于多任务学习的面部动作单元检测模型建立方法。

2、一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于,该方法包括：

3、步骤s1：利用编译工具对数据集的人脸图片进行关键点检测，依据关键点将原始数据集的人脸图片进行对齐并裁剪；

4、步骤s2：将对齐并裁剪处理后的图片在被输入到网络前进行随机裁剪，并进行水平翻转；

5、步骤s3：建立初始的神经网络检测模型，并利用数据集对它进行训练，得到面部au检测模型；

6、步骤s4：利用已标注au标签、面部关键点标签、情绪标签的人脸图片对初始神经网络模型进行端到端的训练；

7、步骤s5：改变部分超参数，重新对模型进行训练，利用损失函数进行神经网络检测模型优化，取面部au检测精度最高的模型作为最终的结果。

8、进一步地，所述初始的神经网络模型包括：

9、底层网络，用于对输入模型的图片进行初级的特征提取，在多任务模型中，底层网络由多个任务共享；

10、辅助任务学习模块，辅助任务包括面部关键点检测和面部情绪识别，二者均将底层网络的输出作为输入，底层特征经过各自的特征提取网络后经过全连接层得到面部关键点和面部情绪的预测结果；

11、主任务学习模块，用于面部au检测，由局部特征提取模块和au关系学习模块两部分组成。

12、进一步地，所述底层网络，将输出作为局部特征提取模块的输入，利用辅助任务检测到的关键点坐标为每个au提供注意力图，每个au使用各自独立的分支来提取局部特征，每一个分支的网络结构与辅助任务的网络结构相同，将局部特征提取部分的输出作为au关系学习模块的输入，使用au关系图对au之间的关系进行编码，关系图由节点和边组成，每个节点代表一个au的特征，边代表au之间的相关性，通过计算训练样本中各个au发生的条件概率来获得au的相关性，。

13、得到最终的关系矩阵，利用gat来对图进行学习

14、进一步地，所述初始的神经网络模型还包括：特征融合模块，用于利用辅助任务中有用的特征来帮助面部au检测任务的学习。

15、进一步地，所述特征融合模块，引入注意力机制来选择辅助任务中有用的信息，通过cbam来指导辅助任务的信息向主任务的流动。

16、进一步地，所示训练损失函数，表达式为：

17、l＝λ1lau+λ2llandmark+λ3lemotion

18、其中，lau和lemotion分别为面部au检测和面部情绪识别的加权交叉熵损失函数，llandmark为面部关键点检测的加权损失函数，λ1、λ2和λ3是超参数，为每个损失函数分配权重。

19、本发明的有益效果：

20、本发明提出一种基于多任务学习的面部动作单元检测模型建立方法，将面部au检测、面部关键点检测、面部情绪识别这三个任务进行联合学习，三个任务共享底层特征提取网络，使底层网络可以提取到更加鲁棒性的特征。并且利用面部关键点检测任务得到的关键点坐标为au提供注意力图，这样可以避免面部不相关区域噪声的干扰。此外，将au关系表示为图结构的数据，利用gat进行图数据的学习，对于每个au节点，采用gat来计算该节点与其它节点之间的注意力权重，并将这些权重用于更新节点的特征表示。通过多轮的节点信息传递和特征更新，得到au节点的最终特征表示，这样能够充分利用au节点之间的关系，捕捉到更加丰富的上下文信息，从而提高au特征的语义表达能力。最后，利用基于注意力机制的特征融合模块将三个任务的特征进行融合，进一步地利用任务间的互补性。该方法有效的提高了面部au的检测精度。

技术特征：

1.一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，该方法包括：

2.如权利要求1所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述初始的神经网络模型包括：

3.如权利要求2所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述底层网络，将输出作为局部特征提取模块的输入，利用辅助任务检测到的关键点坐标为每个au提供注意力图，每个au使用各自独立的分支来提取局部特征，每一个分支的网络结构与辅助任务的网络结构相同，将局部特征提取部分的输出作为au关系学习模块的输入，使用au关系图对au之间的关系进行编码，关系图由节点和边组成，每个节点代表一个au的特征，边代表au之间的相关性，通过计算训练样本中各个au发生的条件概率来获得au的相关性。

4.如权利要求3所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述得到最终的关系矩阵，利用gat来对图进行学习。

5.如权利要求1所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述初始的神经网络模型还包括：特征融合模块，用于利用辅助任务中有用的特征来帮助面部au检测任务的学习。

6.如权利要求1所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述特征融合模块，引入注意力机制来选择辅助任务中有用的信息，通过cbam来指导辅助任务的信息向主任务的流动。

7.如权利要求1所述的一种基于多任务学习的面部动作单元检测模型建立方法，其特征在于，所述训练损失函数，表达式为：

技术总结
本发明公开了一种基于多任务学习的面部动作单元检测模型建立方法，该方法采用多任务学习的策略，结合面部关键点检测、面部情绪识别和面部AU检测三个任务进行联合学习。这三个任务共享一个底层网络，以提取更加鲁棒的特征，并通过基于注意力机制的特征融合模块减少特征冗余。此外，图注意力网络被引入来利用AU之间的复杂关系，提取具有辨别性的AU特征。本发明的优势在于其实际应用潜力以及在解决过拟合和AU之间复杂关系方面的创新方法，提高了面部动作的检测精度。

技术研发人员：杨巧宁,巩梦岩
受保护的技术使用者：北京化工大学
技术研发日：
技术公布日：2024/3/27