基于跨物种特征学习能力迁移的犬类情绪识别方法

本公开实施例涉及数据识别，尤其涉及一种基于跨物种特征学习能力迁移的犬类情绪识别方法。

背景技术：

1、犬类情绪识别技术旨在通过学习犬类表情特征以识别潜在的情绪如高兴、伤心、愤怒等。该技术能够实现对犬类危险情绪的及时捕获，实现危险行为的预判，降低犬类对人类的威胁。

2、当前人们对于犬类情绪的识别主要通过摄像头采集犬类视频数据及其情绪标签构建训练集，用于训练基于深度学习算法设计的情绪识别框架，使其能够学习犬类的面部表情特征(如面部纹理、五官形态等)以及姿态表情特征(如肢体语言、身体动作等)用于情绪识别。考虑到犬类数据稀少且获取难度大，当前人们利用对应上千个动物类别的大规模图像数据集率先对情绪识别框架中的特征学习模型执行预训练使其具备提取通用视觉特征的能力，然后利用犬类数据对情绪识别框架进行训练完成微调。

3、然而，当前方法存在两点问题。首先，预训练过程着重于对动物类别的辨别，使得特征学习模型重点关注骨骼结构、体型等易于区分类别的形态特征，忽略了面部表情特征及姿态表情特征的提取，从而限制了特征学习模型的视觉特征学习能力。其次，微调过程直接将特征学习模型用于犬类情绪识别，没有考虑该模型与犬类情绪识别的任务适配性，影响识别性能。

4、可见，亟需一种适配度和识别精准度高的基于跨物种特征学习能力迁移的犬类情绪识别方法。

技术实现思路

1、有鉴于此，本公开实施例提供一种基于跨物种特征学习能力迁移的犬类情绪识别方法，至少部分解决现有技术中存在适配度和识别精准度较差的问题。

2、本公开实施例提供了一种基于跨物种特征学习能力迁移的犬类情绪识别方法，包括：

3、步骤1，基于两阶段特征学习范式，利用3d卷积神经网络与视觉transformer网络构建人类特征学习模型；

4、步骤2，设计人类表情相关前置任务对人类特征学习模型进行进阶式多任务协作预训练；

5、步骤3，对3d卷积神经网络和视觉transformer网络进行简化压缩，构建犬类特征学习模型；

6、步骤4，设计跨域知识复合蒸馏技术将人类表情特征学习能力迁移至犬类特征学习模型；

7、步骤5，将犬类特征学习模型与softmax分类器进行连接构成犬类情绪识别框架，利用犬类训练集对犬类情绪识别框架进行训练，并利用训练后的犬类情绪识别框架对目标犬类视频数据识别。

8、根据本公开实施例的一种具体实现方式，所述视觉transformer网络包括n个transformer模块，其中，n为大于2的整数。

9、根据本公开实施例的一种具体实现方式，所述人类特征学习模型中任一transformer模块的计算过程为

10、

11、

12、

13、其中，zn-1表示第n-1个transformer模块得到的人类表象特征，sta(*)表示整体注意机制，表示第一个整体注意机制得到的注意特征，ln(*)表示归一化操作，表示第二个整体注意机制得到的注意特征，ds(*)表示稠密映射，zn表示最终得到的第n个人类表象特征。

14、根据本公开实施例的一种具体实现方式，所述人类表情相关前置任务包括上下文学习前置任务、面部表情学习前置任务和姿态表情学习前置任务；

15、所述上下文学习前置任务包括倒叙预测、跳帧估计和中间帧语义分割；

16、所述倒叙预测的步骤具体包括对原始人类行为视频帧序列进行倒叙预测；

17、所述跳帧估计的步骤具体包括随机跳过某帧获取剩余帧构成两段子视频，利用这两段子视频对跳过的帧内容进行估计；

18、所述中间帧语义分割的步骤具体包括对视频中间帧中的人类结构进行语义分割；

19、所述面部表情学习前置任务的步骤具体包括面部乱序重构与面部残缺估计；

20、所述姿态表情学习前置任务的步骤具体包括手势骨架估计、肢体骨架夹角计算和关键部位捕捉。

21、根据本公开实施例的一种具体实现方式，所述步骤2具体包括：

22、利用上下文学习前置任务对人类特征学习模型中的3d卷积神经网络执行第一阶段预训练；

23、将3d卷积神经网络与视觉transformer网络进行联结，面部表情学习前置任务及姿态表情学习前置任务对联结后的人类特征学习模型进行第二阶段的协作预训练，完成预训练。

24、根据本公开实施例的一种具体实现方式，所述犬类特征学习模型中任一transformer模块的计算过程为

25、

26、

27、其中，xn-1表示第n-1个transformer模块得到的犬类表象特征，表示整体注意机制得到的注意特征，xn表示最终得到的第n个犬类表象特征。

28、根据本公开实施例的一种具体实现方式，所述跨域知识复合蒸馏技术包括上下文特征蒸馏和表情输出蒸馏；

29、所述步骤4具体包括：

30、设人类特征学习模型中3d卷积神经网络的前m簇卷积层参数为犬类特征学习模型中的前m簇卷积层参数作为计算两类模型输出的均方误差作为上下文特征蒸馏损失；

31、最小化特征学习模型与目标标签的kl散度将人类表情特征学习能力迁移至犬类特征学习模型。

32、根据本公开实施例的一种具体实现方式，所述上下文特征蒸馏损失的计算公式为

33、

34、其中，vh和vd分别为人类场景视频和犬类场景视频，和分别表示人类特征学习模型和犬类特征学习模型中前m簇3d卷积操作，表示前m簇卷积层对应的上下文特征蒸馏损失。

35、根据本公开实施例的一种具体实现方式，所述kl散度的表达式为

36、

37、其中，lt表示表情输出损失，和分别表示人类场景视频属于和不属于第th个人类表情的概率，和分别表示犬类场景视频属于和不属于第td个犬类表情的概率。

38、根据本公开实施例的一种具体实现方式，所述步骤5之前，所述方法还包括：

39、根据上下文特征蒸馏的损失和表情输出损失计算融合蒸馏损失

40、

41、其中，αf和αt分别表示上下文特征蒸馏损失与表情输出损失的权重。

42、本公开实施例中的基于跨物种特征学习能力迁移的犬类情绪识别方案，包括：步骤1，基于两阶段特征学习范式，利用3d卷积神经网络与视觉transformer网络构建人类特征学习模型；步骤2，设计人类表情相关前置任务对人类特征学习模型进行进阶式多任务协作预训练；步骤3，对3d卷积神经网络和视觉transformer网络进行简化压缩，构建犬类特征学习模型；步骤4，设计跨域知识复合蒸馏技术将人类表情特征学习能力迁移至犬类特征学习模型；步骤5，将犬类特征学习模型与softmax分类器进行连接构成犬类情绪识别框架，利用犬类训练集对犬类情绪识别框架进行训练，并利用训练后的犬类情绪识别框架对目标犬类视频数据识别。

43、本公开实施例的有益效果为：通过本公开的方案，构建人类特征学习模型，并设计人类表情相关的多属性前置任务对该模型进行进阶式多任务协作预训练。然后，对人类特征学习模型进行简化压缩构建犬类特征学习模型，并通过跨域知识复合蒸馏技术将人类特征学习能力迁移至犬类特征学习模型，最后利用犬类训练集对犬类特征学习模型进行微调用于犬类情绪识别，提高了情绪识别的适配度和精准度。