情绪识别方法、装置、计算机设备及存储介质与流程

1.本申请涉及人工智能技术领域，尤其涉及情绪识别方法、装置、计算机设备及存储介质。


背景技术：

2.人脸表情识别(fer)是人工智能重要领域，在视觉任务中，应用前景极其广泛；比如在智能教育中，通过载入表情识别分析课堂学生情绪，教育者基于此分析出学生课堂积极性及课堂成效并掌握全局和个别学生状态及时做出应对，从而指导教育者灵活变动教育互动等方式，提升教育成果转化率，同样应用于安防、智慧城市、在线教育、人机互动和犯罪分析等领域。但现有方法通常根据单一特征来预测情绪，误判率高。


技术实现要素：

3.本申请实施例的目的在于提出一种情绪识别方法、装置、计算机设备及存储介质，以解决根据单一特征预测情绪，误判率高的问题
4.为了解决上述技术问题，本申请实施例提供一种情绪识别方法，采用了如下所述的技术方案：
5.获取待识别文件，所述待识别文件为视频片段和/或音频片段；
6.将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；
7.将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；
8.根据所述情绪预测结果，确定所述待识别文件的情绪类别。
9.进一步的，当所述待识别文件为视频片段时，所述将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征的步骤具体包括：
10.将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征；
11.所述情绪身份识别模型包含预先训练的第一lstm网络和情绪预测结果输出层，所述将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果的步骤具体包括：
12.将所述图像特征输入到所述第一lstm网络，获取所述视频特征的时序图像特征；
13.将所述时序图像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
14.进一步的，当所述待识别文件为视频片段时，所述情绪身份识别模型还包括身份预测结果输出层，所述情绪身份识别模型的训练包括下述步骤：
15.获取训练样本，所述训练样本为标注有情绪类别和身份的n个视频片段，n为大于0的正整数；
16.将所述训练样本输入到所述图像特征提取网络，获得所述训练样本的n个图像特征；
17.将所述n个图像特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
18.通过第一损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第一损失函数为：
19.l1＝l1_vemotion+l1_vface
20.其中，l1_vemotion为所述情绪预测结果的损失函数，l1_vemotion采用arcfaceloss，l1_vface为所述身份预测结果的损失函数，l1_vface采用softmaxloss。
21.调整所述情绪身份识别模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
22.进一步的，当所述待识别文件为音频片段时，所述将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征的步骤具体包括：
23.将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
24.所述情绪身份识别模型包含预先训练的第一情绪身份特征提取网络和情绪预测结果输出层，所述将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果的步骤具体包括：
25.将所述音频特征输入到所述第一情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
26.将所述情绪身份特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
27.进一步的，当所述待识别文件为音频片段时，所述情绪身份识别模型还包括身份预测结果输出层，所述情绪身份识别模型的训练包括下述步骤：
28.获取训练样本，所述训练样本为标注有情绪类别和身份的n个音频片段，n为大于0的正整数；
29.将所述训练样本输入到所述音频特征提取模型，获得所述训练样本的n个音频特征；
30.将所述n个音频特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
31.通过第二损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份是否一致，其中所述第二损失函数为：
32.l2＝l1_aemotion+l1_aface
33.其中，l1_aemotion为所述情绪预测结果的损失函数，l1_aemotion采用arcfaceloss，l1_aface为所述身份预测结果的损失函数，采用softmaxloss；
34.调整所述情绪身份识别模型中各节点的参数，至所述第二损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
35.进一步的，当所述待识别文件为视频片段和音频片段时，所述视频片段和所述音频片段同步，所述将所述待识别文件输入到预先训练的特征提取模型，获得所述待识别文
件的特征的步骤具体包括：
36.将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征：
37.将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
38.所述情绪身份识别模型包含第二lstm网络、第二情绪身份特征提取网络、第三lstm网络和情绪预测结果输出层，将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果的步骤具体包括：
39.将所述图像特征输入到所述第二lstm网络，获取所述视频特征的时序图像特征；
40.将所述音频特征输入到所述第二情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
41.将所述时序图像特征和所述情绪身份特征输入到预先训练的第三lstm网络，获取待识别文件的音像特征；
42.将所述音像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
43.进一步的，当所述待识别文件为视频片段和音频片段时，所述情绪身份识别模型还包括身份预测结果输出层，所述情绪身份识别模型的训练包括下述步骤：
44.获取训练样本，所述训练样本为标注有情绪类别和身份的n个文件，n为大于0的正整数，所述文件包含同步的视频片段和音频片段；
45.将所述训练样本中的视频片段输入到预先训练的图像特征提取模型，获得所述训练样本的n个图像特征；
46.将所述训练样本中的音频片段输入到预设的音频特征提取模型，获得所述训练样本的n个音频特征；
47.将所述n个图像特征和所述n个音频特征输入到所述情绪身份识别模型中，得到所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
48.通过第三损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第三损失函数为：
49.l3＝l2_vemotion+l2_vface+l2_aemotion+l2_aface+l_ids+λl_emotion
50.其中，l2_vface和l2_vemotion为所述第二lstm网络的损失函数,l2_aemotion和l2_aface为所述第二情绪身份特征提取网络的损失函数，l_ids为所述身份预测结果的损失函数，l_emotion为所述情绪预测结果的损失函数，λ为大于1的可调系数；
51.调整所述情绪身份识别模型中各节点的参数，至所述第三损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
52.为了解决上述技术问题，本申请实施例还提供一种情绪识别装置，采用了如下所述的技术方案：
53.获取模块，用于获取待识别文件，所述待识别文件为视频片段和/或音频片段；
54.提取模块，用于将所述待识别文件输入到预设的特征提取模型进行特征提取，获
得所述待识别文件的特征；
55.处理模块，用于将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；
56.确定模块，用于根据所述情绪预测结果，确定所述待识别文件的情绪类别。
57.进一步的，当所述待识别文件为视频片段时，所述提取模块包括：
58.第一提取子模块，用于将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征；
59.所述情绪身份识别模型包含预先训练的第一lstm网络和情绪预测结果输出层，所述处理模块包括：
60.第一处理子模块，用于将所述图像特征输入到所述第一lstm网络，获取所述视频特征的时序图像特征；
61.第一输出子模块，用于将所述时序图像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
62.进一步的，当所述待识别文件为视频片段时，所述情绪识别装置包括：
63.第一获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个视频片段，n为大于0的正整数；
64.第二提取子模块，用于将所述训练样本输入到所述图像特征提取网络，获得所述训练样本的n个图像特征；
65.第二处理子模块，用于将所述n个图像特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
66.第一比对子模块，用于通过第一损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第一损失函数为：
67.l1＝l1_vemotion+l1_vface
68.其中，l1_vemotion为所述情绪预测结果的损失函数，l1_vemotion采用arcfaceloss，l1_vface为所述身份预测结果的损失函数，l1_vface采用softmaxloss。
69.第一调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
70.进一步的，当所述待识别文件为音频片段时，所述提取模块包括：
71.第三提取子模块，用于将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
72.所述情绪身份识别模型包含预先训练的第一情绪身份特征提取网络和情绪预测结果输出层，所述处理模块包括：
73.第三处理子模块，用于将所述音频特征输入到所述第一情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
74.第二输出子模块，用于将所述情绪身份特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
75.进一步的，当所述待识别文件为音频片段时，所述情绪识别装置包括：
76.第二获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个音频片段，n为大于0的正整数；
77.第四提取子模块，用于将所述训练样本输入到所述音频特征提取模型，获得所述训练样本的n个音频特征；
78.第四处理子模块，用于将所述n个音频特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
79.第二比对子模块，用于通过第二损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份是否一致，其中所述第二损失函数为：
80.l2＝l1_aemotion+l1_aface
81.其中，l1_aemotion为所述情绪预测结果的损失函数，l1_aemotion采用arcfaceloss，l1_aface为所述身份预测结果的损失函数，采用softmaxloss；
82.第二调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第二损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
83.进一步的，当所述待识别文件为视频片段和音频片段时，所述提取模块包括：
84.第五提取子模块，用于将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征：
85.第六提取子模块，用于将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
86.所述情绪身份识别模型包含第二lstm网络、第二情绪身份特征提取网络、第三lstm网络和情绪预测结果输出层，所述处理模块包括：
87.第七提取子模块，用于将所述图像特征输入到所述第二lstm网络，获取所述视频特征的时序图像特征；
88.第八提取子模块，用于将所述音频特征输入到所述第二情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
89.第五处理子模块，用于将所述时序图像特征和所述情绪身份特征输入到预先训练的第三lstm网络，获取待识别文件的音像特征；
90.第三输出子模块，用于将所述音像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
91.进一步的，当所述待识别文件为视频片段和音频片段时，所述情绪身识别装置包括：
92.第三获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个文件，n为大于0的正整数，所述文件包含同步的视频片段和音频片段；
93.第九提取子模块，用于将所述训练样本中的视频片段输入到预先训练的图像特征提取模型，获得所述训练样本的n个图像特征；
94.第十提取子模块，用于将所述训练样本中的音频片段输入到预设的音频特征提取模型，获得所述训练样本的n个音频特征；
95.第六处理子模块，用于将所述n个图像特征和所述n个音频特征输入到所述情绪身
份识别模型中，得到所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
96.第三比对子模块，用于通过第三损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第三损失函数为：
97.l3＝l2_vemotion+l2_vface+l2_aemotion+l2_aface+l_ids+λl_emotion
98.其中，l2_vface和l2_vemotion为所述第二lstm网络的损失函数,l2_aemotion和l2_aface为所述第二情绪身份特征提取网络的损失函数，l_ids为所述身份预测结果的损失函数，l_emotion为所述情绪预测结果的损失函数，λ为大于1的可调系数。
99.第三调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第三损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
100.为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
101.一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述情绪识别方法的步骤。
102.为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
103.一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述语音转换方法的步骤。
104.与现有技术相比，本申请实施例主要有以下有益效果：获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。
附图说明
105.为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
106.图1是本申请可以应用于其中的示例性系统架构图；
107.图2根据本申请的情绪识别方法的一个实施例的流程图；
108.图3是图2中步骤s202的一种具体实施方式的流程图；
109.图4是根据本申请的情绪识别装置的一个实施例的结构示意图；
110.图5是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
111.除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体
的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
112.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
113.为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
114.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
115.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
116.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture expertsgroup audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving pictureexperts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
117.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
118.需要说明的是，本申请实施例所提供的情绪识别方法一般由服务器/终端设备执行，相应地，情绪识别装置一般设置于服务器/终端设备中。
119.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
120.继续参考图2，示出了根据本申请的情绪识别的方法的一个实施例的流程图。所述的情绪识别方法，包括以下步骤：
121.步骤s201，获取待识别文件，所述待识别文件为视频片段和/或音频片段。
122.在本实施例中，情绪识别方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收获取待识别文件。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
123.通过录像设备同时获取视频片段和音频片段，或导入保存在存储介质上的视频片段和/或音频片段。
124.步骤s202，将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征。
125.在本实施例中，如果待识别的文件为视频片段，首先用人脸表情训练数据
emtionnet在resnet上训练出的预训练模型进行图像特征提取，将同一人序列情绪人脸数据(比如shape(50,3,224,224))送入模型,提取到特征f_face1,shape(50,128)，同一人序列情绪人脸数据来自对视频片段的解析。
126.在本实施例中，如果待识别的文件为音频片段，通过python的librosa库中的melspectrogram()函数提取音频时域信号的声音特征。
127.步骤s203，将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果。
128.在本实施例中，通过预先训练的情绪身份识别模型中的情绪预测结果输出层得到情绪预测结果。情绪身份识别模型至少包含两个输出层，其中之一为情绪预测结果输出层，其中之一为身份预测结果输出层，情绪身份识别模型的训练同时进行情绪识别和身份识别的训练，使情绪身份识别模型学习到不同对象不同情绪的特征，使情绪预测更加准确。
129.步骤s204，根据所述情绪预测结果，确定所述待识别文件的情绪类别。
130.情绪预测结果输出层输出的为每种情绪的概率，确定概率最大的情绪类别为待识别文件的情绪类别。
131.本申请通过获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。
132.在本实施例的一些可选的实现方式中，所述待识别文件为视频片段时，在步骤s202中，上述电子设备还可以执行以下步骤：
133.将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征；
134.所述情绪身份识别模型包含预先训练的第一lstm网络和情绪预测结果输出层，步骤s203具体包括：
135.将所述图像特征输入到所述第一lstm网络，获取所述视频特征的时序图像特征；
136.将所述时序图像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
137.本实施例中，首先用人脸表情训练数据emtionnet在resnet上训练出的预训练模型进行图像特征提取，将同一人序列情绪人脸数据(比如shape(50,3,224,224))送入模型,提取到图像特征f_face1,shape(50,128)，同一人序列情绪人脸数据来自对视频片段的解析。resnet为计算机视觉领域中的基础特征提取网络。
138.将图像特征f_face1,shape(50,128)接入时序信息的第一lstm网络提取图像时序特征f_face2(50,128),第一lstm网络后接两个全连接层，其中之一经过arcface loss进行7种情绪分类训练，输出情绪预测结果，其中之一经过softmax loss进行人脸识别分类训练，输出身份预测结果。
139.在一些可选的实现方式中，当所述待识别文件为视频片段时，情绪身份识别模型的训练包括：
140.获取训练样本，所述训练样本为标注有情绪类别和身份的n个视频片段，n为大于0的正整数；
141.将所述训练样本输入到所述图像特征提取网络，获得所述训练样本的n个图像特征；
142.将所述n个图像特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
143.通过第一损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第一损失函数为：
144.l1＝l1_vemotion+l1_vface
145.其中，l1_vemotion为所述情绪预测结果的损失函数，l1_vemotion采用arcfaceloss，l1_vface为所述身份预测结果的损失函数，l1_vface采用softmaxloss。
146.调整所述情绪身份识别模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
147.l1_vemotion采用arcfaceloss：
[0148][0149]
其中，w为所述情绪身份识别模型各节点的参数，x为输入的图像特征，s，m为预设参数。
[0150]
l1_vface采用softmaxloss
[0151][0152]
其中，n为训练样本数，针对第i个样本其对应的zi是标注的身份识别结果，h＝(h1,h2,...,hc)为样本i的预测结果，其中c是所有分类的数量。
[0153]
调整情绪身份识别模型中各节点的参数，使l1达到最小值，训练结束。
[0154]
在一些可选的实现方式中，当所述待识别文件为音频片段时，步骤s202中，上述电子设备还可以执行以下步骤：
[0155]
将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
[0156]
所述情绪身份识别模型包含预先训练的第一情绪身份特征提取网络和情绪预测结果输出层，步骤s203具体包括：
[0157]
将所述音频特征输入到所述第一情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
[0158]
将所述情绪身份特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
[0159]
在本实施例中，如果待识别的文件为音频片段，通过python的librosa库中的melspectrogram()函数提取音频时域信号的音频特征。
[0160]
将音频特征输入第一情绪身份特征提取网络，本实施例中，第一情绪身份特征提
取网络采用vggvox网络，提取特征f_audio1 shape(50,128)，后接两个全连接层，其中之一经过arcface loss进行7种情绪分类训练，输出情绪预测结果，其中之一经过softmax loss进行声纹识别训练，输出身份预测结果。vggvox网络为通用的声纹识别网络。
[0161]
在一些可选的实现方式中，当所述待识别文件为音频片段时，情绪身份识别模型的训练包括：
[0162]
获取训练样本，所述训练样本为标注有情绪类别和身份的n个音频片段，n为大于0的正整数；
[0163]
将所述训练样本输入到所述音频特征提取模型，获得所述训练样本的n个音频特征；
[0164]
将所述n个音频特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
[0165]
通过第二损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份是否一致，其中所述第二损失函数为：
[0166]
l2＝l1_aemotion+l1_aface
[0167]
其中，l1_aemotion为所述情绪预测结果的损失函数，l1_aemotion采用arcfaceloss，l1_aface为所述身份预测结果的损失函数，采用softmaxloss；
[0168]
调整所述情绪身份识别模型中各节点的参数，至所述第二损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
[0169]
同样，l1_aemotion为arcfaceloss，l1_aface为softmaxloss。
[0170]
在一些可选的实现方式中，当待识别文件为视频片段和音频片段时，所述视频片段和所述音频片段同步，步骤s202具体包括：
[0171]
将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征：
[0172]
将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
[0173]
所述情绪身份识别模型包含第二lstm网络、第二情绪身份特征提取网络、第三lstm网络和情绪预测结果输出层，步骤s203具体包括：
[0174]
将所述图像特征输入到所述第二lstm网络，获取所述视频特征的时序图像特征；
[0175]
将所述音频特征输入到所述第二情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
[0176]
将所述时序图像特征和所述情绪身份特征输入到预先训练的第三lstm网络，获取待识别文件的音像特征；
[0177]
将所述音像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
[0178]
本实施例中，图像特征通过预先训练的resnet提取。音频特征通过python的librosa库中的melspectrogram()函数提取。将图像特征输入到第二lstm网络，获取所述视频特征的时序图像特征；将音频特征输入到所述第二情绪身份特征提取网络，获取所述音频特征的情绪身份特征；第二情绪身份特征提取网络同样采用vggvox网络，将时序图像特征和情绪身份特征拼接，输入到第三lstm网络中，第三lstm网络后接两个全连接层，其中
之一经过arcface loss进行7种情绪分类训练，输出情绪预测结果，其中之一经过softmax loss进行人脸识别分类训练，输出身份预测结果。
[0179]
在一些实施方式中，情绪身份识别模型还包括注意力学习网络，将时序图像特征和情绪身份特征通过注意力学习网络拼接，再输入到第三lstm网络中。
[0180]
经过注意力学习网络拼接后得到的音像特征各因素的权重不同，加大了音像特征中影响情绪因素的权重，使情绪识别更准确。
[0181]
当待识别的文件为视频片段和音频片段时，情绪身份识别模型的训练包括：
[0182]
获取训练样本，所述训练样本为标注有情绪类别和身份的n个文件，n为大于0的正整数，所述文件包含同步的视频片段和音频片段；
[0183]
将所述训练样本中的视频片段输入到预先训练的图像特征提取模型，获得所述训练样本的n个图像特征；
[0184]
将所述训练样本中的音频片段输入到预设的音频特征提取模型，获得所述训练样本的n个音频特征；
[0185]
将所述n个图像特征和所述n个音频特征输入到所述情绪身份识别模型中，得到所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
[0186]
通过第三损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第三损失函数为：
[0187]
l3＝l2_vemotion+l2_vface+l2_aemotion+l2_aface+l_ids+λl_emotion
[0188]
其中，l2_vface和l2_vemotion为所述第二lstm网络的损失函数,l2_aemotion和l2_aface为所述第二情绪身份特征提取网络的损失函数，l_ids为所述身份预测结果的损失函数，l_emotion为所述情绪预测结果的损失函数，λ为大于1的可调系数；
[0189]
调整所述情绪身份识别模型中各节点的参数，至所述第三损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
[0190]
l2_vemotion，l2_aemotion，l_emotion为arcfaceloss。l2_vface，l2_aface，l_ids为softmaxloss。λ为大于1的可调系数，通常将λ设为2，表示情绪身份识别模型的情绪识别结果更重要。
[0191]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0192]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0193]
进一步参考图4，作为对上述图2所示方法的实现，本申请提供了一种情绪识别装
置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0194]
如图4所示，本实施例所述的情绪识别装置400包括：获取模块401、提取模块402、处理模块403以及确定模块404。其中：
[0195]
获取模块401，用于获取待识别文件，所述待识别文件为视频片段和/或音频片段；
[0196]
提取模块402，用于将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；
[0197]
处理模块403，用于将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；
[0198]
确定模块404，用于根据所述情绪预测结果，确定所述待识别文件的情绪类别。
[0199]
本实施例通过获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。
[0200]
在本实施例的一些可选的实现方式中，提取模块402包括：
[0201]
第一提取子模块，用于将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征；
[0202]
所述情绪身份识别模型包含预先训练的第一lstm网络和情绪预测结果输出层，处理模块403包括：
[0203]
第一处理子模块，用于将所述图像特征输入到所述第一lstm网络，获取所述视频特征的时序图像特征；
[0204]
第一输出子模块，用于将所述时序图像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
[0205]
在本实施例的一些可选的实现方式中，所述情绪识别装置包括：
[0206]
第一获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个视频片段，n为大于0的正整数；
[0207]
第二提取子模块，用于将所述训练样本输入到所述图像特征提取网络，获得所述训练样本的n个图像特征；
[0208]
第二处理子模块，用于将所述n个图像特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
[0209]
第一比对子模块，用于通过第一损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第一损失函数为：
[0210]
l1＝l1_vemotion+l1_vface
[0211]
其中，l1_vemotion为所述情绪预测结果的损失函数，l1_vemotion采用arcfaceloss，l1_vface为所述身份预测结果的损失函数，l1_vface采用softmaxloss。
[0212]
第一调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第一
损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
[0213]
在本实施例的一些可选的实现方式中，提取模块402包括：
[0214]
第三提取子模块，用于将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
[0215]
所述情绪身份识别模型包含预先训练的第一情绪身份特征提取网络和情绪预测结果输出层，处理模块403包括：
[0216]
第三处理子模块，用于将所述音频特征输入到所述第一情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
[0217]
第二输出子模块，用于将所述情绪身份特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
[0218]
在本实施例的一些可选的实现方式中，所述情绪识别装置包括：
[0219]
第二获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个音频片段，n为大于0的正整数；
[0220]
第四提取子模块，用于将所述训练样本输入到所述音频特征提取模型，获得所述训练样本的n个音频特征；
[0221]
第四处理子模块，用于将所述n个音频特征输入到所述情绪身份识别模型中，获得所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
[0222]
第二比对子模块，用于通过第二损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份是否一致，其中所述第二损失函数为：
[0223]
l2＝l1_aemotion+l1_aface
[0224]
其中，l1_aemotion为所述情绪预测结果的损失函数，l1_aemotion采用arcfaceloss，l1_aface为所述身份预测结果的损失函数，采用softmaxloss；
[0225]
第二调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第二损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
[0226]
在本实施例的一些可选的实现方式中，提取模块402包括：
[0227]
第五提取子模块，用于将所述视频片段输入到预先训练的图像特征提取模型，获得所述视频片段的图像特征：
[0228]
第六提取子模块，用于将所述音频片段输入到预设的音频特征提取模型，获得所述音频片段的音频特征；
[0229]
所述情绪身份识别模型包含第二lstm网络、第二情绪身份特征提取网络、第三lstm网络和情绪预测结果输出层，处理模块403包括：
[0230]
第七提取子模块，用于将所述图像特征输入到所述第二lstm网络，获取所述视频特征的时序图像特征；
[0231]
第八提取子模块，用于将所述音频特征输入到所述第二情绪身份特征提取网络，获取所述音频特征的情绪身份特征；
[0232]
第五处理子模块，用于将所述时序图像特征和所述情绪身份特征输入到预先训练
的第三lstm网络，获取待识别文件的音像特征；
[0233]
第三输出子模块，用于将所述音像特征输入到所述情绪预测结果输出层，获取所述情绪预测结果输出层输出的情绪预测识别结果。
[0234]
在本实施例的一些可选的实现方式中，情绪识别装置包括：
[0235]
第三获取子模块，用于获取训练样本，所述训练样本为标注有情绪类别和身份的n个文件，n为大于0的正整数，所述文件包含同步的视频片段和音频片段；
[0236]
第九提取子模块，用于将所述训练样本中的视频片段输入到预先训练的图像特征提取模型，获得所述训练样本的n个图像特征；
[0237]
第十提取子模块，用于将所述训练样本中的音频片段输入到预设的音频特征提取模型，获得所述训练样本的n个音频特征；
[0238]
第六处理子模块，用于将所述n个图像特征和所述n个音频特征输入到所述情绪身份识别模型中，得到所述情绪预测结果输出层输出的n个情绪预测结果和所述身份预测结果输出层输出的n个身份预测结果；
[0239]
第三比对子模块，用于通过第三损失函数比对所述n个情绪预测结果和所述n个身份预测结果与所述标注的情绪类别和身份识别是否一致，其中所述第三损失函数为：
[0240]
l3＝l2_vemotion+l2_vface+l2_aemotion+l2_aface+l_ids+λl_emotion
[0241]
其中，l2_vface和l2_vemotion为所述第二lstm网络的损失函数,l2_aemotion和l2_aface为所述第二情绪身份特征提取网络的损失函数，l_ids为所述身份预测结果的损失函数，l_emotion为所述情绪预测结果的损失函数，λ为大于1的可调系数。
[0242]
第三调整子模块，用于调整所述情绪身份识别模型中各节点的参数，至所述第三损失函数达到最小值时结束，得到同时经情绪识别训练和身份识别训练的情绪身份识别模型。
[0243]
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。
[0244]
所述计算机设备5包括通过系统总线相互通信连接存储器51、处理器52、网络接口53。需要指出的是，图中仅示出了具有组件51
‑
53的计算机设备5，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0245]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0246]
所述存储器51至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器51可以是所述计算机设备5的内部存储单元，例如该计算机设备5的硬盘或内存。在另一些实施例中，所述存储器
51也可以是所述计算机设备5的外部存储设备，例如该计算机设备5上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器51还可以既包括所述计算机设备5的内部存储单元也包括其外部存储设备。本实施例中，所述存储器51通常用于存储安装于所述计算机设备5的操作系统和各类应用软件，例如情绪识别方法的计算机可读指令等。此外，所述存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0247]
所述处理器52在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器52通常用于控制所述计算机设备5的总体操作。本实施例中，所述处理器52用于运行所述存储器51中存储的计算机可读指令或者处理数据，例如运行所述情绪识别方法的计算机可读指令。
[0248]
所述网络接口53可包括无线网络接口或有线网络接口，该网络接口53通常用于在所述计算机设备5与其他电子设备之间建立通信连接。
[0249]
通过获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。
[0250]
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的情绪识别方法的步骤。
[0251]
通过获取待识别文件，所述待识别文件为视频片段和/或音频片段；将所述待识别文件输入到预设的特征提取模型进行特征提取，获得所述待识别文件的特征；将所述特征输入到同时经情绪识别训练和身份识别训练的情绪身份识别模型中进行情绪预测，获取所述情绪身份识别模型输出的情绪预测结果；根据所述情绪预测结果，确定所述待识别文件的情绪类别。通过身份识别和情绪识别综合训练，学习不同对象不同情绪的特征，提高了情绪识别的准确率。。
[0252]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
[0253]
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他
相关的技术领域，均同理在本申请专利保护范围之内。