情绪识别方法、系统、设备及介质与流程

1.本发明属于人工智能技术领域，特别是涉及一种情绪识别方法、系统、设备及介质。


背景技术：

2.随着社交媒体的发展，人们会在twitter、微博、网络论坛等社交平台上以匿名的方式宣泄情绪，社交平台上的各种信息，也可以成为被追踪观测的心理疾患诊断指标，通过文本检测识别用户情绪。
3.然而，采用传统文本内容去识别情绪，通过标记正向(负向)词去计算最后的情绪，而通过文本的方式不能很准确的检测到用户实际的情绪。因此，现有技术中亟需一种准确率较高的情绪识别方法。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种情绪识别方法、系统、设备及介质，用于解决现有技术基于文本内容识别情绪时，情绪识别准确率低的问题。
5.为实现上述目的及其他相关目的，本发明的第一方面提供一种情绪识别方法，包括：获取待测用户的语音数据与人脸数据；利用语音识别技术处理所述语音数据，生成文本数据；分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
6.于所述第一方面的一实施例中，还包括：获取当前多人会话的语音数据；利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据；提取所述语音数据中各个语句的时序信息；检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据；提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征。
7.于所述第一方面的一实施例中，所述利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对rnn
‑
t语音识别模型进行训练；利用训练好的rnn
‑
t语音识别模型将语音数据转化为文本数据。
8.于所述第一方面的一实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
9.于所述第一方面的一实施例中，还包括：依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记得到待测用户的文本数据的内容，以及得到待测用户对应文本的情感特征；根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征。
10.于所述第一方面的一实施例中，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：将预处理的所述情感特征、语气特征与表情特征形成训练集；基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为多个神经网络分配不同的权重，得到情绪识别模型的集成决策。
11.于所述第一方面的一实施例中，所述将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别之前，还包括：对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量。
12.本发明的第二方面提供一种情绪识别系统，包括：数据获取模块，用于获取待测用户的语音数据与人脸数据；语音识别模块，利用语音识别技术处理所述语音数据，生成文本数据；特征提取模块，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；模型构建模块，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；情绪识别模块，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
13.本发明的第三方面提供一种情绪识别设备，包括：一个或多个处理装置；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处
理装置执行，使得所述一个或多个处理装置实现上述的情绪识别方法。
14.本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行上述的情绪识别方法。
15.如上所述，本发明所述的情绪识别方法、系统、设备及介质的一个技术方案，具有以下有益效果：本发明通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行情绪识别，大大提高了情绪识别的准确率。
附图说明
16.图1显示为本发明提供的一种情绪识别方法流程图；图2显示为本发明提供的一种情绪识别系统结构框图；图3显示为本发明提供的一种情绪识别设备的结构示意图。
具体实施方式
17.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
18.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
19.本发明解决现有技术中医生问诊现场，由于门诊医生都有属于各自诊断室，一般情况，在诊断室内医生通过询问、观察和检测患者的身体状况，医生对患者的病情进行诊断，往往家属或患者对诊断结果或诊断效果过度重视，而此时医生往往都将注意力集中在患者的病情上，没有精力关注患者的情绪，同时，很多医生由于没有心理学功底，也无法识别出当前患者的情绪。因此，造成在问诊时，无法兼顾到对患者的情绪进行识别，一方面，不良情绪不仅对患者造成心理或情绪上的干扰，还影响患者身体的康复；另一方面，如果患者出现暴力情绪或忧郁情绪得不到疏解，往往在医患诊疗过程中，容易引起极端现象，例如，患者自我伤害、自杀或伤害医护人员的现象，因此，容易引起不必要的医疗纠纷。除了针对医生问诊现象外，本实施例还能针对医院内其他治疗，例如，医生、护士在病房内巡视患者、以及手术室手术记录单等等。
20.请参阅图1，为本发明提供的一种情绪识别方法流程图，包括：步骤s1，获取待测用户的语音数据与人脸数据；其中，从目标视频中获取用户语音数据与人脸数据，例如，在预设场地安装摄像或录像装置采集包含目标用户的语音数据与人脸数据的视频；通过分离视频得到目标视频得
到待测用户的语音数据与人脸数据。
21.需要说明的是，优选的目标视频中只有待测用户的语音数据与人脸数据，但在实际应用中，大多数情况下，目标视频中除了包含待测用户，还涉及其他会话人。
22.步骤s2，利用语音识别技术处理所述语音数据，生成文本数据；具体地，用语音识别系统处理语音数据，例如，语音识别系统包括一个或多个计算机，所述一个或多个计算机被编程为：接收来自用的语音数据输入，确定语音数据转录文字，并将转录的文字作为输出。
23.步骤s3，分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；其中，情绪类别分为三大类，分别是正面情绪(positive)、负面情绪(negative)以及中立情绪(neutral)。例如，正面情绪表示人的一种积极的情绪，体现了人脸图像中所表达出的开心、乐观、自信、欣赏、放松等状态；负面情绪表示人的一种消极情绪，心理学上把焦虑、紧张、愤怒、沮丧、悲伤、痛苦等不利于身心的情绪统称为负性情绪；中立情绪表示不偏不向，不带有任何感情色彩的情绪类别。而情感特征、语气特征与表情特征同属于三大情绪类别，每种特征都可以对应大类情绪的小类情绪。
24.可选的，对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量，将各个特征进行预处理，得到预设规格的特征向量，能够大大优化训练集，便于模型后续的训练。
25.例如，采用dutir情绪识别模型提取文本数据的情感，得到情感特征；将待测用户的语音数据输入训练完成的神经网络得到所述语音数据对应的语气特征。
26.又例如，通过获取人脸的面部表情图片，主网络通过输入面部表情图片，对面部表情图片进行预处理，主网络学习预处理面部表情图片的人脸表情特征，得到人脸表情特征信息，通过人脸表情特征信息对人脸表情情绪进行情绪分类，得到情绪分类信息；通过特权网络获取特权信息，使用特权信息对损失函数进行特权学习，进而优化主网络的参数，得到优化深度特权网络；在主网络模型输入测试的面部表情图片，对测试的面部表情图片进行预处理，得到预处理的测试面部表情图片，采用通过特权学习后的深度特权网络提取表情特征。
27.步骤s4，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；其中，除了基于蒸馏神经网络构构建情绪识别模型，还可以基于其他神经网络训练情绪识别模型，例如，浅层卷积神经网络与卷积神经网络等。
28.步骤s5，将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
29.在本实施例中，通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行识别，大大提高了情绪识别的准确率；通过多维度的训练不仅能够识别大的情绪类别，还能精准识别具体某类情绪。
30.在另一些实施例中，还包括：获取当前多人会话的语音数据；
例如，利用麦克风、录音终端、或其他录音装置进行录音采集，另外，上述装置或设备采集必须确保在可控采集范围，以保证语音数据的采集质量。
31.利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；提取所述语音数据中各个语句的时序信息；其中，通过唇语识别图像内唇语的语句信息，由于唇语时序自带时序信息，即，在文本数据内语音识别的同一语句映射有时序信息，通过两者之间的映射关系得到各个语句的时序信息。当然，还可通过时间关键点触发，例如，特定用户在每次说话前，通过按钮触发，形成时序信息。
32.检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；其中，确定语音数据中的人声数据，之后，确定该人声数据中包含的各滑窗数据，并针对每个人声数据中的每个滑窗数据，进行音频特征提取将提取到的音频特征输入语音分类模型中，确定该滑窗数据属于某个人声特征的概率。
33.利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据； 提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征；其中，利用nlp技术处理文本数据得到各个语句的语义，同时，根据当前会话场景结合语义，判断各个语句应该是哪个会话者说出的。例如，在医患问诊会话时，以下“姓名”、“年龄”、“哪儿不舒服”、“从什么时候开始**”以及还有些医用技术术语等，从上述语句可判断特定会话者为医生，其对应的回答，可能有患者、家属等，在此不再列举。
34.在本实施例中，通过识别多个会话者中患者（即，待测用户）所对应的文本数据中的各个语句，能够便于后续分析文本数据中的语句得到待测用户的情感特征，同时，通过分割语音数据得到待测用户对应的语音数据集合，进而在语音数据集合提取到属于待测用户的语气特征，即，能够从多人会话场景中，识别出待测用户的语气特征与情感特征，便于后续准确识别待测用户的情绪。
35.另外，在语音识别中，还可以获取语音数据第一分段的第一候选转录文字；确定与该第一候选转录文字相关联的一个或多个场境；调整所述一个或多个场境中的每一个场境的相应权重；以及，基于调整后的权重来确定该语音数据的第二分段的第二候选转录文字。
36.例如，通过该方式，通过分段来确认医患诊断场景，使用基于语音数据的分段来调整场境的权重并且基于调整后的权重来确定该后续语音数据的转录文字，所以，使用该方式能够动态地提高识别性能，提高语音识别准确率。
37.在另一些实施例中，通过从视频图像中提取待测用户的人脸图像，基于待测用户人脸图像中提取面部关键特征点的位置作为特征区域，所述关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征，通过配合表情特征配合单纯的文本内容识别，大大提高了情绪识别精度。
38.在另一些实施例中，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：将预处理的所述情感特征、语气特征与表情特征形成训练集；其中，将提取的情感特征、语气特征与表情特征进行预处理，进而得到预设规格的
情感特征、语气特征与表情特征。
39.基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；其中，蒸馏损失函数的表达式为：其中，r表示预测样本的真实标签、p为网络预测输出，t是温度系数，用来作为软标签系数，λ表示前后两项的平衡项，l代表着交叉熵损失，softmax为损失函数。
40.具体地，通过多个神经网络，减少了时间，同时，将深度神经网络横向的深度转变为纵向的深度，也提高了特征提取的辨识。
41.将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为不同的网络分配不同的权重，得到情绪识别模型的集成决策。
42.具体地，初始化m个基础的神经网络，每个网络由包含lstm编码
‑
解码结构及framegate特征门控单元（对输入的隐状态进行加权和，通过这种方式，我们可以对输入的不同帧赋予相应的权重，通过网络学习，最终得到一系列高权区域），任意选择其中的两个网络，将第一个网络定义为主网络，第二个网络定义为子网络，主网络接收s*n*d的3d
‑
张量作为输入，而特征门控单元的输出并没有改变原始数据的维度，其同样是s*n*d的三维张量，只是该三维张量在通道、帧间进行了带权组合，这使得同样结构的子网络可以自然地将其作为自己输入，该操作可以被不断地迭代下去，也就是可以不断地初始化网络，并将网络提取得到的特征矩阵传递下去，直到迭代终止。
43.例如，初始化m个具有编码
‑
解码结构、特征门控单元、多层分类网络的基础网络。对第一个网络（主网络），我们利用交叉熵进行初步学习，而后输出对应的提取特征给子网络，后续的子网络基于提取特征和预测标签进一步优化目标函数，最后，一个conv1*1会被引入，并基于真实标签训练conv1*1网络中的权重变量，在固定了权重变量后，基于该网络，将聚合标签矩阵p
s*m
转化为概率向量pensemble，从而给出最终的决策结果。模型中使用了adam优化器，并引入了dropout正则化，出于时间和性能考虑，网络数量m被设置为了三个，对于所有的lstm层，其隐变量数都与输入维度一致，用于分类的全连接网络其神经元数目分别为32，16及类别数。
44.又例如，情绪识别模型为三个初始网络，分别对应三个通道，每个初始网络包括依次相连的第一ltsm网络（编码层）、特征门控单元、第二ltsm网络（用于归类的解码层）与多层分类网络（用于分类），第一通道的初始网络通过多层分类网络输出第一概率，第二通道的初始网络中输入为第一通道中特征门控单元处理的第一特征向量，第二通道的初始网络的输出为其内的多层分类网络输出第二概率；同理，第三通道的初始网络中输入为第二通道中特征门控单元处理的第二特征向量，第三通道的初始网络的输出为其内的多层分类网络输出第三概率；将第一概率、第二概率与第三概率输入维度为1的卷积层，根据各个初始网络的权重变量进行聚合，将聚合标签矩阵p
s*m
转化为概率向量pensemble，从而给出最终的决策结果p。
45.在本实施例中，通过帧级门控单元，挖掘数据中帧间的相关性信息，并通过多网络特征蒸馏，获得浓缩后的抽象数据表示，进而提高情感识别的准确率。
46.在另一个实施例中，利用自然语言处理技术识别所述文本数据中特定用户所说的文字内容的步骤，包括：构建语音文字匹配模型库，基于所述模型库对rnn
‑
t语音识别模型进行训练；利用训练好的rnn
‑
t语音识别模型将语音数据转化为文本数据。
47.所述rnn
‑
t(rnn
‑
transducer)语音识别框架，其实际上是在ctc模型的一种改进，所述rnn
‑
t模型巧妙的将语言模型声学模型整合在一起，同时进行联合优化，是一种理论上相对完美的模型结构；rnn
‑
t模型引入了transcription net(可以使用任何声学模型的结构)，相当于声学模型部分，prediction net实际上相当于语言模型(可以使用单向的循环神经网络来构建)。同时，其最重要的结构就是联合网络，一般可以使用前向网络来进行建模，联合网络的作用就是将语言模型和声学模型的状态通过某种思路结合在一起，可以是拼接操作，也可以是直接相加等，考虑到语言模型和声学模型可能有不同的权重问题，似乎拼接操作更加合理一些；所述rnn
‑
t模型具有端到端联合优化，具有语言模型建模能力，具有单调性，能够进行实时在线解码；相对于当前常用的gmm
‑
hmm（隐马尔科夫模型）和dnn
‑
hmm（深度神经网络），所述rnn
‑
t模型具有训练速度快、准确率高的特点。
48.在另一些实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
49.具体地，采用录像装置或摄像装置采集包含当前会话者的语音数据与其对应的唇部图像数据的目标视频，首先，从目标视频数据中分离出语音数据和图像序列，分离出的语音数据作为目标语音数据；然后，从分离出的图像序列中获取目标语音数据所涉及的每个说话人的唇部图像序列，目标语音数据所涉及的每个说话人的唇部图像序列作为目标语音数据对应的唇部图像数据。
50.例如，从该图像中获取该说话人的脸部区域图像，将该脸部区域图像缩放到预设的第一尺寸，最后以该说话人的唇部中心点为中心，从缩放后的脸部区域图像中截取预设的第二尺寸(比如80*80)的唇部图像。
51.需要说明的是，在对目标语音数据进行语音分离和识别时，结合了目标语音数据对应的唇部图像数据，在语音分离和识别时辅以唇部图像数据，使本提供的语音识别方法对噪声具有一定鲁棒性，且能够提升语音识别效果。
52.还需要说明的是，通过唇语时序间接获取到文本数据内每个语句的时序信息，能够更加精准的区分和标记各个会话者所对应的文本语句。
53.在另一些实施例中，还包括：依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；其中，将语语音数据按累计时长分割为待测语音特征集，例如，两秒、三秒或五秒等，将待测语音特征集进行聚类处理，根据聚类评分得到不同人声特征的会话者所对应的语音特征集，进而区分不同会话者所说的文本语句。
54.在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本
数据内不同会话者所对应的语句内容；其中，结合人声特征与时序特征进行相互验证，确定每个语句标记的归属，例如，有两个人声特征，“医生和患者”，那么其对应的标签必定为“医生”和“患者”两个属性标记。通过将文本数据中不同语句进行区分，得到各个会话者所对应的语句内容。
55.利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容，以及得到待测用户对应文本的情感特征；根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征在上述基础上，通过语句语义也能侧面佐证语句是否归属于对应的标记，进而落实文本数据中各个语句出自哪个会话者（用户），提高了语音转换文本的精准度，进而准确提取到属于待测用户的语气特征与情感特征。
56.在另一些实施例中，还包括：建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；其中，所述名词数据库中的名词进一步按不同服务领域进行分类存储，所述服务领域包括餐饮、医疗、购物、运动、住宿、交通等，在此优选医疗领域的名词数据库。
57.建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；将语音数据识别为中文语句，将语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义。
58.例如，打开设备的摄像头，启动语音识别系统，通过语音识别系统采集用户输入的语音数据和面部视频；系统将语音数据识别为中文语句，然后将中文语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音指令的中文语义。
59.又例如，语音语义与唇语进行匹配，若匹配结果有误，则突出显示的文本内容某个数据，以达到提醒用户的目的。通过语音语义识别和唇语识别的结果匹配相同，则准确的将语音数据转换为文本数据，特别是，将待测用户的语音数据转换对应的文本数据，通过二者的相互印证和补充，提高原始数据采集和识别的精度。
60.请参阅图2，为本发明提供的一种情绪识别系统结构框图，所述情绪识别系统详述如下：数据获取模块1，用于获取待测用户的语音数据与人脸数据；语音识别模块2，利用语音识别处理所述语音数据，生成文本数据；特征提取模块3，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；模型构建模块4，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；情绪识别模块5，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
61.还需要说明的是，情绪识别方法与情绪识别系统为一一对应的关系，在此，情绪识别系统所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述情绪识别方法。
62.将上述情绪识别系统以终端或系统形式设置于医院特定场所，能够精准的识别患者的情绪，即使细微的情绪波动也能识别，医生能够了解患者的情绪状况，便于做出适当的干预和治疗。
63.下面参考图3，其示出了适于用来实现本公开实施例的情绪识别设备(例如电子设备设备或服务器600的结构示意图。本公开实施例中的电子设备设备可以包括但不限于诸如手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、mp4播放器、mp5播放器、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(virtualreality，vr)播放器或增强现实(augmented reality，ar)播放器等的固定器。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
64.如图3所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
65.通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
66.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
67.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
68.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
69.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电
子设备执行时，使得该电子设备：执行上述步骤s1到步骤s5的方法。
70.综上所述，本发明通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行情绪识别，大大提高了情绪识别的准确率，有效克服了现有技术中的种种缺点而具高度产业利用价值。
71.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。