语音情感识别方法及装置

文档序号:28354824发布日期:2022-01-05 12:08阅读:172来源:国知局
技术特征:
1.一种语音情感识别方法,其特征在于,包括:获取原始语音集,所述原始语音集包括对话者语音和说话者语音;将所述原始语音集输入至语音情感识别模型,获得所述语音情感识别模型输出的所述说话者语音的识别结果;其中,所述语音情感识别模型是基于语音样本以及对应的识别标签进行训练后得到的,用于基于所述对话者语音对所述说话者语音的影响对所述说话者语音进行语音情感识别;所述识别标签是根据所述语音样本预先确定的,并与所述语音样本一一对应;所述语音样本包括对话者语音样本和说话者语音样本。2.根据权利要求1所述的语音情感识别方法,其特征在于,所述语音情感识别模型包括:特征提取模块、多模态特征融合模块、对话者影响力模块和分类模块;所述将所述原始语音集输入至语音情感识别模型,获得所述语音情感识别模型输出的所述说话者语音的识别结果,具体包括:将所述原始语音集输入至所述特征提取模块,获得所述特征提取模块输出的语音特征、文本特征、第一矩阵和第二矩阵;将所述语音特征和所述文本特征输入至所述多模态特征融合模块,获得所述多模态特征融合模块输出的融合特征;将所述融合特征、所述第一矩阵和所述第二矩阵输入至所述对话者影响力模块,获得所述对话者影响力模块输出的影响融合特征;将所述影响融合特征输入至分类模块,获得所述分类模块输出的识别结果;其中,所述第一矩阵用于分离所述对话者语音对所述说话者语音的影响;所述第二矩阵用于分离所述说话者语音的信息。3.根据权利要求2所述的语音情感识别方法,其特征在于,所述将所述融合特征、所述第一矩阵和所述第二矩阵输入至对话者影响力模块,获得影响融合特征,具体包括:基于所述融合特征和所述第一矩阵获得影响信息矩阵,所述影响信息矩阵用于表示所述对话者语音对所述说话者的影响;将所述影响信息矩阵与内容向量相加获得第二融合特征,所述内容向量是基于所述融合特征获得的;将所述第二融合特征与所述第二矩阵点乘,获得所述影响融合特征。4.根据权利要求3所述的语音情感识别方法,其特征在于,所述基于所述融合特征和所述第一矩阵获得影响信息矩阵,具体包括:将所述融合特征经过第一全连接层,获得查询矩阵;将所述融合特征经过第二全连接层,获得被查矩阵;将所述融合特征经过第三全连接层,获得内容向量;基于所述第一矩阵、所述查询矩阵、所述被查矩阵、所述内容向量和预设影响力公式获得所述影响信息矩阵。5.根据权利要求4所述的语音情感识别方法,其特征在于,所述预设影响力公式为:其中,y为所述影响信息矩阵,为softmax函数,k为所述查询矩阵,q
t
为所述被查矩阵
的转置,mask1为所述第一矩阵,v为所述内容向量。6.根据权利要求2

5中任一项所述的语音情感识别方法,其特征在于,所述将所述影响融合特征输入至分类模块,获得所述分类模块输出的识别结果,具体包括:将所述影响融合特征依次输入长短期记忆循环神经网络、全连接层和softmax函数,获得分类结果。7.根据权利要求2

5中任一项所述的语音情感识别方法,其特征在于,所述将所述语音特征和所述文本特征输入至多模态特征融合模块,获得融合特征,具体包括:基于所述语音特征与所述原始语音集中每一句语音的对应关系,和所述文本特征与所述原始语音集中每一句语音的对应关系,将所述语音特征和所述文本特征进行对齐;将所述对齐后的语音特征和所述文本特征进行拼接融合,得到所述融合特征。8.一种语音情感识别装置,其特征在于,包括:获取单元,用于获取原始语音集,所述原始语音集包括对话者语音和说话者语音;识别单元,用于将所述原始语音集输入至语音情感识别模型,输出所述说话者语音的识别结果;其中,所述语音情感识别模型是基于语音样本以及对应的识别标签进行训练后得到的;所述识别标签是根据所述语音样本预先确定的,并与所述语音样本一一对应;所述语音情感识别模型用于基于所述对话者语音的影响对所述说话者语音进行语音情感识别。9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述语音情感识别方法的步骤。10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述语音情感识别方法的步骤。

技术总结
本发明提供一种语音情感识别方法及装置,其中方法包括:获取原始语音集,原始语音集包括对话者语音和说话者语音;将原始语音集输入至语音情感识别模型,获得语音情感识别模型输出的说话者语音的识别结果;其中,语音情感识别模型是基于语音样本以及对应的识别标签进行训练后得到的,用于基于对话者语音对说话者语音的影响对说话者语音进行语音情感识别;识别标签是根据语音样本预先确定的,并与语音样本一一对应;语音样本包括对话者语音样本和说话者语音样本。本发明提供的语音情感识别方法,将对话者对说话者的情感影响和说话者自身情绪结合,对说话者语音的情感进行识别,提高了语音情感识别正确率。了语音情感识别正确率。了语音情感识别正确率。


技术研发人员:李建强 宋长伟 付光晖
受保护的技术使用者:北京工业大学
技术研发日:2021.10.15
技术公布日:2022/1/4
当前第2页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!