一种语音情感识别方法、装置、设备和计算机存储介质与流程

本发明涉及语音研究领域，尤其涉及一种语音情感识别方法、装置、设备和计算机存储介质。
背景技术：
：语音情感识别是语音研究领域里的一个重要分支，是根据人的说话语音来判定其所属情感的技术，设计到信号处理、特征提取、模式识别等多项语音研究中的核心问题。近年来，s随着信息技术的飞速发展，语音情感识别在多个场景有着重要应用，具体体现如下：1、话务系统，大型商业机构每天都需要处理成千上万的客户通话，其中，保证电话客户的满意度是防止客户流失的一项重要举措，因此对于通话中客户不满情绪，需要得到及时发现和预警。2、教育事业，研究表明，学习者的学习效果和其情感状态有着很大关联，在学习过程中略微负面的情绪有助于批判性思维的产生。3、广告投放，以往广告投放者只能大范围投放广告，以求对潜在客户的最大化覆盖，然而这种投放方式成本较高，且针对性差。广告阅读者的情感倾向是其对广告评价的最直接反馈。基于语音情感识别系统，可以获取阅读者的情感状态，帮助广告投放者得到阅读者评价的反馈信息，改变投放策略，降低成本。但是，由于情感的复杂性，目前有两种定义方法，一种是离散情感定义，一种是连续情感定义。离散情感定义是一种直观又简单的方法，评估者通过自己的主观感受，将语音标记为某一类定义好的情感类别，例如“高兴”，“难过”，“生气”等。连续情感定义不是使用情感类别，而是使用在某些心理学维度上的评分来衡量感情，常用的模型是强度-效价模型，强度反应出发声的某些特征，通常强度越高的声音，其高频部分包含的能量越高，且具有更高的音调。然而仅仅使用强度无法区分某些情感，因此需要通过效价唯独来区分开来。现有技术中，一个完整的语音情感识别框架主要包括语音特征提取、情感区分性信息获取、分类器训练三个步骤，最终可以得到情感标签预测。参考图1：语音情感系统的第一步是从原始波形中提取可用于模型训练的语音特征，在语音情感识别中所使用的特征种类很多，这些特征可归类为声道特征，韵律特征，统计特征等。接下来从提取到的语音特征中进一步获取可区分各个情感类别的信息。传统方法一般通过精巧设计的特征组合来增加对情感的区分性，随着深度学习技术的发展，越来越多的通过神经网络的高层输出来完成。最后获取情感区分性信息之后，就可以训练分类器，来获的测试数据上的情感预测，科归类为产生式分类器和区分性分类器，在神经网络中用来分类的是全链接层。但是上述传统方法面临的一大问题是其对特征高度敏感，因此绝大部分研究在训练分类器之前都需要经过复杂的特征选择过程，因此情感区分性信息提取的过程在一定程度上是由特征选择算法来完成，引入了较多的人工干扰。技术实现要素：针对上述问题，本发明的目的在于提供一种语音情感识别方法、装置、设备和存储介质，能够结合语谱图特征和音素特征对语音情感进行识别，通过音素信息的辅助提高了分类准确性，且减少了人工干扰。本发明实施例提供了一种语音情感识别方法，包括：获取用户的音素标签；其中，所述音素标签为判断用户的情感数据集的发音字典；获取用户的语音特征；提取每个所述音素标签的one-hot向量，并将每个one-hot向量按照时域拼接成二维矩阵，以生成音素特征音素特征；将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。优选地，所述情感数据集至少包括以下之一：高兴、悲伤、难过以及快乐；所述语音特征为语谱图特征；所述音素标签使用39个音素定义。优选地，将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感，具体为：对所述语谱图特征进行归一化处理，以提取语谱图像纹理特征；将语谱图像纹理特征切分为长短相同的段级特征，并将长度不足的部分做填零处理，形成训练批次后的语谱图特征；将形成训练批次后的语谱图特征以及音素特征分别输入至神经网络模型中进行拼接，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。第二方面，本发明实施例提供了一种语音情感识别装置，包括：音素标签获取单元，用于获取用户的音素标签；其中，所述音素标签为判断用户的情感数据集的发音字典；语音特征获取单元，用于获取用户的语音特征；one-hot向量提取单元，用于提取每个所述音素标签的one-hot向量，并将每个one-hot向量按照时域拼接成二维矩阵，以生成音素特征音素特征；语音情感识别单元，用于将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。优选地，所述情感数据集至少包括以下之一：高兴、悲伤、难过以及快乐；所述语音特征为语谱图特征；所述音素标签使用39个音素定义。优选地，语音情感识别单元，包括：归一化模块，用于对所述语谱图特征进行归一化处理，以提取语谱图像纹理特征；切分模块，用于将语谱图像纹理特征切分为长短相同的段级特征，并将长度不足的部分做填零处理，形成训练批次后的语谱图特征；语音情感识别模块，用于将形成训练批次后的语谱图特征以及音素特征分别输入至神经网络模型中进行拼接，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。本发明实施例还提供了一种语音情感识别设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现上述实施例所述的语音情感识别方法。本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的防数据丢失的水卡数据写入方法。上述一个实施例中，通过获取用户的音素标签以及用户的语音特征，然后提取音素标签的音素特征，然后将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感，本发明能够结合语谱图特征和音素特征对语音情感进行识别，通过音素信息的辅助提高了分类准确性，且减少了人工干扰。附图说明为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明第一实施例提供的一种语音情感识别方法的流程示意图。图2是本发明实施例提供的结合音素信息的cnn语音情感识别网络的结构示意图。图3是本发明实施例提供的语谱图像纹理特征的结构示意图。图4是本发明第二实施例提供的语音情感识别装置的结构示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。请参阅图1至图3，本发明第一实施例提供了一种语音情感识别方法，其可由语音情感识别设备来执行，特别的，由语音情感识别设备内的一个或多个处理器来执行，并至少包括如下步骤：s101，获取用户的音素标签；其中，所述音素标签为判断用户的情感数据集的发音字典；在本实施例中，通过g2p工具获取用户的音素标签，需要说明的是，本申请所述音素标签文所使用的音素定义来自卡耐基梅隆大学发音字典，使用了39个音素定义。当然，可以知道的是，所述情感数据集至少包括以下之一：高兴、悲伤、难过以及快乐，在此，本发明不再赘述。s102，获取用户的语音特征。在本实施例中，所述语音特征包括mfcc，melfilterbank特征，plp特征，韵律特征和语谱图特征，其中，语谱图提取的特征比较精细，效果比较好，其他的提取的特征比较粗浅，对于某类情感比较好，比如高兴，但是有些就比较差，因此，本申请中，所述语音特征为语谱图特征，具体地，各个语音特征特点如下表一：表一：特征参数维度mfcc25ms窗移，10ms窗长，26个梅尔滤波器组39melfilterbank25ms窗长，10ms窗移，40个梅尔滤波器组40plp25ms窗长，10ms窗移，5阶线性感知18韵律特征基频，声音概率，响度曲线3语谱图40ms窗长，10ms窗移，1600fft点数800s103，提取每个所述音素标签的one-hot向量，并将每个one-hot向量按照时域拼接成二维矩阵，以生成音素特征音素特征。在本实施例中，音素特征的描述使用的是one-hot向量，即对每个音素p,使用一个39维的零一向量x来描述，具体使用如下公进行表述：其中，若音素p为39个音素定义的第i个音素，则x向量的第i维为1，其余为0。需要说明的是，对于每句话的音素序列，将获得的one-hot向量按照时域拼接成二维矩阵，形成音素特征，这些音素特征同样使用批次训练的方式，每一批次的句子顺序保持和语谱图特征的顺序一致，以精确的对所述语音情感进行识别。s104，将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。在本实施例中，对于音素特征的学习使用的仍然是卷积神经网络，本申请使用了单层卷积层和全局均值池化来获取高层特征输出。音素卷积网络部分的设计细节如图2，卷积层的设计使用的宽度为39的卷积核以覆盖所有音素，卷积核的宽度为3，因此每个卷积核覆盖了前后3个音素的信息，卷积层的输出维度为32，输出的特征通过relu激活函数，然后由全局均值池化得到32维的特征向量，这些特性向量和语音部分的输出一起，拼接成112维的向量，在使用全链接层得到情感预测输出特征。具体地，所述s104包括如下执行步骤：s1041，对所述语谱图特征进行归一化处理，以提取语谱图像纹理特征；参见图3，在本实施例中，针对语谱图，归一化方式是对其取对数，但在本申请中使用了μ率压缩，公式如下：其中，μ率压缩可以提升语谱图低幅值部分的比重，一方面减小语谱图的数值差异，让训练过程更加稳定，另一方面也能让神经网络利用更多信息。s1042，将语谱图像纹理特征切分为长短相同的段级特征，并将长度不足的部分做填零处理，形成训练批次后的语谱图特征；s1043，将形成训练批次后的语谱图特征以及音素特征分别输入至神经网络模型中进行拼接，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。在本实施例中，网络输入特征是经过归一化的幅度谱，其大小为400x200，经过第一层卷积之后变换为16维特征，接下来的四层卷积层，每一层的输出维度都增加16，用以进一步提取高层特征，同时在每一层卷积层之后，前三层卷积层加入了池化窗为2x2的最大池化层。在第五层卷积层之后，使用全局均值池化层来将高层情感特征降采样为单值，所使用的损失函数是交叉熵损失函数：其中，网络的训练采用随机梯度下降法，对于学习率的设置，采用余弦衰减函数，初始学习率设置为0.05。综上，通过获取用户的音素标签以及用户的语音特征，然后提取音素标签的音素特征，然后将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感，本发明能够结合语谱图特征和音素特征对语音情感进行识别，通过音素信息的辅助提高了分类准确性，且减少了人工干扰。本发明第实施例：参见图4，本发明第二实施例提供了一种语音情感识别装置，包括：音素标签获取单元100，用于获取用户的音素标签；其中，所述音素标签为判断用户的情感数据集的发音字典；语音特征获取单元200，用于获取用户的语音特征；one-hot向量提取单元300，用于提取每个所述音素标签的one-hot向量，并将每个one-hot向量按照时域拼接成二维矩阵，以生成音素特征音素特征；语音情感识别单元400，用于将所述语音特征以及音素特征分别输入至神经网络模型中，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。在上述实施例中，本发明一优选实施例中，所述情感数据集至少包括以下之一：高兴、悲伤、难过以及快乐；所述语音特征为语谱图特征；所述音素标签使用39个音素定义。在上述实施例中，本发明一优选实施例中，语音情感识别单元，包括：归一化模块，用于对所述语谱图特征进行归一化处理，以提取语谱图像纹理特征；切分模块，用于将语谱图像纹理特征切分为长短相同的段级特征，并将长度不足的部分做填零处理，形成训练批次后的语谱图特征；语音情感识别模块，用于将形成训练批次后的语谱图特征以及音素特征分别输入至神经网络模型中进行拼接，以获得情感预测输出特征，并根据所述情感预测输出特征以识别出用户的语音情感。本发明实施例还提供了一种语音情感识别设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现上述实施例所述的语音情感识别方法。本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述实施例所述的防数据丢失的水卡数据写入方法。示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在语音情感识别设备中的执行过程。所述语音情感识别设备可包括但不仅限于处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是语音情感识别设备的示例，并不构成对语音情感识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述语音情感识别设备还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述语音情感识别设备的控制中心，利用各种接口和线路连接整个语音情感识别设备的各个部分。所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述语音情感识别设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。其中，所述语音情感识别设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。当前第1页12