1.本技术涉及人工智能领域，尤其涉及一种语音分类模型的训练方法、装置、设备及存储介质。
背景技术：2.目前，以卷积神经网络(convolutional neural networks,cnn)为首的很多深度学习网络(deep neural networks,dnn)在各类下游任务中被广泛应用，例如语音分类任务。在语音分类任务中，通过一个简单的cnn往往就可以达到很好的分类效果。大部分cnn网络在训练时是将语音进行标注，在语音信息和目标标签之间建立联系，从而对cnn模型进行训练，但这种训练方式受限于标签的准确度、样本数据量以及样本分布情况，标注成本较高，且容易出现过拟合。
技术实现要素：3.本技术提供了一种语音分类模型的训练方法、装置、设备及存储介质，以减少过拟合现象的发生。
4.第一方面，本技术提供了一种语音分类模型的训练方法，所述方法包括：
5.获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签；
6.对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵；
7.将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征；
8.将所述句子表征输入所述初始语音分类模型的分类网络得到预测标签，并根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练，以得到训练好的语音分类模型。
9.第二方面，本技术还提供了一种语音分类模型的训练装置，所述装置包括：
10.样本获取模块，用于获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签；
11.预处理模块，用于对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵；
12.瓶颈处理模块，用于将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征；
13.模型训练模块，用于将所述句子表征输入所述初始语音分类模型的分类网络得到预测标签，并根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练，以得到训练好的语音分类模型。
14.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的语音分类模型的训练方法。
15.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的语音分类模型的训练方法。
16.本技术公开了一种语音分类模型的训练方法、装置、设备及存储介质，通过获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签；对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵；将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征；将句子表征输入初始语音分类模型的分类网络得到预测标签，然后根据样本标签和预测标签对初始语音分类模型进行迭代训练，从而得到训练好的语音分类模型。在语音分类模型中加入变分信息瓶颈处理网络，压缩了样本信息并抑制了无用信息，从而减小了过拟合现象的发生。
附图说明
17.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例提供的语音分类模型的训练方法的步骤示意流程图；
19.图2是本技术实施例提供的对样本语音进行预处理得到向量矩阵的步骤示意流程图；
20.图3是本技术实施例提供的一种训练编码器的步骤示意流程图；
21.图4是本技术实施例提供的一种语音分类模型的训练装置的示意性框图；
22.图5是本技术实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
25.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
26.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
27.本技术的实施例提供了一种语音分类模型的训练方法、装置、计算机设备及存储介质。该语音分类模型的训练方法利用了人工智能领域中的神经网络，通过对神经网络的迭代训练得到语音分类模型。并且训练出的语音分类模型可以用于进行语音情感类型的分类等分类场景，提高分类性能。
28.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
29.请参阅图1，图1是本技术实施例提供的一种语音分类模型的训练方法的示意流程图。该语音分类模型的训练方法通过加入变分信息瓶颈处理层来实现对无用信息的压缩，将较为重要的信息进入分类模型中参与分类，从而提高模型分类准确率和减少过拟合情况的发生。
30.如图1所示，该语音分类模型的训练方法，具体包括：步骤s101至步骤s104。
31.s101、获取样本数据。
32.其中，样本数据中包括样本语音和所述样本语音对应的样本标签。在进行模型训练时，可以获取一个小样本数据集来参与模型的训练，其中，小样本数据集可以表示为样本语音样本语音对应的样本标签样本语音对应的样本标签)。在具体实施过程中，样本标签可以是表示样本语音的情感类型的情感标签。
33.s102、对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵。
34.在得到样本数据后，需要对样本数据中的样本语音进行预处理，其中，预处理可以包括对样本语音进行定长分割、特征提取和向量提取等。
35.当样本数据中的各个样本语音的长度不同时，可以将样本语音分别截取为定长的语音信号，然后再对这些定长的语音信号进行特征提取和向量提取。
36.在一实施例中，请参阅图2，对样本语音进行预处理得到向量矩阵的步骤包括：s1021、对所述样本语音进行特征提取，得到所述样本语音对应的数字信号；s1022、将所述数字信号输入预先训练的编码器，得到所述数字信号对应的向量矩阵。
37.在对样本语音进行特征提取时，可以将样本语音通过特征提取层，从而得到样本语音对应的梅尔频率倒谱系数的(mel frequency cepstral coefficients,mfccs)的特征分布图，进而得到样本语音对应的数字信号。然后将得到的数字信号输入编码器中，得到数字信号所对应的向量矩阵。
38.在一实施例中，可以使用自监督对比学习的概念，构造对比损失函数来对编码器进行预训练，从而提高编码器对于语音特征的抓取能力，为分类任务提供良好的模型基础。
39.在具体实施过程中，请参阅图3，训练编码器的步骤可以包括：s201、获取训练语音，并对所述训练语音进行增广处理，得到所述训练语音对应的第一增广矩阵和第二增广矩阵；s202、将所述第一增广矩阵输入编码器，得到所述第一增广矩阵对应的第一特征向量，以及将所述第二增广矩阵输入所述编码器，得到所述第二增广矩阵对应的第二特征向量；s203、根据所述第一特征向量和所述第二特征向量对所述编码器进行对比训练，得到预先训练的编码器。
40.训练语音可以使用样本数据中的样本语音，也可以再寻找其他的语音数据作为训练语音，使用样本数据中的样本语音作为训练语音能够不增加额外的训练成本。下面以使用样本语音作为训练语音为例对编码器的训练过程进行说明。
41.对多条训练语音进行数据增广，也即在训练语音上增加一些噪音，例如对训练语音进行调速、覆盖训练语音中的某一频率等等，对训练语音进行变换，从而得到该训练语音所对应的增广矩阵。
42.例如对进行数据增广，得到两个独立的增广矩阵，分别为第一增广矩阵t1(x)和第二增广矩阵t2(x)。其中，t1(xi)，t2(xi)表示为同一训练语音i的采用不同的增广方式得到的不同的增广矩阵，比如t1(xi)为训练语音中的第i条使用第一增广方式进行数据增广后得到的第一增广矩阵，t2(xi)为训练语音中的第i条使用第二增广方式进行数据增广后得到的第二增广矩阵。则分别对应t1(xi)，t2(xi)在经过编码器以后的特征向量。
43.在分别得到第一增广矩阵t1(xi)对应的第一特征向量以及第二增广矩阵t2(xi)对应的第二特征向量后，即可对编码器进行迭代训练，具体步骤包括：
44.计算所述第一特征向量和所述第二特征向量之间的相似度；基于所述编码器的损失函数，根据所述相似度计算所述编码器的损失函数值，根据所述损失函数值对所述编码器进行迭代训练。
45.计算第一特征向量和第二特征向量的内积，通过计算出的内积来表示第一特征向量和第二特征向量之间的相似度，进而根据损失函数公式来计算损失函数值，其中，损失函数的计算公式为：
[0046][0047]
其中，l
nce
表示损失函数，表示第i条训练语音对应的第一特征向量，v
(2)
表示第二特征向量的集合，表示第i条训练语音对应的第二特征向量，表示第j条训练语音对应的第二特征向量，s表示第一特征向量和第二特征向量的相似度，n表示训练语音的总数量。
[0048]
另外，还可以使用对比损失，对比损失的损失函数包括：
[0049][0050]
其中，l
con
表示对比损失的损失函数，s
simclr
表示第一特征向量和第二特征向量的内积，也即第一特征向量和第二特征向量的内积之间的相似度。
[0051]
在计算出编码器的损失函数值后，根据编码器的损失函数值来对编码器的参数进行更新，从而最大化编码器对于语音信号中的有用信息的提取能力。
[0052]
s103、将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征。
[0053]
样本语音的向量矩阵代表样本语音的特征分布图，将向量矩阵输入初始语音分类
模型的变分信息瓶颈处理网络中，进行信息的压缩，从而得到句子表征。
[0054]
假定压缩后的特征表征z是一个k维高斯分布，那么向量矩阵经过一个cnn后，再分别经过两个线性模型(linear module)，就可以得到的均值μ
x
及方差∑
x
。已知压缩后的特征表征即z是在p
θ
(z|x)分布上的随机取样。根据重新参数化(reparameterization)方法，可以得到最终压缩后的句子表征z＝μ(x)+σ(x)
⊙
ε,ε～n(0,i)。
[0055]
通过高斯分布引入一定的噪音，从而在一定程度上降低了句子表征对样本语音的表征能力，从而阻止最后的分类模型学习到一些无用的特征。
[0056]
s104、将所述句子表征输入所述初始语音分类模型的分类网络得到预测标签，并根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练，以得到训练好的语音分类模型。
[0057]
将句子表征输入到初始语音分类模型的分类网络中，由分类网络根据句子表征进行预测，得到分类网络输出的预测标签，然后再根据样本标签和预测标签来对初始语音分类模型中的分类网络和变分信息瓶颈处理网络进行迭代训练，从而得到训练好的语音分类模型。例如当损失函数值最小或达到预设的训练次数时，将训练好的变分信息瓶颈处理网络和分类网络作为训练好的语音分类模型，来用于对待分类语音进行分类。
[0058]
在一实施例中，分类网络中包括多层感知器网络和分类器，将句子表征输入多层感知器网络，然后再将多层感知器网络的输出作为分类器的输入，从而使分类器基于输入的特征生成预测出的预测标签。
[0059]
在一实施例中，对初始语音分类模型进行迭代训练的步骤包括：基于所述初始语音分类模型的损失函数公式，根据所述预测标签和所述样本标签计算所述初始语音分类模型的损失函数值，并基于所述损失函数值对所述初始语音分类模型进行迭代训练。
[0060]
在得到分类网络的输出后，基于损失函数公式，根据分类网络输出的预测标签和样本标签来计算初始语音分类模型的损失函数值。
[0061]
在一实施例中，所述初始语音分类模型的损失函数公式，包括：
[0062][0063]
其中，表示初始语音分类模型的损失函数，x表示样本语音，z表示句子表征，β表示平衡系数,分别表示关于变量x,z分布的期望,kl为相对熵，表征两个概率分布之间的差异，θ为变分信息瓶颈处理网络的模型参数，为分类网络的模型参数，μ
x
，μ0为维度为k的均值向量，∑
x
，∑0为协方差矩阵，是最后输出的预测标签
[0064]
通过最小化损失函数来更新分类网络和变分信息瓶颈处理网络的模型参数，在完成有限次的迭代后，分类网络和变分信息瓶颈处理网络的模型参数得到更新优化，从而完成对初始语音分类模型的训练任务，得到训练好的语音分类模型，可以使用该训练好的语音分类模型进行语音分类的任务。
[0065]
在得到训练好的语音分类模型后，即可利用该训练好的语音分类模型来对待分类语音进行语音分类，语音分类的过程可以包括：
[0066]
首先获取待分类语音，然后对待分类语音进行预处理，得到待分类语音所对应的向量矩阵。在此过程中，若待分类语音的长度不一，则可以将待分类语音截取为定长的语音信号，然后通过特征提取层得到待分类语音的数字信号，再经过前述训练的编码器，最终得到待分类语音所对应的向量矩阵。
[0067]
然后将待分类语音输入至前述训练的语音分类模型中，进行语音分类，得到预测标签。在此过程中，待分类语音首先经过变分信息瓶颈处理网络，经由信息瓶颈处理网络得到压缩后的待分类语音所对应的句子表征的期望值再将变分信息瓶颈处理网络的输出作为分类网络中多层感知器网络的输入，将分类网络中多层感知器网络的输出作为分类网络中分类器的输入来计算从而得到预测标签。
[0068]
上述实施例提供的语音分类模型的训练方法，通过获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签；对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵；将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征；将句子表征输入初始语音分类模型的分类网络得到预测标签，然后根据样本标签和预测标签对初始语音分类模型进行迭代训练，从而得到训练好的语音分类模型。在语音分类模型中加入变分信息瓶颈处理网络，压缩了样本信息并抑制了无用信息，从而减小了过拟合现象的发生。
[0069]
请参阅图4，图4是本技术的实施例还提供一种语音分类模型的训练装置的示意性框图，该语音分类模型的训练装置用于执行前述的语音分类模型的训练方法。其中，该语音分类模型的训练装置可以配置于服务器或终端中。
[0070]
其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
[0071]
如图4所示，语音分类模型的训练装置300包括：样本获取模块301、预处理模块302、瓶颈处理模块303和模型训练模块304。
[0072]
样本获取模块301，用于获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签。
[0073]
预处理模块302，用于对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵。
[0074]
在一实施例中，预处理模块302包括特征提取子模块3021和信号编码子模块3022。其中，特征提取子模块3021，用于对所述样本语音进行特征提取，得到所述样本语音对应的数字信号；信号编码子模块3022，用于将所述数字信号输入预先训练的编码器，得到所述数字信号对应的向量矩阵。
[0075]
在一实施例中，可以使用自监督对比学习的概念，构造对比损失函数来对编码器进行预训练，从而提高编码器对于语音特征的抓取能力，为分类任务提供良好的模型基础。
[0076]
因此，该语音分类模型的训练装置还可以包括：语音处理模块、向量生成模块和对比训练模块。
[0077]
其中，语音处理模块用于获取训练语音，并对所述训练语音进行增广处理，得到所述训练语音对应的第一增广矩阵和第二增广矩阵。
[0078]
向量生成模块用于将所述第一增广矩阵输入编码器，得到所述第一增广矩阵对应
的第一特征向量，以及将所述第二增广矩阵输入所述编码器，得到所述第二增广矩阵对应的第二特征向量。
[0079]
对比训练模块用于根据所述第一特征向量和所述第二特征向量对所述编码器进行对比训练，得到预先训练的编码器。
[0080]
通过语音处理模块对训练语音进行数据增广，得到第一增广矩阵和第二增广矩阵，然后由向量生成模块将第一增广矩阵和第二增广矩阵分别输入编码器中，得到第一增广矩阵对应的第一特征向量和第二增广矩阵对应的第二特征向量。对比训练模块计算第一特征向量和第二特征向量之间的相似度并基于相似度计算损失函数值，从而根据损失函数值对编码器进行迭代训练，得到预先训练的编码器。
[0081]
瓶颈处理模块303，用于将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征。
[0082]
模型训练模块304，用于将所述句子表征输入所述初始语音分类模型的分类网络得到预测标签，并根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练，以得到训练好的语音分类模型。
[0083]
在具体实施过程中，模型训练模块304可以用于：基于所述初始语音分类模型的损失函数公式，根据所述预测标签和所述样本标签计算所述初始语音分类模型的损失函数值，并基于所述损失函数值对所述初始语音分类模型进行迭代训练。
[0084]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的语音分类模型的训练装置和各模块的具体工作过程，可以参考前述语音分类模型的训练方法实施例中的对应过程，在此不再赘述。
[0085]
上述的语音分类模型的训练装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
[0086]
请参阅图5，图5是本技术实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
[0087]
参阅图5，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括存储介质和内存储器。
[0088]
存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种语音分类模型的训练方法。
[0089]
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0090]
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种语音分类模型的训练方法。
[0091]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0092]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻
辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0093]
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
[0094]
获取样本数据，所述样本数据包括样本语音和所述样本语音对应的样本标签；
[0095]
对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵；
[0096]
将所述向量矩阵输入初始语音分类模型的变分信息瓶颈处理网络，得到所述样本语音对应的句子表征；
[0097]
将所述句子表征输入所述初始语音分类模型的分类网络得到预测标签，并根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练，以得到训练好的语音分类模型。
[0098]
在一个实施例中，所述处理器在实现所述对所述样本语音进行预处理，得到所述样本语音对应的向量矩阵时，用于实现：
[0099]
对所述样本语音进行特征提取，得到所述样本语音对应的数字信号；
[0100]
将所述数字信号输入预先训练的编码器，得到所述数字信号对应的向量矩阵。
[0101]
在一个实施例中，所述处理器在实现所述根据所述样本标签和所述预测标签对所述初始语音分类模型进行迭代训练时，用于实现：
[0102]
基于所述初始语音分类模型的损失函数公式，根据所述预测标签和所述样本标签计算所述初始语音分类模型的损失函数值，并基于所述损失函数值对所述初始语音分类模型络进行迭代训练。
[0103]
在一个实施例中，所述初始语音分类模型的损失函数公式，包括：
[0104][0105]
其中，表示初始语音分类模型的损失函数，x表示样本语音，z表示句子表征，β表示平衡系数,分别表示关于变量x,z分布的期望,kl为相对熵，表征两个概率分布之间的差异，θ为变分信息瓶颈处理网络的模型参数，为分类网络的模型参数，μ
x
，μ0为维度为k的均值向量，∑
x
，∑0为协方差矩阵，是分类网络输出的预测标签
[0106]
在一个实施例中，所述处理器用于实现：
[0107]
获取训练语音，并对所述训练语音进行增广处理，得到所述训练语音对应的第一增广矩阵和第二增广矩阵；
[0108]
将所述第一增广矩阵输入编码器，得到所述第一增广矩阵对应的第一特征向量，以及将所述第二增广矩阵输入所述编码器，得到所述第二增广矩阵对应的第二特征向量；
[0109]
根据所述第一特征向量和所述第二特征向量对所述编码器进行对比训练，得到预先训练的编码器。
[0110]
在一个实施例中，所述处理器在实现所述根据所述第一特征向量和所述第二特征向量对所述编码器进行对比训练时，用于实现：
[0111]
计算所述第一特征向量和所述第二特征向量之间的相似度；
[0112]
基于所述编码器的损失函数，根据所述相似度计算所述编码器的损失函数值，根
据所述损失函数值对所述编码器进行迭代训练。
[0113]
在一个实施例中，所述编码器的损失函数，包括：
[0114][0115]
其中，l
nce
表示所述编码器的损失函数，表示第i条训练语音对应的第一特征向量，v
(2)
表示第二特征向量的集合，表示第i条训练语音对应的第二特征向量，表示第j条训练语音对应的第二特征向量，s表示第一特征向量和第二特征向量的相似度，n表示训练语音的总数量。
[0116]
本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项语音分类模型的训练方法。
[0117]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等，所述存储介质可以是非易失性的，也可以是易失性的。
[0118]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。