一种语音身份特征提取器、分类器训练方法及相关设备与流程

本发明涉及语音技术领域，具体涉及一种语音身份特征提取器、分类器训练方法及相关设备。

背景技术：

语音由于采集简便、易于存储、难于模仿等特性在越来越多的身份识别场景中得到应用，为涉及信息安全保密的场所解决了诸多的信息安全问题。基于语音的说话人身份识别可分为说话人辨认(speakeridentification)和说话人确认(speakerverification)两类；说话人辨认主要是基于说话人说出的待测语音，判断说话人是否属于已注册的说话人集合中的一位，是一对多的识别问题；说话人确认是基于说话人说出的待测语音，判断说话人是否为已注册的一个目标说话人，是一对一的确认问题。

基于语音进行说话人身份识别时，需要基于说话人的语音提取出表达说话人身份信息的语音身份特征，通过预先训练的分类器对该语音身份特征进行处理，从而实现说话人的身份识别。目前，主要采用i-vector(身份因子，identity-vector)作为语音身份特征，虽然i-vector能够反映说话人声学差异，是目前常用的进行说话人身份识别的语音身份特征，但本发明的发明人发现：i-vector的可靠性建立在要求较为严格的语音上，在语音时长较短等不符合要求的情况下，i-vector的可靠性将极大的降低。

因此如何提供一种新型的语音身份特征提取器，实现区别于i-vector的新型的语音身份特征的提取，以提升语音身份特征的可靠性，成为了本领域技术人员需要考虑的问题。

技术实现要素：

有鉴于此，本发明实施例提供一种语音身份特征提取器、分类器训练方法及相关设备，以提供新型的语音身份特征提取器，实现高可靠性的新型的语音身份特征的提取；进一步，基于该新型的语音身份特征实现说话人身份识别，提升说话人身份识别的准确性。

为实现上述目的，本发明实施例提供如下技术方案：

一种语音身份特征提取器训练方法，包括：

提取训练语音的语音特征向量；

根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；

以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；

获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果；

根据所述输出结果，确定身份因子隐变量；

估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

本发明实施例还提供一种分类器训练方法，包括：

获取目标说话人的目标检测语音；

提取所述目标检测语音的语音特征向量；

调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征；其中，所述语音身份特征提取器以身份因子隐变量为目标输出训练得到；

根据所述语音身份特征训练分类器。

本发明实施例还提供一种语音身份特征提取器训练装置，包括：

语音特征向量第一提取模块，用于提取训练语音的语音特征向量；

身份因子确定模块，用于根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；

第一训练模块，用于以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；

第一结果确定模块，用于获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果；

隐变量确定模块，用于根据所述输出结果，确定身份因子隐变量；

第二训练模块，用于估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

本发明实施例还提供一种电子设备，包括：至少一个存储器；所述存储器存储有可执行的程序，所述程序用于：

提取训练语音的语音特征向量；

根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；

以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；

获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果；

根据所述输出结果，确定身份因子隐变量；

估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

本发明实施例还提供一种分类器训练装置，包括：

目标检测语音获取模块，用于获取目标说话人的目标检测语音；

语音特征向量第二提取模块，用于提取所述目标检测语音的语音特征向量；

语音身份特征提取模块，用于调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征；其中，所述语音身份特征提取器以身份因子隐变量为目标输出训练得到；

训练模块，用于根据所述语音身份特征训练分类器。

本发明实施例还提供一种电子设备，包括：至少一个存储器；所述存储器存储有可执行的程序，所述程序用于：

获取目标说话人的目标检测语音；

提取所述目标检测语音的语音特征向量；

调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征；其中，所述语音身份特征提取器以身份因子隐变量为目标输出训练得到；

根据所述语音身份特征训练分类器。

基于上述技术方案，本发明实施例提供的语音身份特征提取器训练方法包括：提取训练语音的语音特征向量；根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；在得到第一神经网络模型后，可获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果，从而根据所述输出结果，确定身份因子隐变量；估计身份因子隐变量的后验均值，以所述后验均值作为神经网络模型的第二目标输出，调整神经网络模型的权重，得到语音身份特征提取器，实现新型的语音身份特征提取器的训练。

本发明实施例提供的语音身份特征提取器训练方法，基于神经网络模型，以包含更紧凑的说话人信息，具有高可靠性的身份因子隐变量的后验均值为目标，训练得到语音身份特征提取器，可使得通过该语音身份特征提取器提取的语音身份特征具有更高的可靠性，可降低对语音的要求。通过本发明实施例提供的训练方法可训练得到新型的语音身份特征提取器，为高可靠性的新型的语音身份特征的提取提供了可能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的语音身份特征提取器训练方法的流程图；

图2为对训练语音进行预处理的过程示意图；

图3为确定训练语音相应的i-vector的方法流程图；

图4为神经网络模型的分层初始化示意图；

图5为训练得到第一神经网络模型的方法流程图；

图6为训练得到第一神经网络模型的过程示意图；

图7为基于第一神经网络模型训练得到语音身份特征提取器的方法流程图；

图8为训练得到语音身份特征提取器的过程示意图；

图9为在分层初始化的神经网络模型上，训练f-vector提取器的过程示意图；

图10为本发明实施例提供的分类器训练方法流程图；

图11为根据语音身份特征训练分类器的方法流程图；

图12为本发明实施例训练提取器和分类器的简化过程示意图；

图13为本发明实施例提供的语音身份特征提取器训练装置的结构框图；

图14为本发明实施例提供的语音身份特征提取器训练装置的另一结构框图；

图15为电子设备的硬件结构框图；

图16为本发明实施例提供的分类器训练装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的语音身份特征提取器训练方法的流程图，通过该语音身份特征提取器训练方法可训练得到本发明实施例提供的新型的语音身份特征提取器，基于该语音身份特征提取器可从语音中提取到可靠性更高的区别于i-vector的语音身份特征；

图1所示方法可应用于具有数据处理能力的电子设备，电子设备可如网络侧设置的服务器，用户侧使用的手机、pc(个人计算机)等用户设备，电子设备的形式具体可视使用需求而定；本发明实施例可在该电子设备中装载所述语音身份特征提取器训练方法相应的程序，实现本发明实施例提供的语音身份特征提取器训练方法的施行；

参照图1，本发明实施例提供的语音身份特征提取器训练方法可以包括：

步骤s100、提取训练语音的语音特征向量。

可选的，训练语音可从预置的训练语音集合中获取，本发明实施例可事先收集多条语音段并记录在训练语音集合中，一条事先收集的语音段可视为一条训练语音。

可选的，语音特征向量可选为mfcc(melfrequencycepstralcoefficient，梅尔频率倒谱系数)特征；可通过提取训练语音的mfcc特征，实现训练语音的语音特征向量的提取；

可选的，本发明实施例可对训练语音进行预处理，提取得到训练语音的语音特征向量；作为一种可选实现，参照图2，预处理过程可以包括依次执行的语音端点检测(vad)处理、预加重处理、分帧加汉明窗处理、fft(fastfouriertransformation，快速傅氏变换)处理、mel(梅尔)滤波处理、log(取对数)处理，dct(反余弦变换)处理，cmvn(倒谱均值方差归一化)处理，δ(一阶差分)处理及δδ(二阶差分)处理等。

可选的，训练语音的语音特征向量可由训练语音各帧的语音特征向量构成，进一步，训练语音各帧的语音特征向量可集合形成训练语音的语音特征向量序列；如第i条训练语音的语音特征向量序列可表示为其中，xtⁱ表示该第i条训练语音的第t帧语音特征向量。

步骤s110、根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector。

在提取到训练语音的语音特征向量后，本发明实施例可基于gmm(高斯混合模型)模型，对提取得到的训练语音的语音特征向量进行处理，确定训练语音相应的i-vector(身份因子)。

由于i-vector的可靠性建立在较为严格的语音时长等要求上，在短语音(时长较短的语音，可限定一个时长阈值，如10秒等，时长低于该时长阈值的语音可认为是短语音)等情况下，i-vector的可靠性较低；因此本发明实施例在确定i-vector后，并不直接将i-vector作为说话人身份识别的语音身份特征，而是在后续以i-vector进一步的进行新型语音身份特征提取器的训练。

步骤s120、以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型。

本发明实施例提供的语音身份特征提取器可基于神经网络模型进行训练，神经网络模型如dnn(deepneuralnetwork，深层神经网络)模型，当然并不排除cnn(卷积神经网络)等其他形式的神经网络模型。

本发明实施例可将训练语音相应的i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，使得神经网络模型的输出与第一目标输出相应，得到调整后的第一神经网络模型；可选的，这个过程中，本发明实施例可以神经网络模型的每次输出和第一目标输出之间的均方误差作为损失函数，来监督神经网络模型的权重的调整，使得神经网络模型的输出最终可趋于第一目标输出(即所述训练语音相应的i-vector)，实现第一神经网络模型的获得。

可选的，调整神经网络模型的权重所使用的输入可根据所述训练语音的语音特征向量确定，本发明实施例可根据所述训练语音的语音特征向量，确定输入语音特征向量，以所述输入语音特征向量作为神经网络模型的输入，所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整；

可选的，在定义神经网络模型的输入和第一目标输出的情况下，调整神经网络模型的权重，使得神经网络模型的输出趋于第一目标输出的方式有多种，如可使用误差反向传播算法进行神经网络模型的权重调整；在限定了神经网络模型的输入和第一目标输出的情况下，具体的神经网络模型的权重调整手段，本发明实施例不作限制。

可选的，输入语音特征向量(作为神经网络模型的输入)，可由训练语音各帧的语音特征向量得到；在一种可选实现上，本发明实施例可拼接训练语音相邻的设定数量帧的语音特征向量，得到输入语音特征向量，如可拼接训练语音相邻的9(此处数值仅是示例说明)帧mfcc特征，得到作为神经网络模型输入的输入语音特征向量；显然，这种确定输入语音特征向量的方式仅是可选的，本发明实施例也可从训练语音各帧的语音特征向量中，提取多帧的语音特征向量拼接得到输入语音特征向量。

可选的，进一步，在调整神经网络模型的权重之前，本发明实施例还可对神经网络模型进行初始化；如采用分层初始化方法对神经网络模型(如dnn模型)进行初始化，从而基于分层初始化后的神经网络模型进行权重的调整。

步骤s130、获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果。

在训练得到第一神经网络模型后，本发明实施例可获取目标检测语音，并提取目标检测语音的语音特征向量(如mfcc特征)，将该目标检测语音的语音特征向量作为第一神经网络模型的输入，确定第一神经网络模型相应的输出结果(即得到第一神经网络模型对该目标检测语音的语音特征向量的输出结果)。

步骤s140、根据所述输出结果，确定身份因子隐变量。

可选的，在得到第一神经网络模型针对目标检测语音的语音特征向量的输出结果后，本发明实施例可确定该输出结果的均值，以该输出结果的均值在训练snr(signalnoiseratio，信噪比)-invariant(不变)plda(probabilisticlineardiscriminativeanalysis,概率线性区分分析)模型的过程中，确定身份因子(i-vector)隐变量；

需要说明的是，隐变量是数学的因子分析理论中的专有名词，可以认为是隐性变量(latentvariable)。

步骤s150、估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

在得到身份因子隐变量(即i-vector的隐变量)后，该后验均值包含了更紧凑的说话人信息，具有更高的可靠性；因此本发明实施例可以身份因子隐变量的后验均值作为训练第一神经网络模型的第二目标输出，从而调整第一神经网络模型的权重，使得第一神经网络模型的输出趋于第二目标输出，训练完成后，则可得到语音身份特征提取器。

需要说明的是，后验均值是数学的概率论里的专有名词。

可选的，步骤s150中调整第一神经网络模型的权重所使用的输入，可以根据目标检测语音的语音特征向量确定，如可拼接目标检测语音相邻的设定数量帧的语音特征向量(这种方式进行可选示例)，得到调整第一神经网络模型的权重所使用的输入。目标检测语音可以目标说话人(目标说话人可以认为是需注册的合法说话人)说出的语音。

由于本发明实施例是以包含了更紧凑的说话人信息，具有高可靠性的身份因子隐变量为目标，训练得到语音身份特征提取器；因此通过该语音身份特征提取器提取的语音身份特征具有更高的可靠性，可实现高可靠性的新型的语音身份特征的提取；区别于现有的i-vector，本发明实施例训练得到的语音身份特征提取器可称为f-vector提取器，基于该语音身份特征提取器提取得到的语音身份特征可称为f-vector。

本发明实施例提供的语音身份特征提取器训练方法包括：提取训练语音的语音特征向量；根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；在得到第一神经网络模型后，可获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果，从而根据所述输出结果，确定身份因子隐变量；估计身份因子隐变量的后验均值，以所述后验均值作为神经网络模型的第二目标输出，调整神经网络模型的权重，得到语音身份特征提取器，实现新型的语音身份特征提取器的训练。

本发明实施例提供的语音身份特征提取器训练方法，基于神经网络模型，以包含更紧凑的说话人信息，具有高可靠性的身份因子隐变量的后验均值为目标，训练得到语音身份特征提取器，可使得通过该语音身份特征提取器提取的语音身份特征具有更高的可靠性，可降低对语音的要求。通过本发明实施例提供的训练方法可训练得到新型的语音身份特征提取器，为高可靠性的新型的语音身份特征的提取提供了可能。

为更好的理解i-vector的缺陷，同时说明本发明实施例所提供的i-vector的确定方法，图3示出了确定训练语音相应的i-vector的方法流程，参照图3，该方法可以包括：

步骤s200、基于gmm模型，根据所述训练语音各帧的语音特征向量，确定充分统计量。

训练语音的语音特征向量可由训练语音各帧的语音特征向量构成，且训练语音各帧的语音特征向量可集合形成训练语音的语音特征向量序列；

可选的，设第i条训练语音的语音特征向量序列为其中，表示该第i条训练语音的第t帧语音特征向量；

则基于k阶的gmm模型可根据如下公式确定充分统计量：

表示0阶充分统计量，表示第t帧语音特征向量对第k阶的占有率；

表示1阶充分统计量；

其中，k阶的gmm模型可表示为小写k表示gmm模型的阶数，w表示权重，m表示均值，大写k表示协方差。

步骤s210、根据所述充分统计量确定总变化空间矩阵。

在确定充分统计量后，可基于充分统计量确定i-vector提取算法中所使用的总变化空间矩阵(设为t)；可选的，可使用em(expectationmaximization，期望最大化)算法，根据所述充分统计量迭代求解出总变化空间矩阵。em算法可以认为是一种以迭代的方式来解决一类特殊最大似然(maximumlikelihood)问题的方法。

步骤s220、根据所述总变化空间矩阵，确定所述训练语音相应的i-vector。

在得到总变化空间矩阵后，可根据总变化空间矩阵，0阶充分统计量构成的对角块矩阵，1阶充分统计量拼接的结果计算得到训练语音相应的i-vector；

可选的，确定i-vector所使用的公式可以如下：

其中i表示单位矩阵，t(加粗)表示总变化空间矩阵，t(不加粗)表示标量值，表示对角块矩阵，对角块矩阵的对角块成分为由拼接而成，σ表示对角阵，对角阵的对角线元素由gmm模型中各个混合数的对角协方差矩阵的元素组成。

可选的，在得到i-vector后，其后验协方差可表示为可以看出在语音时长越短时长，所对应的0阶统计量的值就越小，此时后验协方差就越大，所估计的i-vector就越不可靠；这表明了i-vector的可靠性对于语音的时长具有较高的要求，在短语音等情况下，极易导致i-vector的不可靠。

本发明实施例在得到训练语音相应的i-vector后，可以i-vector为第一目标输出，进行dnn等形式的神经网络模型的权重调整，实现神经网络模型的首次训练，得到第一神经网络模型；再基于第一神经网络模型，以身份因子隐变量的后验均值为第二目标输出，对第一神经网络模型进行权重调整，得到语音身份特征提取器；

可选的，本发明实施例使用的神经网络模型可以是dnn模型、cnn模型等，即训练得到第一神经网络模型所使用的神经网络模型可以为dnn模型、cnn模型等，相应的，第一神经网络模型也可以是dnn模型、cnn模型等。

需要说明的是，dnn模型是一种深度学习框架模型，dnn模型的结构主要包括：一层输入层，多层隐层和一层输出层；一般而言，dnn模型的第一层是输入层，最后一层是输出层，而中间则是多层的隐层，并且dnn模型的层与层之间是全连接的；

可选的，以dnn模型为例，在以i-vector为第一目标输出，调整dnn模型的权重(即参数)，得到第一dnn模型(第一神经网络模型的一种形式)的过程中，本发明实施例可利用误差反向传播算法等方式(当然也可使用dnn模型权重调整的其他方式)，调整dnn模型的权重，使得调整后的dnn模型的输出趋于第一目标输出，得到第一dnn模型；这个过程所调整的dnn模型的权重主要包括：连接dnn模型各层之间的线性变换的权重(如连接输入层和隐层之间、连接各隐层之间、连接隐层和输出层之间的线性变换的权重)；

相应的，在以身份因子隐变量的后验均值为第二目标输出，调整第一dnn模型的权重，得到语音身份特征提取器的过程中，本发明实施例也可利用误差反向传播算法等方式，调整第一dnn模型的权重，使得调整后的第一dnn模型的输出趋于第二目标输出，得到语音身份特征提取器；这个过程中所调整的第一dnn模型的权重也可包括：连接dnn模型各层之间的线性变换的权重。

以cnn模型为例，cnn模型的结构主要包括输入层，卷积层，池化层和全连接层，其中卷积层和池化层可以具有多层；可选的，在以i-vector为第一目标输出，调整cnn模型的权重(即参数)，得到第一cnn模型(第一神经网络模型的一种形式)的过程中，本发明实施例可利用误差反向传播算法等方式(当然也可使用cnn模型权重调整的其他方式)，调整cnn模型的权重，使得调整后的cnn模型的输出趋于第一目标输出，得到第一cnn模型；这个过程所调整的cnn模型的权重可以包括：卷积层的偏置矩阵，全连接层的权重矩阵，全连接层的偏置向量等cnn模型的模型参数中的元素；

相应的，在以身份因子隐变量的后验均值为第二目标输出，调整第一cnn模型的权重，得到语音身份特征提取器的过程中，本发明实施例也可利用误差反向传播算法等方式，调整第一cnn模型的权重，使得调整后的第一cnn模型的输出趋于第二目标输出，得到语音身份特征提取器；这个过程中所调整的第一cnn模型的权重也可包括：卷积层的初始偏置矩阵，全连接层的初始权重矩阵，全连接层的初始偏置向量等cnn模型的模型参数中的元素。

显然，上述神经网络模型的结构和权重调整手段仅是可选的，在限定神经网络模型的输入和目标输出的情况下，本发明实施例可应用任何使得神经网络模型的输出趋于目标输出的权重调整手段；神经网络模型的权重调整可以是迭代调整过程，通过迭代的调整神经网络模型的权重，使得神经网络模型的输出趋于目标输出。

可选的，在一种可选实现上，本发明实施例可先以分层初始化方法对神经网络模型进行初始化，得到如图4所示神经网络模型结构，在此基础上进行第一神经网络模型的训练得到；

以dnn形式的神经网络模型为例，图5示出了训练得到第一神经网络模型的方法流程，参照图5，该方法可以包括：

步骤s300、以分层初始化方法初始化dnn模型。

步骤ss310、拼接训练语音相邻的设定数量帧的语音特征向量，得到输入语音特征向量。

步骤s320、以所述输入语音特征向量作为dnn模型的输入，所述i-vector作为dnn模型的第一目标输出，dnn模型每次输出和第一目标输出之间的均方误差为损失函数，对dnn模型的权重进行调整，得到第一dnn模型。

可选的，作为示例，如图6所示，本发明实施例可拼接训练语音相邻9帧的语音特征向量作为dnn模型的输入，通过dnn模型每次输出的结果与第一目标输出间的均方误差为损失函数，迭代调整dnn模型的权重，直至dnn模型的输出趋于第一目标输出，达到训练收敛条件，得到第一dnn模型。

在完成第一神经网络模型的训练后，可基于目标检测语音实现身份因子隐变量的确定；可选的，可计算目标检测语音的语音特征向量相应的第一神经网络模型的输出结果，如假设针对第s个说话人的第i条语音的语音特征向量，可计算出第一神经网络模型相应的输出结果；然后确定输出结果的均值(设为vsi)，以该均值为训练数据进行snr-invariantplda(信噪比不变概率线性区分分析)模型的训练，在训练过程中可计算得到身份因子隐变量；

可选的，训练snr-invariantplda模型可根据如下公式实现：

其中，b表示目标检测语音相应的信噪比区间，m表示均值，r表示说话人信息空间，u表示信噪比空间，hi表示身份因子隐变量，gb表示信噪比因子，表示残差项。

在训练snr-invariantplda模型的过程中，确定身份因子隐变量后，可估计身份因子隐变量的后验均值，该后验均值包含了更紧凑的说话人信息，可以此作为目标输出对第一神经网络模型进行权重调整，训练得到f-vector提取器(即第一神经网络模型以该后验均值为目标输出进行训练，训练收敛后的模型结果即为得到的f-vector提取器)。

可选的，以dnn形式的神经网络模型为例，图7示出了基于第一神经网络模型，训练得到语音身份特征提取器(f-vector提取器)的方法流程，参照图7，该方法可以包括：

步骤s400、根据目标检测语音的语音特征向量，确定第一dnn模型的输入。

可选的，可拼接目标检测语音相邻的设定数量帧的语音特征向量，得到第一dnn模型的输入。

步骤s410、以身份因子隐变量的后验均值为第一dnn模型的第二目标输出，第一dnn模型每次输出和第二目标输出之间的均方误差为损失函数，对第一dnn模型进行调整，得到语音身份特征提取器。

可选的，作为示例，如图8所示，本发明实施例可拼接目标检测语音相邻设定数量帧的语音特征向量作为第一dnn模型的输入，通过第一dnn模型每次输出的结果与第二目标输出间的均方误差为损失函数，迭代调整第一dnn模型的权重，直至第一dnn模型的输出趋于第二目标输出，达到训练收敛条件，得到语音身份特征提取器(f-vector提取器)。

可选的，在以分层初始化方法初始化dnn模型的基础，f-vector提取器的训练过程可以如图9所示，可进行参照；其中，w1表示i-vector的第一个维度，wn是i-vector的第n个维度。

本发明实施例提供的训练方法，基于神经网络模型，以包含更紧凑的说话人信息，具有高可靠性的身份因子隐变量的后验均值为目标，训练得到新型的语音身份特征提取器，可实现高可靠性的新型的语音身份特征的提取，为后续基于语音身份特征所进行的说话人身份识别提供了更高的准确性保障。

在上述训练得到语音身份特征提取器的基础上，本发明实施例可基于语音身份特征提取器，实现辨认不同说话人的分类器的训练，该分类器可基于预定说话人(如需注册的说话人)的语音实现训练。

可选的，图10示出了本发明实施例提供的分类器训练方法流程图，参照图10，该方法可以包括：

步骤s500、获取目标说话人的目标检测语音。

本发明实施例对于目标检测语音的要求较低，目标检测语音的时长可以是任意的。目标说话人的目标检测语音可以是需注册的合法说话人的语音，本发明实施例可基于说话人确认场景(一对一的身份确认问题)，针对目标说话人，实现分类器的训练；后续可通过训练得到的分类器辨认该目标说话人的语音，实现精度更高的说话人确认。

步骤s510、提取所述目标检测语音的语音特征向量。

可选的，本发明实施例可提取所述目标检测语音的mfcc特征。

步骤s520、调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征。

在基于前文所述的，以身份因子隐变量为目标输出训练语音身份特征提取器，训练得到语音身份特征提取器(f-vector提取器)的基础上，本发明实施例可将目标检测语音的语音特征向量作为f-vector提取器的输入，f-vector提取器可相应输出语音身份特征(f-vector)；

如针对说话人s的第i条语音，可提取其mfcc特征后作为f-vector提取器的输入，得到相应的f-vector。

步骤s530、根据所述语音身份特征训练分类器。

在得到语音身份特征后，可确定语音身份特征的均值，以该均值训练得到分类器。

可选的，本发明实施例训练得到的分类器可用于与文本无关的说话人确认场景；前文已述，基于语音的说话人身份识别可分为说话人辨认(speakeridentification)和说话人确认(speakerverification)两类；而在对语音的要求方面，基于语音的说话人身份识别又可分为与文本相关(text-dependent)和与文本无关(text-independent)两类；与文本相关表示的是说话人说出的待测语音需与注册语音具有相同的语义，应用于说话人比较配合的场所，与文本无法表示的是可不关注语音中的语义内容，限制因素较少，应用更灵活广泛。

需与说明的是，文本无关的说话人身份识别由于对于语音的语义内容不受限制，因此通常情况下在训练和测试阶段会出现语音失配的现象，为了获得较好的识别性能，往往需要大量的训练语音；而本发明实施例提供的分类器，是基于新型的对于语音要求较低的语音身份特征训练得到，因此可极大的降低分类器的识别准确性随着语音的时长变短而下降的情况，为实现较为准确的说话人身份识别提供了可能。

可选的，本发明实施例提供的分类器可以是plda(概率线性区分分析)分类器，一种可选的根据语音身份特征训练分类器的过程可以如图11所示，包括：

步骤600、确定所述语音身份特征的均值。

假设对来自说话人l的第i条语音提取了语音身份特征后，可确定语音身份特征的均值ysi。

步骤s610、对所述语音身份特征的均值进行类内协方差规整处理及l2范数规整处理，得到处理后的特征，以处理后的特征训练分类器。

可选的，在对语音身份特征的均值yli进行类内协方差规整处理及l2范数规整处理后，处理后的特征可作为训练数据训练得出plda分类器。

可选的，为将将非参数区分分析算法有效地嵌入到plda分类器中，提升plda分类器的训练精度，本发明实施例可提供的plda分类器，可基于下述两种类型的协方差矩阵(即下述的类内协方差矩阵和非参数类间协方差矩阵)的非参数plda模型：

(1)类内协方差矩阵，其计算方式可以如下：

其中，s(大写)表示说话人数目，s(小写)表示第s个说话人，hs表示第s个说话人的语音条数，us为第s个说话人的的均值。

(2)非参数类间协方差矩阵，可采用如下公式计算：

其中，表示来自说明人k的特征中与特征ysi最近邻的第q个特征，q为近邻特征的总数，mk(ysi)代表q个近邻特征的均值，g(s,k,i)代表一个权重函数，定义如下：

其中，指数参数α是对距离度量函数d(y1，y2)的加权调节，d(y1，y2)是指特征y1和y2之间的欧式距离度量，参数q的取值一般设为每个说话人所有的总的语音条数的均值，权重函数g(s,k,i)评定了投影后的特征ysi与局部说话人之间的类别边界的接近程度，从而决定着该特征ysi对非参数类间散度矩阵φb的贡献度。如果特征ysi接近类别边界的话，权重函数g(s,k,i)取最大值0.5，如果特征ysi远离类别边界的话权重函数g(s,k,i)的值随之变小。

上文公式中的特征指的是语音身份特征。

在取得类内协方差矩阵和非参数类间协方差矩阵后，本发明实施例可将plda分类器得分函数中的类内变换矩阵替换为类内协方差矩阵，类间变换矩阵替换为该非参数类间协方差矩阵，具体的对于给定的已注册的第一语音身份特征提取器y1，和第二语音身份特征提取器y2，省略常数项，则plda分类器的得分(得分表示了plda分类器的准确性)计算可如下式实现：

score(y1,y2)＝(y1-μ)^tφw(y1-μ)+2(y1-μ)^tφb(y2-μ)+(y2-μ)^tφw(y2-μ)

其中，u为总体均值，即f-vector训练集的均值。

在训练得到分类器后，本发明实施例可基于给分类器实现目标说话人的语音和其他说话人的语音的辨认，实现精度更高的说话人确认。在进行说话人的身份识别时，本发明实施例可提取当前说话人的语音特征向量，使用本发明实施例提供的语音身份特征提取器，基于当前说话人的语音特征向量提取出相应的语音身份特征，将该语音身份特征输入针对目标说话人训练的分类器，通过分类器的输出结果，辨认当前说话人是否为目标说话人，实现当前说话人的身份辨认。

可选的，本发明实施例训练提取器和分类器的简化过程可如图12所示：将训练语音对应的i-vector作为dnn模型的监督信息，建立语音特征向量到i-vector特征空间的映射，提取出i-vector，以i-vector为目标对dnn模型进行训练；后续为了获得更为紧凑的说话人信息，在snr-invariantplda建模过程中确定身份因子隐变量，基于身份因子隐变量的监督信息再次对dnn模型进行微调，得到最终的f-vector提取器；进而以f-vector提取器提取语音的f-vector，基于f-vector实现用于说话人身份识别的plda分类器。

下面对本发明实施例提供的语音身份特征提取器训练装置进行介绍，下文描述的语音身份特征提取器训练装置可以认为是电子和设备(电子设备的形式如服务器或终端等)为实现本发明实施例提供的语音身份特征提取器训练方法，所需设置的程序模块。下文描述的语音身份特征提取器训练装置可与上文描述的语音身份特征提取器训练方法相互对应参照。

图13为本发明实施例提供的语音身份特征提取器训练装置的结构框图，参照图13，该语音身份特征提取器训练装置可以包括：

语音特征向量第一提取模块100，用于提取训练语音的语音特征向量；

身份因子确定模块110，用于根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；

第一训练模块120，用于以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；

第一结果确定模块130，用于获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果；

隐变量确定模块140，用于根据所述输出结果，确定身份因子隐变量；

第二训练模块150，用于估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

可选的，第一训练模块120，用于以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型，具体包括：

根据所述训练语音的语音特征向量确定输入语音特征向量；

以所述输入语音特征向量作为神经网络模型的输入，所述i-vector作为神经网络模型的第一目标输出，神经网络模型的每次输出和第一目标输出之间的均方误差作为损失函数，对神经网络模型的权重进行调整，得到第一神经网络模型。

可选的，所述第一训练模块120，用于根据所述训练语音的语音特征向量确定输入语音特征向量，具体包括：

拼接训练语音相邻的设定数量帧的语音特征向量，得到输入语音特征向量。

可选的，图14示出了本发明实施例提供的语音身份特征提取器训练装置的另一结构框图，结合图13和图14所示，该语音身份特征提取器训练装置还可以包括：

模型初始化模块160，用于以分层初始化方法初始化神经网络模型。

可选的，模型初始化模块160以分层初始化方法初始化神经网络模型，可在对神经网络模型的权重进行调整之前；相应的，第一训练模块120可在初始后的神经网络模型的基础上进行功能实现。

可选的，隐变量确定模块140，用于根据所述输出结果，确定身份因子隐变量，具体包括：

确定所述输出结果的均值，以该均值训练信噪比不变snr-invariantplda模型，在训练过程中计算得到身份因子隐变量。

可选的，隐变量确定模块140，用于在训练过程中计算得到身份因子隐变量，具体包括：

根据公式计算得到身份因子隐变量hi；

其中，vsi表示第一神经网络模型对第s个说话人的第i条语音的语音特征向量的输出结果的均值，b表示目标检测语音相应的信噪比区间，m表示均值，r表示说话人信息空间，u表示信噪比空间，gb表示信噪比因子，表示残差项。

可选的，第二训练模块150，用于以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器，具体包括：

拼接目标检测语音相邻设定数量帧的语音特征向量作为第一神经网络模型的输入，以身份因子隐变量的后验均值为第一神经网络模型的第二目标输出，第一神经网络模型每次输出和第二目标输出之间的均方误差为损失函数，对第一神经网络模型进行调整，得到语音身份特征提取器。

可选的，身份因子确定模块110，用于根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector，具体包括：

基于gmm模型，根据所述训练语音各帧的语音特征向量，确定充分统计量；

根据所述充分统计量确定总变化空间矩阵；根据所述总变化空间矩阵，确定所述训练语音相应的i-vector。

本发明实施例还提供一种电子设备，上述描述的语音身份特征提取器训练装置可通过程序形式装载于电子设备内，图15示出了电子设备的硬件结构，参照图15，该电子设备可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本发明实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

可选的，处理器1可能是一个中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器3可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

其中，存储器存储有可执行的程序，该程序可被处理器调用执行，该程序可用于：

提取训练语音的语音特征向量；

根据所述训练语音的语音特征向量，确定所述训练语音相应的i-vector；

以所述i-vector作为神经网络模型的第一目标输出，对神经网络模型的权重进行调整，得到第一神经网络模型；

获取目标检测语音的语音特征向量，确定所述第一神经网络模型对所述目标检测语音的语音特征向量的输出结果；

根据所述输出结果，确定身份因子隐变量；

估计身份因子隐变量的后验均值，以所述后验均值作为所述第一神经网络模型的第二目标输出，调整所述第一神经网络模型的权重，得到语音身份特征提取器。

可选的，该程序的功能细化和扩展功能可参照上文相应部分的描述，如参照语音身份特征提取器训练方法部分的描述。

本发明实施例还提供一种分类器训练装置，下文描述的分类器训练装置可以认为是电子和设备(电子设备的形式如服务器或终端等)为实现本发明实施例提供的分类器训练方法，所需设置的程序模块。下文描述的分类器训练装置可与上文描述的分类器训练方法相互对应参照。

图16为本发明实施例提供的分类器训练装置的结构框图，参照图16，该分类器训练装置可以包括：

目标检测语音获取模块200，用于获取目标说话人的目标检测语音；

语音特征向量第二提取模块210，用于提取所述目标检测语音的语音特征向量；

语音身份特征提取模块220，用于调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征；其中，所述语音身份特征提取器以身份因子隐变量为目标输出训练得到；

训练模块230，用于根据所述语音身份特征训练分类器。

可选的，训练模块230，用于根据所述语音身份特征训练分类器，具体包括：

确定所述语音身份特征的均值；对所述语音身份特征的均值进行类内协方差规整处理及l2范数规整处理，得到处理后的特征，以处理后的特征训练分类器。

可选的，在本发明实施例中，分类器可基于plda模型，相应的，所述分类器可以为plda分类器；为提升分类器的精度，所述plda分类器的得分函数中的类内变换矩阵可被替换为类内协方差矩阵，类间变换矩阵可被替换为该非参数类间协方差矩阵。

可选的，分类器训练装置可通过程序形式装载于电子设备内，该电子设备的结构可参照图15所示，包括：至少一个存储器；所述存储器存储有可执行的程序，该程序可具体用于：

获取目标说话人的目标检测语音；

提取所述目标检测语音的语音特征向量；

调用预训练的语音身份特征提取器，将所述目标检测语音的语音特征向量输入语音身份特征提取器，得到相应的语音身份特征；其中，所述语音身份特征提取器以身份因子隐变量为目标输出训练得到；

根据所述语音身份特征训练分类器。

本发明实施例可实现新型的语音身份特征提取器的训练，通过训练得到的语音身份特征提取器，可实现高可靠性的新型的语音身份特征的提取；进而可基于该新型的语音身份特征，实现精度更高的分类器训练，基于训练得到的分类器可提升说话人身份识别的准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。