声纹确认模型训练方法、装置、电子设备和存储介质与流程

1.本技术实施例涉及计算机技术领域，尤其涉及声纹确认模型训练方法、装置、电子设备和存储介质。


背景技术：

2.随着人工智能与深度神经网络的快速发展以及相关技术应用的兴起，智能语音技术已逐渐被应用到人们的日常生活中。说话人确认指的是判断目标语音所包含的声纹特征与在注册阶段所保存的声纹特征是否来自同一目标说话人。说话人确认不仅广泛的应用于门禁系统、移动支付等生活安全领域，在维护国家安全方面也扮演着很重要的角色，例如在执行司法鉴定的时候，可根据嫌疑人提供的语音数据与犯罪现场的电话录音进行比对来判断嫌疑人是否犯罪。因此，高效且精确的说话人识别方法具有重大的基础科学意义以及广泛的实用价值。
3.虽然目前的声纹确认的技术已趋近成熟，但是当前的说话人识别仍旧存在着数据，技术等方面的难点。例如，对于任意的一段音频片段，由于缺乏关于该音频片段中所包含事件的先验知识，所以确认不同场景中的语音的身份会受到噪声，说话人的身体情况以及情感变化等方面的影响，即在一些特定场景中声纹确认模型的准确性会降低。


技术实现要素：

4.本技术实施例提出了声纹确认模型训练方法、装置、电子设备和存储介质。
5.第一方面，本技术的一些实施例提供了一种声纹确认模型训练方法，该方法包括：获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型。
6.在一些实施例中，第一声纹确认模型与第二声纹确认模型的初始参数通过以下步骤确定：混合特定场景音频数据集与混合场景音频数据集；从混合后的数据集中随机选取训练数据；通过选取的训练数据训练第三声纹确认模型；根据第三声纹确认模型的参数对第一声纹确认模型与第二声纹确认模型进行参数初始化。
7.在一些实施例中，通过选取的训练数据训练第三声纹确认模型，包括：将选取的训练数据训练分别输入第三声纹确认模型与第四声纹确认模型；根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值；根据第二损失值调整第三声纹确认模型与第四声纹确认模型。
8.在一些实施例中，根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值，包括：根据第三声纹确认模型与第四声纹确认模型特征学习
网络的输出确定第三声纹确认模型与第四声纹确认模型提取的声纹特征表示之间的第一一致性损失；根据第三声纹确认模型分类器的输出与输入第三声纹确认模型的训练数据关联的说话人标签，确定第三声纹确认模型的第一分类损失；根据第四声纹确认模型分类器的输出与输入第四声纹确认模型的训练数据关联的说话人标签，确定第四声纹确认模型的第二分类损失；根据第一一致性损失、第一分类损失与第二分类损失确定第二损失值。
9.在一些实施例中，根据第一一致性损失、第一分类损失与第二分类损失确定第二损失值，包括：根据预先设置的权重加权第一一致性损失、第一分类损失与第二分类损失得到第二损失值，在一些实施例中，第一一致性损失的权重根据当前训练的轮数与总训练轮数确定。
10.在一些实施例中，与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征，经由以下步骤确定：对与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据进行预处理；对预处理后的音频数据进行语音分析并进行类中心提取，得到与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征。
11.在一些实施例中，根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值，包括：根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹确认模型提取的声纹特征表示之间的第二一致性损失；根据第一声纹确认模型分类器的输出以及与第一声纹确认模型的输入关联的说话人标签，确定第一声纹确认模型的第三分类损失；根据第二声纹确认模型分类器的输出以及与第二声纹确认模型的输入关联的说话人标签，确定第二声纹确认模型的第四分类损失；根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值。
12.在一些实施例中，根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值，包括：根据预先设置的权重加权第二一致性损失、第三分类损失与第四分类损失，在一些实施例中，第二一致性损失的权重根据当前训练的轮数与总训练轮数确定。
13.在一些实施例中，第一声纹确认模型与第二声纹确认模型的特征学习网络包括预设数目级压缩扩张残差模块，压缩扩张残差模块包括一维卷积层以及与一维卷积层相匹配的残差压缩扩张连接层，以及根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹确认模型提取的声纹特征表示之间的第二一致性损失，包括：根据预先设置的权重加权第一声纹确认模型与第二声纹确认模型各级压缩扩张残差模块的残差压缩扩张连接层输出的声纹特征表示之间差异得到第二一致性损失。
14.第二方面，本技术的一些实施例提供了一种声纹确认模型训练装置，该装置包括：获取单元，被配置成获取混合场景音频数据集与特定场景音频数据集；第一输入单元，被配置成将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；第二输入单元，被配置成将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；第一确定单元，被配置成根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；调整单元，被配置成根据第一损失值调整第一声纹确认模型与第二声纹确认模型；第二确定单元，被配置成将调整完成的第一声纹确认模型确定为目标声纹确认模型。
15.在一些实施例中，装置还包括初始参数确定单元，初始参数确定单元被配置成：混
合特定场景音频数据集与混合场景音频数据集；从混合后的数据集中随机选取训练数据；通过选取的训练数据训练第三声纹确认模型；根据第三声纹确认模型的参数对第一声纹确认模型与第二声纹确认模型进行参数初始化。
16.在一些实施例中，初始参数确定单元进一步被配置成：将选取的训练数据训练分别输入第三声纹确认模型与第四声纹确认模型；根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值；根据第二损失值调整第三声纹确认模型与第四声纹确认模型。
17.在一些实施例中，初始参数确定单元进一步被配置成：根据第三声纹确认模型与第四声纹确认模型特征学习网络的输出确定第三声纹确认模型与第四声纹确认模型提取的声纹特征表示之间的第一一致性损失；根据第三声纹确认模型分类器的输出与输入第三声纹确认模型的训练数据关联的说话人标签，确定第三声纹确认模型的第一分类损失；根据第四声纹确认模型分类器的输出与输入第四声纹确认模型的训练数据关联的说话人标签，确定第四声纹确认模型的第二分类损失；根据第一一致性损失、第一分类损失与第二分类损失确定第二损失值。
18.在一些实施例中，初始参数确定单元进一步被配置成：根据预先设置的权重加权第一一致性损失、第一分类损失与第二分类损失得到第二损失值，在一些实施例中，第一一致性损失的权重根据当前训练的轮数与总训练轮数确定。
19.在一些实施例中，第二输入单元，进一步被配置成：对与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据进行预处理；对预处理后的音频数据进行语音分析并进行类中心提取，得到与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征。
20.在一些实施例中，第一确定单元，进一步被配置成：根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹确认模型提取的声纹特征表示之间的第二一致性损失；根据第一声纹确认模型分类器的输出以及与第一声纹确认模型的输入关联的说话人标签，确定第一声纹确认模型的第三分类损失；根据第二声纹确认模型分类器的输出以及与第二声纹确认模型的输入关联的说话人标签，确定第二声纹确认模型的第四分类损失；根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值。
21.在一些实施例中，第一确定单元，进一步被配置成：根据预先设置的权重加权第二一致性损失、第三分类损失与第四分类损失，在一些实施例中，第二一致性损失的权重根据当前训练的轮数与总训练轮数确定。
22.在一些实施例中，第一声纹确认模型与第二声纹确认模型的特征学习网络包括预设数目级压缩扩张残差模块，压缩扩张残差模块包括一维卷积层以及与一维卷积层相匹配的残差压缩扩张连接层，以及第一确定单元，进一步被配置成：根据预先设置的权重加权第一声纹确认模型与第二声纹确认模型各级压缩扩张残差模块的残差压缩扩张连接层输出的声纹特征表示之间差异得到第二一致性损失。
23.第三方面，本技术的一些实施例提供了一种设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行，使得上述一个或多个处理器实现如第一方面上述的方法。
24.第四方面，本技术的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面上述的方法。
25.本技术实施例提供的声纹确认模型训练方法、装置、电子设备和存储介质，通过获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型，提供了一种基于混合场景音频数据集与特定场景音频数据集的声纹确认模型训练机制，提高了特定场景中声纹确认模型的准确性。
附图说明
26.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
27.图1是本技术的一些可以应用于其中的示例性系统架构图；
28.图2是根据本技术的声纹确认模型训练方法的一个可选实施方式中声纹确认模型训练的流程图；
29.图3是根据本技术的声纹确认模型训练方法的一个实施例的流程图；
30.图4是根据本技术的声纹确认模型训练方法的一个可选实施方式中压缩扩张残差模块的内部结构示意图；
31.图5是根据本技术的声纹确认模型训练装置的一个实施例的结构示意图；
32.图6是适于用来实现本技术的一些实施例的服务器或终端的计算机系统的结构示意图。
具体实施方式
33.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
34.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
35.图1示出了可以应用本技术的声纹确认模型训练方法或声纹确认模型训练装置的实施例的示例性系统架构100。
36.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
37.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如声纹确认类应用、智能音箱类应用、物联网类应用、搜索类应用等。
38.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬
件时，可以是各种电子设备，包括但不限于智能音箱、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
39.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上安装的应用提供支持的后台服务器，服务器105可以获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型。
40.需要说明的是，本技术实施例所提供的声纹确认模型训练方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，声纹确认模型训练装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
41.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
42.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
43.继续参考图2，示出了根据本技术的声纹确认模型训练方法的一个实施例的流程200。该声纹确认模型训练方法，包括以下步骤：
44.步骤201，获取混合场景音频数据集与特定场景音频数据集。
45.在本实施例中，声纹确认模型训练方法执行主体(例如图1所示的服务器或终端)可以首先获取混合场景音频数据集与特定场景音频数据集。混合场景音频数据集可以是包含多种场景的音频数据的数据集，特定场景音频数据集可以是包含单一场景的音频数据的数据集，例如，影视作品音频数据的数据集或驾驶场景中音频数据的数据集。
46.作为示例，可以选择人类语音的大规模视听数据集(voxceleb)第1版或第2版作为混合场景音频数据集，voxceleb2数据集中包括5994个说话人的语音可以用于训练，所包含语音超过2000小时，包含各种行业，种族的说话人，主要语音是英语内容，说话人的情感波动偏向于比较平静的情绪以及比较多的偏向于演讲内容的说话场景。语音内容均是连续说话，去除了无语音内容的部分。每条语音长度在2-20秒之间，多数语音长度在3-6秒。每个说话人都有超过20条语音用于训练。特定场景音频数据集可以选择影视作品音频数据集(voxmovies)，该数据集相较于voxceleb2数据集，只包含371名说话人用于训练，但这些说话人均存在于voxceleb2数据集中，但voxmovies数据集里每个说话人所包含的语音数量集中在10条左右，语音数量最少的说话人可能只有1-2条语音。并且voxmovies语音来自于目标说话人在影视作品中的语音截取，所包含的说话场景以及说话人的情绪变化也比较多变，并且很多语音说话人为了适应影视作品的情景，会刻意改变自己说话的音调以及说话方式，带有强烈的表演性质。
47.步骤202，将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型。
48.在本实施例中，上述执行主体可以将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型。特征输入时，可以采用小批量(mini-batch)的输入方式，例如，设置小批量(mini-batch)为32。可以使用梅尔频率倒谱系数作为声学特征，首先可以对音频数据进行预处理操作(预加重、分帧、加窗)，以保证后续的梅尔频率倒谱系数提取过程的顺利性，接着对每一帧信号进行傅里叶变换，然后将此时的频域特征通过一组梅尔频率滤波器频段的能量值进行叠加，得到数值表示该频带的特征值，最后进行取对数操作。作为示例，输入特征是80维的梅尔频率倒谱系数，可以使用25ms窗口与10ms帧移。
49.步骤203，将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型。
50.在本实施例中，上述执行主体可以将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型。第一声纹确认模型与第二声纹确认模型的初始参数也可以通过随机设置或经验设置，还可以通过指导学习从其他模型学习。与步骤201中相似，特征输入时，可以采用小批量(mini-batch)的输入方式，例如，设置小批量(mini-batch)为32，此外，可以使用梅尔频率倒谱系数作为声学特征。为了使得送入第一声纹确认模型与第二声纹确认模型的每个小批量(mini-batch)中所包含相对平衡的数据分布，在数据采样过程中对两种不同类型的数据按比例选取，即混合场景音频数据集与特定场景音频数据集中的音频数据比例可以为1:1，且说话人身份标签一致。
51.在本实施例的一些可选实现方式中，第一声纹确认模型与第二声纹确认模型的初始参数通过以下步骤确定：混合特定场景音频数据集与混合场景音频数据集；从混合后的数据集中随机选取训练数据；通过选取的训练数据训练第三声纹确认模型；根据第三声纹确认模型的参数对第一声纹确认模型与第二声纹确认模型进行参数初始化。由于特定场景音频数据集中的音频数据通常少于混合场景音频数据集，二者的分布是不平衡的，在训练第三声纹确认模型时，使用混合数据的方式，在训练第一声纹确认模型与第二声纹确认模型时才会选择比较平衡的数据组成，这样设置有利于加快模型收敛，提高训练速度。
52.在本实施例的一些可选实现方式中，通过选取的训练数据训练第三声纹确认模型，包括：将选取的训练数据训练分别输入第三声纹确认模型与第四声纹确认模型；根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值；根据第二损失值调整第三声纹确认模型与第四声纹确认模型。第三声纹确认模型与第四声纹确认模型的结构可以与第一声纹确认模型与第二声纹确认模型相同或相近。
53.在本实施例的一些可选实现方式中，根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值，包括：根据第三声纹确认模型与第四声纹确认模型特征学习网络的输出确定第三声纹确认模型与第四声纹确认模型提取的声纹特征表示之间的第一一致性损失；根据第三声纹确认模型分类器的输出与输入第三声纹确认模型的训练数据关联的说话人标签，确定第三声纹确认模型的第一分类损失；根据第四声纹确认模型分类器的输出与输入第四声纹确认模型的训练数据关联的说话人标签，确定第四声纹确认模型的第二分类损失；根据第一一致性损失、第一分类损失与第二分类损失确
定第二损失值。通过一致性损失，实现了指导学习(learn-guided)，将第四声纹确认模型，即教师模型所学习的特征信息蒸馏到第三声纹确认模型，即学生模型中。
54.在本实施例的一些可选实现方式中，根据第一一致性损失、第一分类损失与第二分类损失确定第二损失值，包括：根据预先设置的权重加权第一一致性损失、第一分类损失与第二分类损失得到第二损失值，在本实施例的一些可选实现方式中，第一一致性损失的权重根据当前训练的轮数与总训练轮数确定。
55.作为示例，确定损失值时，可以使用交叉熵损失函数作为惩罚，同时计算三声纹确认模型与第四声纹确认模型之间的加权一致性损失，可以通过以下公式计算第二损失值l
all
：
56.l
all
＝l
t-aam
+l
s-aam
+αl
mse
57.其中，l
t-aam
和l
s-aam
分别是老师模型与学生模型的分类损失函数，即第二分类损失与第一分类损失，l
mse
则是相同语音通过两个模型提取的声纹特征表示之间的差异，即第一一致性损失。l
t-aam
与l
s-aam
一样都是附加角裕度的损失函数(additive angular margin loss，aam-softmax，aam-softmax)，可以通过以下公式计算：
[0058][0059]
其中，n可以是训练数据中的说话人的个数，为了归一化权重和特征，提出一个尺度s，为了增加特征的判别性，需要设计一个距离m，用于添加的角度距离m等同于分类超球面的测地距离。
[0060]
在每次迭代训练过程中，通过最小化教师模型与学生模型之间的一致性损失函数，可以使得学生模型与教师模型的预测结果输出特征趋于一致性。一致性损失l
mse
可以使用均方误差通过以下公式计算：
[0061][0062]
其中，ys和ys分别来自老师模型和学生模型，即第四声纹确认模型和第三声纹确认模型的说话人语音特征表示，通过计算两个模型输出的特征差异，可以将教师模型所学习的特征信息蒸馏到学生模型中。
[0063]
在常规指导学习中，指导型声学事件检测模型训练使用前三部分的损失函数作为模型惩罚项，最后一个损失函数通常在学生模型，即第三声纹确认模型，变得相对稳定时添加，在这里可以设计自适应参数α来控制微调的程度，其计算方式可以为：
[0064][0065]
其中，x可以根据当前训练的轮数与总训练轮数确定。
[0066]
在本实施例的一些可选实现方式中，与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征，经由以下步骤确定：对与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据进行预处理；对预处理后的音频数据进行语音分析并进行类中心提取，得到与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征。由于特定场景音频数据集中的音频数据通常少于混合场景音频数据集，所以，可
以对预处理后的音频数据进行语音分析并进行类中心提取，以取得更好的训练效果。
[0067]
步骤204，根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值。
[0068]
在本实施例中，上述执行主体可以根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值。
[0069]
在本实施例的一些可选实现方式中，根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值，包括：根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹确认模型提取的声纹特征表示之间的第二一致性损失；根据第一声纹确认模型分类器的输出以及与第一声纹确认模型的输入关联的说话人标签，确定第一声纹确认模型的第三分类损失；根据第二声纹确认模型分类器的输出以及与第二声纹确认模型的输入关联的说话人标签，确定第二声纹确认模型的第四分类损失；根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值。
[0070]
在本实施例的一些可选实现方式中，根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值，包括：根据预先设置的权重加权第二一致性损失、第三分类损失与第四分类损失，在本实施例的一些可选实现方式中，第二一致性损失的权重根据当前训练的轮数与总训练轮数确定。
[0071]
在本实施例的一些可选实现方式中，第一声纹确认模型与第二声纹确认模型的特征学习网络包括预设数目级压缩扩张残差模块，压缩扩张残差模块包括一维卷积层以及与一维卷积层相匹配的残差压缩扩张连接层，以及根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹确认模型提取的声纹特征表示之间的第二一致性损失，包括：根据预先设置的权重加权第一声纹确认模型与第二声纹确认模型各级压缩扩张残差模块的残差压缩扩张连接层输出的声纹特征表示之间差异得到第二一致性损失。第一声纹确认模型与第二声纹确认模型中压缩扩张残差块的数量保持一致，这样可以联系第二声纹确认模型，即老师模型，与第一声纹确认模型，即学生模型的各个压缩扩张残差块输出特征的差异性。基于指导型的学习方式使得模型能充分学习不同数据类型中所包含的特征信息，同时将教师模型所学习的特征信息蒸馏到学生模型中。
[0072]
在本实施例的一些可选实现方式中，第一声纹确认模型、第二声纹确认模型、第三声纹确认模型与第四声纹确认模型的特征提取部分可以由各种卷积神经网络或其他声学领域的成熟模型的特征提取网络所构成，例如，可以包含卷积时延神经网络、残差连接模块与注意力池化层。卷积时延神经网络通过多个不同的一维卷积层以及多个相匹配的残差压缩扩张连接层，获得网络输入特征的高维特征表示。注意力池化层整合前阶段多个残差压缩扩张连接层输出的高维特征表示，将上下文信息联系起来进一步获取整条语音的整体信息，后接分类器能够更好地判断目标语音的身份特征。对于分类器部分，将声纹确认任务以分类任务的形式实现。声纹确认任务使用一个具有下采样作用的全连接层，然后通过全连接层以及激活函数(sigmoid函数)，即得到帧级别分类后验概率。依据任务特点设计针对性损失函数对模型适应性惩罚的训练策略，在不同训练阶段有针对性学习简单样本与困难样本，改善了模型对复杂场景说话人判别的准确性性能，提高了声纹确认系统的鲁棒性。
[0073]
作为示例，第三声纹确认模型与第四声纹确认模型可以包含三个压缩扩张残差模
块，将每一个压缩扩张残差模块的输出分别送入下一个压缩扩张残差模块和最后的用于多层特征聚合和汇总的卷积层，得到更多前后时间相关的特征信息，最后将汇总后的特征送入注意力统计池化层获得更多通道维度的特征信息。将统计池化层后的输出结果通过一层全连接层的得到一个192维的特征表示。并通过分类器得到最终分类得分。
[0074]
训练第三声纹确认模型与第四声纹确认模型时，可以使用交叉熵损失函数的惩罚，利用相对熵损失函数作为第三声纹确认模型与第四声纹确认模型映射，增加模型对不同场景数据的惩罚力度；整体模型的差异信息训练策略，将两个模型每一个对应的压缩扩张模块的输出计算加权一致性损失，将最终的加权一致性损失作为惩罚，选择性的更新各模块的参数。
[0075]
为了改善只有少量特定场景的数据训练导致的声纹确认准确性低的问题，可以通过设计指导型声纹确认的模型，去指导学习不同的两个域之间的差异性，具体流程可以参考图3，图3中源域训练集即混合场景数据集，目标域训练集即特定场景数据集。
[0076]
因为前一阶段的指导学习训练得到相对稳定的声纹确认模型(第一声纹确认模型与第二声纹确认模型)，需要学习稀疏训练数据域的独特特征信息。所以可以将两个数据集的数据分开，将拥有相同说话人标签的两个域的数据分别送入两个模型，因为混合场景数据集每个说话人所拥有的语音数量远超于特定场景数据集，所以送入模型的特定说话人的语音在提取声纹特征后可以提取该说话人的类中心再送入模型。相同说话人的特定场景数据集的声音特征则可以直接送入模型。声纹确认模型中包含多个压缩扩张残差模块，每个压缩扩张残差模块的内部结构可以参考图4所示，输入经过一维卷积、线性整流函数(linear rectification function，relu)与批量归一化(batch normalization，bn)层，而后经过残差(res2)扩张一维卷积、relu与bn层，以及一维卷积、relu与bn层，最后经过压缩扩张层得到压缩扩张残差模块的输出。
[0077]
压缩扩张残差模块的压缩权重可以通过上一层的输出的时间维度的信息计算，而后，可以通过两层全连接层和一层sigmod函数得到通道相关的扩张权重，最后可以将将扩张权重和之前上一层的通道信息相乘得到新的通道维度信息。压缩扩张层后的通道维度信息可以表示语音特征，从而能得到更多跟通道相关的说话人信息，可以将每一层的压缩扩张残差模块的输出计算加权一致性损失。最终的目标损失函数l可以通过以下公式计算：
[0078]
l＝l
aam-t
+l
aam-s
+α(l
mse-emb
+β1l
mse-se1
+β2l
mse-se2
+β3l
mse-se3
),[β1+β2+β3＝1]
[0079]
其中，l
aam-t
和l
aam-s
分别是老师模型与学生模型的分类损失函数，即第三分类损失与第四分类损失。l
mse-se(1-3)
是每一个压缩扩张残差模块的输出，即第二一致性损失，β
(1-3)
是其相应的权重，可以设置为通过计算每一层的差异，可以获取更深层次的不同域的差异信息。此外，可以设计自适应参数α来控制微调的程度，其计算方式可以为：
[0080][0081]
其中，x可以根据当前训练的轮数与总训练轮数确定。
[0082]
步骤205，根据第一损失值调整第一声纹确认模型与第二声纹确认模型。
[0083]
在本实施例中，上述执行主体可以根据第一损失值调整第一声纹确认模型与第二声纹确认模型，在每次迭代训练过程中，可以通过最小化第一损失值调整第一声纹确认模
型与第二声纹确认模型。
[0084]
步骤206，将调整完成的第一声纹确认模型确定为目标声纹确认模型。
[0085]
在本实施例中，上述执行主体可以将调整完成即训练完成的第一声纹确认模型确定为目标声纹确认模型。此外，还可以对第一声纹确认模型进行评估，用来验证模型性能的测试数据集则选择来自voxceleb1的测试集与voxmovies的测试数据集，它们都有和用于训练的数据集有相同的数据类型，由这些数据集可以组成相应的试验对，试验对由一条注册语音和一条测试语音组成，有这两个数据集的差异可以分为五种组成方式(voxmovies用d-m表示，voxceleb用d-i来表示)：1.d-m和d-m(注册和测试说话人来自同一部电影)；2.d-m、d-i和d-i、d-m；3.d-i、d-m和d-i；4.d-i、d-m和d-m；5.d-m和d-m(来自不同电影)。
[0086]
声纹确认使用基于等错误率(eer)和最小检测代价函数(mindcf)。测试阶段需要判断两句话是否来自同一个说话人，或者某句话是否来自某个特定的人，是个二分类问题。测试阶段流程由图4所示。假设两句话来自同一说话人为正例对，标签为1；来自不同说话人为负例对，标签为0。测试的时候先计算两句话的相似性得分，然后与门限值比较，若相似度得分大于等于门限值，则判为1，否则判为0。根据被判断的样本的标签与真实标签进行比较得到四种情况：正例对被判为负例对，正例对被判为正例对，负例对被判为正例对，负例对被判为负例对。根据测试对集的所有注册和测试样本的四种情况的数量，可以得到两个评估指标：错误拒绝率和错误接受率。其计算式为：
[0087][0088][0089]
当这两个指标相等的时候我们得到等错误率的表达式：
[0090]
eer＝frr＝far
[0091]
eer越小越好。eer认为错误拒绝率和错误接受率对系统影响的代价是相等的。同样mindcf函数也是根据这两个评估指标得到：
[0092]
mindcf＝c
fa
*far*(1-p
target
)+c
fr
*frr*p
target
[0093]
其中，c
fa
为错误接受样本的风险系数，在实例中设置为1，c
fr
为错误拒绝样本的风险系数，在实例中设置为1；p
target
和(1-p
target
)为正例对和负例对的先验概率，在实例中p
target
设置为0.05，mindcf越小越好。
[0094]
本技术的上述实施例提供的方法通过获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型，提供了一种基于混合场景音频数据集与特定场景音频数据集的声纹确认模型训练机制，提高了特定场景中声纹确认模型的准确性。
[0095]
进一步参考图5，作为对上述各图所示方法的实现，本技术提供了一种声纹确认模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以
应用于各种电子设备中。
[0096]
如图5所示，本实施例的声纹确认模型训练装置500包括：获取单元501、第一输入单元502、第二输入单元503、第一确定单元504、调整单元505和第二确定单元506。其中，获取单元，被配置成获取混合场景音频数据集与特定场景音频数据集；第一输入单元，被配置成将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；第二输入单元，被配置成将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；第一确定单元，被配置成根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；调整单元，被配置成根据第一损失值调整第一声纹确认模型与第二声纹确认模型；第二确定单元，被配置成将调整完成的第一声纹确认模型确定为目标声纹确认模型。
[0097]
在本实施例中，声纹确认模型训练装置500的获取单元501、第一输入单元502、第二输入单元503、第一确定单元504、调整单元505和第二确定单元506的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204、步骤205和步骤206。
[0098]
在本实施例的一些可选实现方式中，装置还包括初始参数确定单元，初始参数确定单元被配置成：混合特定场景音频数据集与混合场景音频数据集；从混合后的数据集中随机选取训练数据；通过选取的训练数据训练第三声纹确认模型；根据第三声纹确认模型的参数对第一声纹确认模型与第二声纹确认模型进行参数初始化。
[0099]
在本实施例的一些可选实现方式中，初始参数确定单元进一步被配置成：将选取的训练数据训练分别输入第三声纹确认模型与第四声纹确认模型；根据第三声纹确认模型与第四声纹确认模型特征学习网络与分类器的输出确认第二损失值；根据第二损失值调整第三声纹确认模型与第四声纹确认模型。
[0100]
在本实施例的一些可选实现方式中，初始参数确定单元进一步被配置成：根据第三声纹确认模型与第四声纹确认模型特征学习网络的输出确定第三声纹确认模型与第四声纹确认模型提取的声纹特征表示之间的第一一致性损失；根据第三声纹确认模型分类器的输出与输入第三声纹确认模型的训练数据关联的说话人标签，确定第三声纹确认模型的第一分类损失；根据第四声纹确认模型分类器的输出与输入第四声纹确认模型的训练数据关联的说话人标签，确定第四声纹确认模型的第二分类损失；根据第一一致性损失、第一分类损失与第二分类损失确定第二损失值。
[0101]
在本实施例的一些可选实现方式中，初始参数确定单元进一步被配置成：根据预先设置的权重加权第一一致性损失、第一分类损失与第二分类损失得到第二损失值，在本实施例的一些可选实现方式中，第一一致性损失的权重根据当前训练的轮数与总训练轮数确定。
[0102]
在本实施例的一些可选实现方式中，第二输入单元，进一步被配置成：对与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据进行预处理；对预处理后的音频数据进行语音分析并进行类中心提取，得到与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征。
[0103]
在本实施例的一些可选实现方式中，第一确定单元，进一步被配置成：根据第一声纹确认模型与第二声纹确认模型特征学习网络的输出确定第一声纹确认模型与第二声纹
确认模型提取的声纹特征表示之间的第二一致性损失；根据第一声纹确认模型分类器的输出以及与第一声纹确认模型的输入关联的说话人标签，确定第一声纹确认模型的第三分类损失；根据第二声纹确认模型分类器的输出以及与第二声纹确认模型的输入关联的说话人标签，确定第二声纹确认模型的第四分类损失；根据第二一致性损失、第三分类损失与第四分类损失确定第一损失值。
[0104]
在本实施例的一些可选实现方式中，第一确定单元，进一步被配置成：根据预先设置的权重加权第二一致性损失、第三分类损失与第四分类损失，在本实施例的一些可选实现方式中，第二一致性损失的权重根据当前训练的轮数与总训练轮数确定。
[0105]
在本实施例的一些可选实现方式中，第一声纹确认模型与第二声纹确认模型的特征学习网络包括预设数目级压缩扩张残差模块，压缩扩张残差模块包括一维卷积层以及与一维卷积层相匹配的残差压缩扩张连接层，以及第一确定单元，进一步被配置成：根据预先设置的权重加权第一声纹确认模型与第二声纹确认模型各级压缩扩张残差模块的残差压缩扩张连接层输出的声纹特征表示之间差异得到第二一致性损失。
[0106]
本技术的上述实施例提供的装置，通过获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型，提供了一种基于混合场景音频数据集与特定场景音频数据集的声纹确认模型训练机制，提高了特定场景中声纹确认模型的准确性。
[0107]
下面参考图6，其示出了适于用来实现本技术实施例的服务器或终端的计算机系统600的结构示意图。图6示出的服务器或终端仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0108]
如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有系统600操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0109]
以下部件可以连接至i/o接口605：包括诸如键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0110]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质
611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0111]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0112]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0113]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一输入单元、第二输入单元、第一确定单元、调整单元和第二确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“被配置成获取混合场景音频数据集与特定场景音频数据集的单元”。
[0114]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是
上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取混合场景音频数据集与特定场景音频数据集；将特定场景音频数据集中的音频数据的声学特征输入第一声纹确认模型；将与特定场景音频数据集中的音频数据拥有相同说话人标签的混合场景音频数据集中的音频数据的声学特征输入第二声纹确认模型；根据第一声纹确认模型与第二声纹确认模型特征学习网络与分类器的输出确认第一损失值；根据第一损失值调整第一声纹确认模型与第二声纹确认模型；将调整完成的第一声纹确认模型确定为目标声纹确认模型。
[0115]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。