一种多语种语音识别方法、系统、存储介质和电子设备与流程

1.本发明涉及深度学习技术领域，尤其涉及一种多语种语音识别方法、系统、存储介质和电子设备。


背景技术：

2.随着深度学习的普及以及带标注语音训练数据量的增长，单一语种的大词表通用语音识别逐渐普及并且获得了比较好的效果。但是单模型多语种的语音识别仍然具有较高的挑战。存在但不限于以下困难点：1)使用语种识别和语音识别级联的方式，会造成语种识别的错误传递给语音识别模块，并且需要训练多个语种的语音识别模型。2)多语种训练数据量的不平衡，直接使用单模型进行多语种识别存在难度。3)在某些多语种识别的场景下，已知语种信息，但是无法在语音识别模块中有效利用。
3.因此，亟需提供一种技术方案解决上述技术问题。


技术实现要素：

4.为解决上述技术问题，本发明提供了一种多语种语音识别方法、系统、存储介质和电子设备。
5.本发明的一种多语种语音识别方法的技术方案如下：
6.基于多个原始语音样本，对添加有语种识别模块的原始语音识别网络进行训练，得到第一多语种语音识别模型；
7.当待测语音的语种类别不为测试者所获知时，将所述待测语音输入至所述第一多语种语音识别模型，得到所述待测语音的语音识别结果和语种识别结果。
8.本发明的一种多语种语音识别方法的有益效果如下：
9.本发明的方法在使用单模型完成多语种语音识别的同时，提高了对多语种语音识别的精度。
10.在上述方案的基础上，本发明的一种多语种语音识别方法还可以做如下改进。
11.进一步，还包括：
12.当所述待测语音的语种类别为所述测试者所获知时，将所述第一多语种语音识别模型中的所述语种识别模块进行删除，得到第一语音识别模型；
13.对所述待测语音的语种类别进行编码，得到所述待测语音的目标语种编码特征，并将所述目标语种编码特征添加至所述第一语音识别模型中，得到目标语音识别模型；
14.将所述待测语音输入至所述目标语音识别模型中，得到所述待测语音的语音识别结果。
15.进一步，所述语种识别模块包括：语种特征子模块、时间权重子模块、第一全连接线性层、第二全连接线性层、第一1d线性层和softmax层；所述语种识别模块用于：
16.接收上一层输出的第一语音特征，并将所述第一语音特征分别输入至所述语种特征子模块和所述时间权重子模块进行处理，得到所述语种特征子模块输出的第一语种特征
和所述时间权重子模块输出的时间权重特征；
17.对所述第一语种特征与所述时间权重特征进行特征相乘，得到并将第二语种特征输入至所述第一全连接线性层进行线性处理，得到第三语种特征；
18.将所述第三语种特征输入至所述softmax层进行处理，得到第四语种特征和语种预测结果，并将所述第四语种特征输入至所述第二全连接线性层进行语种编码处理，第一语种编码特征；
19.对所述第一语种编码特征和所述第一语种特征进行特征相乘，得到并将第二语种编码特征输入至所述第一1d线性层进行处理，得到第三语种编码特征；
20.对所述第三语种编码特征与所述第一语音特征进行特征合并，得到并将第二语音特征输入至下一层。
21.进一步，所述基于多个原始语音样本，对添加有语种识别模块的原始语音识别网络进行训练，得到第一多语种语音识别模型，包括：
22.对每个原始语音样本进行预处理，得到每个原始语音样本对应的fbank特征，并基于多个fbank特征，对添加有所述语种识别模块的所述原始语音识别网络进行训练，得到所述第一多语种语音识别模型。
23.进一步，所述基于多个fbank特征，对添加有所述语种识别模块的所述原始语音识别网络进行训练，得到所述第一多语种语音识别模型的步骤，包括：
24.将每个fbank特征输入至添加有所述语种识别模块的所述原始语音识别网络，得到并根据每个fbank特征对应的语种识别损失值和语音识别损失值，生成每个fbank特征的目标损失值；
25.根据所有的目标损失值对添加有所述语种识别模块的所述原始语音识别网络的参数进行优化，得到优化后的多语种语音识别模型；
26.将所述优化后的多语种语音识别模型作为添加有所述语种识别模块的所述原始语音识别网络，并返回执行所述将每个fbank特征输入至添加有所述语种识别模块的所述原始语音识别网络的步骤，直至所述优化后的多语种语音识别模型满足预设迭代训练条件时，得到所述第一多语种语音识别模型。
27.本发明的一种多语种语音识别系统的技术方案如下：
28.包括：训练模块和第一识别模块；
29.所述训练模块用于：基于多个原始语音样本，对添加有语种识别模块的原始语音识别网络进行训练，得到第一多语种语音识别模型；
30.所述第一识别模块用于：当待测语音的语种类别不为测试者所获知时，将所述待测语音输入至所述第一多语种语音识别模型，得到所述待测语音的语音识别结果和语种识别结果。
31.本发明的一种多语种语音识别系统的有益效果如下：
32.本发明的系统在使用单模型完成多语种语音识别的同时，提高了对多语种语音识别的精度。
33.在上述方案的基础上，本发明的一种多语种语音识别系统还可以做如下改进。
34.进一步，还包括：第二识别模块；所述第二识别模块用于：
35.当所述待测语音的语种类别为所述测试者所获知时，将所述第一多语种语音识别
模型中的所述语种识别模块进行删除，得到第一语音识别模型；
36.对所述待测语音的语种类别进行编码，得到所述待测语音的目标语种编码特征，并将所述目标语种编码特征添加至所述第一语音识别模型中，得到目标语音识别模型；
37.将所述待测语音输入至所述目标语音识别模型中，得到所述待测语音的语音识别结果。
38.进一步，所述语种识别模块包括：语种特征子模块、时间权重子模块、第一全连接线性层、第二全连接线性层、第一1d线性层和softmax层；所述语种识别模块用于：
39.接收上一层输出的第一语音特征，并将所述第一语音特征分别输入至所述语种特征子模块和所述时间权重子模块进行处理，得到所述语种特征子模块输出的第一语种特征和所述时间权重子模块输出的时间权重特征；
40.对所述第一语种特征与所述时间权重特征进行特征相乘，得到并将第二语种特征输入至所述第一全连接线性层进行线性处理，得到第三语种特征；
41.将所述第三语种特征输入至所述softmax层进行处理，得到第四语种特征和语种预测结果，并将所述第四语种特征输入至所述第二全连接线性层进行语种编码处理，第一语种编码特征；
42.对所述第一语种编码特征和所述第一语种特征进行特征相乘，得到并将第二语种编码特征输入至所述第一1d线性层进行处理，得到第三语种编码特征；
43.对所述第三语种编码特征与所述第一语音特征进行特征合并，得到并将第二语音特征输入至下一层。
44.本发明的一种存储介质的技术方案如下：
45.存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种多语种语音识别方法的步骤。
46.本发明的一种电子设备的技术方案如下：
47.包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如本发明的一种多语种语音识别方法的步骤。
附图说明
48.图1为本发明实施例的一种多语种语音识别方法的流程示意图；
49.图2为本发明实施例的一种多语种语音识别方法中的原始语音识别网络的结构示意图；
50.图3为本发明实施例的一种多语种语音识别方法中的第一多语种语音识别模型的结构示意图；
51.图4为本发明实施例的一种多语种语音识别方法中的语种识别模块的结构示意图；
52.图5为本发明实施例的一种多语种语音识别方法中的原始语音样本预处理的流程示意图；
53.图6为本发明实施例的一种多语种语音识别系统的结构示意图。
具体实施方式
54.如图1所示，本发明实施例的一种多语种语音识别方法，包括如下步骤：
55.s1、基于多个原始语音样本，对添加有语种识别模块的原始语音识别网络进行训练，得到第一多语种语音识别模型。
56.其中，
①
原始语音样本为：任意语种的语音样本。
②
原始语音识别网络为：现有的语音识别网络，如图2所示，具体为conformer encoder的网络结构，包括依次连接的卷积下采样模块、12个conformer模块、全连接层和softmax。
③
语种识别模块用于：对语音特征对应的语种类别进行识别，输出语种预测值和语种编码特征。
④
第一多语种语音识别模型为：经过训练后的多语种语音识别模型，具体结构如图3所示。
57.具体地，将每个原始语音样本分别输入至添加有语种识别模块的原始语音识别网络中进行迭代训练，直至满足预设训练条件时，得到第一多语种语音识别模型。
58.s2、当待测语音的语种类别不为测试者所获知时，将所述待测语音输入至所述第一多语种语音识别模型，得到所述待测语音的语音识别结果和语种识别结果。
59.其中，
①
待测语音为：任意语种的语音数据，该待测语音的语种类别可以为测试者已知，也可以是未知的。
②
语音识别结果为：对待测语音进行识别后所得到的转译文本。
③
语种识别结果为：待测语音的语种类别的概率。例如，待测语音的语种类别为中文的概率为0.85。
60.需要说明的是，对于待测语音的语种类别是否为测试者所获知的判断，可通过设置一个交互界面供测试者选择。例如，在测试者对待测语音开始识别之前，在交互界面显示“语种类别已知”和“语种类别未知”的选项，当测试者选择“语种类别未知时，执行将所述待测语音输入至所述第一多语种语音识别模型，得到所述待测语音的语音识别结果和语种识别结果。上述例子仅用于解释说明，并不限于上述方式判断待测语音的语种类别是否为测试者所获知。
61.较优地，还包括：
62.当所述待测语音的语种类别为所述测试者所获知时，将所述第一多语种语音识别模型中的所述语种识别模块进行删除，得到第一语音识别模型。
63.其中，第一语音识别模型为：经过训练后的conformer encoder的网络结构。
64.对所述待测语音的语种类别进行编码，得到所述待测语音的目标语种编码特征，并将所述目标语种编码特征添加至所述第一语音识别模型中，得到目标语音识别模型。
65.其中，
①
目标语种编码特征为：(已知语种类别)待测语音的语种编码特征。
②
目标语音识别模型为：将语种编码特征与conformer encoder网络的conformer模块所输出的语音特征在特征维度进行合并后所得到的语音识别模型，能够利用已知的语种信息提升语音识别的精度。
66.将所述待测语音输入至所述目标语音识别模型中，得到所述待测语音的语音识别结果。
67.具体地，将已知语种类别的待测语音输入至目标语音识别模型中进行语音识别，得到待测语音的转译文本。
68.需要说明的是，上述例子的基础上，当测试者选择“语种类别已知”时，依次执行相应的步骤。上述例子仅用于解释说明，并不限于上述方式判断待测语音的语种类别是否为
测试者所获知。
69.较优地，所述语种识别模块包括：语种特征子模块、时间权重子模块、第一全连接线性层、第二全连接线性层、第一1d线性层和softmax层。
70.其中，如图4所示，
①
语种特征子模块包括：依次连接的第二1d线性层、swish激活函数层和第一卷积层。
②
时间权重子模块包括：依次连接的第三1d线性层、relu激活函数层和第一点卷积层。
71.所述语种识别模块用于：
72.接收上一层输出的第一语音特征，并将所述第一语音特征分别输入至所述语种特征子模块和所述时间权重子模块进行处理，得到所述语种特征子模块输出的第一语种特征和所述时间权重子模块输出的时间权重特征。
73.其中，
①
上一层是指：原始语音识别网络中的所在层的上一层，具体为：conformer encoder网络中的连续12个conformer模块的最后一个conformer模块。
②
第一语音特征为：经过最后一个conformer模块处理后所输出的语音特征。
③
输入至语种特征子模块中的第二1d线性层的第一语音特征的特征维度为：[d*h]。
④
输入至时间权重子模块的第三1d线性层的第一语音特征的特征维度为：[d*1]。
⑤
第一语种特征为：第一语音特征依次经过第二1d线性层、swish激活函数层和第一卷积层进行处理后所得到的语种特征，其对应的特征维度为：[t*h]。
⑥
时间权重特征为：第一语音特征依次经过第三1d线性层、relu激活函数层和第一点卷积层进行处理后所得到的时间权重特征，其对应的特征维度为：[t*1]。
[0074]
需要说明的是，时间权重特征是第一点卷积层的输出是conformer输出长度t维度的向量，矩阵相乘时作为注意力机制，即第一语种特征不同时间位置上的权重。
[0075]
对所述第一语种特征与所述时间权重特征进行特征相乘，得到并将第二语种特征输入至所述第一全连接线性层进行线性处理，得到第三语种特征。
[0076]
其中，
①
第二语种特征为：第一语种特征与时间权重特征进行特征相乘后所得到的语种特征。
②
第三语种特征为：第二语种特征经过第一全连接线性层进行线性处理后所得到的语种特征。
[0077]
需要说明的是，
①
在第一语种特征与时间权重特征进行特征相乘时，由于第一语种特征的特征维度为：[t*h]，时间权重特征的的特征维度为：[t*1]，两者进行特征相乘(矩阵乘法)时，需要将其中一个矩阵进行转制处理后再进行特征相乘。
②
语种特征进行特征相乘以及通过全连接线性层对语种特征进行线性处理的过程均为现有技术，其具体过程在此不过多赘述。
[0078]
将所述第三语种特征输入至所述softmax层进行处理，得到第四语种特征和语种预测结果，并将所述第四语种特征输入至所述第二全连接线性层进行语种编码处理，第一语种编码特征。
[0079]
其中，
①
第四语种特征为：第三语种特征经过softmax层进行处理后所得到的语种特征，具体为语种概率向量。
②
语种预测结果为：第三语种特征对应的语种的预测值。
③
第一语种编码特征为：第四语种特征经过第二全连接线性层进行语种编码处理后所得到的语种编码特征。
[0080]
需要说明的是，
①
第二全连接线性层为语种编码层，其对应的特征维度为：[1*h]。
②
通过全连接线性层对语种特征进行语种编码处理的过程为：通过第二全连接线性层将第
四语种特征(语种概率向量)进行映射，使得语种维度从n变为h。用数字式表示为：vh＝vn*w+bh；其中，*为矩阵乘法，vn为[1xn]的向量，即是经过softmax层后所得到的n个语种各自的概率，如[0.8，0.1，0.1]。在已知语种的情况下，是语种的onehot编码，如[1，0，0]。w是[n*h]维度的矩阵，即第二全连接线性层中的线性变换矩阵；bh是[1*h]的向量，即第二全连接线性层中的bias部分。
[0081]
对所述第一语种编码特征和所述第一语种特征进行特征相乘，得到并将第二语种编码特征输入至所述第一1d线性层进行处理，得到第三语种编码特征。
[0082]
其中，
①
第二语种编码特征为：第一语种编码特征和第一语种特征进行特征相乘所得到的语种编码特征。
②
第三语种语种编码特征为：第二语种编码特征经过第一1d线性层进行线性处理后所得到的语种编码特征。
[0083]
需要说明的是，
①
第一1d线性层为语种编码层，用于将语种特征进行回传，具体为：对语种特征层输出(第一语种特征)和语种编码层输出(第一语种编码特征)的矩阵相乘的结果(第二语种编码特征)进行1d线性层处理得到回传的语种编码特征。
[0084]
对所述第三语种编码特征与所述第一语音特征进行特征合并，得到并将第二语音特征输入至下一层。
[0085]
其中，下一层为：conformer encoder网络的全连接层。
[0086]
较优地，步骤s1包括：
[0087]
对每个原始语音样本进行预处理，得到每个原始语音样本对应的fbank特征，并基于多个fbank特征，对添加有所述语种识别模块的所述原始语音识别网络进行训练，得到所述第一多语种语音识别模型。
[0088]
其中，如图5所示，对原始语音样本进行预处理的过程依次为：分帧、预加重、加窗、快速傅里叶变换、计算能量谱以及梅尔滤波器进行处理得到原始语音样本对应的filter bank特征(fbank特征)。
[0089]
较优地，所述基于多个fbank特征，对添加有所述语种识别模块的所述原始语音识别网络进行训练，得到所述第一多语种语音识别模型的步骤，包括：
[0090]
将每个fbank特征输入至添加有所述语种识别模块的所述原始语音识别网络，得到并根据每个fbank特征对应的语种识别损失值和语音识别损失值，生成每个fbank特征的目标损失值。
[0091]
其中，
①
语种识别损失值为：fbank特征对应的语种识别的预测值与真实值的差值。
②
语音识别损失值为：fbank特征对应的语音识别的预测值与真实值的差值。
③
目标损失值为：语种识别损失值与语音识别损失值之间按照一定比例所计算得到的损失值。例如，a＝αa1+(1-α)a2，其中a为目标损失值，a1为语种识别损失值，a2为语音识别损失值，α为预设权重。
[0092]
根据所有的目标损失值对添加有所述语种识别模块的所述原始语音识别网络的参数进行优化，得到优化后的多语种语音识别模型。
[0093]
需要说明的是，根据损失值(损失函数)对模型参数进行优化的过程为现有技术，在此不设限制。
[0094]
将所述优化后的多语种语音识别模型作为添加有所述语种识别模块的所述原始语音识别网络，并返回执行所述将每个fbank特征输入至添加有所述语种识别模块的所述
原始语音识别网络的步骤，直至所述优化后的多语种语音识别模型满足预设迭代训练条件时，得到所述第一多语种语音识别模型。
[0095]
其中，预设迭代训练条件为：最大迭代训练次数或者模型收敛等。
[0096]
本实施例的技术方案在使用单模型完成多语种语音识别的同时，提高了对多语种语音识别的精度。
[0097]
如图6所示，本发明实施例的一种多语种语音识别系统200，包括：训练模块210和第一识别模块220；
[0098]
所述训练模块210用于：基于多个原始语音样本，对添加有语种识别模块的原始语音识别网络进行训练，得到第一多语种语音识别模型；
[0099]
所述第一识别模块220用于：当待测语音的语种类别不为测试者所获知时，将所述待测语音输入至所述第一多语种语音识别模型，得到所述待测语音的语音识别结果和语种识别结果。
[0100]
较优地，还包括：第二识别模块；所述第二识别模块用于：
[0101]
当所述待测语音的语种类别为所述测试者所获知时，将所述第一多语种语音识别模型中的所述语种识别模块进行删除，得到第一语音识别模型；
[0102]
对所述待测语音的语种类别进行编码，得到所述待测语音的目标语种编码特征，并将所述目标语种编码特征添加至所述第一语音识别模型中，得到目标语音识别模型；
[0103]
将所述待测语音输入至所述目标语音识别模型中，得到所述待测语音的语音识别结果。
[0104]
较优地，所述语种识别模块包括：语种特征子模块、时间权重子模块、第一全连接线性层、第二全连接线性层、第一1d线性层和softmax层；所述语种识别模块用于：
[0105]
接收上一层输出的第一语音特征，并将所述第一语音特征分别输入至所述语种特征子模块和所述时间权重子模块进行处理，得到所述语种特征子模块输出的第一语种特征和所述时间权重子模块输出的时间权重特征；
[0106]
对所述第一语种特征与所述时间权重特征进行特征相乘，得到并将第二语种特征输入至所述第一全连接线性层进行线性处理，得到第三语种特征；
[0107]
将所述第三语种特征输入至所述softmax层进行处理，得到第四语种特征和语种预测结果，并将所述第四语种特征输入至所述第二全连接线性层进行语种编码处理，第一语种编码特征；
[0108]
对所述第一语种编码特征和所述第一语种特征进行特征相乘，得到并将第二语种编码特征输入至所述第一1d线性层进行处理，得到第三语种编码特征；
[0109]
对所述第三语种编码特征与所述第一语音特征进行特征合并，得到并将第二语音特征输入至下一层。
[0110]
本实施例的技术方案在使用单模型完成多语种语音识别的同时，提高了对多语种语音识别的精度。
[0111]
上述关于本实施例的一种多语种语音识别系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种多语种语音识别方法的实施例中的各参数和步骤，在此不做赘述。
[0112]
本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取
所述指令时，使所述计算机执行如一种多语种语音识别方法的步骤，具体可参考上文中一种多语种语音识别方法的实施例中的各参数和步骤，在此不做赘述。
[0113]
计算机存储介质例如：优盘、移动硬盘等。
[0114]
本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如一种多语种语音识别方法的步骤，具体可参考上文中的一种多语种语音识别方法的实施例中的各参数和步骤，在此不做赘述。
[0115]
所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。
[0116]
因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)，只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。