一种语音识别模型训练方法、装置以及电子设备与流程
本申请涉及计算机技术中的机器学习技术领域，尤其涉及一种语音识别模型训练方法、装置以及电子设备。
背景技术：
随着语音识别技术的发展，语音识别的性能已满足实用，比如手机上的各种输入法都带有语音交互功能。而在实际应用中，存在不同语言场景的语音识别，即存在多种语言的语音识别，例如，标准中文、地方中文，又例如，标准英语、英式英语、美式英语等。目前已有较多语音交互产品支持不同语音识别的，比如手机输入法上语音识别可选项，用户可以根据需要选择对应的语言，再比如一些针对特定语言制定的智能电视、智能冰箱等。
目前，通常对某一种语言采用对应语言的语音识别模型进行语音识别，即采用不同语言的语音识别模型对不同语言进行语音识别，随着支持的语言种类越来越多，需要训练的语音识别模型的数量的越来越多，导致模型训练工作量较大。
技术实现要素：
本申请提供一种语音识别模型训练方法、装置和电子设备，以解决模型训练工作量较大的问题。
第一方面，本申请一个实施例提供一种语音识别模型训练方法，包括：
获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列；
从所述第二音节标签序列中确定多个差异音节标签序列；
根据所述多个差异音节标签序列确定目标差异音节标签序列，其中，所述目标差异音节标签序列为所述多个差异音节标签序列的并集；
根据所述目标差异音节标签序列生成第三音节标签序列；
根据所述第一音节标签序列和所述第三音节标签序列进行语音识别模型训练，得到混合语音识别模型。
本申请的实施例的语音识别模型训练方法中，由于可从第二音节标签序列中确定多个差异标签序列，然后再根据多个差异标签序列确定目标差异序列，利用的是第一音节标签序列和目标差异音节标签序列训练混合语音识别模型，无需针对不同语言进行不同语音识别模型的训练，降低了模型训练工作量。
可选的，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：
根据所述第一语言音频、所述第一音节标签序列、所述第二语言音频、所述第二音节标签序列以及预先训练的第一语音识别模型，从所述第二音节标签序列中确定所述多个差异音节标签序列，其中，所述第一语言识别模型基于所述第一音节标签序列训练得到。
通过第二语言音频、第二音节标签序列以及预先基于第一音节标签序列训练得到的第一语音识别模型进行多个差异音节标签序列的确定，可提高差异音节标签序列的准确性。
可选的，所述多个差异音节标签序列包括第一差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：
将所述第二语言音频输入至所述预先训练的第一语言识别模型，得到连接时序分类峰序列；
根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率；
根据每种第二音节标签的连接时序分类峰正确率，从所述第二音节标签序列中确定所述第一差异音节标签序列。
基于连接时序分类峰正确率从第二音节标签序列中确定第一差异音节标签，基于第一音节标签序列和第一差异音节标签训练混合语言识别模型，降低了模型训练工作量。
可选的，所述多个差异音节标签序列包括第二差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：
通过所述预先训练的第一语言识别模型对所述第二语言音频和所述第二音节标签序列进行处理，得到连接时序分类维特比序列；
根据所述连接时序分类维特比序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
根据每种第二音节标签的连接时序分类维特比得分，从所述第二音节标签序列中确定所述第二差异音节标签序列。
基于连接时序分类维特比得分从第二音节标签序列中确定差异音节标签，基于每种第二音节标签的第一音节标签序列和第二差异音节标签训练混合语言识别模型，降低了模型训练工作量。
可选的，所述多个差异音节标签序列包括第三差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：
通过所述预先训练的第一语言识别模型对所述第一语言音频和所述第一音节标签序列，以及所述第二语言音频和所述第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列；
根据所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列，确定所述第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
根据所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从所述第二音节标签序列中确定所述第三差异音节标签序列。
基于连接时序分类维特比得分的差异从第二音节标签序列中确定差异音节标签，基于第一音节标签序列和差异音节标签训练混合语言识别模型，降低了模型训练工作量。
可选的，所述根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率，包括：
对所述第二音节标签序列去重，得到去重音节标签序列；
对所述去重音节标签序列去静音帧，得到有效音节标签序列；
对比所述有效音节标签序列和所述连接时序分类峰序列，得到所述有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。
通过去重和去静音帧可减小序列的大小，从而可减少计算量，进而提高训练速度。
可选的，所述对比所述有效音节标签序列和所述连接时序分类峰序列，得到所述有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率，包括：
对于所述有效音节标签序列中的每种有效音节标签，从所述连接时序分类峰序列中查找与该有效音节标签的位置对应连接时序分类峰；
统计所查找到的连接时序分类峰与该有效音节标签相同的数目；
计算查找到的连接时序分类峰与该有效音节标签相同的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率，以提高正确性的准确计算。
通过计算所统计出的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率。
可选的，所述通过所述预先训练的第一语言识别模型对所述第二语言音频和所述第二音节标签序列进行处理，得到连接时序分类维特比序列，包括：
对所述第二音节标签序列去重，得到去重音节标签序列；
对所述去重音节标签序列去静音帧，得到有效音节标签序列；
对所述有效音节标签序列插入空格，得到插空音节标签序列；
将所述第二语言音频和所述插空音节标签序列输入至所述第一语言识别模型，得到所述连接时序分类维特比序列。
通过去重和去静音帧可减小序列的大小，从而可减少计算量，进而提高训练速度。
可选的，所述根据所述连接时序分类维特比序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分，包括：
对于所述有效音节标签序列中的每种有效音节标签，根据该有效音节标签在所述连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分。
提高有效音节标签的连接时序分类维特比得分的准确性。
可选的，所述通过所述预先训练的第一语言识别模型对所述第一语言音频和所述第一音节标签序列，以及所述第二语言音频和所述第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列，包括：
分别对所述第一音节标签和所述第二音节标签序列去重，得到第一去重音节标签序列和第二去重音节标签序列；
分别对所述第一去重音节标签序列和所述第二去重音节标签序列去静音帧，得到第一有效音节标签序列和第二有效音节标签序列；
分别对所述第一有效音节标签序列和所述第二有效音节标签序列插入空格，得到第一插空音节标签序列和第二插空音节标签序列；
将所述第一语言音频和所述第一插空音节标签序列，以及所述第二语言音频和所述第二插空音节标签序列分别输入至所述第一语言识别模型，得到所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列。
以提高所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列的准确性。
可选的，所述根据所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列，确定所述第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分，包括：
对于所述第一有效音节标签序列中的每种第一有效音节标签，根据该第一有效音节标签在所述第一连接时序分类维特比序列中的位置，确定该第一有效音节标签的连接时序分类维特比得分；
对于所述第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在所述第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分。
以提高第二有效音节标签的连接时序分类维特比得分的准确性。
第二方面，本申请一个实施例还提供一种语音识别模型训练装置，包括：
标签序列获取模块，用于获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列；
差异序列确定模块，用于从所述第二音节标签序列中确定多个差异音节标签序列；
目标序列确定模块，用于根据所述多个差异音节标签序列确定目标差异音节标签序列，其中，所述目标差异音节标签序列为所述多个差异音节标签序列的并集；
序列生成模块，根据所述目标差异音节标签序列生成第三音节标签序列；
混合训练模块，用于根据所述第一音节标签序列和所述第三音节标签序列进行语音识别模型训练，得到混合语音识别模型。
可选的，所述差异序列确定模块，用于根据所述第一语言音频、所述第一音节标签序列、所述第二语言音频、所述第二音节标签序列以及预先训练的第一语音识别模型，从所述第二音节标签序列中确定所述多个差异音节标签序列，其中，所述第一语言识别模型基于所述第一音节标签序列训练得到。
可选的，所述多个差异音节标签序列包括第一差异音节标签序列，所述差异序列确定模块，包括：
第一序列获取模块，用于将所述第二语言音频输入至所述预先训练的第一语言识别模型，得到连接时序分类峰序列；
正确率确定模块，用于根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率；
第一差异序列确定模块，用于根据每种第二音节标签的连接时序分类峰正确率，从所述第二音节标签序列中确定所述第一差异音节标签序列。
可选的，所述多个差异音节标签序列包括第二差异音节标签序列，所述差异序列确定模块，包括：
第一维特比序列获取模块，用于通过所述预先训练的第一语言识别模型对所述第二语言音频和所述第二音节标签序列进行处理，得到连接时序分类维特比序列；
第一维特比得分确定模块，用于根据所述连接时序分类维特比序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
第二差异序列确定模块，用于根据每种第二音节标签的连接时序分类维特比得分，从所述第二音节标签序列中确定所述第二差异音节标签序列。
可选的，所述多个差异音节标签序列包括第三差异音节标签序列，所述差异序列确定模块，包括：
第二维特比序列获取模块，用于通过所述预先训练的第一语言识别模型对所述第一语言音频和所述第一音节标签序列，以及所述第二语言音频和所述第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列；
第二维特比得分确定模块，用于根据所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列，确定所述第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
第三差异序列确定模块，用于根据所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从所述第二音节标签序列中确定所述第三差异音节标签序列。
可选的，所述正确率确定模块，包括：
第一去重模块，用于对所述第二音节标签序列去重，得到去重音节标签序列；
第一去静音模块，用于对所述去重音节标签序列去静音帧，得到有效音节标签序列；
正确率获取模块，用于对比所述有效音节标签序列和所述连接时序分类峰序列，得到所述有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。
可选的，所述正确率获取模块，包括：
第一查找模块，用于对于所述有效音节标签序列中的每种有效音节标签，从所述连接时序分类峰序列中查找与该有效音节标签的位置对应连接时序分类峰；
第一统计模块，用于统计所查找到的连接时序分类峰与该有效音节标签相同的数目；
正确率计算模块，用于计算所统计出的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率。
可选的，所述第一维特比序列获取模块，包括：
第二去重模块，用于对所述第二音节标签序列去重，得到去重音节标签序列；
第二去静音模块，用于对所述去重音节标签序列去静音帧，得到有效音节标签序列；
第一插入模块，用于对所述有效音节标签序列插入空格，得到插空音节标签序列；
第一维特比序列确定模块，用于将所述第二语言音频和所述插空音节标签序列输入至所述第一语言识别模型，得到所述连接时序分类维特比序列。
可选的，所述第一维特比得分确定模块，包括：
第一得分获取模块，用于对于所述有效音节标签序列中的每种有效音节标签，根据该有效音节标签在所述连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分。
可选的，所述第二维特比序列获取模块，包括：
第三去重模块，用于分别对所述第一音节标签和所述第二音节标签序列去重，得到第一去重音节标签序列和第二去重音节标签序列；
第三去静音模块，用于分别对所述第一去重音节标签序列和所述第二去重音节标签序列去静音帧，得到第一有效音节标签序列和第二有效音节标签序列；
第二插入模块，用于分别对所述第一有效音节标签序列和所述第二有效音节标签序列插入空格，得到第一插空音节标签序列和第二插空音节标签序列；
第二维特比序列确定模块，用于将所述第一语言音频和所述第一插空音节标签序列，以及所述第二语言音频和所述第二插空音节标签序列分别输入至所述第一语言识别模型，得到所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列。
可选的，所述第二维特比得分确定模块，包括：
第二得分获取模块，对于所述第一有效音节标签序列中的每种第一有效音节标签，根据该第一有效音节标签在所述第一连接时序分类维特比序列中的位置，确定该第一有效音节标签的连接时序分类维特比得分；
第三得分获取模块，用于对于所述第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在所述第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分。
第三方面，本申请一个实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请各实施例提供的方法。
第四方面，本申请一个实施例还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行本申请各实施例提供的方法。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一个实施例的语音识别模型训练方法的流程示意图；
图2是混合语音识别模型的结构示意图；
图3是第一语言音频中每一句话对应的连接时序分类峰；
图4是利用第一语言识别模型做连接时序分类维特比的图例示意图；
图5是用来实现本申请实施例的语音识别模型训练方法的语音识别模型训练装置的框图；
图6是可以实现本申请实施例的语音识别模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，根据本申请的实施例，本申请提供一种语音识别模型训练方法，可应用于电子设备，例如服务器或终端设备等，该方法包括：
步骤s101：获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列。
其中，第一语言和第二语言可以为不同类别的语言，例如第一语言可以是普通话(标准中文)，第二语言可以是一种或多种方言(地方中文)。且在一个示例中，第一语言音频和第二语言音频对应相同的文本。即第一语言音频与第二语言音频的内容相同。作为一个示例，可以分别对第一语言音频和第二语音音频进行音节切分，生成第一音节标签序列和第二音节标签序列。其中，第一语言音频和第二语音音频可以是做帧级别对齐后以相同的音节切分方法进行切分的，如此得到的第一音节标签序列与第二音节标签序列包括的标签种类数相同，例如，若第一音节标签序列包括2000种标签，那么第二音节标签序列也包括2000种标签。可以理解，音节是语音中最小的结构单位，也是人们可以自然地察觉到的最小的语音单位。以中文为列，一般一个汉字的读音就是一个音节。以英语为例，英语中以元音来划分音节。
步骤s102：从所述第二音节标签序列中确定多个差异音节标签序列。
不同语言，在发音上存在差异，从而可将第一语言和第二语言差异较大的音节标签提取出。在本实施例中，获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列后，可从第二音节标签序列中确定多个差异音节标签序列，即可从第二音节标签序列中提取出多个差异音节标签序列，对于第一语言和第二语言，每个差异音节标签序列体现在不同方面上的差异。其中，多个差异音节标签序列可以理解为至少两个差异音节标签序列。
步骤s103：根据所述多个差异音节标签序列确定目标差异音节标签序列。
其中，所述目标差异音节标签序列为所述多个差异音节标签序列的并集。
将多个差异音节标签序列的并集作为目标差异音节标签序列。即某个音节标签在多个差异音节标签序列中至少一个序列中出现即可，即出现一次及以上，则可将其放入目标差异音节标签序列中，即只要在差异音节标签序列中出现，则将其作为目标差异音节标签序列中音节标签，如此，可扩大目标差异音节标签序列中音节标签数目，避免遗漏。
例如，假设第一语言为普通话，对于方言a，多个差异音节标签序列包括三个序列，其中，一个差异音节标签序列的音节标签的种类数为300个，另一个差异音节标签序列中的音节标签的种类数为300个，剩余的一个差异音节标签序列中的音节标签的种类数为300个。则某一音节标签在上述多种差异音节标签序列中出现了一次，例如，在一个差异音节标签序列中，即可将其作为目标差异音节标签序列中的音节标签，目标差异音节标签序列中包括的音节标签即为多个差异音节标签序列中的音节标签的并集。若并集处理后，方言a的目标差异音节标签序列中累计有400个音节标签，作为额外的输出节点追加到原来的第一语音识别模型(原有2000个输出节点)中。以此类推，假设方言b的目标差异音节标签序列中累计有600个音节标签，因而总的输出节点为3000个。
又例如，假设第一语言为标准英语，第二语言为美式英语，可以理解为地方英语，多个差异音节标签序列包括三个序列，其中，一个差异音节标签序列的音节标签的种类数为200个，另一个差异音节标签序列中的音节标签的种类数为200个，剩余的一个差异音节标签序列中的音节标签的种类数为200个。某一音节标签在上述多种差异音节标签序列中出现一次，即可将其作为目标差异音节标签序列中的音节标签。并集处理后，美式英语的目标差异音节标签序列中累计有300个音节标签，作为额外的输出节点追加到原来的第一语音识别模型(原有2000个输出节点)中。以此类推，假设英式英语的目标差异音节标签序列中累计有100个音节标签，因而总的输出节点为2400个。
步骤s104：根据目标差异音节标签序列生成第三音节标签序列。
目标差异音节标签序列中的目标差异音节标签可以理解为第二语言与第一语言读音相差较大的音节标签，如此，在得到目标差异音节标签序列后，可生成新的音节标签系列，其中的标签种类数据与目标差异音节标签序列中的标签种类数相同，即是将目标差异音节标签序列中的每种目标差异音节标签生成一种新的音节标签，用以与目标差异音节标签的区分，从而形成第三音节标签序列，从而与第一语言的区分。可以理解，目标差异音节标签是发音上与第一语言存在较大差异，其对应的文字内容与第一语言的相同，因此，在确定出目标差异音节标签序列之后，生成新的差异音节标签序列后，在解码字典中为对应的文字增加相应的多发音。
步骤s105：根据第一音节标签序列和第三音节标签序列进行语音识别模型训练，得到混合语音识别模型。
得到的混合语音识别模型既可以对第一语言进行识别，又可以对第二语言进行识别。即混合语音识别模型实现了同一个模型支持多种语言的识别。
在一个示例中，可基于滤波器组系数特征、第一音节标签序列和目标差异音节标签对深层神经网络进行混合训练，得到混合语音识别模型，其中，混合语音识别模型的输出层的节点数可以等于第一音节标签序列的标签种类数和目标差异音节标签的标签种类数之和。例如，若第一音节标签序列包括2000种标签，目标差异音节标签序列包括400种标签，则混合语音识别模型的输出层可以包括2400个节点。其中，训练混合语音识别模型时也可以采用基于连接时序分类的训练准则优化深层神经网络。需要说明的是，训练混合语音识别模型的步骤与训练第一语言识别模型的步骤类似，这里不进行赘述。
作为一个示例，图2示出了混合语音识别模型的结构示意图。如图2所示，混合语音识别模型可以包括输入层、隐层和输出层。以对普通话、方言a和方言b三种类别的语言混合识别为例，普通话、方言a和方言b均有2000种音节标签。对于方言a，其2000种音节标签中存在400种与普通话差异较大的音节标签，因此方言a的这400种差异音节标签(即目标差异音节标签)会作为独立的建模单元，其另外的1600种音节标签会与普通话共享建模单元。同理，对于方言b，其2000种音节标签中存在600种与普通话差异较大的音节标签，因此方言b的这600种差异音节标签(即目标差异音节标签)会作为独立的建模单元，其另外的1400种音节标签会与普通话共享建模单元。如此，根据普通话的音节标签、方言a的目标差异音节标签和方言b的目标差异音节标签训练混合语音识别模型，其输出层会包括3000个节点。其中，普通话的2000种音节标签对应2000个节点。方言a的400种目标差异音节标签对应400个独立节点，其外的1600种音节标签与普通话共享节点。同理，方言b的600种目标差异音节标签对应600个独立节点，其外的1400种音节标签与普通话共享节点。
本申请上述实施例的语音识别模型训练方法中，由于可从第二音节标签序列中确定三种差异标签序列，即第一差异标签序列、第二差异标签序列和第三差异标签序列，然后再根据第一差异标签序列、第二差异标签序列和第三差异标签序列确定目标差异序列，基于第一音节标签序列和目标差异音节标签序列训练混合语音识别模型，无需针对不同语言进行不同语音识别模型的训练，降低了模型训练工作量，而且可提高用于模型训练的目标差异序列的准确性，从而可提高模型训练的准确性。与此同时，基于多种语言的音节标签训练混合语音识别模型，可实现得到的同一个模型支持多种语言的语音识别。且无需用户在多个模型之间切换，简化了用户操作。
在一个实施例中，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：
根据第一语言音频、第一音节标签序列、第二语言音频、第二音节标签序列以及预先训练的第一语音识别模型，从第二音节标签序列中确定多个差异音节标签序列。
即在本实施例中，可基于第二语言音频、第二音节标签序列以及预先训练的第一语音识别模型，从第二音节标签序列中确定多个差异音节标签序列，即可从第二音节标签序列中提取出多个差异音节标签序列，对于第一语言和第二语言，每个差异音节标签序列体现在不同方面上的差异。
其中，第一语言识别模型基于第一音节标签序列训练得到，可以用于对第一语言进行识别。通过第二语言音频、第二音节标签序列以及预先基于第一音节标签序列训练得到的第一语音识别模型进行多个差异音节标签序列的确定，可提高差异音节标签序列的准确性。
在一个示例中，可先提取第一语言音频的滤波器组系数(filterbank)特征；基于滤波器组系数特征和第一音节标签序列对深层神经网络进行训练，得到第一语言识别模型。其中，第一语言识别模型的输出层的节点数可以等于第一音节标签序列的标签种类数。例如，若第一音节标签序列包括2000种标签，那么第一语言识别模型的输出层可以包括2000个节点。作为一个示例，用于训练第一语言识别模型的深层神经网络可以是基于ctc准则的lstm(longshort-termmemory，长短期记忆)网络。
在一个示例中，训练第一语言识别模型时可以采用基于连接时序分类的训练准则优化深层神经网络。其中，基于连接时序分类的训练准则可以如下公式所示：
其中，ak为标签为k的网络的输出(未经激活函数)，yk为某一时刻参考的标签k的得分，s为状态，x为输入的特征序列，z为t时刻ctc的路径，∑s∈label(z,k)α(s)β(s)为某一时刻ctc路径中属于标签k的得分(通过ctc的前向得分α(s)和后向得分β(s)的乘积得到)，p(z|x)为某一时刻ctc所经过路径的总得分。
在一个实施例中，所述多个差异音节标签序列包括第一差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：将第二语言音频输入至预先训练的第一语言识别模型，得到连接时序分类峰序列；根据第二音节标签序列和连接时序分类峰序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率；根据每种第二音节标签的连接时序分类峰正确率，从第二音节标签序列中确定第一差异音节标签序列。
在本实施例中，可将第二语言音频输入至预先训练的第一语言识别模型，以得到连接时序分类峰序列。即第二语言音频被输入至第一语言识别模型后，经过前向算法，会得到第一语言音频中每一句话对应的连接时序分类峰，如图3所示。其中，连接时序分类峰即为ctc(connectionisttemporalclassification，连接时序分类)peak。
然后，可基于第二音节标签序列和连接时序分类峰序列，进行第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率的计算。再基于得到的连接时序分类峰正确率，从第二音节标签序列中确定第一差异音节标签序列。作为一个示例，可以按照连接时序分类峰正确率从高到低的顺序对第二音节标签序列中的所有第二音节标签进行排序，并从连接时序分类峰正确率低的一侧开始，选取预设数目(例如400)个第二音节标签，所选取出的第二音节标签即为目标差异音节标签序列中的音节标签。
在一个示例中，第一差异音节标签序列可以是包括多个第一差异音节标签子序列。由于第二语言可以有多个，则每个第二语言可对应有一个第一差异音节标签子序列，第一差异音节标签序列中音节标签的数目为多个第一差异音节标签子序列中音节标签的数目之和。
在一个实施例中，对于第二音节标签序列中的每种第二音节标签，可以从连接时序分类峰序列中查找与该第二音节标签对应的连接时序分类峰，并将所查找到的连接时序分类峰与该第二音节标签逐一比对。每当比对出一个连接时序分类峰与该第二音节标签相同，则该第二音节标签的连接时序分类峰正确数加一。每当比对出一个连接时序分类峰与该第二音节标签不同，则该第二音节标签的连接时序分类峰正确数不变。待比对完毕，计算该第二音节标签的连接时序分类峰正确数与所查找到的连接时序分类峰的总数目的比值，即为该第二音节标签的连接时序分类峰正确率。
基于连接时序分类峰正确率从第二音节标签序列中确定第一差异音节标签，基于第一音节标签序列和第一差异音节标签训练混合语言识别模型，降低了模型训练工作量。
在一个实施例中，根据第二音节标签序列和连接时序分类峰序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率，包括：对第二音节标签序列去重，得到去重音节标签序列；对去重音节标签序列去静音帧，得到有效音节标签序列；对比有效音节标签序列和连接时序分类峰序列，得到有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。
在本实施例中，在进行的正确率确定过程中，可先对第二音节标签序列去重，得到去重音节标签序列。例如，若第二音节标签序列为“0000aaaaa00bbbbb000ccc00dddd0ee000fff”，经过去重处理得到的去重音节标签序列就可以为“0a0b0c0d0f”，其中，“0”为静音帧。
然后，对去重音节标签序列去静音帧，得到有效音节标签序列。例如，若去重音节标签序列为“0a0b0c0d0f”，去掉静音帧后，得到的有效音节标签序列就可以为“abcdef”，其中，“0”为静音帧。再对比有效音节标签序列和连接时序分类峰序列，得到有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。
通过去重和去静音帧可减小序列的大小，从而可减少计算量，进而提高训练速度。
在一个实施例中，对比有效音节标签序列和连接时序分类峰序列，得到有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率，包括：对于有效音节标签序列中的每种有效音节标签，从连接时序分类峰序列中查找与该有效音节标签的位置对应连接时序分类峰；统计所查找到的连接时序分类峰与该有效音节标签相同的数目；计算所统计出的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率。
即可先对于有效音节标签序列中的每种有效音节标签，可以从连接时序分类峰序列中查找与该有效音节标签在有效音节标签序列中的位置对应的连接时序分类峰。其中，该有效音节标签在有效音节标签序列中的位置与其对应的连接时序分类峰在连接时序分类峰序列中的位置相同。然后统计所查找到的连接时序分类峰与该有效音节标签相同的数目。其中，所查找到的连接时序分类峰与该有效音节标签相同的数目，即是该有效音节标签的连接时序分类峰正确数。再计算所统计出的数目与该有效音节标签在有效音节标签序列中的总数目的比值，得到该有效音节标签的连接时序分类峰正确率。后续利用正确率确定第一差异音节标签序列。计算查找到的连接时序分类峰与该有效音节标签相同的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率，以提高正确性的准确计算。
在一个示例中，可将有效音节标签序列中连接时序分类峰正确率小于预设阈值的有效音节标签确定为第一差异音节标签，从而得到第一差异音节标签序列。
在本实施例中，可以将有效音节标签序列中连接时序分类峰正确率小于预设阈值(例如20％)的有效音节标签确定为第一差异音节标签。例如，可以按照连接时序分类峰正确率从高到低的顺序对有效音节标签序列中的所有有效音节标签进行排序，并从连接时序分类峰正确率低的一侧开始，依次将有效音节标签的连接时序分类峰正确率与预设阈值进行比对，直至出现连接时序分类峰正确率不小于预设阈值的有效音节标签时停止比对，并将之前已比对的有效音节标签确定为第一差异音节标签。
在一个实施例中，所述获得第一语言音频的第一音节标签序列，包括：提取所述第一语言音频的梅尔频率倒谱系数特征；基于所述梅尔频率倒谱系数特征和所述第一语言音频对应的文本对高斯混合模型进行训练，得到对齐高斯混合模型和所述第一音节标签序列。
在本实施例中，可以提取第一语言音频的梅尔频率倒谱系数(melfrequencycepstralcoefficents，mfcc)特征。其中，第一语言可以例如是普通话。然后可基于梅尔频率倒谱系数特征和第一语言音频对应的文本对高斯混合模型(gaussianmixturemodel，gmm)进行训练，得到对齐高斯混合模型和第一音节标签序列。基于梅尔频率倒谱系数特征和第一语言音频对应的文本可以训练出一个高斯混合模型，用于对音频做帧级别的对齐，因此被称为对齐高斯混合模型。并且，梅尔频率倒谱系数特征和第一语言音频对应的文本经过该对齐高斯混合模型可以得到第一音节标签序列。
在一个实施例中，所述获得第二语言音频的第二音节标签序列，包括：将所述第二语言音频输入至所述对齐高斯混合模型，得到所述第二音节标签序列，其中，所述第二音节标签序列的标签种类数等于所述第一音节标签序列的标签种类数。
在本实施例中，可以将第二语言音频输入至对齐高斯混合模型，得到第二音节标签序列。利用对齐高斯混合模型对第二语言音频做对齐，可以确保第一语言音频和第二语言音频的音节标签的一致性。由此，利用对齐高斯混合模型得到的第二音节标签序列的标签种类数会等于第一音节标签序列的标签种类数。其中，第二语言与第一语言类别不同，例如第一语言是普通话，第二语言是一种或多种方言。
在一个实施例中，所述多个差异音节标签序列包括第二差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：通过预先训练的第一语言识别模型对第二语言音频和第二音节标签序列进行处理，得到连接时序分类维特比序列；根据连接时序分类维特比序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；根据每种第二音节标签的连接时序分类维特比得分，从第二音节标签序列中确定第二差异音节标签序列。
在本实施例中，可以利用预先训练的第一语言识别模型对第二语言音频和第二音节标签序列进行处理，得到连接时序分类维特比序列。例如，可以直接将第二语言音频和第二音节标签序列输入至第一语言识别模型，得到连接时序分类维特比序列。又例如，可以首先对第二音节标签序列进行处理，然后将第二语言音频和处理后的第二音节标签序列输入至第一语言识别模型，得到连接时序分类维特比序列。其中，连接时序分类维特比即是ctc(connectionisttemporalclassification，连接时序分类)viterbi。
在本实施例中，可以基于连接时序分类维特比序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分。具体地，对于第二音节标签序列中的每种第二音节标签，可以从连接时序分类维特比序列中查找该第二音节标签，并基于该第二音节标签在连接时序分类维特比序列中的位置，确定该第二音节标签的连接时序分类维特比得分。其中，第二音节标签的连接时序分类维特比得分与该第二音节标签在连接时序分类维特比序列中的位置相关，位置不同，其连接时序分类维特比得分也不同。连接时序分类维特比得分的取值在0到1，其在一定程度上可以反映与对应的第一音节标签的相似度，连接时序分类维特比得分越高，表示与对应的第一音节标签越接近。
另外，对于同一第二音节标签在连接时序分类维特比序列中出现多次的情况，可以首先基于该第二音节标签在连接时序分类维特比序列中出现的多个位置，确定多个连接时序分类维特比得分；然后计算平均值，作为该第二音节标签的连接时序分类维特比得分。
在本实施例中，可以基于所确定出的连接时序分类维特比得分，从第二音节标签序列中确定第二差异音节标签序列。例如，可以按照连接时序分类维特比得分从高到低的顺序对第二音节标签序列中的所有第二音节标签进行排序，并从连接时序分类维特比得分低的一侧开始，选取预设数目(例如400)个第二音节标签，所选取出的第二音节标签即为第二差异音节标签序列中的音节标签。
在一个示例中，第二差异音节标签序列可以是包括多个第二差异音节标签子序列。由于第二语言可以有多个，则每个第二语言可对应有一个第二差异音节标签子序列，第二差异音节标签序列中音节标签的数目为多个第二差异音节标签子序列中音节标签的数目之和。
基于连接时序分类维特比得分从第二音节标签序列中确定差异音节标签，基于每种第二音节标签的第一音节标签序列和第二差异音节标签训练混合语言识别模型，降低了模型训练工作量。
在一个实施例中，通过预先训练的第一语言识别模型对第二语言音频和第二音节标签序列进行处理，得到连接时序分类维特比序列，包括：对第二音节标签序列去重，得到去重音节标签序列；对去重音节标签序列去静音帧，得到有效音节标签序列；对有效音节标签序列插入空格，得到插空音节标签序列；将第二语言音频和插空音节标签序列输入至第一语言识别模型，得到连接时序分类维特比序列。
在本实施例中，可以对第二音节标签序列去重，得到去重音节标签序列。例如，若第二音节标签序列为“0000ccccc00aaaaa0bbbb0000”，经过去重处理得到的去重音节标签序列就可以为“0c0a0b0”，其中，“0”为静音帧。然后可以对去重音节标签序列去静音帧，得到有效音节标签序列。例如，若去重音节标签序列为“0c0a0b0”，去掉静音帧后，得到的有效音节标签序列就可以为“cab”，其中，“0”为静音帧。再对有效音节标签序列插入空格，得到插空音节标签序列。通常，有效音节标签序列中的任意两个相邻的有效音节标签之间均会插入一个空格。此外，有效音节标签序列的首尾也会分别插入一个空格。例如，若有效音节标签序列为“cab”，插入空格后，得到插空音节标签序列就可以为“□c□a□b□”。其中，空格可以会用符号“□”表示。再将第二音频和插空音节标签序列输入至第一语言识别模型，得到连接时序分类维特比序列。通过去重和去静音帧可减小序列的大小，从而可减少计算量，进而提高训练速度。
为了便于理解，图4示出了利用第一语言识别模型做连接时序分类维特比的图例示意图。如图4所示，以插空音节标签序列“□c□a□b□”为例，在图例中，插空音节标签序列中的“□”可以用空心圆圈表示，插空音节标签序列中的有效音节标签可以用实心圆圈表示。这里，将n个插空音节标签序列“□c□a□b□”纵向排列，其中，t表示第二语言音频的帧数。利用第一语言识别模型做连接时序分类维特比的步骤如下：
首先，初始时刻(t＝1)的状态为空格或有效音节标签，则：
其中，α1(1)表示在初始时刻(t＝1)所有路径经过状态为1的总得分，α1(2)表示在初始时刻(t＝1)所有路径经过状态为2的总得分，α1(s)表示在初始时刻(t＝1)所有路径经过状态为s的总得分，
其次，迭代：
其中，
最后，从满足上述公式的路径中选取总得分最高的路径，得到连接时序分类维特比序列。
其中，满足上述公式的路径如图4箭头所示，有多条路径。而连接时序分类维特比序列是其中总得分最高的一条路径。假设t＝20，得到的连接时序分类维特比序列为“□□□□c□□□□□□□a□□□□□b□”。
在一个实施例中，根据连接时序分类维特比序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分，包括：对于有效音节标签序列中的每种有效音节标签，根据该有效音节标签在连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分。
在本实施例中，对于有效音节标签序列中的每种有效音节标签，上述执行主体可以从连接时序分类维特比序列中查找该第二音节标签，并基于该有效音节标签在连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分。有效音节标签的连接时序分类维特比得分与该有效音节标签在连接时序分类维特比序列中的位置相关，位置不同，其连接时序分类维特比得分也不同，如此，根据该有效音节标签在所述连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分，可提高有效音节标签的连接时序分类维特比得分的准确性。连接时序分类维特比得分的取值在0到1，其在一定程度上可以反映与对应的第一音节标签的相似度，连接时序分类维特比得分越高，表示与对应的第一音节标签越接近。
另外，对于同一有效音节标签在连接时序分类维特比序列中出现多次的情况，上述执行主体可以首先基于该有效音节标签在连接时序分类维特比序列中出现的多个位置，确定多个连接时序分类维特比得分；然后计算平均值，作为该有效音节标签的连接时序分类维特比得分。
在一个示例中，可将有效音节标签序列中连接时序分类维特比得分小于预设阈值的有效音节标签确定为第二差异音节标签，从而得到第二差异音节标签序列。
在本实施例中，可以将有效音节标签序列中连接时序分类维特比得分小于预设阈值(例如0.2)的有效音节标签确定为差异音节标签。例如，上述执行主体可以按照连接时序分类维特比得分从高到低的顺序对有效音节标签序列中的所有有效音节标签进行排序，并从连接时序分类维特比得分低的一侧开始，依次将连接时序分类维特比得分与预设阈值进行比对，直至出现连接时序分类维特比得分不小于预设阈值的有效音节标签时停止比对，并将之前已比对的有效音节标签确定为第二差异音节标签。
在一个实施例中，所述多个差异音节标签序列包括第三差异音节标签序列，所述从所述第二音节标签序列中确定多个差异音节标签序列，包括：通过预先训练的第一语言识别模型对第一语言音频和第一音节标签序列，以及第二语言音频和第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列；
根据第一连接时序分类维特比序列和第二连接时序分类维特比序列，确定第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
根据第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从第二音节标签序列中确定第三差异音节标签序列。
在本实施例中，可以利用预先训练的第一语言识别模型对第一语言音频和第一音节标签序列进行处理，得到第一连接时序分类维特比序列。例如，可以直接将第一语言音频和第一音节标签序列输入至第一语言识别模型，得到第一连接时序分类维特比序列。又例如，上述执行主体可以首先对第一音节标签序列进行处理，然后将第一语言音频和处理后的第一音节标签序列输入至第一语言识别模型。同理，还可以利用第一语言识别模型对第二语言音频和第二音节标签序列进行处理，得到第二连接时序分类维特比序列。
在本实施例中，可以基于第一连接时序分类维特比序列，确定第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分。具体地，对于第一音节标签序列中的每种第一音节标签，可以从第一连接时序分类维特比序列中查找该第一音节标签，并基于该第一音节标签在第一连接时序分类维特比序列中的位置，确定该第一音节标签的连接时序分类维特比得分。同理，还可以基于第二连接时序分类维特比序列，确定第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分。音节标签的连接时序分类维特比得分与该音节标签在相应的连接时序分类维特比序列中的位置相关，位置不同，其连接时序分类维特比得分也不同。连接时序分类维特比得分的取值在0到1。
基于连接时序分类维特比得分的差异从第二音节标签序列中确定差异音节标签，基于第一音节标签序列和差异音节标签训练混合语言识别模型，降低了模型训练工作量。
在一个示例中，对于同一音节标签在相应的连接时序分类维特比序列中出现多次的情况，可以首先基于该音节标签在相应的连接时序分类维特比序列中出现的多个位置，确定多个连接时序分类维特比得分；然后计算平均值，作为该音节标签的连接时序分类维特比得分。
在本实施例中，对于第二音节标签序列中的每种第二音节标签，可以基于该第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从第二音节标签序列中确定差异音节标签。例如，可以按照差异从高到低的顺序对第二音节标签序列中的所有第二音节标签进行排序，并从差异高的一侧开始，选取预设数目(例如400)个第二音节标签，所选取出的第二音节标签即为第三差异音节标签序列中的音节标签，从而得到第三差异音节标签序列。其中，差异的取值在0％到100％之间，其在一定程度上反映第二音节标签与对应的第一音节标签的相似度，差异越小，表示其与对应的第一音节标签越接近。
在一个示例中，可以通过如下公式计算第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异：
其中，sdiff为连接时序分类维特比得分的差异，sf为第二音节标签的连接时序分类维特比得分，sp为对应的第一音节标签的连接时序分类维特比得分。
在一个示例中，第三差异音节标签序列可以是包括多个第三差异音节标签子序列。由于第二语言可以有多个，则每个第二语言可对应有一个第三差异音节标签子序列，第三差异音节标签序列中音节标签的数目为多个第三差异音节标签子序列中音节标签的数目之和。
在一个实施例中，通过预先训练的第一语言识别模型对第一语言音频和第一音节标签序列，以及第二语言音频和第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列，包括：
分别对第一音节标签和第二音节标签序列去重，得到第一去重音节标签序列和第二去重音节标签序列；
分别对第一去重音节标签序列和第二去重音节标签序列去静音帧，得到第一有效音节标签序列和第二有效音节标签序列；
分别对第一有效音节标签序列和第二有效音节标签序列插入空格，得到第一插空音节标签序列和第二插空音节标签序列；
将第一语言音频和第一插空音节标签序列，以及第二语言音频和第二插空音节标签序列分别输入至第一语言识别模型，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列。
通过第一语言识别模型对第二语言音频和第二音节标签序列分别进行处理，得到第二连接时序分类维特比序列的过程与前述通过第一语言识别模型对第二语言音频和第二音节标签序列分别进行处理，得到连接时序分类维特比序列的过程类似，且通过第一语言识别模型对第一语言音频和第一音节标签序列分别进行处理，得到第一连接时序分类维特比序列的过程与前述通过第一语言识别模型对第二语言音频和第二音节标签序列分别进行处理，得到第二连接时序分类维特比序列的过程类似，不用在于语言音频和音节标签序列不同，不再赘述。将第一语言音频和第一插空音节标签序列，以及第二语言音频和第二插空音节标签序列分别输入至第一语言识别模型，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列，以提高所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列的准确性。
在一个实施例中，根据第一连接时序分类维特比序列和第二连接时序分类维特比序列，确定第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分，包括：
对于第一有效音节标签序列中的每种第一有效音节标签，根据该第一有效音节标签在第一连接时序分类维特比序列中的位置，确定该第一有效音节标签的连接时序分类维特比得分；
对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分。
对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分的过程与前述的对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分的过程类似，不再赘述。在实施例中，在对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分的基础上，增加了对于第一有效音节标签序列中的每种第一有效音节标签，根据该第一有效音节标签在第一连接时序分类维特比序列中的位置，确定该第一有效音节标签的连接时序分类维特比得分的过程，且该过程与前述对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分的过程类似，不同在于有效音节标签序列的不同，不再赘述。对于第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分，以提高第二有效音节标签的连接时序分类维特比得分的准确性。
如图5所示，在一个实施例中，本申请还提供一种语音识别模型训练装置500，该装置包括：
标签序列获取模块501，用于获得第一语言音频的第一音节标签序列和第二语言音频的第二音节标签序列；
差异序列确定模块502，用于从所述第二音节标签序列中确定多个差异音节标签序列；
目标序列确定模块503，用于根据所述多个差异音节标签序列确定目标差异音节标签序列，其中，目标差异音节标签序列为多个差异音节标签序列的并集；
序列生成模块504，根据所述目标差异音节标签序列生成第三音节标签序列；
混合训练模块505，用于根据所述第一音节标签序列和所述第三音节标签序列进行语音识别模型训练，得到混合语音识别模型。
在一个实施例中，所述差异序列确定模块，用于根据所述第一语言音频、所述第一音节标签序列、所述第二语言音频、所述第二音节标签序列以及预先训练的第一语音识别模型，从所述第二音节标签序列中确定所述多个差异音节标签序列，其中，所述第一语言识别模型基于所述第一音节标签序列训练得到。
在一个实施例中，所述多个差异音节标签序列包括第一差异音节标签序列，所述差异序列确定模块，包括：
第一序列获取模块，用于将所述第二语言音频输入至所述预先训练的第一语言识别模型，得到连接时序分类峰序列；
正确率确定模块，用于根据所述第二音节标签序列和所述连接时序分类峰序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类峰正确率；
第一差异序列确定模块，用于根据每种第二音节标签的连接时序分类峰正确率，从所述第二音节标签序列中确定所述第一差异音节标签序列。
在一个实施例中，所述多个差异音节标签序列包括第二差异音节标签序列，所述差异序列确定模块，包括：
第一维特比序列获取模块，用于通过所述预先训练的第一语言识别模型对所述第二语言音频和所述第二音节标签序列进行处理，得到连接时序分类维特比序列；
第一维特比得分确定模块，用于根据所述连接时序分类维特比序列，确定所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
第二差异序列确定模块，用于根据每种第二音节标签的连接时序分类维特比得分，从所述第二音节标签序列中确定所述第二差异音节标签序列。
在一个实施例中，所述多个差异音节标签序列包括第三差异音节标签序列，所述差异序列确定模块，包括：
第二维特比序列获取模块，用于通过所述预先训练的第一语言识别模型对所述第一语言音频和所述第一音节标签序列，以及所述第二语言音频和所述第二音节标签序列分别进行处理，得到第一连接时序分类维特比序列和第二连接时序分类维特比序列；
第二维特比得分确定模块，用于根据所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列，确定所述第一音节标签序列中的每种第一音节标签的连接时序分类维特比得分和所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分；
第三差异序列确定模块，用于根据所述第二音节标签序列中的每种第二音节标签的连接时序分类维特比得分与对应的第一音节标签的连接时序分类维特比得分的差异，从所述第二音节标签序列中确定所述第三差异音节标签序列。
在一个实施例中，所述正确率确定模块，包括：
第一去重模块，用于对所述第二音节标签序列去重，得到去重音节标签序列；
第一去静音模块，用于对所述去重音节标签序列去静音帧，得到有效音节标签序列；
正确率获取模块，用于对比所述有效音节标签序列和所述连接时序分类峰序列，得到所述有效音节标签序列中的每种有效音节标签的连接时序分类峰正确率。
在一个实施例中，所述正确率获取模块，包括：
第一查找模块，用于对于所述有效音节标签序列中的每种有效音节标签，从所述连接时序分类峰序列中查找与该有效音节标签的位置对应连接时序分类峰；
第一统计模块，用于统计所查找到的连接时序分类峰与该有效音节标签相同的数目；
正确率计算模块，用于计算所统计出的数目与该有效音节标签的总数目的比值，得到该有效音节标签的连接时序分类峰正确率。
在一个实施例中，所述第一维特比序列获取模块，包括：
第二去重模块，用于对所述第二音节标签序列去重，得到去重音节标签序列；
第二去静音模块，用于对所述去重音节标签序列去静音帧，得到有效音节标签序列；
第一插入模块，用于对所述有效音节标签序列插入空格，得到插空音节标签序列；
第一维特比序列确定模块，用于将所述第二语言音频和所述插空音节标签序列输入至所述第一语言识别模型，得到所述连接时序分类维特比序列。
在一个实施例中，所述第一维特比得分确定模块，包括：
第一得分获取模块，用于对于所述有效音节标签序列中的每种有效音节标签，根据该有效音节标签在所述连接时序分类维特比序列中的位置，确定该有效音节标签的连接时序分类维特比得分。
在一个实施例中，所述第二维特比序列获取模块，包括：
第三去重模块，用于分别对所述第一音节标签和所述第二音节标签序列去重，得到第一去重音节标签序列和第二去重音节标签序列；
第三去静音模块，用于分别对所述第一去重音节标签序列和所述第二去重音节标签序列去静音帧，得到第一有效音节标签序列和第二有效音节标签序列；
第二插入模块，用于分别对所述第一有效音节标签序列和所述第二有效音节标签序列插入空格，得到第一插空音节标签序列和第二插空音节标签序列；
第二维特比序列确定模块，用于将所述第一语言音频和所述第一插空音节标签序列，以及所述第二语言音频和所述第二插空音节标签序列分别输入至所述第一语言识别模型，得到所述第一连接时序分类维特比序列和所述第二连接时序分类维特比序列。
在一个实施例中，所述第二维特比得分确定模块，包括：
第二得分获取模块，对于所述第一有效音节标签序列中的每种第一有效音节标签，根据该第一有效音节标签在所述第一连接时序分类维特比序列中的位置，确定该第一有效音节标签的连接时序分类维特比得分；
第三得分获取模块，用于对于所述第二有效音节标签序列中的每种第二有效音节标签，根据该第二有效音节标签在所述第二连接时序分类维特比序列中的位置，确定该第二有效音节标签的连接时序分类维特比得分。
上述各实施例的语音识别模型训练装置为实现上述各实施例的语音识别模型训练方法的装置，技术特征对应，技术效果对应，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的语音识别模型训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语音识别模型训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语音识别模型训练方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的4语音识别模型训练方法对应的程序指令/模块(例如，附图5所示的标签序列获取模块501、差异序列确定模块502、序列生成模块504和混合训练模块505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语音识别模型训练方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据键盘显示的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至键盘显示的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语音识别模型训练方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与键盘显示的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，能够在电子设备的宽度大于第一预设宽度的情况下，生成第一子键盘和第二子键盘，并间隔显示所述第一子键盘以及所述第二子键盘，即第一子键盘以及所述第二子键盘之间存在间隔，则用户无需在间隔中进行按键操作，使用户在操作过程中容易触达键盘中的按键，可缩短用户对键盘的操作路径，进而提高输入效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！