口语评测方法、装置、设备及存储介质与流程

文档序号:37427556发布日期:2024-03-25 19:16阅读:来源:国知局

技术特征:

1.一种口语评测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述识别文本与所述参考文本的对齐信息,包括:所述识别文本中各字符在所述参考文本中的位置编码,且所述识别文本中未能匹配到所述参考文本的字符,其位置编码采用第一设定标识表示。

3.根据权利要求1所述的方法,其特征在于,获取所述目标音频的音频表征的过程,包括:

4.根据权利要求3所述的方法,其特征在于,还包括:

5.根据权利要求1所述的方法,其特征在于,所述文本语音对齐模型在训练阶段的训练数据包括:

6.根据权利要求5所述的方法,其特征在于,所述音频样本-参考文本组中的音频样本包括:

7.根据权利要求3所述的方法,其特征在于,所述语音识别模型被配置为,对输入的所述目标音频的声学特征进行编、解码,得到第一解码特征,以所述参考文本中的内容作为激励文本并提取特征,融合所述激励文本的特征和所述第一解码特征得到用于预测识别文本的隐层表征的内部状态表示。

8.根据权利要求7所述的方法,其特征在于,所述激励文本为所述参考文本;或,

9.根据权利要求7所述的方法,其特征在于,所述语音识别模型包括:

10.根据权利要求2所述的方法,其特征在于,基于所述对齐结果及所述参考文本,计算所述目标音频的完整度测评结果的过程,包括:

11.根据权利要求1所述的方法,其特征在于,还包括:

12.根据权利要求1所述的方法,其特征在于,所述待评测的目标音频为获取的用户实时朗读的音频;

13.根据权利要求1-11任一项所述的方法,其特征在于,

14.一种口语评测装置,其特征在于,包括:

15.一种口语评测设备,其特征在于,包括:存储器和处理器;

16.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~13中任一项所述的口语评测方法的各个步骤。


技术总结
本申请公开了一种口语评测方法、装置、设备及存储介质,本申请配置了文本语音对齐模型,该模型的输入为目标音频的音频表征及参考文本,模型被配置为提取参考文本的嵌入表征,并将嵌入表征与音频表征进行拼接,基于拼接表征解码得到对齐结果,对齐结果包括了目标音频的识别文本及识别文本与参考文本的对齐信息,由此可见,本申请文本语音对齐模型可端到端的直接预测得到对齐结果,避免了传统方案识别结果中产生的级联误差。在得到对齐结果后可以进一步基于对齐结果和参考文本来计算目标音频的完整度测评结果,提高了口语完整度测评结果的准确度。

技术研发人员:王超,吴奎,盛志超,李浩,张凯波,王士进,刘聪,胡国平
受保护的技术使用者:科大讯飞股份有限公司
技术研发日:
技术公布日:2024/3/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1