韵律标注数据质检方法、装置、计算机设备和存储介质与流程

本技术涉及语音处理，特别是涉及一种韵律标注数据质检方法、装置、计算机设备和存储介质。

背景技术：

1、语音合成技术(test to speech，tts)技术是人机交互中不可或缺的模块之一。语音合成技术包含前端和后端两个模块。其中，前端用于对输入文本做分析，为后端模块提取必要的语言学信息。在前端模块对输入文本做分析的相关过程中，最重要的一个环节是韵律预测。韵律预测是指预测出输入文本的韵律信息，即所谓中文中的“抑扬顿挫”，韵律信息可以让最终合成的声音听起来流畅且自然。

2、韵律预测可以通过韵律模型来实现，韵律模型的训练需要用到大量的韵律标注数据。为了训练一个可用的韵律模型，需要至少几十万组的韵律标注数据。由发音人对给定文本进行朗读录音后，再由文本标注人员依照发音人的读音方式，在文本中标注出对应的韵律停顿信息，两者(即发音人朗读的语音数据和标注了韵律停顿信息的文本)构成一组用于训练模型的韵律标注数据。

3、由于对韵律停顿的感知是一个主观的感受，韵律停顿信息会因标注人员的不同而有所差异，为了保证标注的统一性和正确性，常规方法是在发音人和文本标注人员完成工作后安排第三人作为质检人员，来对语音数据和标注了韵律停顿信息的文本做一致性以及错误性检查。为了确保结果不因个人判断而偏离，可能还会安排第四人，第五人来做交叉多次质检以确保结果的一致性和正确性，如此产生的人力和时间消耗都是繁重的。

4、因此，如何提高韵律标注数据的质检效率成为亟需解决的问题。

技术实现思路

1、本技术针对上述不足或缺点，提供了一种韵律标注数据质检方法、装置、计算机设备和存储介质，本技术实施例能够实现对韵律标注数据进行自动化质检，提高了韵律标注数据的质检效率。

2、本技术根据第一方面提供了一种韵律标注数据质检方法，在一些实施例中，该方法包括：

3、获取目标韵律标注数据；目标韵律标注数据包括语音数据和预先标注有第一韵律信息的第一文本信息；

4、对语音数据进行语音识别，得到语音数据的识别文本信息和声学特征信息；

5、根据声学特征信息在识别文本信息中标注第二韵律信息，得到第二文本信息；

6、比对第一文本信息和第二文本信息，得到第一韵律信息的位置错误率；

7、根据第一韵律信息的位置错误率确定目标韵律标注数据的机器质量检验结果。

8、在一些实施例中，声学特征信息包括时域特征信息和频域特征信息；

9、根据声学特征信息在识别文本信息中标注第二韵律信息，包括：

10、根据时域特征信息和频域特征信息确定语音数据中的静音位置和对应的静音持续时长；

11、根据语音数据中的静音位置和对应的静音持续时长在识别文本信息中标注第二韵律信息。

12、在一些实施例中，声学特征信息包括语速特征信息和语调特征信息；

13、根据声学特征信息在识别文本信息中标注第二韵律信息，包括：

14、根据语速特征信息和语调特征信息确定语音数据中的读音升降调节奏信息；

15、根据读音升降调节奏信息在识别文本信息中标注第二韵律信息。

16、在一些实施例中，目标韵律标注数据还包括语音数据对应的原始文本；

17、根据声学特征信息在识别文本信息中标注第二韵律信息之前，上述方法还包括：

18、对比原始文本和识别文本信息是否一致；

19、若一致，确定执行根据声学特征信息在识别文本信息中标注第二韵律信息的操作；

20、若不一致，确定目标韵律标注数据的机器质量检验结果为未通过机检。

21、在一些实施例中，根据第一韵律信息的位置错误率确定目标韵律标注数据的机器质量检验结果，包括：

22、判断第一韵律信息的位置错误率是否大于第一错误率阈值；

23、若是，执行预设的机器复检操作以确定目标韵律标注数据的机器质量检验结果；

24、若否，确定目标韵律标注数据的机器质量检验结果为通过机检；

25、其中，机器复检操作包括：

26、对识别文本信息进行句法分析，得到识别文本信息的句法特征信息；

27、根据句法特征信息在识别文本信息中标注第三韵律信息，得到第三文本信息；

28、比对第一文本信息和第三文本信息，得到第一韵律信息的位置错误率；

29、判断第一韵律信息的位置错误率是否大于第一错误率阈值；

30、若是，确定目标韵律标注数据的机器质量检验结果为未通过机检；

31、若否，确定目标韵律标注数据的机器质量检验结果为通过机检。

32、在一些实施例中，句法特征信息包括识别文本信息的短语结构信息和词语间依赖关系信息；

33、根据句法特征信息在识别文本信息中标注第三韵律信息，包括：

34、根据短语结构信息和词语间依赖关系信息分析得到识别文本信息的语法结构信息；

35、根据语法结构信息在识别文本信息中标注第三韵律信息。

36、在一些实施例中，目标韵律标注数据是需要质检的一批韵律标注数据中的任一条韵律标注数据；

37、根据声学特征信息在识别文本信息中标注第二韵律信息，得到第二文本信息之前，上述方法还包括：

38、获取该批韵律标注数据当前的整体错误率；

39、判断该批韵律标注数据当前的整体错误率是否大于第二错误率阈值；

40、若是，确定执行预设的机器复检操作；

41、若否，确定执行根据声学特征信息在识别文本信息中标注第二韵律信息，得到第二文本信息的操作。

42、在一些实施例中，对语音数据进行语音识别之前，上述方法还包括：

43、对第一文本信息进行句子语义困惑度分析，得到第一文本信息的语句合理度评估值；

44、判断语句合理度评估值是否超过预设评估值；

45、若是，确定目标韵律标注数据的机器质量检验结果为未通过机检；

46、若否，确定执行对语音数据进行语音识别的操作。

47、在一些实施例中，上述方法还包括：

48、响应于目标韵律标注数据的机器质量检验结果为未通过机检，对目标韵律标注数据进行人工复检。

49、本技术根据第二方面提供了一种韵律标注数据质检装置，在一些实施例中，该装置包括：

50、数据获取模块，用于获取目标韵律标注数据；目标韵律标注数据包括语音数据和预先标注有第一韵律信息的第一文本信息；

51、语音识别模块，用于对语音数据进行语音识别，得到语音数据的识别文本信息和声学特征信息；

52、标注模块，用于根据声学特征信息在识别文本信息中标注第二韵律信息，得到第二文本信息；

53、比对模块，用于比对第一文本信息和第二文本信息，得到第一韵律信息的位置错误率；

54、结果确定模块，用于根据第一韵律信息的位置错误率确定目标韵律标注数据的机器质量检验结果。

55、本技术根据第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一实施例中提供的韵律标注数据质检方法的步骤。

56、本技术根据第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中提供的韵律标注数据质检方法的步骤。

57、在本技术的上述实施例中，对于需要质检的目标韵律标注数据，目标韵律标注数据包括语音数据和预先标注有第一韵律信息的第一文本信息；先对语音数据进行语音识别，得到语音数据的识别文本信息和声学特征信息；然后根据声学特征信息在识别文本信息中标注第二韵律信息，得到第二文本信息；最后比对第一文本信息和第二文本信息，得到第一韵律信息的位置错误率，根据第一韵律信息的位置错误率来确定目标韵律标注数据的机器质量检验结果。本实施例利用语音识别等技术来实现对韵律标注数据进行自动化质检，提高了韵律标注数据的质检效率。