一种演唱评分中歌词发音的处理及测评方法及系统与流程

本发明属于人工智能或语音识别技术领域，特别是一种演唱评分中歌词发音的处理及测评方法。

技术背景

目前，唱歌评分系统多采用音准、节奏甚至包括情感等维度进行评分运算，受到网络连接的要求或者语音识别技术限制的影响，很少有带有歌词发音识别的演唱评分系统。针对现有中小学音乐测评大纲要求，演唱者歌词演唱需要准确、清晰，所以缺少歌词测试维度的评分系统不能用于实际教学考核。

歌词评分难点主要是语音识别系统需要庞大的数据服务器提供校对服务，并且普通的语音识别系统对语义的解析(翻译成文字都正确的一句话)需要一定的计算时间，很难做到实时完成对正在演唱的歌词中的每一个字做正确的校对。中国专利cn200910202012公开了一种演唱打分系统，该系统将歌词中的字进行语音识别评分，其通过一段歌词的每个字转化成数字信号后，采用差值算数平均数的算法，得到一个抽象的得分，再通过人工大数据校对(训练)，将得分转化为百分制，此算法因为并没有去识别每一个字的发音准确度，而是通过差值的方式去评判歌曲整体歌词发音平稳度，因此并不精确，对升降调的演唱区分度不高。

技术实现要素：

本发明的目的在于提供一种识别速度快、准确度高的演唱评分中歌词发音的处理及测评方法。

实现本发明目的的技术解决方案为：一种演唱评分中歌词发音的处理及测评方法，包括以下步骤：

首先，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到musicxml乐谱文件；解析musicxml乐谱文件，提取出歌词拼音信息，并根据语音测评sdk要求进行处理得到序列化的歌词数据；

其次，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，根据返回的信息确定歌词得分；

最后，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。

作为一种具体示例，所述根据语音测评sdk要求进行处理得到序列化的歌词数据，具体如下：

语音测评sdk要求歌词拼音带有声调数据，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；

将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为utf-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。

作为一种具体示例，所述根据返回的信息确定歌词得分，具体为：

将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，包括时长、朗读是否正确、是否有遗漏，采用5分制的评分标准为：

歌词得分＝(发音准确歌词个数*5)/歌词总个数。

作为一种具体示例，所述演唱得分采用不含歌词评分的演唱评测系统获得，具体如下：

首先，将音乐通过打谱软件制作简谱，并导出xml数据文件，解析xml文件并将音乐数据转化成标准音频数字信息；同时将音频进行降噪处理，并设置录音采样率、采样位和单双声道；

其次，将录音得到的演唱音频文件与上述标准音频数字信息进行多方位对比，通过包括音高/音准，节奏/节拍的多个维度进行综合评分，得到演唱得分。

作为一种具体示例，所述综合演唱得分，计算公式如下：

score＝(scorea/totalscorea)*(1-factorb)+(scoreb/totalscoreb)*factorb

其中，score表示综合演唱得分，scorea表示演唱得分，scoreb表示歌词评分；factorb表示歌词得分占比，演唱评分占比为1-factorb；totalscorea表示演唱得分的满分，totalscoreb表示歌词得分的满分。

一种演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，其中：

所述歌词数据处理模块，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到musicxml乐谱文件；解析musicxml乐谱文件，提取出歌词拼音信息，并根据语音测评sdk要求进行处理得到序列化的歌词数据；

所述语音测评模块，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，根据返回的信息确定歌词得分；

所述综合演唱评分模块，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。

作为一种具体示例，所述歌词数据处理模块中设有解析乐谱文件单元，该解析乐谱文件单元功能如下：

根据语音测评sdk要求，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；

将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为utf-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。

作为一种具体示例，所述语音测评模块中设有歌词得分计算单元，歌词得分计算单元采用5分制的评分标准，计算公式如下：

歌词得分＝(发音准确歌词个数*5)/歌词总个数

发音准确歌词个数的判断指标，包括时长、朗读是否正确、是否有遗漏。

作为一种具体示例，所述综合演唱评分模块中设有综合演唱得分计算单元，计算公式如下：

score＝(scorea/totalscorea)*(1-factorb)+(scoreb/totalscoreb)*factorb

其中，score表示综合演唱得分，scorea表示演唱得分，scoreb表示歌词评分；factorb表示歌词得分占比，演唱评分占比为1-factorb；totalscorea表示演唱得分的满分，totalscoreb表示歌词得分的满分。

作为一种具体示例，所述打谱软件采用musescore。

本发明与现有技术相比，其显著优点为：(1)直接将歌词发音转化成数字信号，与标准语言数字信号进行对比，每一首歌曲都有一个数据量很小的标准数字信号数据，易于实现，对硬件要求低；(2)歌词识别不涉及语意识别和翻译，歌词发音识别效率和准确度均较高；(3)中小学艺术测评过程中，在音乐考评环境下，实现演唱歌曲自动评分，减少了人工评分的人力成本，促进了信息化教学的发展。

附图说明

图1是本发明演唱评分中歌词发音的处理及测评方法的流程图。

图2是本发明演唱歌曲数据信息示意图。

图3是演示一首歌曲的歌词部分转化成拼音后的格式示意图。

图4是综合演唱评分模块歌词评分占比示意图。

具体实施方式

结合图1，本发明演唱评分中歌词发音的处理及测评方法，包括以下步骤：

首先，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到musicxml乐谱文件；解析musicxml乐谱文件，提取出歌词拼音信息，并根据语音测评sdk要求进行处理得到序列化的歌词数据；

其次，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，根据返回的信息确定歌词得分；

最后，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。

作为一种具体示例，所述根据语音测评sdk要求进行处理得到序列化的歌词数据，具体如下：

语音测评sdk要求歌词拼音带有声调数据，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；

将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为utf-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。

作为一种具体示例，所述根据返回的信息确定歌词得分，具体为：

将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，包括时长、朗读是否正确、是否有遗漏，采用5分制的评分标准为：

歌词得分＝(发音准确歌词个数*5)/歌词总个数。

作为一种具体示例，所述演唱得分采用不含歌词评分的演唱评测系统获得，具体如下：

首先，将音乐通过打谱软件制作简谱，并导出xml数据文件，解析xml文件并将音乐数据转化成标准音频数字信息；同时将音频进行降噪处理，并设置录音采样率、采样位和单双声道；

其次，将录音得到的演唱音频文件与上述标准音频数字信息进行多方位对比，通过包括音高/音准，节奏/节拍的多个维度进行综合评分，得到演唱得分。

作为一种具体示例，所述综合演唱得分，计算公式如下：

score＝(scorea/totalscorea)*(1-factorb)+(scoreb/totalscoreb)*factorb

其中，score表示综合演唱得分，scorea表示演唱得分，scoreb表示歌词评分；factorb表示歌词得分占比，演唱评分占比为1-factorb；totalscorea表示演唱得分的满分，totalscoreb表示歌词得分的满分。

一种演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，其中：

所述歌词数据处理模块，将标准录音音频文件通过打谱软件导出音频xml文件，同时将歌词转化成拼音并保存在该xml文件中得到musicxml乐谱文件；解析musicxml乐谱文件，提取出歌词拼音信息，并根据语音测评sdk要求进行处理得到序列化的歌词数据；

所述语音测评模块，根据序列化的歌词数据，通过正则表达式解析每一个字的发音，将发音数据放入语音测评sdk中，语音测评sdk返回该发音数据的信息，根据返回的信息确定歌词得分；

所述综合演唱评分模块，将演唱得分与歌词得分综合进行评分，调整两部分得分在测评过程中的占比，歌词评分占比相对于歌词得分为指数函数关系，最后得到综合演唱得分。

作为一种具体示例，所述歌词数据处理模块中设有解析乐谱文件单元，该解析乐谱文件单元功能如下：

根据语音测评sdk要求，将所有歌词转化成最多四种可能声调的数据集，有一种声调对应准确即认定歌词发音准确；

将上述歌词转化后的信息记录在一个数据文件中，要求该数据文件类型编码格式为utf-8，歌词拼音之间用“|”隔开，用正则表达式的方式去拆分每一个歌词信息。

作为一种具体示例，所述语音测评模块中设有歌词得分计算单元，歌词得分计算单元采用5分制的评分标准，计算公式如下：

歌词得分＝(发音准确歌词个数*5)/歌词总个数

发音准确歌词个数的判断指标，包括时长、朗读是否正确、是否有遗漏。

作为一种具体示例，所述综合演唱评分模块中设有综合演唱得分计算单元，计算公式如下：

score＝(scorea/totalscorea)*(1-factorb)+(scoreb/totalscoreb)*factorb

其中，score表示综合演唱得分，scorea表示演唱得分，scoreb表示歌词评分；factorb表示歌词得分占比，演唱评分占比为1-factorb；totalscorea表示演唱得分的满分，totalscoreb表示歌词得分的满分。

作为一种具体示例，所述打谱软件采用musescore。

本发明采用自定义的歌词转化方法，将转化后的拼音加声调数据，通过第三方语音评测sdk给每一个字的发音准确性打分，再结合演唱歌曲评分系统进行综合打分，最终得到含有歌词测评维度的演唱总得分，不涉及语意识别和翻译，具有识别速度快、准确度高的优点。

下面结合附图及具体实施例对本发明做进一步详细说明。

实施例

本实施例针对中小学艺术测评过程中，在音乐考评环境下，实现演唱歌曲自动评分，采用以下具体方案：

本发明采用自定义的歌词转化方法，将转化后的拼音加声调数据，通过第三方语音评测sdk给每一个字的发音准确性打分，再结合演唱歌曲评分系统进行综合打分，最终得到含有歌词测评维度的演唱总得分。

上述演唱歌曲评分系统用于确定演唱得分，分为三大模块：

1、预处理模块：将音乐通过打谱软件制作简谱，并导出xml数据文件，程序解析xml文件并将音乐数据转化成标准数字信息，方便后期校对；同时将音频进行降噪处理；还有就是录音控制，设置采样率和采样位和单双声道等，为下面评分系统做准备。

2、多维度打分模块：将录音得到的演唱音频文件与上面预处理得到的标准音频数字信息进行多方位对比，通过音高/音准，节奏/节拍等多个维度进行综合评分。

3、综合评分系统：将上述涉及到的多维度评分的占比作为可变参数，音乐教研或老师可以根据不同地区音乐教学要求动态调整评分规则。

本发明演唱评分中歌词发音的处理及测评系统，包括歌词数据处理模块、语音测评模块、综合演唱评分模块，具体如下：

1歌词数据处理模块

a、将标准录音音频文件(wav)通过专业打谱软件musescore导出音频xml文件，手动将歌词转化成拼音并保存在xml文件中，如图2。

b、解析musicxml文件，将歌词拼音信息取出并根据语音测评sdk要求对数据进行处理，例如sdk要求歌词拼音要带有声调数据，比如“欢乐”需要转化成“huan1le4”，考虑到演唱过程中歌词演唱与正常朗读的声调有差别，所以这一步需要将所有歌词转化成最多四种可能声调的数据集，例如“欢”字演唱的时候声调最多是一声或三声，转化成[huan1，huan2]，例如“乐”字演唱的时候可能是一声或四声，转化成“[le1，le4]”测评过程中有一种声调对应准确即认定歌词演唱发音准确，并将这些歌词转化后的信息记录在一个数据文件中，要求数据文件类型编码格式一定要是utf-8，歌词拼音之间用“|”隔开，作用是方便程序用正则表达式的方式去拆分每一个歌词信息。例如我们将《欢乐颂》歌曲歌词转化成序列化的数据，如图3。

2语音评测模块

c、每个发音数据都是独一无二的发音编码，将如图3中的歌词数据通过程序正则表达式解析每一个字的发音，将这个发音数据放入第三方语音识别sdk中，sdk会返回这个发音数据的信息(比如时长、朗读是否正确、是否有遗漏等)，再通过这些信息给出一个评分(满分为5分，评分标准按照发音准确数/歌词个数再转化成5分制)，得到整个歌曲歌词的最终得分。比如通过演唱上面的欢乐颂歌词，获得歌词演唱评分。结果如下表1。

表1

3综合演唱评分模块

d、将演唱得分scorea与歌词评分scoreb综合进行评分，分别设定两部分评分在整体测评过程中的占比。例如歌词得分占比factorb，演唱评分占比(1-factorb)，总评分算法：(scorea/totalscorea)*(1-factorb)+(scoreb/totalscoreb)*factorb。

totalscorea是演唱得分的满分，totalscoreb是歌词得分的满分。

为了保持歌词评分的主观一致性，歌词评分占比分数factorb相对于歌词测评分数scoreb应为指数函数关系，即歌词测评分数越高，实际占比分数越高，测评分越低，实际分占分数越低，如图4所示。例如，假设歌词评分占比为40分，上面演唱的《欢乐颂》演唱评分为90，歌词评分为4.09，综合评分为(90/100)*(100-40)+24＝78分。本发明方法不涉及语意识别和翻译，具有识别速度快、准确度高的优点。