一种基于机器学习的自动化口译评估方法及评估系统与流程

1.本发明涉及口译评估技术领域，具体涉及一种基于机器学习的自动化口译评估方法及评估系统。


背景技术：

2.在语言类测试中，被试者通常被要求基于主题或目标语提交文本(作文任务、翻译任务)或音频资料(口译任务)，评价者根据预先制定好的标准或方案对被试者提交的内容进行人工评价。
3.口译质量评估是口译工作和教学的一个重要环节，但是，当前国内外口译质量研究主要集中于人工评估，而现有的人工评估策略难以高效地支持口译学员的训练，其原因是：
4.(1)由于大多数评价指标是采用量规(rubric)进行叙述，而在实际操作中评价者需要基于自身经验做出判断并打分，导致评价者在口译评估过程中存在评估结果波动较大的问题，在多人评估时影响评估结果的一致性。
5.(2)人工评估存在费时、低效等问题，对评价者自身会造成较大精神负荷。


技术实现要素：

6.(一)要解决的技术问题
7.本发明所要解决的技术问题在于现有人工评估存在评估结果波动较大、费时、低效、对评估者自身造成较大精神负荷的问题；鉴于此，本发明的目的在于提供一种基于机器学习的自动化口译评估方法及评估系统。
8.(二)技术方案
9.本发明通过如下技术方案实现：
10.一种基于机器学习的自动化口译评估方法，包括下述步骤：
11.s1.构建标准源语数据集，且所述标准源语数据集中包含有源语音频s-audio、源文本s-text、权威目标语音频t-audio、目标文本t-text；
12.s2.根据选择播放t-audio，被测试者进行口译练习，且在口译练习的同时采集并记录被测试者的练习音频st-audio；
13.s3.根据设定需求并使用机器学习技术对t-audio、t-text、st-audio进行信息准确度、表达流畅度、语言准确度特征的抽取和评估；
14.s4.根据评估结果计算被测试者的口译评分，并向被测试者输出评估结果及口译评分。
15.进一步的，在所述步骤s1中还包括构建语料库，所述语料库用于单独储存源文本s-text和目标文本t-text，且语料库为位于用户端的本地语料库或位于网络上的远程语料库。
16.进一步的，所述步骤s2中，采集被测试者练习音频st-audio并记录时包括：在练习
过程中，被测试者在每句结束时执行确认操作，确认后记录保存并执行断句。
17.进一步的，所述步骤s3中，包括：
18.a)使用asr技术将st-audio按照步骤s2中断句后所形成的分句转录为文本st-text；
19.b)训练语速分类模型，并使用训练好的语速分类模型对st-audio进行评估，得到每句分句的表达流利度得分；
20.c)训练文本相似度匹配模型，并使用训练好的文本相似度匹配模型对t-text和st-text进行相似度匹配，得到每句分句的信息准确度得分；
21.d)训练语法错误检测模型和命名实体识别模型，并使用训练好的语法错误检测模型对st-text进行语法错误检测，使用训练好的命名实体识别模型对t-text和st-text中具有特定意义的实体(例如，人名、地名、机构名、专有名词等)进行识别和匹配，得到每句分句的语言准确度得分。
22.进一步的，所述步骤s4中，按如下公式加权计算口译评分：
23.score＝α
·
score
{infocom}
+β
·
score
{fludel}
+γ
·
score
{tlqual}
24.α+β+γ＝1
25.其中：score
{infocom}
、score
{fludel}
、score
{tlqual}
分别代表被测试者的st-audio在信息准确度、表达流畅度、语言准确度三个指标中的得分情况，α、β、γ为权重参数，所述权重参数根据口译任务进行设置。
26.一种基于机器学习的自动化口译评估系统，包括：
27.语料处理模块；用于构建标准源语数据集，且所述标准源语数据集中包含有源语音频s-audio、源文本s-text、权威目标语音频t-audio、目标文本t-text；
28.口译练习模块；用于根据选择播放t-audio，还用于在被测试者进行口译练习时采集并记录被测试者的练习音频st-audio；
29.口译评估模块；用于根据设定需求并使用机器学习技术对st-audio进行信息准确度、表达流畅度、语言准确度特征的抽取和评估；
30.结果计算及推送模块；用于计算被测试者的口译评分，还用于向被测试者输出评估结果及口译评分。
31.进一步的，所述语料处理模块还用于构造语料库，所述语料库用于单独储存源文本s-text和目标文本t-text，且语料库为位于用户端的本地语料库或位于网络上的远程语料库。
32.进一步的，所述口译练习模块采集被测试者练习音频并记录时包括：在练习过程中，被测试者在每句结束时执行确认操作，确认后记录保存并执行断句。
33.进一步的，所述口译评估模块评估中设有已完成训练的语速分类模型、文本相似度匹配模型、语法错误检测模型和命名实体识别模型，且所述口译评估模块评估st-audio时包括：
34.a)使用asr技术将st-audio按照步骤s2中断句后所形成的分句转录为文本st-text；
35.b)使用训练好的语速分类模型对st-audio进行评估，得到每句分句的表达流利度得分；
36.c)使用训练好的文本相似度匹配模型对t-text和st-text进行相似度匹配，得到每句分句的信息准确度得分；
37.d)使用训练好的语法错误检测模型对st-text进行语法错误检测，使用训练好的命名实体识别模型对t-text和st-text中具有特定意义的实体(例如，人名、地名、机构名、专有名词等)进行识别和匹配，得到每句分句的语言准确度得分。
38.进一步的，所述结果计算及推送模块包括：
39.计算单元，按如下公式加权计算口译评分：
40.score＝α
·
score
{infocom}
+β
·
score
{fludel}
+γ
·
score
{tlqual}
41.α+β+γ＝1
42.其中：score
{infocom}
、score
{fludel}
、score
{tlqual}
分别代表被测试者的st-audio在信息准确度、表达流畅度、语言准确度三个指标中的得分情况，α、β、γ为权重参数，所述权重参数根据口译任务进行设置；
43.提醒单元，用于在计算完成后，向被测试者发送提醒通知；
44.显示单元，用于在被测试者点击提醒通知后，显示所述口译评估模块的评估结果以及所述计算单元所计算的口译评分。
45.另外，上述口译评估模块还可实现将评估结果及口译评分存储至被测试者电子档案袋中的功能。
46.(三)有益效果
47.本发明所提供的基于机器学习的自动化口译评估方法及评估系统与现有技术相比，具有以下有益效果：
48.使用者可以随时进行独立的个性化练习；
49.被测试者能够即时获取自己的口译评估反馈以及相关统计数据；
50.能够有效提升口译评估的一致性。
附图说明
51.图1是本发明基于机器学习的自动化口译评估方法流程图。
52.图2是本发明基于机器学习的自动化口译评估系统结构图。
具体实施方式
53.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
54.实施例一
55.请参阅图1所示，在本发明实施例中提供了一种基于机器学习的自动化口译评估方法，主要包括如下步骤：
56.s1.构建标准源语数据集，且标准源语数据集中包含有源语音频s-audio、源文本s-text、权威目标语音频t-audio、目标文本t-text；
57.具体地，本步骤还包括构建语料库，所述语料库用于单独储存源文本s-text和目标文本t-text，且语料库为位于用户端的本地语料库或位于网络上的远程语料库。
58.s2.根据选择播放t-audio，被测试者进行口译练习，且在口译练习的同时采集并记录被测试者的练习音频st-audio；
59.具体地，本步骤是对被测试者口译练习音频的具体采集及记录过程。被测试者选取相应目标语音频t-audio，并进行播放；播放后，被测试者进行口译练习，在练习过程中，被测试者在每句结束时执行确认操作，确认后记录保存并执行断句，以此获得口译分句，并将每句口译分句均保存为音频st-audio。
60.s3.根据设定需求并使用机器学习技术对t-audio、t-text、st-audio进行信息准确度、表达流畅度、语言准确度特征的抽取和评估；
61.具体地，本步骤进行特征抽取和评估的方式如下：
62.a)使用asr技术将st-audio按照步骤s2中断句后所形成的分句转录为文本st-text；
63.b)训练语速分类模型，并使用训练好的语速分类模型对st-audio进行评估，得到每句分句的表达流利度得分；
64.c)训练文本相似度匹配模型，并使用训练好的文本相似度匹配模型对t-text和st-text进行相似度匹配，得到每句分句的信息准确度得分；
65.d)训练语法错误检测模型和命名实体识别模型，并使用训练好的语法错误检测模型对st-text进行语法错误检测，使用训练好的命名实体识别模型对t-text和st-text中具有特定意义的实体(例如，人名、地名、机构名、专有名词等)进行识别和匹配，得到每句分句的语言准确度得分。
66.s4.根据评估结果计算被测试者的口译评分，并向被测试者输出评估结果及口译评分；
67.具体地，在计算被测试者的口译评分时，按如下公式进行加权计算：
68.score＝α
·
score
{infocom}
+β
·
score
{fludgl}
+γ
·
score
{tlqual}
69.α+β+γ＝1
70.其中：score
{infocom}
、score
{fludel}
、score
{tlqual}
分别代表被测试者的st-audio在信息准确度、表达流畅度、语言准确度三个指标中的得分情况，α、β、γ为权重参数，且权重参数根据口译任务进行设置；优选的，权重参数可以根据口译任务(例如：同声传译、交传、对话口译)的不同进行不同区分。
71.实施例二
72.请参阅图2所示，在本发明实施例中提供了一种基于机器学习的自动化口译评估系统，主要包括：
73.语料处理模块10；用于构建标准源语数据集，且标准源语数据集中包含有源语音频s-audio、源文本s-text、权威目标语音频t-audio、目标文本t-text；还用于构造语料库，所述语料库用于单独储存源文本s-text和目标文本t-text，且语料库为位于用户端的本地语料库或位于网络上的远程语料库；
74.口译练习模块20；用于根据选择播放t-audio，还用于在被测试者进行口译练习时采集并记录被测试者的练习音频st-audio；
75.口译评估模块30；用于根据设定需求并使用机器学习技术对st-audio进行信息准确度、表达流畅度、语言准确度特征的抽取和评估；
76.结果计算及推送模块40；用于计算被测试者的口译评分，还用于向被测试者输出评估结果及口译评分。
77.具体地，结果计算及推送模块包括：
78.计算单元41，用于评估结果加权计算被测试者的口译评分；
79.提醒单元42，用于在计算完成后，向被测试者发送提醒通知；
80.显示单元43，用于在被测试者点击提醒通知后，显示口译评估模块的评估结果以及计算单元所计算的口译评分。
81.具体地，在实现本实施例系统的运行时，按照上述实施例一中所公开的方法运行。
82.综上所述，本发明提供的基于机器学习的自动化口译评估方法及评估系统，一方面，能够辅助教师和学员进行口译训练，提升口译评估的正确性和一致性；另一方面，能够辅助人工评估，提升评估效率、降低评估者负荷。
83.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。