专利名称：运用计算机对口语翻译质量进行评分的方法
技术领域：
本发明提出了一种运用计算机对口语翻译质量进行评分的方法，属于语音识别、
语音信号处理、计算机辅助语言学习领域。具体是指运用计算机对口语翻译题型的待测试 人员进行录音，然后通过计算机处理，得到口语翻译质量的评分和反馈意见。
背景技术：
社会生活的信息化和经济的全球化，使英语的重要性日益突出。英语作为最重要
的信息载体之一，已成为人类生活各个领域中使用最广泛的语言。许多国家在基础教育发
展战略中，都把英语教育作为公民素质教育的重要组成部分，并将其摆在突出的地位。 目前，国内采用最多的口语学习形式是面对面的课堂教学，由于英语老师的缺乏，
学生很难获得一对一的英语学习环境。面对这种情况，国内国外多家单位开发了使用计算
机进行英语口语发音诊断的系统，这些系统一般判断一句话有没有说，发音是否流利，发音
是否正确，但是这些技能是比较初级的，很难满足英语学习者越来越高的要求。由于开放式
题型比高度结构化的客观题更能了解被测试人员的思维过程和语言能力，在相应的决策过
程中也能提供一些更有用的信息，而且开放式题型也较少的受到应试教育、考试作弊的影
响，在英语学习和考核上具有很积极的意义。近几年来，使用计算机进行文本作文判分开始
流行，但是还没有出现对口语作文进行评分的系统。为此，本发明针对口语考试和日常英语
学习中常用的一种题型，口语翻译题型，进行计算机评分，这个相比与其他软件有了一个很
大的提高，因为除了可以对发音者进行发音流利，发音准确进行判断，而且还可以发音者对
词汇使用、语法使用、整体翻译情况进行评判，并且可以给出反馈意见。这个无论是国内还
是国外都是没有先例的。
发明内容
针对英语口语考试和教学的不足之处，本发明的目的是提供一种交互性好、不受 时间地点限制的运用计算机对口语翻译质量进行评分的方法。 为达成所述目的，本发明提供运用计算机进行英语口语翻译质量评分的方法，本 发明由两个部分组成 训练部分训练部分包括训练声学模型，语言模型，评分模型，和评分特征到最终 评分的标准调整模型。
评分部分运用数字信号处理理论和计算机语言处理技术对被测试人的口语翻译
录音进行评分，使得机器给出的最终评分尽可能的接近专家的人工评分。
本发明是通过以下技术方案实现的 1)收集并建立针对被测试人员人群特点的数据库； 2)在数据库基础上使用大词汇连续语音声学模型训练平台，得到声学模型； 3)对每个翻译题型收集对应的专家知识和翻译文本语料，用以生成识别系统需要
的语言模型；
4)对每个翻译题型收集对应的文本语料，组成口语翻译评估数据库，然后生成评分需要的模型； 5)使用已有考题的专家打分知识进行机器打分标准调整，得到标准调整模型，用于提高系统性能； 6)对被测试人员的语音进行语音识别，得到识别结果；
7)用识别结果从各个模型库中获取口语翻译质量评分特征； 8)综合所有评分特征，通过使用标准调整模型，获得被测试人员的语音最终评分，并且给出反馈意见。 本发明的方法，可以用于运用口语考试或者口语训练软件中的口语翻译、看图说话、看视频说话和相似题型的口语评分；可以运用于汉英、英汉、汉法等各种语言对的口语质量评分。 本发明的有益效果判断计算机考试、评测系统的性能好坏，按照国际上通用的惯例，是通过判断计算机给出的评分和专家给出的人工分之间相关性来判定。由于专家之间也存在一定的误差，所以一般采用3-5个专家判分的平均分作为人工分。
在测试数据上，对7位专家的人工分数据库上经过统计，不同专家之间相关性最小的有0. 80，最大的有0. 92。计算机口语翻译质量评分系统给出的评分与专家平均分的相关性达到0. 90，因此可以看出机器打分的效果已经基本达到与专家打分接近的水平。
机器评测不仅可以替代专家的评分，还可以在评测过程中给出被测试人员发音、词汇使用、句型使用的一些意见，指导被测试人员矫正。
图1为本发明实施例的评分方法的系统框图。
图2为本发明实施例的流程图。
具体实施例方式
下面结合附图和具体实施例对本发明做进一步详细描述。
术语解释 语音识别语音识别技术是让机器通过人工智能相关的一些技术，把语音信号转变程对应的文本或者命令的一个技术，语音识别技术所涉及的领域包括信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等。 BLEU :机器翻译评测领域目前使用最为广泛的自动评测方法是BLEU(BilingualEvaluation Understudy)，就基于n元匹配的这一类方法中的典型代表，由IBM于2002年提出。类似的方法还包括NIST方法，该方法由美国标准和技术研究所提出并命名，它在BLEU方法的基础上，综合考虑了每个n元词的权重，对于那些在参考译文中出现次数更少的词赋给更高的权重以体现其所包含的信息量。 如图1示出的本发明实施例的评分方法的系统框图，实现本实施例的口语翻译评分系统运行于微软视窗操作系统，包括口语翻译专家知识1 口语翻译考生文本2、翻译文本数据库3、语言模型4、评分特征模型5、标准调整模块6、语音特征提取模块7、语音识别模块8、评分特征提取模块9、最终评分10、声学模型11、发音词典12、结果反馈模块13。被测
5试人员口语翻译语音被录音后，首先进入语音特征提取模块7提取分帧的特征，该语音特 征包含能量和MFCC特征(美尔倒谱系数，是受人的听觉系统研究成果推动而导出的声学特 征)，每帧共39维特征；然后进入语音识别模块8，根据被测试人员的性别和当前口语翻译 题型，选择使用的声学模型11、发音词典12、语言模型4，利用语音识别引擎对特征序列进 行识别；然后进去评分特征提取模块9，该评分特征提取模块9提取评分特征模型5对应的 各个特征当前识别结果的标准答案匹配情况、BLEU模型匹配情况、评分特征模型5匹配情 况；最后进入标准调整模块6，根据上个模块的评分特征，使用标准调整模型6和参数，得到 被测试人员的语音最终评分10，并结果反馈模块13把被测试人员的发音、词汇使用、句型 使用的一些意见反馈出来。还包括将得到的声学模型11、语言模型4和评分特征模型5保 存到系统中，每次使用只需要重新装载现有模型，不需要重新训练模型。
完整的流程由两个部分组成 训练部分训练部分包括训练声学模型11、语言模型4、评分特征模型5和评分特 征到最终评分10的标准调整模型6。
评分部分运用数字信号处理理论和计算机语言处理技术对被测试人的口语翻译 录音进行评分，使得系统给出的最终评分10尽可能的接近专家的人工评分。
本发明是通过以下技术方案实现的 口语翻译质量评分的方法包括一个模型训练部分，训练过程包括以下步骤
(a)建立针对被测试人员人群特点的语音数据库使用策略如下
a. 1分性别，按照对应被测试人员人群的年龄分布寻找一批年龄相近的的人群；
a. 2按照音素平衡的原则设计录音样本； 3.3指定人员按照录音文本进行录音，并将语音与对应的文本建立关联，语音文件 名和文本文件取相同的文件名，不同的文件后缀，这样可以迅速从语音文件获得其对应的 文本内容； (b)使用连续语音声学模型训练平台训练得到声学模型11 : b. 1对每条训练语音提取12阶Mel倒谱、归一化能量构成共13维作为基本特征， 然后通过一阶和二阶差分得到39维特征； b. 2通过强制对齐算法和前后向算法估计，得到单音子声学模型； b. 3通过设计决策树和前后向算法，训练得到三音子声学模型； b.4通过区分度模型训练算法，训练得到具有区分度信息的三音子声学模型； (c)使用话题相关的N元语言模型4和话题无关的N元语言模型4插值提高口语
翻译质量评测性能。对每个翻译题型收集对应的文本语料，用以生成识别需要的语言模型
4 : c. 1每个翻译题型收集对应的文本语料训练得到对应的三元语言模型4，文本语 料来自翻译文本数据库3; c. 2为了增加对话题外内容的识别兼容性，采用通用英语文本训练得到一个三元 语言模型4 ; c. 3每个翻译题型对应的三元语言模型4通过与通用三元语言模型4插值得到对 应翻译题型的最终三元语言模型4 ; (d)对每个翻译题型收集对应的文本语料，组成口语翻译评估数据库，然后生成评分需要的特征模型5: d. 1 口语翻译标准答案库的建立对于翻译题中的每个意群，通过综合N个专家的翻译文本，得到当前意群的标准答案网络和这个网络的权重； d. 2 口语翻译标准答案BLEU模型库的建立通过综合N个专家的翻译文本，建立一个BLEU模型库，翻译文本来自翻译文本数据库3 ; d. 3 口语翻译文本矢量分级模型库的建立通过综合N个专家的翻译文本的口语翻译专家知识1和各个等级原始考生的口语翻译文本2，建立一个各等级的词汇语法矢量库，专家翻译文本的口语翻译专家知识1和各级考生口语翻译文本2来自翻译文本数据库3 ; (e)评分标准调整模型6标准调整库的建立使用已有考题的专家打分知识进行机器打分标准调整，用于提高系统性能，对每类口语翻译题型收集M道被考生试题，通过L个专家给出评分，并将专家的平均分作为每道题的人工评分，然后引入基于预测的方法，建立各个参数到人工分数的映射关系，并将得到的参数保存，作为各个参数最后机器评分的映射模型，这个过程是一个标准调整的过程。这些参数和模型将起到调整和校正的作用。
英语口语翻译评分系统，该系统包括一个评分部分，评分过程包括以下步骤[OO52] (f)语音识别 f. 1根据被测试人的性别和题型，选择对应的发音词典、声学模型、语言模型；
f. 2通过大词汇连续语音识别器得到识别结果； f. 3识别器同时输出结果中每个单词的可信度，起始和结束时间，以及这个单词每个音素的可信度，起始和结束时间。对于识别器输出的识别结果有拒识功能，由于识别架构的语言模型比较偏向正确翻译内容，所以对于翻译错误、乱翻译的情况，有时会出现识别成正确翻译词汇，造成评分的虚高。因此，系统使用了拒识功能，使用识别的置信度技术来抑制这种情况的发生。
(g) 口语翻译评分特征的获取 g. 1通过识别结果与d. 1所指标准答案库的匹配度进行加权得到匹配程度，将加权得到匹配程度作为系统的一个特征；所述识别结果与标准答案的匹配度是对翻译题型的每个意群，首先将多位专家翻译内容生成一个标准答案网络，在测试过程中使用动态匹配的技术，查找口语翻译识别结果与这个意群最匹配的内容，将匹配程度作为系统的一个特征。 g. 2通过识别结果与d. 2所指BLEU模型进行匹配，计算BLEU模式下的匹配程度，
将BLEU模式下的匹配的程度作为系统的一个特征；所述识别结果与标准答案得到的BLEU
模型，计算BLEU模式下的匹配程度是对每个翻译题型，根据专家知识整理出来的标准答
案，训练出BLEU模型，然后根据口语翻译的识别结果，计算BLEU模型匹配程度。 g. 3通过识别结果与d. 3所指各个等级翻译文本得到的词汇语法矢量库模型进行
分级判别，根据分级情况和分级距离计算出匹配程度，将分级情况和分级距离的匹配程度
作为系统的一个特征；所述识别结果与各个等级翻译文本得到的词汇语法矢量模型是根
据口语翻译专家知识1和各个等级考生翻译出来的文本2，生成各个等级的词汇语法矢量，
然后根据口语翻译的识别结果，选择一个最匹配的矢量，同时给出匹配程度。 g. 4通过计算识别结果的语速、发音质量得到当前被测试人员的分音流利情况，将分音流利情况作为系统的一个特征；被测试人员发音质量、发音流利性是在标准答案网络 匹配内容上进行度量，在与正确翻译无关内容上不进行评判，所以发音质量和流利性只是 针对具备一定口语翻译能力的被测试人员。 综合g提到的特征，通过使用e得到的标准调整模型，获得最终评分，并且给出反 馈意见。 图2是本实施例的流程图，如图所示，包括以下步骤 步骤100，被测试人员根据显示的文字或者一组图片(视频)进行口头翻译。
步骤101，进行语音信号采集，将被测试人员发音的模拟信号转变为数字信号，并 保存在计算机中。 步骤102，对语音的数字信号分帧处理，并且每帧提取能量，MFCC参数共39维特 征。在本实施例中，此特征采用现有技术手段提取，如英国剑桥大学发布的Hidden Makov Model Toolkit 3.4版本中有工具HCopy提取39维特征。当然以上信息的提取也可用所属 技术领域人员知悉的其他方法获取。 步骤103，根据被测试人员的性别和当前口语翻译题型，选择使用的语言模型4 和声学模型ll，利用语音识别引擎对特征序列进行识别，识别得到一串单词，同时生成 每个单词的置信度，起始终止时间，以及单词中每个音素的置信度，起始终止时间。大词 汇连续语音识别可以通过现有技术手段获得，如通过英国剑桥大学发布的Hidden Makov ModelToolkit 3. 4版本中有工具HVite或者HDecode，或者通过发明人之一提出的专利号 00124971. 1的"汉语连续语音识别的集成预测搜索方法"进行。 步骤104，根据步骤103得到的识别结果，使用标准答案库、BLEU模型库、各 级词汇语法矢量库得到评分所需要的各个特征。标准答案网络可以采用有限状态机网 络进行描述。BLEU模型及其算法采用P即ineni， K. ， Roukos， S. ， Ward, T. ， and Zhu， W.J. (2002). 〃 BLEU : a method forautomatic evaluation of machine translation" in ACL—2002 :40th An皿almeeting of the Association for Computational Linguistics pp. 311-318。词汇语法矢量库可以采用类似Burstein， J. C. (2001b， April), A utomated essayevalimtion with natural language processing. P即er presented at the an 皿almeeting of the National Council of Measurement in Education,Seattle,WA.提 到的方法。当然以上信息的提取也可用所属技术领域人员知悉的其他方法获取。
步骤105，根据步骤104得到的特征，使用相应的预测模型计算得到最终的评分。 预测模型可以是线性回归预测模型、SVM预测模型、人工神经网络预测模型或者其他所属技 术领域人员知悉的方法实现。 步骤106，根据以上结果对本次测试做出调整，评判，并把发音、词汇使用、句型使 用的一些意见反馈给被测试人员。 以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
8
权利要求
一种运用计算机对口语翻译质量进行评分的方法，其特征在于综合使用计算机语音识别技术、语音发音评估技术、文本翻译质量确认技术得到被测试人员的口语翻译质量，同时给出反馈意见，包含步骤如下步骤1收集并建立有被测试人员人群特点的数据库；步骤2在数据库基础上使用大词汇连续语音声学模型训练平台，得到声学模型；步骤3对每个翻译题型收集对应的专家知识和翻译文本语料，用以生成识别系统需要的语言模型、评分特征模型和标准调整模型；步骤4使用上述模型，综合语音识别器的输出识别结果及语言学处理机制，输出被测试人员口语翻译质量的得分，并给出反馈意见。
2. 根据权利要求l所述的方法，其特征在于还包括将得到的声学模型、语言模型和评 分特征模型保存到系统中，每次使用只需要重新装载现有模型，不需要重新训练模型。
3. 根据权利要求1所述的方法，其特征在于建立针对被测试人员人群特点的语音数 据库使用策略如下分性别，按照被测试人员年龄分布寻找一批合适的人群并根据设计好 的音素平衡的录音脚本进行语音录制。
4. 根据权利要求2所述的方法，其特征在于获得语言模型的步骤如下 步骤311 :每个翻译题型收集话题相关的文本语料，训练得到对应的N元语言模型； 步骤312 :采用通用英语文本训练得到通用N元语言模型，用于增加对话题外内容的识别兼容性；步骤313 :每个翻译题型对应的N元语言模型通过与通用N元语言模型插值得到对应翻译题型的最终语言模型。
5. 根据权利要求2所述的方法，其特征在于获得评分特征模型是使用多个评分特征 融合，获取多个评分特征具体步骤如下步骤321 :将识别结果与标准答案网络的匹配度加权得到匹配程度；步骤332 :将识别结果与标准答案得到的BLEU模型，计算BLEU模式下的匹配程度； 步骤323 :将识别结果与各个等级翻译文本得到的词汇语法矢量模型进行分级判别， 根据分级情况和分级距离计算出匹配程度；步骤324 :计算识别结果的发音准确性、发音流利性，得到当前被测试人员发音情况。
6. 根据权利要求5所述的方法，其特征在于所述识别结果与标准答案网络的匹配度是首先将多位专家翻译内容生成一个标准答案网络，在测试过程中使用动态匹配的技术， 查找口语翻译识别结果与翻译题型的这个意群最匹配的内容，将匹配程度作为系统的一个 特征。
7. 根据权利要求5所述的方法，其特征在于所述识别结果与标准答案得到的BLEU模 型计算BLEU模式下的匹配程度是对每个翻译题型，根据专家知识整理出来的标准答案， 训练出BLEU模型，然后根据口语翻译的识别结果，计算BLEU模型匹配程度。
8. 根据权利要求5所述的方法，其特征在于所述识别结果与各个等级翻译文本得到的词汇语法矢量模型是根据专家知识和各个等级考生翻译出来的文本，生成各个等级的词汇语法矢量，然后根据口语翻译的识别结果，选择一个最匹配的矢量，同时给出匹配程 度。
9. 根据权利要求1所述的方法，其特征在于，还包括为了提高系统性能使用已有考题的专家打分知识进行机器打分标准调整，对所述每类口语翻译题型收集M道被被测试人员 试题，通过L个专家给出评分，并将专家的平均分作为每道题的人工评分，然后引入基于预 测的方法，建立各个参数到人工分数的映射关系，并将得到的参数保存，作为各个参数最后 机器评分的映射模型，这个过程是一个标准调整的过程。
10. 根据权利要求1所述的方法，其特征在于对于语音识别器输出的识别结果具有拒识功能，使用识别的置信度技术来抑制翻译错误、乱翻译识别成正确翻译词汇。
11. 根据权利要求1所述的方法，其特征在于所述被测试人员发音质量、发音流利性 是在标准答案网络匹配内容上进行度量，用于针对具备一定口语翻译能力的被测试人员。
12. 如权利要求1-11所述的方法，可以用于运用口语考试或者口语训练软件中的口语 翻译、看图说话、看视频说话和相似题型的口语评分；还可以运用于汉英、英汉、汉法及各种 语言对的口语质量评分。
全文摘要
本发明一种运用计算机对口语翻译质量进行评分的方法综合使用计算机语音识别、语音发音评估、文本翻译质量确认技术得到被测试人员的口语翻译质量，包含建立针对被测试发音人群特点的数据库，然后在此数据库基础上使用大词汇连续语音声学模型训练平台训练得到声学模型，然后对每个翻译题型收集对应的专家知识和翻译文本语料，以制成识别需要的语言模型、评分模型、标准调整模型；最后综合语音识别器的输出结果及语言学处理机制，输出被测试人员口语翻译质量的得分，并给出反馈意见。本发明机器评测的效果已经基本达到与专家打分接近的水平，同时还可以在评测过程中给出被测试人员发音、词汇使用、句型使用的一些意见，指导被测试人员矫正。
文档编号G09B7/02GK101739867SQ20081022667
公开日2010年6月16日 申请日期2008年11月19日 优先权日2008年11月19日
发明者徐波, 李鹏, 梁家恩, 王士进, 高鹏 申请人:中国科学院自动化研究所