专利名称：自动化英语口语评测学习系统的制作方法
技术领域：
本发明涉及模式识别、数字信号处理及语音信号处理领域。具体是运用计算 机对英语口语测试或学习人员的语音信号进行分析处理，然后进行自动评分、指 出错误发音并针对错误发音进行指导学习的系统。
背景技术：
随着全球经济一体化的发展，英语作为国际通用语言，越来越显示出其重要 的作用。各行业对人才的英语综合能力需求日益迫切。然而，中国目前的英语教 学不能够很好地满足形势发展的需要，特别是学生的英语听说能力有待于进一步 提高。由于英语口语老师的缺乏，英语学习者很难获得一对一的英语学习环境， 从而难以根据自身的特点进行英语口语的学习。
目前，国内采用最多的口语学习形式是面对面的课堂授课。该考试形式最大 的优点是能够在学生之间、学生与老师之间开展互动交流，因而是最具真实性的 口语学习方式，具有较好的学习效果。另外老师能够直接观察到学生的表情和体 态语言，并且在发现学生声音太小或者说得太少等情况下可以对学生进行直接干 预。确保学生在真实的语境中发挥自己的口语水平，老师可以针对学生的口语水 平做出及时的反馈，利于互动交流，能够较为真实的锻炼学生的交际能力。但是 该形式难以适应目前越来越多的并且趋向个性化的英语口语学习的需求。由于教 师资源有限，无法为每位学生都提供老师的单独指导，同时受限于课堂形式、无 法随时随地进行英语口语学习，也不适用于偏远地区的英语口语教学。
发明内容
本发明针对现有英语口语教学和评测的不足之处，设计开发了交互性好、不 受地点限制，又能避免教师资源不足、解决需要大量人力等实用性方面局限性问 题的自动化英语口语评测学习系统。
本发明是通过以下技术方案实现的
自动化英语口语评测学习系统，该系统包括有检测口语发音部分，所述的检 测口语发音部分包括以下步骤 (1)标准发音人语料库的建立
1) 寻找英语标准发音人；
2) 根据英语口语学习要求及音素平衡的原则设计第一录音文本；
3) 标准发音人对照录音文本进行录音；
(2〕 口语评测语料库的收集并在模拟英语学习软件应用环境下，根据英语学 习要求设计第二录音文本，同时寻找一般发音人，并对一般发音人的口语发音进 行录音；
〔3) 口语评测语料库的标注专家详细标注每个单词中音素的发音是否正确； 〔4)标准语音声学模型的建立基于标准发音人语料库中的录音及其相关联的 文本，训练标准语音的声学模型； 〔5)计算语音的检错参数
1) 提取语音的美尔倒谱系数参数；
2) 基于标准声学模型，以及评测语料库中的一般发音人录音及其文本对应 的音素序列，将对一般发音人语音数据自动切分成以音素为单位的各个 音段，同时基于标准模型计算得到各音段作为该音素的第一似然值；
3) 用标准声学模型对一般发音人语音的每个音段进行识别，同时基于标准 声学模型计算得到该音段作为识别结果音素的第二似然值；
4) 将音段第一似然值除以第二似然值，得到该音段的似然比，作为该语音 片段的检错参数；
(6)建立检错参数向专家所标注发音错误的检错映射模型在一批评测语音上， 将各个音段评测参数和音段的共振峰序列与专家的详细标注进行关联，运用统计 的方法得到上述参数与专家详细标注的对应关系，保存这些关系作为从检错参数 到专家发音错误标注之间的检错映射模型。
自动化英语口语评测学习系统，所述的声学模型建立步骤是
(1) 提取语音的美尔倒谱系数参数参数；
(2) 训练各个音素的基于美尔倒谱系数参数参数的隐马尔科夫模型。 自动化英语口语评测学习系统，该系统还包括有口语评分部分，所述的口语
评分部分包括以下步骤
〔1)在所述的口语评测语料库的标注步骤中，多位专家对每份口语评测录音进 行独立的打分；
(2) 在所述标准声学模型的建立基础上，还基于标准发音人语料库及其相关联 的文本，训练标准语音的韵律模型；
(3) 所述计算语音的评测参数步骤中还包括有
1) 根据音段的切分计算各音段时长，各音段的共振峰序列等音段评测参数；
2) 利用发音时长模型计算时长与标准的拟合度；
3) 将各音段时长，音段的第一似然值，音段的似然比，得到针对每份口语 评测录音的一组评测参数；
(4) 建立评测参数向专家打分映射模型基于一批评测录音数据上计算得到的 评测参数与其专家打分，采用回归的方法将评测参数映射到专家打分，并将得到 的回归参数保存，作为从评测参数到专家评分之间的打分映射模型。
自动化英语口语评测学习系统，其特征在于所述韵律模型建立的步骤是
(1) 对标准发音人录音数据进行有文本标记的边界切分；
(2) 提取每句录音的语速等信息，对基于边界切分得到的音素时长按每句 录音的语速进行规整；
(3) 利用决策树建立标准发音音素时长模型。
自动化英语口语评测学习系统，所述文本标记的边界切分是采用HTK完成的。
自动化英语口语评测学习系统，该系统还包括有口语指导部分，所述的口语 指导部分包括以下步骤检测出的每个用户的错误，可以输出用户的错误音种类 及错误程度；计算机上播放正确的发音及发音的舌、口、唇运动示意图，辅助系 统使用者纠正舌、口、唇错误；给出针对错误的学习文本及其发音样例。
自动化英语口语水平测试和指导学习系统是应用最先进的计算机智能语音 处理技术，利用机器自动地对学习者的发音进行实时的分析和评判，给出发音人 的得分，指出发音人的错误及其错误程度并以图、文、音一体的方式进行反馈， 同时针对发音人的错误自动生成相应的学习文本或语音样例供发音人学习。
相比老师学生面对面的英语口语学习，基于智能语音学习技术的英语口语评 测与学习系统能够对学生的口语水平进行自动评测，而且能通过模拟交谈和其他 口语任务的实际情形，为学生提供听觉和视觉上的双重刺激。这种口语形式比课 堂授课形式的交互性好，又能避免教师资源不足，需要大量人力等实用性方面的局限性，而且顺应基于计算机的外语教学的普遍发展。
为了判断计算机测试系统评测性能的优劣，这里根据计算机器测试的结果与 人工测试结果之间的分数绝对误差均值和分数一致率的比例来判定本发明系统 的性能。评分等级为15分，最小分差为0.5分。同时由于人工之间也存在误差， 因此将三个专家结果之间的分数绝对误差均值和等级一致率均值做为机器与人 工测试性能的比照。在专家的打分语料库上经统计，三位专家两两之间的评分绝 对误差平均，在不同的数据集上分布在1.0 1.2分之间，等级一致率分布在 0.6 0.8。计算机测试系统评测的总分平均误差在1分以内，与专家之间的等级 一致率达到0.7以上，因此计算机测试效果其本达到与人工测试接近的水平。计 算机指导学习部分的效果是不仅可以替代部分语言老师的指正，代读，针对性出 题等，还可以更形象化的指出学习者的发音的物理参数，如波形、频谱，并将之 与标准波形、频谱进行对比。
附图为本发明的流程图。
具体实施例方式
实施例l
自动化英语口语评测学习系统包括有检测部分、评分部分和指导部分。
检测部分根据学生所发语音在标准语音模型下的评分参数，在充分考虑相关语 言学先验知识的基础上针对人工对典型语音错误的标注运用机器学习的方法来 判断出学习者发音错误的位置及其错误类型。
评分部分结合英语口语水平评判标准，运用数字信号理论和计算机语音处理技 术计算学生所发语音相对标准语音的各种评分参数，并将这种评分参数按照事先 训练好的映射模型转化为对语音的评分，使机器评分结果最大可能的接近于人工 专家评分结果。
指导部分针对学生的水平和发音错误给出纠正性的、积极的反馈指导。包括输 出学生的错误音种类及错误程度；计算机上播放正确的发音及发音的舌、口、唇 运动示意图，指出学生具体的舌、口、唇错误；给出针对错误的学习文本及其发 音样例。
参见附图所示，具体的实现工作如下
(1) 标准发音人语料库的建立
1) 寻找英语标准发音人；
2) 根据英语口语学习要求及音素平衡的原则设计第一录音文本；
3) 标准发音人对照录音文本进行录音。
(2) 口语评测语料库的收集在模拟英语学习软件应用环境下，根据英语学习 要求设计第二录音文本，同时寻找一般发音人，并对一般发音人的口语发音进行 录音。
〔3) 口语评测语料库的标注多位专家对每份口语评测录音进行独立的打分； 专家详细标注每个单词中音素的发音是否正确。
(4) 标准语音声学模型的建立基于标准发音人语料库中的录音及其相关联的 文本，训练标准语音的声学模型；声学模型建立步骤是 1) 提取语音的美尔倒谱系数参数参数；
2) 训练各个音素的基于美尔倒谱系数参数参数的隐马尔科夫模型。~ 在标准声学模型的建立基础上，还基于标准发音人语料库及其相关联的文
本，训练标准语音的韵律模型。 韵律模型建立的步骤是
1) 对标准发音人录音数据进行有文本标记的边界切分；
2) 提取每句录音的语速等信息，对基于边界切分得到的音素时长按每句录 音的语速进行规整；
3) 利用决策树建立标准发音音素时长模型。
(5) 计算语音的检错参数
1) 提取语音的美尔倒谱系数参数；
2) 基于标准声学模型，以及评测语料库中的一般发音人录音及其文本对应 的音素序列，将对一般发音人语音数据利用HTK自动切分成以音素为单 位的各个音段，同时基于标准模型计算得到各音段作为该音素的第一似 然值；
3) 用标准声学模型对一般发音人语音的每个音段进行识别，同时基于标准 声学模型计算得到该音段作为识别结果音素的第二似然值；
4) 将音段第一似然值除以第二似然值，得到该音段的似然比，作为该语音
片段的检错参数；
5) 根据音段的切分计算各音段时长，各音段的共振峰序列等音段评测参数；
6) 利用发音时长模型计算时长与标准的拟合度；
7) 将各音段时长，音段的第一似然值，音段的似然比，得到针对每份口语 评测录音的一组评测参数。
(6〕建立检错参数向专家所标注发音错误的检错映射模型在一批评测语音上， 将各个音段评测参数和音段的共振峰序列与专家的详细标注进行关联，运用统计 的方法得到上述参数与专家详细标注的对应关系，保存这些关系作为从检错参数 到专家发音错误标注之间的检错映射模型。
(7)建立评测参数向专家打分映射模型基于一批评测录音数据上计算得到的 评测参数与其专家打分，采用回归的方法将评测参数映射到专家打分，并将得到 的回归参数保存，作为从评测参数到专家评分之间的打分映射模型。
口语指导部分包括以下步骤检测出的每个用户的错误，可以输出用户的错 误音种类及错误程度；计算机上播放正确的发音及发音的舌、口、唇运动示意图， 辅助系统使用者纠正舌、口、唇错误；给出针对错误的学习文本及其发音样例。 实施例2
自动化英语口语评测学习系统包括有检测部分，检测口语发音部分包括以下 步骤
(1〕标准发音人语料库的建立
1) 寻找标准发音人；
2) 根据英语口语学习要求及音素平衡的原则设计录音文本；
3) 请标准发音人对照录音文本进行录音；
4) 将进行录音后的录音文件按照与文本关联的形式保存，使得根据每个录 音文件名可以迅速找到相对应的文本。
(2) 口语评测语料库的收集对学生的口语发音进行录音，同时保存录音文本，
并将录音文件名与录音文本进行关联。 (3〕 口语评测语料库的标注详细标注每个单词中音素的发音的正确与否。 〔4〕标准语音模型的建立运用标准发音人语料库及其相关联的文本，训练标
准语音的声学模型；声学模型建立步骤是
1) 按帧计算语音的MFCC参数；
2) 运用HTK进行训练各种音段基于MFCC参数的HMM。 〔5)计算语音的评测参数
1) 按帧计算出语音的MFCC参数、基频参数和共振峰；
2) 用标准声学模型按照语音对应的文本将对语音的MFCC参数进行切分到 音段，同时得到各音段相对标准模型的似然值；
3) 用标准声学模型对语音进行音段识别，得到新的音段似然值；
4) 将音段两个似然值相比得到音段的似然比。
实施例3
自动化英语口语评测学习系统包括有检测部分和评分部分，检测部分和评分
部分包括以下步骤
(1)标准发音人语料库的建立
1) 寻找标准发音人；
2) 根据英语口语学习要求及音素平衡的原则设计录音文本；
3) 请标准发音人对照录音文本进行录音；
4) 将进行录音后的录音文件按照与文本关联的形式保存，使得根据每个录 音文件名可以迅速找到相对应的文本。
(2〕 口语评测语料库的收集对学生的口语发音进行录音，同时保存录音文本， 并将录音文件名与录音文本进行关联。
〔3) 口语评测语料库的标注请三位专家先对每份口语评测录音进行独立的打 分，详细标注每个单词中音素的发音的正确与否。
(4〕标准语音模型的建立运用标准发音人语料库及其相关联的文本，训练标 准语音的声学模型；声学模型建立步骤是
1) 按帧计算语音的MFCC参数；
2) 运用HTK进行训练各种音段基于MFCC参数的HMM。
运用标准发音人语料库及其相关联的文本，训练标准语音的韵律模型，韵律 模型建立的步骤是
1) 按帧计算语音的基频参数；
2) 运用HTK进行有文本标记的边界切分，提取语速等信息，利用决策树建 立发音时长模型。 (5 )计算语音的评测参数
1) 按帧计算出语音的MFCC参数、基频参数和共振峰；
2) 用标准声学模型按照语音对应的文本将对语音的MFCC参数进行切分到 音段，同时得到各音段相对标准模型的似然值；
3) 根据音段的切分计算各音段时长，各音段的共振峰序列等音段评测参数;
4) 利用发音时长模型计算时长与标准的拟合度；
5) 用标准声学模型对语音进行音段识别，得到新的音段似然值；
6) 将音段两个似然值相比得到音段的似然比；
7) 将各音段时长，音段的似然值，音段的似然比，得到针对某个学生的一 组或一个评测参数。
(6) 建立评测参数向专家打分映射模型。
将某个学生的评测参数与专家打分进行联系，在一批相联系的评测参数和 专家打分上用回归的方法将评测参数回归到专家打分上，将得到的回归参 数保存，做为评测参数向最后机器评分的映射模型。
(7) 建立评测参数向专家所标注发音错误的映射模型。
在一批学生的语音上将各个音段评测参数和音段的共振峰序列与专家的 详细标注进行关联，运用统计的方法得到上述参数与专家详细标注的各种 关系(如某个参数大于或小于多少时专家判断为正确或错误)，将这些关 系做为评测参数向测员所标注发音错误的映射模型。
权利要求
1、自动化英语口语评测学习系统，其特征在于该系统包括有检测口语发音部分，所述的检测口语发音部分包括以下步骤〔1〕标准发音人语料库的建立1)寻找英语标准发音人；2)根据英语口语学习要求及音素平衡的原则设计第一录音文本；3)标准发音人对照录音文本进行录音；〔2〕口语评测语料库的收集在模拟英语学习软件应用环境下，根据英语学习要求设计第二录音文本，同时寻找一般发音人，并对一般发音人的口语发音进行录音；〔3〕口语评测语料库的标注专家详细标注每个单词中音素的发音是否正确；〔4〕标准语音声学模型的建立基于标准发音人语料库中的录音及其相关联的文本，训练标准语音的声学模型；〔5〕计算语音的检错参数1)提取语音的美尔倒谱系数参数；2)基于标准声学模型，以及评测语料库中的一般发音人录音及其文本对应的音素序列，将对一般发音人语音数据自动切分成以音素为单位的各个音段，同时基于标准模型计算得到各音段作为该音素的第一似然值；3)用标准声学模型对一般发音人语音的每个音段进行识别，同时基于标准声学模型计算得到该音段作为识别结果音素的第二似然值；4)将音段第一似然值除以第二似然值，得到该音段的似然比，作为该语音片段的检错参数；〔6〕建立检错参数向专家所标注发音错误的检错映射模型在一批评测语音上，将各个音段评测参数和音段的共振峰序列与专家的详细标注进行关联，运用统计的方法得到上述参数与专家详细标注的对应关系，保存这些关系作为从检错参数到专家发音错误标注之间的检错映射模型。
2、 根据权利要求l所述的自动化英语口语评测学习系统，其特征在于所述的声 学模型建立步骤是1) 提取语音的美尔倒谱系数参数参数；2) 训练各个音素的基于美尔倒谱系数参数参数的隐马尔科夫模型。
3、 根据权利要求l所述的自动化英语口语评测学习系统，其特征在于该系统还 包括有口语评分部分，所述的口语评分部分包括以下步骤(1)在所述的口语评测语料库的标注步骤中，多位专家对每份口语评测录音进 行独立的打分；(2〕在所述标准声学模型的建立基础上，还基于标准发音人语料库及其相关联 的文本，训练标准语音的韵律模型； 〔3〕所述计算语音的评测参数步骤中还包括有1) 根据音段的切分计算各音段时长，各音段的共振峰序列等音段评测参数；2) 利用发音时长模型计算时长与标准的拟合度；3) 将各音段时长，音段的第一似然值，音段的似然比，得到针对每份口语 评测录音的一组评测参数；(4)建立评测参数向专家打分映射模型基于一批评测录音数据上计算得到的 评测参数与其专家打分，采用回归的方法将评测参数映射到专家打分，并将得到 的回归参数保存，作为从评测参数到专家评分之间的打分映射模型。
4、 根据权利要求3所述的自动化英语口语评测学习系统，其特征在于所述韵律模 型建立的步骤是(1)对标准发音人录音数据进行有文本标记的边界切分；(2〕提取每句录音的语速等信息，对基于边界切分得到的音素时长按每句录音 的语速进行规整； (3)利用决策树建立标准发音音素时长模型。
5、 根据权利要求4所述的自动化英语口语评测学习系统，其特征在于所述文本 标记的边界切分是采用HTK完成的。
6、 根据权利要求1或3所述的自动化英语口语评测学习系统，其特征在于该系 统还包括有口语指导部分，所述的口语指导部分包括以下步骤检测出的每个用 户的错误，可以输出用户的错误音种类及错误程度；计算机上播放正确的发音及 发音的舌、口、唇运动示意图，辅助系统使用者纠正舌、口、唇错误；给出针对 错误的学习文本及其发音样例。
全文摘要
本发明涉及自动化英语口语评测学习系统，包括有检测部分、评分部分和指导部分。通过以下步骤实现1.标准发音人语料库的建立。2.口语评测语料库的收集。3.口语评测语料库的标注。4.标准语音声学模型的建立。5.计算语音的检错参数。6.建立检错参数向专家所标注发音错误的检错映射模型。7.建立评测参数向专家打分映射模型。8.进行口语指导。本发明交互性好、不受地点限制，又能避免教师资源不足、解决了需要大量人力教学等实用性方面局限性问题。
文档编号G09B5/00GK101197084SQ20071013534
公开日2008年6月11日 申请日期2007年11月6日 优先权日2007年11月6日
发明者刘庆升, 刘庆峰, 吴晓如, 姚志强, 王仁华, 郁 胡, 胡国平, 涛 陈, 燕 陈 申请人:安徽科大讯飞信息科技股份有限公司