专利名称：：一种基于先验知识的发音评估与诊断系统的制作方法
技术领域：
：本发明涉及计算机辅助语言学习和语音处理
技术领域：
，特别是一种基于先验知识的发音评估与诊断系统。
背景技术：
：我国传统的普通话学习和测试方法，目前正面临着普通话推广的迫切需求与学习和测试条件不足的突出矛盾。普通话学习需要针对学生个别的问题进行纠正，需要长时间的互动式交流，这些条件以目前的师资是无法满足的。同时，口语考试是检验学习成果的有效手段，但耗时耗力的人力组织，不可避免的公正性问题以及很难提供反馈信息等因素已成为制约普通话口语考试发展的瓶颈。要解决以上问题，计算机辅助语言学习和测试是个可行的方案。随着计算机技术和语音识别技术的发展，计算机语言学习和测试系统已经从最初的只能进行听力、阅读、书写等功能发展到对语言学习者的发音水平进行自动评分、指出发音错误并根据发音错误提供诊断信息，从而对学习者的发音水平进行全方位测试并帮助学习者改进发音，提高学习效率。因此，作为新一代计算机辅助语言学习和测试系统的核心部分，自动发音评估和诊断技术日益受到关注。目前的自动发音评估和诊断技术是基于统计语音识别框架下的发音评估和检错策略。它首先对输入语音进行音素分割，对分割得到的每一个音素，计算对数后验概率或其简化形式作为发音特征，进行发音质量评估，针对学习者的发音水平给出相应的得分，并采用统一门限进行错误检测。上述方法所面临的问题是首先，发音评估和诊断的准确性不是很高，特别是对一些在实际发音中经常犯错的、发音又很接近的易混淆音素对。其次，只能针对学习者的发音水平高低给出相应的得分，无法给出更有指导意义的诊断信息。为解决以上问题，本发明构建一个基于先验知识的发音评估与诊断系统，该系统不仅可以对学习者的发音给出分数，而且可以给出更为细致的诊断信息。
发明内容(—)要解决的技术问题有鉴于此，本发明的主要目的在于针对现有发音评估和诊断方法的缺点，引入语言学和普通话教学中的先验专家知识，提供一种基于先验知识的发音评估与诊断系统，以提高语言学习和测试的效率和效果。(二)技术方案为达到上述目的，本发明采用的技术方案如下—种基于先验知识的发音评估与诊断系统，该系统包括语音预处理单元，用于对学习者输入的原始语音进行预处理，以实现对语音基本内容的确认，将内容基本符合标准脚本的语音分割为音素级的小单元，输入到发音评估单元进行判别；发音评估单元，用于对输入的语音进行初步发音质量评估，利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，基于修正后的后验概率进行发音评估，计算出的后验概率通过映射模型可以转换为直观的衡量发音水平的分数或等级；发音评估确认和诊断单元，用于对发音评估单元输入的初步评估结果，利用易混淆音素对的区别性特征的先验知识，采用基于区别性特征及分类器的方法，进行发音评估结果的确认，并从声学语音学角度提供发音诊断信息；模型和先验知识库单元，用于保存音素对齐和计算后验概率的模型，以及先验知识库；以及评估信息和诊断信息输出单元，用于输出包括分级和打分结果的发音评估的分数、发音错误的定位信息、发音错误类型，并给出矫正的指导性建议。上述方案中，所述语音预处理单元包括端点检测子单元，用于从信号中区分出语音和非语音信号，确定语音的起点和终点；特征提取子单元，用于计算有效语音的声学参数，并进行特征的计算，提取出反映信号特征的关键特征参数；内容确认子单元，用于对输入的语音进行内容方面的验证，如果输入发音的内容与给定文本内容差异不大，则对语音进行后续的发音评估和诊断；对于内容和给定文本差异很大的语音，不再进行后续发音评估和诊断，直接判断为用户发音错误；音素对齐子单元，用于将输入的有效语音分割成音素级的单元，以便后续的处理。上述方案中，所述反映信号特征的关键特征参数是反映人耳听觉特征的Mel频率倒谱系数MFCC，包含由12维倒谱值加上1维能量值构成的静态特征，以及该静态特征的一阶动态特征和二阶动态特征。上述方案中，所述音素对齐子单元采用维特比Viterbi算法将输入的有效语音分割成音素级的单元，实现音素的对齐。上述方案中，所述发音评估单元进一步采用分音素门限策略，对不同的音素采用不同门限值，低于相应门限的音素被初步判定为发音错误，输入到发音评估确认和诊断单元进行确认和错误诊断。上述方案中，所述发音评估确认和诊断单元在利用易混淆音素对的区别性特征的先验知识时，对于特定的发音错误类型，利用声学语音学方面的区别性特征的先验知识，将正确发音和错误发音区别开，从而进行发音错误检测和诊断，具体是先根据先验知识，提取区别性特征，得到声学语音学区别性特征后，训练两类分类器，每个音素建立一个分类器，由该音素的发音正确样本和发音错误样本提取的声学语音学区别性特征训练得到，由于不同特定发音错误的区别性特征种类不同，所以对不同音素，所用的区别性特征种类和维数不同。上述方案中，所述发音评估确认和诊断单元利用易混淆音素对的区别性特征先验知识构建两类分类器后，对发音评估单元输出的初步评估结果进行确认；根据发音错误先验知识和区别性特征先验知识，预先生成一个音素和区别性特征及分类器的对应表；从该表中查到某个音素应该对应何种特征和分类器，以进行错误检测；错误检测的结果，一方面可以作为确认信息，用以确认初步评估结果是否正确，另一方面，可以根据该音素使用的区5别性特征，得到更为细致的诊断信息。上述方案中，所述模型和先验知识库单元由模型和先验知识库组成，其中，模型包括音素标准模型和分级打分模型，先验知识库是先验知识的集合，为发音评估单元和发音评估确认和诊断单元提供前面所述的两种先验知识，并提供音素与先验知识相映射的对应表。上述方案中，所述音素标准模型为HMM模型，用于音素对齐和计算后验概率。上述方案中，所述分级打分模型是由专家主观分数和客观后验概率值得到的映射模型，用于把后验概率值转换为衡量发音质量的分值或等级。上述方案中，所述先验知识由系统预先获得，由大量语音数据通过数据驱动技术得到，或者直接采用语音语言学家总结出的知识。上述方案中，所述评估信息和诊断信息输出单元的输出形式具有多样化特点，融合图、表、文字和语音，具有良好的用户界面。(三)有益效果从上述技术方案可以看出，本发明具有以下有益效果本发明提供的这种基于先验知识的发音评估与诊断系统，对先验知识的利用比较灵活和充分。先验知识从两个方面得到应用首先利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，采用修正后的后验概率进行发音评估。其次，利用易混淆音素对的区别性特征先验知识，采用基于区别性特征及分类器的方法，确认评估结果，获得更好的评估性能，从更基础、更细致的角度为学习者提供诊断信息。这两方面的应用都可以根据实际情况添加或删减先验知识的规则数目。由于先验知识的引入，本发明可以对常见的易混淆音素做出准确判断，不仅能够针对发音水平高低给出相应的分数，而且可以提供更有指导意义的诊断信息。此外，后验概率的分音素门限策略、基于区别性特征及分类器的方法、整个系统的合理流程都保证了高效、准确的发音评估和诊断的进行。图1是本发明提供的基于先验知识的发音评估与诊断系统的示意图。具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。先验专家知识在本系统的两个方面得到应用首先，利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，采用修正后的后验概率进行发音评估。其次，利用易混淆音素对的区别性特征先验知识，采用基于区别性特征及分类器的方法，确认评估结果，获得更好的评估性能，从更基础、更细致的角度为学习者提供诊断信息，帮助学习者矫正和改善发音。本发明所提出的基于先验知识的发音评估与诊断系统，主要包括五个单元语音预处理单元、发音评估单元、发音评估确认和诊断单元、模型和先验知识库单元、评估信息和诊断信息输出单元。具体如下1.语音预处理单元6语音预处理单元用于对学习者输入的原始语音进行预处理，以实现对语音基本内容的确认，将内容基本符合标准脚本的语音分割为音素级的小单元，输入到发音评估单元进行判别。语音预处理单元主要包括以下四个子单元端点检测子单元、特征提取子单元、内容确认子单元和音素对齐子单元，各子单元的功能具体如下端点检测子单元用于从信号中区分出语音和非语音信号，确定语音的起点和终点。在实际环境中，背景噪声对评估和诊断系统的影响非常大，在信噪比低的情况下，系统无法对输入的语音进行正确判断。准确地从背景噪声中检测出语音有效范围的开始和结束位置，删除不含语音的背景噪声，不仅可以提高系统性能，还可以减少处理的数据量，从而降低处理时间。特征提取子单元用于计算有效语音的声学参数，并进行特征的计算，提取出反映信号特征的关键特征参数，以降低维数并便于后续步骤的进行。本系统中使用的特征参数是反映人耳听觉特征的Mel频率倒谱系数(MFCC)，包含由12维倒谱值加上1维能量值构成的静态特征，以及该静态特征的一阶动态特征和二阶动态特征。内容确认子单元用于对输入的语音进行内容方面的验证，如果输入发音的内容与给定文本内容差异不大，则对语音进行后续的发音评估和诊断；对于内容和给定文本差异很大的语音，不再进行后续发音评估和诊断，直接判断为用户发音错误。音素对齐子单元用于将输入的有效语音分割成音素级的单元，以便后续的处理。本系统的音素对齐采用维特比(Viterbi)算法。2.发音评估单元发音评估单元用于对输入的语音进行初步发音质量评估，利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，基于修正后的后验概率进行发音评估，计算出的后验概率通过映射模型可以转换为直观的衡量发音水平的分数或等级。同时，采用分音素门限策略，对不同的音素采用不同门限值，低于相应门限的音素被初步判定为发音错误，输入到发音评估确认和诊断单元进行确认和错误诊断。1)基于修正后验概率的发音评估语言学家长期研究表明，发音错误或缺陷分为两类一类是由于不认识字或不熟悉发音规则而生成的，另一类是受母语或方言的影响而生成的。后者的规律性较强，往往也是学习者常犯的典型发音错误，应该得到更充分的重视和反馈。这种发音错误的规律性可以作为先验知识，引入到发音评估及诊断系统中，在本发明中，它用于修正传统的后验概率计算方法，以得到更好的发音评估性能。对音素qi，传统的后验概率定义为<formula>formulaseeoriginaldocumentpage7</formula>其中，Pi是对应的发音数据0i对音素Qi的后验概率，Prob(0iIqi)是音素qi的似然度，1音素qi的时长，Q是模型集合。—般，Q取所有音素或者当Qi为声母时，Q取声母集合，Qi为韵母时，Q取韵母集合。引入发音错误先验知识，0i对音素Qi的后验概率改进为<formula>formulaseeoriginaldocumentpage8</formula>其中，Qi是音素&常见发音错误类型的模型集合。采用以上计算方法，本质上是减少了后验概率计算过程中分母的计算空间，这不仅提高了后验概率的计算速度，而且由于排除了常见典型错误外其它易混淆音素模型的影响，所以加强了常见典型错误的检测能力。对于发音错误先验知识的获取，一种方法是直接利用语言学家总结出的发音错误基本类型，另一种方法是采用数据驱动技术，从大量语音数据中统计得到。本发明采用两种方法结合的形式得到最终的发音错误先验知识，所使用的部分发音错误先验知识如表1所示，表1是易混淆音素对的发音错误先验知识。<table>tableseeoriginaldocumentpage8</column></row><table><table>tableseeoriginaldocumentpage9</column></row><table>表1上述是针对某一个音素计算的修正后验概率，采用映射的方法，可以把后验概率值映射到系统需要的分制上，保持与主观测试的一致。映射方法可以采取线性方法和非线性方法，线性方法比较简单，而非线性方法更符合客观实际。经过映射后，系统得到学习者对该音素发音的分数，而针对学习者的整体评价，可以将每个音素的后验概率值在词汇上或整个语流上进行规整，得到该词汇或整个语流的后验概率后再进行映射以得到整体评价。规整方法可以是简单的所有音素后验概率的平均或者加权平均。2)分音素门限策略上述评估方法可以得到对音素、词汇和整个语流的发音评估分数，对于后验概率偏高的音素，发音评估分数应该比较高，而对于后验概率偏低的音素，发音评估分数就比较低。对于发音分数偏低的音素，我们需要在后验概率层次上设定门限，低于该门限的音素输入到下一单元进行处理，以提供更细致的发音诊断信息。传统的门限方法采用统一门限进行错误检测，由于各音素模型的后验概率分布并不相同，而且这种不同在采用后验概率修正方法后更加突出，所以本发明采用分音素门限策略，对不同的音素采用不同的门限。门限值由训练语音得到。3.发音评估确认及诊断单元发音评估确认及诊断单元的作用是对发音评估得到的结果进行确认并进行发音错误诊断。它对发音评估单元输入的音素信息(包括初步评估结果)，利用易混淆音素对的区别性特征的先验知识，采用基于区别性特征及分类器的方法，进行发音评估结果的确认，并从声学语音学角度提供发音诊断信息。1)区别性特征先验知识的利用对于特定的发音错误类型，利用声学语音学方面的区别性特征的先验知识，可以将正确发音和错误发音区别开，从而进行发音错误检测和诊断。一方面，这种方法可以弥补后验概率特征对某些错误评估性能不佳的缺陷，对后验概率评估结果进行确认，减少误报。另一方面，声学语音学区别性特征与发音机理密切相关，具有明显的生理物理特性，可以给学习者提供更加细致和详细的反馈，更有利于学习者对缺陷音的掌握。在这种方法中，首先根据先验知识，提取区别性特征。本发明使用的区别性特征如表2所示，表2是易混淆音素对的区分性特征先验知识。9元音(韵母)的区别性特征表现形式共振峰模式共振峰在频率轴上排列的形式，称为共振峰模式，不同的元音(韵母)，共振峰模式不同。a)第一共振峰Fl受舌位高低的影响大(舌位高F1就低，舌位低，Fl就高)b)Fl还和开口度有关，开口大则Fl大c)第二共振峰F2受舌位前后的影响大(舌位前F2就高，舌位后F2就低)d)F2还与唇型的圆展有关，圆唇作用可以使F2降低。e)第三共振峰F3受舌尖活动的影响，当舌尖巻起发音时，F3的频率降低。f)三条共振峰的轨迹和它们之间的相对位置对不同的韵母有明显的区分度元音时长a)长元音的时长经常大于相应短元音的时长b)开口元音的时长一般大于闭口元音的时长c)复合元音的时长一般要大于单元音的时长基音频率基音频率FO随元音高低而变化，相对低元音，高元音具有相对高一些的FO辅音(声母)混淆音素对区别性特征表现形式巻舌音一平舌音能量集中区平舌音和巻舌音，由于发音部位不同，造成发音时的共鸣腔的大小不同，不同大小的共鸣腔使得共鸣频率不同，即能量得到加强的频率位置不同，进而造成能量集中区的不同。塞擦音一清擦音能量变化率塞擦音在发音过程中存在短爆破，这段很短的时间大约为IOms，能量的上升速度较其它音段更加迅速，频域的频率10<table>tableseeoriginaldocumentpage11</column></row><table>表2得到声学语音学区别性特征后，可以训练两类分类器。每个音素建立一个，由该音素的发音正确样本和发音错误样本提取的声学语音学区别性特征训练得到。由于不同特定发音错误的区别性特征种类不同，所以对不同音素，所用的区别性特征种类和维数不同。2)发音评估确认和诊断利用易混淆音素对的区别性特征先验知识，构建两类分类器后，就可以对发音评估单元输出的初步评估结果进行确认。根据发音错误先验知识和区别性特征先验知识，系统预先生成一个音素和区别性特征及分类器的对应表。从表中可以查到某个音素应该对应何种特征和分类器，以进行错误检测。错误检测的结果，一方面可以作为确认信息，用以确认初步评估结果是否正确，另一方面，可以根据该音素使用的区别性特征，得到更为细致的诊断信息。4.模型和先验知识库单元模型和先验知识库单元由模型和先验知识库组成，用于保存音素对齐和计算后验概率的模型，以及先验知识库。其中，模型包括音素的标准模型和分级打分模型。音素单元模型一般为HMM模型，用于音素对齐和计算后验概率。分级打分模型是由专家主观分数和客观后验概率值得到的映射模型，用于把后验概率值转换为衡量发音质量的分值或等级。先验知识库是先验知识的集合，它为发音评估单元和发音评估确认和诊断单元提供前面所述的两种先验知识，并提供音素与先验知识相映射的对应表。先验知识由系统预先获得，可以由大量语音数据通过数据驱动技术得到，也可以直接采用语音语言学家总结出的知识。5.评估信息和诊断信息输出单元评估信息和诊断信息输出单元用于输出发音评估的分数(包括分级和打分结果)、发音错误的定位信息、发音错误类型，并给出矫正的指导性建议。该单元的输出形式具有多样化特点，融合图、表、文字和语音，具有良好的用户界面。再次参照图l，左边的虚线框部分是模型和先验知识库单元，由系统预先获得。右边是评估信息和诊断信息输出单元，用以输出系统最终结果。中间部分包含三个过程单元语音预处理单元、发音评估单元、发音评估确认和诊断单元。各单元之间的交互流程如下系统首先对输入的语音进行预处理，通过端点检测、特征提取，内容确认和音素对齐等过程，将学习者语音分割为音素级的小单元，输入到发音评估单元。发音评估单元则根据易混淆音素对的发音错误先验知识来计算音素的修正后验概率。对于计算得到的后验概率值，一方面通过分级打分模型转换为直观的分数或等级，另一方面和对应的音素门限进行比较。当后验概率低于相应门限时，初步判定该音素发音错误。门限是根据所要求的系统性能预先设置好的。接着，初步被判定为错误的音素信息被输入到评估确认和诊断单元做进一步处理。首先根据音素的区别性特征先验知识，提取该音素对应的声学语音学区别性特征，然后进行分类，给出是否错误、错误位置和相应矫正建议等信息。最后，发音评估单元输出的分数等级和发音评估确认和诊断单元输出的其它信息在右边的输出单元进行融合后给出系统的最终结果。融合的原则是发音评估确认和诊断单元输出的信息对发音评估单元输出信息起纠正作用，以减少系统对发音错误的误报率。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。1权利要求一种基于先验知识的发音评估与诊断系统，其特征在于，该系统包括语音预处理单元，用于对学习者输入的原始语音进行预处理，以实现对语音基本内容的确认，将内容基本符合标准脚本的语音分割为音素级的小单元，输入到发音评估单元进行判别；发音评估单元，用于对输入的语音进行初步发音质量评估，利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，基于修正后的后验概率进行发音评估，计算出的后验概率通过映射模型可以转换为直观的衡量发音水平的分数或等级；发音评估确认和诊断单元，用于对发音评估单元输入的初步评估结果，利用易混淆音素对的区别性特征的先验知识，采用基于区别性特征及分类器的方法，进行发音评估结果的确认，并从声学语音学角度提供发音诊断信息；模型和先验知识库单元，用于保存音素对齐和计算后验概率的模型，以及先验知识库；以及评估信息和诊断信息输出单元，用于输出包括分级和打分结果的发音评估的分数、发音错误的定位信息、发音错误类型，并给出矫正的指导性建议。2.根据权利要求1所述的基于先验知识的发音评估与诊断系统，其特征在于，所述语音预处理单元包括端点检测子单元，用于从信号中区分出语音和非语音信号，确定语音的起点和终点；特征提取子单元，用于计算有效语音的声学参数，并进行特征的计算，提取出反映信号特征的关键特征参数；内容确认子单元，用于对输入的语音进行内容方面的验证，如果输入发音的内容与给定文本内容差异不大，则对语音进行后续的发音评估和诊断；对于内容和给定文本差异很大的语音，不再进行后续发音评估和诊断，直接判断为用户发音错误；音素对齐子单元，用于将输入的有效语音分割成音素级的单元，以便后续的处理。3.根据权利要求2所述的基于先验知识的发音评估与诊断系统，其特征在于，所述反映信号特征的关键特征参数是反映人耳听觉特征的Mel频率倒谱系数MFCC，包含由12维倒谱值加上1维能量值构成的静态特征，以及该静态特征的一阶动态特征和二阶动态特征。4.根据权利要求2所述的基于先验知识的发音评估与诊断系统，其特征在于，所述音素对齐子单元采用维特比Viterbi算法将输入的有效语音分割成音素级的单元，实现音素的对齐。5.根据权利要求1所述的基于先验知识的发音评估与诊断系统，其特征在于，所述发音评估单元进一步采用分音素门限策略，对不同的音素采用不同门限值，<低于相应门限的音素被初步判定为发音错误，输入到发音评估确认和诊断单元进行确认和错误诊断。6.根据权利要求1所述的基于先验知识的发音评估与诊断系统，其特征在于，所述发音评估确认和诊断单元在利用易混淆音素对的区别性特征的先验知识时，对于特定的发音错误类型，利用声学语音学方面的区别性特征的先验知识，将正确发音和错误发音区别开，从而进行发音错误检测和诊断，具体是先根据先验知识，提取区别性特征，得到声学语音学区别性特征后，训练两类分类器，每个音素建立一个分类器，由该音素的发音正确样本和发音错误样本提取的声学语音学区别性特征训练得到，由于不同特定发音错误的区别性特征种类不同，所以对不同音素，所用的区别性特征种类和维数不同。7.根据权利要求6所述的基于先验知识的发音评估与诊断系统，其特征在于，所述发音评估确认和诊断单元利用易混淆音素对的区别性特征先验知识构建两类分类器后，对发音评估单元输出的初步评估结果进行确认；根据发音错误先验知识和区别性特征先验知识，预先生成一个音素和区别性特征及分类器的对应表；从该表中查到某个音素应该对应何种特征和分类器，以进行错误检测；错误检测的结果，一方面可以作为确认信息，用以确认初步评估结果是否正确，另一方面，可以根据该音素使用的区别性特征，得到更为细致的诊断信息。8.根据权利要求1所述的基于先验知识的发音评估与诊断系统，其特征在于，所述模型和先验知识库单元由模型和先验知识库组成，其中，模型包括音素标准模型和分级打分模型，先验知识库是先验知识的集合，为发音评估单元和发音评估确认和诊断单元提供前面所述的两种先验知识，并提供音素与先验知识相映射的对应表。9.根据权利要求8所述的基于先验知识的发音评估与诊断系统，其特征在于，所述音素标准模型为HMM模型，用于音素对齐和计算后验概率。10.根据权利要求8所述的基于先验知识的发音评估与诊断系统，其特征在于，所述分级打分模型是由专家主观分数和客观后验概率值得到的映射模型，用于把后验概率值转换为衡量发音质量的分值或等级。11.根据权利要求8所述的基于先验知识的发音评估与诊断系统，其特征在于，所述先验知识由系统预先获得，由大量语音数据通过数据驱动技术得到，或者直接采用语音语言学家总结出的知识。12.根据权利要求1所述的基于先验知识的发音评估与诊断系统，其特征在于，所述评估信息和诊断信息输出单元的输出形式具有多样化特点，融合图、表、文字和语音，具有良好的用户界面。全文摘要本发明公开了一种基于先验知识的发音评估与诊断系统，包括语音预处理单元、发音评估单元、评估确认和诊断单元、模型和先验知识库单元和评估信息和诊断信息输出单元。先验知识在本系统的两个方面得到应用首先，利用易混淆音素对的发音错误先验知识对传统后验概率进行修正，采用修正后的后验概率进行发音评估。其次，利用易混淆音素对的区分性特征先验知识，采用基于区分性特征及分类器的方法，确认评估结果，获得更好的评估性能，从更基础、更细致的角度为学习者提供诊断信息，帮助学习者矫正和改善发音。本发明的基于先验知识的发音评估与诊断系统能够满足普通话学习和测试中的高稳定性、高准确性要求，是一种创新且有效的方法。文档编号G09B19/06GK101739869SQ20081022667公开日2010年6月16日申请日期2008年11月19日优先权日2008年11月19日发明者徐波,徐爽,江杰,浦剑涛,陈振标申请人:中国科学院自动化研究所