专利名称：多种语言适用的聋哑人语音学习计算机辅助方法
技术领域：
本发明涉及一种利用计算机进行语音学习的方法，特别是一种适用于具有不同母语背景的聋哑人语音发音的计算机辅助学习方法。
背景技术：
聋哑人是残疾人中的一个特殊群体，从外表上看，他们与普通健全人没有任何区别，仅仅由于丧失了正常发音的能力，造成了他们与社会环境的交流出现难以逾越的障碍，最终导致他们中的绝大部分生活在社会的最底层，生活窘迫，终其一生。要从根本上改变聋哑人目前的生活现状，单纯让他们被动的依靠社会的理解和关注以及各国政府的支持还是不够的，必不可少的是需要他们主动的去掌握与周围人群交流的能力。目前，很多聋哑人学会了使用手语，但是除了聋哑人，普通健全人中能够认识并使用手语的人是少之又少，因此手语的使用还是将聋哑人的交流范围局限在同聋哑人的交流中。由此可见，要提高聋哑人的生活状况，让他们能与普通健全人具有同样的生活与工作能力，教会他们能够正常的说话发音是绝对必要的。
在数目庞大的聋哑人群中，绝大部分都是具有健全发声器官的“聋人”，他们完全具备发声的生理条件。但由于先天或后天的原因丧失了听力，无法利用听觉系统去纠正自己的发声器官发出的声音，发声器官逐渐退化，最终失去说话的能力，变为“聋哑人”。有经验表明，对于这样的“聋人”，如果能够通过某种有效方式随时反馈其发音的正确与否，通过持之以恒的训练，是完全有可能帮助他们恢复说话的能力。有报道称，中国某个“聋儿训练中心”的学生在老师的悉心指导下，通过数年的刻苦学习，不但能够象正常人一样说话，甚至学会了讲相声和绕口令。传统方式下的反馈并纠正“聋人”发音是由人工完成的，这就意味着家长或教师需要几年如一日，日夜陪伴在那些聋哑人的身边进行一对一的教学练习，才能收到较好的成果。
发明内容
本发明的目的是提供一种多种语言适用的聋哑人语音学习计算机辅助方法，要解决的技术问题是帮助家长和老师从繁重而重复的语言教学活动中解放出来，让学习发音的人们能够更容易获得纠正自身发音的机会，更快更方便的学会象正常人一样说话。
本发明采用以下技术方案一种多种语言适用的聋哑人语音学习计算机辅助方法，包括以下步骤一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节；四、启动计算机的语音接收装置，等待用户语音信号的输入；五、语音接收装置接收用户发出的语音信号，进行模拟/数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；七、中央处理器对用户发音做出准确性判别；八、在显示器上显示用户发音的准确度。
本发明的中央处理器从模拟数字转换装置提取所需的语音特征时，通过端点检测获得用户发音相关的数字语音数据。
本发明的方法当用户学习单音节的发音时，中央处理器采用对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量，以DHMM模型参数为基础，通过Viterbi算法，对发音准确程度进行判别；当用户学习多音节、单词、句子发音时，中央处理器通过传统HMM方法实现对用户的连续发音过程进行发音准确程度判别。
本发明的语音接收装置启动时，同时启动视频采集装置，捕捉用户发音时的口型的细部特征。
本发明的显示器向用户显示需要学习的语音和所需注意的环节时，使用文字和动画图像向用户提示发音特点与口型特征。
本发明的显示器使用动画图像向用户提示发音特点与口型特征时，用口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画图象，演示发声器官的配合运动。
本发明计算机的中央处理器提取所需的语音单元时采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。
本发明语音接收装置接收用户发出的语音信号时，通过软件预处理数字滤波器，对环境噪声进行抑制和高频信号分量预加重。
本发明在显示器上显示用户发音的准确度时，使用百分数显示发音准确度，同时回放用户发音时的录像信息，与标准发音视频动画进行比较。
本发明的用户选择并确定所需学习的语音单元为音标、单词或句子。
本发明与现有技术相比，利用了多媒体计算机的各个硬件装备，将计算机图形图像技术、多媒体计算机语音技术有效的结合起来，针对使用对象具有不同国别、不同母语的特点，在辅助教学过程中使用不同文字的教学语言，有效辅助英国、美国、日本、法国、德国、俄罗斯、西班牙等多个国家的聋哑人学习本国语言发音，满足具有不同母语的聋哑人发音学习的需要。
图1是本发明实施例的学习系统主界面图。
图2是本发明实施例1的英语发音学习功能选择界面图。
图3是本发明实施例1的国际音标选择界面图。
图4是本发明实施例1的国际音标[a:]发音教学界面图。
图5是本发明实施例1的国际音标[a:]测试结果及反馈图。
图6是本发明实施例2的英语单词“car”输入界面图。
图7是本发明实施例2的英语单词“car”发音学习界面图。
图8是本发明实施例3的英语句型“This is my car”发音教学界面图。
图9是本发明实施例4的日语发音学习功能选择界面图。
图10是本发明实施例4的日文平假名[き]选择界面。
图11是本发明实施例4的日文平假名[き]发音教学界面图。
图12是本发明实施例4的日文平假名[き]测试结果及反馈图。
图13是本发明实施例5的法语发音学习功能选择界面图。
图14是本发明实施例5的法语单词“vélo”输入界面图。
图15是本发明实施例5的法语单词“vélo”发音学习界面图。
图16是本发明实施例5的法语单词“vélo”测试结果及反馈图。
图17是本发明实施例6的法语句子“Cest mon vélo”发音学习界面图。
具体实施例方式
下面结合附图和实施例对本发明作进一步详细的描述。本发明的多种语言适用的聋哑人语音学习计算机辅助方法，包括以下步骤一种多种语言适用的聋哑人语音学习计算机辅助方法，包括以下步骤一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元，语音单元为音标、单词或句子；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节，使用文字和动画图像向用户提示发音特点与口型特征，用口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画图象，演示发声器官的配合运动；四、启动计算机的语音接收装置，等待用户语音信号的输入，同时启动视频采集装置，捕捉用户发音时的口型的细部特征；五、语音接收装置接收用户发出的语音信号，通过软件预处理数字滤波器，对环境噪声进行抑制和高频信号分量预加重，进行模拟/数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征，通过端点检测获得用户发音相关的数字语音数据，采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决；七、中央处理器对用户发音做出准确性判别，当用户学习单音节的发音时，中央处理器采用对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量，以DHMM模型参数为基础，通过Viterbi算法，对发音准确程度进行判别；当用户学习多音节、单词、句子发音时，中央处理器通过传统HMM方法实现对用户的连续发音过程进行发音准确程度判别；八、在显示器上显示用户发音的准确度，使用百分数显示发音准确度，同时回放用户发音时的录像信息，与标准发音视频动画进行比较。
实施例1，英语国家聋哑人学习国际音标[a:]的发音，本实施例使用计算机CPU为AMD2500+，内存为1GB，160GB SATA Seagate硬盘，Benq FP71G+显示器，声卡为AC97板载集成声卡，多媒体音箱使用Xfree XE233，语音接收装置采用Voiceao VA-800MV、视频采集装置采用良田Camera-168型摄象头，操作系统使用Microsoft WindowXP Professional，版本2002，Service Pack 2，聋哑人发音计算机辅助学习软件使用根据本发明的方法编程的软件“Audio-Video BimodalPronunciation Learning System for Deaf-Mute”，Version 1.0。
首先开启已成功安装了根据本发明的方法编程的软件的多媒体计算机，启动本辅助学习软件系统。如图1所示，学习系统检测到各必要硬件设施都获得正确安装后，进入本辅助学习系统主界面。主界面所使用的语言为英文。主界面提供了语言选项，用户可以通过该选项选择所学习发音的语言种类和教学过程中所使用的教学语言。本实施例针对用户为英语国家聋哑人，所需学习的语言为英语，所使用的教学语言同样为英语，因此用户选择“English”。此后系统将进入英语发音教学，使用的教学语言为英文。
如图2所示，选择“English”后，用户可以看到“Phonetic Symbol”、“Common Word”、“Common Sentence”三个英文选项，在本具体实施例中，用户学习的是国际音标[a:]的发音，因此用户在屏幕上用鼠标左键单击“Phonetic Symbol”选项。如图3所示，进入该选项后，用户可以看到计算机屏幕上显示出全部48个国际音标。
如图4所示，用户使用鼠标左键单击国际音标[a:]，则进入音标[a:]的学习界面。计算机屏幕显示出国际音标[a:]以及国际音标[a:]的发音提示“Open your mouth naturally and let your tongue off topronounce.Bear in mind to lay your tongue as low as possible and keepthe tip of your tongue away from teeth.Remember to low your Chin andrelax your tongue then you can pronounce smoothly.”。同时，屏幕显示标准发音示范人正确发出[a:]音时口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画。
用户点击屏幕右下方按钮“Prepare for test”，则屏幕显示视频采集装置所捕捉的实时画面，并提示“Please adjust the position of your headcorrectly”。用户调整自己头部的位置和角度，使视频采集装置能够稳定清晰的捕捉到用户发音时的口型及面部特征。调整结束后，用户再次点击该按钮。从用户点击该按钮开始，语音采集装置和视频采集装置开始分别记录下长度为10秒钟的音频和视频信号，并在计算机屏幕上显示十秒钟倒计时。在十秒钟之内，用户对准语音采集装置发出[a:]音。十秒钟后，语音采集装置和视频采集装置停止记录音频和视频信号。
在英语国际音标的发音学习过程中，为准确掌握发音的特点，一般会有意拉长音节的发音持续时间。因此本系统采用包含了发音持续时间统计信息的DHMM模型(Duration HMM)方法对学习者的发音进行判别和评估。DHMM模型不仅包含了发音状态一阶、二阶统计特征描述，还引入了对发音状态持续时间的统计特征描述。因此，DHMM能够有效地评估当前音标发音的准确程度。
在系统对发音判别过程中，CPU通过基于能量判决的端点检测方法，获得用户发音的起始时间位置和结束时间位置。对当前连续数字语音数据流进行短时分帧，在连续的短时数字语音帧之间保持一定的交叠。数字音频数据经过加窗，本系统使用汉明窗处理后，再通过软件预处理数字滤波器，实现环境噪声抑制和高频信号分量预加重。为有效表达当前发音的特征，对连续短时语音帧进行基于μ律倒谱分析的MFCC(Mel-Frequency Cepstral Coefficients)参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量。本发明在学习辅助系统中建立了英语音标发音学习的DHMM模型库，中央处理器以其中的模型参数为基础，通过Viterbi算法对当前用户发音进行发音状态转移路径搜索。在迭代搜索过程中，统计各状态的激活持续时间，通过DHMM模型中状态持续时间统计信息，结合状态转移和状态输出概率，对用户当前的学习发音做出准确性判别。本发明中以百分制对被训练者给出评测成绩。
如图5所示，语音评测结束后，在计算机屏幕上方用百分数显示出本次发音的得分，该百分数表明用户发音与标准发音的相似程度，用来定量地评判发音的准确性。同时，屏幕中反复回放视频采集装置所记录下的用户在发[a:]音过程中口型及面部特征变化的视频录像。用户还可以点击屏幕右方的“Standard Video”按键。点击该按键后，显示器上播放标准发音示范人发[a:]音的标准发音口型录像。用户可以将自己的发音口型与标准口型做比较，根据这些反馈信息反复矫正自己的发音。
此时屏幕最下方有三个选项“Try again”、“Choose new section”、“Quit”。如果用户选择“Try again”，则系统重新进行国际音标[a:]的发音辅助训练。如果用户选择“Choose new section”，则系统退回到功能选择界面，等待用户选择新的语音训练内容。如果用户选择“Quit”，则程序退出，返回操作系统界面。
实施例2，英语国家聋哑人学习英语单词“car”的发音，所使用的软件与硬件，以及计算机辅助学习软件与实施例1相同。学习系统的启动方式与实施例1相同。如图1所示，首先进入系统主界面，在主界面中选择“English”。如图2所示，用户在“Phonetic Symbol”、“CommonWord”、“Common Sentence”三个选项中用鼠标左键单击“CommonWord”选项。如图6所示，进入该选项后，计算机屏幕显示一个对话框，对话框下方有英文提示“Please input the word”。用户通过键盘在该对话框内键入“car”，并单击回车键，进入英语单词“car”的发音学习界面。
如图7所示，进入单词“car”的发音学习界面后，用户将可以看到屏幕最上方为单词“car”以及其国际音标的注音[ka:]，屏幕中间以低速播放真人发音的正面及侧面口型录像。
用户学习完单词“car”发音特点之后，点击屏幕右下方按钮“Preparefor test”，则屏幕显示视频采集装置所捕捉的实时画面，并提示“Pleaseadjust the position of your head correctly”。用户调整自己头部的位置和角度，使视频采集装置能够稳定清晰的捕捉到用户发音时的口型及面部特征。调整结束后，用户再次点击该按钮。从用户点击该按钮开始，语音采集装置和视频采集装置开始分别记录下长度为10秒钟的音频和视频信号，并在计算机屏幕上显示十秒钟倒计时。在十秒钟之内，用户对准语音采集装置发出[ka:]音。十秒钟后，语音采集装置和视频采集装置停止记录音频和视频信号。
由于英语单词的发音由多个音素构成，因此本发明的方法采用基于不包含状态持续时间统计信息的连续HMM方法对单词发音给出准确性评价。语音信号由声卡实现模拟/数字变换，CPU首先对采集到的数字音频数据流进行短时分帧，由于语音信号具有短时平稳特性，在连续的短时数字语音帧之间保持一定的交叠。数字音频数据经过加窗，本发明使用汉明窗处理后，再通过软件预处理数字滤波器，实现环境噪声抑制和高频信号分量预加重。在连续的短时语音帧中，通过计算信号能量和过零率等参数实现对输入话音信号起始和终止位置的初步判断。在经过初步确认的数字话音流中，对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量。本发明在学习辅助系统中存储了覆盖全部训练场景的非特定人隐含马尔可夫模型HMM集合。CPU以该集合为基础，对特征提取后得到的特征向量序列应用Viterbi最优化算法。由于已知话音的内容，通过Viterbi算法找到被训练者本次发音的最优状态转移路径。以该最优路径对应的连续HMM模型输出概率为基础，以百分制对被训练者给出评测成绩。此后的操作过程与实施例1相同。
实施例3，英语国家聋哑人学习常用句型“This is my car”的发音，本实施例所使用的软件与硬件，以及计算机辅助学习软件与实施例1相同。学习系统的启动方式与实施例1相同。如图1所示，首先进入系统主界面，在主界面中选择“English”。用户在“Phonetic Symbol”、“Common Word”、“Common Sentence”三个选项中用鼠标左键单击“Common Sentence”选项。如图9所示，进入该选项后，计算机屏幕将显示一个对话框，对话框下方有英文提示“Please input the sentence”。用户通过键盘在该对话框内键入“This is my car”，并单击回车键，则进入英语常用句型“This is my car”的发音学习界面。
如图8所示，进入常用句型“This is my car”的发音学习界面后，用户将可以看到屏幕最上方为句型“This is my car”以及其国际音标的注音[is iz mai ka:]。屏幕中间播放真人发音的口型录像。此后的操作过程与实施例2相同。
实施例4，日语国家聋哑人学习日语平假名“き”的发音，本实施例所使用的软件与硬件，以及计算机辅助学习软件与实施例1相同。学习系统的启动方式与实施例1相同。
如图1所示，首先进入系统主界面，选择“Japanese”。如图9所示，用户在“平仮名ひらがな”、“片仮名かたかな”、“語彙”、“連語”、“センテンス”五个选项中用鼠标左键单击“平仮名ひらがな”选项。如图10所示，进入该选项后，用户可以看到计算机屏幕上显示出日文平假名的五十音图，该图提供了日文中的全部51个平假名。
如图11所示，用户使用鼠标左键单击平假名“き”，则进入平假名“き”的学习界面。计算机屏幕显示出平假名“き”以及“き”的发音提示“口を少し開けて、口元を後ろに広げ、舌先を下前歯を押しながら、息を吹き出す”。同时，屏幕显示标准发音示范人正确发出“き”音时口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画。
用户点击屏幕右下方按钮“良ㄑ準備しておいてㄑださい”，则屏幕显示视频采集装置所捕捉的实时画面。用户调整自己头部的位置和角度，使视频采集装置能够稳定清晰的捕捉到用户发音时的口型及面部特征。调整结束后，用户再次点击该按钮。从用户点击该按钮开始，语音采集装置和视频采集装置开始分别记录下长度为10秒钟的音频和视频信号，并在计算机屏幕上显示十秒钟倒计时。在十秒钟之内，用户对准语音采集装置发出“き”音。十秒钟后，语音采集装置和视频采集装置停止记录音频和视频信号。
对于日语发音学习中平假名和片假名发音准确度的评测，本发明同样采用包含了发音持续时间统计信息的DHMM(Duration HMM)方法对学习者的发音进行判别和评估。具体判别评估过程与实施例1中的过程相同。如图12所示，语音评测结束后，在计算机屏幕上方用百分数显示出本次发音的得分，该百分数表明用户发音与标准发音的相似程度，用来定量地评判发音的准确性。同时，屏幕中反复回放视频采集装置所记录下的用户在发“き”音过程中口型及面部特征变化的视频录像。用户还可以点击屏幕右方的“標準動作”按键。点击该按键后，显示器上播放标准发音示范人发“き”音的标准发音口型录像。用户可以将自己的发音口型与标准口型做比较，根据这些反馈信息反复矫正自己的发音。
本次测试结束后，屏幕最下方有三个选项“前回テストを繰り返す”、“新しい内容”、“終了”。如果用户选择“前回テストを繰り返す”，则系统重新进行平假名“き”的发音辅助训练。如果用户选择“新しい内容”，则系统退回到主界面，等待用户选择新的语音训练。如果用户选择“終了”，则程序退出，返回操作系统界面。
实施例5，法语国家聋哑人学习法语单词“vélo”的发音，本实施例所使用的软件与硬件，以及计算机辅助学习软件与实施例1相同。学习系统的启动方式与实施例1相同。
如图1所示，首先进入系统主界面，选择“French”。如图13所示，用户在“Transcription Phonétique”、“Mot d’usage Courant”、“Phrased’usage Courant”三个选项中用鼠标左键单击“Mot d’usage Courant”选项。如图14所示，进入该选项后，计算机屏幕显示一个对话框，对话框下方有法文提示“Importer le Mot”。用户通过键盘在该对话框内键入“vélo”，并单击回车键，进入法语单词“vélo”的发音学习界面。
如图15所示，进入单词“vélo”的发音学习界面后，用户可以看到屏幕最上方为单词“vélo”以及其注音[velp]。屏幕中间以低速播放真人发音的正面及侧面口型录像。
用户学习完单词“vélo”发音特点之后，点击屏幕右下方按钮“Préparer pour test”，则屏幕显示视频采集装置所捕捉的实时画面，并提示“Corrigez la position de votre tête”。用户调整自己头部的位置和角度，使视频采集装置能够稳定清晰的捕捉到用户发音时的口型及面部特征。调整结束后，用户再次点击该按钮。从用户点击该按钮开始，语音采集装置和视频采集装置开始分别记录下长度为10秒钟的音频和视频信号，并在计算机屏幕上显示十秒钟倒计时。在十秒钟之内，用户对准语音采集装置发出[velp]音。十秒钟后，语音采集装置和视频采集装置停止记录音频和视频信号。
由于法语单词的发音一般也由多个音素构成，因此本辅助学习系统同样采用基于不包含状态持续时间统计信息的连续HMM方法对单词发音给出准确性评价。具体判别评估过程与实施例2中的过程相同。
语音评测结束后，在计算机屏幕上方用百分数显示出本次发音的得分，该百分数表明用户发音与标准发音的相似程度，用来定量地评判发音的准确性。同时，屏幕中反复回放视频采集装置所记录下的用户在“vélo[velp]”的发音过程中口型及面部特征变化的视频录像。用户还可以点击屏幕右方的“manière d’agir de prononciation”按键。点击该按键后，显示器上播放标准发音示范人发“vélo[velp]”音的标准发音口型录像。用户可以将自己的发音口型与标准口型做比较，根据这些反馈信息反复矫正自己的发音。
如图16所示，本次测试结束后，屏幕最下方有三个选项“répéterle contenu d’études”、“chiosir nouveau contenu d’études”、“quitter”。如果用户选择“répéter le contenu d’études”，则系统重新进行单词“vélo”的发音辅助训练。如果用户选择“chiosir nouveau contenu d’études”，则系统退回到主界面，等待用户选择新的语音训练。如果用户选择“quitter”，则程序退出，返回操作系统界面。
实施例6，法语国家聋哑人学习法语句子“Cest mon vélo”的发音，本实施例所使用的软件与硬件，以及计算机辅助学习软件与实施例1相同。学习系统的启动方式与实施例1相同。如图1所示，首先进入系统主界面，选择“French”。如图13所示，用户在“TranscriptionPhonétique”、“Mot d’usage Courant”、“Phrase d’usage Courant”三个选项中用鼠标左键单击“Phrase d’usage Courant”选项。进入该选项后，计算机屏幕将显示一个对话框，对话框下方有法文提示“Importer laPhrase”。用户通过键盘在该对话框内键入“Cest mon vélo”，并单击回车键，进入法语句子“Cest mon vélo”的发音学习界面。
如图17所示，进入常用句型“Cest mon vélo”的发音学习界面后，用户将可以看到屏幕最上方为句型“Cest mon vélo”以及其注音[sεmηvelp]。屏幕中间播放真人发音的口型录像。此后的操作过程与实施例5相同。
本发明充分利用多媒体计算机的语音接收装置、视频采集装置以及显示器等多个硬件装备，将计算机图形图像技术，包括静态图像技术和动画技术、多媒体计算机语音技术，包括语音识别和语音评测有机的结合起来，针对使用对象具有不同国别、不同母语的特点，在辅助教学过程中使用不同文字的教学语言，有效辅助英国、美国、日本、法国、德国、俄罗斯、西班牙等多个国家的聋哑人学习本国语言发音，满足具有不同母语的聋哑人发音学习的需要。本发明的聋哑人语音计算机辅助学习方法简便易用，用户可以在任何一台带有语音接收装置、视频采集装置的多媒体电脑上使用本辅助学习系统。对学习对象的发音正确性用百分数进行准确的量化评估，并利用评分、视频等手段向学习者充分反馈其发声与参考标准的差异。
权利要求
1.一种多种语言适用的聋哑人语音学习计算机辅助方法，包括以下步骤一、用户根据自身需要选择所需要学习的语言种类；二、用户选择并确定所需学习的语音单元；三、计算机的显示器向用户显示需要学习的语音和所需注意的环节；四、启动计算机的语音接收装置，等待用户语音信号的输入；五、语音接收装置接收用户发出的语音信号，进行模拟/数字转换；六、计算机的中央处理器从模拟数字转换装置提取所需的语音特征；七、中央处理器对用户发音做出准确性判别；八、在显示器上显示用户发音的准确度。
2.根据权利要求1所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述中央处理器从模拟数字转换装置提取所需的语音特征时，通过端点检测获得用户发音相关的数字语音数据。
3.根据权利要求2所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述当用户学习单音节的发音时，中央处理器采用对连续短时语音帧进行基于μ律倒谱分析的MFCC参数计算，在每个参数矢量中包含信号短时能量以及参数的一阶、二阶差分分量，以DHMM模型参数为基础，通过Viterbi算法，对发音准确程度进行判别；当用户学习多音节、单词、句子发音时，中央处理器通过传统HMM方法实现对用户的连续发音过程进行发音准确程度判别。
4.根据权利要求3所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述语音接收装置启动时，同时启动视频采集装置，捕捉用户发音时的口型的细部特征。
5.根据权利要求4所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述显示器向用户显示需要学习的语音和所需注意的环节时，使用文字和动画图像向用户提示发音特点与口型特征。
6.根据权利要求5所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述显示器使用动画图像向用户提示发音特点与口型特征时，用口型变化和送气特征的正面动画、侧面动画和发声器官解剖结构的发音过程动画图像，演示发声器官的配合运动。
7.根据权利要求6所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述计算机的中央处理器提取所需的语音单元时采用端点检测的方法，通过计算信号能量和过零率实现对输入话音信号起始和终止位置的初步判决。
8.根据权利要求7所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述语音接收装置接收用户发出的语音信号时，通过软件预处理数字滤波器，对环境噪声进行抑制和高频信号分量预加重。
9.根据权利要求8所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述在显示器上显示用户发音的准确度时，使用百分数显示发音准确度，同时回放用户发音时的录像信息，与标准发音视频动画进行比较。
10.根据权利要求9所述的多种语言适用的聋哑人语音学习计算机辅助方法，其特征在于所述用户选择并确定所需学习的语音单元为音标、单词或句子。
全文摘要
本发明公开了一种多种语言适用的聋哑人语音学习计算机辅助方法，要解决的技术问题是帮助家长和老师从繁重而重复的语言教学活动中解放出来，本发明的方法包括以下步骤用户选择学习的语言种类，学习的语音单元，显示器显示学习的语音和注意环节，启动语音接收装置，接收语音信号，进行模拟/数字转换，中央处理器提取语音特征，对发音做出准确性判别，显示器显示发音的准确度，本发明与现有技术相比，利用多媒体计算机的硬件装备，将计算机图形图像技术、多媒体计算机语音技术结合起来，针对使用对象具有不同母语的特点，在辅助教学过程中使用不同文字的教学语言，有效辅助不同国家的聋哑人学习本国语言发音，满足具有不同母语的聋哑人发音学习的需要。
文档编号G06F17/00GK1851779SQ200610060778
公开日2006年10月25日 申请日期2006年5月16日 优先权日2006年5月16日
发明者黄中伟, 杨磊, 孙宏元, 蒙山, 徐 明 申请人:黄中伟, 杨磊, 孙宏元, 蒙山, 徐 明