专利名称：面向听障儿童语训的舌部训练方法及其系统的制作方法
技术领域：
本发明涉及一种听障儿童语训的舌部训练方法以及实现这种方法的系统，属于聋儿语言康复技术领域，尤指利用三维建模技术建立可视模型，能够让聋儿清楚的看到正常人发音时舌腭部的运动过程，并且利用传感器与语音识别技术，将聋儿发音情况进行反馈和分析的面向听障儿童语训的舌部训练方法及其系统。
背景技术：
听障儿童由于听カ障碍，使得语言能力远远落后于同龄健全儿童，聋儿说出的话，一般人听不懂或较难听懂，因此要对聋儿进行语言康复训练。有资料表明聋儿的最佳语训期为3-7岁，如果能够及时的进行康复训练，锻炼发音，培养语感及自主学习语言的意识，使其具有一定的懂话能力，说话能力，达到能听会说，聋而不哑，为其今后的知识学习和參与社会活动奠定基础。聋哑人的语言康复训练始于20世纪60年代，主要康复训练内容可分为听觉训练和语言训练。人类的语言都有一套完整的体系，它包括语音、词汇和语法三个要素。语音是由发音器官发生的，发音器官活动的部位不同，方法不同，产生的声音也不同。为了锻炼聋儿的发音器官，要让聋儿做呼吸操、舌头操、ロ部操。为了练习好发音，要进行鼻音练习、嗓音训练、音素训练、拼音训练。但由于耳聋使聋儿缺少听觉的反馈，不能及时校正自己的发音，因此他们发音训练时会存在许多缺陷，比如发音不准，发音音量小，缺少声调变化，有时发假首，冒闻调，有时又发低首等等。舌部方法训练是语言康复训练的重要环节，是学习发音方法、发音技巧以及养成良好发音习惯的训练基础，为听障儿童今后进行语言训练打下好的基础。舌部的方法训练关键是舌部运动，传统的舌部训练方式是教师通过让听障儿童进行舌操训练。安排时间组织听障儿童做舌操。如伸缩舌头、顶腮、翻转舌头等。目前针对舌部的训练比较少，中国发明专利申请号96196157.0，专利名称“挺伸舌头的口腔习性矫正装置”，涉及ー种舌头挺伸口腔习性矫正装置，该装置被设计成用后牙固定，并训练在吞咽时不用舌头抵压前牙，使用者的舌头可以卷入位于口腔中央位置的该槽中，从而可在开始正常吞咽时正确和准确地定位舌尖的位置。发明专利申请号02132458. 1，专利名称“舌像采集设备”，涉及ー种舌像采集设备，本发明是计算机舌像诊断系统中的关键组成部分，其结构设计可确保舌像照片的质量、计算机诊断结果的可靠性、获得舌体的真实颜色和舌面纹理、舌体形状不失真、舌像采集的准确性、舒适性。发明专利申请号200680014327. 8，专利名称“根据舌图像诊断疾病的方法”，涉及一种通过检查个体的舌的图像来诊断疾病的方法。它包括形成舌和个体的面部的一部分的第一图像、第二图像。进行第二图像中个体的面部和第一图像中个体的面部的所述部分的顔色比较，并且基于颜色比较来使第二图像中的顔色匹配第一图像中的顔色，由此基于第一舌图像和第二舌图像中的变化来诊断至少ー种疾病。发明专利申请号02118128. 4名称“可动态调整播速的听讲训练系统及其方法”，涉及了一种可动态调整播速的听讲训练系统及其方法，使用者可以通过对使用者操作接ロ的操作，在跟读学习过程中随时进行动态參数设定，并且系统可以立即根据设定内容进行调整，实时产生满足使用者所需求的跟读学习过程，让使用者得以顺利完成听讲训练。上述涉及舌部及发音训练的方法和装置，用于训练正常吞咽时正确和准确地定位舌尖的位置和舌像诊断具有一定作用，但对于听カ障碍儿童进行语言训练过程中的舌部训练方法却没有涉及。
发明内容
本发明的目的在于克服目前听障儿童语言训练中舌部训练过程不可视及无反馈诊断的不足，提出ー种面向听カ障碍的儿童如何在语言训练过程中进行的舌部训练方法及其系统，以解决聋儿由于听カ缺陷，缺少听觉的反馈，使舌头得不到很好的锻炼，故舌尖转动不灵敏，舌头动作跟不上言语节拍的速度，因此发音不准，缺少声调变化的 问题，进而提高听障儿童发音训练的效率，提高发音训练的准确度。为了实现上述目的，本发明采用以下技术方案将三维建模技术与传感器技术相结合，建立基于视觉反馈模型及适合听障儿童语训的标准数据库，并在建立标准数据库的基础上，结合传感器和音频技术对听障儿童发音过程的舌部运动进行校正，以达到听障儿童在恢复汉语发音过程中正确发音，使聋儿在发音学习中能直观看到显示屏幕上的舌部模型的发音运动过程，一边模仿一边练习，具体步骤包括
步骤I :聋儿根据自己的训练层次，首先选择ー种舌部发音训练环节，比如元音训练，辅音训练，音调训练等。显示屏幕上的舌部模型播放某ー汉语音素的发音过程，同时播放该信息的语音，该发音过程是经过參数驱动三维舌部模型完成的，接下来进行步骤2 ；
步骤2 :听障儿童根据屏幕显示的发音过程进行发音练习，同时系统收集听障儿童练习过程的音频信息和传感器信息，并通过传感器技术和语音识别技术进行分析，给听障儿童发音进行评价优秀、合格、不合格，若合格进入步骤3，若优秀进入步骤4，若不合格进入步骤5 ;
步骤3 :鼓励学生继续进行练习，争取达到优秀标准，若听障儿童选择继续练习则返回到刚刚训练的内容，同时系统进入步骤2，若不想继续学习此内容则可选择进入下ー训练环节，同时系统进入步骤1，或者进入步骤6 ；
步骤4:给予听障儿童一定奖励，一段视频或是动画，激励听障儿童继续努力学习，若想继续学习可选择进入下ー训练环节，同时系统进入步骤2，或者进入步骤6 ；
步骤5 :给予听障儿童一定鼓励，同时重新播放正确的三维舌部模型发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤2或者进入步骤6 ；
步骤6 :退出系统。一种实现上述方法的听障儿童语训的系统，包括
I)舌部训练基本素材単元，包括五种训练素材汉语音素/t/、/d/和/n/，汉语音素/k/、/g/和/ng/，汉语音素/zh/、/ch/和/sh/，汉语音素/1/，汉语音素/z/、/c/和/s/，每ー种音素经參数驱动后都会形成与之对应的模拟动画。2)标准舌部训练參数单元,用以驱动舌部模型的參数,姆ー參数对应ー个音素单元;
3)舌部训练单元，按照听障儿童训练不同阶段分为元音、辅音、音调三个等级，分别装载各自不同级别的训练单元；
4)音频接收模块、接收听障儿童发音过程的音频文件。5)传感器模块,接收来自传感器的信息。6)显示模块，根据系统输入需要显示的相应语训等级中的音素単元，从參数库中调取參数驱动舌部模型，进入可视化舌部模型发音过程；
7)受训者资料数据库，记录受训者学习情況，并对受训者所学发音过程进行统计评估，通过评估认定受训者应该在哪个语训等级中。8)判断模块，通过语音识别识别技术判断听障儿童发音的级别优秀或合格或不合格；
9)反馈模块，根据判断模块的结果提取上述记录的听障儿童发音过程文件，或者提示听障儿童如何正确发音，或者播放正确的发音过程。本发明的有益效果是，应用逼真的三维模型充分指导听障儿童进行舌部发音训练，使听障儿童从各个方向了解舌部发音时的动作序列，让听障儿童从最基本的语素开始进行发音练习，通过奖励和鼓励措施调动听障儿童训练的兴趣，能够缩短听障儿童发音训练所需时间，提高发音训练的效率。同时本发明采用传感器和音频反馈的方法对听障儿童发音训练进行评估，针对每ー个听障儿童各自特点记该录听障儿童训练过程和训练效果。
图I为本发明发音训练中舌部训练方法流程图。图2为本发明的发音训练中反馈流程图。
具体实施例方式如附图I和附图2所示，一种基于视觉反馈的听障儿童语言训练舌部训练方法，旨在使听障儿童在学习发音过程中通过视觉直观看到显示屏幕上的舌部运动模式，如发/V、/d/和/n/音素时形成的马蹄形上抬模式，发汉语/k/、/g/和/ng/音素时形成的舌后部上抬模式，发汉语/zh/、/ch/和/sh/音素时形成的舌两侧上抬模式，发汉语/I/音素时舌尖上抬和下降模式，发汉语/z/、/c/和/s/音素时形成的舌叶上抬模式等，聋儿ー边模仿ー边练习。如图I所示的操作步骤进入系统一选择舌部发音训练环节一显示舌部模型发音过程一听障儿童发音练习一对传感器和音频信息进行分析一判断评估；对不合格者(进入)一鼓励并提示错误之处一记录用户信息一退出(系统);对于优秀、合格者(进入)一给予受训者奖励并记录用户信息一退出(系统)。这样训练者进入用户相应等级训练模块，显示ー组指定的训练单元，用户点击某一特定训练单元，三维舌部模型模拟整个发音过程，用户模仿整个发音过程，评估模块判断用户训练等级，提示或奖励用户，记录用户训练信息。上述操作步骤结合如下具体方法达到听障儿童发音训练中舌部训练的目的
步骤I :聋儿根据自己的训练层次，首先选择ー种舌部发音训练环节，比如元音训练，
辅音训练，音调训练等，显示屏幕上的舌部模型播放某ー汉语音素的发音过程，同时播放该信息的语音，该发音过程是经过參数驱动三维舌部模型完成的，接下来进行步骤2 ；
步骤2 :听障儿童根据屏幕显示的发音过程进行发音练习，同时系统收集听障儿童练习过程的音频信息和传感器信息，并通过传感器技术和语音识别技术进行分析，给听障儿童发音进行评价优秀、合格、不合格，若合格进入步骤3，若优秀进入步骤4，若不合格进入步骤5 ;
步骤3 :鼓励学生继续进行练习，争取达到优秀标准，若听障儿童选择继续练习则返回到刚刚训练的内容，同时系统进入步骤2，若不想继续学习此内容则可选择进入下ー训练环节，同时系统进入步骤1，或者进入步骤6 ；
步骤4 :给予听障儿童一定奖励，一段视频或是动画，激励听障儿童继续努力学习，若想继续学习可选择进入下ー训练环节，同时系统进入步骤2，或者进入步骤6 ；
步骤5 :给予听障儿童一定鼓励，同时重新播放正确的三维舌部模型发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤2或者进入步骤6 ；
步骤6 :退出系统。 一种实现上述方法的听障儿童语训的系统，包括
I)舌部训练基本素材単元，包括五种训练素材(汉语音素/1/，/d/和/n/，汉语音素/k/, /g/和/ng/，汉语音素/zh/，/ch/和/sh/，汉语音素/1/，汉语音素/z/，/c/和/s/)，每ー种音素经參数驱动后都会形成与之对应的模拟动画。2)标准舌部训练參数单元,用以驱动舌部模型的參数,姆ー參数对应ー个音素单元;
3)舌部训练单元，按照听障儿童训练不同阶段分为元音、辅音、音调三个等级，分别装载各自不同级别的训练单元；
4)音频接收模块、接收听障儿童发音过程的音频文件。5)传感器模块，接收来自传感器的信息。6)显示模块，根据系统输入需要显示的相应语训等级中的音素単元，从參数库中调取參数驱动舌部模型，进入可视化舌部模型发音过程；
7)受训者资料库，记录受训者学习情况，并对受训者所学发音过程进行统计评估，通过评估认定受训者应该在哪个语训等级中。8)判断模块，通过语音识别技术判断听障儿童发音的级别优秀或合格或不合格；
9)反馈模块，根据判断模块的结果提取上述记录的听障儿童发音过程文件，或者提示听障儿童如何正确发音，或者播放正确的发音过程。如附图2所示，本发明的发音训练中的反馈流程包括音频反馈受训者一音频信息采集一音频信息处理一显示输出；传感器信息反馈受训者一传感器一传感器信息分析—显不输出。
权利要求
1.一种面向听障儿童语训的舌部训练方法及其系统，其特征在于将三维建模技术与传感器技术相结合，建立基于视觉反馈模型及适合听障儿童语训的标准数据库，并在建立标准数据库的基础上，结合传感器技术对听障儿童发音过程的舌部运动进行校正，以达到帮助听障儿童在恢复汉语发音过程中正确发音，聋儿在发音学习中通过视觉直观看到显示屏幕上的的三维模型的模拟发音过程，通过半透明的头像可以看到舌部发音器官发音过程的动作序列及与上腭贴合的位置，一边模仿一边练习，具体内容包括 步骤I :聋儿根据自己的训练层次，首先选择一种舌部发音训练环节，比如元音训练，辅音训练，音调训练等，显示屏幕上的舌部模型播放某一汉语音素的发音过程，同时播放该信息的语音，该发音过程是经过参数驱动三维舌部模型完成的，接下来进行步骤2 ； 步骤2 :听障儿童根据屏幕显示的发音过程进行发音练习，同时系统收集听障儿童练习过程的音频信息和传感器信息，并通过传感器技术和语音识别技术进行分析，给听障儿童发音进行评价优秀、合格、不合格，若合格进入步骤3，若优秀进入步骤4，若不合格进入步骤5 ; 步骤3 :鼓励学生继续进行练习，争取达到优秀标准，若听障儿童选择继续练习则返回到刚刚训练的内容，同时系统进入步骤2，若不想继续学习此内容则可选择进入下一训练环节，同时系统进入步骤1，或者进入步骤6 ； 步骤4:给予听障儿童一定奖励，一段视频或是动画，激励听障儿童继续努力学习，若想继续学习可选择进入下一训练环节，同时系统进入步骤2，或者进入步骤6 ； 步骤5 :给予听障儿童一定鼓励，同时重新播放正确的三维舌部模型发音过程，通过视频分析，提示其在刚刚发音过程中的错误之处，并系统进入步骤2或者进入步骤6 ； 步骤6 :退出系统。
2.一种实现上述方法的听障儿童语训的系统，其特征在于包括 1)舌部训练基本素材单元，包括五种训练素材汉语音素/t/、/d/和/n/，汉语音素/k/、/g/和/ng/，汉语音素/zh/、/ch/和/sh/，汉语音素/1/，汉语音素/z/、/c/和/s/，每一种音素经参数驱动后都会形成与之对应的模拟动画； 2)标准舌部训练参数单元，用以驱动舌部模型的参数，每一参数对应一个音素单元； 3)舌部训练单元，按照听障儿童训练不同阶段分为元音、辅音、音调三个等级，分别装载各自不同级别的训练单元； 4)音频接收模块、接收听障儿童发音过程的音频文件； 5)传感器模块，接收来自传感器的信息； 6)显示模块，根据系统输入需要显示的相应语训等级中的音素单元，从参数库中调取参数驱动舌部模型，进入可视化舌部模型发音过程； 7)受训者数据库，记录受训者学习情况，并对受训者所学发音过程进行统计评估，通过评估认定受训者应该在哪个语训等级中； 8)判断模块，通过语音识别识别技术判断听障儿童发音的级别优秀或合格或不合格； 9)反馈模块，根据判断模块的结果提取上述记录的听障儿童发音过程文件，或者提示听障儿童如何正确发音，或者播放正确的发音过程。
全文摘要
本发明涉及一种听障儿童语训的舌部训练方法以及实现这种方法的系统，属于聋儿语言康复技术领域，其将三维建模技术与传感器技术相结合，建立基于视觉反馈模型及适合听障儿童语训的标准数据库，并在建立标准数据库的基础上，结合传感器技术对听障儿童发音过程的舌部运动进行校正，以达到帮助听障儿童的正确发音；聋儿在发音学习中通过视觉直观看到显示屏幕上的三维模型的模拟发音过程，通过半透明的头像可以看到舌部发音器官发音过程的动作序列及与上腭贴合的位置，一边模仿一边练习。本发明应用逼真的三维模型，可以充分指导听障儿童进行舌部发音训练，能够缩短听障儿童发音训练所需时间，提高发音训练的效率。
文档编号G09B21/00GK102663925SQ20121014048
公开日2012年9月12日 申请日期2012年5月9日 优先权日2012年5月9日
发明者刘威, 史丽娟, 宋雅娟, 张超, 杜钦生, 王丽荣, 王晓丽, 赵剑 申请人:长春大学