本发明涉及听障生融合教育课堂辅助系统及装置。
背景技术：
我国听力障碍学生（听力障碍学生下文简称听障生）人数众多。由于人类的语言认知过程是一个人多通道的感知过程，除声音信息通道外，唇动视觉信息可以作为语音理解源。对于听障儿童来讲唇动视觉即唇读是最主要的语音理解源，因此听障生主要通过观察说话人的口唇发音动作、肌肉活动及面部表情，形成连续的视知觉，并与头脑中储存的词语表象相比较和联系，进而理解说话者的内容。唇读作为语音的发音运动技能，可以帮助听障儿童利用唇读在口语交流过程中获取信息，有利于他们随班就读，融入主流社会。
目前大部分失聪和听障儿童都在聋哑学校或特殊教育学校学习，为了让听障儿童能接受高质量的普通教育，我国部分地区采取了融合教育课堂理念，即：融合指的是让大多数残障儿童进入普通班，并增进在普通班学习的方式。希望能合并普通及特教系统，建立一个统一完整的系统以便管理教育资源，并希望将不同种类班级的学生融合在一起。但其难点在于：普通教育无法对听障生提供高质量的个别化教学。听障生对教师授课过程中唇读及课后复习中存在很大的障碍。有鉴于此，有必要针对听障生的特殊需求，提供能辅助听障生在融合教育课堂上正常上课的系统平台及装置。
技术实现要素：
本发明为辅助听障生融入融合教育课堂的辅助系统及装置，是具有音、视频识别及语音转文字的功能，同时该系统加入了资源存储模块、资源获取模块，提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台，同时本系统可作为课后复习的视频资料辅助学习。
听障生融合教育课堂辅助系统，其特征在与：包括面部运动数据采集模块、视频识别处理模块、语音数据采集模块、语音识别模块、同步处理模块、数据传输模块、显示模块、资源存储模块、资源获取模块、数据播放模块。
所述面部运动数据采集模块用于采集说话人面部运动数据。
所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。
所述语音数据采集模块用于采集说话人语音数据。
所述语音识别模块用于将语音信息转至文字信息。
所述同步处理模块用于将文字、语音、视频信息同步传递。
所述数据传输模块用于将已同步的信息实时不间断传递。
所述资源存储模块用于将以获取的音频、视频、文字信息进行存储。
所述资源获取模块包括视频提取单元、协议分析单元、媒体解码单元、用户管理单元对以存储的信息进行提取。
所述数据播放模块用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。
所述显示模块用于显示说话人音频、视频、文字可视化信息。
本发明是利用移动互联网方式解决听障生在融合教育课堂问题的辅助系统及装置，系统通过视频识别处理模块、语音识别模块与同步处理模块后实时捕捉教师上课的唇形变化，听障生通过手机或者其他显示模块观看视频，了解教师授课知识点或通过资源存储模块、资源获取模块登录系统平台巩固复习课间教师授课知识点。
附图说明
图1是听障生融合教育课堂辅助系统及装置。
图2是视频识别处理模块102示意图。
图3是语音识别模块104示意图。
图4是同步处理模块105示意图。
图5是资源获取模块108示意图。
具体实施方案
下面结合附图详细说明本发明的技术方案。
图1是听障生融合教育课堂辅助系统及装置示意图。包括面部运动数据采集模块101、视频识别模块102、语音数据采集模块103语音识别模块104、同步处理模块105、数据传输模块106、资源存储模块107、资源获取模块108、数据播放模块109、显示模块110；
面部运动数据采集模块101用于采集说话人的面部运动数据。说话人面部数据可以是二维或三维数据。面部运动数据可以通过对说话人的面部运动进行录像的方式获得；
视频识别处理模块102所述视频识别处理模块用于视频数据传输、视频数据接收、视频处理。所述视频识别处理模块包括视频传输模块201、视频接收模块202、视频处理模块203。所述视频传输模块201用于对视频信息进行编码、压缩、打包并将流媒体数据传输给视频接收模块；视频接收模块202对接收的流媒体数据解包、解码、获得相应数字图像序列，并将其发送给视频处理模块203；视频处理模块203用于图像与处理、提取面部特征点。其中图像与处理包括原始图像进行滤波除噪、补光、增强灰度值。利用直方图均衡化技术将光照、背景等因素的影响表情图像的灰度的小范围区域进行外延扩展，加强像素灰度值的动态变化范围。其中提取面部特征点，采用haar-like特征值反映图像的灰度变化情况，对人唇部的主要特征的位置、大小、相对运动情况及其相互位置变化的进行特征提取，从而达到识别唇部发音动作的目的；
语音数据采集模块103用于采集说话人语音数据，说话人的语音数据可以通过对说话人的语音进行录音的方式直接获得；
语音识别模块104包括语音处理模块301、特征值提取模块302、解码模块303。所述语音处理模块包括转换单元、降噪单元。所述转换单元用于将语音信号模数转换。所述降噪单元用于降低信号噪声。所述特征值提取模块302用于将语音信号进行特征值提取。所述解码模块303根据声学模型数据库和语言模型数据库，对语音信号特征参数进行解码识别，语音信号特征参数解码识别后将语音信息转至文字信息。该语音识别模块支持回音消除（aec）、静音检测（vad）、噪音抑制（denoise）、自动增益（agc）等网络语音技术，但对于低延迟融合教育课堂视频直播平台并不是网络直播，而是在课堂上使用，通话双方距离较近，可忽略该因素；
同步处理模块105用于将语音、文字、视频信息同步处理；
视频数据接收模块401接收到由视频识别处理模块102传送的数据视频；音频数据接收模块402接收到由语音处理模块301传送的音频数据；文字数据接收模块403接收到由语音识别模块104将语音数据转换的文字数据，同时将视频数据、语音数据、文字数据同步处理；
数据传输模块106用于将已同步的信息实时不间断传递；
资源存储模块107用于将以获取的音频、视频、文字信息进行存储。且对存储的信息信息按照协议种类进行划分，包括tp、udp、tcp、http和rtp协议；
资源获取模块108包括视频提取单元501、协议分析单元502、媒体解码单元503、用户管理单元504对已存储的信息进行提取；视频提取单元501用于对播放的音视频的传输协议进行提取并发送至协议分析单元502；协议分析单元502用于对接收的音视频信息传输协议进行分析并发送至媒体解码单元503；媒体解码单元503用于对接收的音视频信息的协议进行解码并发送至用户管理单元504；用户管理单元504用于对用户的信息进行管理，管理的内容包括用户注册和登录、查询及编辑；
数据播放模块109用于对资源存储模块中存储的音频、视频、文字信息按照各协议划分进行播放。播放的方式采用轮流播放、随机播放、重复播放；
显示模块110用于显示说话人音频、视频、文字可视化信息；显示模块110可以使显示器、手机等电子显示设备。
图2是视频识别处理模块102示意图。视频识别处理模块102的具体工作过程如下：
201视频传输模块：视频传输模块对视频信息进行编码、压缩、打包，将流媒体数据传输给视频接收模块；
202视频接收模块：视频接收模块对接收的流媒体数据进行解包、解码，获得数字图像序列，并将其发送给视频处理模块；
203视频处理模块：利用直方图均衡化技术将光照、背景等因素的影响表情图像的灰度的小范围区域进行外延扩展，加强像素灰度值的动态变化范围。其中提取面部特征点，采用haar-like特征值反映图像的灰度变化情况，对人类面部的主要特征（眼睛、鼻子、嘴巴）的位置、大小、相对运动情况及其相互位置变化的进行特征提取，从而达到人脸面部表情识别分类的目的。
图3是语音识别模块104示意图。语音别处理模块104的具体工作过程如下：
301语音处理模块：语音处理模块包括转换单元、降噪单元。转换单元用于将语音信号模数转换。所述降噪单元用于降低信号噪声。将经过处理的语音信息分别传送至同步处理模块105、特征值提取模块302；
302特征值提取模块：特征值提取模块用于将语音信号进行特征值提取。并将提取的特征值传送至解码模块；
303解码模块：解码模块根据声学模型数据库和语言模型数据库，对语音信号特征参数进行解码识别，语音信号特征参数解码识别后将语音信息转至文字信息，将文字信息传送至同步处理模块105。
图4是同步处理模块105示意图：视频数据接收模块401接收到由视频识别处理模块102传送的数据视频；音频数据接收模块402接收到由语处理模块301传送的音频数据；文字数据接收模块403接收到由语音识别模块104转换的文字数据；同时将视频数据、语音数据、文字数据同步处理。
图5是资源获取模块108示意图：资源获取模块108包括视频提取单元501、协议分析单元502、媒体解码单元503、用户管理单元504对已存储的信息进行提取；视频提取单元501用于对播放的音视频的传输协议进行提取并发送至协议分析单元502；协议分析单元502用于对接收的音视频信息传输协议进行分析并发送至媒体解码单元503；媒体解码单元503用于对接收的音视频信息的协议进行解码并发送至用户管理单元504；用户管理单元504用于对用户的信息进行管理，管理的内容包括用户注册和登录、查询及编辑。
综上所述本发明为辅助听障学生融入融合教育课堂的辅助系统及装置，是具有音、视频识别及语音转文字的功能，同时该系统加入了资源存储模块、资源获取模块，提供能实时接收教师授课内容的辅助听障生在融合教育课堂上正常上课的系统平台，同时本系统可作为课后复习的视频资料辅助学习。
应当理解的是，以上所示实施例仅表达本发明的几种实施方案，其描述较为具体和详细，但不能因此理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。