基于多模态人机交互技术的教学辅助系统的制作方法
【专利摘要】基于多模态人机交互技术的教学辅助系统，它包括情景教室，所述情景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机，所述主机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。本发明通过捕捉操作者发出的语言以及肢体语言进行分析，然后再由视频集音频来反映出操作者的操作意愿，整个交互过程生动逼真，从而大大提高学生的学习兴趣，提高了教学质量。
【专利说明】所属【技术领域】
[0001] 本发明涉及教学辅助【技术领域】，尤其涉及一种基于多模态人机交互技术的教学辅 助系统。 基于多模态人机交互技术的教学辅助系统
【背景技术】
[0002] 现阶段教师们的教学课件仍然是以课本教材为主，但是随着时代的进步，教学知 识量越来越大，简单的教材已经无法承载，而且仅仅以文字以及简单的二维图形已经很难 诠释所学的知识点，从而造成教学质量得不到提升。
【发明内容】
[0003] 本发明提供了一种通过音频、视频两种方式来进行人机交互的教学辅助系统。
[0004] 为了解决【背景技术】所存在的问题，本发明是采用以下技术方案：它包括情景教室， 所述情景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机， 所述主机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。
[0005] 所述主机包括中央处理器、信息采集模块、信息处理集模块、数据发布模块，所述 音频采集装置、视频采集装置与信息采集模块连接，信息采集模块与信息处理集模块连接， 信息处理集模块与中央处理器连接，中央处理器与数据发布模块连接，数据发布模块再与 立体投影仪、音频播放装置连接。
[0006] 所述立体投影仪最少设置有四个，分别安装在情景教室的四角的上方。
[0007] 所述音频播放装置最少设置有两个，分别安装在情景教室任一对角线的两个角 上。
[0008] 所述音频采集装置和视频采集装置设置在人机交互操作位置处。
[0009] 本发明通过捕捉操作者发出的语言以及肢体语言进行分析，然后再由视频集音频 来反映出操作者的操作意愿，整个交互过程生动逼真，从而大大提高学生的学习兴趣，提高 了教学质量。
【专利附图】
【附图说明】
[0010] 图1为本发明的结构示意图；
[0011] 图2为本发明的示意框图。
[0012] 实施方式
[0013] 参见图1-2,本发明它包括情景教室1，所述情景教室1内设置有立体投影仪2、音 频采集装置3、音频播放装置4、视频采集装置5及主机6,所述主机6分别与立体投影仪2、 音频采集装置3、音频播放装置4、视频采集装置5连接，所述立体投影仪2最少设置有四 个，分别安装在情景教室1的四角的上方，音频播放装置4最少设置有两个，分别安装在情 景教室1任一对角线的两个角上，所述音频采集装置3和视频采集装置5设置在人机交互 操作位置处，所述主机包括中央处理器、信息采集模块、信息处理集模块、数据发布模块，所 述音频采集装置、视频采集装置与信息采集模块连接，信息采集模块与信息处理模块连接， 信息处理模块与中央处理器连接，中央处理器与数据发布模块连接，数据发布模块再与立 体投影仪、音频播放装置连接。
[0014] 当需要进行人机交互时，音频采集装置、视频采集装置将人物发出的语言以及肢 体语言采集后传送给信息处理集模块，信息处理集模块将信息处理保存到中央处理器中， 数据发布模块然后从中央处理器中获取出对应的数据经立体投影仪、音频播放装置在情景 教室内播放，如操作者说打开某实验，则立体投影仪就会将数据库中某实验的相关设备在 情景教室内投影出来，操作者可用语言或肢体语言来操作某仪器，在某一操作会有相应声 音发出时，音频播放装置就会发出相应声响，使操作者如同在现实中操作一般，从而增加学 生学习兴趣，提高教学质量。
【权利要求】
1. 基于多模态人机交互技术的教学辅助系统，其特征在于：它包括情景教室，所述情 景教室内设置有立体投影仪、音频采集装置、音频播放装置、视频采集装置及主机，所述主 机分别与立体投影仪、音频采集装置、音频播放装置、视频采集装置连接。
2. 根据权利要求1所述的系统，其特征在于，所述主机包括中央处理器、信息采集模 块、信息处理集模块、数据发布模块，所述音频采集装置、视频采集装置与信息采集模块连 接，信息采集模块与信息处理集模块连接，信息处理集模块与中央处理器连接，中央处理器 与数据发布模块连接，数据发布模块再与立体投影仪、音频播放装置连接。
3. 根据权利要求2所述的系统，其特征在于，所述立体投影仪最少设置有四个，分别安 装在情景教室的四角的上方。
4. 根据权利要求3所述的系统，其特征在于，所述音频播放装置最少设置有两个，分别 安装在情景教室任一对角线的两个角上。
5. 根据权利要求3或4所述的系统，其特征在于，所述音频采集装置和视频采集装置设 置在人机交互操作位置处。
【文档编号】G09B5/06GK104064064SQ201410282736
【公开日】2014年9月24日 申请日期:2014年6月14日 优先权日:2014年6月14日
【发明者】刘国强, 张长瑞, 彭杰, 赵珍辉 申请人:合肥迅大信息技术有限公司