一种基于Kinect体感交互的课堂多媒体教学装置制造方法
【专利摘要】本实用新型涉及一种基于Kinect体感交互的课堂多媒体教学装置，Kinect传感器设有RGB彩色摄像头、红外发射器及红外传感器；存储单元预存有手势语义命令以及头部动作命令；处理单元的输入端分别与Kinect传感器、存储单元电连接，处理单元生成控制命令；显示单元生成静态会话场景、虚拟人偶情境、动态协作情境。基于Kinect体感交互的课堂多媒体教学装置根本目的是在普通投影屏幕或白板上实现触摸屏操控效果，用户使用手势即可对屏幕中的对象做出操作指令，如放大、缩小、旋转、移动、打开应用程序等。该装置解放了教师对鼠标键盘的依赖，释放了课堂教学活动空间，使教学交互更为自然、自由。
【专利说明】—种基于Kinect体感交互的课堂多媒体教学装置
【技术领域】
[0001]本实用新型涉及一种基于Kinect体感交互的课堂多媒体教学装置。
【背景技术】
[0002]多媒体教学是指在教学过程中，根据教学目标和教学对象的特点，通过教学设计，合理选择和运用现代教学媒体，并与传统教学手段有机组合，共同参与教学全过程，以多种媒体信息作用于学生，形成合理的教学过程结构，达到最优化的教学效果。
[0003]多媒体教学其实古已有之，教师一直在借助文本、声音、图片来进行教学。但是在20世纪80年代开始出现采用多种电子媒体如幻灯、投影、录音、录像等综合运用与课堂教学，这种教学技术又称多媒体组合教学或电化教学，90年代起，随着计算机技术的迅速发展和普及，多媒体计算机已经逐步取代了以往的多种教学媒体的综合使用地位。因此，现在我们通常所说的多媒体教学是特指运用多媒体计算机并借助于预先制作的多媒体教学软件来开展的教学活动过程。它又可以称为计算机辅助教学(computer assistedinstruct1n,即 CAI)。
[0004]然而目前多媒体教学人机交互性较低，不能摆脱传统鼠标键盘的束缚。
实用新型内容
[0005]本实用新型的首要目的是提供一种基于Kinect体感交互的课堂多媒体教学装置，以达到更为自然的人机交互、低成本、情境适用率高、识别率高交互准确的效果，为实现上述目的本实用新型的具体方案如下:(略，与权利要求书相同)
[0006]本实用新型提供的基于Kinect体感交互的课堂多媒体教学装置具有以下特点:
[0007](I)更为自然的人机交互。本装置利用Kinect的体感交互技术实现更为自然的人机交互，摆脱了传统鼠标键盘的束缚，将交互通道拓展到“手势、身体动作、头部运动、声音”等多维通道，用户可在距离为O?200cm范围内对普通投影屏幕或白板实现类似触摸或隔空的交互效果。识别响应时间在Is以内。
[0008](2)低成本。触摸屏交互设备价格昂贵，且受到屏幕尺寸的限制。本装置只需在普通的课堂多媒体系统上通过USB接口接入一台低廉的Kinect体感器(目前市场价格约为800RMB)即可实现。相比其他交互设备，本装置硬件成本优势明显。
[0009](3)情境适用性高。该装置对投影屏幕和使用空间没有特殊要求，且对其他硬件设备性能要求低，对软件环境只需Windows 7及以上操作系统,及安装Kinect for WindowsSDK驱动即可。
[0010](4)手势识别率高，交互准确。本装置设计和实现的基于手势凸凹点检测识别算法，可达到95%的正确识别率，并定义了课堂教学手势语义命令、头部动作命令以及语音语义命令，能较好地满足课堂教学交互需要。
[0011 ] 基于Kinect体感交互的课堂多媒体教学装置，根本目的是在普通投影屏幕(或白板)上实现触摸屏操控效果，用户使用手势即可对屏幕中的对象做出操作指令，如放大、缩小、旋转、移动、打开应用程序等。该装置解放了教师对鼠标键盘的依赖，释放了课堂教学活动空间，使教学交互更为自然、自由，可应用于高校、中小学的多媒体课堂教学中，尤其是人机交互活动较多的教学活动，如虚拟展示、情境教学、虚拟演播室等；也可以拓展应用于多媒体广告展示，如房地产、汽车产品展销、节目演播室等，因此本装置具有较高的商业开发价值和较好的市场前景。
【专利附图】
【附图说明】
[0012]此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，并不构成对本实用新型的不当限定，在附图中:
[0013]图1为本实用新型实施例系统结构示意图；
[0014]图2为人体骨骼节点示意图；
[0015]图3为本实用新型实施例手势的识别示意图。
【具体实施方式】
[0016]下面将结合附图以及具体实施例来详细说明本实用新型，在此本实用新型的示意性实施例以及说明用来解释本实用新型，但并不作为对本实用新型的限定。
[0017]实施例
[0018]如图1所示,一种基于Kinect体感交互的课堂多媒体教学装置,包括Kinect传感器1、存储单元2、处理单元3以及显示单元；
[0019]所述Kinect传感器I是一款体感外设，实际上是一种3D体感摄影机，其设有用于捕获操作者手势及头部动作的RGB彩色摄像头、用于生成代表周围环境的景深图像的红外发射器及红外传感器，其中景深图像采用光编码技术，通过连续的近红外线对测量空间进行编码，经过红外传感器得到编码的光线，将数据传递给晶片进行运算解码，得到的具有深度的图像，该传感器利用黑白光谱来感知环境，纯黑代表无穷远，纯白代表无穷近，黑白间的灰色地带对应物体到传感器的物理距离，它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像，传感器以30帧/s的速度生成深度图像流，实时3D再现周围环境，能进行人物识别与图2所示的骨骼节点跟踪，或手势识别甚至面部表情识别等；
[0020]所述存储单元2预存有手势语义命令以及头部动作命令；
[0021 ] 所述处理单元3的输入端分别与所述Kinect传感器1、存储单元2电连接，用于将所述Kinect传感器I捕获的操作者手势及头部动作与所述存储单元2预存的手势语义命令以及头部动作命令进行识别比对，生成控制命令:
[0022]为了获得更稳定和更精确的手势识别效果，采用了凸点检查算法实现对扩展手势的识别，如图3所示，具体原理如下:
[0023](I)首先通过OpenNI的HandsGenerator获得手部节点和图像,再根据手部中心位置的深度值对手部做阈值处理得到整个手部的深度图像，结果如图3(a)所示；
[0024](2)中值滤波处理
[0025]通过Kinect获取的手势深度图包含噪音,在此通过设置窗口为10*10pixels的中值滤波对噪音进行处理，公示如下:
[0026]F(i，j) = median (S ((i+k), j+1) h (k, I))
[0027]得到边缘清晰的结果图如图3(b)所示；
[0028](3)获取手部轮廓
[0029]通过OpenCV函数〈findContours〉得到手部图像的凸凹点，并将点集存放在Point类型的向量变量中。这样通过只存储手部轮廓值而不是整个手部数据使得计算量大大降低。处理结果如图3(c)所示；
[0030](4)得到手部轮廓的近似多边形
[0031]根据凸凹点集得到近似手部形状的矢量多边形，目的是极大减少冗余的凸凹点和计算量。通过OpenCV的函数〈approxPolyDP〉实现,处理结果如图3(d)所示。
[0032](5)计算多边形的凸凹点集。处理结果如图3(e)所示。
[0033](6)在此基础上，定义和实现拓展手势语义集，例如鼠标、键盘功能，或者定义为在讲解PPT时，通过手来控制PPT翻页；在播放音乐时，通过手的深度变化来控制音量大小。
[0034]实现体感操控场景视角的原理是通过Kinect采集用户头部的距离值和角度偏移数据，并用该值来控制场景中的摄像机运动，从而场景视图随用户头部运动而改变。当用户走近屏幕时，视图自动逐渐放大，反之缩小，且三维场景随头部左右偏移而改变视角，实现较好的全息图效果。首先，使用DepthGenerator得到深度图。深度图的投影(projective)坐标系中的像素值代表深度值,单位为毫米(mm),代表某点到Kinect所在的平面的垂直距离，可获取头部节点的距离。头部节点的角度信息可以通过OpenNI的骨架功能(SkeletonCapability)的GetSkeletonJoint O函数获得，它可以读取到关节的位置和角度信息。在该函数中直接指定XN_SKEL_HEAD参数表示只读取头部节点而不是全身。然后,在Unity3D场景中添加一个摄像机(Camera)对象,并为该对象增加一个逻辑控制脚本文件。在脚本中添加对OpenNI对象的引用，并通过对用户头部节点实时跟踪来获得头部位置和角度信息，并更新摄像机的位置坐标值。由于Kinect中的Y值与Unity3D中对象的Y值是相反的，在此需要进行一次Kinect到Unity3D的空间坐标转换。
[0035]所述显示单元包括投影仪41和投影幕42，所述投影仪41与所述处理单元3的输出端电连接，所述显示单元用于根据景深图像生成静态会话场景、根据操作者手势及头部动作生成虚拟人偶情境、根据控制命令建立动态协作情境。
[0036]作为上述实施例方案的改进，所述存储单元2还预存有语音语义命令，所述Kinect传感器I还设有用于识别操作者语音的麦克风阵列，所述处理单元3还用于将所述Kinect传感器I识别的操作者语音与所述存储单元2预存的语音语义命令进行识别比对，生成控制命令。
[0037]作为上述实施例方案的改进,还包括旋转±27°旋转电机,所述旋转电机与所述Kinect传感器I传动连接，Kinect传感器I具有追焦功能，且所述旋转电机与所述处理单元3电连接，用于随操作者移动而转动。
[0038]以上对本实用新型实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本实用新型实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本实用新型实施例的原理；同时，对于本领域的一般技术人员，依据本实用新型实施例，在【具体实施方式】以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本实用新型的限制。
【权利要求】
1.一种基于Kinect体感交互的课堂多媒体教学装置，其特征在于: 包括Kinect传感器、存储单元、处理单元以及显示单元； 所述Kinect传感器设有用于捕获操作者手势及头部动作的RGB彩色摄像头、用于生成代表周围环境的景深图像的红外发射器及红外传感器； 所述存储单元预存有手势语义命令以及头部动作命令； 所述处理单元的输入端分别与所述Kinect传感器、存储单元电连接，所述处理单元用于将所述Kinect传感器捕获的操作者手势及头部动作与所述存储单元预存的手势语义命令以及头部动作命令进行识别比对，生成控制命令； 所述显示单元包括投影仪和投影幕，所述投影仪与所述处理单元的输出端电连接，所述显示单元用于根据景深图像生成静态会话场景、根据操作者手势及头部动作生成虚拟人偶情境、根据控制命令建立动态协作情境。
2.如权利要求1所述的基于Kinect体感交互的课堂多媒体教学装置，其特征在于: 所述Kinect传感器还设有用于识别操作者语音的麦克风阵列，所述存储单元还预存有语音语义命令，所述处理单元还用于将所述Kinect传感器识别的操作者语音与所述存储单元预存的语音语义命令进行识别比对，生成控制命令。
3.如权利要求1所述的基于Kinect体感交互的课堂多媒体教学装置，其特征在于: 还包括旋转电机，所述旋转电机与所述Kinect传感器传动连接,且所述旋转电机与所述处理单元电连接，用于随操作者移动而转动。
【文档编号】G06F3/0488GK204129723SQ201420556860
【公开日】2015年1月28日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】廖宏建 申请人:广州大学