专利名称：一种用于电子白板的人机手势交互系统的制作方法
技术领域：
本发明涉及基于计算机视觉的自然人机交互领域，更具体地，本发明涉及通过摄像头获取手势图像，经过图像识别，实现使用手势控制电子白板教学的人机手势交互系统。
背景技术：
人机交互概念于1992ACM SIGCHI 课程开发组(Curriculum Development Group, CDG)的报告中首次提出，是一门研究人类所使用的交互式计算系统的设计、实施、评估及相关主要现象的学科。其研究范围覆盖计算机科学、心理学、社会学、图形设计、工业设计等多个学科。用户界面(User Interface, UI)是人机交互的研究内容之一。用户界面(UI)是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。其发展历史，是从人适应计算机到计算机不断地适应人的发展史，可分为如下几个阶段早期的手工作业阶段、作业控制语言及交互命令语言(Command Line Interface, CLI)阶段、图形用户界面(Graphical User hterface，GUI)阶段、自然用户界面(Natural User Interface, NUI)阶段。自然用户界面是重复使用已有技能直接与内容交互的用户界面。其中已有技能是指，人们在日常人际交流中已具备的各种语言或非语言的交流技能；直接与内容交互是指， 不再需要窗口、菜单、图标等接口元素，而是直接与要操作的内容交互。自然用户界面中“自然”的含义就是使用我们在日常生活中已有的技能，包括与生俱来的技能和后天学习的技能。通过自然用户界面(NUI)实现的人机交互称为自然人机交互(Natural Human Computer Interaction, NHCI)。人机交互的一个典型方式为手势交流，主要有以下五类1.配合说话所做的手势。是在讲话时所做的表示某个意义的动作。2.约定俗成的符号。常用的有“V”表示胜利等。3.属于讲话一部分的手势。这种手势属于所讲句子的一部分，这部分仅有手势表示而没有词语表示。4.表意手势。具有叙事功能，如旋转一个手指表示漩涡等，全程没有讲话。5.手语。明确定义的语言系统，易于对其进行建模。可以看出，便于在自然人机交互中使用的手势有第2类和第4类。原因是第1类手势与第3类手势没有固定的动作，导致用户需要学习较多内容且不利计算机视觉算法处理和识别；第5类手势虽然有明确的语义定义，但是一般用户需要学习较多内容，不利于应用扩展。另一方面，第2类手势有固定的表示形式，基本不需要用户学习，具备一定的通用性，易于计算机视觉算法处理和识别；第4类手势虽然没有固定的表示形式，但部分手势表示形式极易学习，如手向左移动表示向左的命令等；根据NUI使用日常生活中已有技能的特征，第2类和第4类手势中的通用和易于学习的部分非常适合用来作为自然人机交互的手势。另一方面，电子白板教学软件是目前我国学校课堂教学的应用热点，它的优势主
5要有，首先扩展了传统黑板的功能，提高了教学效率。除了可以直接在电子白板上书写内容之外，还可以直接通过它调用各种教学资源并展示出来；其次提供了大量的交互功能，教师只需准备若干教学素材，而教学素材之间的交互可以在课堂上灵活呈现；再次增强了学生的参与度。相比与以前的投影仪幕布，学生可以直接在电子白板书写，增加了学生的学习兴趣，提高了学生的注意力。然而，电子白板教学软件也存在若干不利因素，如教师或学生使用时正好处于电子白板和投影仪的之间，这样既让教师或学生感觉到眼部不适，又在白板上留下了阴影部分；再如很多情况下，每块电子白板仅配置一只电子笔，这就意味着同一时间只能由一个人使用电子白板，在一定程度上阻碍了师生、生生之间的交流互动，也影响了课堂教学的效率。综上分析，如果将人机手势交互作为电子白板教学的交互方式之一，必将增强其使用效果的需求，本发明正是鉴于此目的提出。
发明内容
本发明的目的在于提供一种用于电子白板的人机手势交互系统，使教师和学生方便地通过教学手势与电子白板教学软件交互。一种用于电子白板的人机手势交互系统，包括摄像头，用于采集手势图像；手势获取模块，用于对手势图像作图像预处理；手势识别模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类，从而识别出手势；指令转换模块，用于依据手势与电子白板指令的映射关系将识别出的手势转化为相应的电子白板指令。所述手势包括静态教学手势、动态单手教学手势以及动态双手教学手势；所述静态教学手势与电子白板指令的映射关系如表1所示
权利要求
1.一种用于电子白板的人机手势交互系统，包括摄像头，用于采集手势图像；手势获取模块，用于对手势图像作图像预处理；手势识别模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类，从而识别出手势；指令转换模块，用于依据手势与电子白板指令的映射关系将识别出的手势转化为相应的电子白板指令。
2.根据权利要求1所述的人机手势交互系统，其特征在于，所述手势包括静态教学手势、动态单手教学手势以及动态双手教学手势；
3.根据权利要求2所述的人机手势交互系统，其特征在于，所述静态教学手势与电子白板指令的映射关系如表1所示
4.根据权利要求2所述的人机手势交互系统，其特征在于，所述动态单手教学手势与电子白板指令的映射关系如表2所示
5.根据权利要求2所述的人机手势交互系统，其特征在于，所述动态双手教学手势与指令的映射关系如表3所示
6.根据权利要求1或2或3或4所述的人机手势交互系统，其特征在于，所述图像特征包括深度、轮廓、梯度直方图和图像运动参数。
7.根据权利要求1或2或3或4所述的人机手势交互系统，其特征在于，所述手势获取模块、手势识别模块和指令转换模块采用DLL文件形式组织。
全文摘要
本发明公开了一种用于电子白板的人机手势交互系统，包括用于采集手势图像的摄像头、用于对手势图像作图像预处理的手势获取模块，用于对预处理后的手势图像提取图像特征，并利用数据样本训练支持向量机对图像特征分类从而识别出手势的手势识别模块，以及用于将识别出的手势转化为电子白板指令的指令转换模块，本发明提供了手势与电子白板指令交互的可配置框架，该框架的功能是使手势与电子白板指令相互映射且易于配置。同时，应用本发明，教师和学生不需要处于电子白板和投影仪之间，不会在电子白板上造成阴影，还可供若干人同时使用电子白板，增强教学交互性，方便教师和学生的参与。
文档编号G06K9/00GK102385439SQ20111032162
公开日2012年3月21日 申请日期2011年10月21日 优先权日2011年10月21日
发明者刘三女牙, 张凯, 杨宗凯 申请人:华中师范大学