专利名称：一种手势控制系统及其控制方法
技术领域：
本发明涉及人机交互控制领域，特别涉及手势控制系统及其控制方法。
背景技术：
在非接触式人机交互系统中，基于手势控制的人机交互是一个重要的环节。基于手势控制的人机交互具有简单、方便的特点，其常用的操作方式为手势漫游。手势漫游，是指将手势在物理空间中的运动映射到被控制对象的界面中，实现对被控制对象的操作。现有的手势运动映射方式主要为二维运动，如使用鼠标在屏幕上画出轨迹，以操作应用，此种方式与人类在三维空间运动的习惯有所差异，人机交互的直观感受较低。即便一些新型的利用深度摄像头的三维操作应用系统，其操作过程较符合人类三维空间运动特点，但操作也较为复杂缓慢，处理时间较久，难以控制，令使用者易感疲劳。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种三维操作界面的手势控制系统，操作更加简便。本发明的另一目的在于提供上述手势控制系统的手势控制方法。本发明的目的通过以下技术方案实现一种手势控制系统，包括两台带时钟同步的手势捕捉传感器，其中一台用于捕获操作者的手势的前后运动；另一台用于捕获操作者的手势的左右运动；一台处理器，用于分析手势捕捉传感器捕捉到的图像序列，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，并根据所获得的操作信息，将需投影的界面分为左投影区和右投影区；两台三维立体投影仪，相对置于手势捕捉传感器的左前方及右前方；分别用于接收左投影区数据和右投影区数据，并进行投影。所述手势捕捉传感器为彩色摄像头或深度摄像头。上述手势控制系统的手势控制方法，包括以下步骤(I)启动系统后，两台带时钟同步的手势捕捉传感器同步对操作者的手势进行捕捉，将捕捉到的图像序列传输到处理器；(2)处理器对图像序列进行分析，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，根据所获得的操作信息，将需投影的界面分为左投影区和右投影区；(3)两台三维立体投影仪分别接收左投影区数据和右投影区数据，进行投影，并对三维操作界面进行操作。步骤(3)所述对三维操作界面进行操作，具体为三维操作界面呈魔方结构，长宽高为60cmX60cmX60cm，其一面正对操作者，中心位置空出，各操作模块置于四周，以棋盘格式围绕中心位置；当手势为向左摆动手掌，则三维操作界面向左翻转；当手势为向右摆动手掌，则三维操作界面向右翻转；当手势为向上摆动手掌，则三维操作界面向上翻转；当手势为向下摆动手掌，则三维操作界面向下翻转；当手势为向前移动手掌，则三维操作界面放大；当手势为向后移动手掌，则三维操作界面缩小；当手势为伸手抓取，则三维操作界面的中的操作模块被抓取；
当手势为双掌合并，则三维操作界面关闭；当操作模块被抓取时，该操作模块围绕中心收缩成圆形；当操作模块被选中时，该操作模块被放大；当操作模块被抓取并被移动到三维操作界面的中心位置时，该操作模块启动。步骤(3)所述对三维操作界面进行操作过程中，系统以提示音的方式提醒操作者进行操作，并于提示音后对操作者的手势进行检测，每次提示音后输入一种手势，检测成功后对三维操作界面进行操作，等待时间结束后发出提示音提示操作者变换手势，若不成功则只发出提示音；若超过I分钟操作者未操作，系统将再次产生提示音。与现有技术相比，本发明具有以下优点和有益效果(I)本发明通过自然的空间手势语言进行三维操作界面进行操作，解决了现有的三维手势操作方法手势复杂不自然的问题；(2)本发明通过三维操作界面的设计，使操作界面易于理解，用户能够快速使用；(3)本发明通过在操作者的前方和一侧分别设置带有时钟同步的摄像头，不需采用深度摄像头，图像序列经处理器同步处理，进行识别操作，解决了现有的三维手势操作方法的三维空间方向识别问题。(4)本发明通过设置提示音，并在检测时间内只输入一种手势，降低了误识别率。
图I为本发明的实施例的手势控制系统的组成示意图。图2为本发明的实施例的手势控制方法的流程图。图3为操作模块最多时的三维操作界面示意图。图4为一般情况下的三维操作界面示意图。图5为控制三维操作界面向左翻转的手势。图6为控制三维操作界面向右翻转的手势。图7为控制三维操作界面向上翻转的手势。图8为控制三维操作界面向下翻转的手势。图9为控制三维操作界面放大的手势。图10为控制三维操作界面缩小的手势。图11为抓取的手势。图12为控制三维操作界面关闭的手势。图13为三维操作界面无操作时的示意。
图14为操作模块被选中时的示意图。图15为操作模块被抓取时的示意图。图16为多个操作模块最小化时的示意图。
具体实施例方式下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。实施例如图I所示，本发明的手势控制系统，包括两台带时钟同步的彩色摄像头、一台处理器和两台三维立体投影仪。其中，彩色摄像头103用于捕获操作者的手势101的前后运动；彩色摄像头器102用于捕获操作者的手势的左右运动；处理器用于分析手势捕捉传感器捕捉到的图像序列，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，并根据所获得的操作信息，将需投影的界面分为左投影区和右投影区； 三维立体投影仪105和106，相对置于彩色摄像头102 103的左前方及右前方；分别用于接收左投影区数据和右投影区数据，并进行投影。如图2所示，上述手势控制系统的手势控制方法，包括以下步骤(I)启动系统后，两台带时钟同步的手势捕捉传感器同步对操作者的手势进行捕捉，将捕捉到的图像序列传输到处理器。(2)处理器对图像序列进行分析，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息；并根据所获得的操作信息，将需投影的界面分为左投影区和右投影区。(3)两台立体三维投影仪分别接收左投影区数据和右投影区数据，进行投影，并对三维操作界面进行操作，具体为如图3 4所示，三维操作界面呈魔方结构，长宽高为60cmX60cmX60cm，其一面正对操作者，中心位置空出，各操作模块置于四周，以棋盘格式围绕中心位置；其中图3为操作模块最多时的三维操作界面；图4为一般情况下的三维操作界面。当手势为向左摆动手掌(如图5所示)，则三维操作界面向左翻转；当手势为向右摆动手掌(如图6所示)，则三维操作界面向右翻转；当手势为向上摆动手掌(如图7所示)，则三维操作界面向上翻转；当手势为向下摆动手掌(如图8所示)，则三维操作界面向下翻转；当手势为向前移动手掌(如图9所示)，则三维操作界面放大；当手势为向后移动手掌(如图I0所示)，则三维操作界面缩小；当手势为伸手抓取(如图11所示)，则三维操作界面的中的操作模块被抓取；当手势为双掌合并(如图12所示)，则三维操作界面关闭。向左、右、上、下翻转时，界面围绕中轴旋转；放大、缩小操作时，界面以质心为原点放大缩小。图13为界面无操作时的示意图，其中a, b, c，d, e, f, g, h为操作模块。
如图14所示，当操作模块被选中时，该操作模块被放大，其余操作模块缩小；如图15所示，当操作模块被抓取时，该操作模块围绕中心收缩成圆形。图16所示为多个操作模块最小化时的示意图。当操作模块被抓取并被移动到三维操作界面的中心位置时，该操作模块启动。对三维操作界面进行操作过程中，系统以提示音的方式提醒操作者进行操作，并于提示音后对操作者的手势进行检测，每次提示音后输入一种手势，检测成功后对三维操作界面进行操作，等待时间结束后发出提示音提示操作者变换手势，若不成功则只发出提示音；若超过I分钟操作者未操作，系统将再次产生提示音。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所 述实施例的限制，如彩色摄像头也可替换为深度摄像头等，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1.一种手势控制系统，其特征在于，包括 两台带时钟同步的手势捕捉传感器，其中一台用于捕获操作者的手势的前后运动；另一台用于捕获操作者的手势的左右运动； 一台处理器，用于分析手势捕捉传感器捕捉到的图像序列，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，并根据所获得的操作信息，将需投影的界面分为左投影区和右投影区； 两台三维立体投影仪，相对置于手势捕捉传感器的左前方及右前方；分别用于接收左投影区数据和右投影区数据，并进行投影。
2.根据权利要求I所述的手势控制系统，其特征在于，所述手势捕捉传感器为彩色摄像头或深度摄像头。
3.如权利要求I所述手势控制系统的手势控制方法，其特征在于，包括以下步骤 (1)启动系统后，两台带时钟同步的手势捕捉传感器同步对操作者的手势进行捕捉，将捕捉到的图像序列传输到处理器； (2)处理器对图像序列进行分析，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，根据所获得的操作信息，将需投影的界面分为左投影区和右投影区； (3)两台三维立体投影仪分别接收左投影区数据和右投影区数据，进行投影，并对三维操作界面进行操作。
4.根据权利要求3所述的手势控制方法，其特征在于，步骤(3)所述对三维操作界面进行操作，具体为 三维操作界面呈魔方结构，长宽高为60cmX60cmX60cm，其一面正对操作者，中心位置空出，各操作模块置于四周，以棋盘格式围绕中心位置； 当手势为向左摆动手掌，则三维操作界面向左翻转； 当手势为向右摆动手掌，则三维操作界面向右翻转； 当手势为向上摆动手掌，则三维操作界面向上翻转； 当手势为向下摆动手掌，则三维操作界面向下翻转； 当手势为向前移动手掌，则三维操作界面放大； 当手势为向后移动手掌，则三维操作界面缩小； 当手势为伸手抓取，则三维操作界面的中的操作模块被抓取； 当手势为双掌合并，则三维操作界面关闭； 当操作模块被抓取时，该操作模块围绕中心收缩成圆形； 当操作模块被选中时，该操作模块被放大； 当操作模块被抓取并被移动到三维操作界面的中心位置时，该操作模块启动。
5.根据权利要求3所述的手势控制方法，其特征在于，步骤(3)所述对三维操作界面进行操作过程中，系统以提示音的方式提醒操作者进行操作，并于提示音后对操作者的手势进行检测，每次提示音后输入一种手势，检测成功后对三维操作界面进行操作，等待时间结束后发出提示音提示操作者变换手势，若不成功则只发出提示音；若超过I分钟操作者未操作，系统将再次产生提示音。
全文摘要
本发明公开了一种手势控制系统，包括两台带时钟同步的手势捕捉传感器，其中一台用于捕获操作者的手势的前后运动；另一台用于捕获操作者的手势的前后运动与左右运动；一台处理器，用于分析手势捕捉传感器捕捉到的图像序列，得出图像序列每一帧图像中手势的位置信息和当前手势运动的速度信息，根据所获得的操作信息，将需投影的界面分为左投影区和右投影区；两台三维立体投影仪，相对置于手势捕捉传感器的左前方及右前方；分别用于接收左投影区数据和右投影区数据，并进行投影。本发明还公开了上述系统的控制方法。与现有技术相比，本发明操作更加简便，手势简单自然，误识率低。
文档编号G06F3/01GK102902356SQ20121035025
公开日2013年1月30日 申请日期2012年9月18日 优先权日2012年9月18日
发明者徐向民, 李文轩, 李叙琼, 裘索, 徐桂从 申请人:华南理工大学