一种手势控制方法与流程

文档序号:13003767阅读:241来源:国知局

本发明属于人机交互技术领域,特别涉及一种手势控制方法。



背景技术:

随着计算机技术的发展,人机交互技术也越来越智能化、个性化。从传统的鼠标、键盘、触摸屏等交互手段,逐渐发展出了手势控制等非接触式控制方法。

在计算机领域,包括但不限于虚拟现实、增强现实、混合现实场景,目前的手势交互范围包括基于二维显示对象和基于三维显示对象的手势操作。其原理一般都是通过手势识别系统的摄像头拍摄用户手势的图像或视频,然后通过计算机算法识别出用户手势的静态含义或运动含义,再映射为系统内部命令,最后系统根据该命令执行对显示对象的各种操作。

现有技术:面向二维平面显示对象的手势操作,比如传统计算机的二维平面显示对象,通过手势操作代替鼠标、键盘、触摸屏等物理设备,可以获得更自然的人机交互方式。如微软研究院设在以色列的先进技术实验室研究的一个名为projectprague的布拉格项目,就是通过摄像头设备捕获用户手势操作,映射为windows内部命令,执行某项具体操作。

面向三维立体显示对象的手势操作,比如微软的智能眼镜hololens全息透镜支持针对虚拟三维模型的手势交互。微软智能眼镜hololens支持的手势操作包括:bloom绽放手势、airtap空气敲击手势、按住不放、滚动、拖拽、放大缩小、钉住、解除或卸载应用等,具体操作可以参考微软的网站信息。

综合以上面向二维显示对象和三维显示对象的手势操作,现有技术存在如下问题:

1)手势操作不够隐蔽,需要用户抬手操作,以便主摄像头能够“看到”用户的手势;在用户操作虚拟显示对象时,旁边看不到虚拟影像的人会觉得奇怪,尤其是在公共场合;

2)现有系统很多操作都是单手手势识别,有一定的安全风险,当周围人多时,系统容易将其他人的无意识手势判断为系统命令,造成系统错误;



技术实现要素:

本发明的目的在于提供一种手势控制方法,以解决上述问题。

为实现上述问题,本发明采用以下技术方案:

一种手势控制方法,包括双手手势操作场景和单手手势操作场景;

双手手势操作场景包括手势捕捉摄像头、主计算机系统和近端手势识别系统;手势捕捉摄像头用于捕捉用户手势,手势捕捉摄像头与近端手势识别系统连接;近端手势识别系统用于在识别出用户的近端手势操作后,和主计算机系统交互,驱动主计算机系统的原有控制逻辑,主计算机系统为支持手势操作的设备原有的计算机系统;具体包括以下步骤:

步骤一,用户伸出一只手a,处于身体近端,手a采取姿势代表用户开始操作虚拟显示对象;

步骤二,用户伸出另一只手b,处于身体近端,展开针对虚拟显示对象的具体操作;

步骤三,近端手势识别系统判断手a手势是“开始操作”手势时,手b的手势操作才会生效;

步骤四,近端手势识别系统获得有效的手b操作后,和主计算机系统交互,驱动主计算机系统的原有控制逻辑;

包括以下操作:

1)用户伸出一只手a,处于身体近端,手掌伸直,手掌或手背朝上,以手a的手掌或手背代表用户开始操作二维平面对象;

2)用户伸出另一只手b进行针对二维平面对象的具体操作,包括以下情况:

手b伸出一只手指,在手a的手掌或手背,通过单指单击、双击操作该二维对象,近端手势识别系统映射为对二维平面对象的单击、双击命令;

手b伸出两只手指,在手a的手掌或手背,通过双指张开、闭合操作,近端手势识别系统映射为对二维平面对象的放大、缩小的命令;

手b伸出某个手指b1,在手a的手掌或手背进行滑动操作,近端手势识别系统映射为对二维平面对象的滚动命令;

手b伸出某个手指b2,在手a的手掌或手背滑动操作,近端手势识别系统映射为对二维平面对象的拖动命令;

手b伸出某个手指,点击手a的某个手指,近端手势识别系统映射为对二维平面对象或三维立体对象的快捷操作命令;

手b伸出某个手指,通过点击手a某个手指的快捷操作命令,启动手写识别模式,用户使用手b在手a的掌心或手背,进行英文字母或汉字的书写操作,近端手势识别系统映射为英文字母或汉字的输入;

单手手势操作场景包括语音或脑电波控制设备及其包含的主计算机系统、手势捕捉摄像头、近端手势识别系统;语音或脑电波控制设备实时采集用户的语音或脑电波信息,用户的语音或脑电波信号被该设备识别;手势捕捉摄像头用于捕捉用户手势,手势捕捉摄像头与近端手势识别系统连接;语音或脑电波控制设备主计算机系统与近端手势识别系统连接;近端手势识别系统用于在识别出用户的近端手势操作后,和语音或脑电波控制设备的主计算机系统交互,驱动主计算机系统的原有控制逻辑,具体包括以下步骤:

一、用户伸出一只手a,处于身体近端;手a采取姿势代表用户开始操作该对象;

二、手势捕捉摄像头将该手势传递给近端手势识别系统,近端手势识别系统判断手a的手势为开始操作时,近端手势识别系统和语音或脑电波控制设备的主计算机系统交互,语音或脑电波控制设备才开始分析用户的语音或脑电波信号,语音或脑电波控制设备根据分析出的语音或脑电波信号,发出对应的控制信号输出到其它设备;

进一步的,双手手势操作场景中手b采用微软hololens全息眼镜标准操作姿势,近端手势识别系统映射为内部命令并执行。

进一步的,手a采取的姿势不限于握拳、手掌伸直。

进一步的,近端手势识别系统的计算机系统可以和主设备的计算机系统合一。

与现有技术相比,本发明有以下技术效果:

本发明对于大部分手势操作在用户身体近端就可以完成,减少了用户抬手在空中的操作时对其他人的干扰,提高了手势操作的隐蔽性。

本发明的技术方案,通过双手手势结合的方式避免了周围环境有其他人时,系统误将其他人的无意识手势判断为系统命令,从而提高了系统的安全性。

本发明的技术方案,通过语音或脑电波控制设备和手势结合,避免用户在非控制状态时,语音交互或脑电波活动被误认为系统命令,提高了系统的兼容性;语音控制设备和手势配合还可以免去用户频繁说唤醒词的烦恼;

本发明通过用户自己的双手完成手势操作,可以代替鼠标、键盘等其它设备,所以具有成本低、易于实现的特点。

具体实施方式

下面结合具体实施方式对本发明进行详细说明:

一种手势控制方法,包括双手手势操作场景和单手手势操作场景;

双手手势操作场景包括手势捕捉摄像头、主计算机系统和近端手势识别系统;手势捕捉摄像头用于捕捉用户手势,手势捕捉摄像头与近端手势识别系统连接;近端手势识别系统用于在识别出用户的近端手势操作后,和主计算机系统交互,驱动主计算机系统的原有控制逻辑,主计算机系统为支持手势操作的设备原有的计算机系统;具体包括以下步骤:

步骤一,用户伸出一只手a,处于身体近端,手a采取姿势代表用户开始操作虚拟显示对象;

步骤二,用户伸出另一只手b,处于身体近端,展开针对虚拟显示对象的具体操作;

步骤三,近端手势识别系统判断手a手势是“开始操作”手势时,手b的手势操作才会生效;

步骤四,近端手势识别系统获得有效的手b操作后,和主计算机系统交互,驱动主计算机系统的原有控制逻辑;

包括以下操作:

1)用户伸出一只手a,处于身体近端,手掌伸直,手掌或手背朝上,以手a的手掌或手背代表用户开始操作二维平面对象;

2)用户伸出另一只手b进行针对二维平面对象的具体操作,包括以下情况:

手b伸出一只手指,在手a的手掌或手背,通过单指单击、双击操作该二维对象,近端手势识别系统映射为对二维平面对象的单击、双击命令;

手b伸出两只手指,在手a的手掌或手背,通过双指张开、闭合操作,近端手势识别系统映射为对二维平面对象的放大、缩小的命令;

手b伸出某个手指b1,在手a的手掌或手背进行滑动操作,近端手势识别系统映射为对二维平面对象的滚动命令;

手b伸出某个手指b2,在手a的手掌或手背滑动操作,近端手势识别系统映射为对二维平面对象的拖动命令;

手b伸出某个手指,点击手a的某个手指,近端手势识别系统映射为对二维平面对象或三维立体对象的快捷操作命令;

手b伸出某个手指,通过点击手a某个手指的快捷操作命令,启动手写识别模式,用户使用手b在手a的掌心或手背,进行英文字母或汉字的书写操作,近端手势识别系统映射为浏览器的英文字母或汉字的输入;

单手手势操作场景包括语音或脑电波控制设备及其包含的主计算机系统、手势捕捉摄像头、近端手势识别系统;语音或脑电波控制设备实时采集用户的语音或脑电波信息,用户的语音或脑电波信号被该设备识别;手势捕捉摄像头用于捕捉用户手势,手势捕捉摄像头与近端手势识别系统连接;语音或脑电波控制设备主计算机系统与近端手势识别系统连接;近端手势识别系统用于在识别出用户的近端手势操作后,和语音或脑电波控制设备的主计算机系统交互,驱动主计算机系统的原有控制逻辑,具体包括以下步骤:

步骤一,用户伸出一只手a,处于身体近端;手a采取姿势代表用户开始操作该对象;

步骤二,手势捕捉摄像头将该手势传递给近端手势识别系统,近端手势识别系统判断手a的手势为开始操作时,近端手势识别系统和语音或脑电波控制设备的主计算机系统交互,语音或脑电波控制设备才开始分析用户的语音或脑电波信号,语音或脑电波控制设备根据分析出的语音或脑电波信号,发出对应的控制信号输出到其它设备;

双手手势操作场景中手b采用微软hololens全息眼镜标准操作姿势,近端手势识别系统映射为内部命令并执行。

手a采取的姿势不限于握拳、手掌伸直。

近端手势识别系统的计算机系统可以和主设备的计算机系统合一。

实施例1、智能眼镜用户完成二维显示对象的操作。

步骤一,智能眼镜开机,用户浏览内容;

步骤二,智能眼镜的显示单元呈现某个二维图像,比如用户打开windows的edge浏览器,显示单元显示出edge浏览器界面;

步骤三,用户伸出一只手a,在身体近端,比如腹部或胸部前面,手掌或手背朝上,以手a的手掌或手背代表欲操作的edge浏览器;

步骤四,用户伸出另一只手b进行针对edge浏览器的具体操作,包括以下三种情况;

1)、手b伸出一只手指,在手a的手掌或手背,通过单击、双击操作,系统映射为对edge浏览器浏览内容的单击、双击命令;

手势识别系统映射过程为:根据智能眼镜向下的一个或多个摄像头拍摄的手势图像、图像序列或视频,经过计算机系统处理和分析,得出具体手势动作,此处可以参考业界成熟的手势图像和手势运动识别算法。然后,根据预先设置的手势动作和系统控制命令的映射关系,手势识别系统将手势转换为内部控制命令。

2)、手b伸出两只手指,在手a的手掌或手背,通过双指张开、闭合操作,系统映射为对edge浏览器浏览内容的放大、缩小的命令;

进一步的,通过手b伸出某个手指b1的滑动操作,系统映射为对edge浏览器浏览内容的滚动命令;通过手b伸出某个手指b2的滑动操作,系统映射为对edge浏览器窗口的拖动命令;

进一步的,手b伸出某个手指,点击手a的某个手指,系统映射为对edge浏览器界面的某个快捷操作命令。比如,手b点击手a的大拇指表示关闭窗口;

进一步的,手b伸出某个手指,在手a的手掌或手背,通过点击手a某个手指的快捷操作命令,比如无名指,启动手写识别模式,用户使用手b的手指在手a的掌心或手背,进行英文字母或汉字的书写操作,系统映射为edge浏览器的英文字母或汉字的输入。

实施例2、智能眼镜用户完成三维显示对象的操作。

步骤一,智能眼镜开机,用户浏览内容;

步骤二,智能眼镜的显示单元呈现操作菜单,菜单包括一系列三维的物体模型;以下步骤是用户操作“地球仪”模型的示例;

步骤三,用户伸出一只手a,在身体近端,比如腹部或胸部前面;手a采取的姿势不限于握拳、伸直姿势,手a的特定姿势代表用户开始操作;比如,用户采用握拳表示开始操作;

步骤四,用户伸出另一只手b,展开针对地球仪模型的具体操作;手b操作采用微软智能眼镜hololens标准操作姿势,但不同于标准hololens的是操作位置在身体近端,近端手势控制系统将手势操作映射为内部命令并执行;比如,通过用户的视线焦点配合,使用点击手势选取“地球仪”模型,然后放置到虚拟环境中的某个具体位置。

实施例3、脑电波头戴设备与手势配合

脑电波头戴设备,以杭州回车电子科技有限公司的kether为例说明。

深圳回车科技的一款脑电波控制的赛车kether的典型使用场景是用户通过脑电波设备驱动赛车运动。用户戴上脑电波信号采集设备后,集中注意力,当注意力达到设定值后,赛车会在跑道上奔跑起来,体验者的注意力值越高,赛车行进速度越快。当体验者的注意力值下降到设定值以下,赛车就会停止前进。

本技术方案中,脑电波设备与手势操作配合的步骤:

步骤一,脑电波设备集成向下的一个或多个用于手势识别的摄像头;

步骤二,用户伸出一只手a,在身体近端,比如放置在靠近腹部或胸部的位置;手a采取某种特定姿势代表用户开始操作赛车,手a采取的姿势不限于握拳、手掌伸直;同时,用户集中注意力,开始用脑电波控制赛车速度;

步骤三,近端手势控制系统识别手a的手势,当判断手势为开始操作赛车的手势时,近端手势识别系统和脑电波设备的主计算机交互,脑电波设备开始分析用户的脑电波控制信号,根据脑电波信号强度,向赛车发送控制信号;如果判断手势不是开始操作赛车的手势,则不向赛车发送控制信号;

步骤四,赛车根据脑电波设备发出的控制信号,调整自己的行进速度。

实施例4、语音控制设备与手势配合

支持语音控制的设备,比如谷歌眼镜;通过与手势操作配置,谷歌眼镜在语音交互时,可以免去频繁的说出唤醒词;本技术方案中,谷歌眼镜与手势操作配合的步骤:

步骤一,谷歌眼镜设备集成向下的一个或多个用于手势识别的摄像头;

步骤二,用户伸出一只手a,在身体近端,比如放置在靠近腹部或胸部的位置;手a采取某种特定姿势代表用户开始语音交互,手a采取的姿势不限于握拳、手掌伸直;

步骤三,用户发出语音命令;比如,用户使用语音说出“照相”命令;

步骤四,近端手势识别系统识别手a的手势,当判断手势为开始操作的手势时,近端手势识别系统和谷歌眼镜的主计算机系统交互,谷歌眼镜才开始进行语音识别,并控制主摄像头完成照相操作。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1