一种智能设备的手势控制方法和系统的制作方法_2

文档序号:9825953阅读:来源:国知局
势图像捕捉的灵敏度和精确度更加高,且捕捉的也直接是手势图像的三维数据。
[0043]其中,手势既可以通过单手进行比划,也可以使用双手进行比划,并且手的姿势不限,可以任意手指或者握拳等等。图3是展示的若干个不同的手势图像,手势图像201表示通过一个手指的滑动对智能系统进行控制:手势图像202表示通过一个手的五个手指和手掌来对智能系统进行控制;手势图像203表示通过双手来同时对智能系统进行控制。
[0044]步骤二 S22,处理手势图像,生成平面二维手势模型或空间三维手势模型。
[0045]其中,平面二维手势模型是通过对摄像头110捕捉的手势图像的每一帧画面进行二值化处理,以区分手与背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,从而生成平面二维手势模型。其中手指关节节点包括指尖、第一指节、第二指节、指根、虎口和掌心等等。
[0046]智能系统具有交互界面和后台处理系统。在后台处理系统中,处理程序使用摄像头110将手势200的每一帧画面进行二值化处理,以区分手与背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,手指关节节点都包括数据P (X,Y)。
[0047]其中,二值化处理时按照如下过程进行:滤波去噪一> 转换到HSV (Hue,Saturat1n,Value)空间一> 根据皮肤在HSV空间的分布做出阈值判断,这里用到了 inRange函数,然后进行一下形态学的操作,去除噪声干扰,使得手的边界更加清晰平滑一> 得到二值图像一> 用findContours函数找出手的轮廓,去除伪轮廓后,再用convexHull函数得到凸包络。
[0048]空间三维手势模型是通过深度传感器120捕捉手势图像的三维数据而直接建立的,其中,空间三维手势模型中的每个手指关节节点都包括数据P(x,y,z)。
[0049]空间三维手势模型还可先通过摄像头110捕捉手势图像的的每一帧画面进行二值化处理生成平面二维手势模型;再在该平面二维手势模型的基础上,利用深度传感器捕捉平面二维手势模型中的多个手指关节节点的深度数据,从而建立空间三维手势模型,每个手指关节节点都包括数据。
[0050]步骤三S23,将平面二维手势模型或空间三维手势模型与智能手势模型进行对比,以获取手势图像所代表的动作:如果对比成功,则跳转至步骤四,如果对比失败,则显示无法识别的信息,并重新跳转至步骤一。
[0051]智能手势模型是预先导入安装在智能设备的智能系统中的,主要包括移动、点击、翻页、拖拽、单一选取、区域选取和裁剪等等。在本实施例中,智能系统主要为安卓操作系统。
[0052]通过将平面二维手势模型或空间三维手势模型与智能手势模型进行比对,判断出平面二维手势模型或空间三维手势模型是否在智能手势模型中存在与之相匹配的动作,如果存在,则认为对比成功,手势图像所代表的动作即为平面二维手势模型或空间三维手势模型在智能手势模型中与之相匹配的动作;反之,如果不存在,则认为对比失败,该手势图像不被识别。
[0053]步骤四S24,选取平面二维手势模型或空间三维手势模型在智能手势模型里设定的手指关节节点,并与光标相关联的,执行手势图像所代表的动作,之后跳转回步骤一。
[0054]使用图3所示的手势201可以进行对智能系统中的光标进行移动的操作:通过智能设备捕捉转化而来的智能手势模型,当模型为单手食指在空间中移动的时候,智能系统将手势模型中的食指顶点与光标进行关联,在食指顶点在映射平面107中发生位置变化时,光标201的X,y坐标也相应变化。
[0055]使用如图3所示的多个手指的手势202进行操作,手势202使用了 5个手指在空间中进行移动操作,该操作将被定义为智能系统中的内容滑动操作,当屏幕大小不足以展示当前视窗里的全部内容时,通过滑动操作可以看到视窗边界之外的内容。
[0056]使用如图3所示的两个手的手势203进行操作,手势203使用了两个手,智能系统将根据每个手的中心点作为一个矩形的两个对角点,从而生成一个矩形框,在需要用到矩形框的子系统中(如裁剪,选择等)显示该矩形的位置和大小。
[0057]本实施例的智能设备的手势控制方法,通过捕捉手势图像,建立平面二维手势模型或空间三维手势模型;对比智能手势模型可以简单快捷精确地实现智能设备的手势控制。
[0058]实施例2
[0059]本实施例的智能设备的手势控制方法,其智能设备100为智能眼镜,手势200包括移动、点击、翻页、拖拽、单一选取和区域选取,智能系统为安卓,摄像头被集成在智能眼镜上的摄像头,智能手势模型被存储在智能眼镜上应用软件数据库中。
[0060]针对不同的手势:
[0061]移动:单手单指在摄像头可捕捉的范围内进行移动,智能系统将摄像头所捕捉的每一帧画面进行二值化处理,以区分手指和背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,并计算出单指第一指节的中心点(或单指尖端),包括数据P (X,y)o智能系统将手势中的单指顶点与智能系统的光标进行关联,在单指顶点的p(x,y)中发生位置变化时,光标的pl (xl,yl)坐标也相应变化。
[0062]点击:单手单指在摄像头可捕捉的范围内移动后静止不低于3秒,智能系统将摄像头所捕捉每一帧画面进行二值化处理,以区分手指和背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,并计算出单指第一指节的中心点(或单指尖端),包括数据P(x,y)。智能手势模型将智能系统捕捉的手机动作数据P (x,y)与智能手势模型相对比,判断属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联,在单指顶点的P(x,y)所对应的光标的Pl (xl,yl)坐标位置处执行等同于触屏点击的操作。
[0063]翻页:单手单指在摄像头可捕捉的范围内向着同一方向执行加速运动或单手单指在运动方向不变的情况下从摄像头的可视范围外滑入可视范围内并继续滑出可视范围外。智能系统将摄像头所捕捉每一帧画面进行二值化处理,以区分手指和背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,并计算出单指第一指节的中心点(或单指尖端),包含数据p(x,y)o智能手势模型将智能系统捕捉的手势动作数据P (X,y)与智能手势模型相对比,判断属于滑动翻页操作。智能系统将手势中的单指顶点与智能系统的光标进行关联,在单指顶点的p(x,y)中发生位置变化时,光标的pl (xl,yl)坐标也相应变化,并执行等同于触屏手机中的滑动翻页操作。
[0064]拖拽动作由选取、拖拽移动和释放组成:
[0065]选取:单手单指在摄像头可捕捉的范围内移动,单手相邻手指弹出,智能系统将摄像头所捕捉每一帧画面进行二值化处理,以区分手指和背景,再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点,并计算出最先伸出的单指第一指节的中心点(或单指尖端),包含数据p(x,y),稍后伸出的邻指第一指节的中心点(或单指尖端),包括数据q(a,b) ο智能手势模型将智能系统捕捉的手势动作数据P (X,y)和q(a,b)与智能手势模型相对比,判断属于拖拽选取功能,并以先伸出的单指p(x,y)为光标对应点。智能系统将手势中的先伸出的单指顶点与智能系统的光标进行关联,光标Pl对其所在的Pl (X,y)位置的图标进行拖拽选取工作。
[0066]拖拽平移:单手双指在摄像头可捕捉的??围内移动,系统形成数据P (X,y)和q(a,b)两个数据集。智能手势模型将智能系统捕捉的手势动作数据P (X,y)和q(a,b)与智能手势模型相对比,判断属于拖拽平移操作,并以p(x,y)为光标对应点。智能系统将手势中的先伸出的单指顶点与智能系统的光标进行关联,光标Pl对其所在的Pl(X,y)位置的图标进行拖拽平移工作。
[0067]释放:单手双指在摄像头可捕捉的??围内移动,当在之如拖拽选取中先伸出的手指移动到所需的位置后,后伸出的手指收回。系统形成数据P(x,y)和q(a,b)两个数据集。智能手势模型将智能系统捕捉的手势动作数据P (x,y)和q(a,b)与智能手势模型相对比,判断属于释放操作,并以p(x,y)为光标对应点。手势系统将手势中的先伸出的单指顶点与智能系统的光标进行关联,光标Pl对其所
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1