基于自然手势的跨屏幕自适应精度调整方法及装置与流程

本发明属于跨屏幕的人机交互领域，具体涉及一种基于自然手势的跨屏幕自适应精度调整方法及装置。

背景技术：

随着互联网时代的日益成熟，各种智能类电子产品已经成为几乎每个人必不可少的物品。人们在感受着科技带给自身便利的同时，也在不断追求着新的突破。无论是手机、ipad或是电脑，现有的人机交互方式都是通过手接触显示屏实现的。但是人们已经不再满足于传统的单向互动的操作习惯，开始慢慢的趋向于双向的人机互动。如何更方便的操控工具，得到更好的用户体验，如何使机器更好地理解人的动作和情感，是人们在现阶段所要思考的问题。

支持自然用户界面的技术通过人的处理，尤其是在没有输入或者穿戴设备的情况下，对程序进行控制的技术，统称为自然交互技术，包括硬件和软件两个方面。这项技术已经悄然融入在人们的生活中，回望近10年来技术的发展，各种新兴设备的出现，科研机构和软件公司也在不停地进行用户习惯和交互手势的研究，苹果和三星还为此进行了专利诉讼，用户界面技术也在不停地发展。但是这些成果距离让我们的操作变得更加“自然”还离的很远，用户想要顺畅地使用这些设备也必须首先了解设备的使用方法，比如智能手机中的放大缩小操作，首先都必须进行训练。

纵观交互技术的发展，人们趋向于更自然更炫酷的交互体验，厂商也在不遗余力的开发并对这些新技术进行推广，例如三星galaxys4手机中使用的眼球翻页技术，给用户在阅读手机时带来了极大的便利；微软开发的kinect依靠相机捕捉三维空间中玩家的运动，使游戏丰富化、趣味化；leap公司开发的leapmotion只需将设备插入电脑中，即可挥动一只手指就能浏览网页、播放音乐、绘画以及游戏等，给用户的生活和工作带来了极大的便利。这类交互体感设备的推出，使得我们的生活变得有趣起来。

但是，目前这类产品还存在一定的局限性。kinect是游戏产品，在开始使用时，需要一定的初始化操作。kinect主要是识别运动轨迹，手停留几秒识别为“选择”操作，但还没有更进一步地将手指关节识别为命令。leapmotion可以识别手指关节的变化(如抓取)，但像在电脑端那样执行任务流是不适合的。leapmotion使用过程中，手要悬浮在空中，使用一段时间之后会比较疲劳，它的识别精度达到了次毫米级，连接之后可以立即使用，但由于手悬浮时难免有细微的抖动，对屏幕在几个像素范围对精准操作非常困难。leapmotion和kinect运用的是计算机形状学，myo则涉及到生物科学，臂带上的感应器可以捕捉到用户手臂肌肉运动时产生的生物电变化，从而判断佩戴者的意图，再将电脑处理的结果通过蓝牙发送至受控设备，但只限于单手手势，并且需要额外佩戴设备。不过，目前自然手势交互方式在不同类型的设备上，虽然使用起来具有一定的灵敏度，其精度无法自适应调整或者调整非常麻烦，这使用户体验大大降低。目前，kinect和leapmotion还没有找到合适的方法解决这个问题。不论是使用手机还是电脑，要对其进行操作，通常都需要用户的实际触摸。在许多情况下，必须实际触摸才能控制工具并不方便。因此需要一种方法和装置来使得用户在不实际接触显示屏的情况下就能精准的操控工具。

技术实现要素：

为解决手势识别技术在跨越不同类型和大小屏幕的交互中需要自动适应不同精度的要求，以及解决在屏幕中显示不同内容时所需要的不同精度控制要求，本发明提出了一种基于自然手势的跨屏幕自适应精度调整方法及装置，该装置结合realsense实感技术，可以对自然手势和用户人脸进行更加精确的检测，判断用户的站立距离、位置和移动速度，并根据对应的规则动态地调整手势控制的速度和精度。

本发明提出了一种基于自然手势的跨屏幕自适应精度调整装置，包括：

两个realsense实感摄像头，用于获取待测环境的色彩图像与realsense实感摄像头发射的红外图形的深度图像，并将该深度和色彩图像输出至图像处理单元；

图像处理单元，用于对接收的色彩图像进行分析与识别，得到用户手部图像，然后，结合深度图像分析得到用户手部的空间位置和移动信息，并根据空间位置、移动信息以及预设的自适应调整精度规则输出控制信号至控制接口；

控制接口，用于将接收的控制信号输送到交互机；

交互机，用于解析接收的控制信号，并根据该控制信号控制交互机显示屏上光标的运动。

所述的realsense实感摄像头包括：色彩传感器、红外激光器、红外传感器以及实感图像处理芯片；所述的色彩传感器用于接收待测环境的色彩，形成色彩图像；所述的红外激光器以特定频率发射特定编码的红外激光，形成红外图形照射到待测环境中；所述的红外传感器接收所述红外激光投射在待测环境中物体表面形成的红外光斑，形成红外图形的深度图像；所述的实感图像处理芯片通过取样和量化过程将色彩和深度图像转化为适合计算机处理的数字数据。

所述的realsense实感摄像头可以替换为深度摄像头与色彩摄像头的组合，且不限制深度摄像头与色彩摄像头的类型，只要能获得色彩和深度图像即可。

所述的红外激光器发射的红外激光形成的特定形状至少要能够覆盖待识别物体的形状，这样可以完整地获得与待识别物体的色彩图像相对应的灰度图像，会计算分析待测物体的空间位置奠定基础。

本发明采用两个相对位置固定的realsense摄像头模拟人的双眼，从不同的角度获得待测环境的色彩图像与红外图形的深度图像，进行色彩和深度距离的双重验证，即来自于两个realsense实感摄像头的两个色彩图像之间有个色彩校验，来自于两个realsense实感摄像头的深度图像之间的深度距离校验。此外，来自于一个realsense实感摄像头的色彩图像与深度图像之间也有一个检验，这样的设计大大地提高了检测的准确性和鲁棒性。

本发明中，两个红外激光器投射的红外激光是相互独立的，两个红外传感器检测得到的红外图形的深度图像也是独立的两幅，但是由于存在双重红外激光投射，因此能进一步提高深度图像的分辨率。

本发明中，红外激光器以特定编码的结构光发射至待测环境中，红外激光图案在物体表面投影形成不同形状的红外光斑，此时，红外传感器捕捉到红外光斑，根据红外光斑的投影大小和形变程度计算物体表面的空间距离和物体表面的形变程度，得到的空间距离值作为像素值，形成红外图形的深度图像。

作为优选，所述的realsense实感摄像头与图像处理单元集成于一块pcb电路板上或嵌入式开发板，所述的嵌入式开发板为树莓派、arduino的功能板以及树莓派与arduino的功能板的组合。

所述的控制接口与图像处理模块的连接方式是固定的，且控制接口是usb接口，microusb接口，miniusb接口以及usbc接口中的一个或这些接口的任意组合。

另一方面，本发明提出了一种应用上述装置的跨屏幕自适应精度调整方法，包括以下步骤：

(1)利用realsense实感摄像头c1与c2采集待测环境的色彩图像a1与a2、realsense实感摄像头发射的红外图形的深度图像b1与b2；

(2)图像处理单元对接收的色彩图像a1与a2进行检测分析，多次验证得到用户手部的空间位置、移动信息；

(3)图像处理单元根据预设的自适应调整精度规则，结合用户手部的空间位置、移动信息发出控制信号经控制接口传送至交互机；

(4)交互机解析接收的控制信号，并根据该控制信号动态调整交互机显示屏上光标的运动。

步骤(2)中，确定用户手部的空间位置的具体过程为：

(a)采用opencv计算机图像库，利用图像库的haar分类器识别色彩图像a1与a2中用户手部信息，得到用户手部图像h1与h2；这种检测方式能够扩大对于用户人脸和手部识别所需要的角度和动作范围；

(b)验证用户手部图像h1与h2是否一致，若一致，执行步骤(c)，若不一致，跳转执行步骤(a)；

(c)根据用户手部图像h1在色彩图像a1中的位置、realsense实感摄像头c1与c2之间的固定距离，利用三角定位法判断该用户手部h1相对于realsense实感摄像头c1光轴的偏移角度θ1与用户手部在待测环境中的空间位置(x1、y1、z1)，其中，x1、y1为用户手部图像h1在色彩图像a1中的坐标位置，z1为用户手部与realsense实感摄像头c1与c2所在平面之间的真实距离l1；

(d)根据用户手部图像h2在色彩图像a2中的位置、realsense实感摄像头c1与c2之间的固定距离，利用三角定位法判断该用户手部h1相对于realsense实感摄像头c2光轴的偏移角度θ2与用户手部在待测环境中的空间位置(x2、y2、z2)，其中，x2、y2为用户手部图像h2在色彩图像a2中的坐标位置，z2为用户手部与realsense实感摄像头c1与c2所在平面之间的真实距离l2；

(e)根据用户手部图像h1在色彩图像a1中的像素坐标，获得灰度图像b1中相同像素坐标处的像素值，该像素值为用户手部的空间距离d1，同理，获得用户手部的空间距离d2；

(f)判断用户手部的真实距离l与空间距离d之差是否小于预设阈值，若否，执行步骤(g)，若是，将当前得到的真实距离l与空间距离d的算术平均值作为用户手部在待测环境中的真实空间位置的z值，最终确定用户手部的空间位置(x，y，z)；

(g)判断当前超过预设阈值次数是否超过n，若是，执行步骤(h)，若否，跳转执行步骤(a)，n为超过预设阈值次数的阈值：

(h)取第n次判断中，将真实距离l与空间距离d的算术平均值作为用户手部在待测环境中的真实空间位置的z值坐标，最终确定用户手部的空间位置(x，y，z)；

其中，x，y为用户手部在色彩图像a1与a2中相应位置的算术平均值；l为l1与l1的算术平均值，d为d1与d2的算术平均值。

步骤(2)中，确定用户手部的移动信息的具体过程为：

(a)按照一定的时间间隔连续采集多帧的色彩图像a1与a2、深度图像b1与b2；

(b)按照上述确定用户手部空间位置的方法得到每一采样时间点用户手部的空间位置；

(c)根据相邻两个采样时间点上的用户手部的空间位置的z坐标、偏移角度以及采样时间间隔计算用户手部的移动速度。

步骤(3)中，所述预设的自适应精度调整规则的参考权重包括：

(a)交互显示屏的尺寸，通过用户手部的空间位置(x，y，z)的z值判断交互显示屏的大小，z的值小于50cm时，交互显示屏为小显示屏，z的值在50cm～120cm之间时，交互显示屏为中显示屏，z的值在120cm～300cm之间时，交互显示屏为中大显示屏；

(b)交互显示屏上的交互区域，判断用户的手势是在显示屏的左侧还是在显示屏的右侧；

(c)左右手，判断手势交互中使用的是左手还是右手；

(d)手部移动速度，判断手势在三维空间中的移动速度；

(e)显示屏显示内容的接近度，判断手势驱动的光标是否在显示屏上接近交互对象；

(f)显示屏显示内容的密度，判断显示屏上显示的交互对象的数量和在对应屏幕面积上的分布密度；

(g)脸部-手部距离，判断用户在交互的过程中脸部与手部在摄像头光轴方向上的距离；

综上，自适应精度调整规则r＝{交互显示屏的尺寸，交互显示屏上的交互区域，左右手，手部移动速度，显示屏显示内容的接近度，显示屏显示内容的密度，脸部-手部距离}。

步骤(4)中，动态调整显示屏光标移动的规则为：

根据显示屏的尺寸将显示屏分成多个部分，若是小显示屏，如手机屏幕、ipad屏幕，则将其分成上下两部分；若是中显示屏，如电脑屏幕，将其分成与中显示屏等长宽比的相邻四个部分；若是大显示屏，如投影仪屏幕，将其分成与大显示屏等长宽比的多个部分；其中，上下部分中，显示屏上部分的光标移动速度比下半部分的快，灵敏度也比下半部分的高；

根据交互的左右手，设置交互区域光标移动灵敏度，当左手交互时，与左手同侧的交互区域光标移动灵敏度相对于其他区域更高，移动速度也更快；

根据交互手的移动速度，设置交互区域光标的灵敏度，当交互手的移动速度越快，交互区域光标的总体灵敏度越高，光标的移动速度越慢；

根据显示屏中光标与按钮等交互对象之间的距离，设置光标的灵敏度，光标越接近按钮，光标的总体灵敏度越高，移动速度越低；

根据交互手势与显示屏之间的距离，设置交互区域光标的灵敏度，当交互手势与显示屏越远时，光标在水平和竖向两个方向的移动速度越快，灵敏度越高；在大角度斜向的方向上，则反之；

根据交互对象在显示屏中的密度，设置交互区域光标的灵敏度，交互对象密度越大，光标的总体灵敏度越低，移动速度越低。

作为优选，还可以采用脸部与手部结合的方式进行交互，进而动态调整显示屏光标的移动精度。

本发明方法通过用户实验检测，用户在自适应精度调整方法下，能够普遍提高15-20％的大屏幕对象选择的准确率，能让用户减少45％的时间适应不同屏幕之间的不同手势操作速度和精度；而且，对于动态的自适应调整方法，能让用户在跨屏幕交互的过程中持续保持较高的体验满意度。

附图说明

图1是实施例中基于自然手势的跨屏幕自适应精度调整装置的结构示意图；

图2是实施例中基于自然手势的跨屏幕自适应精度调整方法的流程图；

图3是实施例中确定用户手部的空间位置的流程图；

图4是实施例中确定用户手部的移动信息的流程图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

参见图1，本实施例跨屏幕自适应精度调整装置包括：两个realsense实感摄像头、图像处理单元、控制接口、交互机；其中，realsense实感摄像头由色彩传感器、红外激光器、红外传感器以及实感图像处理芯片组成。

在进行跨屏幕自适应精度调整前，将两个realsense实感摄像头置于交互机屏幕的左上角与右上角，且图像处理单元位于两个个realsense实感摄像头确定的平面内。

具体地，本实施例控制接口选择usb接口，交互机为手机。交互对象为手机屏幕中的纽扣。

参见图2，利用图1所示的装置实现跨屏幕自适应精度调整方法的具体步骤为：

s01，利用realsense实感摄像头c1与c2采集待测环境的色彩图像a1与a2、realsense实感摄像头发射的红外结构光得到的深度图像b1与b2。

s02，图像处理单元对接收的色彩图像a1与a2进行检测分析，多次验证得到用户手部的空间位置、移动信息。

本步骤中，确定用户手部的空间位置的具体过程如图3所示，具体为：

(a)采用opencv计算机形图像库，利用图像库的haar分类器识别色彩图像a1与a2中用户手部信息，得到用户手部图像h1与h2；这种检测方式能够扩大对于用户人脸和手部识别所需要的角度和动作范围；

(b)验证用户手部图像h1与h2是否一致，若一致，执行步骤(c)，若不一致，跳转执行步骤(a)；

(c)根据用户手部图像h1在色彩图像a1中的位置、realsense实感摄像头c1与c2之间的固定距离，利用三角定位法判断该用户手部h1相对于realsense实感摄像头c1光轴的偏移角度θ1与用户手部在待测环境中的空间位置(x1、y1、z1)，其中，x1、y1为用户手部图像h1在色彩图像a1中的坐标位置，z1为用户手部与realsense实感摄像头c1与c2所在平面之间的真实距离l1；

(d)根据用户手部图像h2在色彩图像a2中的位置、realsense实感摄像头c1与c2之间的固定距离，利用三角定位法判断该用户手部h1相对于realsense实感摄像头c2光轴的偏移角度θ2与用户手部在待测环境中的空间位置(x2、y2、z2)，其中，x2、y2为用户手部图像h2在色彩图像a2中的坐标位置，z2为用户手部与realsense实感摄像头c1与c2所在平面之间的真实距离l2；

(e)根据用户手部图像h1在色彩图像a1中的像素坐标，获得灰度图像b1中相同像素坐标处的像素值，该像素值为用户手部的空间距离d1，同理，获得用户手部的空间距离d2；

(f)判断用户手部的真实距离l与空间距离d之差是否小于预设阈值，若否，执行步骤(g)，若是，将当前得到的真实距离l与空间距离d的算术平均值作为用户手部在待测环境中的真实空间位置的z值，最终确定用户手部的空间位置(x，y，z)；

(g)判断当前超过预设阈值次数是否超过n，若是，执行步骤(h)，若否，跳转执行步骤(a)，n为超过预设阈值次数的阈值：

(h)取第n次判断中真实距离l与空间距离d的算术平均值作为用户手部在待测环境中的真实空间位置的z值坐标，最终确定用户手部的空间位置(x，y，z)；

其中，x，y为用户手部在色彩图像a1与a2中相应位置的算术平均值；l为l1与l1的算术平均值，d为d1与d2的算术平均值。

本步骤中，确定用户手部的移动信息的具体过程如图4所示，具体为：

(a)按照一定的时间间隔连续采集多帧的色彩图像a1与a2、深度图像b1与b2；

(b)按照上述确定用户手部空间位置的方法得到每一采样时间点用户手部的空间位置；

(c)根据相邻两个采样时间点上的用户手部的空间位置的z坐标、偏移角度以及采样时间间隔计算用户手部的移动速度。

s03，图像处理单元根据预设的自适应调整精度规则，结合用户手部的空间位置、移动信息发出控制信号经控制接口传送至交互机。

本步骤中，预设的自适应精度调整规则的参考权重包括：

(a)交互显示屏的尺寸，通过用户手部的空间位置(x，y，z)的z值判断交互显示屏的大小，z的值小于50cm时，交互显示屏为小显示屏，z的值在50cm～120cm之间时，交互显示屏为中显示屏，z的值在120cm～300cm之间时，交互显示屏为中大显示屏；

(b)交互显示屏上的交互区域，判断用户的手势是在显示屏的左侧还是在显示屏的右侧；

(c)左右手，判断手势交互中使用的是左手还是右手；

(d)手部移动速度，判断手势在三维空间中的移动速度；

(e)显示屏显示内容的接近度，判断手势驱动的光标是否在显示屏上接近交互对象；

(f)显示屏显示内容的密度，判断显示屏上显示的交互对象的数量和在对应屏幕面积上的分布密度；

(g)脸部-手部距离，判断用户在交互的过程中脸部与手部在摄像头光轴方向上的距离；

综上，自适应精度调整规则r＝{交互显示屏的尺寸，交互显示屏上的交互区域，左右手，手部移动速度，显示屏显示内容的接近度，显示屏显示内容的密度，脸部-手部距离}。

s04，交互机解析接收的控制信号，并根据该控制信号动态调整交互机显示屏上光标的运动。

本步骤中，动态调整显示屏光标移动的规则为：

根据显示屏的尺寸将显示屏分成多个部分，若是小显示屏，如手机屏幕、ipad屏幕，则将其分成上下两部分；若是中显示屏，如电脑屏幕，将其分成与中显示屏等长宽比的相邻四个部分；若是大显示屏，如投影仪屏幕，将其分成与大显示屏等长宽比的多个部分；其中，上下部分中，显示屏上部分的光标移动速度比下半部分的快，灵敏度也比下半部分的高；

根据交互的左右手，设置交互区域光标移动灵敏度，当左手交互时，与左手同侧的交互区域光标移动灵敏度更高，移动速度也更快；右手交互时，则反之；

根据交互手的移动速度，设置交互区域光标的灵敏度，当交互手的移动速度较快时，交互区域光标的总体灵敏度更高，光标的移动速度较慢；当当交互手的移动速度较慢时，则反之；

根据显示屏中光标与按钮等交互对象之间的距离，设置光标的灵敏度，光标越接近按钮，光标的总体灵敏度越高，移动速度越低；根据交互手势与显示屏之间的距离，设置交互区域光标的灵敏度，当交互手势与显示屏越远时，光标在水平和竖向两个方向的移动速度越快，灵敏度越高；在大角度斜向的方向上，则反之；

根据交互对象在显示屏中的密度，设置交互区域光标的灵敏度，交互对象密度越大，光标的总体灵敏度越低，移动速度越低。

相比于传统的交互方法，本实施例的方法大大提高了交互的准确性，且交互时间上也减少了很多。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。