一种基于移动终端的非接触式交互方法
【专利说明】
[0001]技术领域:
本发明涉及人机交互技术领域，具体涉及一种基于移动终端的非接触式交互方法。
[0002]【背景技术】:
现行的移动终端的人机交互方式，主要是通过键盘与触摸屏。移动终端的面积与体积有限，无论是键盘还是触摸屏交互，都有所不便，容易出现误操作。
[0003]新型的人机交互方式有基于传感器的体感交互、基于动作图像识别的交互、基于肌肉计算的交互等。以上的各种交互方式能够弥补以前存在的不足，但在应用于移动终端上时，也有其各自的新问题与缺点。
[0004]基于传感器的体感人机交互方式，利用加速度传感器、重力传感器、陀螺仪等装置，感知其运动进行交互。重力传感器目前已经用于手机等终端内，但只能感知到手机本身的运动，而不是使用者的运动，应用范围很有限；如要感知使用者的运动，需要额外配置容纳传感器的遥控器，这在移动终端交互中是很不自然的，一定程度上破坏了移动终端的便携性。
[0005]基于动作图像识别的交互方式，利用特殊的可以采集景深信息的摄像头，拍摄使用者的动作，通过对图像的处理，重构出使用者的运动信息进行交互。该交互方式的缺点是景深摄像头比较昂贵，而且景深摄像头不能采集太近的距离，用于移动终端的交互不方便。
[0006]基于肌肉计算的交互方式，通过采集人体肌肉的肌电信号来判断人体的动作，从而进行交互。这种交互方式目前还不太成熟，设备不便携带。
[0007]因此，基于移动终端，需要一种新型的交互方法。
[0008]专利申请CN201110043418.7公开了一种移动终端的人机交互方法，使用移动终端内部的传感器与电动机，利用终端的主动旋转发出信号，被动旋转接受信号。该发明的主要局限是所能表达的信息种类十分有限。
[0009]专利申请CN201210056083.7公开了一种移动终端的非接触式控制装置与方法。该方法采集终端前方的视频图像并提取人手轮廓，但只能根据人手的运动方向发出命令，精细度不高。
[0010]专利申请CN201210520849.2公开了一种移动电子设备手势控制交互方法，该发明的创新在于动态调整感知动作的频率，节约移动终端的功耗。该发明使用的是加速度传感器，感应终端的运动。
[0011]
【发明内容】
:
本发明的目的是提供一种基于移动终端的非接触式交互方法，它通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。
[0012]为了解决【背景技术】所存在的问题，本发明是采用如下技术方案:它的交互方法包括以下步骤:
(一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；
(二 )、对采集的图像进行分析，划分人手所在的感兴趣区域； (三)、对人手所在区域进行进一步分类，划分出人手关键部位；
(四)、利用人手生理约束，对划分的部位进行补充与修正；
(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。
[0013]所述的一种基于移动终端的非接触式交互方法还可包括:第二图像采集设备与第一图像采集设备参数相同，并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参考深度图像。
[0014]所述的划分人手所在的感兴趣区域包括:
(i )、将采集的图像转换到HSV彩色空间；
(? )、利用人肤色特征，初步划分人手区域；
(iii)、对划分结果进行去噪，去除小区域噪声影响。
[0015]所述的划分人体部位包括以下步骤:
(I )、预先收集人工标注的人手彩色图像，并进行位置预校正；
(II )、对人手各个部位的每个像素，提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；
(III)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器；
(IV )、在移动终端应用该分类器，对人手关键部位进行分类。
[0016]所述的对划分部位进行补充与修正包括以下步骤:
①、在分类步骤的结果中，标出像素过少以及缺失的部位；
②、在前面一定时间内的图像中，查找对应部位位置；
③、如果查找到足够的位置信息，使用轨迹拟合，得到本帧初步预测的缺失部位信息；
④、根据人手指指节刚体约束，除拇指外四指的共面约束，手指关节的弯曲角度约束，优先级从高到低，对上一步预测的部位信息做修正；如没有足够的预测信息，根据这些约束推断缺失部位的位置。
[0017]所述的划分人体部位包括以下步骤:
(1)、预先收集人工标注的人手的彩色图像与深度图像组合，并进行位置预校正；
(2)、对人手各个部位的每个像素，在图像组中分别提取8个方向的梯度值以及不同步长下的差分值，作为候选特征；
(3)、使用随机决策树分类器模型、交叉验证法以及ID4.5训练算法，离线训练人手关键部位的分类器。
[0018](4)、在移动终端应用该分类器，对人手关键部位进行分类。
[0019]本发明具有如下有益效果:通过对人手的图像采集实现交互功能，并且实现对手势运动的跟踪，具有不局限于移动终端屏幕、灵活性强、支持多种手势的特点。
[0020]【附图说明】:
图1为本【具体实施方式】中的互交方法的流程图；
图2为本【具体实施方式】中的另一种互交方法的流程图。
[0021]【具体实施方式】:
参看图1-图2，本【具体实施方式】采用如下技术方案:它的交互方法包括以下步骤: (一)、利用移动终端自带的第一图像采集设备，采集包含人手的图像；
(二)、对采集的图像进行分析，划分人手所在的感兴趣区域；
(三)、对人手所在区域进行进一步分类，划分出人手关键部位；
(四)、利用人手生理约束，对划分的部位进行补充与修正；
(五)、建立人手各个部分的运动轨迹，将运动轨迹与应用领域所设置的手势进行对比，进行交互模式判别，并发出对应控制命令。
[0022]所述的一种基于移动终端的非接触式交互方法还可包括:第二图像采集设备与第一图像采集设备参数相同，并列放置，同步采集包含人手的图像；对采集的图像进行匹配与深度恢复，得到参