一种手势跟踪结果映射成鼠标事件的方法
【专利摘要】本发明公开一种手势跟踪结果映射成鼠标事件的方法，将物理空间的手势跟踪结果映射成鼠标的移动，实现对操作系统中鼠标的准确平滑控制。该方法包括如下步骤：(1)对在不同使用平台下跟踪算法的运算速度进行时间规整；(2)根据人与摄像头的距离自适应距离规整；(3)阈值和参数设置；(4)对跟踪结果区分抖动和慢速移动情况；(5)通过映射函数将图像中的人手映射成为鼠标事件；(6)对鼠标运动过程进行速度平滑处理；(7)采用帧间插值的方式填补两帧映射的鼠标点，显示插值。本发明不受限于跟踪算法，能有效地将跟踪结果映射为鼠标事件，且对于跟踪效果不好的算法，能通过鼠标事件修补最终的映射结果，提高算法在实际中的可用性。
【专利说明】一种手势跟踪结果映射成鼠标事件的方法
【技术领域】
[0001] 本发明涉及计算机视觉跟踪和人机交互领域，具体涉及一种基于计算机视觉的手 势跟踪映射到鼠标的方法。
【背景技术】
[0002] 随着计算机视觉技术的发展，手势识别和跟踪技术日益成熟，其相关产品也逐渐 从科学研究走向产业化，成为实际性商品走进社会。人机交互技术是将基于计算机视觉的 手势识别和跟踪技术与机器联系的关键。人手通过一定的映射算法对计算机中的光标进行 操控，实现光标在操作界面中的移动以及对操作系统的控制。
[0003] 如今的2D手势跟踪算法仍存在一定的局限性，在跟踪过程中由于噪声的存在，跟 踪结果不可避免地产生不同程度的抖动，同时，在交互过程中，用户交互的友好性和舒适度 也成为交互映射算法考虑的一个重要因素。因此，对普通手势跟踪算法的适用性，提高算法 鲁棒性和满足人类自然交互习惯成为人机交互技术中映射算法发展趋势。
【发明内容】
[0004] 本发明的目标在于克服现有的手势映射光标算法在实际应用中存在的不足，提供 一种自然、和谐、高效的手势跟踪结果映射成鼠标事件的方法，具体技术方案如下。
[0005] -种手势跟踪结果映射成鼠标事件的方法，包括以下步骤：
[0006] 对当前手势跟踪算法进行时间规整；
[0007] 对当前手势跟踪算法的跟踪结果进行距离规整；
[0008] 区分抖动和慢速移动情况；
[0009] 将人手跟踪结果映射为鼠标事件；
[0010] 对鼠标速度做平滑处理；
[0011] 填补两帧映射的鼠标点。
[0012] 在其中一个实施例中，所述对当前手势跟踪算法进行时间规整具体是：对手势跟 踪结果乘以一个与标准测试平台帧间时间相比较的系数，使得物理世界中人手同样的速度 在不同的帧间处理时间都可以映射为同样的鼠标速度。
[0013] 在其中一个实施例中，所述对当前手势跟踪算法的跟踪结果进行距离规整具体包 括以下步骤：（a)利用
[0014] 跟踪结果中跟踪框的大小，计算人手与摄像头之间的距离；
[0015] (b)自适应地调整图面中计算出来的人手运动速度。
[0016] 在其中一个实施例中，所述区分抖动和慢速移动情况具体包括以下步骤：
[0017] (a)累计历史跟踪点取得到平均滤波点；
[0018] (b)将当前的跟踪点与这个滤波点来比较，区分慢速移动和抖动；
[0019] (c)屏蔽抖动，放大慢速移动。
[0020] 在其中一个实施例中，所述将人手跟踪结果映射成鼠标事件的具体映射方案包 括：采用分段函数，将规整后的人手运动速度对应不同的映射倍率。
[0021] 在其中一个实施例中，所述对鼠标速度做平滑处理具体包括：对当前映射的鼠标 速度与前一帧得到的鼠标速度做加权求和，避免跟踪过程中鼠标的显示速度在交互视觉上 发生突变。
[0022] 在其中一个实施例中，所述填补两帧映射的鼠标点具体是：在两帧算法处理时间 内采用帧间线性插值的方式填补两帧映射的鼠标点，插入鼠标点的个数视具体算法处理时 间而定，从而避免部分算法处理时间过长导致鼠标跳动的情况。
[0023] 进一步优化的，上述方法还包括：根据用户的运动趋势，规范化鼠标的横纵映射轨 迹。
[0024] 本发明一种手势跟踪结果映射成鼠标事件的方法与现有技术相比，具有如下优点 和技术效果：
[0025] (1)本发明算法复杂度低，在实际应用中消耗的资源少。
[0026] (2)本发明不受限于具体的跟踪算法，具有普适性。
[0027] (3)本发明在一定程度上能弥补跟踪算法本身的不足，提高跟踪算法在实际中的 鲁棒性。
[0028] (4)本发明能为用户提供与计算机自然的交互体感，操作感强。
【专利附图】
【附图说明】
[0029] 图1是本发明手势跟踪结果映射成鼠标事件的方法流程图。
[0030] 图2是不同用户使用距离的成像原理图。
[0031] 图3是运动状态分类图。
[0032] 图4是本发明所采用的映射函数。
[0033] 图5是本发明与其中一个常用的距离映射方法的结果对比图。
【具体实施方式】
[0034] 以下结合附图对本发明的具体实施方法作进一步说明，但本发明的实施和保护不 限于此，需说明书的是，以下凡是未特别说明的符号、步骤或过程，均是本领域技术人员可 参照现有技术实现的。
[0035] 如图1所示，本发明手势跟踪结果映射成鼠标事件的方法包括如下流程。
[0036] (1)对当前手势跟踪算法进行时间规整，对手势跟踪结果乘以一个与标准测试平 台帧间时间相比较的系数，使得物理世界中人手同样的速度在不同的帧间处理时间都可以 映射为同样的鼠标速度，时间规整方法如下：
[0037] 手势速度v =帧间两点欧式距离（像素数）d/帧间时间t (ms)
[0038] 在标准测试平台中算法整体耗时为T ms,确定映射区间steady、vl、v2,选择在该 测试平台中的较优测试参数。当在其他平台下运行时，通过时间规整处理这些参数，使得物 理世界中人手同样的速度在不同的帧间处理时间都可以映射为同样的光标速度。实现方式 为乘以一个与标准测试平台帧间时间相比较的系数。
[0039] (2)根据用户与摄像头的距离做距离规整，利用跟踪结果中跟踪框（204、205)的 大小，如图2所示，计算人手面积S以及人手201与不同距离摄像头203之间的距离L，在测 试平台上的标准人手面积Sstantod (映射较优时对应的），人手201与标定摄像头202之间的 标准距离1^_^进行比较得到当前算法计算到的人手运动速度的缩放因子F，利用缩放因 子自适应地调整图面中计算出来的人手运动速度。
[0040]
【权利要求】
1. 一种手势跟踪结果映射成鼠标事件的方法，其特征在于包括如下步骤： (1) 对当前手势跟踪算法进行时间规整； (2) 对当前手势跟踪算法的跟踪结果进行距离规整； (3) 区分抖动和慢速移动情况； (4) 将人手跟踪结果映射为鼠标事件； (5) 对鼠标速度做平滑处理； (6) 填补两帧映射的鼠标点。
2. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于所述对 当前手势跟踪算法进行时间规整具体是：对手势跟踪结果乘以一个与标准测试平台帧间时 间相比较的系数，使得物理世界中人手同样的速度在不同的帧间处理时间都能映射为同样 的鼠标速度。
3. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于所述距 离规整具体是：根据用户与摄像头的距离做距离规整，利用跟踪结果中跟踪框的大小，计算 人手与摄像头之间的距离，自适应地调整画面中计算出来的人手运动速度。
4. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于所述区 分抖动和慢速移动情况具体是：累计历史跟踪点得到平均滤波点，将当前的跟踪点与这个 滤波点来比较，区分慢速移动和抖动，并屏蔽抖动，放大慢速移动。
5. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤 (4) 采用分段函数，将规整后的人手运动速度对应不同的映射倍率。
6. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤 (5) 中，对当前映射的鼠标速度与前一帧得到的鼠标速度做加权求和，避免跟踪过程中鼠标 的显示速度在交互视觉上发生突变。
7. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于步骤 (6) 在两帧算法处理时间内采用帧间线性插值的方式填补两帧映射的鼠标点，插入鼠标点 的个数根据芯片的效率或者计算机的硬件条件对具体手势跟踪算法处理时间确定，从而避 免部分算法处理时间过长导致鼠标跳动的情况。
8. 如权利要求1所述的一种手势跟踪结果映射成鼠标事件的方法，其特征在于根据用 户的运动趋势，规范化鼠标的横纵映射轨迹。
【文档编号】G06F9/44GK104142730SQ201410318600
【公开日】2014年11月12日 申请日期:2014年7月4日 优先权日:2014年7月4日
【发明者】徐向民, 罗雅愉, 邹晓艺 申请人:华南理工大学