人机交互界面中基于视觉关注模型的手势跟踪方法
【技术领域】
[0001] 本发明涉及一种人机交互界面中基于视觉关注模型的手势跟踪方法。
【背景技术】
[0002] 随着计算机技术的飞速发展，人与计算机的交互活动逐渐成为人们日常生活的一 个重要组成部分，而符合人际交流习惯的人机交互技术成为当前的发展趋势。当前的人机 交互技术已经从"以机器为中心"向"以人为中心"转变，更加注重追求自然的人机交互风 格。
[0003] 手势是一种自然舒服且符合人们习惯的交互方式，目前已有很多手势交互算法用 于来模拟人们的交互机制，但是都不能真实的模拟人们的交互行为，后来，人们通过对人类 视觉系统进行研宄发现，面对一个复杂的场景，人类视觉关注系统能快速的将注意力集中 在少数几个显著的视觉对象上，这个过程就是视觉关注。因此，基于视觉的手势交互可以以 其自然友好的交互方式最符合人类的交互习惯，从而使得基于视觉的手势交互成为人机交 互方面研宄的热点基于视线跟踪和基于手势识别的人机交互方式具有自然性、直接性和简 洁性，可以节省自然资源，真正实现和谐自然的人机交互方式。
[0004] 目前关于手势交互算法的研宄已经很多，这些算法都可以改善手势跟踪的性能， 提高系统的稳定性和准确性，如：MeanShift算法是一种基于核函数密度估计得图像特征 分析方法，该算法因计算简单、实时性好而得到广泛应用，它主要是神对静态的概率密度 分布而设计的算法；杨杰提出了一种改进的Camshift跟踪算法，该算法首先进行目标检 测，然后确定分割阈值，最后采用Camshift算法进行目标跟踪。实验表明，该算法可以得到 很好的跟踪效果。HuPeng提出了一种半自动化的目标分割方法，该方法可以有效地分割出 运动目标并提取其特征。LiangJuan提出了基于Kalman滤波与Camshift相结合的跟踪 算法，该算法在目标被严重遮挡和颜色干扰的情况下仍可以得到稳健地跟踪。TanWen-jun 提出了将Kalman滤波和肤色模型相结合的手势跟踪算法，该算法采用的肤色模型是YCbCr 空间上的椭圆肤色模型。实验表明，该算法在手势运动过程中的手形变化和轨迹转弯等情 况都能有效的跟踪手势。Raskin将高斯动态模型和退火粒子滤波相结合，以达到降低状态 向量维数的目的。FengZhi-Quan以行为分析和建模为切入点，提出了基于状态微观结构 的手势跟踪算法，该算法可以得到较精确的跟踪结果。利用基于高斯采样的PF(Particle Filter)方法进行运动自然人手的跟踪研宄，PF算法能够提高三维手势的跟踪精度。尽管 国内外对手势跟踪的研宄取得了很大进展，但是这些算法都是逐帧跟踪，计算量非常大，导 致交互效率低下。
[0005] 视觉关注机制是一个复杂的过程，因其超乎寻常的复杂性和不确定性，涵盖了认 知科学、神经生物学、心理学等多个学科。近年来，视觉关注模型已经取得了巨大的进展，这 些视觉关注模型的研宄主要集中在对图像进行处理，得到图像的色调、饱和度和亮度特征， 然后对各特征图进行变换，分析目标的显著性，去除冗余背景信息，得到相应的显著图，最 后根据显著图，对原始图像进行分割，得到目标。
【发明内容】
[0006] 为解决以上技术上的不足，本发明提供了一种提高人机交互速度和跟踪精度的人 机交互界面中基于视觉关注模型的手势跟踪方法。
[0007] 本发明是通过以下措施实现的：
[0008] 本发明的一种人机交互界面中基于视觉关注模型的手势跟踪方法，包括以下步 骤：
[0009] 步骤1，将实验者的一次人机交互任务分成四个阶段，分别为手势平移阶段、抓取 物体阶段、抓住物体平移阶段和释放物体阶段；在实验者进行人机交互任务过程中利用眼 动仪采集实验者每个阶段的相关数据；
[0010] 步骤2,根据步骤1中采集的相关数据分析得出每个阶段的视觉关注强度P的数 据，并对视觉关注强度P的数据分析，归纳出距离Distance与视觉关注强度P的数据之间 的对应关系，其中距离Distance为手势模型到目标位置Goals的距离；在三维场景中目
【主权项】
1. 一种人机交互界面中基于视觉关注模型的手势跟踪方法，其特征在于，包括以下步 骤： 步骤1，将实验者的一次人机交互任务分成四个阶段，分别为手势平移阶段、抓取物体 阶段、抓住物体平移阶段和释放物体阶段；在实验者进行人机交互任务过程中利用眼动仪 采集实验者每个阶段的相关数据； 步骤2,根据步骤1中采集的相关数据分析得出每个阶段的视觉关注强度P的数据，并 对视觉关注强度P的数据分析，归纳出距离Distance与视觉关注强度P的数据之间的对 应关系，其中距离Distance为手势模型到目标位置Goals的距离；在三维场景中目标位置 Goals的视觉关注强度P定义为：
其中T1表示在总时间T中对目标位置Goals 的关注时间； 步骤3,根据各个阶段中距离Distance和视觉关注强度P的对应数据，找出视觉关注强 度P的变化规律，借用相关的数据分析软件，得到各个阶段的视觉关注强度模型； 步骤4,将步骤3得出的视觉关注强度模型与手势跟踪中采用的粒子滤波PF算法相结 合，找出手势跟踪精度A和粒子滤波PF算法中粒子数Num的关系，进而得出粒子数Num和 视觉关注强度P存在的线性关系，在采用粒子滤波PF算法进行运算时，随着视觉关注强度 P的变化更新粒子数Num的值。
2. 根据权利要求1所述手势交互界面中三维手势的视觉关注分布模型构建方法， 其特征在于：在步骤3中，手势平移阶段和抓住物体平移阶段的视觉关注强度模型T为：
其中，X为手势模型到目标位置Goals的距离Distance，t (X)表示Distance对应的视 觉关注强度，apb, c i (1〈 = i〈 = 3)是参数，且 B1= 0· 1579, b 丨=114. 6, c 丨=21. 43, a 2 =1. 388, b2= -25. 56, c 2= 37. 29, a 3= 0. 7465, b 3= 30. 12, c 3= 24. 67, a 4= 0. 6378, b 4 =57. 04, C4= 17. 71。
3. 根据权利要求1所述人机交互界面中基于视觉关注模型的手势跟踪方法，其特征在 于：在步骤3中，抓取物体阶段的视觉关注强度模型G :g(x) = ρΖ+ρΖ+ρΖ+ρΖ+ρρ+ΡΜ 其中，X为手势模型到目标位置Goals的距离Distance，g(x)表示Distance对应的视觉 关注强度，P i (1〈 = i〈 = 6)是参数且 P1= 0· 0008501，p 2= -0· 0125, p 3= 0· 06148, p 4 = -〇. 1083, P5= 0. 03885, p 6= 0. 9664。
4. 根据权利要求1所述人机交互界面中基于视觉关注模型的手势跟踪方法，其特征在 于：在步骤3中，释放物体阶段的视觉关注强度模型R :r(x) = ry+iv^+iv^+iv^+rgX+rj；; 其中，x为手势模型到目标位置Goals的距离Distance，r (X)表示Distance对应的视觉 关注强度，A (1〈 = i〈 = 6)是参数且 A= 0· 000799, r 2= -0· 01286, r 3= 0· 07247, r 4 =-0. 1658, r5= 0. 1307, r6= 0. 9641〇
5. 根据权利要求1所述人机交互界面中基于视觉关注模型的手势跟踪方法，其特征在 于：在步骤4中，手势跟踪精度A和粒子数Num的关系式：A = f(Num);粒子数Num和P存 在的线性关系式
【专利摘要】本发明的人机交互界面中基于视觉关注模型的手势跟踪方法，首先，通过眼动仪实现了对人眼视线变化过程准确追踪；然后，对眼动仪输出的数据进行分析，建立操作者对有关事件的视觉关注模型；最后，以视觉关注模型为基础，设计三维手势跟踪算法。核心在于获取操作者在三维场景中的视觉关注模型。本发明的有益效果是：将视觉关注与人机交互相结合，能够呈现人类的视觉规律，更加注重追求自然的人机交互风格，而且通过用户在人机交互过程中的视觉关注分布规律来突破了目前存在的手势跟踪速度的瓶颈问题。通过引入视觉关注机制，降低了平均运行时间，提高了人机交互效率、人机交互速度和手势跟踪精度。
【IPC分类】G06K9-00
【公开号】CN104766054
【申请号】CN201510137223
【发明人】冯志全, 何娜娜
【申请人】济南大学
【公开日】2015年7月8日
【申请日】2015年3月26日