一种基于视觉关注模型的手势交互方法
【专利摘要】本发明的一种基于视觉关注模型的手势交互方法，首次研究手势交互界面中用户视觉关注的分布规律。首先，通过使用眼动仪完成对人眼视线变化过程准确追踪；其次，对眼动仪输出的数据进行分析，揭示了视觉关注的一般规律，并建立了操作者的视觉关注模型；再次，利用5次高斯公式对这个模型进行描述。最后，将视觉关注模型用于手势跟踪算法设计。本发明的有益效果是：该模型在小部分区域保持较强，显著改善手势交互的效率，提高了速度，精度也得到提到。真实模拟了人类在一定区域仔细观察的视觉特征。
【专利说明】一种基于视觉关注模型的手势交互方法
【技术领域】
[0001] 本发明涉及一种基于视觉关注模型的手势交互方法。
【背景技术】
[0002] 目前在人机交互系统中，手势能够得到准确实时的跟踪，对后续的处理起着重 要的作用。目前，常用的手势跟踪算法有：MeanShif算法是一种基于核函数密度估计得 图像特征分析方法，该算法因计算简单、实时性好而得到广泛应用；CamShif算法是对 Mean Shift算法的一种改进，它是一种利用颜色概率模型的算法，被称为连续自适应的 MeanShift算法；Kalman滤波算法主要是预测估计目标的下一时刻位置，对下一个状态作 最优化估计，因此这样提高了系统的稳定性和准确性；2007年，Raskin将高斯动态模型 和退火粒子滤波相结合，这种方法对改善跟踪的性能有很大的提高；2008年，冯志全利用 PF(Particle Filter)方法进行运动自然人手的跟踪研究；2013年，Morshid提出了高斯 过程退火粒子滤波算法（GPAPF)，GPAPF算法把退火粒子滤波的身体部位跟踪与高斯过程 动态模型结合起来，用高斯过程动态模型减少状态向量的维数来增加身体部位跟踪的稳 定性，同时为了保持旋转和平移不变性而创建了一个潜在的空间，从而使得GPAPF具有良 好的性能；2013年，冯志全提出了基于行为模型的反馈跟踪（FTBM)，该算法主要实现在选 择-平移-释放过程中建立一个行为模型，实验表明，FTBM算法可以降低了维数并达到了实 时跟踪。尽管国内外对手势跟踪的研究取得了很大进展，但是在上面的研究中都没有从视 觉角度去研究人机交互。本文将人类视觉关注机制这种快速筛选能力引入到人机交互中， 这样可以有效得突出目标特征，屏蔽掉干扰信息并且可以使计算机也具有类似人类的注意 智能。
[0003] 在现实世界中，眼睛作为人类最大的信息来源窗口，每天获取的80%以上信息是 通过视觉感知得到的；同时人类的视觉并不是时时刻刻去关注感兴趣的区域，而是在一定 的时刻去获取感兴趣的信息。
[0004] 视觉关注是一个十分复杂的过程，因其超乎寻常的复杂性和不确定性，涵盖了认 知科学、神经生物学、心理学等多个学科。大量生物学家和心理学方面的研究表明，我们的 大脑里存在两种不同的视觉关注：自底向上（(bottom -up attention)和自顶向下（top- down attention)两种研究方法。1980年，Treisman和Gelade提出了具有影响力的特征 综合理论（feature integration theory),并把注意力选择分成两个阶段；1985年，Koch 和Ullman对Treisman的特征综合理论模型进行了扩展，首次提出了显著图的概念；L. Itti 和C. Koch在1998年提出了自底向上视觉关注计算模型是在Treisman和Koch等人的基 础上所建立的，该模型计算量较小、速度快，但是它对于噪声较为敏感、鲁棒性较差。目前， Itti模型是最具影响力的视觉关注模型，经常把该模型作为比较对象来衡量其他模型的 性能。2007年，Gao等人利用Itti模型的步骤获取特征图，提出了用中心一周边判别理论 (discriminant center-surround hypothesis)来计算显著性。到目前为止，对视觉关注研 究的主要集中在对输入图像提取出多方面的特征，如颜色、朝向、亮度、运动等，形成各个特 征维上的显著图，然后对这些显著图进行分析得到注意目标，但是本文根据获取实时眼动 数据进行分析，找出人类视觉关注的规律，建立视觉关注模型，最后将该模型应用到手势交 互系统。本算法从人机交互平台大量的视觉信息中选择少量的有用的信息进行手势的跟踪 处理，可以让计算机真实的模拟人们的手势交互行为来提高人机交互的速度。实验证明，该 算法可以提高速度，而且可以真实的重现人们的交互过程。
【发明内容】
[0005] 为解决以上技术上的不足，本发明提供了一种速度快，精度高的基于视觉关注模 型的手势交互方法，能够在计算机中更加真实的模拟人类的视觉关注行为。
[0006] 本发明是通过以下措施实现的：
[0007] 本发明的一种基于视觉关注模型的手势交互方法，包括以下步骤：
[0008] 步骤1，利用眼动仪对实验者进行人机交互实验，采集并记录人机交互过程中实验 者的视线位置信息、注视时间信息，并根据该视线位置信息分析计算得出视觉关注强度P ;
[0009] 步骤2,通过对不同人群进行基于眼动仪的人机交互实验，得出实验统计数据，制 作以实验者手到物体的距离为横轴，以实验者视觉关注度P为纵轴的视觉关注拟合效果 图，并建立视觉关注模型，该视觉关注模型通过5次高斯模型Μ来表示；
[0010] 步骤3,基于步骤2中的视觉关注模型，采用计算机构造虚拟实验场景，并在虚拟 实验场景内搭建三维手势人机交互平台，将视觉关注模型应用到该人机交互的虚拟实验场 景中；
[0011] 首先在虚拟实验场景中计算出三维手到当前选中物体的初始距离，并推导出该初 始距离与视觉关注拟合效果图中横轴上实验者手到物体的最远距离之间的映射关系式；
[0012] 然后计算实验场景中每帧对应的三维手到当前选中物体距离，利用映射关系式得 出相应的视觉关注模型距离参数，并带入视觉关注模型的5次高斯模型Μ中，计算得出相应 的视觉关注强度Ρ ;
[0013] 最后根据视觉关注强度Ρ选择执行手势跟踪的粒子滤波方法或者动画方法。
[0014] 在步骤1中，首先提取平移阶段三维手势与视觉关注点重合的时间段A ;其次，找 到时间段A对应的计算机上的时间段B ;再次，由B得到这个事件对应的帧数C ;最后，由帧 数C得到相应的关注时间及手到目标位置的距离Distance，得出距离Distance对应的视觉 关注强度P，即：
[0015]
【权利要求】
1. 一种基于视觉关注模型的手势交互方法，其特征在于，包括以下步骤： 步骤1，利用眼动仪对实验者进行人机交互实验，采集并记录人机交互过程中实验者的 视线位置信息、注视时间信息，并根据该信息分析计算得出视觉关注强度P ; 步骤2,通过对不同人群进行基于眼动仪的人机交互实验，得出实验统计数据，制作以 实验者手到物体的距离为横轴，以实验者视觉关注度P为纵轴的视觉关注拟合效果图，并 建立视觉关注模型，该视觉关注模型通过5次高斯模型Μ来表示； 步骤3,基于步骤2中的视觉关注模型，采用计算机构造虚拟实验场景，并在虚拟实验 场景内搭建三维手势人机交互平台，将视觉关注模型应用到该人机交互的虚拟实验场景 中； 首先在虚拟实验场景中计算出三维手到当前选中物体的初始距离，并推导出该初始距 离与视觉关注拟合效果图中横轴上实验者手到物体的最远距离之间的映射关系式； 然后计算实验场景中每帧对应的三维手到当前选中物体距离，利用映射关系式得出相 应的视觉关注模型距离参数，并带入视觉关注模型的5次高斯模型Μ中，计算得出相应的视 觉关注强度Ρ ; 最后根据视觉关注强度Ρ选择执行手势跟踪的粒子滤波方法或者动画方法。
2. 根据权利要求1所述基于视觉关注模型的手势交互方法，其特征在于：在步骤1中， 首先提取平移阶段三维手势与视觉关注点重合的时间段A ;其次，找到时间段Α对应的计算 机上的时间段B ;再次，由B得到这个事件对应的帧数C ;最后，由帧数C得到相应的关注时 间及手到目标位置的距离Distance，得出距离Distance对应的视觉关注强度P，即：
(1) 其中Attention_time是指每巾贞视觉关注的时间；Frame_time是指每巾贞的时间。
3. 根据权利要求1所述基于视觉关注模型的手势交互方法，其特征在于：在步骤2、3 中，该视觉关注模型通过5次高斯模型Μ来表示，如下：
(2) 其中：al = 0· 7783, bl = -8. 575, cl = 20. 64, a2 = -0· 009063, b2 = 37. 51，c2 = 1. 105, a3 = -0· 4649, b3 = 60. 18, c3 = 34. 45, a4 = 0· 6527, b4 = 19. 05, c4 = 22. 51， a5 = 1. 308, b5 = 55. 04, c5 = 29. 67。
4. 根据权利要求1所述基于视觉关注模型的手势交互方法，其特征在于： 在步骤3中，设定视觉关注模型Μ中关注强度P的阈值，如果手到选中物体距离对应的 视觉关注强度Ρ大于该阈值，则执行手势跟踪的粒子滤波方法；如果手到选中物体距离对 应的视觉关注强度Ρ小于该阈值，则执行动画方法。
【文档编号】G06F3/01GK104090663SQ201410334996
【公开日】2014年10月8日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】冯志全, 何娜娜 申请人:济南大学