本发明涉及大型显示界面上目标交互方法和系统。
背景技术
随着投影屏幕、大型led显示器等在人们工作、生活中逐渐得到普及，面向大型显示界面的人机交互也得到了迅速发展。目标选择是大型显示界面交互场景下的的重要操作，通常分为两步：1)定位要选择的目标；2)然后确认当前所定位的目标。而传统的鼠标操作方式，使得用户在大型显示界面上需要利用鼠标进行长距离的光标移动，增加了用户的操作负荷。在这种背景下，基于人眼视觉焦点跟踪的交互方法已逐步应用于面向大型显示界面的目标选择操作，因为视觉焦点跟踪具有很强的指向性，可以较快完成目标的定位和选择。此外，视觉焦点在一定程度上表征了用户的交互意图，进一步提高了隐式交互的自然性。因此本发明提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，实现多通道融合驱动的目标选择。通过视觉焦点指向目标、手部运动确认目标的交互机制实现大型显示界面上的目标选择，特别是当目标的个体尺寸较小、目标之间间距较小时，通过手部运动改变视觉焦点跟踪光标的选择范围，不仅可以提高视觉焦点跟踪指向精度，还可以降低操作难度；同时，结合光标稳定、二次选择，及其优化机制，实现更加准确和快速的目标选择。
技术实现要素：
本发明要克服现有技术的上述缺点，提供了视觉焦点和手部运动跟踪协同驱动的目标交互方法。
本发明的视觉焦点和手部运动跟踪协同驱动的目标交互方法和系统，包括如下步骤：
(1)视觉焦点跟踪；
(2)手部运动跟踪；
(3)融合视觉焦点和手部运动的目标交互；
本发明还提供了视觉焦点和手部运动跟踪协同驱动的目标交互系统，包括依次连接并馈送数据的以下模块：
(1)视觉焦点跟踪模块；
(2)手部运动跟踪模块；
(3)融合视觉焦点和手部运动的目标交互模块；
本发明的优点在于：提出了视觉焦点和手部运动跟踪协同驱动的目标交互方法，通过视觉焦点指向目标，手部运动进行选择确认，实现大型显示界面上高效、自然的目标选择。并且在目标尺寸小、目标间距小时，通过视觉焦点光标稳定、二次选择，以及相应的优化机制，对交互过程进行全面改善，有效降低了对视觉焦点跟踪的精度要求，在大型显示界面上的交互任务完成效率和准确度得到了明显提升。
附图说明
图1是本发明方法的流程示意图。
图2a～图2b是本发明方法的可缩放的视觉焦点跟踪光标示意图，其中图2a是初始状态的视觉焦点跟踪光标；图2b是通过“缩放”手势放大后的视觉焦点跟踪光标。
图3a～图3b是本发明方法的改进的视觉焦点跟踪光标示意图，其中图3a是初始状态的视觉焦点跟踪光标；图3b是在视觉焦点大幅移动后，相应移动到新的位置的视觉焦点跟踪光标。
图4是本发明方法的二次选择功能示意图。
图5a～图5b是本发明方法的基于预选列表的目标选择示意图，其中图5a是覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最左端；图5b是引入预选优化机制后，覆盖多个密集目标的视觉焦点跟踪光标，当前被选中的目标在最右端。
图6是本发明系统的基本逻辑结构示意图。
具体实施方式
下面将结合附图，对本发明视觉焦点和手部运动跟踪协同驱动的目标交互方法行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，本发明实施例提供的视觉焦点和手部运动跟踪协同驱动的目标交互方法的流程示意图，对其中的步骤进行具体描述：
(1)视觉焦点跟踪；
利用带有红外光源的摄像装置拍摄人眼图像，并对人眼图像进行二值化处理，然后用高斯核函数进行滤波，去除人眼图像中的噪声。进一步对人眼图像进行特征提取，得到人眼瞳孔中心和红外光反射光斑(也称普尔钦斑)的中心，并计算两者构成的向量，最后进行标定过程，建立该向量与用户在大型显示界面视觉焦点之间的映射关系，进一步通过拟合计算得到其他视觉焦点的平面坐标。
(2)手部运动跟踪；
利用已有手部运动跟踪装置获取人的手部运动模型，根据手部运动特征对“抬起”、“缩放”、“挥手”等不同手势进行跟踪与识别。“抬起”手势的特征是手部运动范围大于一定距离h(例如，可以设定h＝20厘米)，并且运动方向是垂直从低处向高处运动；“缩放”手势的特征是手部从握拳状态到手掌张开状态(放)，或者从手掌张开状态到握拳状态(缩)，且设定握拳时的手心球半径为rw,手掌张开时的手心球半径为rz,要求rw/rz>k(例如，可以设定k＝60％)；“挥手”手势的特征是手部运动方向为水平方向从左向右或从右向左运动，并且运动速度大于s(例如，可以设定s＝30厘米/秒)。
(3)融合视觉焦点和手部运动的目标交互；
如图2a所示，光标圆心为点a，光标半径为r，用户可以用视觉焦点控制圆形光标的移动，当光标覆盖目标后，用户通过“抬起”手势进行选择确认，最终选中目标。另外，当目标的尺寸太小而光标难以覆盖时，用户可以通过“缩放”手势扩大光标半径r，如图2b所示。
光标稳定。如图3a所示，设定用户当前实际视觉焦点为g，实际视觉焦点与光标圆心之间的距离为d。当用户的视觉焦点在光标半径范围内(d<＝r)时，光标的位置不会发生改变。只有当用户的视觉焦点发生较大范围的转移，即视觉焦点超出光标范围(d>r)时，才会相应改变光标的位置，如图3b所示。这种光标一方面消除了视觉焦点跟踪精度误差导致的不稳定性(即用户在选择目标时则侧重于光标的稳定性)，另一方面又能根据幅度较大的视觉焦点转移而及时调整光标位置(用户在移动光标时侧重于光标的灵活性)，能有效帮助用户更好的选择小尺寸目标。
二次选择。如图4所示，大型显示界面上有大量的小尺寸目标紧密排布，用户通过视觉焦点跟踪进行初步定位后，利用手部运动跟踪，通过二次选择完成既定目标的选择(图4中粗边框的矩形)。首先用户通过“缩放”手势扩大光标的尺寸，降低选择小尺寸目标时对视觉焦点跟踪精度的要求。所有被光标覆盖的目标都会被添加到预选列表中(如图4中被光标覆盖的4个目标)。预选列表中存在一个选择指针，当用户通过“抬起”手势确认选择时会选中指针指向的目标，该目标会变成深色。用户通过“挥手”手势控制选择指针的移动，当其指向用户想要选择的目标时，再次通过“抬起”手势确认选择，完成对既定目标完成准确选择。
优化机制。如图5a所示，当目标分布过于密集时，将导致光标同时覆盖的目标过多，使得利用二次选择进行目标筛选的时间过长(例如，需要从左往右通过“挥手”逐一筛选)，选择效率明显降低。为此，根据目标被选择的可能性高低设置优先级，优先级高的目标将更容易被选中。具体的方法是：用户使用视觉焦点光标进行选择时，记录用户过去一段时间t(例如，可以设定t＝2秒)内的所有视觉焦点的坐标，并将这些视觉焦点的坐标平均值作为当前用户最可能的视觉焦点坐标(该视觉焦点称为预测视觉焦点)。目标位置与预测视觉焦点越近，其优先级就越高；反正亦然。此外，预选列表中目标优先级还将根据预测视觉焦点位置的变化而相应动态改变。如图5b所示，i为预测视觉焦点，其与最右侧的目标最近，因此最右侧的目标优先级最高，所以将其设置为预选列表中的第一位，自动将其进行预选，此时用户不需要“挥手”进行多次切换，而直接用“抬起”手势确认选中即可，明显提高了选择效率。
如图6所示，本文发明实施例提供的视觉焦点和手部运动跟踪协同驱动的目标交互系统的基本逻辑结构示意图。为了便于说明，仅仅示出了与本发明实施例相关的部分。该系统中功能模块/单元可以是硬件模块/单元、软件模块/单元，主要包括依次连接并馈送数据的以下模块:
(1)视觉焦点跟踪模块，提取人眼图像中的瞳孔和普尔钦斑,计算瞳孔和普尔钦斑中心坐标，然后以瞳孔中心和普尔钦斑中心建立瞳孔-角膜反射向量，进而建立视觉焦点映射模型，计算视觉焦点在大型显示界面上的坐标；
(2)手部运动跟踪模块，获取用户双手模型，根据其运动特征，实时检测用户的手部运动信息，并识别和区分不同的手势；
(3)融合视觉焦点和手部运动的目标交互模块，接收实时计算获得的视觉焦点坐标数据，以及检测到的手部运动信息及相关的手势，融合之后组成对应的交互指令，控制大型显示界面上的光标移动，具体提供光标稳定、二次选择，及相应的选择优化功能。
本发明实施例中各个模块可以集成于一体，也可以分离部署,或进一步拆分成多个子模块。各个模块可以按照实施例描述分布于实施例的系统中，也可以进行相应变化位于不同于本发明实施例的一个或多个系统中。
本领域的技术人员应该明白，本发明实施例可提供成为方法、系统、或计算机程序产品。
本发明实施例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明实施例不限制于任何特定的硬件和软件结合。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。