一种基于视线跟踪的跨设备分布式信息传输交互方法与流程

本发明涉及人机交互、视觉认知等领域，具体涉及一种基于视线跟踪的跨设备分布式信息传输交互方法。

背景技术：

随着电子科学技术的发展，人们使用的电子设备数量越来越多，在不同设备间传输信息的需求也变得日益频繁。而传统的人机交互都基于键盘和鼠标进行，这种方式笨拙且不自然。例如，在传统的跨设备信息传输过程中，用户需要通过繁琐的步骤完成传输对象的选择、传输目的地的确定等操作，工作效率低下。

利用视线跟踪技术可以让用户根据视线的停留和扫描来选择、触发电子设备屏幕上的图标、菜单等对象，并根据需要传输到其他设备屏幕上，是一种更加自然的交互方式，可以简化人机交互操作，提高效率。

技术实现要素：

本发明要克服现有技术的上述缺点，提供一种基于视线跟踪的跨设备分布式信息传输交互方法。该方法允许用户在分布式的跨设备交互环境中，使用视线在不同设备之间选取和传输信息，减少了常规跨设备交互方式的繁复步骤，为用户操作带来了便捷，提升了主观体验。

一种基于视线跟踪的跨设备分布式信息传输交互方法，包括如下步骤：

(1)建立数据传输机制，显示视线光标和信息对象；

(2)利用视线选取信息对象；

(3)利用视线传输信息对象；

(4)利用视线放置信息对象。

下面对上述步骤进行具体说明：

(1)建立数据传输机制，显示视线光标和信息对象。具体的，所有终端设备与视线跟踪设备之间建立数据传输机制，终端设备接收视线跟踪设备发送的视线跟踪数据，在终端设备屏幕上显示一个代表视线位置的视线光标以及将要处理的信息对象。

(2)利用视线选取信息对象。这里所指的选取操作具体包含下面两种方式：

选取方式1，视线光标随用户的视线运动相应移动到信息对象内，此时在信息对象四周出现加粗的边框，表明该信息对象处于“待选取”状态。在该状态下，用户使用其他输入方式，发出确认指令，完成信息对象的选取。具体的，利用其他输入方式发出的确认指令可以采用但不局限于下面列出的操作方式：

使用鼠标点击操作，鼠标的点击操作可以来自于交互系统内的任意一台终端设备；

使用键盘操作，键盘的操作可以来自于交互系统内的任意一台终端设备；

使用触摸屏点击操作，触摸屏的点击操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“选取”指令。

选取方式2，用户可以使用其他输入通道调整视线光标大小，然后使视线光标覆盖带多个需要选取的信息对象。如果这些信息对象被视线光标所覆盖区域面积占这些信息对象面积的百分比超过阈值K(可以设定，例如K＝50％)时则使这些信息对象四周边框加粗，表明这些信息对象处于“待选取”状态。在该状态下，用户使用其他输入通道，发出确认指令，完成对这些信息对象的选取。其中，利用其他输入方式调整视线光标大小，可以采用但不局限于下面列出的方式：

使用鼠标滚轮操作，向上滚动放大视线光标区域，向下滚动减小视线光标区域，操作可以来自于交互系统内的任意一台终端设备；

使用键盘按键操作，按下“+”键放大视线光标，按下“-”键缩小视线光标，操作可以来自于交互系统内的任意一台终端设备；

使用触摸屏多点触摸操作，大拇指和食指同时向外扩展则放大视线光标，大拇指和食指同时向内收缩则缩小视线光标，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“放大”指令则放大视线光标，说出“缩小”指令则减小视线光标。

其中利用其他输入方式发出确认信号指令，与选取方式1中描述的利用其他输入方式发出确认指令所采用的方式相同。

用户可以多次使用上述选取方式，以实现对不同终端设备屏幕上的信息对象，或者同一终端设备屏幕上的不同信息对象进行选取。

(3)利用视线传输信息对象。信息对象的传输方式包含移动和复制这两种操作。如果用户希望复制信息对象，则可以在选取信息对象时，使用其他输入通道发出复制指令；否则，就认为是对信息对象进行移动操作。其中，利用其他输入方式发出复制指令，可以采用但不局限于下面列出的方式：

使用鼠标左键单击操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下Ctrl键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏同时用两个手指进行点击操作，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“复制”指令。

当被选取的信息对象经过复制操作后，在选取的信息对象位置处，将出现出一个相同的新信息对象，并将其绑定在视线光标上，随用户视线移动而移动，如果用户视线从一个终端设备转移到另一个终端设备，则新的信息对象也将从一个设备移动到另一个设备上。

(4)利用视线放置信息对象。用户使用其他输入方式执行放置操作时，如果用户使用移动操作进行信息对象的传输，则将信息对象与视线光标解除绑定，信息对象被放置在当前视线注视设备的注视点位置上。如果用户使用复制操作进行信息对象的传输，则复制出一个新的信息对象在当前注视设备的注视点位置上，而原信息对象依旧与视线光标绑定，可继续跟随视线光标移动。如果用户多次使用其他输入方式发出放置指令，则可以进行多次复制操作。这里所述的利用其他输入方式发出放置指令可以采用但不局限于下面列出的方式：

使用鼠标右键单击操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下回车键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏多点触摸手势操作，例如三个手指向下滑动，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“放置”指令。

此外，在上述任何一个操作过程中，用户使用其他输入方式发出指令，可以取消信息对象的相关操作。其中其他输入方式发出的取消操作指令可以采用但不局限于下面列出的方式：

使用鼠标同时单击左键和右键操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下ESC键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏多点触摸手势操作，例如三指向上滑动操作，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“取消”指令。

本发明的优点是：允许用户在分布式的跨设备交互环境中，使用视线在不同设备之间选取和传输信息，减少了常规跨设备环境下手工交互方式的繁复步骤，为用户操作带来了便捷，提升了主观体验。

附图说明

图1是本发明一个实施例的流程图。

图2是本发明一个实施例的单个信息对象进行选取操作时终端设备屏幕上的显示效果。

图3是本发明一个实施例的多个信息对象进行选取操作时终端设备屏幕上的显示效果。

图4是本发明一个实施例的信息对象进行移动操作时终端设备屏幕上的显示效果。

图5是本发明一个实施例的信息对象进行复制操作时终端设备屏幕上的显示效果。

具体实施方式

下面将结合附图，对本发明一种基于视线跟踪的跨设备分布式信息传输交互方法进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，本发明实施例提供的一种基于视觉跟踪的跨设备分布式信息传输交互方法基本流程示意图，主要包括步骤：

(1)建立数据传输机制，显示视线光标和信息对象；

(2)利用视线选取信息对象；

(3)利用视线传输信息对象；

(4)利用视线放置信息对象。

下面对各个步骤进行详细描述：

步骤S101，建立数据传输机制，显示视线光标和信息对象。具体的，所有终端设备与视线跟踪设备之间建立数据传输机制，终端设备接收视线跟踪设备发送的视线跟踪数据，在终端设备屏幕上显示一个代表视线位置的视线光标以及将要处理的信息对象；

步骤S102，利用视线选取信息对象。具体的，当用户注视某个终端设备的屏幕时，该设备屏幕上将出现一个小圆点，称之为视线光标，它用于表示用户当前在设备屏幕上的注视点位置。用户可以通过移动视线来控制视线光标的移动。另外，本发明设计了以下2种选取信息对象的交互方式，其中选取交互方式1用于单个信息对象的选取，而选取交互方式2用于多个信息对象的同时选取。

选取交互方式1，如图2中的显示效果所示，黑色圆点201表示屏幕上的视线光标，矩形方块202表示可以被传输的信息对象。如果用户希望选取一个信息对象，则需要将视线光标201移动到对应的信息对象203上，此时在矩形四周出现加粗的边框，表明该信息对象处于“待选取”状态。在该状态下，用户使用其他输入方式，发出确认指令后，完成对该信息对象的选取。具体的，利用其他输入方式发出的确认指令可以采用但不局限于下面列出的操作方式：

使用鼠标点击操作，鼠标的点击操作可以来自于交互系统内的任意一台终端设备；

使用键盘操作，键盘的操作可以来自于交互系统内的任意一台终端设备；

使用触摸屏点击操作，触摸屏的点击操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“选取”指令。

选取交互方式2，如图3中的显示效果所示，黑色圆点201表示屏幕上的视线光标，矩形方块202表示可以被传输的信息对象。如果用户希望选择多个信息对象，则需要使用其他输入方式发出调整视线光标大小的指令，此时在视线光标201周围会出现一个圆形选取区域。用户移动视线到需要选取的多个信息对象204附近，使圆形选取区域覆盖这些多个信息对象204的大多数面积，如果这些信息对象被视线光标所覆盖区域面积占这些信息对象面积的百分比超过阈值K(可以设定，例如K＝50％)时，则使这些信息对象四周边框加粗，表明这些信息对象处于“待选取”状态。在该状态下，用户使用其他输入方式发出确认指令，完成对这些信息对象的选取。具体的，利用其他输入方式调整视线光标大小的命令可以采用但不局限于下面列出的操作方式：

使用鼠标滚轮操作，向上滚动放大视线光标区域，向下滚动减小视线光标区域，操作可以来自于交互系统内的任意一台终端设备；

使用键盘按键操作，按下“+”键放大视线光标，按下“-”键缩小视线光标，操作可以来自于交互系统内的任意一台终端设备；

使用触摸屏多点触摸操作，大拇指和食指同时向外扩展则放大视线光标，大拇指和食指同时向内收缩则缩小视线光标，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“放大”指令则放大视线光标，说出“缩小”指令则减小视线光标。

其中利用其他输入方式发出确认信号指令，与选取方式1中描述的利用其他输入方式发出确认指令所采用的方式相同。

用户可以多次使用上述选取方式，以实现对不同终端设备屏幕上的信息对象，或者同一终端设备屏幕上的不同信息对象进行选取。

步骤S103，选择信息对象传输方式。具体的，完成信息对象的选取操作后，将判断信息对象的传输操作方式。默认的传输方式采取移动操作，即在选取操作完成后，信息对象将被绑定到视线光标上，随着视线光标的移动而移动。如果用户在选取操作的同时，采用其他输入方式发出复制指令，则将使用复制操作方式进行传输。其中，利用其他输入方式发出复制指令，可以采用但不局限于下面列出的方式：

使用鼠标左键单击操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下Ctrl键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏同时用两个手指进行点击操作，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“复制”指令。

当被选取的信息对象经过复制操作后，在选取的信息对象位置处，将出现出一个相同的新信息对象，并将其绑定在视线光标上，随用户视线移动而移动，如果用户视线从一个终端设备转移到另一个终端设备，则新的信息对象也将从一个设备移动到另一个设备上。

图4是本发明一个实施例的信息对象进行移动操作时终端设备屏幕上的显示效果。被选取的信息对象301将被绑定在视线光标上，当视线光标移动到新位置302处时，被选取的信息对象301也将移动到新位置302处。

图5是本发明一个实施例的信息对象进行复制操作时终端设备屏幕上的显示效果。复制操作过程中，原来被选取的信息对象401处将产生一个相同的新信息对象，该信息对象将被绑定在视线光标上，当视线光标移动到新位置402处时，该信息对象也将移动到新位置402处。

步骤S104，利用视线放置信息对象。具体的，当信息对象被绑定到视线光标上后，用户通过移动视线选择信息对象需要被放置的终端设备屏幕上的特定区域。如果用户视线移出某个终端设备屏幕时，该终端设备上的视线光标和绑定的信息对象将从这个终端设备屏幕上消失，直到用户视线移入到另一个终端设备屏幕上时，才会再次显示视线光标和绑定的信息对象。进一步，用户可以利用视线调整信息对象在该终端设备屏幕上的放置位置。当用户确定放置位置时，利用其他输入方式发出放置指令。用户使用其他输入方式执行放置操作时，如果用户使用移动操作进行信息对象的传输，则将信息对象与视线光标解除绑定，信息对象被放置在当前视线注视设备的注视点位置上。如果用户使用复制操作进行信息对象的传输，则复制出一个新的信息对象在当前注视设备的注视点位置上，而原信息对象依旧与视线光标绑定，可继续跟随视线光标移动。如果用户多次使用其他输入方式发出放置指令，则可以进行多次复制操作。这里所述的利用其他输入方式发出放置指令可以采用但不局限于下面列出的方式：

使用鼠标右键单击操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下回车键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏多点触摸手势操作，例如三个手指向下滑动，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“放置”指令。

此外，在上述任何一个操作过程中，用户使用其他输入方式发出指令，可以取消信息对象的相关操作。其中其他输入方式发出的取消操作指令可以采用但不局限于下面列出的方式：

使用鼠标同时单击左键和右键操作，操作可以来自于交互系统内的任意一台终端设备。

使用键盘按下ESC键操作，操作可以来自于交互系统内的任意一台终端设备。

使用触摸屏多点触摸手势操作，例如三指向上滑动操作，操作可以来自于交互系统内的任意一台终端设备。

使用语音输入操作，例如说出“取消”指令。

本领域的技术人员应该明白，本发明实施例可提供成为方法、系统、或计算机程序产品。本发明实施例的各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明实施例不限制于任何特定的硬件和软件结合。

以上公开的仅为本发明的具体实施例，但是本发明并非局限于此，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。显然这些改动和变型均应属于本发明要求的保护范围保护内。