使用注视信息与计算设备交互的系统和方法与流程

本申请要求于2017年9月21日提交的名称为“使用注视信息与计算设备交互的系统和方法”的临时申请号62/561,585的优先权，该临时申请已转让给本申请的受让人，并且通过引用明确地全部并入本文。

本公开大体上涉及与计算设备交互的系统和方法，并且具体地，涉及使用注视信息与计算设备交互的系统和方法。

背景技术：

与计算设备的交互是当今世界的基本活动。从日常生活中可以发现从个人计算机到移动设备、可佩戴耳机、再到智能手表的计算设备。用于与这些设备交互的系统和方法定义了它们如何使用以及它们的用途。

传统上，计算设备已经使用基于“接触”的交互技术进行交互。例如，计算机鼠标、键盘和触摸屏都可以被认为是基于接触的输入技术，因为它们需要用户物理地接触某些东西以与计算设备交互。

最近，眼睛跟踪技术的进步使得可以使用人的注视信息与计算设备交互。换句话说，用户正在注视的显示器上的位置。该信息可以单独用于交互，或者与基于接触的交互技术结合使用。

先前提出的使用注视信息的交互技术可以在美国专利6,204,828、美国专利申请20130169560、美国专利7,113,170、美国专利申请20140247232和美国专利9,619,020中找到。这些专利和申请的完整说明书在本文引入作为参考。

基于注视的交互技术提供优于传统的仅接触交互技术的优点，因为人的注视比移动身体肢体更快，并且仅通过观察某事物就可以使用注视容易地传达意图。

本公开试图提供使用注视信息与计算设备交互的新的和改进的系统和方法。

技术实现要素：

因此，本公开的目的是提供使用注视信息与计算设备交互的改进的系统和方法。根据说明书和权利要求以及附图，本公开的这个和其他目的将变得显而易见。

根据本公开，提供了一种使用注视信息与计算设备交互的系统和方法。其中，系统包含显示器、眼睛跟踪器和用于改变或以其他方式控制显示器内容的处理器。

眼睛跟踪器是能够在显示器上接近用户的注视位置的设备。任何形式的眼睛跟踪器都足以满足本公开，然而眼睛跟踪器的常见形式是基于图像的红外系统。在这样的系统中，红外照射被引向用户的一个或多个眼睛，然后图像被一个或多个眼睛捕获，并且基于用户的瞳孔和红外照射的反射，眼睛跟踪器(或连接到眼睛跟踪器的计算设备)可以接近用户的注视方向。眼睛跟踪器的形式不是本公开的主题。

附图说明

通过参考以下附图可以实现对各种实施例的本质和优点的进一步理解。

图1示出了根据本公开的实施例的眼睛跟踪系统。

图2示出了根据本公开的实施例的由图像传感器捕获的眼睛的图像的示例。

图3示出了根据本公开的实施例的专用计算机系统的框图。

图4示出了根据本公开的实施例的用于基于注视信息管理通信的计算机系统。

图5示出了根据本公开的实施例的基于注视信息的由第一计算设备实现的与第二计算设备通信的流程。

图6示出了根据本公开的实施例的用于基于注视信息管理通信的流程。

图7示出了根据本公开的实施例的用于基于注视信息管理内容的呈现的计算机系统。

图8示出了根据本公开的实施例的基于注视信息的由第一计算设备实现来管理内容的呈现的流程。

图9示出了根据本公开的实施例的用于管理基于注视信息管理内容的呈现的流程。

具体实施方式

远程共享

根据本公开的第一方面，提供了一种用于共享信息的方法，其中两个或更多个用户正在使用单独的计算设备。每个计算设备配备有根据本公开的眼睛跟踪器。

在每个用户的显示器上提供位置，其中当用户都注视同一地点时，可以共享信息。这是使用近似以下的方法实现的，其中用户1正在与计算机1交互，并且用户2正在与计算机2交互：

1、计算机1在其显示器上显示指定的共享位置。

2、计算机2在其显示器上显示指定的共享位置。

3、用户1注视计算机1上指定的共享位置。

4、用户1试图通过将信息移动到指定的共享位置(或另一预定位置)来共享信息。这种信息共享可以使用传统的“拖放”运动进行，借此诸如文件或文档的信息使用接触输入法横跨显示器移动，并且通过在所需位置释放接触输入法而“放下”。

5、如果用户2注视计算机2上的指定共享位置，则该信息从计算机1发送到计算机2。

6、如果用户2没有注视计算机2上的指定共享位置，则该信息不会从计算机1发送到计算机2。

指定的共享位置在两个计算设备上可以是相同的，或者可以是不同的。它可以由图形标记指示，或者它可以是不可见的位置。另外，使用本公开的这个方面，任何数量的计算设备和用户可以进行交互。

在进一步的改进中，仅用户2注视指定的共享位置以便接受信息的发送就足够了。用户1注视指定的共享位置并且能够在发送信息期间将视线移开这就足够了。

出现窗口

根据本公开的第二方面，提供了一种显示器上的位置，其基于一个或多个用户是否出现于计算设备的前面而改变。

用户的出现优选地由眼睛跟踪器确定。

当确定第一用户出现在第一计算设备之前，并且同时确定第二用户出现在第二计算设备之前时，可以改变显示在显示器上的信息。例如，特定窗口或区域可能显现在显示器上，或者显示器上现有项目的属性(例如亮度或颜色)可能会改变。此外，或者可选地，可能听到可听的或其他反馈。该窗口可以用于基于文本或视频的聊天、发送和接收文件、共享信息或计算设备上可能的任何其他内容。

头部位置相机

根据本公开的第三方面，提供了一种用于第一用户来控制由第二用户使用的计算设备的相机的系统和方法。

根据该方面，第一用户移动他或她的头部以便控制由第二用户使用的计算设备的相机。

作为示例，考虑两个用户正在进行视频呼叫的场景。第一计算设备上的第一用户移动他或她的头部，并且改变由第二用户的第二计算设备发送的图像。例如，第一用户可以将他们的头部向右倾斜，使得从第二计算设备发送的图像的立体图向左移动，反之亦然。

在进一步的改进中，图像的改变可以基于注视方向而不是头部方向。

如本领域技术人员容易理解的，可以通过相机的物理操纵或通过处理由摄像机捕获的图像来实现所发送的图像的改变。

眼睛激活的对话

根据本公开的第四方面，如结合图4至图6进一步描述的那样，提供了一种系统和方法，用于第一计算设备的第一用户使用注视作为通信的触发来与第二计算设备的第二用户通信。

根据本公开的该方面，用户的表征被显示在显示器上。每个表征表示使用计算设备的用户。优选地，这些用户彼此远离。

使用在显示器上具有至少一个其他用户的表征的第一计算设备的第一用户可以注视用户的表征。眼睛跟踪器或计算设备可以确定第一用户正在注视第二用户的表征。然后，第一用户可以通过注视第二用户的表征来向第二用户引导交互。

在进一步的改进中，可以向第二用户警告第一用户通过某种形式的视觉或听觉注视他们的表征的事实。

作为示例，第一用户可以注视第二用户的表征并说出话语。这些口头话语被发送到第二用户的计算设备并由连接到第二用户的计算设备的扬声器发出。作为口头话语的替代，可以使用文本通信、文件发送或任何其他形式的交互。

该通信可以简单地由第一用户注视第二用户的表征来发起，或者可选地，仅当两个用户都在他们的计算设备上注视他们的对方各自的表征时才可以发起该通信。

此外，第一用户可以访问指点设备。在一示例中，指点设备用于借助于指点设备将显示器上的文件或文档移动到第二用户的表征。在另一示例中，仅当另外在第一用户的注视方向指向第二用户的表征的时间段期间，由指点设备触发动作时，才将话语发送到第二用户的计算设备。指点设备可以是鼠标、指针、操纵杆或类似物。由指点设备触发的动作可以涉及按下按钮，执行特定动作或类似动作。

可以进行任何形式的通信，从口头、到文本、到视频、到文件的发送。

响应的肖像

根据本公开的第五方面，提供了一种用于在显示器上显示用户的表征的系统和方法，以响应另一用户的注视被引导到该表征。

在本公开的该方面，第二用户的表征被显示在第一用户的计算设备的显示器上。当第一个用户注视向该表征时，该表征作为响应而改变。

在进一步的改进中，第一用户的表征可以显示在第二用户的计算设备的显示器上，并且当两个用户都注视向他们的计算设备上的另一用户的表征时，表征可以进一步改变。

本说明书中对表征等的任何引用旨在包括可想到的任何形式的图形表征，包括但不限于照片表征、动画表征、卡通式表征、线条图表征、阴影式表征、或任何替代表征(例如动物或其他角色)。

对于本公开的这个方面，仅一个用户需要配备有眼睛跟踪器的计算设备。

一起观看

根据本公开的第六方面，如结合图7至图9进一步描述的，提供了一种用于多个用户在远程设备上同时查看内容的系统和方法。

根据本公开的该方面，第一计算设备的第一用户与第二计算设备的第二用户共享内容(例如视频、共享虚拟空间、音频、视频游戏图形、文本、多媒体页面等)。两个计算设备都配备有眼睛跟踪器，并且因此能够跟踪相对于计算设备的显示器的用户的注视。

两个计算设备基于他们相对于显示器的注视活动来同步两个用户正在查看相同的内容。

在进一步的改进中，内容可以由用户协作创建，例如共享绘图。以这种方式，每个用户可以创建绘图，如本领域技术人员将理解的，可以使用任何方式的传统的基于计算机的绘图方法，并且在协作绘图处理期间可以由其他用户使用用户的注视信息。

高能时刻(highlightreel)

根据本公开的第七方面，提供了一种用于在用户观看内容时确定用户对内容的反应的系统和方法。

根据本公开的该方面，当用户在配备有眼睛跟踪器的计算设备上观看例如视频的内容时，计算设备将用户对内容的特定部分的反应登记并记录该反应。

用户的反应可以基于注视，或者可以基于面部特征。

计算设备可以分析用户的反应以确定反应是积极、消极、中性等。对于本领域技术人员来说，各种程度的反应是显而易见的。

可以编译这些反应并将其添加到内容中，例如在视频的情况下，可以在用户对视频反应时，在视频下方添加用户反应的图形表征(例如用于积极反应的笑脸)。这些表征可以出现在视频中的任何位置，也可以单独出现在视频中。例如，用户的反应的图形表征可以出现在用户在视频上的注视位置，或者在预定时间段内出现在用户的平均注视位置。

代替图形表征，用户的反应可以简单地显示为由眼睛跟踪器记录的一种或多种实际图像、或视频。

用户反应可以进一步编译成他们自己的视频。

面对化身(facetoavatar)

根据本公开的第八方面，提供了一种用于将用户的面部表情转换为用户的图形表征的系统和方法。

根据本公开的该方面，基于由眼睛跟踪器捕获的图像来改变例如化身的用户的图形表征。这些图像可能包含例如面部表情和注视移动等项目。

图形表征可以改变以精确地或以夸大的方式匹配这些面部表情和/或注视移动。

图形表征可以是任何形式，包括但不限于照片表征、动画表征、卡通式表征，线条绘制表征，阴影式表征或任何替代表征(例如，动物或其他角色)。

在进一步的改进中，化身可以对用户的注视作出反应。例如，当用户注视显示器上的化身位置时，化身直接看回用户。此外，例如，如果用户注视化身的一侧，则化身也注视到侧面。

在进一步的改进中，可以看到化身在显示器上执行其自己的任务，或者根本没有任务，直到注视它为止。例如，化身可以是动画的，使得它看起来在移动，并且然后当用户的注视在图形表征上或附近时，对用户的注视做出反应。

协作存在

根据本公开的第九方面，提供了一种用于多个用户使用不同计算设备来相对于相同内容查看彼此的注视点的系统和方法。

根据该方面，具有眼睛跟踪器的第一计算设备上的第一用户观看内容，并且具有眼睛跟踪器的第二计算设备上的第二用户观看相同的内容。每个计算设备的眼睛跟踪器确定用户的注视方向，并且计算设备将该方向发送到另一计算设备。然后，另一计算设备在其显示器上显示注视方向。

以这种方式，第一用户可以看到第二用户注视与第一用户注视的相同内容。

这在多个用户正在查看或改变相同内容的协作环境中特别有益。

麦克风控制

在本公开的第十方面，提供了一种用于基于用户的注视来控制计算设备的麦克风或声音记录设备的系统和方法。

根据该方面，当用户注视向或接近预定区域时，启用计算设备的麦克风或声音记录设备。

预定区域可以在显示器上(例如图标或其他图形项目)，或者远离显示器(例如键盘、或计算机设备制造商的徽标)。

在进一步的改进中，可以仅在确定用户在计算设备前面时才启用麦克风或声音记录设备，在该改进中，不需要使用用户的注视方向。可以基于用户的注视方向、用户的面部特征、用户的头部位置或取向、或者由连接到计算设备的摄像机捕获的图像的任何其他分析来执行该存在的确定。

根据该方面，麦克风或其他声音记录设备可以仅被启用并且能够在用户期望它时捕获音频，或者在用户实际存在时，至少仅由计算设备时启用。当麦克风或录音设备启用时，它可以连续录制或发送音频，或者它可以间歇地录制或发送音频。

眼睛跟踪

图1示出了根据实施例的眼睛跟踪系统100(其也可以被称为注视跟踪系统)。系统100包括用于照射用户眼睛的照明器111和112，以及用于捕获用户眼睛的图像的光传感器113。照明器111和112可以例如是发射红外频带光或近红外频带光的发光二极管。光传感器113可以例如是相机，例如互补金属氧化物半导体(cmos)相机或电荷耦合器件(ccd)相机。

第一照明器111与光传感器113同轴(或靠近)布置，使得光传感器113可以捕获用户眼睛的明亮瞳孔图像。由于第一照明器111和光传感器113的同轴布置，从眼睛的视网膜反射的光通过瞳孔朝向光传感器113返回，使得瞳孔看起来比其中第一照明器111照射眼睛的图像中的所述瞳孔周围的虹膜更亮。第二照明器112与光传感器113非同轴地布置(或者远离光传感器113布置)，用于捕获暗瞳孔图像。由于第二照明器112和光传感器113的非同轴布置，从眼睛的视网膜反射的光不会到达光传感器113，并且瞳孔看起来比其中地儿照明器112照射眼睛的图像中的所述瞳孔周围的虹膜更亮。照明器111和112可以例如轮流照射眼睛，使得每个第二图像是亮瞳孔图像，并且每个第二图像是暗瞳孔图像。

眼睛跟踪系统100还包括用于处理由光传感器113捕获的图像的电路120(例如包括一个或多个处理器)。电路120可以例如通过有线或无线连接，连接到光学传感器113和照明器111和112。在另一个示例中，可以在光传感器113的光敏表面下方的一个或多个堆叠层中提供一个或多个处理器形式的电路120。

图2示出了由光传感器113捕获的眼睛200的图像的示例。电路120可以例如采用图像处理(例如数字图像处理)来提取图像中的特征。电路120可以例如采用瞳孔中心角膜反射(pccr)眼睛跟踪来确定眼睛200正在看的位置。在pccr眼睛跟踪中，处理器120估计瞳孔210的中心的位置和眼睛200处的闪烁220的中心的位置。闪烁220由来自照明器111和112之一的光的反射引起。处理器120使用闪烁220计算用户在空间中的位置以及使用瞳孔210计算用户的眼睛200指向的位置。由于眼睛200的光学中心与中央凹之间通常存在偏移，因此处理器120执行校准中央凹偏移量以便能够确定用户正在寻找的位置。然后可以组合从左眼和右眼获得的注视方向以形成组合的估计注视方向(或观察方向)。如下所述，在形成该组合时，许多不同的因素可能影响左眼和右眼的注视方向应如何相对于彼此加权。

在参考图1描述的实施例中，照明器111和112布置在眼睛跟踪模块110中，所述眼睛跟踪模块110放置在用户观看的显示器下方。这种安排仅作为示例。应当理解，可以采用或更多或更少的任何数量的照明器和光传感器用于眼睛跟踪，并且这种照明器和光传感器可以相对于由用户观看的显示器以许多不同的方式分布。应当理解，本公开中描述的眼睛跟踪方案可以例如用于远程眼睛跟踪(例如，在个人计算机、智能电话、或集成在车辆中)或用于可穿戴眼睛跟踪(例如在虚拟现实眼镜或增强现实眼镜中)。

其他

本领域技术人员认识到，本公开绝不限于上述优选实施例。相反，在所附权利要求的范围内可以进行许多修改和变化。例如，本领域技术人员认识到，本文描述的眼睛/注视跟踪方法可以由许多其他眼睛/注视跟踪系统执行，而不是图1中所示的示例眼睛/注视跟踪系统100。例如，使用多个照明器和多个摄像机。

另外，通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的公开内容时，可以理解和实现对所公开实施例的变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。本公开中提到的功能单元之间的任务划分不一定对应于划分为物理单元；相反，一个物理组件可以具有多个功能，并且一个任务可以通过协作的若干物理组件以分布式方式执行。计算机程序可以存储/分布在合适的非暂时性介质上，例如光学存储介质或与其他硬件一起提供或作为其他硬件的一部分提供的固态介质，但也可以以其他形式分布，例如通过因特网或其他有线或无线电信系统。在相互不同的从属权利要求中陈述某些程度/特征的仅有事实并不表示这些程度/特征的组合不能用于获益。除非明确描述需要某个顺序，否则方法步骤不一定按照它们在权利要求中或在本文所述的实施例中出现的顺序执行。权利要求中的任何附图标记不应被解释为限制范围。

专用计算机系统

图3是示出可以实现本公开的实施例的专用计算机系统300的框图。该示例示出了专用计算机系统300，例如可以全部、部分或具有各种修改来被使用，以提供本文描述的组件的功能。

专用计算机系统300被示出为包括可以经由总线390电连接的硬件元件。硬件元件可以包括一个或多个中央处理单元310、一个或多个输入设备320(例如，鼠标、键盘、眼睛跟踪设备等)、以及一个或多个输出设备330(例如，显示设备、打印机等)。专用计算机系统300还可以包括一个或多个存储设备340。作为示例，一个或多个存储设备340可以是磁盘驱动器、光学存储设备、例如随机存取存储器(“ram”)的固态存储设备和/或只读存储器(“rom”)，其可以是可编程的，可闪存更新的和/或类似物。

专用计算机系统300还可以包括计算机可读存储介质读取器350、通信系统360(例如，调制解调器、网卡(无线或有线)、红外通信设备、蓝牙^tm设备、蜂窝通信设备等)、以及工作存储器380，其可以包括如上所述的ram和rom设备。在一些实施例中，专用计算机系统300还可以包括处理加速单元370，其可以包括数字信号处理器、专用处理器和/或类似物。

计算机可读存储介质读取器350还可以连接到计算机可读存储介质，并且(可选地，与一个或多个存储设备340结合)全面地表示远程、本地、固定和/或可移除存储设备加上用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统360可以允许数据与上述网络、系统、计算机和/或其他组件交换。

专用计算机系统300还可以包括软件元件，示出为当前位于工作存储器380内，包括操作系统384和/或其他代码388。应当理解，专用计算机系统300的备选实施例可以具有与上述不同的多个变化。例如，也可以使用定制硬件和/或可以在硬件、软件(包括便携式软件，例如小应用程序)或两者中实现特定元件。此外，还可能发生与例如网络输入/输出和数据获取设备的其他计算设备的连接。

专用计算机系统300的软件可以包括代码388，用于实现如本文所述的架构的各种元件的任何或全部功能。例如，存储在例如专用计算机系统300的专用计算机系统上的软件和/或由例如专用计算机系统300的专用计算机系统执行的软件可以提供本公开的组件的功能，例如上面讨论的那些。上面已经更详细地讨论了可以在一些这些组件上通过软件实现的方法。

在整个该文献中，已经参考了“眼睛跟踪器”或类似物。尽管已经参考眼睛或注视跟踪描述了本公开，但是本公开旨在利用任何形式的基于图像的捕获系统。例如，“眼睛跟踪器”不一定需要确定用户的注视方向，而是可以仅确定用户的面部特征、表达或甚至仅仅确定用户是否存在于计算设备的前面。

对“计算设备”或类似物的任何引用旨在包括从基于桌面的个人计算到例如虚拟现实或增强现实耳机的可穿戴设备，到例如移动电话或平板计算机的便携式设备的任何形式的计算。

对“显示器”或类似物的任何引用旨在包括任何形式的显示器，例如头戴式显示器、虚拟现实显示器、增强现实显示器或其组合。

眼睛激活的对话

图4至图6示出了用于眼睛激活对话的示例实施例。在示例中，用户操作计算设备以进行通信。用户的注视信息可用于触发和管理通信。

图4示出了根据本公开的实施例的用于基于注视信息管理通信的计算机系统。如图所示，计算机系统包括第一用户410的第一计算设备420和第二用户460的第二计算设备470。第一计算设备420和第二计算设备470通过数据网络通信地连接(未在图4中示出)，例如因特网或局域网，以交换通信信息。通信信息的交换，包括用于开始和结束通信信息的发送的触发以及关于通信的警报，可以取决于第一用户410和/或第二用户460的注视。

可选地，计算机系统还包括管理计算设备420和470之间的通信的某些方面的通信服务器450。本文下面进一步描述通信服务器450的使用，并且其操作在图7中进一步示出。

在示例中，第一计算设备420包括用于接收第一用户410的输入并与第二计算设备470通信的多个计算组件，例如处理器、存储器、显示器(在图4中示出为显示器426)、输入/输出(i/o)接口、网络接口和其他计算组件。例如，第一计算设备420可以是移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴设备(例如，虚拟现实设备、增强现实设备，在这种情况下，显示器426是头戴式显示器)或任何其他合适的用户设备。另外，第一计算设备420包括(例如，与其集成或接口的)眼睛跟踪设备422，其具有与图1的眼睛跟踪系统100类似的组件。眼睛跟踪设备422用于在显示器426上跟踪第一用户410的注视424并相应地生成注视信息。除了其他数据之外，注视信息包括注视424的注视方向。

在示例中，第一计算设备420执行便于与第二计算设备470交换通信信息的通信应用。通信应用可以支持文本数据、音频数据、图像数据、视频数据、文件、文档、可执行代码或其他数字通信数据的交换(取决于输入设备，如下文所述)。

作为支持通信的一部分，通信应用可以在显示器426上显示第二用户460的表征430(例如，在显示器426上呈现的图形用户界面(gui)中)。表征可以是表示第二用户460的静态图形对象，例如图像或化身，或者可以是动态图形对象，例如第二用户460的直播视频，其中直播视频通过数据网络被接收为来自第二计算设备470的视频流。通常，通信应用程序在显示器426的gui上的特定位置处呈现表征430，并维护表征430的位置信息(例如，像素坐标)。

通信应用还可以基于应用编程接口(api)与眼睛跟踪设备422(或由眼睛跟踪设备422执行的眼睛跟踪应用)交互。因此，通信应用可以从眼睛跟踪设备422接收某些注视信息，包括例如相对于显示器426的注视方向和/或位置(注视位置在图4中示出为显示器426上的位置422)。基于关于第一用户410的注视424的信息和第二用户470的相对于显示器416的表征430的位置信息，眼睛跟踪设备422可以确定第一用户410的注视方向是否被指示第二用户470的表征430(或类似地，注视位置422是否在表征430内或附近)。或者，通信应用可以将表征430的位置信息发送到眼睛跟踪设备422，眼睛跟踪设备422可以通过确定进行响应。该确定可以用于触发通信的开始和结束以及警告第二用户470。在下文中，描述了注视方向的使用。注视位置422是否在表征430内或附近，可以被类似地使用(例如，如果注视位置422在表征43内或附近，则通信开始)。

在示例中，如果第一用户410的注视方向指向第二用户470的表征430，则通信开始。一旦开始，如果第一用户410的注视方向不再指向第二用户470的表征430，则通信结束。

另外，在确定第一用户410的注视方向指向表征430时，通信应用可以向第二计算设备470发送关于该确定的警报。反过来，第二计算设备470可以向第二用户460呈现关于第一用户410注视的图形和/或听觉警报(例如，经由在那里执行的通信应用)。类似地，在确定第一用户410的注视方向时不再被引导到表征430，通信应用可以向第二计算设备470发送关于该确定的更新。反过来，第二计算设备470可以向第二用户460呈现关于第一用户410注视的改变的图形和/或听觉警报(例如，经由在那里执行的通信应用)。

此外，上述关于通信的触发和/或警报还可以以第二用户470的注视为条件(例如，第二用户470的注视方向或类似地，注视位置)。特别地，第二计算设备470可以包括与第一计算设备420的计算组件类似的计算组件，包括眼睛跟踪设备和通信应用。因此，第二计算设备420可以在第二计算设备420的显示器上呈现第一用户410的表征，在该显示器420上跟踪第二用户460的注视，并确定第二用户460的注视方向是否指向第一用户410的表征。关于该确定的信息(例如，诸如设置为“1”的标志以指示第二用户460的注视方向指向第一用户410的表征，否则设置为“0”)可以从第二计算设备470发送到第一计算设备410。反过来，第一计算设备420仅在两个用户都具有指向每个的相应表征的注视方向时，才与第二计算设备470交换通信信息。

此外，第一计算设备420包括(例如，集成有或接口连接有)诸如麦克风，键盘，相机，摄像机或指点设备中的一个或多个的输入设备440。与第二计算设备470的通信类型取决于输入设备的类型。例如，如果输入设备440是麦克风，则通信包括的通信数据是由麦克风生成的语音数据。如果输入设备440是键盘，则通信包括的通信数据是由键盘生成的文本数据。如果输入设备440是相机，则通信包括的通信数据是由相机生成的图像。如果输入设备440是摄像机，则通信包括的通信数据是由摄像机生成的视频。

如果输入设备440是指点设备，则通信包括的通信数据是借助于指点设备已经在显示器426上移动到第二用户470的表征430的文件或文档。另外，通信数据包括指点设备的位置。此外，第一计算设备可以配置成仅在如果在第一用户410的注视方向指向第二用户460的表征430期间，由指点设备另外触发动作时，才将通信数据发送到第二计算设备470。

如图4所示，通信服务器450可以用于管理第一用户设备420和第二用户设备470之间的通信的某些方面。具体地，通信服务器450可以从计算设备420，470接收管理信息452和通信信息454。通常，管理信息452用于管理通信信息454的交换(包括上面描述的任何数字通信数据)。可以是不同类型的管理信息。

在一个示例中，从第一计算设备420接收的管理信息包括第一用户410的注视方向(或类似地，注视位置)是否指向第二用户460的表征430的确定。同样，从第二计算设备470接收的管理信息可以包括相应的确定。基于一个或两个确定(例如，一个用户注视指向或注视着另一个用户的表征，或者两个用户都注视着这种表征)，通信服务器450可以在两个计算设备420和470之间的发送通信信息454。

在另一个实施例中，从第一计算设备420接收的管理信息包括第一用户410的注视信息和第二用户460的表征430的位置信息。然后，通信服务器450可以执行第一用户410的注视方向(或类似地，注视位置)是否指向第二用户460的表征430的确定。同样，从第二计算设备470接收的管理信息可包括相应的注视和位置信息，使得通信服务器450对第二用户460执行类似的确定。基于一个或两个确定(例如，用户之一正注视指向或注视着另一个的表征或两个用户都注视着这种表征)，通信服务器450可以在两个计算设备420和470之间传送通信信息454。

在上述实施例中，也可以实现通信数据的定向流动。例如，如果(例如，通过第一计算设备420或通信服务器450)确定第一用户410的注视方向指向第二用户470的表征430，且(例如，通过第二计算设备470或通信服务器450)确定第二用户460的注视没有指向第一用户410的表征，通信数据可以从第一用户410从第一计算设备420流动到第二计算设备470，但不是反向流动。

图5示出了根据本发明的一个实施例的由第一计算设备实现的基于注视信息与第二计算设备通信的流程。第一计算设备，例如图4的第一计算设备420描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该计算设备的非易失性计算机可读介质上。在存储时，指令表示可编程模块，其包括可由计算设备的处理器执行的代码或数据。这些指令的执行将计算设备配置为执行图5中所示的并在此描述的特定操作。与处理器组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是可以理解，并不需要特定顺序，而且可以省略，跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图5的示例流程描述了注视方向的使用。尽管如此，可以通过附加地或替代地使用注视位置类似地执行示例流程。

如图所示，图5的示例流程开始于操作502，其中第一计算设备捕获第一计算设备的第一用户的注视方向。在示例中，通过使用眼睛跟踪设备捕获注视方向。具体地，眼睛跟踪设备在第一计算设备的显示器上生成与第一用户的注视有关的注视信息。注视信息包括注视方向。

在操作504中，第一计算设备在第一计算设备的显示器上显示第二用户的表征。在示例中，表征呈现在显示器的gui上，且第一计算设备跟踪表征的显示位置。

在操作506中，第一计算设备从第一用户接收由输入设备生成的通信数据。在示例中，第一用户操作输入设备并在该处提供输入。输入可以包括文本，语音，图像，视频，文件选择，文件相关操作或任何其他用户输入，这取决于输入设备的类型。

在操作508中，第一计算设备确定第一用户的注视方向是否指向第二用户的表征。在示例中，第一计算设备将注视方向与表征的显示位置进行比较以进行该确定。

在操作510中，第一计算设备从第二计算设备接收关于第二用户的注视方向是否指向第二计算设备的显示器上的第一用户的表征的信息。在示例中，第二计算设备可以类似地显示第一用户的表征，跟踪第二用户的注视，并确定第二用户的注视方向是否指向该表征，相应地生成信息，并通过数据网络将该信息发送到第一计算设备。

在操作512中，第一计算设备基于一个或两个注视方向(例如，在操作508中确定的第一用户的第一注视方向和在操作510中确定的第二用户的第二注视方向)来管理通信数据向第二计算设备的发送。可以进行不同类型的管理。在一个示例中，管理仅取决于第一注视方向。在该示例中，如果第一用户的注视方向指向第二用户的表征，则第一计算设备将通信数据发送到第二计算设备。在另一示例中，管理还取决于第二注视方向。在该示例中，仅在第一用户的注视方向指向第二用户的表征且第二用户的注视方向指向第一用户的表征时，第一计算设备才将通信数据发送到第二计算设备。

图6示出了根据本发明的一个实施例的用于基于注视信息管理通信的流程。通信服务器，例如图4的通信服务器450，描述为执行该流程的操作。用于执行操作的指令可以作为计算机可读指令存储在通信服务器的非易失性计算机可读介质上。在存储时，指令表示可编程模块，可编程模块包括可由通信服务器的处理器执行的代码或数据。这些指令的执行将通信服务器配置为执行图6中所示的并在此描述的特定操作。与处理器组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是可以理解，并不需要特定顺序，而且可以省略，跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图6的示例流程描述了注视方向的使用。尽管如此，可以通过附加地或替代地使用注视位置类似地执行示例流程。

如图所示，图6的示例流程开始于操作602，其中通信服务器从第一计算设备接收第一管理信息。在第一示例中，第一管理信息包括关于由第一计算设备执行的第一计算设备的第一用户的第一注视方向是否指向第二用户的第二表征的确定的信息。其中第二表征呈现在第一计算设备的第一显示器上。在第二示例中，第一管理信息包括第一注视方向和第二表征的显示位置。

在操作604中，通信服务器确定第一注视方向是否指向第二表征。这个确定可以取决于所接收的管理信息的类型。在上面的第一示例中，通信服务器可以从管理信息中提取第一计算设备的确定。在上面的第二示例中，通信服务器可以通过将第一注视方向与显示位置进行比较来执行该确定。

在操作606中，通信服务器从第二计算设备接收第二管理信息。除了管理信息由第二计算设备生成和发送之外，该操作类似于操作604。具体地，基于第二用户的第二注视方向和第一用户的第一表征生成第二管理信息，其中第一表征呈现在第二计算设备的显示器上。

在操作608中，通信服务器确定第二注视方向是否指向第一表征。除了基于第二管理信息来执行确定之外，该操作类似于操作606。

在操作610中，通信服务器基于第一注视方向和/或第二注视方向来管理第一计算设备和第二计算设备之间的通信数据的交换。可以进行不同类型的通信管理。在一个示例中，管理仅取决于第一注视方向。在该示例中，通信服务器从第一计算设备接收第一通信数据，并从第二计算设备接收第二通信数据。如果第一用户的第一注视方向指向第二用户的第二表征，通信服务器则将第一通信数据发送到第二计算设备，并将第二通信数据发送到第一计算设备。在另一示例中，管理还取决于第二注视方向。在该示例中，仅在第一用户的第一注视方向指向第二用户的第二表征且第二用户的第二注视方向指向第一用户的第一表征时，第一计算设备才将第一通信数据发送到第二计算设备且第二计算设备才将第二通信数据发送到第一计算设备。

一起观看

图7-9示出了用于在远程设备上同时查看内容的示例实施例。在示例中，用户操作计算设备以查看相同内容的实例。用户的注视信息可用于管理内容(包括例如内容的同步)的呈现，使得同一片段内容同时呈现在多个计算设备的显示器上。

图7示出了根据本发明的一个实施例的用于基于注视信息管理内容的呈现的计算机系统。如图所示，计算机系统包括第一用户710的第一计算设备720和第二用户760的第二计算设备770。第一计算设备720和第二计算设备770通过诸如因特网或局域网的数据网络(未在图7中示出)通信连接，以交换可用于管理内容呈现的数据。计算设备720和770中的每一个向相应的用户呈现内容。该内容在计算设备720和770处是相同的，且基于注视信息进行同步，使得同一片段内容由计算设备720和770同时呈现。

可选地，计算机系统还包括同步服务器750，其管理内容在计算设备720和770处的呈现的某些方面。下面进一步描述同步服务器750的使用，而且同步服务器750的操作在图9中进一步示出。

在一个示例中，第一用户710操作第一计算设备720以与第二用户760共享诸如视频，共享虚拟空间，音频，视频游戏图形，文本，多媒体页面，协作绘图等的内容730，其中共享的内容t也呈现在第二计算设备770上。由第二计算设备呈现的内容在图7中示出为内容730'示出，以表示由第一计算设备呈现的内容730和由第二计算设备呈现的内容730'是相同的并且是同步的(例如，是相同内容的实例，且在每个计算设备上的呈现用于同一片段内容)。计算设备720和770都配备有眼睛跟踪器，因此能够跟踪用户相对于他们各自的显示器的注视。

例如，第一计算设备720包括多个计算组件，例如处理器，存储器，显示器(在图7中示出为显示器726)，输入/输出(i/o)接口，网络接口和其他计算组件的，用于接收第一用户710的输入并与第二计算设备770通信。例如，第一计算设备720可以是移动设备，平板计算机，膝上型计算机，台式计算机，可穿戴设备(例如，虚拟现实设备，增强现实设备；在这种情况下，显示器726是头戴式显示器或任何其他合适的用户设备)。另外，第一计算设备720包括(例如，集成有或接口连接有)眼睛跟踪设备722，该眼睛跟踪设备722具有与图1的眼睛跟踪系统100类似的组件。眼睛追踪设备722用于跟踪第一用户710在显示器726上的注视724并相应地生成注视信息。除了其他数据之外，注视信息包括注视724的注视方向。

在一个示例中，第一计算设备720执行内容应用，以便于在显示器726上呈现内容730以及内容730的呈现与相同内容730'(例如，共享内容)通过第二计算设备770的呈现的同步。

内容应用还可以基于应用编程接口(api)与眼睛跟踪设备722(或由眼睛跟踪设备722执行的眼睛跟踪应用)对接。因此，内容应用可以从眼睛跟踪设备722接收某些注视信息，注视信息包括例如注视方向和/或相对于显示器726的位置(注视位置在图7中的显示器726上示出为位置722)。

基于注视方向和/或注视位置722，第一计算设备720的内容应用确定第一用户710的注视方向是否指向显示器726和/或落在显示器内(或在呈现内容730的gui内)。

第二计算设备770可以包括类似的诸如显示器，眼睛跟踪设备和内容应用的计算组件。因此，第二计算设备770的该内容应用接收关于第二用户760的注视772的注视信息，该注视信息包括相对于显示器770的第二用户760的注视方向和/或注视位置774。基于第二用户760的注视方向和/或注视位置774，第二计算设备770的内容应用确定第二用户760的注视方向是否指向显示器和/或落在第二计算设备的显示器内(或在呈现内容730'的gui内)。用户710和720相对于相应显示器的注视方向对于同步的内容呈现不需要相同。同样地，用户710和720在相应显示器上的注视位置722和774对于同步内容呈现不需要相同。

在一个示例中，两个计算设备720和770同步它们的内容呈现，使得用户710和760都基于各自相对于显示器的注视活动来查看同一片段内容。为此，在确定第一用户710的注视方向是否指向显示器726时，第一计算设备720通过数据网络向第二计算设备770发送该确定的指示(例如，标志设置为“1”以指示注视方向指向显示器726，否则设置为“0”)。类似地，在确定第二用户720的注视方向是否指向第二计算设备770的显示器时，第二计算设备770通过数据网络向第一计算设备720发送该确定的指示(例如，标志设置为“1”以指示注视方向指向第二计算设备770的显示器，否则设置为“0”)。

通过使用注视指示来同步内容呈现。例如，第一计算设备720在第一计算设备720确定第一用户710的注视方向指向显示器且从第二计算设备770接收的注视指示表明第二用户的760注视方向指向第二计算设备770的显示器时，持续更新内容730(例如，继续播放视频)。同样，第二计算设备770在第二计算设备770确定第二用户的760注视方向指向第二计算设备770的显示器，且从第一计算设备720接收的注视指示表明第一用户710注视方向指向显示器726时持续更新内容730'(例如，继续播放视频)。如果不满足任一条件(例如，用户710和760中的一个未注视着相应的显示器)在图70中没有注视到相应的显示器)，在计算设备720和770处同时暂停内容呈现。

因此，如果第一用户710注视离开显示器726(例如，注视方向不再指向显示器726)，则第一计算设备720暂停内容730的呈现并通过数据网络向第二计算设备770发送注视方向改变的指示(例如，将标志更新为“0”并发送更新)。在接收到该更新时，第二计算设备770也暂停内容730'的呈现。假设第二用户760的注视方向没有改变且仍然指向第二计算设备770的显示器，在第一用户710的注视变回为指向显示器726时，第一计算设备720取消暂停(例如，恢复)内容730的呈现并将关于注视方向的另一更新(例如，将标志重置为“1”)发送到第二计算设备770。因此，第二计算设备770也取消暂停内容730'的呈现。相反的情况同样是可能的，其中第二计算设备基于第二用户760相对于第二计算设备770的显示器的注视的改变而将更新发送到第一计算设备720。

如图7所示，同步服务器750可以用于管理第一用户设备720和第二用户设备770之间的内容同步的某些方面。具体地，同步服务器750可以从计算设备720和770接收管理信息752，并作作为响应，将同步信息754发送到计算设备720和770。通常，管理信息752用于控制应该在计算设备720和770上呈现的内容以及呈现的时间。

在一个示例中，从第一计算设备720接收的管理信息包括第一用户710的注视方向(或类似地，注视位置)是否指向显示器726的确定。同样的，从第二计算设备770接收的管理信息可以包括相应的确定。基于两个确定，同步服务器750可以将同步信息754发送到两个计算设备720和770。例如，如果两个确定都表明两个用户710和760正注视着对应的显示器，则同步信息754包括用于同时由第一计算设备710呈现内容730且由第二计算设备770呈现内容730’的指令。否则，同步信息754包括用于同时暂停第一计算设备710对内容730的呈现以及第二计算设备770对内容730'的呈现的指令。

图8示出了根据本发明的一个实施例的由第一计算设备实现的用于基于注视信息管理内容的呈现的流程。第一计算设备，例如图7的第一计算设备720，描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在该计算设备的非易失性计算机可读介质上。在存储时，指令表示可编程模块，其包括可由计算设备的一个或多个处理器执行的代码或数据。这些指令的执行将计算设备配置为执行图8中所示的并在此描述的特定操作。与处理器组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应该理解，并不需要特定顺序，而且可以省略，跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图8的示例流程描述了注视方向的使用。尽管如此，可以通过附加地或替代地使用显示器上的注视位置来类似地执行示例流程。

如图所示，图8的示例流程开始于操作802，其中第一计算设备捕获第一计算设备的第一用户的注视方向。在一个示例中，通过使用眼睛跟踪设备来捕获注视方向。具体地，眼睛跟踪设备在第一计算设备的第一显示器上生成与第一用户的注视有关的注视信息。注视信息包括注视方向。

在操作804中，第一计算设备确定第一用户的注视方向是否指向第一显示器。在一个示例中，第一计算设备将(例如，在三维空间中的)注视方向与(例如，在三维空间中的)显示器的位置进行比较，以执行该确定。在肯定该确定时，第一计算设备可以将标志设置为“1”，从而表明第一用户的注视方向指向第一显示器。否则，标志可以设置为“0”。

在操作806中，第一计算设备接收关于第二用户的注视方向是否指向第二显示器的信息。在一个示例中，通过数据网络从包括第二显示器的第二计算设备接收该信息。所接收的信息可以包括设置为“1”以指示第二用户的注视方向指向第二显示器，否则设置为“0”的标志。

在操作808中，如果第一用户的注视方向指向第一显示器且第二用户的注视方向指向第二显示器，则第一计算设备持续更新第一显示器上的内容。在一个示例中，持续更新包括涉及在两个显示器上同时呈现相同内容的片段。

在操作810中，第一计算设备从第二计算设备接收关于内容是否在第二显示器上暂停的信息。在一个示例中，第二计算设备基于多个因素发送该信息。一个因素可以包括第二用户在第二计算设备的输入处暂停内容的输入(例如，鼠标点击)。另一个因素可以是第二用户的注视方向的改变。例如，如果第二用户注视离开第二显示器，则第二计算设备可以在第二显示器上暂停内容的呈现，并且可以以标志更新的方式发送注视改变的指示(或类似地，暂停)到第一计算设备。

在操作812中，第一计算设备暂停第一显示器上的内容。可以使用各种因素进行暂停。在一个示例中，如果第二用户的注视方向没有指向第二显示器，则暂停第一显示器上的内容。在另一示例中，如果内容在第二显示器上暂停，则暂停第一显示器上的内容。在又一示例中，如果第一用户的注视方向没有指向第一显示器，则暂停第一显示器上的内容。

在图9示出了根据本发明的一个实施例的用于管理基于注视信息管理内容的呈现的流程。同步服务器，例如图7的同步服务器750，描述为执行流程的操作。用于执行操作的指令可以作为计算机可读指令存储在同步服务器的非易失性计算机可读介质上。在存储时，指令表示可编程模块，其包括可由同步服务器的处理器执行的代码或数据。这些指令的执行将同步服务器配置为执行图9中所示的并在此描述的特定操作。与处理器组合的每个可编程模块表示用于执行相应操作的装置。虽然以特定顺序示出了操作，但是应该理解，并不需要特定顺序，而且可以省略，跳过和/或重新排序一个或多个操作。此外，为了简洁起见，结合图9的示例流程描述了注视方向的使用。尽管如此，可以通过附加地或替代地使用注视位置类似地执行示例流程。

如图所示，图9的示例流程开始于操作902，其中同步服务器从第一计算设备接收第一管理信息。在一个示例中，第一管理信息包括关于由第一计算设备执行的第一计算设备的第一用户的第一注视方向是否指向第一计算设备的第一显示器的确定的信息。

在操作904中，同步服务器从与第一计算设备通信连接的第二计算设备接收第二管理信息。除了该管理信息由第二计算设备生成和发送之外，该操作类似于操作902。具体地，第二管理信息基于第二计算设备的第二用户的第二注视方向生成，并表明第二用户的注视方向是否指向第二计算设备的第二显示器。设备。

在操作906中，同步服务器基于第一注视方向和第二注视方向来管理第一计算设备和第二计算设备上的内容的呈现。如果两个注视方向表明两个用户正注视着对应的显示器，则同步服务器将同步信息发送到两个计算设备，其中该信息包括同时由第一计算设备和第二计算设备呈现相同片段的内容的指令。否则，同步信息包括用于同时暂停由每个计算设备对内容的呈现。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。