用于改进眼睛跟踪的场景分析的制作方法
【专利说明】用于改进眼睛跟踪的场景分析
【背景技术】
[0001] 除非在本文中另外表明，否则本部分中所述的材料对于本申请中的权利要求来说 不是现有技术并且不由于包括在本部分中而被承认是现有技术。
[0002] 眼睛跟踪系统可包括可跟踪人眼运动的小型照相机。眼睛跟踪具有各种有用且有 趣的应用。例如，眼睛跟踪可被部署在增强现实（AR)应用以及各种医疗和工业应用中。眼 睛跟踪还具有各种潜在的用户界面（UI)应用，诸如允许装置用户凝视来控制选择指针。装 置用户可凝视诸如文件的虚拟对象，按下按钮，然后凝视对象的目的地位置，并释放按钮以 传送该对象。眼睛跟踪还提供了收集用户兴趣和用户活动信息、例如以理解用户是否看过 广告的机会。眼睛跟踪的这些和其它用途提供了许多有趣的可能性。然而，眼睛跟踪技术 仍停留在相对早的开发阶段，并且随着眼睛跟踪成熟，存在许多要解决的挑战。
[0003] 概述
[0004] 本公开总体地描述了包括与用于改进眼睛跟踪的场景分析相关的装置、方法和计 算机可读介质的技术。由计算装置执行的一些示例眼睛跟踪方法可包括：从面对眼睛的传 感器接收眼睛凝视方向信息；从数字照相机接收数字场景信息，其中数字照相机可被定向 为从眼睛可见的场景捕捉数字场景信息；基于凝视方向信息来确定数字场景信息内的被检 测凝视目标；分析数字场景信息以标识数字场景信息内的潜在凝视目标，其中潜在凝视目 标可包括例如静止型凝视目标、移动型凝视目标和/或加速型凝视目标；选择潜在凝视目 标；和/或将被检测凝视目标修改到被选定凝视目标的位置。
[0005] 本公开还公开了具有实施本文中所述的各种技术的指令的计算装置和计算机可 读介质。示例计算机可读介质可包括具有处理器可执行的计算机可执行指令的非暂时性计 算机可读存储介质，这些指令当被处理器执行时使处理器实现本文中所提供的各种方法的 任何组合。示例计算装置可包括例如头戴式装置，这些头戴式装置包括数字照相机、面对眼 睛的传感器和计算装置，该计算装置配备有被配置为实现本文中所提供的各种方法的任何 组合的眼睛跟踪精度提高器。
[0006] 前述概述仅仅是说明性的，而并不意图以任何方式是限制性的。除了说明性的方 面，上述实施例和特征、另外的方面、实施例和特征将通过参考附图和下面的详细描述而变 得显而易见。
【附图说明】
[0007] 通过结合附图进行的以下描述和所附权利要求，本公开的前述和其它特征将变得 更充分地显而易见。理解，这些附图仅仅描绘了根据本公开的几个实施例，因此，不应被认 为是限制其范围，将通过使用附图来更具体地、更详细地描述本公开，在附图中：
[0008] 图1是说明被用户佩戴的示例头戴式装置的示图；
[0009] 图2是说明包括潜在凝视目标、被检测凝视目标和它们的运动的示图；
[0010]图3是作为合并在头戴式装置内的计算机的一个示例的计算装置的框图；
[0011] 图4是说明示例眼睛跟踪方法的流程图；
[0012] 图5是说明示例眼睛跟踪精度提高器的框图；
[0013] 图6是说明包括潜在凝视目标、被检测凝视目标、被选定凝视目标的场景以及关 于被选定凝视目标的AR信息的示图；
[0014] 图7是说明包括潜在凝视目标、被检测凝视目标和被选定凝视目标的场景的示 图，其中被选定凝视目标可被用作控制至少一个计算装置功能的用户输入，所有附图都是 依照本文所述的至少一些实施例来安排的。
【具体实施方式】
[0015] 在以下详细描述中，对附图进行参考，所述附图形成详细描述的一部分。除非上下 文另外指示，否则在附图中，相似的符号通常标识相似的部件。在详细描述、附图和权利要 求中描述的说明性实施例并不意味着是限制性的。在不脱离这里所提供的主题的精神或范 围的情况下，可以利用其它实施例，以及可以进行其它改变。将易于理解的是，如在本文中 一般地描述的和在图中示出的那样，本公开的各方面可以以广泛多样的不同配置被布置、 替代、组合和设计，所有这些都被明确地构想并成为本公开的部分。
[0016] 本公开尤其是针对包括与用于改进眼睛跟踪的场景分析相关的方法、装置、系统 和/或部署在其中的计算机可读介质的技术进行一般性的描写的。在一些示例中，可从来 自面对眼睛的传感器的凝视方向信息得到凝视目标。可通过捕捉并分析来自眼睛可见的场 景的数字场景信息来改进凝视目标位置和/或运动。可分析由数字照相机捕捉的数字场景 信息以标识潜在凝视目标，诸如，举例来说，静止型凝视目标、移动型凝视目标和/或加速 型凝视目标。可将被检测凝视目标修改为包括被选定的潜在凝视目标（在本文中也被称为 "被选定凝视目标"）的位置。
[0017] 在一些实施例中，本文中所述的技术可被合并到头戴式装置中，所述头戴式装置 诸如，举例来说，G00GLEGLASS?类型的装置。这样的装置可提供例如用户可通过其观看 物理世界的透明镜片。装置还可在镜片上显示数字对象和信息。装置可允许用户（诸如头 戴式装置的佩戴者）选择将显示的数字对象和信息以及与这些对象和信息进行交互。装置 可选地可以例如通过无线地连接到互联网而连接到计算机网络。装置还可包括集成数字照 相机，并且装置可允许用户捕捉通过镜片观看的场景的数字照片和视频。除了示例装置中 可包括的这些和其它特征之外，装置还可合并面对眼睛的传感器，并且可被配备为执行眼 睛跟踪方法，诸如本文中所述的那些方法。
[0018] 面对眼睛的传感器可包括较高成本、较高精度的传感器或较低成本、较低精度的 传感器。本公开的实施例可涉及任何类型的面对眼睛的传感器。较高成本、较高精度的传 感器可以例如包括捕捉眼睛的高分辨率可见光图像的照相机，并且眼睛跟踪系统可进行相 对多的处理来实现所计算的眼睛位置的较高精度。较低成本、较低精度的传感器可以例如 包括捕捉眼睛的低分辨率红外（IR)光图像的照相机，并且眼睛跟踪系统可进行相对不太 广泛的处理而实现所计算的眼睛位置的相对低的精度。
[0019] 在眼睛跟踪中存在由难以分辨光滑球体（S卩，眼睛）中的非常小的、低对比度的旋 转而导致的基本困难。一些面对眼睛的传感器和相应的眼睛跟踪系统的一个问题是，适度 强度和对比度的反射IR光导致跳跃的难以分辨的运动，该运动可导致估计不精确的凝视 方向。虽然高分辨率可见光眼睛跟踪系统可能进展更好，但是这样的眼睛跟踪系统使用更 昂贵的面对眼睛的传感器和更多处理能力，并且在低光状况下不会同样地作用。
[0020] 眼睛跟踪的困难在物理环境、而不是虚拟环境的背景下尤其明显。在物理环境下， 当前技术没有提供关于人眼在所观看的物理场景内感兴趣的点或感兴趣的其它潜在凝视 目标的信息。因此，在一些实施例中，本文中所述的技术可捕捉并分析来自眼睛可见的物理 场景的数字场景信息，标识潜在凝视目标，并使用这样标识的潜在凝视目标来改进从面对 眼睛的传感器得到的凝视目标位置和/或凝视目标运动。
[0021] 在一些实施例中，眼睛跟踪系统可通过将检测的眼睛跟踪位置、速度和/或加速 度值和与物理世界潜在凝视目标相应的估计眼睛跟踪值进行比较来产生改进的眼睛跟踪 目标估计（在本文中也被称为凝视目标估计）。潜在凝视目标可以例如在物理世界场景的 实时视频中被标识。
[0022] 潜在凝视目标可以例如通过下述方式被标识，例如，使用对象识别，或者应用各种 图形分析算法中的任何一种来标识潜在凝视目标，或者例如通过标识场景中的对象运动。 实施例随后可确定每个标识的潜在凝视目标的位置值、速度值和/或加速度值，并且可将 这样的确定的值与检测的眼睛跟踪位置值、速度值和/或加速度值进行比较。
[0023] 实施例可选择适当的潜在凝视目标，该目标包括基本上与检测的眼睛跟踪位置 值、速度值和/或加速度值匹配的位置值、速度值和/或加速度值。实施例然后可推断：正 确的眼睛跟踪位置值、速度值和/或加速度值是被选定凝视目标的那些值。修改的、改进的 眼睛跟踪位置值、速度值和/或加速度值可以例如被存储或者以其它方式被用于使用眼睛 跟踪信息的任何应用。
[0024] 实施例可视情况执行数据变换以使得能够在检测的眼睛跟踪位置值、速度值和/ 或加速度值与潜在凝视目标位置值、速度值和/或加速度值之间进行比较。例如，在一些实 施例中，检测的眼睛跟踪位置值可包括与眼睛凝视方向相应的角坐标。同时，潜在凝视目标 位置值可至少最初包括例如捕捉的视频帧的平面内的二维x、y坐标。检测的眼睛跟踪角坐 标可以例如使用照相机位置与眼睛位置之间的几何关系而被转换为二维X、y坐标以支持 比较操作，或者反过来。还将理解，实施例可根据需要将所有信息转换到任何中间坐标系中 以支持比较操作。
[0025] 在一些实施例中，眼睛跟踪系统可将被检测凝视目标与物理场景中的静止潜在凝 视目标的位置进行比较，并且视情况，可通过将在它们的噪声边界内的被检测凝视目标修 改到静止潜在凝视目标的位置来校正这些被检测凝视目标。在一些实施例中，眼睛跟踪系 统可将被检测凝视方向和与物理场景中的静止潜在凝视目标的估计位置相应的凝视方向 进行比较，并且可通过将在它们的噪声边界内的被检测凝视方向修改到估计的凝视方向来 校正这些被检测凝视方向。
[0026] 在一些实施例中，眼睛跟踪系统可将被检测凝视目标运动（其可包括凝视目标速 度和/或凝视目标加速度，并且可以例如从物理场景中的一系列被检测凝视目标得出）与 跟随物理场景中的移动潜在凝视目标的建模凝视目标运动进行比较，并且实施例可通过将 在其噪声边界内的被检测凝视目标运动修改为跟随物理场景中的移动潜在凝视目标的建 模凝视目标运动来校正这些被检测凝视目标运动。在一些实施例中，眼睛跟踪系统可将被 检测眼睛运动（其可以例如从一系列被检测凝视方向得到）和与跟随物理场景中的移动潜 在凝视目标相关联的建模眼睛运动进行比较，并且实施例可通过将在其噪声边界内的被检 测眼睛运动修改为跟随物理场景中的移动潜在凝视目标的建模眼睛运动或者修改为与建 模眼