凝视跟踪的方法
【技术领域】
[0001] 本发明涉及一种凝视跟踪的方法，易于建立在不同的设备中，诸如智能手机、平板 电脑、个人计算机、电视屏幕，或在凝视可以用于控制任何一种诸如车辆等的设备的操作的 任何环境中。一般来说，凝视跟踪的本方法针对应用于互动接口和操作系统。
[0002] 此外，本发明涉及一种操作装置的方法，该装置设有产生视频流的至少一个数字 相机，以获得当面孔通过该装置的相机和处理器而被采集到视频流中时的凝视跟踪。
【背景技术】
[0003]目前使用凝视模式的分析的研究和产品主要在受控的实验室类型的情况中实施。
[0004]例如，很多研究被完成，以确定的网站布局的效果：具有受试者及其已知问题的这 种受控的测试致使这些受试者意识到正在进行测试，从而改变他们的行为并影响期望来自 实验的结果的类型。
[0005]当前的凝视跟踪解决方案主要使用红外线的投射进行操作，其创建眼睛内部和上 面的反射，通过诸如二进制检测（blobdetection)之类的算法进行检测。闪烁的数量可以 随着红外线的额外来源来增加，以改善追踪并允许头部移动的一些公差。
[0006]使用红外线的凝视跟踪通常需要远程设置，其中相机进一步远离用户安装，通常 在屏幕下方。它要求红外线照明的光源放在当看着屏幕的四个角时闪烁都清晰可见的位 置。
[0007]使用凝视跟踪用红外线的解决方案需要一些红外线投射以具有头部的相对于相 机的合理移动框盒。即使创建较大的框盒，照明条件的任何改变将意味着需要重新校准。
[0008]不使用红外线反射的解决方案主要基于使用面孔的特征的识别和跟随，通过诸如 所谓的主动外观（ActiveAppearance)模型之类的方法的头部追踪。然而，用于定向输入 的头部方位追踪的使用不是与凝视跟踪相同的东西，这只是眼睛方向的跟随，不管头部的 移动如何。
[0009]另外的已知方法使用眼睛凝视最大位置的分类，识别眼睛在上/下/左/右方位 之间的差异；这种解决方案仅可用来识别上下或左右卷动方向，真正不同于准确凝视跟踪 的某种东西。
[0010] 不使用红外线的方法试图常常使用立体视觉来提高准确度，这在任何情况下仍是 有限的，但使硬件更复杂。
[0011] 用于凝视跟踪的其它非红外线方法实质上基于诸如眉毛、下巴、瞳孔、眼睛的角、 等等的面孔特征的识别。它们必然具有较低的准确度，这源于识别眼睛的角的困难和对光 变化和对不同类型的面孔的较低的健壮性。他们还要求全脸是可见的。而且，这种方法的 上/下移动的准确度低，因为瞳孔的相对垂直移动小而眼睑位置也将使其本身适应于眼睛 移动。
[0012] 另外，有一些障碍阻止红外线硬件集成在移动装置中。集成使用红外线的凝视跟 踪意味着较高的成本和额外的电池耗竭。此外，一般需要高研发成本来创建微型硬件，当前 现有技术的硬件仍是太大以致无法集成到移动装置中，特别是因为需要一个以上的红外线 来源的合理强大的红外线。
[0013] 为立体视觉使用额外的视频摄像机的情况也是一样，因为它将增加硬件成本和额 外的电池耗竭到移动装置上，使软件解决方案更加合意。
[0014] 虽然仍未有决定性研究来断定在短距离连续曝光于红外线是否可导致眼睛受损， 但是考虑到年幼的孩子更快地变成移动装置用户的事实，当受损通常视为与红外线的曝光 时间成比例时，一些使用者每天几个小时，客户可能有担忧。
[0015] 诸如立体视觉之类的方法被使用来提高准确度，但凝视跟踪的领域的任何专家将 实现的是，甚至以瞳孔位置和眼角的完美识别，由取决于像素位置的计算导致的凝视方向 的准确度和分辨率将一直是太有限的以致无法实际使用，以及在空间域中，方法将是本来 就慢。因为凝视方向变化或头部的移动，所以这种方法在识别屏幕上的瞳孔移动间的差异 时将会有麻烦。而且，通过这些方法识别眼睛的上下移动将是麻烦的，因为眼睑比起瞳孔在 眼睛的视觉图像上具有更大的效应。
[0016] 使用红外线眼睛的投射的技术的潜在准确度也受到关于眼睛的内部和眼睛的外 部上的曲度的不确定因素限制。为这理由，使用红外线投射的方法通常需要若干个红外线 投射器和小心的校准程序。这还需要光条件保持校准后的稳定以及需要使用者在屏幕前面 保持相对小的移动框盒。这致使使用眼睛中红外线闪烁的识别的、红外线在凝视跟踪的移 动装置中的实施在移动装置上的充分移动的现实世界中不切实际。
[0017] 凝视跟踪的唯软件解决方案也需要考虑到另一显著缺点，其涉及使用凝视跟踪的 红外线透射：即，必须从相机透镜移除相机红外线滤光器以允许采集眼睛上的红外线反射。 移除红外线滤光器将使该装置所取得的照片的质量恶化。考虑到放置在移动装置的用户所 取得的照片的质量上的重要性，这也是用于适应凝视跟踪的红外线投射的高度限制因素。
[0018] 在任何情况下，熟悉凝视跟踪的技术者意识到，对于在距活动屏幕约30厘米的距 离的面孔，瞳孔将仅以移动装置的小屏幕左右摇摆的凝视跟踪在屏幕上移动，对应于由放 置在屏幕本身旁边的相机所采集的图像的少量像素。另外，尝试使用基于空间域中的图像 处理的方法需要不仅识别瞳孔，而且必须清楚地识别眼角。
[0019] 然而，眼角是难以通过诸如Viola-Jones之类的一般识别方法进行识别，快速地 导致若干个错误的像素。
[0020] 目标识别方法大部分使用在空间域中的像素等级信息分析，其大部分转换成 灰度。这种方法，诸如以Viola-Jones算法采集特征，需要使用诸如自适应提升算法 (Adaboost)之类的层级式分类器。诸如主动式形状模型之类的采集几何特征的其它方法依 靠分类的特征点和3D形状模型之间的相关性。这些方法本来就需要相对繁重的计算和大 量工作以优化。
[0021] -般所使用的其它方法是例如隐藏式马可夫模型（HiddenMarkovModel)或反向 传递神经网络（backpropagationNeuralNetworks)，两者都是复杂的。
[0022] 所有这样的方法一般还是难以工程化并优化并且相当多的工作要适应遵循并利 用最新硬件发展的优点，诸如GPU技术中的多核心处理或进展。
[0023] 因此，具有少量错误的像素的空间域中的瞳孔位置识别必须与眼角识别比较，其 将快速具有若干个错误的像素，以相对于眼角采集瞳孔移动，这仅是总共若干个像素。
[0024] 这甚至不考虑头部方位、头部移动等对准确度的效应。
[0025] 因此，将清楚的是，空间域中的这些计算导致实际上不可能从瞳孔位置和眼角之 间的差异来计算移动装置上的凝视方向。
[0026] 所以，唯一现实选项是在完全软件解决方案中获得移动装置上所需的凝视准确度 和分辨率，其利用从频域计算内获得的信息。
【发明内容】
[0027] 当前的接口和操作系统围绕在键盘和触摸屏的使用而设计。然而，使用触控仅允 许从用户传送用户指令的窄频带的信息到装置。关于这一点，比起触控，凝视对于使用者将 是更快速且更直觉的互动。
[0028] 举例来说，凝视控制可允许操作系统适应信息对用户的流动，具体取决于用户可 怎样快地跟随屏幕上信息。操作系统将基于朝向让信息流动的屏幕的凝视跟踪调整关于用 户想要看什么的信息流的速度。
[0029] 这种凝视控制可能导致接口和操作系统通过提供给用户的更快速导航以更清楚 的方式显示数据。
[0030] 使用凝视跟踪控制，所谓的屏幕技术，其中输入和输出两者都经过交互式屏幕，可 例如通过仅在人们注视的时间和位置具有高分辨率图像，导致屏幕本身所消耗的能量较少 以及图像输出的更有效率控制，从而采取进一步的步骤。
[0031] 这特征也可用来增加屏幕现实性，例如，通过仅在屏幕上观察者注视的位置具有 3D线索效应，以此方式产生3D效应而无需使用3D效应的特殊眼镜来增加。
[0032] 凝视方向追踪可用于屏幕图形，例如，在游戏中，其中，播放电玩游戏的用户可在 用户注视的屏幕部分上具有高分辨率图像，同时加入速度模糊效应用以改善游戏现实性。
[0033] 将要完成的另一需要通过实时知道现实世界完全活动性使用中的活动广告的效 果来表现。这种算法也将允许诸如每凝视付费的解决方案而不是每点击付费的解决方案。
[0034] 此外，也有给残障者的新的低廉解决方案的大的需要。
[0035] 对于使用凝视跟踪的下一代的操作系统和装置，唯软件解决方案将是高度优选 的，以便避免集成例如红外线投射器或用于立体视觉的额外相机的需要，立体视觉使用来 允许较高的准确度。
[0036] 这种装置在具有仅示范性目的的清单中可以是智能手机、平板电脑、诸如交互式 眼镜之类的可穿戴式硬件，然而还有在未来的居家和办公室或公共场所中的任何其它交互 式对象。这些装置可以涉及特殊用途，诸如交互式电视、智能型且交互式居家、汽车安全性 系统等等。
[0037] 应了解的是，这种技术的实施不限于移动装置，然而它基本上可延伸到任何装置 或网络连接装置，其中可再次编程的硬件可通过在上面的算法使用，并且其中可加入视频 相机输入。
[0038] 也对使用尽可能小的处理功率的凝视跟踪解决方案有需要。这对于节省电池寿命 以及实时使用两者都是需要的，因为它将需要在背景中运行且必须不限制在前景运行的过 程。考虑到甚至移动手机中的前置摄像头现在运转在30fps并且相机分辨率同样地愈来愈 好，这意味着所需的算法需要比现有技术的当前状态较好的若干阶。依靠处理能力的继续 改善也是不可接受的，因为需要在任何例子和所有应用中节省电池电力，例如游戏，使用处 理能力的最大量的比例，因此一直留下用于诸如标准图像处理之类的算法的最小量以在背 景中运行。
[0039] 为了在许多类型的装置上具有凝视跟踪解决方案，算法应嵌入操作系统中或处理 器本身上。算法需要能够以平行的处理器利用多线程，并且能够在部分的计算上使用GPU。 抛开移动环境，软件解决方案必须在编程在FPGA或类似的可再次编程的硬件上的形式中， 上面不必要有最近一代的操作系统。
[0040] 凝视跟踪算法必须不被视为与其所发展的硬件和电子器件分开的实体。相反，设 计和代码应经过特别地设计用于硬件集成。当前现有技术的算法绝不旨在用于具有工作在 具有高帧率的高分辨率相机的移动装置上。
[0041] 调整凝视跟踪的快速算法的需要的另一理由是，依靠计算机视觉的未来发展竞 赛，其将是进行具有适应、学习和记忆的算法的增加层。实际上，所有当前的计算机视觉方 法是无理由地被动的。为了具有这种附加层的适应性算法，唯一的解决方案是尽可能快地 用于基本算法。
[0042] 因此，明显地有需要完全移动解决方案，可用于每天情况的凝视跟踪解决方案。完 全移动解决方案应也意味着最小的校准需要。它意味着允许照明变化、不同类型的面孔、化 妆、胡须、眼镜、帽子、斜视者，并允许头部相对于移动屏幕的相对高的移动。这意味着避免