基于注视和扫视的图形操纵的制作方法

基于注视和扫视的图形操纵
[0001]
本申请是申请日为2017年9月18日、国际申请号为pct/us2017/051993、国家申请号为201780057665.8、发明名称为“基于注视和扫视的图形操纵”的发明专利申请的分案申请。
[0002]
相关申请的交叉引用
[0003]
本申请主张2017年3月31日申请的第15/476,650号美国专利申请以及2016年9月20日申请的第15/270,783号美国专利申请的优先权，两个美国专利申请均名为“基于注视和扫视的图形操纵(gaze and saccade based graphical manipulation)”，全部公开内容出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。


背景技术：

[0004]
图形项目可用于显示器上以向观看者展示数据和信息。这些图形项目可包含文字、图像和视频。图形项目在计算领域中是众所周知的，并且已被使用多年。最近，在显示器上展示三维(3d)图形项目在例如游戏、建模和电影等领域中的重要性已提高。
[0005]
当显示图形项目时，例如计算机等系统结合存储器而使用处理器以在屏幕或其它显示装置上显示项目。用于显示图形项目的方法多种多样，但这些方法通常依赖于计算机解译命令以控制为显示器提供图形项目的图形处理装置。出于此目的，图形处理装置通常含有定制硬件，该定制硬件包含处理器和存储器。在一些计算机系统中，图像处理装置是完全集成的，而在其它计算机系统中，图像处理装置作为被称为图形卡的独立部件来提供。
[0006]
图形处理装置的处理能力具有限制，其中处理能力通常是根据可在任何给定时间显示在屏幕上的图形项目的量来量化的。这通常受将图形处理装置具体化的硬件(包含处理器、存储器和通信信道)的能力限制。此外，能够在给定时间点显示在屏幕上的图形项目的量可能受图形处理装置与计算机之间的通信极限限制。
[0007]
在需要将图形项目显示在屏幕上的许多情形下，在任何给定时间，用户仅关注屏幕的一部分，并且因此仅关注图形项目的一部分。同时，其它图形项目继续显示在用户未关注的屏幕的其余部分上。这浪费宝贵的图形处理装置资源来产生用户无法充分欣赏的图形项目，这是因为人的视敏度在直接关注的那些图像之外急剧下降。


技术实现要素：

[0008]
在一些实施例中，提供一种用于在显示装置上呈现图形的系统。系统可包含用于确定用户在显示装置上的注视点的眼睛追踪装置。系统可还包含用于导致图形显示在显示装置上的图形处理装置。显示在显示装置上的图形可被修改成使得包含用户的注视点的区域中的图形相对于所述区域外的图形具有至少一个经修改的参数。所述区域的大小可至少部分基于随着时间发生的注视点中的噪声量以及至少一个其它辅助因素。
[0009]
在另一实施例中，提供一种用于在显示装置上呈现图形的方法。所述方法可包含通过眼睛追踪装置确定用户在显示装置上的注视点。所述方法可还包含通过图形处理装置导致图形显示在显示装置上。显示在显示装置上的图形可被修改成使得包含用户的注视点
的区域中的图形相对于所述区域外的图形具有至少一个经修改的参数。所述区域的大小可至少部分基于随着时间发生的注视点中的噪声量以及至少一个其它辅助因素。
[0010]
在另一实施例中，提供一种非暂时性机器可读介质，所述非暂时性机器可读介质上具有用于在显示装置上呈现图形的指令。所述指令可由一个或多个处理器执行以执行一种方法。所述方法可包含确定用户在显示装置上的注视点。所述方法可还包含导致图形显示在显示装置上。显示在显示装置上的图形可被修改成使得包含用户的注视点的区域中的图形相对于所述区域外的图形具有至少一个经修改的参数。所述区域的大小可至少部分基于随着时间发生的注视点中的噪声量以及至少一个其它辅助因素。
附图说明
[0011]
结合附图来描述本发明：
[0012]
图1是用于基于用户的注视点来修改图像的本发明的一种可能系统的框图；
[0013]
图2是本发明的显示装置的视图，其中图像修改响应于用户的注视点而发生；
[0014]
图3a是图像质量可如何在经修改的图像区域内连续变化的简图；
[0015]
图3b是图像质量可如何在经修改的图像区域内逐步变化的简图；
[0016]
图4是本发明的显示装置的视图，其中图像修改响应于所检测到的用户的注视点的改变而发生；
[0017]
图5是用于基于用户的注视点来修改图像的本发明的一种可能方法的流程图；
[0018]
图6是能够用于本发明的装置或系统的至少一些部分中或实施本发明的方法的至少一些部分的示范性计算机系统的框图；
[0019]
图7a和图7b是示出根据用户的注视点的改变而改变显示装置上的区域的位置的简图；
[0020]
图8是演示偏心角的简图；
[0021]
图9是用于基于用户的注视点和其它辅助因素来修改图像的本发明的另一可能方法的流程图；
[0022]
图10是示出本发明的一个实施例的显示屏，其中不同区域可至少基于用户的注视点而按照不同的画质来渲染；以及
[0023]
图11是示出本发明的另一实施例的显示屏，其中不同大小和/或形状的区域可至少基于用户的注视点而按照不同的画质来渲染。
[0024]
在附图中，类似部件和/或特征可具有相同附图标记。此外，相同类型的各种部件可通过在附图标记之后加上在类似部件和/或特征之间进行区分的字母来区分。如果在本说明书中仅使用第一数值附图标记，那么这种描述适用于具有相同的第一数值附图标记的类似部件和/或特征中的任一个，而不管是否有字母后缀。
具体实施方式
[0025]
接下来的描述仅提供示范性实施例，并且不希望限制本公开的范围、适用性或配置。实际上，对示范性实施例的接下来的描述将向本领域的技术人员提供用于实施一个或多个示范性实施例的充分描述。应理解，可对各个要素的功能和布置进行各种改变而不偏离随附权利要求书所阐述的本发明的精神和范围。
[0026]
在下文描述中给出了特定细节以便全面理解实施例。然而，本领域的技术人员应理解，可在不存在这些具体细节的情况下实践实施例。例如，本发明中的电路、系统、网络、过程和其它要素可按框图形式示出为部件，以免以不必要的细节使实施例变得晦涩难懂。在其它情形下，可在没有不必要的细节的情况下示出熟知的电路、过程、算法、结构和技术，以便避免使实施例变得晦涩难懂。
[0027]
并且，应注意个别实施例可被描述为一种过程，所述过程被描绘为流程图、过程图、数据流程图、结构图或框图。虽然流程图可将操作描述为顺序过程，但许多操作可并行地或同时地执行。此外，操作的次序可被重新布置。过程可在其操作完成时终止，但可具有图中未论述或包含的额外步骤。此外，不是任何特定描述的过程中的所有操作都必须出现在所有实施例中。过程可对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。存在于一个所论述的实施例中的任何细节可存在于或可不存在于此实施例的其它版本或本文所论述的其它实施例中。
[0028]
术语“机器可读介质”包含(但不限于)便携或固定的存储装置、光学存储装置、无线信道和/或能够存储、包含或携载指令和数据的各种其它介质。代码段或机器可执行指令可代表进程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、变元、参数或存储器内容而耦接到另一代码段或硬件电路。信息、变元、参数、数据等可经由包括存储器共享、消息传递、令牌传递、网络传输等任何适当手段来传递、转发、或传输。
[0029]
此外，可至少部分手动地或自动地实施本发明的实施例。可通过使用机器、硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合执行或至少辅助手动或自动实施方案。当以软件、固件、中间件或微码实施时，用于执行必要任务的程序代码或代码段可存储在机器可读介质中。处理器可执行必要的任务。
[0030]
在本发明的一些实施例中，并且参照图1，提供用于在显示装置110上呈现图形的系统100。系统100可包含眼睛追踪装置120和图形处理装置130。在一些实施例中，系统可还包含处理器/计算机140，其中处理器/计算机140与图形处理装置130通信并控制图形处理装置130。在一些实施例中，图形处理装置130的任何功能可完全或部分由处理器/计算机140执行。仅举例来说，眼睛追踪装置120可与个人计算机140成一体地提供或相对于个人计算机140另行提供，其中个人计算机140具有图形处理装置130和中央处理单元(在一些配置中，图形处理装置130和中央处理单元被集成在一起)。在其它实施例中，眼睛追踪装置120可与游戏控制台140或具有图形处理装置130和中央处理单元的其它装置成一体地提供，或相对于游戏控制台140或具有图形处理装置130和中央处理单元的其它装置另行提供。游戏控制台的实例包含由microsoft
tm
、nintendo
tm
或sony
tm
生产并从它们购得的游戏控制台。在其它实施例中，眼睛追踪装置120可与例如虚拟现实(vr)或增强现实(ar)等可穿戴耳机成成一体地提供，或相对于所述可穿戴耳机另行提供。可穿戴耳机的实例包含以商标oculus rift
tm
、htc vive
tm
、sony playstation vr
tm
和fove
tm
生产并按这些商标购得的可穿戴耳机。因此，本发明的实施例可应用到任何数量的可能装置和应用中的图形的呈现，包含视频显示、视频游戏、视频制作和编辑、视频通信、计算机辅助制图和设计等。
[0031]
眼睛追踪装置120可用于确定用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变中的至少一个。眼睛追踪装置和方法(有时也称为注视检测系统和方
法)例如包含由瑞典拓比电子技术公司(tobii technology ab)生产并从该公司购得的产品，并且这些产品通过使用红外线照射和图像传感器来操作以从用户的眼睛检测反射。此注视检测系统的实例描述在第7,572,008号美国专利中，其中所述美国专利出于全部目的以引用方式并入本文中，如同完全阐述在本文中一样。本发明也可使用其它替代注视检测系统，而不管注视检测系统背后的技术为何。眼睛追踪装置120可使用其自身的处理器或另一装置(即，处理器/或计算机140)的处理器以解译并处理所接收的数据。当在本文中提到眼睛追踪装置时，也提到处理数据的可能方法。
[0032]
由本发明的各种实施例使用的图形处理装置130可用于导致图像显示在显示装置110上。图形处理装置130可至少部分基于如眼睛追踪装置120所确定的用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变而修改在显示装置110上显示什么图像。虽然在一些实施例中，独立的非包含式或非集成式显示装置将由图形处理装置130控制，但其它实施例可包含或集成显示装置110。
[0033]
显示在显示装置110上的图像可由图形处理装置130修改的方式可取决于实施例而变化，但不管怎样，可能希望显示图像的方式相比用户的视线或集中的视线未指向的图像的那些部分而提高用户的视线或集中的视线所指向的图像的部分的图像质量。以此方式，图形处理装置130的可用资源和/或其它系统资源的使用被最大化以传递其在显示装置110上最关注之处的图像质量。为了进行演示，图2图示一显示装置110，该显示装置110示出用户的注视点210以及围绕用户的注视点210的区域220，本发明的实施例可提高该区域220内的图像质量，相比显示装置110的其余区域230而言。因此，在本发明的各种实施例中，在整个显示装置110上产生的图像的质量在区域220中相比其余区域230有提高。
[0034]
当在本文中论述对呈现在显示装置110上的图像的“修改”时，应理解其意图是使得显示在显示装置110上的后续图像不同于显示在显示装置110上的先前图像。因此，图形处理装置130和显示装置110或本文所论述的其它装置通过使第一图像被显示并接着使不同于第一图像的第二图像被显示而“修改”图像。本文所论述的图像的任何其它改变(例如，提高或降低图像质量)也应被理解为表示后续图像不同于先前图像。应注意，图像的改变或修改可包含仅改变或修改图像的一部分。因此，先前图像的一些部分可与后续图像相同，而其它部分可不同。在其它情形下，整个先前图像可不同于后续图像。应理解，对图像的某一区域或整体的修改不一定表示该区域或整体的每一有界部分(例如，每一像素)改变，而是表示，该区域或整体可按某一可能一致的、预定义的或有序的方式改变(例如，图像的质量改变)。
[0035]
除了本领域中已知的其它可能特性之外，提高图像的质量可还包含提高图形特性的以下非详尽列表中的任何一个或多个的质量和/或修改图形的内容：
[0036]
分辨率：可在一个或多个维度上显示的单独像素的数量。例如，“1024x 768”表示在高度上显示1024个像素以及在宽度上显示768个像素。
[0037]
明暗度：取决于由图形处理装置130模拟的光源所投射的人工照明的图形对象的颜色和亮度的变化。
[0038]
纹理映射：图形图像或“纹理”到图形对象上的映射，用于向对象提供特定外观。纹理的分辨率影响纹理被施加到的图形对象的质量。
[0039]
凸起映射：图形对象的表面上的小尺寸凸起和粗糙梯度的模拟。
[0040]
雾化/或参与介质：光在穿过非透明大气或空气时的变暗。
[0041]
阴影：光的遮挡的模拟。
[0042]
软阴影：由部分遮挡的光源导致的阴影和暗度的差异。
[0043]
反射：镜状或高光泽度反射表面的表示。
[0044]
透明度/不透明度(光学或图形)：穿过实心对象的光的清晰透射。
[0045]
半透明度或不透明度：穿过实心对象的光的高散射透射。
[0046]
折射：与透明度相关联的光的偏转。
[0047]
衍射：经过中断光线的对象或孔口的光的偏转、扩束和干涉。
[0048]
间接照明：表面由从其它表面反射的光照明，而不是直接从光源(也被称为全局照明)照明。
[0049]
散焦(一种形式的间接照明)：光从闪亮对象的反射或光穿过透明对象的聚焦，以在另一对象上产生明亮的高光点。
[0050]
抗混叠：融合所显示的对象的边缘以减少尖锐部分或锯齿线的出现的过程。通常，使用一种算法，该算法对围绕所显示的对象的边缘的颜色进行采样以将边缘与其周围部分融合。
[0051]
帧速率：对于动画图像来说，在某时间段期间呈现以在图像内呈现出运动的各个帧的数量。
[0052]
3d：图像的视觉特性和时间特性，这些特性导致图像对于观看者来说看起来是三维的。
[0053]
动画质量：当呈现动画图像时，动画图像的细节在视图的周边减少。
[0054]
后处理效果质量
[0055]
折射质量
[0056]
三维对象质量：基于对象到虚拟相机的距离而示出的多边形
[0057]
除了可修改的具体图形内容的质量之外的其它参数包含所呈现的图形自身的内容。例如，如果通常一对象集合将被显示在周边上，那么在本文所论述的中心凹形渲染条件下，较少对象可被显示在周边上。在一些应用中，如果在周边出现的对象和/或活动在中心凹形渲染条件下对于用户来说是无法充分辨识的，那么这样做可降低处理要求。在这些实施例中，某一种类的内容可从周边呈现内容中移除。例如，具有某些虚拟特性(即，视频游戏中的角色、视频游戏中的对象、视频游戏中的环境、其它软件应用中的对象的种类等)、某些几何特性(即，形状、大小等)、某些虚拟地理特性(即，虚拟位置)或任何其它具体特性的对象可在中心凹形渲染条件下在周边渲染内容中被显示或不被显示。
[0058]
可被修改成按较高质量显现的图像的区域的大小和形状可取决于实施例而变化。仅举例来说，区域的形状可以是圆形、椭圆形、正方形、长方形或多边形。在一些实施例中，区域内的图像的质量可均匀地提高。在其它实施例中，可能为了匹配区域周围的图像的质量，图像的质量的提高可在区域的中央(即，接近注视点)达到最大程度，并且朝向区域的边缘(即，远离注视点)减小。为了进行演示，图3a示出图像质量可如何从注视区域的中央向外按线性或非线性连续方式降低，而图3b示出图像质量可如何从注视区域的中央向外按逐步方式降低。
[0059]
在一些实施例中，对显示在显示装置110上的图像进行修改可响应于检测到注视
点的改变而发生。这可按许多方式发生，其中的一些描述在下文中。
[0060]
在一些实施例中，图像整体可在用户的注视点的改变的时间段期间被修改，并且一旦用户的注视点的改变停止，围绕用户的最终注视点的区域或图像的其余部分(不围绕最终注视点的图像部分)可被修改。仅举例来说，在一个实施例中，整个图像的质量可在用户的视线移动(有时称为扫视)期间提高，但一旦扫视结束，那么这种质量的提高可仅维持在围绕用户的最终注视点的区域中(即，图像的其余部分的质量可在扫视的结束后降低)。在不同实施例中，整个图像的质量可在扫视期间降低，但一旦扫视结束，那么这种质量的降低可仅维持在围绕用户的最终注视点的区域以外的区域内(即，围绕用户的最终注视点的区域的图像质量可在扫视结束后提高)。
[0061]
此外，在用户的扫视期间，也可修改其它系统资源(例如，包含处理器/计算机140和相关资源)的使用。例如，在扫视期间，非图形操作可由处理器/计算机140和图形处理装置130的资源补充。更具体来说，在扫视期间，其它系统操作所需的非图形计算可按较高速度或效率进行，这是因为与处理器/计算机140和图形处理装置130相关联的额外资源可用于这些操作。
[0062]
在一些实施例中，修改显示在显示装置110上的图像可包含修改围绕用户的预期注视点的区域中的图像的部分，这可能是通过提高该区域的图像质量来进行的。预期注视点可基于用户的注视点的改变来确定。为了确定用户的预期注视点，眼睛追踪装置120和/或另一处理器(即，计算机或游戏控制台的处理器)可确定用户在显示装置110上的注视点的改变的速率，并且至少部分基于此改变的速率来确定预期注视点。
[0063]
用户的注视点的改变的速率(也称为用户的扫视的速度)直接取决于用户的扫视点的总改变量(通常称为扫视的幅度)。因此，随着用户的扫视的预期幅度增大，扫视的速度也增大。虽然人类用户的扫视的速度可快达900
°
/秒，但针对小于60
°
或约60
°
的扫视，扫视的速度通常线性地且直接地取决于扫视的幅度。例如，10
°
幅度与300
°
/秒的速度相关联，并且30
°
幅度与500
°
/秒的速度相关联。针对大于60
°
的扫视，峰值速度开始朝向可由眼睛获得的最大速度(900
°
/秒)进入平稳期。响应于意想不到的刺激，扫视通常花费约200毫秒(ms)来发起，并且接着持续约20ms到约200ms。基于扫视速度与幅度之间的这些关系，本发明的实施例可基于扫视速度来确定预期注视点。扫视速度与幅度之间的数学关系的其它预定模型也可由本发明的各种实施例使用以确定预期注视点。
[0064]
在一些实施例中，围绕预期注视点修改的图像的部分也可包含围绕原始注视点(即，开始用户的扫视的注视点)的图像的部分。虽然所修改的图像的部分的形状可以是上述形状中的任一个，但在一些实施例中，所修改的图像的部分的形状可以是如图4所示垂直于扫视的方向具有逐渐增大的宽度的三角形或梯形形状。
[0065]
在图4中，示出显示装置110，并且在显示装置110上示出初始用户注视点410。在初始注视点410的任何改变之前，本发明的实施例可在区域420中提供提高的图形质量。当眼睛追踪装置120检测到由箭头430表示的用户扫视时，区域420的大小和形状可改变以容纳初始扫视点410与预期扫视点440两者。所改变的区域450虽然在此实施例中是三角形和/或梯形，但在其它实施例中，可以具有不同形状和大小。仅举例来说，考虑到用户的扫视点可能结束在的位置的更多可能性，在扫视的方向上从初始注视点到显示器的边缘的显示装置110的整个侧面可也包含在所改变的区域450中。在其它实施例中，可提供圆形、椭圆形或正
方形的所改变的区域450。在其它实施例中，所改变的区域450可包含围绕初始注视点410和预期注视点440的独立且独特的区域。
[0066]
在一些实施例中，围绕注视点的区域(对于该区域修改图像)(或在各种实施例中，该区域保持提高的质量而未经修改)的大小或形状是动态的。这可至少部分基于任何数量的因素(包含注视点相对于图像或显示装置的当前位置)而发生。仅举例来说，如果用户将其注视点移动到屏幕的某部分，那么屏幕的预定义部分可经由屏幕中提高的质量来修改(例如，在视频游戏中具有虚拟区域地图的显示器的角落部分)。在一些实施例中，如果在预定义的时间量内检测到具有一个或多个预定义特性的足够用户扫视，那么显示器整体可被修改成按较高质量渲染。
[0067]
计算系统的性能可能直接受到系统任意支配的资源的消耗的影响。这些资源包含(但不限于)处理能力、存储器大小、存储器访问速度和计算机总线速度。例如图像和其它图形项目等信息的显示可能直接需要使用这些资源。如先前所述，此信息的质量越高，所需的资源量越大，或对现有资源的紧张程度越高。本发明试图通过以下方法减少这些资源的消耗：首先且主要将图形处理和执行资源分配到显示装置110中的可容易由用户按高清晰度察觉的区域，作为高清晰度信息实际显示在的区域。将不会由用户按高清晰度察觉或无法容易由用户按高清晰度察觉的显示装置的其它区域可被分配较少资源或剩余量的资源。由于将信息输出到显示装置110与用户可移动其眼睛并察觉信息这两个动作之间的延迟时间，可能希望提供一种系统，在该系统中，用户不会察觉到正被显示在显示装置110上的信息的质量或清晰度存在任何改变。
[0068]
在一些实施例中，注视点信息可由眼睛追踪装置120确定或基于来自眼睛追踪装置120的信息来确定，并且该注视点信息可被筛选以将围绕注视点的区域(对于该区域可修改图像)的改变最小化。参照图7a，实施例包含显示装置110，其中显示装置110包括区域800，区域800含有子区域810。此实施例和其它实施例的目标可以是在围绕任何所确定的注视点210的子区域810和/或区域800中维持高清晰度和/或其它提高的图形渲染质量。图像可因此在区域800中被修改，以使得其含有如上所述的较高质量图形或其它经修改的参数。如果确定注视点210保持在子区域810内，那么区域800中的图形的质量或类似指标可被修改成使得区域800中的图像的图形质量按比区域800外的图像更高的质量或类似指标在显示装置110上显示。如果确定注视点位于子区域810外，那么如图7b所示，定义含有新子区域810a的新区域800a。新区域800a可接着被修改成含有较高质量图形或其它参数。本发明接着进行重复，其中如果确定注视点保持在新子区域810a内，那么区域800a保持恒定，然而，如果注视点被检测为处于新子区域810a外，那么重新定义区域800a。
[0069]
在这些实施例或其它实施例中，可执行注视信息的筛选以确保区域800的重新定位是必要的。例如，系统可确定注视点210位于子区域810外，然而，系统可不采取任何措施(例如，重新定位区域800)，直到预定数量(例如，2个、5个、10个、50个)的注视点210位于子区域外为止。或者，系统可暂时扩大区域800，直到确信注视点210位于某区域内为止。此外，在放大或改变区域800之前可建立预定义的时间段，以确定注视点210是否已持续至少这些时间段地移出到子区域810之外。
[0070]
如本文所述，当注视点确定中的噪声量低并且注视点210的位置相互靠近时，区域800和/或子区域810可能较小，并且与注视点210的场域的实际大小紧密相关。相反，如果注
视点确定中的噪声量高并且注视点210是分散的和/或位置不是相互靠近的，那么区域800和子区域810可能较大。仅举例来说，噪声可包含(1)(a)所计算/所确定的注视点位置与(b)实际注视点位置之间的误差或差以及(2)即使在用户的注意力实际上集中在显示装置110上的特定点时也会发生的用户的实际注视点的漂移。因此，当一组注视点确定中的噪声低时，注视点确定可具有高精确度，而当一组注视点确定中的噪声高时，注视点确定可具有低精确度。
[0071]
在一些实施例中，许多不同因素可影响注视点210确定中的噪声量。因此，注视点210确定中的噪声量可影响区域800和/或子区域810的大小。注视点210确定中的噪声可以是基于软件和/或硬件的，其来源于一贯确定用户的实际注视点的不准确性，和/或可以是基于用户的，其来源于用户的视线相对于用户有意识地关注的实际兴趣点的漂移。在任一种状况或两种状况下，多个和/或连续的注视点210确定将导致如图7a和图7b所示的注视点210的图案。
[0072]
与其尝试确定所确定的注视点210中的哪些注视点是用户的实际注视点210，倒不如如上所述那样设定区域800和/或子区域810的尺寸以使其含有所有所确定的注视点或大部分的所确定的注视点(即，可能不包含使用统计和/或误差检查例程(例如，标准差方法、z评分和/或本领域中已知的其它方法)的某些极端异常点)。因为某些条件或“辅助因素”甚至在确定第一注视点210之前或仅在已确定最小数量的注视点210之后可能是已知的，所以可以至少初始地(如果并不是连续地)基于许多辅助因素来对区域800和/或区域810设定大小，因此允许紧密围绕第一(或前几个)所确定的注视点210渲染区域800和子区域810，而不需要获得额外注视点210数据。
[0073]
可昭示关于区域800和/或子区域810大小的初始或连续的确定的一些辅助因素或条件可包含：(1)哪一用户正观看显示器；(2)环境因素；(3)显示装置110的内容；以及(4)用户正注视显示装置110上何处。
[0074]
如果向注视确定系统100通知哪一用户正使用系统100，那么此用户可在其注视数据中具有先前确定的噪声量。不同用户可由于其视线如何在显示装置110上游走的具体特性而具有天生不同和/或独特的噪声水平。从系统100的先前使用，可因此知晓区域800和/或区域810的什么样的大小将对于提高的图形质量的区域来说是足够的，而不需要初始或额外的注视点210确定的分析。
[0075]
如由眼睛追踪装置成像传感器或其它传感器检测到的用户的身体、面部和/或眼睛的特性也可向系统100通知用户的注视的可能特性，并且因此也用于预期区域800和/或子区域810的必要大小。例如，低垂的肩部和/或斜视的眼睛可指示用户疲劳(或处于某一其它状态中)，并且因此向系统100通知区域800和子区域810应相应地被调整(即，变小或变大)。
[0076]
此外，用户与系统100的配对也可与确定相关。这表示操作两个不同注视确定系统的同一用户可在其注视点210确定中具有不同噪声水平。因此，使用系统a的用户a可与第一注视点210噪声量相关联，而使用系统b的同一用户a可与第二注视点210噪声量相关联，其中每一注视点210噪声量对应于不同大小的区域800和/或子区域810。此外，区域800和/或子区域810的形状也可对应于不同用户和/或不同用户/系统对。
[0077]
环境因素也可在区域800和/或子区域810的必要大小的初始或连续确定中起作
用。仅举例来说，如果系统100确定在用户周围的环境是明亮的、暗淡的、潮湿的、干燥的、有污染的(空气中的颗粒物)、有风的、经受极端或异常温度的或在各种状态之间变动的(例如，在区域中存在闪光)，那么系统100可基于此信息来调整区域800和子区域810的大小。因此，系统100能够预期在这些条件下注视点210确定中的某一噪声量，并且提早调整区域800和/或子区域810的大小。例如当日时间等其它环境特性也可影响预期噪声。这可能因为用户较可能在早晨或夜晚疲劳，并具有与其视线相关联的或多或少的漂移。
[0078]
在显示装置110上显示的内容也可向系统100通知注视点210确定中的可能噪声。仅举例来说，显示在显示装置110上的较亮或较暗图像已知在注视确定中导致或多或少的噪声。在另一实例中，文字可针对给定用户而可能导致或多或少的噪声。其它实例包含图形内容的性质。仅举例来说，动态快速移动图像可比静态或缓慢移动图像产生多或少的噪声。系统100可能够考虑此情形以预期怎样大小的区域800和子区域810是必要的。
[0079]
最后，用户正在注视显示装置110上的什么位置也可能影响可能的噪声水平。仅举例来说，当用户的注视点210接近显示装置110的边界时，相比用户的注视点210接近显示装置110的中央时，噪声可被放大。噪声也可取决于注视点210在显示器的中央的左侧还是右侧以及在显示器的中央的上方还是下方而或多或少大幅变化。
[0080]
因此，在一个实施例中，如图9所示，本发明的一个实施例的方法可包含在框910中在显示装置上显示图形。在框920中并且在此后继续，可确定用户的一个或多个注视点。在框930中，可确定如上文所论述的辅助因素。在框940中，可至少基于所确定的注视点和所确定的辅助因素而修改所显示的图形。
[0081]
在一些实施例中，确定区域800和/或子区域810的大小的另一方法可以是使用显示装置110上的预定义区，该预定义区将规定区域800和/或子区域810的大小和/或形状。因此，显示装置110可在显示区域内划分为多个预定义区。例如，如图10所示，显示装置110可划分为十六个预定义区1010。预定义区1010可由硬件和/或软件固定下来，或可由用户在使用之前手动设定。不同软件程序可能够基于软件程序的特定需要来设定预定义区1010。
[0082]
如果用户的注视点210全部位于特定预定义区1010内，那么特定预定义区1010相比不包含注视位置的其它预定义区1010按较高质量渲染。在另一实例中，如果注视位置位于一个以上预定义区1010中，那么注视位置位于其中的全部预定义区1010相比不包含注视位置的其它预定义区1010按较高质量渲染。在其它相关实施例中，上述实例可存在变化。仅举例来说，可仅从显示装置110的一部分而不是显示装置110的整个显示区域划分预定义区1010。
[0083]
这些将预定义区1010用于中心凹形渲染的方法可在并未配备特别准确和/或功能强大的眼睛追踪系统的一些虚拟现实和/或增强现实耳机中具有特殊优点。在这些实施例中，低质量眼睛追踪可由于所使用的眼睛追踪相机的较低的最大帧率而在某些方面存在。在此情形下，系统可仅提供注视位置的粗略确定，这可导致低精确度眼睛追踪数据(即，所确定的注视位置广泛扩展)。为了针对这些低质量眼睛追踪情形提供中心凹形渲染，可使用预定义区1010。
[0084]
在图11所示的替代实施例中，所述方法可首先确定注视位置1110，并且接着基于注视位置的至少一部分(例如，大部分)而确定高质量区1120(大小和形状)。接着基于所确定的高质量区1120的大小和形状而确定围绕初始高质量区1120的多个周围区1130。这些周
围区的显示质量低于所确定的高质量区1120。在特殊状况下，周围区1130中的每一个可取决于各种渲染条件(例如，所显示的对象特性、所显示的对象位置、到高质量区1120的距离等)而具有不同显示质量。
[0085]
在另一可能实施例中，如果子区域810表示用户的注视点210位于其中并且被施加第一程度的提高的渲染质量的某个区，那么周围区可由被应用第二程度的提高的渲染质量的区域800来表示(所述第二程度不如第一程度显著)。
[0086]
在一些实施例中，区域810的大小可基于偏离当前确定的注视点的约1到5度的偏心角。在示范性实施例中，所述角可以是约3度。虽然偏心角的概念将被本领域的技术人员良好理解，但出于演示的目的，现将参照图8来描述偏心角在本实施例中的使用。
[0087]
偏心角θ表示人的中央凹视觉。在一些实施例中，可优选的是，区域800大于图8中标记为“对象”的区域。这表示有很大的可能性当人的注视点210保持在子区域810内时此人将不能够按高质量察觉区域800外的信息。显示装置110上标记为“对象”的区域的大小主要取决于显示装置110的物理大小以及眼睛与显示装置110之间的距离。
[0088]
区域800的大小可被修改成影响性能，这是因为区域800的大小越大，按较高质量渲染图形所需的系统资源越多。举例来说，区域800可具有一定大小以便在显示器内调整2倍到12倍。此大小可视情况直接与显示装置110的大小或与偏心角相关，以使得大小可有效地缩放。在又一实施例中，可在调整由眼睛追踪装置120获得的信息以移除噪声之后确定注视点210。不同的人在由眼睛追踪装置120获得的注视信息中可以具有不同水平的噪声(例如，由于其眼睛围绕注视点游走)。如果一个人具有低水平的噪声，那么区域800可较小，并且因此实践本实施例的系统的性能可提高。
[0089]
在本发明的另一实施例中，提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上具有用于在显示装置110上呈现图形的指令。所述指令可由一个或多个处理器执行以至少在显示装置110上显示图像。所述指令也可执行以从眼睛追踪装置120接收信息，该信息指示用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变中的至少一个。所示指令可进一步执行以导致图形处理装置130至少部分基于用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变而修改显示在显示装置110上的图像。因此，还提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质能够结合其它实施例而实施本文所述的特征中的任一个。
[0090]
在本发明的另一实施例中，如图5所示而提供用于在显示装置110上呈现图形的方法500。在步骤510中，方法500可包含在显示装置110上显示图像。在步骤520中，方法500也可包含从眼睛追踪装置120接收信息，该信息指示用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变中的至少一个。在步骤530中，方法500可还包含导致图形处理装置130至少部分基于用户在显示装置110上的注视点或用户在显示装置110上的注视点的改变而修改显示在显示装置110上的图像。步骤530可包含：在步骤533中，提高围绕用户注视点的区域内的图像的质量，相比该区域外的图像而言。步骤530可还包含：在步骤536中，降低围绕用户注视点的区域外的图像的质量，相比该区域内的图像而言。因此，还提供结合其它实施例而实施本文所述的特征中的任一个的方法。
[0091]
在一些实施例中，可能考虑到显示装置110的多个额外观看者的存在，本文所述的系统和方法可由用户开启和关闭。在其它实施例中，本文所述的系统和方法可在仅一个用
户正观看显示装置110(如由眼睛追踪装置120所检测到)时自动开启并在一个以上用户正观看显示装置110(如由眼睛追踪装置120所检测到)时关闭。此外，在一些实施例中，当并未检测到观看者时，本文所述的系统和方法可允许降低整个显示装置110的渲染质量，因此在显示装置110并非任何观看者的主要注视点时节省系统资源和电力消耗。
[0092]
在其它实施例中，考虑到如由眼睛追踪装置120检测到的多个观看者的情形，本文所述的系统和方法可允许修改显示装置110上的图像的多个部分。例如，如果两个不同用户关注显示装置110的不同部分，那么所关注的图像的两个不同区域可按较高质量渲染以对每一观看者提供增强的观看性。
[0093]
在其它实施例中，与图像相关联的数据可告知本文所述的系统和方法允许预测用户可能接着关注图像的哪些区域。此数据可补充由眼睛追踪装置120提供的数据，以在可能由用户关注的区域中实现图像的质量的较快且较流畅的调整。例如，在体育赛事的观看期间，对教练或运动员的采访的画中画可呈现在图像的角落中。与图像馈送相关联的元数据可在图像的子部分中向本文所述的系统和方法提供可能的重要性以及因此观众兴趣点和可能的注视点。
[0094]
图6是图示可实施本发明的实施例的示范性计算机系统600的框图。此实例图示计算机系统600，其中计算机系统600例如可整体地、部分地或经过各种修改而用于提供例如上文所论述的眼睛追踪装置120、图形处理装置130、游戏控制台、处理器/计算机140和/或本发明的其它部件的功能。例如，眼睛追踪装置120和相关联的处理器的各种功能可由计算机系统600控制，这些功能仅举例来说包含追踪用户的注视点、确定预期注视点、控制图形处理装置130等。
[0095]
计算机系统600被示出为包括可经由总线690而电耦接的硬件元件。硬件元件可包含一个或多个中央处理单元610、一个或多个输入装置620(例如，鼠标、键盘等)和一个或多个输出装置630(例如，显示装置、打印机等)。计算机系统600可还包含一个或多个存储装置640。举例来说，存储装置640可以是盘驱动器、光学存储装置、固态存储装置，例如，随机存取存储器(ram)和/或只读存储器(rom)，它们可以是可编程的、可闪速更新的，等等。
[0096]
计算机系统600可另外包含计算机可读存储介质读取器650、通信系统660(例如，调制解调器、网卡(无线或有线)、红外线通信装置、bluetooth
tm
装置、蜂窝式通信装置等)以及工作存储器680，其中工作存储器680可包含如上所述的ram和rom装置。在一些实施例中，计算机系统600可还包含处理加速单元670，其中处理加速单元670可包含数字信号处理器、专用处理器等。
[0097]
计算机可读存储介质读取器650可还连接到计算机可读存储介质，所述计算机可读存储介质一起(并且，视情况结合存储装置640)全面表示用于暂时和/或较永久地包含计算机可读信息的远程、本地、固定和/或可移除的存储装置加存储介质。通信系统660可允许与网络、系统、计算机和/或上文所述的其它部件交换数据。
[0098]
计算机系统600可还包括被示出为当前位于工作存储器680内的软件元件，包含操作系统684和/或其它代码688。应了解，计算机系统600的替代实施例可具有不同于上文所述的内容的各种变化形式。例如，也可使用定制硬件，和/或可将特定元件实施在硬件、软件(包含便携式软件，例如，小程序等)或硬件和软件两者中。此外，也可存在与例如网络输入/输出和数据获取装置等其它计算装置的连接。
[0099]
计算机系统600的软件可包含用于实施如本文所述的架构的各种元件的功能中的任一功能或全部功能的代码688。例如，存储在例如系统600等计算机系统上和/或由其执行的软件可提供例如上文所论述的眼睛追踪装置120、图形处理装置130、游戏控制台、处理器/计算机和/或本发明的其它部件的功能。上文已更详细地论述可由软件在这些部件中的一些上实施的方法。
[0100]
已为了清楚起见和便于理解而详细描述本发明。然而，应了解，可在随附权利要求书的范围内实践某些改变和修改。