本申请要求在2016年4月29日提交的、申请号为62/329719、题为“wearabledevicecomprisingadisplayandimagesensor”的美国临时专利申请以及在2015年9月24日提交的、申请号为62/232268、题为“wearabledevicecomprisingadisplayandimagesensor”的美国临时专利申请的优先权，其全部公开内容通过引用的方式并入，并用作所有用途，如在本文中完全阐述那样。
技术实现要素：
在一个实施例中，提供了一种用于将输入设备映射到显示在显示设备上的虚拟空间中的虚拟对象的方法。该方法可以包括，经由眼睛追踪设备确定用户的注视方向。该方法还可以包括，至少部分地基于被引导到显示在显示设备上的虚拟空间中的虚拟对象的注视方向，修改响应于从输入设备接收第一输入而由一个或多个处理器要采取的动作。此后，方法还可以包括，响应于从输入设备接收输入，使动作发生，其中该动作使第一输入与和虚拟对象的交互相关联。
在另一实施例中，提供了非暂态性机器可读介质，其上存储有用于将输入设备映射到显示在显示设备上的虚拟空间中的虚拟对象的指令。该指令是由一个或多个处理器执行，以执行一方法。该方法可以包括，经由眼睛追踪设备确定用户的注视方向。该方法还可以包括，至少部分地基于被引导到显示在显示设备上的虚拟空间中的虚拟对象的注视方向，修改响应于从输入设备接收第一输入而由一个或多个处理器要采取的动作。此后，方法还可以包括，响应于从输入设备接收输入，使动作发生，其中该动作使第一输入与和虚拟对象的交互相关联。
在另一实施例中，提供了用于将输入设备映射到显示在显示设备上的虚拟空间中的虚拟对象的系统。该系统可以包括眼睛追踪设备和一个或多个处理器。眼睛追踪设备可以用于确定用户的注视方向。一个或多个处理器可以配置为，至少部分地基于被引导到显示在显示设备上的虚拟空间中的虚拟对象的注视方向，修改响应于从输入设备接收第一输入而由一个或多个处理器要采取的动作。此后，处理器可以响应于从输入设备接收输入，使动作发生，其中该动作使第一输入与和虚拟对象的交互相关联。
附图说明
结合附图描述本发明：
图1展示了本发明的示例性可穿戴设备，其具有显示设备和眼睛追踪设备；
图2展示了本发明的各个实施例的示例性的轮廓传感器输出；
图3a展示了在本发明的各个实施例中使用的水平的和垂直的像素合并；
图3b展示了用于确定注视方向的本发明的一个可能的方法的实施例；
图4展示了本发明的一个实施例，其中将冷镜被应用于耳机透镜；
图5展示了用于平移虚拟现实显示器的本发明的一个可能的方法的实施例；
图6展示了用于将输入设备映射到虚拟对象的本发明的一个可能的方法的实施例；
图7a展示了本发明的一个系统实施例，其中传感器/照明器设置在可穿戴设备的透镜上和/或透镜中；
图7b展示了本发明的一个实施例的详细视图，其中光纤布置在主观看透镜上的凹槽内；
图7c展示了图7b的光纤的终点的轮廓视图；
图8是示例性计算机系统的框图，该计算机系统能够被用于本发明的装置或系统的至少一些部分，或实施本发明的方法的至少一些部分；
图9是本发明的显示设备的视图，其中响应于用户的注视点而发生图像修改；
图10a是图像质量如何在修改的图像区域内连续变化的示意图；
图10b是图像质量如何在修改的图像区域内逐步变化的示意图；
图11是本发明的显示设备的视图，其中响应于检测到的用户注视点的改变而发生图像的修改；以及
图12是用于基于用户的注视点修改图像的本发明的一种可能的方法的流程图。
在附图中，类似的部件和/或特征可以具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记之后用区分类似部件和/或特征的字母来区分。如果说明书中仅使用了第一附图标记，则该描述适于具有相同第一附图标记的任何一个类似部件和/或特征，而不考虑字母后缀。
具体实施方式
随后的描述中仅提供了示例性实施例，并不旨在限制本公开的范围、适用性和配置。相反，随后描述的示例性实施例将向本领域技术人员提供用于实现一个或多个示例性实施例的使能描述。应该理解，在不脱离如所附权利要求中阐述的本发明的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
例如，关于一个实施例讨论的任何细节可以存在或不存在于该实施例的所有预期版本中。类似地，关于一个实施例讨论的任何细节可以存在或不存在于在本文描述的另外的实施例的所有预期版本中。最后，关于本文的实施例的任何细节的讨论的缺乏应当是隐含的认识，即这种细节可以存在或不存在于本文讨论的任何实施例的任何版本中。
在以下描述中给出具体细节以提供实施例的透彻的理解。然而，本领域技术人员将理解，实施例可以在没有这些具体细节的情况下实施。例如，在本发明中的电路、系统、网络、处理器及其他元件可以以框图的形式示出为部件，以便不会在不必要的细节上使实施例模糊。在其他例子中，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术，以避免使实施例模糊。
另外，应当注意，单独的实施例可被描述为被描绘为流程图、作业图、数据流程图、结构图或框图的过程。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时地被执行。此外，操作的顺序可以被重新安排。当操作完成后，过程可以被终止，但可能有其他步骤未讨论或包含在图中。此外，并非在任何具体描述过程中的所有操作都可能发生在所有实施例中。过程可以对应于方法、功能、步骤、子例程、子程序等。当过程对应于功能时，其终止对应于到调用函数或主函数的函数的返回。
术语“计算机可读介质”包括但不限于暂时性和非暂时性的便携式或固定的存储设备、光学存储设备、无线信道，以及能够存储、包含或携带指令和/或数据的各种其他的介质。代码段或机器可执行指令可以表示程序、函数、子程序、步骤、例程，子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容来连接到另一代码段或硬件电路。信息、变元、参数、数据等可以通过包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段被传递、转发或传输。
此外，本发明的实施例可以至少部分地手动或自动地被实施。手动或自动实施可以通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或至少辅助。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器将执行必要的任务。
本发明大致上涉及可穿戴设备，该可穿戴设备包括显示器和图像传感器，该可穿戴设备使用通过图像传感器获得的信息来改变在显示器上的信息。具体地，本发明涉及用于利用关于眼睛的信息来改变显示器上的信息的系统和方法。
包含显示器的可穿戴设备是众所周知的，通常他们在虚拟现实(vr)和增强现实(ar)系统中使用。在这些系统中，显示器用于为用户提供模拟在vr情况下的不同现实的体验，或在ar情况下的增强现实的体验。
在一些情况下，可穿戴设备不需要包含任何种类的显示器。例如，由专利号为9041787的美国专利所描述的系统不需要显示器。出于所有目的，上述专利的全部内容通过引用结合于此，如同在此完全阐述一样。
在一些实施例中，眼睛追踪设备及其类似物的使用可以结合到这些可穿戴设备中，以提高他们的性能。例如，美国专利申请公开号2015/0062322描述了一种可穿戴眼睛追踪设备。出于所有目的，上述专利公开的全部内容通过引用结合于此，如同在此完全阐述一样。
在usinganeye-trackingsystemtoimprovecameramotionsanddepth-of-fieldblureffectsinvirtualenvironments(hillaireetal,2008,virtualrealityconference)中，描述了虚拟现实设备中的眼睛追踪的一个实现，由此眼睛追踪用于确定在虚拟的实施例中的用户的焦点。然后在渲染虚拟环境时使用焦点，以便在导航虚拟环境时改善用户的感觉。出于所有目的，上述公开的全部内容通过引用结合于此，如同在此完全阐述一样。
本发明的实施例试图提供用于在可穿戴设备中的眼睛追踪的改进的方案，以及在vr、ar或其他环境中的眼睛追踪信息的改进使用。这些改进可能涉及对于在可穿戴设备中使用的硬件方案，以及对于与相同的或相似的设备一起使用的软件方案。
因此，本发明至少一些实施例的目的是提供改进的可穿戴眼睛追踪系统。本发明的实施例的这个和其它的目的将从说明书和权利要求以及附图中变得明显。
本发明的各个实施例和方面将使用本文中的标题进行布置，以便于促进更容易地理解本发明。
根据本发明的第一方面，提供了至少包括显示器和眼睛追踪装置的可穿戴设备。来自眼睛追踪装置的信息可以由相关联的计算设备(例如计算机、平板电脑、移动设备或其他支持处理器的设备)来使用，以影响或改变显示在显示器上的项目。
在一些实施例中，眼睛追踪装置包括至少一个图像传感器和至少一个照明源。在一些实施例中，眼睛追踪装置可以包括两个图像传感器和两个照明源。取决于实施例，任何数量的图像传感器和照明源都是可能的，并且图像传感器和照明源可能是相等的或可能是不相等的。照明源将照明投射到可穿戴设备的佩戴者的眼睛上，图像传感器捕获佩戴者的眼睛的一个或多个图像。基于眼睛上照明的反射位置，可以确定用户注视的方向。举例来说，在美国专利申请公开号2015/0061996中描述了用于利用可穿戴眼睛追踪装置来确定用户的注视方向的合适的系统。出于所有目的，上述公开的全部内容通过引用结合于此，如同在此完全阐述一样。
直接地或无线连接到眼睛追踪装置和显示器的可以是计算单元或其他相关联的处理设备。计算单元或其他处理设备基于来自眼睛追踪装置的信息进行计算，并可能在考虑计算之后控制显示在显示器上的信息或其他内容，以修改显示在显示器上的信息或其他内容。
图1展示了具有本发明的各个实施例的注视追踪的典型vr耳机100的方框图。如本文所描述的，本发明的不同实施例具有更多或更少数量的组件，并且可以可变化地定位/配置。耳机100可以包括显示设备110和眼睛追踪设备120，其中眼睛追踪设备120包括照明器123和图像/光传感器126。照明器123和图像/光传感器126可以包括专用的透镜。处理器130可以提供组件的计算/操作控制。在一些实施例中，耳机100还可以包括检测耳机100的移动的运动/移动检测子系统140。通信总线(未图示)可以提供与相关联的计算设备的有线和/或无线通信。
轮廓传感器
在一些实施例中，轮廓传感器可以用于确定用户的注视方向。在这些实施例中，可以提供可穿戴设备，其包括至少一个指向用户眼睛中的至少一个的轮廓传感器。合适的轮廓传感器的示例是由hammamatsu制造的型号为s9132的轮廓传感器。如本领域技术人员将理解的，轮廓传感器通过将行和/或列中的所有像素的值汇总为单个值来操作。
另外，可以提供至少一个红外光发射器并将其导向用户的至少一只眼睛。以这种方式，轮廓传感器可以用来确定来自用户的角膜的红外光的反射(或者称为“闪光”)的位置。如本领域技术人员将容易理解的，因此可以通过分析用户角膜上的闪光的位置来进行基本的注视追踪。在进一步的改进中，也可以使用两个或多个轮廓传感器。这提供了几个优点。
首先，如果使用了多于一个的二维轮廓传感器，在三维中确定了角膜的半径和闪光的位置之后，有可能在三维中确定用户眼睛的角膜的中心，而不是在二维中。
第二，布置至少两个轮廓传感器使得所产生的闪光不重叠，允许更精确的闪光检测。例如，考虑由照明器a和b引起的两个闪光的情况。如果它们通过与闪光方向相同方向排列的一维轮廓传感器来成像，传感器只会记录由两个闪光引起的单个响应，所以很难或不可能确定闪光是由照明器a、照明器b或其二者引起的。以这样的方式来对齐照明器和轮廓传感器，使得在任何轮廓传感器的任何读出中闪光都不重叠，因此是有利的。
替代性地，可以调节照明器以确保在任何给定的时间只有一个照明器被点亮。在这种布置中的轮廓传感器可以被设计成以非常快的采样速率操作，启用许多样本，并且在短时间的帧内在每个样本处仅从一个照明器捕获闪光，以确保样本之间只有最小的眼睛移动。
第三，可以使用多个一维的轮廓传感器。为了使这样的系统准确地起作用，每个传感器必须相对于彼此放置和旋转。以这种方式，每个传感器的单一维度可以在处于水平和垂直配置之间交替，尽管相对的方位差不必限制在90度。此外，在这些配置中可能希望对每个一维的轮廓传感器添加圆柱形的透镜。
在一些实施例中，轮廓传感器可将传感器的像素矩阵的所有行的总和和/或所有列的总和输出到处理设备。使用被称为峰值检测的技术可以发现来自红外照明器的红外光在用户的角膜上的反射(称为闪光)。可以对行的总和及列的总和进行峰值检测。图2在行或列的总和的输出上阐释了该技术，其中x轴代表轮廓传感器的像素，y轴代表幅度，以突出显示的峰值作为示例。
在可选的改进中，为了便于高速的眼睛追踪(其中先前计算的闪光的位置是已知道的)，为了峰值仅必须分析像素的子集。例如，可以仅分析接近已知的先前的闪光位置的10-20个像素。
一旦知道了闪光位置，可以使用例如注视点模型的多项式闪光来确定注视的方向：
gazex＝c1x+c2y+c3xy+c4x2+c5y2+c6
gazey＝c7x+c8y+c9xy+c10x2+c11y2+c12
其中注视x和注视y是注视点的x和y位置，x和y是闪光的x和y位置，c1...c12是经校准的模型参数。
在一些实施例中，可以与轮廓传感器相结合地提供多于一个照明器。这些照射器可被选择性地启用或调节，并且处理设备可以基于从捕获的图像数据导出的度量来确定启用哪个照明器。替代性地，照明器可以按照预定的顺序被点亮，确保在任何给定的时间只有一个照明器被点亮。
在另一实施例中，可穿戴设备还可以包含至少一个传统的区域传感器类型的图像传感器。这种传统的传感器也可以针对用户的至少一只眼睛。传统的传感器可以捕获用户的眼睛的图像，并且系统可以进行传统的瞳孔中心角膜反射(pccr)眼睛追踪。pccr是一种确定用户的注视的众所周知的且易于理解的方法。关于该方法的进一步信息可以在多个地方找到，包括在2006年6月biomedicalengineering,ieeetransactions的第六册第63卷1124-1133页中的guestrin，e.d.,eizenman,e.所著的“generaltheoryofremotegazeestimationusingthepupilcenterandcornealreflections”。
通过将使能够输出所有列的总和和/或所有行的总和的轮廓传感器与传统图像传感器相结合，系统可以使用轮廓传感器进行闪光追踪，并使用传统的传感器进行pccr追踪。由于由轮廓传感器提供的附加信息，传统的传感器然后仅需要以0.5-10.0hz运行。因此，该系统可以实现低功耗、低延迟和高帧率(或采样率)。
只要传感器相对于用户的脸部保持固定，追踪闪光的轮廓传感器将会给出足够的注视数据，而来自传统图像传感器的图像允许传感器相对于脸部移动时进行滑动补偿。然而，通常地，眼睛移动比在用户的头部上的可穿戴设备的任何潜在的滑动要快得多。因此，寻找一种仅在低功耗和低延迟下追踪闪光位置的方法是有意义的。这可以允许在vr耳机中进行注视点渲染，其中相对低功率的眼睛追踪方案可以允许大量节省vr系统的整体功耗，因为图形渲染功率的需要可被显著地降低。
例如，可以将传感器设置为一模式，在该模式中，传感器循环通过两个或更多个照明器，一个传感器曝光只有一个照明器点亮。例如，传感器可以设置为在一周期中运行，在该周期中，在第一传感器曝光期间，第一照明器被点亮，然后计算在敏感区域的至少10％的行中的至少10％像素元件的总和，以及在敏感区域的至少10％的列中的至少10％的像素元件的总和(并且闪光的位置被检测)。此后，在第二传感器曝光期间，第二照明器被点亮，然后在敏感区域的至少10％的行中的至少10％的像素元件的总和以及在敏感区域的至少10％的列中的至少10％的像素元件被计算。此后，传感器从传感器的敏感区域的至少一子部分捕获传统的图像，同时照明器中的至少一个被点亮。
在替代性的实现中，传感器可以设置为在一周期中运行，在该周期中，在第一传感器曝光期间，第一照明器被点亮，然后计算在敏感区域的至少10％的行中的至少10％的像素元件的总和。其次，在第二传感器曝光期间，第一照明器被点亮，在敏感区域的至少10％的列中的至少10％像素元件的总和被计算。此后，传感器从传感器的敏感区域的至少一子部分捕获传统的图像，同时照明器中的至少一个被点亮。
能够像传统图像传感器那样操作、并且还能够输出像素线的总和和/或敏感区域的像素列的总和的曲线的图像传感器，可以包括用于将一个或多个照明器与传感器的曝光相同步的输出引脚。
能够像传统图像传感器那样操作、并且还能够输出像素线的总和和/或敏感区域的像素列的总和的曲线的图像传感器，还可以支持菊花链(daisychaining)，从而允许两个或更多个传感器通过相同的数据总线(例如mipicsi-2接口)连接到处理单元。
能够像传统图像传感器那样操作、并且还能够输出像素线的总和和/或敏感区域的像素列的总和的曲线的图像传感器，还可以包括用于检测到在其视野中的对象的距离的装置。这可以通过“飞行时间”分析来完成。
为了补偿环境光曲线数据和/或传统的图像数据，图像传感器可以不时地被采样而无需主动照明，即不需要点亮任何照明器。
图像传感器还可以用于通过虹膜识别来识别用户的登录、安全性和/或其他原因。
能够像传统图像传感器那样操作、并且还能够输出针对像素线的总和和/或敏感区域的像素列的总和的曲线的图像传感器，可以设计成使得当传感器运行在轮廓模式下时，每个像素只能包括在线的总和或列的总和中。例如，可以将像素元素布局成格状图案，其中只有每隔一个像素可以被求和成行轮廓，并且其他像素可以被求和成列轮廓。
图像传感器的替代性的实施方式是将敏感区域划分成格状图案，其中每隔一个像素按行读出，并且每隔一个像素按列读出，基本上每行旁边有ad转换器，每列旁边有ad转换器。这意味着该传感器的传统的图像将是传感器的分辨率一半的两个图像，一个垂直地读出，另一个水平地读出。这增加了传统的pccr眼睛追踪的计算的复杂性。图3在一个示例以及上面讨论的其他示例中说明了这样的配置：其中经由其单独的像素、2d轮廓传感器和/两个垂直地取向的1d轮廓传感器来模拟轮廓传感器的区域图像传感器可以以一种方式被采用，在该方式中，每隔一行(用“x”来标记)的每隔一个像素用于水平闪光/图像数据获取(水平的格1-5)，每隔一列(也是用“x”来标记)的每隔一个像素用于垂直的闪光/图像数据获取(垂直的格1-5)。
有益的是，传感器可以这种方式设计，使得其支持对于从每行读出的图像的水平的像素合并，以及对于从每列读出的图像的垂直的像素合并，因此便于低功率闪光检测。例如，传感器可被设计成将来自8-16个像素元素的或甚至更多的值求和成一个值，这意味着其可以作为支持子窗口功能的轮廓传感器来操作，这可以有助于抑制不相关的信号并降低噪声。
在支持或不支持子窗口的情况下，能够操作为轮廓传感器的传感器可以包括用于检测闪光的中心的hw逻辑，从而进一步降低发送到外部处理单元所需的功耗和数据量。在传感器支持子窗口的情况下，传感器可以在闪光的中心检测之后改变子窗口位置，以确保随后的轮廓图像包括闪光。
支持传统的pccr眼睛追踪以及闪光追踪的眼睛追踪器的替代性的实施例，该眼睛追踪器允许在支持注视点渲染的延迟和数据率下的低功率眼睛追踪，其具有用于对眼睛进行成像的传统的传感器，但是当传感器以特定的预定义子窗口模式操作时，包括用于闪光中心检测的hw逻辑。例如，这可能仅适用于24×24像素、32×32像素、48×24像素或其他适当分辨率的子窗口。
在一些实施例中，可以采用有机发光二极管(oled)显示器。oled显示屏通常是透明的，在它们后面放置了镜子，以确保所有光都向前(朝向观看者)发送。为了眼睛追踪的目的，冷镜可以放置在oled显示器的后面，基本上将来自显示器的所有可见光朝向用户的眼睛反射，但是允许nir光通过。以这种方式，检测nir光的眼睛追踪传感器可以放置在显示器的后面，穿过显示器看向观看者，从而实现朝向用户的眼睛的有利的视角。
在vr耳机中，使用菲涅耳透镜使显示器出现在离用户的距离比其实际距离更远的距离处也是常见的。具有像这样的透镜的缺点是：它会扭曲来自显示器的图像，并且同样会扭曲透过透镜从眼睛追踪传感器看到的眼睛的图像。因此，可以优选地补偿在眼睛追踪算法中的这种失真。
菲涅尔透镜附加的效应是，它可以导致在眼睛的图像中的圆形缺陷，就如从眼睛追踪传感器所看到的那样。该模式类似于，当你扔进一块小石头并试图看着表面以下的东西时，波浪在水上的扭曲效果。因此，在机器视觉算法试图检测不同的眼睛特征或闪光之前，对通过菲涅尔透镜观看眼睛的眼睛追踪传感器进行校准，以确保来自传感器的图像被调整以补偿菲涅耳透镜的缺陷，这是有利的。
能够像传统图像传感器那样操作、并且还能够输出像素线的总和和/或敏感区域的像素列的总和的曲线的图像传感器，还可以被设计成支持子窗口。这在传统的图像传感器中是常见的，但是通过在轮廓模式下操作时允许子窗口，在像素元素被求和到行轮廓/列轮廓之前，可以去除来自传感器的视野中的许多潜在的破坏反射或光源，因此确保在闪光位置的确定中的更高的精确，并允许对于后续采样的子窗口进行重新居中。
图3b展示了上述用于确定用户的注视方向的可能的方法300的框图。在方框310处，一只或多只眼睛被一个或多个可用的照明器照明。在方框320处，一只或多只眼睛经由一个或多个可用的传感器(轮廓传感器和/或区域图像传感器)而被成像。方框310和320可以根据需要重复。在方框330处，如上所述，传感器的数量和/或其处于什么位置可以被限制为关注可能的像素/分辨率的子窗口，在那里成像可能是确定注视的位置所必需的。方框310、320和330可以根据需要重复。在方框340处，可以确定注视的方向，并且可以根据需要重复方框310、320、330和340，以根据需要连续地重新确定改变的注视方向和/或子窗口。
热镜
在一个实施例中，如图4所示，透镜400设置在可穿戴设备(例如虚拟现实耳机)中。透镜400被定位成使得设备的佩戴者可以通过透镜400观看显示器110。固定在透镜400顶上的是热镜涂层或膜410，并且固定在热镜膜410顶上的是多个照明器420。薄膜410具有朝向透镜400的中心的切口部分430，以允许眼睛追踪摄像头通过透镜400来观看。
热镜涂层或膜410可以直接施加到透镜400上，或为了便于制造，热镜涂层或膜410也可以是不用作透镜的作用的单独件的形式。此外，也是为了便于制造，也可以将玻璃或塑料的单独件放置在热镜的顶上，并且照明器420可以固定在该单独件上。
照明器420可朝向佩戴者440的眼睛向外发射红外光，然后该红外光由佩戴者的眼睛朝向透镜400反射。膜410具有热镜的特性，换句话说，膜410允许可见光谱中的光通过，同时防止红外光谱中的光通过。以这种方式，由在透镜400后面的显示器110发射的可见光可以通过到佩戴者的眼睛，而大多数红外光被阻止通过。
位于透镜后面并且通过切口部分430观察的图像传感器捕获佩戴者的眼睛的图像，该图像包含由照明器420发射红外光的反射，连接到图像传感器的处理设备然后分析那些图像，以基于红外光的反射来确定用户的注视的方向。
尽管已经参照多个红外照明器420描述了该实施例，但是本发明可以仅利用一个照明器充分地起作用。
照明器420可以以多种方式施加到膜410，首先简单地通过胶或者替代性地可能的应用是通过将电子器件直接印制到膜410上。照明器420将进一步必须具有施加到膜410的通信线，使得照明器可以接收电力以被开启和关闭。
在一个实施例中，可穿戴设备包括具有相关联的膜410和照明器420的两个透镜400。膜410可以通过胶或一些其他的半永久物质而被施加到透镜。在具有两个透镜的系统中，光可以从用户的皮肤反射到透镜中，由此该透镜具有波导效应并且将光引导离开可穿戴设备。热镜410的存在起到减少这种光的出现的作用。
在替代性的实施例中，照明器420可以放置在透镜400(或如前所述的附加件)的侧面。然后来自照明器420的照明可以穿过透镜400以在用户的眼睛的前方发射。光的这种引导发生在已应用热镜410的透镜区域中，以防止朝向显示器110发射照明。
在本发明的进一步补充中，可以在显示器110的前面添加具有角度的热镜410，并且图像传感器布置成观看热镜。透镜400然后被放置在用户的眼睛的前方，照明器420位于其旁边。照明器420对用户的眼睛进行照明，并且由于透镜400具有热镜膜或涂层，如先前所描述的，来自照明器420的杂散照明被减少。热镜膜或涂层中的切口允许图像传感器能够通过具有角度的热镜来捕获用户眼睛的图像。
算法
在各个实施例中，使用算法从包含眼睛的图像和来自所述眼睛的红外光的反射来确定眼睛的注视方向。处理单元基于使用捕获的图像的算法来进行计算以确定注视方向。
这里描述的可穿戴设备中使用的算法与用于远程的、现有的眼睛追踪单元中使用的算法基本类似。因此，本领域技术人员应该很好地理解确定注视方向的基本方法。
但是，下面将讨论几个改进。
瞳孔位置
确定眼睛追踪设备中的注视方向的一个步骤是估计瞳孔的位置和大小。在一些实施例中，可以使用以下方法来估计瞳孔大小和/或位置。
在捕获的图像中，由照明器发射的红外光的反射位置被分析，以确定它们相对于先前捕获的图像的位置。反射的位移与来自先前捕获的图像的瞳孔的位置相结合，接下来用于确定瞳孔在当前图像中的位置。
菲涅尔透镜
当菲涅耳透镜存在于可穿戴设备中时，由眼睛追踪图像传感器通过菲涅耳透镜捕获的图像通常包含如菲涅耳透镜中存在的同心圆。当试图确定注视检测时，这些同心圆可能被处理单元错误地确定为瞳孔边缘，因此有必要快速地并准确地去除这些同心圆。
在一些实施例中，使用腐蚀将这些同心圆从捕获的图像中去除。腐蚀是本领域技术人员将很好理解的图像处理概念。使用腐蚀，小的内核(例如3×3或5×5像素的)被逐元素地传递到捕获的图像上。对于每个像素，强度值被像素邻域中最暗的像素替换，其中邻域的大小由内核定义。由于捕获的图像中的瞳孔是暗的，所以捕获的图像中的光同心圆因此被暗的瞳孔代替。
遮蔽光
另一个实施例允许使用硬件或软件来沿着跨过2d图像传感器的线进行数学运算，以提供类似于轮廓传感器的输出的输出。该线通常可以是该传感器的行和列，但不一定限于这些方位。这将允许不仅计算线上所有像素值的平均值和/或总和，还计算其他运算，并且可以对来自已知不包含任何闪光的图像的部分的光进行遮蔽。对来自不包含任何闪光的图像的部分的光进行遮蔽增加了信噪比，并且因此通过允许检查轮廓响应的强度分布来辅助检测闪光。在示例性的实施例中，要遮蔽的区域可以是角膜外的所有区域，并且来自眼睛追踪算法的最近的输出可用于给出遮蔽的近似的区域。
使用传统的图像传感器来模拟2d轮廓传感器，减少了用于眼睛追踪所需的计算负载并因此降低了功耗。然而，帧率限于2d图像传感器的帧率。
即使当使用真实的轮廓传感器时，也可以对来自不包含任何闪光的图像的部分的光进行遮蔽。
对来自已知不包含任何闪光的图像的部分的光进行遮蔽的一个方法是：通过使用一个或多个其光可被空间地控制的照明器(例如透镜后面的红外oled阵列、具有dlp或lcos投影仪的任何布置，或本领域技术人员容易理解的众多的其它的方案)。
对来自已知不包含任何闪光的图像的部分的光进行遮蔽的另一方法是：通过在进入轮廓传感器前，使用阻挡部分的光的元件。那些阻挡元件可以是基于lcd的、基于机械的，或基于本领域技术人员容易理解的众多的其他的方案。
使用传统图像传感器模拟轮廓传感器
如前所述，可以利用包括像素矩阵的传统图像传感器来模拟轮廓传感器。为了实现这一点，硬件或软件可以进行数学运算(例如，沿着传感器上的线计算平均强度水平，或沿着传感器上的线计算所有强度水平的总和)以提供类似于轮廓传感器的输出。通常地，这将相当于来自传统传感器的输出行或列。但是，可能输出任何像素配置，例如对角线。通过使用该模拟系统，可以执行更多的运算，而不仅仅是传统的一行上所有像素值的均值和总和，例如先前所描述的遮蔽。此外，可以对来自已知不包含任何闪光的捕获图像(图像传感器中的像素)区域的检测光进行遮蔽。通过进行该遮蔽功能，可以增加信噪比。要遮蔽的区域的示例是用户的角膜外的区域，因为该区域不能提供闪光。
对来自不能提供闪光的图像的区域的光的遮蔽可以使用传统的轮廓传感器来进行。用于对光进行遮蔽的进一步的选项包括：利用其光可被空间地控制的照明器，例如透镜后面的红外oled阵列、具有dlp或lcos投影仪的任何布置，或本领域技术人员容易理解的众多的其它的方案。另一选项是阻止来自非提供区域的光到达传感器，这可以通过机械方案、lcd方案或本领域技术人员理解的任何其他方案来实现。机械lcd方案可以包括将透明lcd放置在轮廓传感器前面。
与显示器同步的眼睛追踪器
对于眼睛追踪的特定应用，使眼睛追踪设备与显示器同步是有价值的，特别是在可穿戴装置中。根据本发明的实施例的这个方面，可穿戴设备设置有显示器、至少一个摄像头和至少一个照明器。摄像头和照明器形成眼睛追踪设备。摄像头和/或照明器都可以与显示器同步。同步可以被表征为将摄像头频闪速率与显示器的v-同步相同步。
进一步希望将眼睛追踪设备与一个或多个位置设备相同步。例如，眼睛追踪设备可以与惯性测量单元等相同步，或与使用红外或其他不可见光的房间位置设备相同步。这样的系统已由
可移除的眼睛追踪器
根据本发明的实施例的另一方面，提供了可移除的眼睛追踪器，由此眼睛追踪器可以被插入到可穿戴设备中。眼睛追踪器然后可以另一设备(例如电话、平板电脑、手表、显示器等)相集成。
眼睛追踪器可以包括至少一个摄像头和至少一个照明器，并且其主要功能可以是追踪用户相对于该眼睛追踪器被集成到其中的设备(例如电话、平板电脑或手表)的注视。作为次级功能，眼睛追踪器有时集成到其中的设备可以被插入到可穿戴设备中。设备然后可以向可穿戴设备提供例如显示器的功能，并且眼睛追踪器可以用于确定可穿戴设备的佩戴者的注视方向。眼睛追踪器的操作方法可以是本文所述的任何传统的方法或任何方法。
微笑认证
根据本发明的一个方面，在可穿戴设备中用于眼睛追踪的图像传感器也可以用于捕获用户的眼睛周围的区域的图像。例如，可以分析这些图像以确定用户是否在微笑，以及确定该微笑是真的还是假的。用户眼睛周围的区域的特征可以用来确定微笑是假的还是真的。例如，参见2001年的第8届神经计算联合研讨会论文集中littlewort-ford，gwen，marianstewartbartlett和javierr.movellan所著的“areyoureyessmiling？detectinggenuinesmileswithsupportvectormachinesandgaborwavelets”。出于所有目的，上述公开的全部公开内容通过引用结合于此，如同在此完全阐述一样。
根据本发明的实施例，用于眼睛追踪的图像传感器在捕获眼睛图像时捕获至少一部分的眼睛周围的区域，然后可以使用已知的微笑或其他检测算法来分析这些图像，以确定用户的微笑或其他面部特征是假的还是真的。
基于虹膜识别的校准
根据本发明的实施例，用于眼睛追踪的图像传感器进一步捕获与用户的虹膜有关的信息。该虹膜信息可用于确定用户的身份，用于输入到连接至眼睛追踪器的系统。
例如，根据本发明的一些实施例，提供了一种可穿戴设备，其中提供了至少一个图像传感器和至少一个红外照明器。图像传感器和照明器面向佩戴该设备的用户的一只或多只眼睛。可选地，该设备还包含显示器，例如在可穿戴耳机中的虚拟现实显示器。
图像传感器捕获用户的虹膜图像并将所述图像传递到处理设备，处理设备可以位于可穿戴设备上或可以位于远离处理设备的位置，在这种情况下，通信可以通过有线的或无线方式来实现，如本领域技术人员将理解的那样。
虹膜识别是已知的技术，并且使用数学模式识别技术来唯一地识别在用户的一个虹膜或两个虹膜上的图案，用于用户的识别或认证。在其最基本的形式中，虹膜识别包括以下步骤：(1)定位——计算虹膜的内部和外部边界；(2)标准化——对捕获的数据进行标准化以保持一致性；(3)特征提取——形成从捕获的图像提取的特征的特征向量；以及(3)匹配——使用阈值技术对特征向量进行分类。
已经提出了许多允许虹膜识别的算法，例如参见1993年的期刊ieeetransactionsonpatternanalysisandmachineintelligence，第15卷第1i期，第1148-1161页，daugmanj.g.所著的highconfidencevisualrecognitionofpersonsbyatestofstatisticalindependence。出于所有目的，上述公开的全部公开内容通过引用结合于此，如同在此完全阐述一样。
基于用户的虹膜的图像，与可穿戴设备连接(有线或无线)的处理单元可以使用用户的标识来影响其功能。例如，当使用眼睛追踪器时，处理单元可加载校准分布，该校准分布提供特定于用户的、关于他们所计算的注视位置和真实的注视位置之间的偏移的信息。作为另一示例，该标识可以用于认证用户被授权操作可穿戴设备，或者被授权操作与其相连接的处理单元。
眼睛扭转补偿
根据本发明的实施例的另一方面，可以追踪眼睛扭转。作为解释，人的眼睛以这样的方式附着在肌肉上：除了向左/向右和向上/向下移动之外，眼睛也可以旋转，使得虹膜的顶部可以被旋转成更靠近鼻子，同时虹膜的底部旋转更远离鼻子。相反的旋转也是可能的。这种类型的旋转通常被称为眼睛扭转。
当人将他们的头轻微旋转到他们的侧面时，大多数人会自动地以相反的方向轻微地转动他们的眼睛，并保持他们的眼睛接近与地平线相水平。这种效应仅在小的旋转期间有效，因为不可能以这种方式将眼睛旋转大的度数。
这种现象对于视网膜的中央凹不完全沿着眼睛的光轴居中的所有人，在眼睛追踪系统中引入了额外的误差源。
本发明可以通过观察眼球上的虹膜和/或其他特征，和/或使用来自眼睛追踪器的方位信息来追踪眼睛的扭转。这可以为眼睛追踪器提供对视网膜的中央凹的位置的更好估计，并且因此当眼睛追踪的主体的头部倾斜时，提供眼睛追踪的主体的注视的更好的估计。
角膜曲率
根据本发明的实施例中的一个实施例，至少一个图像传感器捕获用户的眼睛的图像。计算单元利用该信息来确定用户的角膜的形状。根据来自红外光源的反射的位置和方位，可以测量角膜的曲率。在一些人中，他们的角膜具有异常的曲率。这可以称为散光。
通过使用从图像传感器和红外光源获得的信息，可以模拟角膜的曲率，并且因此可以识别具有异常形状的角膜的用户。通过确定角膜的形状，可以进行矫正措施，例如规定合适的透镜。
功耗和处理功率降低
在一些实施例中，为了进一步降低可以包括虚拟现实显示器或其他显示系统的可穿戴设备的功耗，眼睛追踪设备可以仅直接地追踪用户的第一只眼睛的注视位置。然后可以通过至少部分地基于针对第一只眼睛直接确定的注视位置的预测来确定用户的第二只眼睛的注视位置。
这可以基于第二只眼睛与第一只眼睛大约在同一水平面上的假设来完成，如人类的生物学典型那样。以这种方式，可以节省另外的眼睛追踪设备(包括照明器、图像传感器和/或处理能力)所使用的功率。在一些实施例中，双眼的确定的与预测的注视位置二者的结合然后可以被用来确定用于在可穿戴设备的显示器上的注视点渲染的区域，由于视频渲染效率的提高，可以进一步节省功耗。
在一些实施例中，特别是软件(例如游戏和/或其他高端图形应用程序)可以请求来自眼睛追踪设备的注视数据，以通知应用程序在未来如何与用户进行可能的交互、向图形处理单元提供多少图形信息和/或其他目的。而在其他实施例中，所有注视方向信息可以被传递到这种应用程序上，允许单独的应用程序请求这种信息，并且仅根据请求来提供这种信息，可以导致节省功率和处理。
虚拟现实平移与居中
在一些实施例中，提供了方案，以用于减轻用户对在用户可穿戴设备中的虚拟现实显示器或其他显示系统进行平移、并随后中心化的能力。通常地，因为虚拟现实显示器在任何方向上都是无限的(即，在虚拟显示器中向右看的用户将最终转动360度以观看原始的场景)，所以对用户来说平移可以变得笨拙，因为用户只能将头部转动这么多，继续转动会不舒服。
为了减轻这个问题，本文描述的系统可以允许用户通过朝向将发生平移的给定方向来转动他们的头部并移动他们的注视位置，来平移在虚拟现实显示器上的视野，但在用户的头部仍在转动的同时当确定了用户的注视方向已经在场景中重新居中了时(即他们的注视位置不再平移)，允许所显示的场景关于一点而重新居中。
在一些实施例中，注视方向的重新居中必须至少发生一段预定的时间，以确保用户确实完成了他们的视野平移。例如，用户的注视必须返回到当前视图的相对中心区域。在一些实施例中，区域的大小、形状和位置可以由用户设置。在一些实施例中，区域可以以不同的方式可见，可能地如用户设置的那样(即浅颜色指示的区域可以覆盖在显示器上的其他内容上)。在一些实施例中，可以向用户提供指示(即可听的或可视的提示)，以确认虚拟的显示器视图已被重新居中，并且他们可以再次将他们的头部位置移动到直向前的、中心的、中立位置。系统可以允许用户头部的重新居中，而不会导致显示器在原始平移的相反方向上重新平移。
类似地，如果用户的注视方向也与他们头部移动的方向相同，或者在彼此的某个/预定义的角度方向内，则平移速度可以在用户的头部保持直向前的情况下开始和/或增加(即，其中平移在速度上将停止和/或降低)，但是他们的注视方向指示平移是期望的(即，通过将注视方向移动到周围的视图边缘)。此外，平移速度可以取决于用户头部移动的幅度，和/或与用户头部移动的幅度成正比。这意味着用户头部的大的或突然的移动可能快速地增加平移速度，而用户头部的小的或缓慢的移动可能缓慢地增加平移速度。
因此，在一个实施例中，可以提供用于平移(和重新居中)可穿戴设备的显示器上的内容的系统和方法。如图5所示，本文描述的系统可以进行方法500，该方法包括：在方框510处，经由眼睛追踪设备确定可穿戴设备的用户的注视方向。该方法还可以包括：在方框520处，经由移动检测系统确定可穿戴设备的用户的头部方向。运动检测系统可以包括任何内部的/集成的或外部/远程的设备，以确定用户的头部位置。移动检测系统可以通过在本领域中已知的或以后已知的任何方法来确定头部的位置。
该方法还可以包括：在方框530处，至少部分地基于与特定方向一致的注视方向和头部方向，使显示在可穿戴设备的显示器上的内容在特定方向上被平移。该方法还可以包括，在方框540处，在内容的平移期间，经由眼睛追踪设备确定用户的注视方向已经返回到中立位置。该方法还可以包括，至少部分地基于用户返回到中立位置的注视方向，使显示在可穿戴设备的显示器上的内容停止平移。
此外，从中立的/向前的方向超过一定角度方向的用户的头部方向也可以是平移的方向/速度。通常地，平移的速度可以基于注视方向和头部方向。可由用户提供额外的输入来指示系统停止平移。此外，在一些实施例中，系统可以向用户提供平移已经停止的可视的和/或可听的指示，并且用户可以将他们的头部移动回到向前的/中立的方向，而不用担心会发生相反方向的平移(如方框550所示)。
输入设备的虚拟现实映射
在一些实施例中，注视检测可以允许将输入设备的动作映射到虚拟现实显示中的虚拟对象的表面上。例如，如果虚拟的球体位于虚拟空间中，那么眼睛追踪设备可以确定在某刻用户的注视方向是朝向球体的。一旦接收到次级输入或者预定的时间段到期，相关联的输入设备可以将其控件映射到虚拟的对象。
次级输入可以包括来自传统的输入设备(例如键盘、触摸板(或其他触敏设备)、鼠标或追踪球)的接触输入；或者还可以包括非接触输入，例如声音命令或注视输入。更具体地，接触输入可以在触敏表面上具有的方向的输入，该触敏表面控制到虚拟球体上的映射到用户指定的位置；其中方向的输入是指触摸手势；并且接触输入也可以是从与触敏表面相关联的压敏装置接收的压力信号；最后但同样重要的是，接触输入可以与压力输入和触摸手势相结合。在接近触摸输入被从与接近传感器相关联的触敏设备接收、而没有与触敏表面进行物理接触的情况下，接近输入也是可能的。
将输入设备的控件映射到对象可以采取多种形式。例如，如果鼠标是被映射的输入设备，那么来自鼠标的输入可以确定在虚拟空间中对象的旋转，或者可以使在对象上的视觉指示符(例如指针)关于虚拟对象移动。这可以允许由使用虚拟对象的用户来执行复杂的动作。
在另一个示例中，在虚拟现实显示器中可以存在具有许多虚拟输入(例如开关和旋钮)的虚拟控制面板。在确定用户的注视方向指向虚拟的控制面板，并且预定时间段已经过去或者已经接收到次级输入时，键盘或鼠标的控件可被映射到控制面板。这可以允许将键盘的按键相应地映射到控制面板，或者鼠标移动以使可视的指示器或指针(即用户的手的视觉表示)在控制面板上移动，以选择或激活在其上的各种虚拟输入。
在一些实施例中，虚拟的控制面板(或其他虚拟对象)的预定义部分可以是用户的注视方向必须位于的区域才能激活控制映射(而不是用户的注视方向位于控制面板上的任何地方)。在一些实施例中，在虚拟显示器中预定的部分可以被可视地指示和/或标记。
因此，在一些实施例中，可以提供执行这里讨论的方法的系统。在图6中展示的的一个示例中，用于将输入设备映射到显示在显示设备上的虚拟空间中的虚拟对象的方法600可以包括：在方框610处，经由眼睛追踪设备确定用户的注视方向。
该方法还可以包括，在方框620处，至少部分地基于被引导到显示在显示设备上的虚拟空间中的虚拟对象的注视方向，修改响应于从输入设备接收第一输入而由一个或多个处理器要采取的动作。这也可以响应于在至少预定的时间段内或当次级输入被接收时被引导到虚拟对象上的注视方向而发生。用户也可以通过可见的/可听的指示而被通知可能的动作已被修改。
动作的修改可以包括：将动作从响应于对第一输入的接收而采取的正常动作修改为与虚拟对象相关联的、虚拟空间中的专门动作。与虚拟对象相关联的、虚拟空间中的专门动作可以是：致使第一输入使虚拟对象旋转和/或使第一输入来移动虚拟对象。在这些或其他实施例中，与虚拟对象相关联的、虚拟空间中的专门动作可以是：致使第一输入围绕虚拟对象的表面来移动次级对象。次级对象可以在对应于与第一输入相关联的方向的方向上移动，并且该次级对象可以是指针或其他虚拟位置标记。
此后，方法还可以包括，响应于从输入设备接收输入，在方框630处，使动作发生在方框640处，其中该动作使第一输入与和虚拟对象的交互相关联。
响应于用户的一些输入(可能是三级的或其他输入)，在一段时间过去之后，或者因为他们的注视已经从所讨论的虚拟对象移开，输入到虚拟对象的映射可以停止，如方框650所示。
仅作为示例，可被映射的输入设备包括：触敏设备、触敏屏幕、压敏设备、鼠标、追踪球、操纵杆、手持式控制器、触控笔、键盘、语音输入设备和/或其他本文讨论的或本领域已知的输入设备。
在一些实施例中，如本文描述的输入设备映射到虚拟对象的明显效果可以被放大或缩小，如用户在操作时将感知的那样。仅作为示例，在一个实施例中，其中用户正在使行星的虚拟表征发生旋转，被映射到该虚拟对象的鼠标的非常小的移动输入可以导致虚拟行星的大度数的旋转。相反，当用户正在使微小颗粒的虚拟表征发生旋转时，被映射到该虚拟对象的鼠标的非常大的输入可以导致虚拟微小颗粒的小度数的旋转。放大或缩小的量可以取决于由用户设置的另一个输入，或者可以被预先编程到特定的应用程序中。放大或缩小也可以根据不同的用户和程序设置的变化而变化。
扫视在显示器中预测的感兴趣的区域
在一些实施例中，用户的眼睛的扫视可被检测，并且用于估计或确定扫视完成时用户的视线方向将位于何处。此外，可以分析不同的单独的用户的扫视，并且存储与其相关的信息，以预测特定用户在发生扫视时的注视方向的未来改变(即，针对不同用户的不同速度的扫视导致注视方向的不同角度变化)。
此外，已知的突出的区域或感兴趣的对象还可以在该区域或对象的方向完成扫视时，向任何预测算法通知用户的注视方向将最终位于其上的可能性。用户的注视方向图案，包括用户的注视方向位于给定区域或对象上的时间长度，也可以被分析，以确定这些区域或对象在未来被显示时是否特别突出。
因此，无论在已知还是未知的突出的区域或对象的方向上，关于用户扫视和注视方向改变的上述信息可以用于实现注视点渲染。例如，如果已知的突出区域或对象要在虚拟显示器中显示，并且在显示该区域或对象时，用户的眼睛朝向区域或对象扫视，那么在用户的注视方向到达其上之前，可以以更高质量呈现该区域或对象。
即使当显示时显示区域或对象的突出性是未知的，或者当没有显示特别突出的区域或对象时，也可以通过检测扫视正在发生来确定或估计注视方向上的角度变化，以及相应的可能导致的观看区域的角度变化。基于先前为此记录的扫视数据，所确定的或估计的注视方向上的角度变化量对于用户来说可以是特定的，或者可能在对于特定的用户的记录的数据是可用的之前，可以是适用于所有用户的默认数据。
在一些实施例中，如果扫视信息不允许精确确定用户的可能的结果注视方向，那么可以以更高质量渲染位于最可能的注视方向上的多个已知突出的区域或对象。在一些实施例中，对于每个区域或对象的渲染质量的增加可以与用户的注视方向最终位于其上的可能性成比例。例如，如果两个区域同样地可能是用户的扫视的结果注视区域，那么两个区域的渲染质量可以类似地增加。然而，如果一个区域更可能是结果注视区域，那么其渲染质量可以比不太可能的结果注视区域要更大程度地提高。
显示在显示设备110上的图像可由图形处理设备进行修改的的方式可以根据实施例而变化，但是无论如何，图像被显示的方式可以是旨在增加用户的注视或聚焦注视被引导到的图像部分的图像质量，与用户的注视或聚焦注视没有被引导到的那些图像部分相比。以这种方式，图形处理设备的可用资源和/或其他系统资源的用户被最大化，以在显示设备110的最重要的位置提供图像质量。为了演示，图9阐释了显示设备110，其展示了用户的注视点910和围绕用户的注视点910的区域920，其中本发明的实施例可以增加图像相对于显示设备110的剩余区域930的质量。因此，在本发明的各个实施例中，横跨显示设备110产生的图像的质量可以在相对于剩余区域930的区域920中增加。
当在本文讨论在显示设备110上呈现的图像的“修改”时，应当理解，意图是：显示在显示设备110上的后续图像不同于显示在显示设备110上的先前图像。因此，本文讨论的图形处理设备和显示设备110或其它设备通过使第一图像被显示，然后显示不同于第一图像的第二图像来“修改”图像。在此讨论的图像的任何其他变化(例如图像质量的增加或降低)也应被理解为表示后续图像不同于先前图像。注意，图像的改变或修改可能包括仅改变或修改图像的一部分。因此，先前图像的一些部分可以与后续图像相同，而其他部分可以不同。在其他情况下，先前图像的整体可以与后续图像不同。应当理解，对图像的区域或整体的修改不一定意味着该区域或整体的每个有限部分都被改变(例如每个像素)，而是区域或整体可以以一些潜在一致的、预定的或有序的方式(例如改变图像的质量)来被改变。
除了本领域已知的其他可能的特征之外，增加图像的质量还可以包括增加以下任何一个或多个非排他性图形特征的质量：
分辨率：可以在一个或多个维度中显示的区别的像素的数量。例如，“1024×768”表示1024个像素在高度上显示，768个像素在宽度上显示。
阴影：图形对象的颜色和亮度的变化取决于由图形处理设备130模拟的光源所投射的人造光照。
纹理映射：将图形图像或“纹理”映射到图形对象上，为对象提供特定的外观。纹理的分辨率影响它们所应用的图形对象的质量。
凹凸映射：图形对象的表面上的小尺度的凹凸和粗糙梯度的模拟。
雾化/参与性介质：在通过非清晰的大气或空气时对光的调节。
阴影：光的阻碍的仿真。
软阴影：由部分模糊的光源引起的在阴影和黑暗中的变化。
反射：镜像或高光泽反射表面的表示。
透明度/不透明度(光学或图形)：通过固体对象的光的快速传输。
半透明：通过固体对象的光的高散射传输。
折射：与透明度相关的光的弯曲。
衍射：由破坏光线的物体或空隙传播的光线的弯曲、传播的和干涉。
间接照明：由被其他表面反射的光照明的表面，而不是直接从光源照明(也称为全局照明)。
焦散线(一种间接照明的形式)：光亮的对象的光的反射，或通过透明对象的光的聚焦，以在另一对象上产生亮点。
反失真：将显示对象的边缘混合以减少锐度或锯齿状线条的外观的过程。通常使用一种算法来对显示对象的边缘周围的颜色进行采样，以将边缘与其周围进行混合。
帧率：对于动画图像，在特定时间段期间呈现的单独的帧的数量以渲染图像内的运动。
3d：影像的视觉和时间特性使观看者看起来是三维的。
可被修改为以更高质量出现的图像区域的大小和形状可以根据实施例而变化。仅作为示例，区域的形状可以是圆形、椭圆形、正方形、矩形或多边形。在一些实施例中，区域内的图像的质量可被均匀地增加。在其他实施例中，图像质量的增加在区域的中心处(即靠近注视点)可以最大，并且朝向区域的边缘(即注视点的远端)减小，可能为了匹配该区域周围的图像的质量。为了演示，图10a示出了图像质量可以如何从注视区域的中心向外以线性或非线性连续方式减小，而图10b示出了图像质量如何从注视区域的中心向外以阶梯方式减小。
在一些实施例中，响应于注视点中的改变的检测，可以发生修改显示设备110上显示的图像。这可能会以多种方式发生，其中一些方式如下所述。
在一些实施例中，图像的整体可在用户的注视点的改变的时段期间被修改，并且一旦用户的注视点的改变停止，用户的末端注视点周围的区域或图像的剩余部分(不在末端注视点周围的图像的部分)可被修改。仅作为示例，在一个实施例中，整个图像的质量可以在用户注视(有时称为扫视)的移动期间增加，但是一旦完成扫视，质量的增加可能仅在用户的最终注视点周围的区域中持续(即在完成扫视时图像的其余部分的质量可能下降)。在不同的实施例中，在扫视期间整个图像的质量可被降低，但是一旦完成扫视，质量的下降可能只是除用户的最终注视点周围之外的持续区域(即，在完成扫视时，用户的最终注视点周围的图像区域的质量)。
另外，其他系统资源(包括例如处理器/计算机和相关资源)的使用也可以在用户的扫视期间被修改。例如，在扫视期间，非图形的操作可以由处理器/计算机和图形处理设备的资源来补充。更具体地，在扫视期间，其他系统操作所需的非图形计算可以以更高的速度或效率进行，因为与处理器/计算机和图形处理设备相关联的额外资源可用于这样的操作。
在一些实施例中，修改显示在显示设备110上的图像可以包括：可能通过增加其质量，修改在用户的预期注视点周围的区域中的图像的一部分。预期注视点可以基于用户的注视点的改变来确定。为了确定用户的预期注视点，眼睛追踪设备和/或另一个处理器(即，计算机或游戏控制器的处理器)可以确定用户在显示设备上的注视点的改变速率，并至少部分地基于该改变速率来确定预期注视点。
用户的注视点的改变速率，也被称为用户的扫视的速度或速率，其直接取决于用户注视点的总改变(通常称为扫视的幅度)。因此，随着用户的扫视的意图的幅度的增加，扫视的速度也增加。尽管人类用户的扫视在人类中可以达到900°/秒，但对于小于或大约60°的扫视，扫视的速度通常线性地且直接地取决于扫视的幅度。例如，10°的幅度与300°/秒的速度相关联，并且30°的幅度与500°/秒的速度相关联。对于大于60°的扫视，峰值速度开始朝着眼睛可达到的最大速度(900°/秒)达到平稳状态。响应于意外的刺激，扫视通常需要约200毫秒(ms)来启动，然后持续约20ms至约200ms。基于扫视速度和幅度之间的这些关系，本发明的实施例可以基于扫视速度来确定预期的注视点。扫视速度和幅度之间的数学关系的其它预先确定的模型也可以由本发明的各种实施例采用，以确定预期的注视点。
在一些实施例中，在预期注视点周围修改的图像的部分还可以包括在原始注视点(即用户的扫视开始的注视点)周围的图像的部分。虽然被修改的图像的部分的形状可以是上述那些形状中的任何一种形状，但是在一些实施例中，它可以是如图11所示的具有垂直于扫视方向的逐渐变大的宽度的三角形或梯形。
在图11中展示了显示设备110，并且在其上展示了初始的用户注视点1110。在初始注视点1110的任何改变之前，本发明的实施例可以在区域1120中提供增加的图形质量。当由眼睛追踪装置检测到由箭头1130表示的用户扫视时，区域1120的大小和形状可以改变以适应初始注视点1110和预期注视点1140。在该实施例中，改变的区域1150虽然是三角形和/或梯形的，但在其他实施例中可以是不同的形状和尺寸。仅作为示例，从初始注视点到在扫视的方向上的显示器的边缘的显示设备110的整个侧面也可以被包括在改变的区域1150中，以考虑用户的注视点可能结束的地方的更多可能性。在其他实施例中，可以提供圆形、椭圆形或方形的改变的区域1150。在其他实施例中，改变区域1150可以包括在初始注视点1110和预期注视点1140周围的分离的且不同的区域。
在一些实施例中，图像被修改的注视点周围区域的大小或形状(或在各个实施例中从增高的质量保持不变的注视点周围的区域的大小或形状)是动态的。这可能至少部分基于任何数量的因素而发生，包括注视点相对于图像或显示设备的当前位置。仅作为示例，如果用户将他们的注视点移动到屏幕的一定的部分，则屏幕的预定部分可以通过在其中增加质量而被修改(例如，具有视频游戏中的虚拟区域的映射的显示器的角落部分)。在一些实施例中，如果在预定的时间量内检测到具有一个或多个预定的特征的足够的用户扫视，那么整个显示器可被修改为以更高的质量被渲染。
在本发明的另一实施例中，提供了一种非暂时性计算机可读介质，在其上具有用于在显示设备110上呈现图形的指令。指令可以由一个或多个处理器执行，以至少在显示设备110上显示图像。指令还可以是可执行的，以从眼睛追踪设备接收指示显示设备110上的用户的注视点或显示设备110上的用户的注视点的变化中的至少一个的信息。该指令还可以是可执行的，以使图形处理设备至少部分地基于显示110上的用户的注视点或显示设备上的用户的注视点的变化来修改显示在显示设备110上的图像。因此，还提供了能够实现本文关于其他实施例描述的任何特征的非暂时性计算机可读介质。
在本发明的另一实施例中，如图12所示，提供了用于在显示设备110上呈现图形的方法1200。在步骤1210处，方法1200可以包括在显示设备110上显示图像。在步骤1120处，方法1200包括：从眼睛追踪设备接收指示显示设备110上的用户的注视点或显示设备110上的用户的注视点的变化中的至少一个的信息。在步骤1230处，方法1200还包括：使图形处理设备至少部分地基于显示设备110上的用户的注视点或显示设备110上的用户的注视点的变化，来修改显示在显示设备110上的图像110。步骤1230可以包括：在步骤1233处，相对于区域外，增加用户注视点周围的区域中图像的质量。步骤1230还可以包括：在步骤1236处，相对于区域内，降低用户注视点周围的区域外的图像的质量。因此，还提供了能够实现本文关于其他实施例描述的任何特征的方法。
在一些实施例中，本文描述的系统和方法可由用户开启和关闭，可能是为了考虑存在多个显示设备110的附加的观看者。在其他实施例中，当仅有一个用户正在观看显示设备110时(如通过眼睛追踪设备检测到的)，本文描述的系统和方法可以自动开启，并且当多于一个用户正在观看显示设备110时关闭(如通过眼睛追踪设备检测到的)。此外，在一些实施例中，当没有检测到观看者时，本文描述的系统和方法可以允许降低整个显示设备110的渲染质量，从而当显示设备110不是任何观看者的主要焦点时，节省系统资源和功耗。
在其他实施例中，本文描述的系统和方法可以允许修改显示设备110上的图像的多个部分，以考虑由眼睛追踪设备检测到的多个观看者。例如，如果两个不同的用户聚焦在显示设备110的不同部分上，那么被聚焦的图案的两个不同的区域可以以更高的质量被渲染，以为每个观看者提供增强的观看。
在其他实施例中，与图像相关联的数据可以通知在本文中描述的系统和方法，以允许预测图像的哪些区域可能接下来被用户聚焦。该数据可以补充由眼睛追踪装置所提供的数据，以允许在用户可能聚焦的区域中更快速和更流畅地调整图像的质量。例如，在观看体育赛事期间，可以在图像的角落呈现与教练或球员的采访的画中画。与图像馈送相关联的元数据可以在图像的子部分中通知在本文中描述的系统和方法可能的重要性，并且因此通知观看者的兴趣和可能的聚焦。
虚拟现实中的投射物的轨迹调整
在虚拟现实的实施例中，当虚拟对象由用户动作投掷或以其他方式发射时，存在一个问题，由此用户不能容易地估计对象的重量，并因此估计对象(现在是抛射物)在发射时会飞多远。鉴于准确的距离对于使虚拟交互可用或使虚拟交互是成功的是必要的，注视检测可以用于有助于增加准确放置抛射物的期望目标位置的目的。
在一些实施例中，眼睛追踪设备可以用于确定发射虚拟对象的用户的注视方向，并且允许虚拟显示器上的注视方向的位置被用来确定或辅助确定抛射物的预期目的地。在一些实施例中，在虚拟显示器上的确切的注视位置可以被用作用户的预期目标。
在其他实施例中，虚拟显示器上的注视位置可以仅向软件过程通知预期的目标，并且这可能会影响(取决于算法的可变程度)对于抛射物的计算的目标。因此，尽管初始目标可以通过算法来计算，并且取决于例如投掷的速度或者发起投射物的其他运动的速度以及对象的虚拟分配的权重的因素，注视方向可用于以可变的程度(如算法所指定的那样)来修改所计算的初始目标。
分布式多摄像头阵列开启/关闭vr透镜
在传统的虚拟现实或其他可穿戴设备中，这可能是具有挑战性的：定位与眼睛追踪设备相关联的图像传感器和摄像头以使它们可以获得良好的成像，但是不干扰其中的显示系统的观看透镜。为了解决这个问题，由本发明的各个实施例提供的一个方案是将一个或多个小型摄像头/图像/光传感器阵列(以及这里讨论的照明器)布置在用户眼睛正前方的透镜之上或之中。因为相机非常小(例如1mm3)，并且非常接近用户的眼睛，所以它们基本上看起来对用户是不可见的，因为它们不在用户的有效焦距内。如图7a所示，在给定系统的显示设备110的前方，可以存在观看透镜/主透镜710，并且摄像头/照明器720的阵列也可以存在于透镜710之上或之中。在本图中，为了演示目的，摄像头/照明器720被示出为比按比例的要大。图7a将在下面进一步详细讨论。
虽然阵列的每个摄像头可以仅具有有限的分辨率，但是当所有设想的图像被相关联的处理设备组合并重建时，可以获得标准的图像。另外，因为使用了阵列，通过使用用于观察眼睛的单个摄像头或图像传感器可以获得图像的附加的深度信息。
用于安全光源操作的用户和故障存在验证
顾客的设备必须符合用户眼睛附近的光源和激光源的各种安全标准。顾客设备光源/激光源越靠近用户，允许满足各种标准的照明的幅度越低。
在一些实施例中，本文中的设备可以包括布置为保护用户并且验证满足标准的的安全机构。在一个实施例中，本文的眼睛追踪设备可以通过图像传感器确定用户是否出现在设备的前方，并相应地作出反应。
如果不存在用户，则显示器和/或眼睛追踪照明器的照明水平被降低，以使在任何距离处是安全的。由于不存在用户，因此对于出现的任何条件，显示器和/或照明器将以安全的级别进行照明。然而，如果确定用户存在，则可以计算与任何显示器和/或眼睛追踪子系统(例如照明器)的距离，并且可以恢复系统所允许的最大的可允许的照明。在一些实施例中，如果眼睛追踪设备确定没有用户存在，则可以关闭显示设备以节省功率。
在一些实施例中，本文的系统还可以能够通过由图像传感器直接检测障碍物，或者通过图像传感器检测不到来自特定的照明器的光，来确定任何照明器是否被遮挡。如果确定照明器或其他发光设备(例如显示器)被遮挡，那么这种发光设备可被完全调暗或停用，以节省功率。
vp设备中的照明设备和图像传感器的可视性降低
在一些实施例中，为了将本发明的照明设备和图像传感器布置在最有利的位置，柔性印制电路(fpc)支持的照明器和图像传感器可能潜入虚拟现实或其他显示设备的透镜中，可能在如图7a所示的位置中。led或其他照明器以及图像传感器可以位于非常薄的fpc上，然后被定向，以使其可见轮廓最小化。
仅作为示例，照明器和图像传感器可以安装在fpc上，使得照明器或图像传感器面向用户安装，但是只有fpc的轮廓(即fpc的厚度)直接地被设备的用户观看。在一些实施例中，fpc可以附接到照明器或图像传感器，使得其连接到照明器/传感器的多于一侧。以这种方式，可以改进从照明器/传感器捕获的光或从照明器/传感器引导的光。
在这些和其它实施例中，还可以使用另一种方法来使虚拟现实或其他显示设备中的照明器的外表最小化。在这些实施例中，光纤可以嵌入到设备的观看透镜的前侧(用户侧)上的凹槽中。图7b示出了沉积在透镜710的表面中的这种凹槽730和光纤740。光纤可以多数地横跨分布在透镜的前侧，以生成眼睛追踪所需的照明。led或其他照明源(例如发光二极管)可以连接到在边缘处的或远离透镜的光纤的末端。
放置光纤的凹槽中的任何空隙可以填充有诸如胶或其它粘合剂的物质750，以保持光纤的位置并且使其中的折射最小化。该物质可以具有与透镜本身相同的或相似的折射率，以便使透镜对使用者的可见变形最小化。
如图7c所示，在光纤740的终点745处的透镜710内的具有角度的和/或反射的表面760可以将来自光纤的末端的光朝向眼睛引导。为了进一步使来自透镜中的光纤的潜在杂散光最小化，光吸收性材料770也可以设置在光纤的终点附近，可能在具有角度的表面后面。光束成形材料780(例如环氧树脂、硅树脂或类似物质)也可以被施加到终止点附近的透镜，以辅助将光引导至用户眼睛上的适当的位置。
示例性计算机系统
以上是如图8所示的阐释示例性计算机系统800的方框图，其中可以实施本发明的任何实施例。该示例阐释了计算机系统800，例如可以全部地、部分地或以各种修改来使用，以提供上述系统和方法的功能。
计算机系统800被示出为包括可以经由总线890电连接的硬件元件。硬件元件可以包括一个或多个中央处理器单元810、一个或多个输入设备820(例如眼睛追踪设备(无论是否与其他设备相集成)、鼠标、键盘、触摸板、麦克风、手持控制器等)，以及一个或多个输出设备830(例如显示设备、具有显示器的可穿戴设备、打印机等)。计算机系统800也可以包括一个或多个存储设备840。作为示例，存储设备840可以是暂时性的和/或非暂时性的磁盘驱动器、光存储设备、固态存储设备(例如随机存取存储器(“ram”)和/或只读存储器(“rom”))，其可以是可编程的，闪存可更新的和/或其他类似的。
计算机系统800可以另外地包括计算机可读存储介质读取器850、通信系统860(例如调制解调器、网卡(无线的或有线的)、红外通信设备、蓝牙设备、蜂窝通信设备等)，以及工作内存880，其可以包括如上所述的ram和rom设备。在一些实施例中，计算机系统800也可以包括处理加速单元870，其可以包括数字信号处理器、专用处理器和/或其他类似的处理器。
计算机可读存储介质读取器850可以进一步被连接至计算机可读存储介质，共同(并且可选地与存储设备840组合)全面地表示用于临时和/或永久地包含计算机可读信息的远程、本地、固定和/或可移动存储设备以及存储介质。通信系统860可以允许与上述的网络、系统、计算机和/或其他组件交换数据。
计算机系统800还可以包括软件元件，该软件元件显示为当前位于工作存储器880内，包括操作系统884和其他代码878。应当理解，计算机系统800的替代的实施例可以与上述的有许多变化。例如，也可以使用定制的硬件和/或可以在硬件、软件(包括便携式软件，例如小应用程序)或两者中实现特定的元件。此外，也可以发生与其他计算设备(如网络输入/输出和数据采集设备)的连接。
计算机系统800的软件可以包括代码878，该代码788用于实现本文所述的架构的各种元件的任何或全部功能。例如，存储在计算机系统(例如系统800)上和/或由其执行的软件可以提供上面讨论的方法和系统的功能。上文已经更详细地讨论了在这些组件中的一些上由软件实现的方法。
现在已经为了清楚和理解的目的详细描述了本发明。然而，应当理解，在所附权利要求的范围内可以进行某些改变和修改。