多显示器设备上的低等待时间图像显示的制作方法
【专利说明】多显示器设备上的低等待时间图像显示
[0001]
[0002]诸如头戴式显示(HMD)设备之类的显示设备可被配置成通过将虚拟图像显示在可透过该显示器来查看的现实世界背景上来提供经扩增的现实体验。当透视显示设备的用户在使用环境中改变位置和/或方向时，该设备可被配置成检测用户的移动并据此来更新所显示的图像。
[0003]概述
[0004]公开了涉及以低等待时间将图像显示在多显示器设备上的各实施例。例如，公开的一个实施例在包括第一显示器和第二显示器的显示设备上提供一种方法，该方法包括接收、处理第一图像并经由所述第一显示器显示所述第一图像而不经由所述第二显示器显示所述第一图像。该方法进一步包括接收第二图像，显示所述第一图像的同时处理所述第二图像，以及经由所述第二显示器显示所述第二图像而不经由所述第一显示器显示所述第二图像。
[0005]提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
[0006]附图简沐
[0007]图1A和IB示出被配置成经由多个显示器来显示图像的透视显示设备的一实施例，并且还示出该透视显示设备所显示的图像的示例。
[0008]图2示出内容产生器和内容消费器之间的图像数据流的示意图。
[0009]图3示出了描绘用于经由多个显示器来显示低等待时间图像的方法的实施例的流程图。
[0010]图4示出了解说经由多个显示器来显示低等待时间图像的方法的实施例的时序图。
[0011]图5示出包括多个显示器的显示设备的一实施例的框图。
[0012]图6示出了计算系统的一实施例的框图。
[0013]详细描沐
[0014]如上所述，当透视显示设备的用户在使用环境内移动时，该设备可响应于该移动而更新所显示的图像。例如，一些图像可被配置成相对于现实世界背景(“锁定世界的图像”)是静止的。随着用户相对于锁定世界的图像移动，该图像可以以不同的方向、不同的光纹理、不同的大小等被重新渲染在显示器上的不同位置处，就好像现实世界的视野在显示器后面改变一样。
[0015]透视显示设备可响应于从该透视显示设备上的运动传感器接收到的传感器输入而更新所显示的图像。例如，如以下更详细描述的，透视显示设备可包括获得可透过该显示器查看的背景环境的图像数据的面向外的图像传感器和/或检测移动的惯性运动传感器。用户的移动可从由这样的传感器获得的数据中检测，并且检测到的移动可用于更新所显示的图像。
[0016]一些透视显示设备(诸如一些头戴式显示设备)可利用分开的左眼显示器和右眼显示器来显示左眼图像和右眼图像例如以使得能够显示立体图像。因此，在这样的设备中，左眼图像和右眼图像两者都可响应于用户移动而被更新。
[0017]随着用户移动，所显示的图像被更新的速率对照用户对背景场景的视野的改变速率(例如，用户转他或她的头的速率)可影响用户体验。例如，对于锁定世界的图像，如果对该图像的重新渲染具有不理想的等待时间量(即，使用户的移动滞后太大的程度)，则当响应于运动而将该图像重新定位在显示器上时，用户可感觉该图像是“抖动的”。此外，在锁定世界或锁定显示器的图像是现实世界对象的上下文并被显示在现实世界对象邻近(例如，作为现实世界对象的覆盖图)的情况下，该对象和图像的上下文链接可因等待时间而被减少。
[0018]图1A-1B示出了 HMD设备100的用户102所查看到的锁定世界的图像的示例。当用户102凝视着唱片店形式的现实世界背景对象104时，促销广告形式的因商店而异的虚拟对象106被显示在该商店前面。当虚拟对象106被上下文地链接到现实世界背景对象104时，虚拟对象106在位置上被锁定到该现实世界背景对象104，以使得当用户在该物理环境周围移动时，从用户的角度来看，该广告保持在该商店前面。
[0019]为了维持虚拟对象106的锁定世界的视图，HMD设备100可被配置成检测现实世界背景对象104相对于用户的相对位置，并更新虚拟对象106的显示，以使得它呈现为相对于现实对象是静止的。然而，如果在经更新的图像的产生和显示之间存在不理想的等待时间量，则虚拟对象106可随着用户移动而抖动和/或移动，并因此可呈现为未被稳固地锁定到现实世界背景对象101。
[0020]为了避免这样的等待时间问题，透视显示设备可被配置成以足够快的速率来更新这些图像。图像产生和图像显示之间的等待时间依赖于诸如进程数和执行来准备和显示这些图像的每进程计算之类的因素以及可用于执行这样的处理的计算资源。
[0021]对于多显示器设备(诸如，具有分开的左眼显示器和右眼显示器的HMD设备)而言，一种可能的减少经更新的位置敏感图像的生成和显示之间的时间的方法可以是将充足的计算资源合并到该设备中以便用可接受的滞后量来更新同时显示的左眼和右眼图像。然而，显示设备的恒定功率消耗特征可随着该设备上提供的计算资源量而缩放。
[0022]因此，本文中公开了涉及在期望低等待时间的多显示器显示设备上高效地更新图像的各实施例。简言之，所公开的各实施例以时间顺序方式分开地渲染左眼图像和右眼图像，并随后以足够快的刷新速率显示左眼图像和右眼图像，以避免图像的不合需要的抖动。与对左眼图像和右眼图像的同时显示相反，对左眼图像和右眼图像的时间顺序显示可允许每一处理步骤中要执行的计算量被减少几乎一半。这可允许用将图像同时显示在两个眼睛的情况将花费的时间的几乎一半来将图像最初显示在用户的眼睛之一。因此，这可允许减少等待时间，而不增加系统的计算资源。尽管在本文中是在HMD设备的上下文中描述的，但将理解，所公开的实施例可与其中期望低等待时间的任何其他合适的多显示器系统联用，包括各显示在Z方向上偏移(例如如用户所查看到的距离，从而使得一个显示器可在另一透视显示器后面并透过该另一透视显示器来查看)。
[0023]如上所述，等待时间是用于响应于检测到的运动而更新图像的处理步骤的数目的函数。处理步骤的数目对于一些设备而言可能是显著的。由此，减少每一处理步骤所使用的时间量可提供等待时间方面的显著减少。图2示出了用于图1A-1B的HMD设备的图像处理流水线200的示例实施例，并示出了可在显示图像之前执行的多个处理步骤的示例。图像处理流水线200在内容产生器202 (诸如产生供显示的虚拟图像的应用)处开始。内容产生器202可驻留在HMD设备上或者可驻留在远程，例如驻留在与HMD设备通信的另一设备上，诸如移动电话、平板计算机、膝上型计算机、网络可访问的服务器或其他合适的计算系统。在内容产生器驻留在远程的情况下，等待时间可引起由网络连接所引入的附加滞后所造成的更大问题。
[0024]内容产生器202将内容图像数据提供给图形处理器204，图形处理器204还从运动跟踪模块206接收运动数据。运动跟踪模块206可从任何合适的输入确定运动数据，包括但不限于从一个或多个