本文所描述的实施例总体上涉及利用多显示设备系统来显示信息，并且更具体地涉及利用由头戴式显示设备构成的多显示设备系统来显示信息，该头戴式显示设备要与该系统的物理显示设备相结合使用。
背景技术：
计算机生成的信息是指通过台式或便携式计算机系统生成、处理或者生成和处理的信息。物理显示设备是利用阴极射线管(CRT)、液晶显示器(LCD)、发光二极管、气体等离子体或其他图像投影技术向计算机系统用户显示出诸如文本、视频以及图形图像的计算机生成的信息的有形的计算机输出表面与投影机构。
多显示设备系统是一种使用至少两个物理显示设备来向用户显示计算机生成的信息的系统。特别地，多显示设备系统使得多个物理显示设备一起工作以模拟单个物理显示设备，称为扩展桌面。多显示设备系统能够通过提供增加的显示区域而为用户显示比常规的单显示设备系统更多的计算机生成的信息。多显示设备系统的优点包括通过提供增加的显示区域而允许用户提高他们的工作效率，增加的显示区域减少了混乱且改善了多任务。
典型地，多显示设备系统的使用局限于固定的位置的小的子集，因为两个或更多个的物理显示设备不能容易地携带或运输。存在一些具有为用户提供便携性的两个或更多个物理显示设备的多显示设备系统，然而，便携性仍是次优的。另外，一些多显示设备系统需要用户耗费大量的资源。例如，具有很多物理显示设备(例如，范围从数十到数千个15英寸的LCD)的多显示设备系统的使用要求相当大量的空间和能量。
台式计算机系统的用户，以及工作于便携式计算机系统的用户，例如膝上型计算机、笔记本、手持式设备以及移动电话，具有允许部署多于一个显示设备的若干可选项。尽管如此，上述的次优的便携性以及与使用多显示设备系统相关联的相当大的成本持续存在。
附图说明
本发明是以示例的方式来说明的，而不限于附图中的图，在附图中相似的标记指代相似的元件，并且其中：
图1是具有至少一个物理显示设备和由头戴式显示设备提供的至少一个虚拟显示设备的示例性的多显示设备系统的图示；
图2以简化示意图示出了利用至少一个物理显示设备和由头戴式显示设备提供的至少一个虚拟显示设备实现向用户显示计算机生成的信息的示例性的多显示设备系统；
图3A是示出利用多显示设备系统向用户显示计算机生成的信息的示例性的方法的流程图，该多显示设备系统包括至少一个物理显示设备以及由头戴式显示设备提供的至少一个虚拟显示设备；
图3B是示出利用多显示设备系统向用户显示计算机生成的信息的方法的附加特征的流程图，该多显示设备系统包括至少一个物理显示设备以及由头戴式显示设备提供的至少一个虚拟显示设备；
图4是具有至少一个物理显示设备以及由头戴式显示设备提供的至少一个虚拟显示设备的示例性的多显示设备系统的图示；以及
图5以框图形式示出了实现利用多显示设备系统向用户显示计算机生成的信息的方法的示例性的处理系统，该多显示设备系统包括至少一个物理显示设备以及由头戴式显示设备提供的至少一个虚拟显示设备。
具体实施方式
本文所描述的实施例利用包括物理显示设备和由头戴式显示设备提供的至少一个虚拟显示设备的多显示设备系统向用户显示计算机生成的信息。
对于示例性实施例，提供了用于与计算机系统的物理显示设备相结合来显示计算机生成的信息的头戴式显示设备。头戴式显示设备包括生成逻辑、看穿显示设备、以及呈现单元。生成逻辑用于生成至少一个虚拟显示设备。呈现单元用于将至少一个虚拟显示设备呈现在看穿显示设备上。看穿显示设备被配置为使头戴式显示设备的用户能够看到至少一个虚拟显示设备和真实世界场景的物理显示设备。至少一个虚拟显示设备作为真实世界场景的附加对象而呈现在看穿显示设备上，并且至少一个虚拟显示设备与物理显示设备相结合使用来从用户的视角在扩展桌面上呈现计算机生成的信息。
包括物理显示设备和由头戴式显示设备提供的至少一个虚拟显示设备的多显示设备系统的一个或多个实施例的优点在于，对与采用两个或更多个物理显示设备的传统多显示设备系统相关联的降低的便携性以及增加的资源消耗的解决方案。
本文所使用的术语“计算机生成的信息”是指由计算机系统生成和/或处理的信息。
本文所使用的术语“桌面”是指人机接口环境，通过它，用户能够发起、交互、和管理应用、设置和/或数据，等等。桌面用于将计算机生成的信息呈现给计算机系统的用户。本文所使用的术语“扩展桌面”是指跨越多于一个物理和/或虚拟显示设备的单个桌面。
本文所使用的术语“物理显示设备”是指利用阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)、硅上液晶(LCOS)、气体等离子体、视网膜投影或其他图像投影技术在桌面上向计算机系统用户显示诸如文本、视频和图形图像的计算机生成的信息的计算机输出与投影机构。
本文所使用的术语“虚拟显示设备”是指由模仿物理显示设备的外观和行为的计算机图形构成的虚拟对象。虚拟显示设备作为桌面操作，终端用户能够利用计算机系统和/或头戴式显示设备的软件和/或硬件来与其交互。
本文所使用的术语“看穿显示设备”包括指代允许用户看到显示设备上所显示的而同时仍使用户能够看穿显示设备的物理显示设备。看穿显示设备可以是透明的或半透明的显示设备，其利用图像投影技术，诸如CRT、LCD、LED、OLED、LCOS、气体等离子体、视网膜投影技术或其他图像投影技术。如本文所使用的术语“看穿显示设备”还可以指代直接放置在人眼上或人眼前的且用于集中、修正、投影或分散光线的透镜或玻璃片、塑料或其他透明物质。本文所使用的术语“看穿显示设备”还可以指代包含了利用图像投影技术的透明或半透明显示设备(上述)的组合和/或变型的直接放置在人眼上或人眼前的透镜或玻璃片、塑料或其他透明物质。
术语“头戴式显示设备”是指这样的可佩戴设备：其具备向用户呈现计算机生成的信息(诸如图像和/或视频)的能力，以及允许用户看穿它的能力。头戴式显示设备用于向用户呈现虚拟对象，同时还赋予用户看到真实世界的场景的能力。头戴式显示设备以至少三种不同的方式向用户呈现计算机生成的信息。一种类型的头戴式显示设备包括将计算机生成的信息投影到放置在用户眼前的一个或两个半透明透镜上的投影仪。第二类型的头戴式显示设备包括放置在用户眼前且在向用户呈现计算机生成的信息的透镜中包含半透明物理显示设备的一个或两个透镜。包含在该类型的头戴式显示设备中的半透明物理显示设备包括CRT、LCD、LED、OLED、LCOS、气体等离子体或其他图像投影技术。其他类型的头戴式显示设备包括取决于光学系统配置而利用直接视网膜投影技术、放大器、和光中继透镜中的至少一个来呈现计算机生成的信息的头戴式显示设备。
头戴式显示设备可以佩戴在用户头上或者作为用户佩戴的头盔的部分。在一只眼前具有显示镜片的头戴式显示设备被称为单目头戴式显示设备，在每只眼前都具有显示镜片的头戴式显示设备称为双目头戴式显示设备。头戴式显示设备允许虚拟对象叠加在真实世界场景之上。这有时称为增强现实或混合现实。实时地将真实世界的用户视图与虚拟对象相结合能够通过如下来完成：通过能够允许用户同时观看虚拟对象和真实世界的半透明物理显示设备来呈现虚拟对象。该方法经常称为光学看穿，并且采用该方法的头戴式显示设备的类型称为光学头戴式显示设备。实时地将真实世界的用户视图与虚拟对象相结合还能够通过从照相机接受视频以及将其与虚拟对象电子混合而通过电子方式来完成。该方法常称为视频看穿，并且采用该方法的头戴式显示设备的类型称为视频头戴式显示设备。
图1示出了示例性的多显示设备系统100，多显示设备系统100具有物理显示设备103和至少一个虚拟显示设备107A-B。头戴式显示设备105由用户佩戴，并且与计算机系统101相结合使用。更具体地，物理显示设备103连接到计算机系统101并且用于与头戴式显示设备105相结合来向用户呈现计算机生成的信息。头戴式显示设备105提供至少一个虚拟显示设备107A-B，其与物理显示设备103一起工作以在扩展桌面中向用户呈现计算机生成的信息。特别地，头戴式显示设备105包括逻辑壳体109、看穿显示设备111以及框架113。逻辑壳体109和看穿显示设备111分别用于生成且呈现至少一个虚拟显示设备107A-B。框架113用于保持看穿显示设备111和逻辑壳体109。框架113可由足够结实以便保持看穿显示设备111和逻辑壳体109的任何塑料、金属或其他材料制成。对于一些实施例，框架113还由提供看穿显示设备111与逻辑壳体109之间的电子和/或磁连接的材料制成。
图1的逻辑壳体109容纳了多个逻辑单元，多个逻辑单元用于生成、配置和呈现至少一个虚拟显示设备107A-B，用于与物理显示设备103相结合使用来向头戴式显示设备105的用户呈现计算机生成的信息。逻辑壳体109包括生成逻辑(未示出)和呈现单元(未示出)。
逻辑壳体109所容纳的生成逻辑可以是图形处理单元(GPU)或实施和执行图形渲染的其他电路系统。例如，且通过非限制的方式，逻辑壳体109内的生成逻辑是使用物理显示设备103的位置信息(下面描述)、屏幕区域(下面描述)和表面位置(下面描述)来渲染和生成至少一个虚拟显示设备107A-B的GPU。生成的虚拟显示设备107A-B是物理显示设备103的计算机图形表示。对于一个实施例，虚拟显示设备107A-B是由逻辑壳体109内的生成逻辑基于通过也可以位于逻辑壳体109内的计算逻辑(下面描述)所确定的物理显示设备的位置信息、屏幕区域和表面位置而生成的。
图1的看穿显示设备111与呈现单元相结合由头戴式显示设备105用来向头戴式显示设备105的用户呈现逻辑壳体109内的生成逻辑所生成的至少一个虚拟显示设备107A-B。看穿显示设备111呈现至少一个虚拟显示设备107A-B给用户，同时还允许用户观看物理显示设备103。虚拟显示设备107A-B中的至少一个与物理显示设备103协同工作以在扩展桌面中呈现来自计算机系统101的计算机生成的信息。该扩展桌面是跨越虚拟显示设备107A-B和物理显示设备103的单个桌面。
如上所述，图1的逻辑壳体109还包括呈现单元。逻辑壳体109的呈现单元可以是硬件、或软件、或其组合。使用逻辑壳体109的呈现单元联合来自驻留于逻辑壳体109中的其他逻辑单元的全部数据，并且根据所联合的数据来创建虚拟显示设备107A-B中的至少一个和计算机生成的信息的最终视觉表示。呈现单元所创建的虚拟显示设备107A-B和计算机生成的信息的最终视觉表示在看穿显示设备111上呈现给头戴式显示设备105的用户。
例如，且通过非限制的方式，逻辑壳体109的呈现单元可以是将至少一个虚拟显示设备107A-B投影到看穿显示设备111上的投影仪，看穿显示设备111由直接放置在人眼上或前且用于集中、修正、投影或分散光线的透镜、或玻璃片、塑料或其他透明物质制成。在该示例中，通过逻辑壳体109内的生成逻辑来生成投影的虚拟显示设备107A-B。
对于附加的非限制示例，逻辑壳体109的呈现单元可以是显示控制器，其处理由逻辑壳体109的生成逻辑生成的虚拟显示设备中的至少一个，以及利用诸如虚拟视网膜显示设备(VRD)、视网膜扫描显示设备(RSD)或视网膜投影仪(RP)的看穿显示设备111输出处理后的结果，从而将生成的虚拟显示设备中的至少一个直接显示到头戴式显示设备105的用户的眼睛的视网膜上。
对于另一非限制的示例，呈现单元可以是视频显示控制器(VDC)，其处理逻辑壳体109的生成逻辑的生成的虚拟显示设备107A-B且利用处理结果在看穿显示设备111上输出帧缓冲，以使得为头戴式显示设备105的用户呈现虚拟显示设备107A-B的视觉表示。对于又另外的非限制示例，呈现单元可以是视频显示处理器(VDP)，其处理逻辑壳体109的生成逻辑的生成的虚拟显示设备107A-B中的至少一个并且利用该处理的信息来输出虚拟显示设备107A-B中的至少一个的视觉表示，从而在看穿显示设备111上显示给头戴式显示设备105的用户。对于可替代的示例，逻辑壳体109的呈现单元可以是视频信号发生器，其将虚拟显示设备107A-B中的至少一个的视觉表示输出到看穿显示设备111，用于向头戴式显示设备105的用户呈现计算机信息。
对于一些实施例，至少一个虚拟显示设备107A-B作为在用户看到的真实世界场景中的来自用户视角的附加对象在看穿显示设备111上呈现给佩戴头戴式显示设备105的用户。对于这些实施例，物理显示设备103位于用户看到的真实世界场景中。例如，至少一个虚拟显示设备107A-B能够作为来自用户视角的与真实世界场景中的物理显示设备103邻近定位的附加对象呈现在看穿显示设备111上。可替代地，至少一个虚拟显示设备107A-B能够作为叠加在来自用户视角的真实世界场景中的物理显示设备103之上的附加对象而呈现在看穿显示设备111上。
对于一些实施例，计算机生成的信息在至少一个虚拟显示设备107A-B和物理显示设备103上的扩展显示设备中显示给用户，同时仅物理显示设备103位于头戴式显示设备105的视野中。对于这些实施例，头戴式显示设备105的视野能够由加速度计、数字罗盘、视觉照相机、红外照相机以及其他适合采集数据和/或测量与头戴式显示设备105和/或物理显示设备103的物理操纵和/或方位上下文有关的参数的其他物理传感器中的至少一个来确定。对于其他实施例，在物理显示设备103的位置信息、表面位置和屏幕区域已经由计算逻辑(下面描述)确定后，物理显示设备103将被确定为在头戴式显示设备105的视野中。
图2以示意图的形式示出了利用至少一个物理显示设备和由头戴式显示设备220提供的至少一个虚拟显示设备实现向用户显示计算机生成的信息的示例性的多显示设备系统200。
多显示设备系统200包括头戴式显示设备220和计算机系统222。图2的计算机系统222包括物理显示设备202。为简化的原因，没有示出计算机系统222的其他元件。物理显示设备202是用于呈现计算机系统222的计算机生成的信息的物理显示设备。
图2的头戴式显示设备220包括计算逻辑204，计算逻辑204确定头戴式显示设备220的位置，至少基于所确定的头戴式显示设备220的位置来确定物理显示设备202的定位，至少基于所确定的物理显示设备202的定位来确定物理显示设备202的表面位置和屏幕区域，以及将所确定的头戴式显示设备220的位置、所确定的物理显示设备202的定位、所确定的物理显示设备202的表面位置、以及所确定的物理显示设备202的屏幕区域提供给生成逻辑206。
头戴式显示设备220还包括生成逻辑206、透视逻辑208、关联逻辑210、呈现单元218、看穿显示设备212、存储器214以及传感器216。对于一些实施例，图1的逻辑壳体109用于容纳计算逻辑204、生成逻辑206、透视逻辑208、关联逻辑210、呈现单元218、看穿显示设备212、存储器214和传感器216中的至少一个。
返回图2的计算逻辑204，头戴式显示设备220的位置以及物理显示设备202的定位、表面位置和屏幕区域是利用从传感器216获得的数据和/或参数来确定的。对于实施例，传感器216可以是加速度计、数字罗盘、视觉照相机、红外照相机、以及其他适合采集数据和/或测量与头戴式显示设备220和/或物理显示设备202的物理操纵和/或方位上下文有关的参数的其他物理传感器。
对于一个实施例，传感器216通过确定头戴式显示设备220的位置信息以及确定物理显示设备202的位置信息来确定头戴式显示设备220的位置以及物理显示设备202的定位。位置信息的确定包括：确定头戴式显示设备220的位置，确定如头戴式显示设备220的用户的视角所确定的头戴式显示设备220的视点方位，利用所确定的头戴式显示设备220的位置和所确定的头戴式显示设备220的视点方位来确定物理显示设备的多个顶点，利用所确定的物理显示设备的多个顶点、所确定的头戴式显示设备220的位置以及所确定的头戴式显示设备220的视点方位来确定头戴式显示设备220与多个顶点中的每个顶点之间的每个距离。对于其他另外的实施例，头戴式显示设备220的位置信息的确定还包括参考所确定的头戴式显示设备220的位置来确定物理显示设备202的定位。
对于实施例，传感器216包括用于测量头戴式显示设备220的位置、头戴式显示设备220的视点方位以及在头戴式显示设备220由用户佩戴的同时物理显示设备202的定位的位置与方位传感器。位置和方位传感器包括陀螺传感器、加速度传感器和磁传感器中的至少一个。
陀螺传感器检测在如近似真实世界的平面坐标系所测得的头戴式显示设备220和/或物理显示设备202的三个方向X、Y和Z上的旋转。加速度传感器检测在头戴式显示设备220和/或物理显示设备202的三个X，Y和Z方向上的平移操作，并且磁传感器利用头戴式显示设备220的X，Y和Z方向来检测头戴式显示设备220和/或物理显示设备202的3D位置坐标和视点方位。对于一些实施例，这些传感器将其测量结果输出到传感器216，传感器216将信息发送到计算逻辑204。对于这些实施例，计算逻辑使用传感器216获得的测量来确定头戴式显示设备220的位置和视点方位，以及物理显示设备202的定位顶点。
对于又另外的实施例，计算逻辑使用传感器216获得的信息来计算物理显示设备202的每个顶点与头戴式显示设备220之间的每个距离。
对于一些实施例，如通过传感器216所确定的头戴式显示设备220和物理显示设备202的位置信息被转送到头戴式显示设备220的计算逻辑204。对于另一实施例，除了确定头戴式显示设备220和物理显示设备202的位置信息之外，传感器216还确定物理显示设备202的顶点中的每个之间的每个角度。对于该实施例，除了头戴式显示设备220和物理显示设备202的位置信息之外，传感器216将物理显示设备202的顶点中的每个之间的每个角度转送到计算逻辑204。计算逻辑204使用所确定的物理显示设备202的每个顶点之间的角度来修正传感器216所确定的距离中的每个。
除了转送头戴式显示设备220和物理显示设备220的位置信息到计算逻辑204之外，传感器216还将采集的数据和/或参数转送到存储器214用于存储。存储器214将在下文中更详细地描述。
返回图2的计算逻辑204，头戴式显示设备220和物理显示设备202的位置信息由计算逻辑204用来计算物理显示设备202的表面位置和屏幕区域。对于实施例，除了头戴式显示设备220和物理显示设备202的位置信息之外，传感器216将物理显示设备202的每个顶点之间的角度转送到计算逻辑204。对于该实施例，计算逻辑204利用物理显示设备202的每个顶点之间的角度来修正由计算逻辑204所计算出的表面位置和屏幕区域中的至少一项。
表面位置是指物理显示设备202所驻留的平面。在由佩戴头戴式显示设备220的用户观看时，该平面是三维真实世界场景的二维模拟。对于实施例，计算逻辑204所计算出的表面位置基于三维欧几里得空间、二维欧几里得空间、二维笛卡尔坐标系和三维笛卡尔坐标系中的至少一个。
屏幕区域是指用于表达在作为佩戴头戴式显示设备220的用户所观看到的三维真实世界场景的二维模拟的平面中的物理显示设备202的范围的量。对于一个实施例，屏幕区域基于如下中的至少一个来计算：用于确定常见形状的区域的三维公式；用于确定常见形状的区域的二维公式，以及将物理显示设备202划分成单位方形或单位三角形来确定其区域。对于又另外的实施例，如果物理显示设备202具有曲线边界，则屏幕区域是基于将物理显示设备202划分成单位圆来计算的。应当意识到，对物理显示设备202的屏幕区域和表面位置二者的计算是本领域普通技术人员所公知的，并且因此不限于本文所描述的技术。
头戴式显示设备220和物理显示设备202的位置信息以及物理显示设备202的表面位置和屏幕区域由计算逻辑204转送到生成逻辑206。除了转送头戴式显示设备220和物理显示设备220的位置信息以及物理显示设备202的表面位置和屏幕区域到生成逻辑206之外，计算逻辑204还将采集的和/或处理的数据转送到存储器214以用于存储。存储器214将在下文中更详细地描述。
至少一个虚拟显示设备(诸如图1的虚拟显示设备107A-B)由生成逻辑206利用从计算逻辑204接收到的数据来生成。
生成逻辑206可以是图形处理单元(GPU)或者其它实施并执行图形渲染的电路系统。对于一个实施例，生成逻辑206使用头戴式显示设备220和物理显示设备202的位置信息以及物理显示设备202的屏幕区域和表面位置来实施图形渲染所必需的复杂的数学和几何计算。此外，生成逻辑206使用其计算结果来渲染至少一个虚拟显示设备(诸如图1的虚拟显示设备107A-B)。例如，且通过非限制的方式，生成逻辑206是使用物理显示设备202的位置信息、屏幕区域和表面位置来生成并渲染作为物理显示设备202的计算机图形表示的至少一个虚拟显示设备的GPU。
对于一个实施例，由生成逻辑206生成的虚拟显示设备排他地基于如传感器216和计算逻辑204(上述)所确定的头戴式显示设备220和物理显示设备202的位置信息。对于其它实施例，生成单元206包括测量并跟踪用户的眼睛移动而使得其视角能够被确定的眼跟踪传感器(未示出)。从眼跟踪传感器所获得的数据能够由生成逻辑206结合由计算单元204采集和/或处理的数据使用以生成至少一个虚拟显示设备，该至少一个虚拟显示设备将基于个体用户的视角而呈现给头戴式显示设备220的用户。眼跟踪传感器能够基于眼附着跟踪，诸如具有嵌入式反射镜或磁场传感器的特殊接触透镜，或者基于光学眼跟踪，诸如瞳孔中心角膜反射技术。应当意识到，计算和/或跟踪用户的眼睛移动以确定用户的视角的技术是本领域普通技术人员所公知的，且不限于本文所描述的技术。
对于一些实施例，生成逻辑206基于眼跟踪传感器的测量和/或计算单元204所采集和/或处理的数据来生成具有作为物理显示设备202的屏幕区域的倍数的屏幕区域的虚拟显示设备。图4示出了虚拟显示设备的示例性的表示，该虚拟显示设备具有作为生成逻辑(诸如图2的生成逻辑206)生成的物理显示设备的屏幕区域的倍数的屏幕区域。
图4是示例性的多显示设备系统400的图示，该多显示设备系统400具有一个物理显示设备413以及由头戴式显示设备403提供的一个虚拟显示设备411。多显示设备系统400包括计算机系统409，计算机系统409具有物理显示设备413以及呈现虚拟显示设备411的头戴式显示设备403。正在观看计算机系统409的物理显示设备413的用户在佩戴头戴式显示设备403的同时被呈现了虚拟显示设备411。虚拟显示设备411由呈现单元(未示出)在生成逻辑413生成虚拟显示设备411之后，在头戴式显示设备403的看穿显示设备405上呈现给佩戴头戴式显示设备403的用户。虚拟显示设备411是通过生成逻辑405基于由计算单元(未示出)和至少一个传感器(未示出)获取的数据而生成的。对于一个实施例，计算单元和至少一个传感器确定头戴式显示设备403与物理显示设备413之间的四个距离407A-D中的每一个。计算单元和至少一个传感器利用距离407A-D来计算头戴式显示设备403的位置、物理显示设备413的定位、物理显示设备413的表面位置和物理显示设备413的屏幕区域。对于其它实施例，生成的虚拟显示设备411由生成单元413利用如上所述通过计算单元和至少一个传感器采集和/或计算的多条数据中的至少一条来生成。例如，且通过非限制的方式，如果物理显示设备413的屏幕区域是540cm2或者83.7平方英寸，则虚拟显示设备411将由生成单元413生成为具有1080cm2或167.4平方英寸的屏幕区域(这是通过将物理显示设备413的示例性的屏幕区域乘以倍数2而实现的)。
返回图2，生成逻辑206生成的虚拟显示设备被发送到透视逻辑208。除了将头戴式显示设备220的生成的虚拟显示设备转送到透视逻辑208之外，生成逻辑206还将生成的虚拟显示设备转送给存储器214以用于存储。存储器214将在下文中进行更详细描述。
透视逻辑208确定扩展桌面的要分配给物理显示设备202和生成的虚拟显示设备的第一部分和第二部分之间的期望的相对显示方位。因为佩戴头戴式显示设备220的用户将移动他的头部或者改变他的定位，所以扩展桌面的期望的相对显示方位被确定。
该相对显示方位能够允许多显示设备系统200的用户舒服地观看物理显示设备202和至少一个虚拟显示设备的扩展桌面中的计算机生成的信息。对于一个实施例，相对显示方位是通过透视逻辑208利用如传感器216和计算逻辑204(上述)所确定的头戴式显示设备220的位置信息、物理显示设备202的位置信息、物理显示设备202的表面位置和物理显示设备202的屏幕区域来确定的。相对显示方位用于确定真实世界中的物理显示设备202相对于由生成逻辑206生成的至少一个虚拟显示设备的真实世界定位的定位。该相对显示方位允许头戴式显示设备220和物理显示设备202利用扩展桌面将计算机生成的信息呈现给用户。
对于又另外的实施例，透视逻辑208包括物理传感器，例如加速度计、数字罗盘、视觉照相机、红外照相机、或其它适合采集与头戴式显示设备220和/或物理显示设备202的物理操纵和/或方位上下文有关的数据和/或测量与头戴式显示设备220和/或物理显示设备202的物理操纵和/或方位上下文有关的参数的物理传感器。对于这些实施例，物理传感器用于提供要分配给物理显示设备202和生成的虚拟显示设备的扩展桌面的第一部分与第二部分之间的期望的相对显示方位的指示。该指示基于由物理传感器响应于头戴式显示设备220和/或物理显示设备202的倾斜、移动和旋转中的至少之一而采集的数据。
透视逻辑208将期望的相对显示方位转送给关联逻辑210。除了将期望的相对显示方位转送给关联逻辑210之外，透视逻辑208还将期望的相对显示方位转送到存储器214以用于存储。存储器214将在下文中更详细描述。
关联逻辑210配置将要呈现在物理显示设备202和由生成逻辑206生成的至少一个虚拟显示设备上的扩展桌面第一部分和第二部分。对于一个实施例，配置包括期望的相对显示方位，并且扩展桌面联合地同时提供在物理显示设备202和生成逻辑206所生成的虚拟显示设备上。对于另一实施例，扩展桌面首先提供在物理显示设备202上，然后扩展到生成逻辑206生成的虚拟显示设备上。
在通过关联逻辑210配置了在物理显示设备202和生成的虚拟显示设备上的扩展显示之后，已经由计算逻辑204、生成逻辑206、透视逻辑208和关联逻辑210采集和/或处理的全部的数据和/或参数被转送给呈现单元218和存储器214以用于存储。存储器214将在下文中进行更详细描述。
呈现单元218可以是硬件或软件或它们的组合。呈现单元218用于联合由图2的其它逻辑单元采集和/或获得的数据，以及根据所联合的数据来创建虚拟显示设备和计算机生成的信息的最终视觉表示。由呈现单元218所创建的虚拟显示设备和计算机生成的信息的最终视觉表示在看穿显示设备220上呈现给头戴式显示设备105的用户。
例如，且通过非限制的方式，呈现单元218可以是投影仪，其将至少一个视觉显示设备投影到看穿显示设备212上，看穿显示设备212由直接放置在人眼上或者人眼前且用于集中、修正、投影或分散光线的透镜或玻璃片、塑料或者其它透明物质制成。对于先前的示例，投影的虚拟显示设备由生成逻辑206生成，并且通过透视逻辑208和关联逻辑210配置有相对显示方位。
对于附加的非限制示例，呈现单元218可以是显示控制器，其处理由生成逻辑206生成的虚拟显示设备中的至少一个，并且利用看穿显示设备212来输出处理的结果，诸如虚拟视网膜显示设备(VRD)、视网膜扫描显示设备(RSD)或视网膜投影仪(RP)，以便将生成逻辑206生成的虚拟显示设备中的至少一个直接呈现到头戴式显示设备220的用户的眼睛的视网膜上。
对于另一非限制的示例，呈现单元218可以是视频显示控制器(VDC)，其处理生成逻辑206所生成的虚拟显示设备，以及透视逻辑208和关联逻辑210的相对显示方位，并且使用处理的结果在看穿显示设备212上输出帧缓存，以使得头戴式显示设备220的用户能够被呈现虚拟显示设备和计算机生成的信息的视觉表示。对于另外的非限制示例，呈现单元218可以是视频显示处理器(VDP)，其处理生成逻辑206生成的虚拟显示设备，以及透视逻辑208和关联逻辑210的相对显示方位，并且使用处理的结果使用来输出视觉显示设备和计算机生成的信息的视觉表示，以便在看穿显示设备212上显示给头戴式显示设备220的用户。对于可替代的示例，呈现单元218可以是视频信号发生器，其将由生成逻辑206、透视逻辑208和关联逻辑210中的至少一个生成和处理过的虚拟显示设备中至少一个的视觉表示输出到看穿显示设备212，以用于向头戴式显示设备220的用户呈现至少一个虚拟显示设备和计算机信息。
来自呈现单元218的输出转送到看穿显示设备212，以用于将生成逻辑206的至少一个生成的虚拟显示设备呈现给头戴式显示设备220的用户。此外，呈现单元218的输出还转送到存储器214以用于存储。存储器214将在下文中进行详细描述。
在看穿显示设备212上呈现的呈现单元218的输出显示出生成逻辑206生成的虚拟显示设备中的至少一个。对于一些实施例，生成逻辑206生成的虚拟显示设备中的至少一个被配置为与物理显示设备202协同工作，作为扩展桌面。对于一个实施例，生成逻辑206生成的虚拟显示设备中的至少一个基于由透视逻辑208和关联逻辑210分别确定的扩展桌面的第一部分和第二部分的配置的相对显示方位而由呈现单元218呈现在看穿显示设备212上。
对于一些实施例，生成单元206生成的虚拟显示设备中的至少一个通过呈现单元218在看穿显示设备212上呈现给佩戴头戴式显示设备220的用户，作为用户觉察到的真实世界场景中的附加对象。例如，生成逻辑206生成的虚拟显示设备能够通过呈现单元218呈现在看穿显示单元212上，作为与真实世界场景中的物理显示设备202相邻定位的附加对象。可替代地，生成逻辑206生成的虚拟显示设备能够通过呈现单元218呈现在看穿显示设备212上，作为叠加在真实世界场景中的物理显示设备202上的附加对象。对于又另外的实施例，仅在物理显示设备202处于头戴式显示设备220的视场中的同时，如上所述，计算机生成的信息才显示在跨越生成逻辑206生成的虚拟显示设备和物理显示设备202的扩展桌面中。
对于实施例，存储器214用于存储由传感器216、计算逻辑204、生成逻辑206、透视逻辑208、关联逻辑210和看穿显示设备212所采集和/或处理的全部数据。
对于另一实施例，在扩展桌面中显示给用户的计算机生成的信息存储在头戴式显示设备220的存储器214中。仅在物理显示设备202不在头戴式显示设备220的视场中的情况下，如上所述，由存储器214存储的计算机生成的信息才通过呈现单元218排他地呈现在由生成逻辑206生成的至少一个虚拟显示设备(诸如图1的虚拟显示设备107A-B)中。例如，且通过非限制的方式，如果正在观看由物理显示设备220和呈现在看穿显示设备212上的虚拟显示设备构成的扩展桌面的头戴式显示设备220的用户移动他的头部而使得物理显示设备202不再处于如至少一个物理传感器所确定的他的视场中，则存储在存储器214中的信息将通过呈现单元218仅呈现在看穿显示设备212上所呈现的虚拟显示设备中。存储器214的优点在于，即使物理显示设备202从头戴式显示设备220的视场中移除后，其也允许用户利用头戴式显示设备220来继续观看扩展桌面中的计算机生成的信息。
头戴式显示设备220的计算逻辑204能够可选地重新确定头戴式显示设备220的位置信息、物理显示设备202的位置信息、物理显示设备202的表面位置、和物理显示设备202的屏幕区域。该重新确定能够响应于如下中的至少一个而被实施：物理显示设备202的物理移动，头戴式显示设备220的物理移动，以及自头戴式显示设备220的位置信息的先前确定、物理显示设备202的定位的先前确定、物理显示设备202的表面位置的先前确定、和物理显示设备202的屏幕区域的先前确定中的至少之一经过了一定量的时间。
对于一些实施例，头戴式显示设备220和/或物理显示设备202的物理移动包括头戴式显示设备220和/或物理显示设备202的倾斜、旋转或移动中的至少一个。对于这些实施例，对物理显示设备202和头戴式显示设备220中的至少一个的物理移动的确定能够基于加速度计、数字罗盘、视觉照相机、红外照相机、陀螺传感器、磁传感器或加速度传感器以及其它适合采集与头戴式显示设备220和/或物理显示设备202的物理操纵和/或方位上下文有关的数据和/或测量与头戴式显示设备220和/或物理显示设备202的物理操纵和/或方位上下文有关的参数的物理传感器中的至少一个的确定。对于一些实施例，对头戴式显示设备220和物理显示设备202的位置信息、物理显示设备202的表面位置、和物理显示设备202的屏幕区域的重新确定能够基于如上所述的传感器216所测量的数据和/或参数。对于该实施例，传感器216能够通过重新确定头戴式显示设备220的位置信息以及重新确定物理显示设备202的位置信息而基于对头戴式显示设备220的重新确定的位置来重新确定头戴式显示设备220的位置和物理显示设备202的定位。
对位置信息的重新确定包括：重新确定头戴式显示设备220的位置，重新确定如头戴式显示设备220的用户的视角所确定的头戴式显示设备220的视点方位，利用重新确定的头戴式显示设备220的位置和头戴式显示设备220的视点方位来重新确定物理显示设备的多个顶点，利用重新确定的物理显示设备的多个顶点、重新确定的头戴式显示设备220的位置以及重新确定的头戴式显示设备220的视点方位来重新确定头戴式显示设备220与多个顶点中的每个顶点之间的每个距离。对于又另外的实施例，重新确定头戴式显示设备220的位置信息还包括参考头戴式显示设备220的重新确定的位置来重新确定物理显示设备202的定位。
图3A和图3B示出了利用多显示设备系统(诸如图1的多显示设备系统100)向用户显示计算机生成的信息的方法300，该多显示设备系统包括至少一个物理显示设备(诸如图1的物理显示设备103)以及由头戴式显示设备(诸如图1的头戴式显示设备105)提供的至少一个虚拟显示设备(诸如图1的虚拟显示设备107A-B)。例如，利用一起工作作为扩展桌面的物理显示设备103和虚拟显示设备107A-B将计算机生成的信息呈现给用户。所显示的计算机生成的信息可以是音频或视频输出(例如，声音、文本、图形、视频等)或者能够在用户能够与其交互的计算系统上呈现给用户的任何其它类型的信息。
在图3A中，在框302，头戴式显示设备105确定头戴式显示设备105的位置信息和物理显示设备103的位置信息。对于实施例，对头戴式显示设备105和物理显示设备103的位置信息的确定通过图2的传感器216和计算逻辑204来实施，如上所述。
在图3A的框304，头戴式显示设备105计算物理显示设备103的定位、表面位置和屏幕区域。对于一个实施例，对物理显示设备103的定位、表面位置和屏幕区域的计算是通过如上所述的图2的传感器216和计算逻辑204来实施的。
在图3A的框306，头戴式显示设备105可选地确定物理显示设备103的每个顶点之间的每个角度。对于实施例，对物理显示设备103的角度的确定是通过如上所述的图2的传感器216来实施的。
在图3A的框308，头戴式显示设备105可选地利用在框306确定的角度来修正在框304计算的表面位置和/或屏幕区域。例如，角度可充当物理显示设备103和头戴式显示设备105的每个顶点之间的对应距离值中的每一个的倍增值或其它加权值。该修正被实施以创建表示物理显示设备103和头戴式显示设备105的每个顶点之间的距离中的每个的修正后的距离值。这些修正后的距离值随后用于与物理显示设备103的顶点中的每个相结合来计算物理显示设备103的修正后的屏幕区域和/或修正后的表面位置。对于一个实施例，对物理显示设备103的表面位置和屏幕区域中的至少一个的修正是通过如上所述的图2的计算逻辑204来实施的。
在图3A的框310中，头戴式显示设备105生成至少一个虚拟显示设备107A-B以便在头戴式显示设备105上显示给用户。对于实施例，虚拟显示设备107A-B是基于如图3A的框302-308中所确定的头戴式显示设备105的位置信息、物理显示设备103的位置信息、物理显示设备103的表面位置、和物理显示设备103的屏幕区域来生成的。
对于另一实施例，虚拟显示设备107A-B是通过头戴式显示设备105基于从眼跟踪传感器获得的数据与图3A的框302-308中采集和/或处理的数据相结合而生成的。基于至少一些眼跟踪数据来生成虚拟显示设备107A-B的优点是使得能够基于个体用户的视角而将至少一个虚拟显示设备107A-B呈现给头戴式显示设备105的用户。眼跟踪传感器可以基于眼附着跟踪，诸如具有嵌入式反射镜或磁场传感器的特殊接触透镜，或者基于光学眼跟踪，诸如瞳孔中心角膜反射技术。应当意识到计算和/或跟踪用户的眼移动来确定用户的视角的技术是本领域普通技术人员所公知的，并且因此不限于本文所描述的技术。
对于其它示例性的实施例，虚拟显示设备107A-B具有作为物理显示设备103的屏幕区域的倍数的屏幕区域，以及作为物理显示设备103的表面位置的倍数的表面位置。对于一些实施例，虚拟显示设备107A-B的生成是通过图2的生成逻辑206实施的，如上所述。
在图3A的框312，头戴式显示设备105确定要分配给物理显示设备103和生成的虚拟显示设备107A-B的扩展桌面的第一部分和第二部分之间的期望的相对显示方位。对于一个实施例，期望的相对显示方位基于如图3A的框302-308所确定的头戴式显示设备105的位置信息、物理显示设备103的位置信息、物理显示设备103的表面位置、和物理显示设备103的屏幕区域。对于另一实施例，期望的相对显示方位是通过图2的透视逻辑208确定的，如上所述。
在图3A的框314，头戴式显示设备105配置扩展桌面使其具有如图3A的框312所确定的期望的相对显示方位。对于一个实施例，该配置响应于对期望的相对显示方位的确定而自动地实施。对于其它实施例，扩展桌面被配置为同时在物理显示设备103和虚拟显示设备107A-B上联合提供计算机生成的信息。扩展桌面在物理显示设备103和虚拟显示设备107A-B上的配置能够例如通过如上所述的图2的关联逻辑210来实施。
在图3A的框316，头戴式显示设备105将至少一个虚拟显示设备107A-B呈现给佩戴头戴式显示设备105的用户。虚拟显示设备107A-B作为佩戴头戴式显示设备105的用户所正在观看的真实世界场景中的附加对象呈现在头戴式显示设备105的看穿显示设备上。此外，在图3A的框316，头戴式显示设备105还将计算机生成的信息呈现在分别由框312和314确定和配置的扩展桌面中。对于实施例，对于用户而言，虚拟显示设备107A-B看起来被混合在当用户浏览头戴式显示设备105的看穿显示设备的同时用户所观看到的真实世界场景中。对于另一实施例，对于用户而言，虚拟显示设备107A-B看起来与在真实世界场景中的物理显示设备103紧邻地定位。例如，对于用户而言，虚拟显示设备107A-B看起来是位于物理显示设备103左侧的屏幕。对于另一示例，对于用户而言，虚拟显示设备107A-B看起来是位于物理显示设备103的右侧的屏幕。在又另外的示例中，对于用户而言，虚拟显示设备107A-B看起来是位于物理显示设备103底部的屏幕。对于又另外的示例，对于用户而言，虚拟显示设备107A-B看起来是位于物理显示设备103的顶部的屏幕。对于附加的示例，对于用户而言，虚拟显示设备107A-B看起来是位于物理显示设备103的左侧、物理显示设备103的右侧、物理显示设备103的顶部、物理显示设备103的底部、及其任何其它组合或变型中的至少一个的屏幕。
对于其它实施例，对于用户而言，虚拟显示设备107A-B看起来叠加在物理显示设备103上，以使得用户同时看到虚拟显示设备107A-B和物理显示设备103上的信息。例如，对于用户而言，虚拟显示设备107A-B看起来是覆盖在物理显示设备103上的屏幕。图4(上文所述)提供了示例性的实施例，其显示出叠加在物理显示设备(诸如物理显示设备413)上的虚拟显示设备(诸如虚拟显示设备411)。对于一些实施例，向头戴式显示设备105的用户呈现至少一个虚拟显示设备107A-B能够例如利用图2的看穿显示设备212来实施，如上所述。
返回图3A，在框318，头戴式显示设备105判定物理显示设备103是否在头戴式显示设备105的视场中。如果物理显示设备103不在头戴式显示设备105的视场中，则方法300移到图3B的框324(下面描述)。如果物理显示设备103在头戴式显示设备105的视场中，则在框320，头戴式显示设备105判定头戴式显示设备105和物理显示设备103中的至少一个是否已经过物理移动。对于一些实施例，对物理显示设备103和头戴式显示设备105中的至少一个的物理移动的判定可以基于通过加速度计、数字罗盘、视觉照相机、红外照相机、陀螺传感器、磁传感器、或者加速度传感器、以及适合采集与头戴式显示设备105和/或物理显示设备103的物理操纵和/或方位上下文有关的数据和/或测量与头戴式显示设备105和/或物理显示设备103的物理操纵和/或方位上下文有关的参数的其它物理传感器中的至少一个的判定。对于其它实施例，判定物理显示设备103和头戴式显示设备105中的至少一个的物理移动已经发生可以基于图2的传感器216所采集的数据，如上所述。
如果在图3A的框320，方法300判定出物理显示设备103和头戴式显示设备105中的至少一个的物理移动已经发生，则方法300进行到框302以重新确定物理显示设备103和头戴式显示设备105的位置信息，如上所述。对于一些实施例，位置信息的重新确定通过图2的传感器216和计算逻辑204来实施，如上所述。在图3A的框320，如果方法300判定出没有发生物理显示设备103或头戴式显示设备105的物理移动，则方法300进行到图3A的框322(下面描述)。
在图3A的框322，头戴式显示设备105判定自物理显示设备103的位置信息和头戴式显示设备105的位置信息中的至少一个的先前判定起是否经过了预定量的时间。如果已经经过了预定量的时间，则方法300返回图3的框302以重新确定物理显示设备103和头戴式显示设备105的位置信息，如上所述。对于一些实施例，位置信息的重新确定通过图2的传感器216和计算逻辑204来实施，如上所述。对于其它实施例，头戴式显示设备105可以包括定时器逻辑(未示出)，定时器逻辑用于存储预定时间段且使得计算逻辑(诸如图2的计算逻辑204)重新确定物理显示设备103和头戴式显示设备105的位置信息，如上所述。
在图3A的框322，如果没有经过预定量的时间，则方法300返回到图3A的框316以利用至少一个虚拟显示设备107A-B和至少一个物理显示设备103在扩展桌面中继续呈现计算机生成的信息，如上所述。
如上文提到的，如果物理显示设备103不在头戴式显示设备105的视场中，则方法300移到图3B的框324。在框324中，头戴式显示设备105判定在扩展桌面中呈现的计算机生成的信息是否存储在存储器(诸如图2的存储器214)中。
如果在扩展桌面中显示的计算机生成的信息存储在存储器中，则方法300能够可选地继续到图3B的框326。在框326中，头戴式显示设备105在头戴式显示设备105的虚拟显示设备107A-B中排他地呈现存储的信息。
如果在扩展桌面中显示的计算机生成的信息没有存储在存储器中，或者如果头戴式显示设备105在虚拟显示设备107A-B中排他地显示所存储的信息，则方法300返回到图3A的框302以开始确定物理显示设备103和头戴式显示设备105的位置信息，如上所述。
图5以框图形式示出了用于实现利用多显示设备系统向用户显示计算机生成的信息的方法的示例性的处理系统，多显示设备系统包括至少一个物理显示设备和至少一个虚拟显示设备。
数据处理系统500包括存储器510，其与微处理器505耦合。存储器510可用于存储数据、元数据和程序，以便由微处理器505执行。存储器510可包括易失性和非易失性存储器中的一个或多个，诸如RAM、ROM、SSD、闪存、PCM、或其它类型的数据存储。存储器510可以是内部或分布式的存储器。
数据处理系统500包括网络和端口接口515，诸如端口、用于扩展坞(dock)的连接器、或者用于USB接口的连接器、火线(FireWire)、雷电(Thunderbolt)、以太网、光纤通道等，将系统500与另一设备、外部组件或网络连接。示例性的网络和端口接口515还包括无线收发机，诸如IEEE802.11收发机、红外收发机、蓝牙收发机、无线蜂窝电话收发机(例如，2G，3G，4G，等等)、或者将数据处理系统500与另一设备、外部组件或网络连接且接收存储的指令、数据、令牌等的另一无线协议。
数据处理系统500还包括显示控制器和显示设备520以及一个或多个输入或输出(“I/O”)设备以及接口525。显示控制器和显示设备520为用户提供了视觉用户接口。I/O设备525允许用户提供输入到系统，接收来自系统的输出，以及其它方式传递数据到系统以及从系统传递数据。I/O设备525可以包括鼠标、键盘或键区、触摸面板或多触摸输入面板，照相机、光扫描仪、音频输入/输出(例如，麦克风和/或扬声器)、其它已知的I/O设备或这些I/O设备的组合。将意识到，一个或多个总线可以用于将图5所示的各组件互连。
数据处理系统500是利用至少一个物理显示设备和至少一个虚拟显示设备为用户提供扩展桌面的多显示设备系统中的一个或多个的示例性表示。示例性的数据处理系统500是图1的多显示设备系统100或图4的多显示设备系统400，图1的计算机系统101，图4的计算机系统409，图1的头戴式显示设备105，以及图4的头戴式显示设备403。数据处理系统500可以是视频头戴式显示设备、光学头戴式显示设备、台式计算机、个人计算机、平板式设备、个人数字助理(PDA)、具有PDA类似功能的蜂窝电话、基于Wi-Fi的电话、包括蜂窝电话的手持式计算机、媒体播放器、娱乐系统或者组合了这些设备的方面或功能的设备，诸如在一个设备中组合有PDA和蜂窝电话的媒体播放器。在其它实施例中，数据处理系统500可以是网络计算机、服务器或者在另一设备或消费电子产品内的嵌入式处理设备。如本文所使用的，术语计算机、设备、系统、处理系统、处理设备、计算机系统和“包括处理设备的装置”可以与数据处理系统500互换使用且包括上述列出的示例性实施例。
没有显示出的附加组件也可以是数据处理系统500的部分，并且在一些实施例中，比图5所示更少的组件也可用于数据处理系统500中。根据本说明书将理解，本发明的各方面可以至少部分地通过软件来实施。也即，计算机实现方法300可以响应于其处理器或处理系统505执行如存储器510的存储器或其它非暂时性机器可读存储介质中所包含的指令序列而在计算机系统或其它数据处理系统500中实施。软件可进一步经由网络接口设备515在网络(未示出)上发送或接收。在各种实施例中，硬接线的电路系统可与软件指令相结合使用来实现本实施例。因此，技术不限于硬件电路和软件的任意特定组合，或者不限于数据处理系统500所执行的指令的任何特定源。
制品可用于存储提供上述的实施例的功能中的至少一些的程序代码。另外，制品可用于存储利用上述实施例的功能中的至少一些所创建的程序代码。存储程序代码的制品可以具体实施为，但不限于，一个或多个存储器(例如，一个或多个闪速存储器、随机存取存储器——静态、动态或其它)、光盘、CD-ROM、DVD-ROM、EPROM、EEPROM、磁卡或光卡、或适合存储电子指令的其它类型的非暂时性机器可读介质。另外，本发明的实施例可以实现在但不限于使用FPGA、ASIC、处理器、计算机或包括网络的计算机系统的硬件或固件。硬件或软件实现的模块和组件能够被划分或组合，而不显著地改变本发明的实施例。
在前面的说明书中，已经提到了提供具有头戴式显示设备的扩展显示的系统和方法的具体实施例。上述的说明书和附图示例说明了提供具有头戴式显示设备的扩展显示的系统和方法，并且不应解释为限制提供具有头戴式显示设备的扩展显示的系统和方法。显然，可以对其做出各种修改，而不偏离提供具有头戴式显示设备的扩展显示的系统和方法的更宽的精神和范围。