具有世界传感器和用户传感器的显示系统的制作方法

虚拟现实(vr)允许用户体验沉浸式人工环境并且/或者与沉浸式人工环境相互作用，使得用户感觉好像他们实际上处于物理环境中。例如，虚拟现实系统可将立体场景显示给用户以便创建深度错觉，并且计算机可实时调整场景内容，以提供用户在场景内移动的错觉。当用户通过虚拟现实系统查看图像时，从第一人称的角度来看，用户可因此感觉好像他们在场景内移动。类似地，混合现实(mr)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图相结合，以增强或添加内容到世界的用户视图。因此，虚拟现实的模拟环境和/或增强现实的混合环境可用于为多种应用提供交互式用户体验，诸如将虚拟内容添加到观察者环境的实时视图的应用、与虚拟培训环境进行交互的应用、游戏应用、远程控制无人驾驶飞机或其他机械系统的应用、查看数字媒体内容的应用、与互联网交互的应用等。

技术实现要素：

描述了混合现实系统的实施方案，该混合现实系统可包括混合现实设备，诸如头戴式耳机、头盔，护目镜或眼镜(本文中称为头戴式显示器(hmd))，该混合现实设备包括用于向用户的眼睛投射或显示包括左图像和右图像的帧的投影仪机构，从而向用户提供3d虚拟视图。3d虚拟视图可包括用虚拟内容(例如，虚拟对象，虚拟标签等)增强的用户环境的视图。混合现实系统可包括收集有关用户环境的信息(例如，视频、深度信息、照明信息等)的面向世界的传感器，以及收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的面向用户的传感器。传感器提供该信息作为到混合现实系统的控制器的输入。控制器可至少部分地基于来自世界传感器和用户传感器的输入来渲染包括虚拟内容的帧。该控制器可以集成在hmd中，或替代地可至少部分地由hmd外部的设备实现。hmd可显示由控制器生成的帧以提供包括虚拟内容的3d虚拟视图和用户环境的视图以供用户查看。

在一些实施方案中，传感器可包括捕获用户环境的高质量视图的一个或多个摄像机，该高质量视图可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，传感器可包括捕获用于用户环境的深度或范围信息的一个或多个传感器。在一些实施方案中，传感器可包括可捕获有关用户在环境中的位置、取向和运动的信息的一个或多个传感器。在一些实施方案中，传感器可包括捕获用户环境中的照明信息(例如，方向、颜色、强度)的一个或多个摄像机，该照明信息可例如用于在虚拟视图中渲染(例如，着色和/或照明)内容。在一些实施方案中，传感器可包括追踪用户眼睛的位置和移动的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的手部、手指和/或臂部的位置、移动和姿态的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的眉毛/前额的表情的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的口部/颌部的表情的一个或多个传感器。

附图说明

图1示出了根据至少一些实施方案的混合现实系统。

图2a至图2c示出根据至少一些实施方案的头戴式显示器(hmd)的面向世界的传感器和面向用户的传感器。

图3为根据至少一些实施方案的用于如图1至图2c所示的混合现实系统的操作方法的流程图。

图4示出根据至少一些实施方案的混合现实系统的部件。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35u.s.c.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，fpga或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”。如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下，b为影响a的确定的因素，此类短语不排除a的确定也可基于c。在其他实例中，可仅基于b来确定a。

或者权利要求中使用时，术语“或”用于作为一种包容性的或而不是异或。例如，短语“x、y或z中的至少一个”是指x、y和z中的任何一个以及它们的任何组合。

具体实施方式

描述了用于为用户生成混合现实视图的方法和设备的各种实施方案。描述了混合现实系统的实施方案，该混合现实系统可包括混合现实装置，诸如头戴式耳机、头盔、护目镜或眼镜(本文中称为头戴式显示器(hmd))，该混合现实设备包括用于向用户的眼睛投射或显示包括左图像和右图像的帧的投影仪机构，从而向用户提供3d虚拟视图。3d虚拟视图可包括用虚拟内容(例如，虚拟对象、虚拟标签等)增强的用户环境的视图。混合现实系统还可包括收集有关用户环境的信息(例如，视频、深度信息、照明信息等)的面向世界的传感器，以及收集有关用户的信息(例如，用户的表情、眼睛运动、手势等)的面向用户的传感器。传感器可向混合现实系统的控制器提供所收集的信息。控制器可至少部分地基于从传感器获得的各种信息来渲染包括虚拟内容的帧以供投影仪显示。

如上所述，混合现实系统可包括例如位于混合现实hmd的外表面上的面向世界的传感器(也称为世界传感器)，该面向世界的传感器收集有关用户环境的各种信息。在一些实施方案中，世界传感器可包括一个或多个“视频透视”摄像机(例如，rgb(可见光)摄像机)，该“视频透视”摄像机捕获用户的环境的高质量视图，该高质量视图可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，世界传感器可包括一个或多个世界标测传感器(例如，具有ir照明源的红外(ir)摄像机，或光检测和测距(lidar)发射器和接收器/检测器)，该一个或多个世界标测传感器例如捕获用于用户环境的深度或范围信息。在一些实施方案中，世界传感器可包括一个或多个“头部姿势”传感器(例如，ir摄像机或rgb摄像机)，该一个或多个“头部姿势”传感器可捕获有关用户在环境中的位置、取向和运动的信息；例如，该信息可用于增强由hmd的惯性测量单元(imu)收集的信息。在一些实施方案中，世界传感器可包括捕获用户环境中的照明信息(例如，颜色、强度和方向)的一个或多个光传感器(例如，rgb摄像机)，该照明信息可例如用于渲染虚拟视图中虚拟内容的照明效果。

如上所述，混合现实系统可包括例如位于混合现实hmd的外表面和内表面上的面向用户的传感器(也称为用户传感器)，该面向用户的传感器收集有关用户的信息(例如，用户的表情、眼睛运动等)。在一些实施方案中，用户传感器可包括一个或多个眼睛追踪传感器(例如，具有ir照明的ir摄像机，或可见光摄像机)，该一个或多个眼睛追踪传感器追踪用户的眼睛的位置和移动。在可见光(rgb)摄像机的情况下，眼睛追踪传感器也可用于其他目的，例如虹膜识别。在一些实施方案中，用户传感器可包括追踪用户的手部、手指和/或臂的位置、移动和姿态的一个或多个手传感器(例如，具有ir照明的ir摄像机)。在一些实施方案中，用户传感器可包括追踪用户的眉毛/前额的表情的一个或更多的眉毛传感器(例如，具有ir照明的ir摄像机)。在一些实施方案中，用户传感器可包括追踪用户的口部/颌部的表情的一个或多个下颌跟踪传感器(例如，具有ir照明的ir摄像机)。

图1示出了根据至少一些实施方案的混合现实系统10。在一些实施方案中，混合现实系统10可以包括hmd100诸如耳机、头盔、护目镜或可由用户190佩戴的眼镜。在一些实施方案中，可经由hmd100将虚拟内容110在3d虚拟视图102中向用户190显示；可在虚拟空间102中的不同深度处显示不同的虚拟对象。在一些实施方案中，虚拟内容110可在相对于由hmd100提供的用户的当前视线的用户190的环境的视图中进行覆盖或合成。

hmd100可实现各种类型的虚拟现实投影技术中的任一种。例如，hmd100可为近眼vr系统，该近眼vr系统在用户190的眼睛前面的屏幕上投射左图像和右图像(该左图像和右图像由受试者查看)，诸如dlp(数字光处理)系统、lcd(液晶显示器)系统和lcos(硅上液晶)技术vr系统。作为另一示例，hmd100可为直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地扫描到受试者的眼睛的左图像和右图像。为扫描图像，左投影仪和右投影仪产生射束，该射束被引导到位于用户190的眼睛的前面的左反射部件和右反射部件(例如，椭球反射镜)；反射部件将光束反射到用户的眼睛。为创建三维(3d)效果，在3d虚拟视图102中的不同深度或距离处的虚拟内容110在两个图像中作为距离的三角测量的函数向左或向右偏移，其中较近的对象比较远的对象偏移得更多。

hmd100可包括收集有关用户190的环境的信息(视频、深度信息、照明信息等)的世界传感器140和收集有关于用户190的信息(例如，用户的表情、眼睛移动、手势等)的用户传感器150。传感器140和150可向混合现实系统10的控制器提供收集到的信息。控制器可渲染用于由hmd100的投影仪部件显示的帧，该帧包括至少部分地基于从传感器140和150获得的各种信息的虚拟内容。示例传感器140和150在图2a至图2c中示出。

虽然未在图1中示出，但是，在一些实施方案中，混合现实系统10可包括一个或多个其他部件。例如，系统可包括光标控制设备(例如，鼠标)，以用于在3d虚拟视图102中移动虚拟光标以与虚拟内容110进行交互。作为另一示例，在一些实施方案中，系统10可包括经由有线连接或无线(例如，蓝牙)连接耦接到hmd100的计算设备，该有线连接或无线连接实现hmd100的功能中的至少一些，例如渲染待由hmd100在3d虚拟视图102中显示的图像和图像内容。

图2a至图2c示出根据至少一些实施方案的示例hmd200的面向世界的传感器和面向用户的传感器。图2a示出根据一些实施方案的具有世界传感器和用户传感器210-217的示例hmd200的侧视图。图2b示出根据一些实施方案的具有世界传感器和用户传感器210-217的示例hmd200的前(面向世界)视图。图2c示出根据一些实施方案的具有世界传感器和用户传感器210-217的示例hmd200的后(面向世界)视图。需注意，如图2a至图2c所示的hmd200以示例的方式给出，并且不旨在进行限制。在各种实施方案中，hmd的形状、大小及其他特征可不一致，并且世界传感器和用户传感器的位置、数量、类型和其他特征可有所不同。

如图2a至图2c所示，hmd200可被佩戴在用户290的头部上，使得投影系统显示器202(例如，近眼vr系统的屏幕和光学器件)或直接视网膜投影仪系统的反射部件(例如，椭球反射镜)设置在用户290的眼睛292的前面。在一些实施方案中，hmd200可包括收集有关用户290的环境的信息(视频、深度信息、照明信息等)的世界传感器210-213，以及收集有关用户290的信息(例如，用户的表情、眼睛移动、手势等)的用户传感器214-217。传感器210-217可向混合现实系统的控制器(未示出)提供收集到的信息。控制器可在hmd200中实现，或者替代地可至少部分地由经由有线或无线接口通信地耦接到hmd200的外部设备(例如，计算系统)来实现。控制器可包括各种类型的处理器、图像信号处理器(isp)、图形处理单元(gpu)、编码器/译码器(编码译码器)和/或用于处理和渲染视频和/或图像的其他部件中的一个或多个。控制器可渲染帧(每个帧包括左图像和右图像)，该帧包括至少部分地基于从传感器210-217获得的各种输入的虚拟内容，并且可向hmd200的投影系统提供帧以用于向左和右显示器202显示。图4还示出根据一些实施方案的hmd和混合现实系统的部件。

例如，世界传感器210-213可位于hmd200的外表面上，并且可收集关于用户环境的各种信息。在一些实施方案中，可使用由该世界传感器收集的信息来为用户提供其真实环境的虚拟视图。在一些实施方案中，可使用世界传感器来为在真实环境中的对象提供深度信息。在一些实施方案中，可使用世界传感器向在真实环境中的用户提供取向和运动信息。在一些实施方案中，可使用世界传感器来收集真实环境中的颜色和照明信息。

在一些实施方案中，世界传感器可包括一个或多个“视频透视”摄像机210(例如，rgb(可见光)视频摄像机)，该一个或多个“视频透视”摄像机210捕获用户环境的高质量视频，该高质量视频可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，可由hmd200的控制器处理由摄像机210a和摄像机210b捕获的视频流，以渲染包括虚拟内容的帧，并且可将渲染的帧提供给设备的投影系统以用于在相应的显示器202a和显示器202b上显示。然而，需注意，在一些实施方案中，为减少向用户290显示的世界的虚拟视图的延迟，由摄像机210a和210b捕获的至少一些视频帧可直接进入设备的投影系统以用于在相应的显示器202a和202b上显示。控制器还可以接收并处理该视频帧以将虚拟内容合成到帧中，然后将该帧提供给投影系统以用于显示。

如在图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，在大体上在用户的眼睛292a和292b中的每个的前面的位置处可存在位于hmd200的前表面上的两个视频透视摄像机210a和210b。然而，在各种实施方案中，可在hmd200中使用更多或更少的摄像机210来捕获用户290的环境的视频，并且摄像机210可被定位在其他位置。在示例非限制性实施方案中，视频透视摄像机210可包括高质量、高分辨率rgb视频摄像机，例如具有60帧每秒(fps)或更大的帧率、大于90度的水平视场(hfov)并且具有0.1米(m)至无穷大的工作距离的1000万像素(例如，3072×3072像素数)摄像机。

在一些实施方案中，世界传感器可包括具有ir照明源的一个或多个世界标测传感器211(例如，红外(ir)摄像机或光检测和测距(lidar)发射器和接收器/检测器)，该一个或多个世界标测传感器211例如捕获用于用户环境中的对象和表面的深度或范围信息。例如，该范围信息可以用于在正确的深度处定位合成到真实环境的图像中的虚拟内容。在一些实施方案中，该范围信息可用于在显示时调整真实对象在环境中的深度。例如，附近对象可被重新渲染为在显示器中为较小，以帮助用户在环境周围移动时避开对象。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，可存在位于hmd200的前表面上的一个世界标测传感器211。然而，在各种实施方案中，可使用多于一个世界标测传感器211，并且可将世界标测传感器211定位在其他位置。在示例非限制性实施方案中，世界标测传感器211可包括ir光源和ir摄像机，例如，具有60帧每秒(fps)或更大的帧率、90度或更大的hfov并且具有0.1m至1.5m的工作距离的100万像素(例如，1000×1000像素数)摄像机。

在一些实施方案中，世界传感器可包括一个或多个“头部姿势”传感器212(例如，ir或rgb摄像机)，该一个或多个“头部姿势”传感器212可捕获关于用户和/或用户的头部在环境中的位置、取向和/或运动的信息。例如，由传感器212收集的信息可用于增强由hmd200的惯性测量单元(imu)收集的信息。增强的位置、取向和/或运动信息可以用于确定如何渲染和显示用户环境的虚拟视图和该视图内的虚拟内容。例如，无论用户当前是否正在走过环境等等，都可至少部分地基于用户头部的位置或取向来渲染环境的不同视图。作为另一示例，增强的位置、取向和/或运动信息可用于相对于用户环境的背景视图将虚拟内容合成到固定位置中的场景中。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，可存在位于hmd200的前表面或顶部表面上的两个头部姿势传感器212a和212b。然而，在各种实施方案中，可使用更多或更少的传感器212，并且传感器212可被定位在其他位置处。在示例非限制性实施方案中，头部姿势传感器212可包括rgb或ir摄像机，例如，具有120帧每秒(fps)或更大的帧率、宽视场(fov)并且具有1m至无穷大的工作距离的400x400像素数摄像机。传感器212可包括宽fov透镜，两个传感器212a和212b可朝向不同的方向。该传感器212可提供用于追踪头部位置的低延迟单色成像，并且可与hmd200的imu集成以增强由imu捕获的位置和运动信息。

在一些实施方案中，世界传感器可包括在用户环境中捕获照明信息(例如，方向、颜色和强度)的一个或多个光传感器213(例如，rgb摄像机)，例如，该照明信息可用于在用户环境的虚拟视图中渲染虚拟内容，例如用于为虚拟视图中的虚拟对象确定着色、照明、阴影效果等。例如，如果检测到红光源，则渲染到场景中的虚拟内容可用红光照明，并且更一般来讲，虚拟对象可用正确的颜色和强度的光从正确的方向和角度进行渲染。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，可存在位于hmd200的前表面或顶部表面上的一个光传感器213。然而，在各种实施方案中，可使用多于一个光传感器213，并且光传感器213可被定位在其他位置处。在示例非限制性实施方案中，光传感器213可包括rgb高动态范围(hdr)视频摄像机，例如具有30fps的帧率、180度或更大的hfov并且具有1m至无穷大的工作距离的500x500像素数摄像机。

例如，用户传感器214-217可位于hmd200的外表面和内表面上，并且可收集关于用户290的信息(例如，用户的表情、眼睛运动等)。在一些实施方案中，由用户传感器收集的信息可用于调整hmd200的世界传感器210-213的收集和/或由hmd200的世界传感器210-213收集的信息的处理。在一些实施方案中，可将由用户传感器收集的信息用于调整待投射的图像的渲染，并且/或者通过hmd200的投影系统调整图像的投影。在一些实施方案中，可将由用户传感器收集的信息用于在由hmd200投射到用户的3d虚拟视图中生成用户的化身。在一些实施方案中，由用户传感器收集的信息可用于在由hmd200投射的3d虚拟视图中与虚拟内容交互或操纵虚拟内容。

在一些实施方案中，用户传感器可包括一个或多个眼睛追踪传感器214(例如，具有ir照明源的ir摄像机)，该一个或多个眼睛追踪传感器214可用于追踪用户眼睛的位置和移动。在一些实施方案中，眼睛追踪传感器214也可用于追踪用户瞳孔的扩张。如图2a和图2b所示，在一些实施方案中，可存在两个眼睛追踪传感器214a和214b，其中每个眼睛追踪传感器追踪相应的眼睛292a或292b。在一些实施方案中，由眼睛追踪传感器214收集的信息可用于调整待投射的图像的渲染，并且/或者基于用户眼睛注视的方向和角度来调整通过hmd200的投影系统进行的图像的投影。例如，在一些实施方案中，在用户的眼睛当前注视的位置周围的区域中的图像的内容可用更多细节进行渲染，并且可处于比用户未注视的区域中的内容更高的分辨率，这允许可用的图像数据处理时间花费在由眼睛的视网膜中央区域查看的内容，而不是花费在由眼睛的外围区域查看的内容。同样地，用户未注视的区域中的图像的内容可比用户当前注视的点周围的区域的内容压缩得更多。在一些实施方案中，由眼睛追踪传感器214收集的信息可用于将用户290的化身的眼睛的方向与用户的眼睛的方向匹配。在一些实施方案中，可基于由眼睛追踪传感器214确定的用户瞳孔扩张来调节投射的图像的亮度。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，在位置处可存在位于hmd200的内表面上的两个眼睛追踪传感器214a和214b，使得传感器214a和214b具有用户290的眼睛292a和292b的相应的一个的视图。然而，在各种实施方案中，可在hmd200中使用更多或更少的眼睛追踪传感器214，并且传感器214可定位在其他位置处。在示例非限制性实施方案中，每个眼睛追踪传感器214可包括ir光源和ir摄像机，例如具有120fps或更大的帧率、70度的hfov并且具有10毫米(mm)至80mm的工作距离400x400像素数摄像机。

在一些实施方案中，该用户传感器可以包括一个或多个眉毛传感器215(例如，具有ir照明的ir摄像机)，该一个或多个眉毛传感器215追踪用户的眉毛/前额的表情。在一些实施方案中，该用户传感器可包括一个或多个下颌追踪传感器216(例如，具有ir照明的ir摄像机)，该一个或多个下颌追踪传感器216追踪用户的口部/颌部的表情。例如，在一些实施方案中，由传感器214、215和216捕获的额头、口部、颌部和眼睛的表情可用于模拟虚拟空间中的用户290的化身上的表情，并且/或者至少部分地基于用户对投射在3d虚拟视图中的内容的反应来选择性地渲染和合成用于查看的虚拟内容。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，在位置处可存在位于hmd200的内表面上的两个眉毛传感器215a和215b，使得传感器215a和215b具有用户290的眉毛和前额的视图。然而，在各种实施方案中，可在hmd200中使用更多或更少的眉毛传感器215，并且传感器215可定位在其他位置处，而不是示出的那些位置。在示例非限制性实施方案中，每个眉毛传感器215可包括ir光源和ir摄像机，例如具有60fps的帧率、60度的hfov并且具有大约5mm的工作距离的250x250像素数摄像机。在一些实施方案中，来自两个传感器215a和215b的图像可加以组合以形成用户的前额和眉毛的立体视图。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，在位置处可存在位于hmd200的内表面上的两个下颌追踪传感器216a和216b，使得传感器216a和216b具有用户290的下颌和口部的视图。然而，在各种实施方案中，可在hmd200中使用更多或更少的下颌追踪传感器216，并且传感器216可定位在其他位置处，而不是示出的那些位置。在示例非限制性实施方案中，每个下颌追踪传感器216可包括ir光源和ir摄像机，例如具有60fps的帧率、90度的hfov并且具有大约30mm的工作距离的400x400像素数摄像机。在一些实施方案中，来自两个传感器216a和216b的图像可加以组合以形成用户的下颌和口部的立体视图。

在一些实施方案中，用户传感器可包括一个或多个手传感器217(例如，具有ir照明的ir摄像机)，该一个或多个手传感器追踪用户的手部、手指和/或臂部的位置、移动和姿态。例如，在一些实施方案中，用户的手部、手指和/或臂部的检测到的位置、移动和姿态可用于模拟用户290的化身的手部、手指和/或臂部在虚拟空间中的移动。作为另一示例，用户的检测到的手部和手指姿态可用于确定用户与虚拟空间中的虚拟内容的交互，包括但不限于操纵虚拟对象的姿态，与虚拟空间中显示的虚拟用户界面元素交互的手势等。

如图2a至图2c的非限制性示例hmd200中所示，在一些实施方案中，可存在位于hmd200的底部表面上的一个手传感器217。然而，在各种实施方案中，可使用多于一个手传感器217，并且可将手传感器217定位在其他位置处。在示例非限制性实施方案中，手传感器217可包括ir光源和ir摄像机，例如具有120fps或更大的帧率、90度的hfov并且具有0.1m至1m的工作距离的500x500像素数摄像机。

图3为根据至少一些实施方案的用于如图1至图2c所示的混合现实系统的操作的方法的高级流程图。混合现实系统可包括hmd，诸如头戴式耳机、头盔、护目镜或包括投影仪机构的眼镜，该hmd用于向用户的眼睛投射或显示包括左图像和右图像的帧，从而向用户提供3d虚拟视图。3d虚拟视图可包括用虚拟内容(例如，虚拟对象、虚拟标签等)增强的用户环境的视图。

如在1002处所指示的，在hmd上的一个或多个世界传感器可捕获有关用户环境的信息(例如，视频、深度信息、照明信息等)，并将该信息作为输入向混合现实系统的控制器提供。如在1004处所指示的，在hmd上的一个或更多用户传感器可捕获有关用户的信息(例如，用户的表情、眼球运动、手势等)，并将该信息作为输入向混合现实系统的控制器提供。可并行执行元素1002和1004，并且如由返回元素1002和1004的箭头所指示的，可连续地执行元素1002和1004，以在用户使用混合现实系统时向混合现实系统的控制器提供输入。如在1010处所指示的，混合现实系统的控制器可至少部分地基于来自世界传感器和用户传感器的输入来渲染包括虚拟内容的帧。该控制器可以集成在hmd中，或替代地可至少部分地由hmd外部的设备实现。如在1020处所指示的，hmd可显示由控制器生成的帧以提供包括虚拟内容的3d虚拟视图和用户环境的视图以供用户查看。如返回元素1020的箭头所指示的，只要用户使用该混合现实系统，控制器就可继续接收和处理来自传感器的输入以渲染用于显示的帧。

注意，在一些实施方案中，为减少待向用户显示的世界的虚拟视图的延迟，由世界传感器(视频透视摄像机)捕获的用户的真实环境的至少一些视频帧可直接进入设备的投影系统以用于向用户显示；控制器还可接收和处理该视频帧以将虚拟内容合成到帧中，然后该帧被提供给投影系统以用于显示。

图4为根据至少一些实施方案的示出示例混合现实系统的部件的框图。在一些实施方案中，混合现实系统1900可包括hmd2000，诸如头戴式耳机、头盔护目镜或眼镜。hmd2000可实施各种类型的虚拟现实投影仪技术中的任一种。例如，hmd2000可包括近眼vr投影仪，该近眼vr投影仪投射包括由用户查看的屏幕上的左图像和右图像的帧，诸如dlp(数字光处理)投影仪、lcd(液晶显示器)投影仪和lcos(硅上液晶)技术投影仪。作为另一示例，hmd2000可包括直接视网膜投影仪，该直接视网膜投影仪逐帧地扫描包括直接到用户的眼睛的左图像和右图像的帧。为在3d虚拟视图2002中创建三维(3d)效果，在两个图像中的不同深度或距离处的对象作为距离的三角测量的函数向左或向右偏移，其中较近的对象比较远的对象偏移得更多。

hmd2000可包括3d投影仪2020，该投影仪实现生成由用户查看的3d虚拟视图2002的vr投影技术，例如近眼vr投影技术或直接视网膜投影技术。在一些实施方案中，hmd2000还包括控制器2030，该控制器2030被配置为实现本文所述的混合现实系统1900的功能并生成帧(每个帧包括左图像和右图像)，该帧被3d投影仪2020投射或扫描成3d虚拟视图2002。在一些实施方案中，hmd2000还可包括存储器2032，该存储器2032被配置为存储可由控制器2030执行的混合现实系统的软件(代码2034)以及在控制器2030上执行时可由混合现实系统1900使用的数据2038。在一些实施方案中，hmd2000还可包括一个或多个接口2040(例如，蓝牙技术接口、usb接口等)，该一个或多个接口2040被配置为经由有线或无线连接与外部设备2100通信。在一些实施方案中，针对控制器2030描述的功能中的至少一部分可由外部设备2100实现。外部设备2100可为或可包括任何类型的计算系统或计算设备，诸如台式计算机、笔记本或膝上型计算机、平板或平板设备，智能电话、手持式计算设备、游戏控制器、游戏系统等等。

在各种实施方案中，控制器2030可为包括一个处理器的单处理器系统或包括若干个处理器(例如，两个、四个、八个或另一个适当数量)的多处理器系统。控制器2030可包括中央处理单元(cpu)，该cpu被配置为实现任何合适的指令集架构，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，处理器2030可包括实现多种指令集架构(isa)(诸如x86、powerpc、sparc或mipsisa、或任何其他合适的isa)中任一种的通用或嵌入式处理器。在多处理器系统中，处理器中的每个可共同实现相同的isa，但不是必需的。控制器2030可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器2030可包括实现微编码技术的电路系统。控制器2030可包括一个或多个处理核心，该一个或多个处理核心各自被配置为执行指令。控制器2030可包括高速缓存的一个或多个级，该高速缓存的一个或多个级可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器2030可包括至少一个图形处理单元(gpu)，该至少一个图形处理单元(gpu)可包括任何合适的图形处理电路系统。通常，gpu可被配置为将待显示对象渲染到帧缓冲器中(例如，包括用于整个帧的像素数据的帧缓冲器)。gpu可包括一个或多个图形处理器，该一个或多个图形处理器可执行图形软件以执行图形操作的部分或全部或某些图形操作的硬件加速。在一些实施方案中，控制器2030可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(isp)、编码器/译码器等。

存储器2032可包括任何类型的存储器，诸如动态随机存取存储器(dram)、同步dram(sdram)、双数据速率(ddr、ddr2、ddr3等)sdram(包括sdram的移动版本，诸如mddr3等，或sdram的低功率版本，诸如lpddr2等)、rambusdram(rdram)、静态ram(sram)等。在一些实施方案中，一个或多个存储器设备可耦接到电路板上，以形成存储器模块，诸如单列直插存储器模块(simm)、双列直插存储器模块(dimm)等。替代地，该设备可以芯片上芯片(chip-on-chip)配置、封装上封装(package-on-package)配置或多芯片模块配置安装有集成电路实现系统。

在一些实施方案中，hmd2000可包括至少一个惯性测量单元(imu)2070，该惯性测量单元(imu)2070被配置为检测hmd2000的位置、取向和/或运动并向混合现实系统1900的控制器2030提供检测到的位置、取向和/或运动数据。

在一些实施方案中，hmd2000包括收集有关用户环境的信息(视频、深度信息、照明信息等)的世界传感器2050以及收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的用户传感器2060。传感器2050和2060可向混合现实系统1900的控制器2030提供收集的信息。传感器2050和2060可包括但不限于可见光摄像机(例如，视频摄像机)、红外(ir)摄像机、具有ir照明源的ir摄像机、光检测和测距(lidar)发射器和接收器/检测器，以及具有激光发射器和接收器/检测器的基于激光的传感器。示例hmd的世界传感器和用户传感器在图2a至图2c中示出。

hmd2000可被配置为至少部分地根据世界传感器2050和用户传感器2060输入渲染并显示帧以为用户提供3d虚拟视图2002。虚拟空间2002可包括渲染用户的环境，包括基于由一个或多个“视频透视”摄像机(例如，rgb(可见光)视频摄像机)捕获的视频来渲染用户的环境中的真实对象2012，该一个或多个“视频透视”摄像机实时捕获用户的环境的高质量、高分辨率视频以用于显示。虚拟空间2002还包括虚拟内容(例如，虚拟对象2014、实际对象2012的虚拟标签2015、用户的任务等)，该虚拟内容由混合现实系统1900生成并与用户的真实环境的投射的3d视图合成。图3描述根据一些实施方案的用于收集和处理传感器输入以生成3d虚拟视图2002中的内容的示例方法，该内容可用于如图4所示的混合现实系统1900。

在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个实例的部件提供多个实例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其它分配，它们可落在所附权利要求的范围内。最后，被呈现为示例配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其它变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。