深度相机组件、头戴式显示器和用于深度感测的方法与流程

本公开总体上涉及深度感测，并且具体地涉及用于实现用于三维深度感测的结构化光图案的可调节的分辨率的偏移衍射光学元件。

背景技术：

为了在使用头戴式显示器(hmd)时实现深度感测的强有力的用户体验，重要的是创建提供实时可动态调节的照明图案的扫描装置。大多数深度感测方法依赖于主动照明和检测。用于深度感测的常规方法涉及使用结构化光或飞行时间技术的机械扫描或固定衍射光学图案投影。基于飞行时间的深度感测使用基于机械的反射镜装置(扫描仪)以将短脉冲发送到对象空间。基于飞行时间的深度感测进一步使用高速检测器来对来自对象的后向散射光进行时间门控以创建高分辨率深度图。然而，基于机械的扫描仪在扫描速度、实时重新配置和机械稳定性方面执行地不适当。基于固定结构光的深度感测使用衍射光学元件以生成投射到对象空间中的静态(固定)图案的结构化光。基于固定结构化光的深度感测进一步使用预先存储的查找表以计算和提取深度图。然而，基于固定结构化光的深度感测对于需要调节照明图案的空间分辨率的动态深度感测不够稳健。

技术实现要素：

深度相机组件(dca)确定与局部区域中的一个或多个对象相关联的深度信息。dca包括结构化光发生器、成像装置和控制器。结构化光发生器被配置为根据发射指令利用结构化光照亮局部区域。结构化光发生器包括照明源、安装元件、衍射光学元件(doe)和投影组件。照明源被配置为部分基于发射指令发射一个或多个光脉冲。安装元件被配置为具有部分基于发射指令的相对于照明源的多个可调节位置。doe是安装在该安装元件上并且从该一个或多个光脉冲生成衍射扫描光束，这些衍射扫描光束对于该多个可调节位置的该安装元件的每个位置具有不同的图案。投射组件被配置为将衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器生成发射指令并且将发射指令提供给结构化光发生器。控制器进一步部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。

头戴式显示器(hmd)可以进一步集成dca。hmd进一步包括电子显示器和光学组件。hmd可以是例如虚拟现实(vr)系统、增强现实(ar)系统、混合现实(mr)系统或其中的一些组合。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至hmd的对应于用户的眼睛的位置的眼箱，图像光包括由dca确定的局部区域中的一个或多个对象的深度信息。

附图说明

图1是根据实施方式的头戴式显示器(hmd)的示图。

图2是根据实施方式的图1中的hmd的前刚体的截面。

图3是根据实施方式的示例性深度相机组件(dca)。

图4是示出根据实施方式的确定局部区域中的对象的深度信息的处理的流程图。

图5是根据实施方式的其中控制台操作的hmd系统的框图。

附图仅出于说明的目的描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到，在不背离本文描述的本公开的原理或益处的情况下，可以采用本文所示的结构和方法的替代实施方式。

具体实施方式

本文呈现了用于确定围绕dca中的一些或全部的局部区域中的一个或多个对象的深度信息的深度相机组件(dca)。dca包括结构化光发生器、成像装置(相机)和控制器。结构化光发生器包括衍射光学元件(doe)、doe底座和照明源。doe底座被配置为具有相对于照明源的多个不同位置。doe底座可与照明源同步(例如，经由控制器)，使得doe底座针对从照明源发射的不同光脉冲将doe定位在不同的位置。doe的每个位置导致从照射局部区域的结构化光发生器发射的结构光的不同图案。

调节doe的位置(例如，经由doe底座)提供结构化光图案的可调节分辨率。此外，将doe的位置调节为所发射的结构化光的可转向图案。例如，由发射的结构化光覆盖的视场可以通过调节doe的位置而变化。此外，通过调节doe的位置，结构化光可以指向局部区域中的特定对象。可通过调节用于不同应用(例如，近感测对远感测、对象扫描对房间或建筑物扫描对手跟踪等)的doe的位置来修改结构化光的图案。

dca的成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。控制器部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。

在一些实施方式中，dca被集成到头戴式显示器(hmd)中，该头戴式显示器捕获描述围绕hmd的一些或全部的局部区域中的深度信息的数据。hmd可以是例如虚拟现实(vr)系统、增强现实(ar)系统、混合现实(mr)系统或其中的一些组合的一部分。hmd进一步包括电子显示器和光学组件。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至hmd的对应于用户的眼睛的位置的眼箱，图像光包括由dca确定的局部区域中的一个或多个对象的深度信息。

图1是根据实施方式的hmd100的图。hmd100可以是例如vr系统、ar系统、mr系统或其中的一些组合的一部分。在描述ar系统和/或mr系统的实施方式中，hmd100的前侧102的部分在可见频带(约380nm至750nm)中至少部分透明，并且hmd100的在hmd100的前侧102与用户的眼睛之间的部分至少部分透明(例如，部分透明电子显示器)。hmd100包括前刚体105、带子110和参考点115。hmd100还包括dca，dca被配置为确定围绕hmd100的一些或全部的局部区域的深度信息。hmd100还包括成像孔120和照明孔125，并且dca的照明源通过照明孔125发射光(例如，可调节图案的结构化光)。dca的成像装置从照明源捕获通过成像孔120从局部区域反射的光。从dca的照明源通过照明孔125发射的光包括结构化光，如结合图2至图4更详细地讨论的。从局部区域反射穿过成像孔120并且由dca的成像装置捕获的光包括反射的结构化光的至少一部分，如还结合图2至图4更详细地讨论的。

前刚体105包括一个或多个电子显示元件(图1中未示出)、一个或多个集成眼睛跟踪系统(图1中未示出)、惯性测量单元(imu)130、一个或多个位置传感器135、以及参考点115。在图1所示的实施方式中，位置传感器135位于imu130内，并且imu130和位置传感器135对于hmd100的用户都不可见。imu130是基于从一个或多个位置传感器135接收的测量信号生成快速校准数据的电子装置。位置传感器135响应于hmd100的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、一类用于imu130的误差校正的传感器或其中的一些组合。位置传感器135可以位于imu130的外部、imu130的内部、或其中的一些组合。

图2是图1中所示的hmd100的前刚体105的截面200。如图2所示，前刚体105包括电子显示器210和光学组件220，它们一起向眼箱225提供图像光。眼箱225是空间中的由用户的眼睛230占据的区域。为了说明的目的，图2示出了与单眼230相关联的截面200，但是与光学组件220分离的另一个光学组件220向用户的另一只眼睛提供改变的图像光。

电子显示器210生成图像光。在一些实施方式中，电子显示器210包括调节所生成的图像光的焦点的光学元件。电子显示器210根据从控制台(图2中未示出)接收的数据向用户显示图像。在不同的实施方式中，电子显示器210可包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器210的示例包括：液晶显示器(lcd)、有机发光二极管(oled)显示器、无机发光二极管(iled)显示器、有源矩阵有机发光二极管(amoled)显示器、透明有机发光二极管(toled)显示器、一些其他显示器、投影仪或其中的一些组合。电子显示器210还可包括孔、菲涅耳透镜、凸透镜、凹透镜、衍射元件、波导、滤波器、偏振器、漫射体、光纤锥、反射面、偏振反射面、或影响从电子显示器发射的图像光的任何其他合适的光学元件。在一些实施方式中，一个或多个显示块光学元件可具有一个或多个涂层，诸如抗反射涂层。

光学组件220放大从电子显示器210接收的光，校正与图像光相关联的光学像差，并且校正的图像光被呈现给hmd100的用户。光学组件220的至少一个光学元件可以是孔、菲涅耳透镜、折射透镜、反射表面、衍射元件、波导、滤波器或影响从电子显示器210发射的图像光的任何其他合适的光学元件。此外，光学组件220可以包括不同光学元件的组合。在一些实施方式中，光学组件220中的一个或多个光学元件可具有一个或多个涂层，诸如抗反射涂层、二向涂层等。光学组件220对图像光的放大率允许电子显示器210的元件比较大显示器在物理上小、重量轻、并且消耗更少的功率。另外，放大可增加所显示媒体的视场。例如，所显示的媒体的视场使得所显示的媒体几乎全部(例如，110度对角线)被呈现，并且在一些情况下是全部的用户的视场。在一些实施方式中，光学组件220被设计成使得其有效焦距大于到电子显示器210的间距，这放大了由电子显示器210投射的图像光。另外，在一些实施方式中，可通过添加或移除光学元件来调节放大量。

如图2所示，前刚体105进一步包括dca240，dca240用于确定围绕hmd100的一些或全部的局部区域245中的一个或多个对象的深度信息。dca240包括结构化光发生器250、成像装置255和可耦接到结构化光发生器250和成像装置255两者的控制器260。结构化光发生器250通过照明孔125发射光。根据本公开的实施方式，结构化光发生器250被配置为根据由控制器260产生的发射指令用结构化光265照亮局部区域245。控制器260被配置为基于发射指令控制结构化光发生器250的某些部件的操作以动态地调节照亮局部区域245的结构化光265的图案。结合图3至图4公开了关于控制结构化光发生器250的部件以及动态地调节结构化光265的图案的更多细节。

结构化光发生器250可以包括多个发射器，每个发射器发射具有某些特性(例如，波长、偏振、相干、时间行为等)的光。这些特性在发射器之间可以是相同的或不同的，并且发射器可以同时或单独地操作。在一个实施方式中，多个发射器可以是例如激光二极管(例如，边缘发射器)、无机或有机led、垂直腔面发射激光器(vcsel)或一些其他源。在一些实施方式中，结构化光发生器250中的单个发射器或多个发射器可发射一个或多个光束。结合图3公开了关于包括结构化光发生器250的dca240的更多细节。

成像装置255包括一个或多个相机，该一个或多个相机被配置为通过成像孔120捕获从局部区域245反射的结构化光265的至少一部分。成像装置255捕获用结构化光265照亮的局部区域245中的一个或多个对象的一个或多个图像。耦接到成像装置255的控制器260进一步被配置为基于反射的结构化光的捕获部分确定一个或多个对象的深度信息。在一些实施方式中，控制器260向hmd100的控制台(图2中未示出)和/或适当模块(例如，图2中未示出的变焦模块)提供所确定的深度信息。控制台和/或hmd100可利用深度信息来例如生成用于在电子显示器210上呈现的内容。

在一些实施方式中，前刚体105进一步包括眼睛跟踪系统(图2中未示出)，其确定用户的眼睛230的眼睛跟踪信息。所确定的眼睛跟踪信息可包括关于眼箱中的用户眼睛230的定向的信息，即，关于眼睛注视的角度的信息。在一个实施方式中，用户的眼睛230被结构化光照亮。然后，眼睛跟踪系统可使用所捕获的图像中的经反射的结构化光的位置来确定眼睛位置和眼睛注视。在另一实施方式中，眼睛跟踪系统基于在多个时刻捕获的图像光的幅度来确定眼睛位置和眼睛注视。

在一些实施方式中，前刚体105进一步包括变焦模块(图2中未示出)。变焦模块可以基于眼睛跟踪信息来调节在电子显示器210上显示的一个或多个图像的焦点。在一个实施方式中，变焦模块通过基于所确定的眼睛跟踪信息调节光学组件220的焦距来调节所显示的图像的焦点并且调节聚散度适应冲突。在另一实施方式中，变焦模块通过基于所确定的眼睛追踪信息执行一个或多个图像的注视点渲染来调节所显示图像的焦点。在又一实施方式中，变焦模块利用来自控制器260的深度信息来生成用以在电子显示器210上呈现的内容。

图3是根据实施方式的示例dca300。dca300被配置为使用动态可调节图案的结构化光在大视场上进行深度感测。dca300包括结构化光发生器305、成像装置310、以及耦接到结构化光发生器305和成像装置310两者的控制器315。dca300可以被配置为图1中的hmd100的部件。由此，dca300可以是图2中的dca240的实施方式；结构化光发生器305可以是图2中的结构化光发生器250的实施方式；并且成像装置310可以是图2中的成像装置255的实施方式。

结构化光发生器305被配置为根据来自控制器315的发射指令用结构化光照亮并且扫描局部区域320。结构化光发生器305包括照明源325、安装元件330、安装在安装元件330上的doe335以及投影组件340。

照明源325生成光并将光导向doe335。照明源325包括光发射器345和光束调节组件350。光发射器345被配置为部分基于来自控制器315的发射指令发射一个或多个光束(光脉冲)355。在一些实施方式中，光发射器345包括发射红外光谱中的一个或多个光束355的激光二极管阵列。在其他实施方式中，光发射器345包括发射可见光谱中的一个或多个光束355的激光二极管阵列。在一些实施方式中，光发射器345发射一个或多个光束355作为限定图案(例如，点图案或线图案)的结构化光。可替代地或另外地，光发射器345部分基于来自控制器315的发射指令发射一个或多个光束355作为时间调制的光，以例如除了结构化照明之外还生成局部区域320的时间调制照明。

光束调节组件350收集从光发射器345发射的一个或多个光束355，并且将一个或多个光束355导向doe335的至少一部分。光束调节组件350由一个或多个光学元件(透镜)构成。在一些实施方式中，光束调节组件350包括准直组件和棱镜(图3中未示出)。准直组件包括将一个或多个光束355准直成准直光的一个或多个光学元件(透镜)。棱镜是将准直光引导到doe335中的光学元件。在替换实施方式中，光束调节组件350包括单个混合光学元件(透镜)，该单个混合光学元件(透镜)均准直一个或多个光束355以生成准直光并且将准直光引导到doe335的部分中。

doe335部分基于来自控制器315的发射指令从一个或多个光束355生成衍射扫描光束360。doe335可以实现为：声光装置、硅上液晶(lcos)装置、空间光调制器、数字微反射镜装置、微机电(mem)装置、一些其他衍射光栅元件或其组合。在一些实施方式中，可以例如部分基于来自控制器315的发射指令来控制doe335的操作。例如，控制器315可调节施加到doe335的电压电平或控制doe335的换能器的信号的射频(图3中未示出)，使得doe335的衍射角度实时变化，以在doe335的输出处形成具有随时间变化的图案的衍射扫描光束360。

doe335安装在安装元件330上。安装元件330被配置为具有例如部分基于来自控制器315的发射指令的相对于照明源325的多个可调节位置。在一些实施方式中，安装元件330可部分基于来自控制器315的发射指令而例如沿着z轴偏移。由此，doe335与照明源325以及光发射器345沿着z轴的距离可以是可调节的。在其他实施方式中，安装元件330可以部分基于来自控制器315的发射指令改变doe335相对于光发射器345和光束调节组件350例如在x-z平面和/或x-y平面中的角位置。在其他实施方式中，安装元件330可部分基于来自控制器315的发射指令围绕例如z轴枢轴旋转，以便改变doe335相对于光发射器345和光束调节组件350的位置。应理解，由改变安装元件330的位置引起的调节doe335的位置可以指使doe335沿着z轴偏移和调节doe335的角位置两者。

由安装在安装元件330上的doe335产生的衍射扫描光束360的图案对于多个可调节位置的安装元件330的每个位置可以是不同的。通过生成衍射扫描光束360的不同图案，照亮局部区域320的结构化光365的图案随时间变化。具有动态地调节衍射扫描光束360的图案和结构化光365的图案的能力提供了扫描局部区域320的不同区域和局部区域320中的不同类型的对象的灵活性。

对于优选的衍射效率，doe335可以被配置为以满足布拉格匹配条件的角度衍射入射到doe335的至少一部分的一个或多个光束355，以部分基于来自控制器315的发射指令形成衍射扫描光束360。在一些实施方式中，doe335可以被配置为通过以满足布拉格匹配条件的几何形状将一个或多个光束355定向到例如doe335中的液晶来生成衍射扫描光束360作为偏振光(例如，圆偏振光)。注意，衍射扫描光束360可以基于doe335中的液晶被右手圆偏振或左手圆偏振。在一些实施方式中，入射到doe335的一个或多个光束355的偏振态(sop)与布拉格角度处的固有偏振态相匹配，以实现doe335的最大衍射效率。

投影组件340位于doe335前方。投影组件340包括一个或多个光学元件(透镜)。投影组件340例如在宽视场上将衍射扫描光束360作为结构化光365投射到局部区域320中。结构化光365的图案可部分基于安装元件335相对于照明源325的位置而随时间动态调节。结构化光365照亮局部区域320的包括局部区域320中的一个或多个对象的部分。由于结构化光365的图案随时间动态地可调节，因此局部区域320的不同部分可在不同时刻被照亮。可基于结构化光365从局部区域320中的一个或多个对象的反射而生成经反射的结构化光370。

成像装置310通过捕获反射的结构化光370的至少一部分来捕获局部区域320中的一个或多个对象的一个或多个图像。在一个实施方式中，成像装置310是被配置为捕获红外光谱中的图像的红外相机。在另一实施方式中，成像装置310被配置为捕获可见光谱光的图像。成像装置310可以包括电荷耦合器件(ccd)检测器、互补金属氧化物半导体(cmos)检测器或一些其他类型的检测器(图3中未示出)。成像装置310可被配置为以在约0.1hz到约1khz的范围内的帧速率操作，以快速检测局部区域320中的对象。在一些实施方式中，成像装置310包含用于捕获反射的结构化光370的至少一部分的二维检测器像素阵列。在其他实施方式中，成像装置310包括用于捕获反射的结构化光370的至少一部分的一个以上相机。

在一些实施方式中，成像装置310可包括置于相机前方的偏振元件(图3中未示出)，该元件用于接收和传播特定偏振的反射的结构化光370。该偏振元件可以是线性偏振器、圆形偏振器、椭圆偏振器等，该偏振元件可以被实施为薄膜偏振器(吸收性、反射)、与线性偏振器结合的四分之一波片等。反射的结构化光370可以选自由线偏振光(垂直和水平)、右旋偏振光、左旋偏振光和椭圆偏振光组成的组。应注意，经反射的结构化光370的偏振可不同于照亮局部区域320的结构化光370的偏振。

控制器315控制图3中dca300的各种部件的操作。在一些实施方式中，控制器315向光发射器345提供发射指令以控制发射的一个或多个光束355的强度、一个或多个光束355的空间调制、光发射器345激活的持续时间等。控制器315可进一步创建用于控制安装元件330的位置的发射指令，其中doe335被安装以动态地调节doe335的位置，从而引起衍射扫描光束360的图案和照亮局部区域320的结构化光365的图案的动态调节。在一些实施方式中，控制器315电耦接到安装元件330并且提供电信号用于致动安装元件330以调节安装元件330的位置和doe335的位置。在替代实施方式中，控制器315机械地耦接到安装元件330以例如使用音圈、螺线管或用于调节安装在安装元件330上的doe335的位置的其他机械致动组件来控制安装元件330的位置和doe335的位置。在一些其他实施方式(图3中未示出)中，控制器315可以通过使用例如压电致动器、压电蜗杆、微机电系统(mems)致动器、形状记忆合金、齿条和小齿轮、或其中的一些组合来控制安装元件330的位置和doe335的位置。

在一些实施方式中，控制器315被配置为使光发射器345的操作与安装元件330的位置和安装在安装元件330上的doe335的位置同步。在一个实施方式中，控制器315被配置为运行致动器开环(例如，作为步进器操作)，以使光发射器345的操作与安装元件330的位置和doe335的位置同步。在其他实施方式中，控制器315被配置为与传感器(图3中未示出)在闭环中操作，以使光发射器345的操作与安装元件330的位置和doe335的位置同步。耦接到控制器315的传感器可以被实现为例如光学编码器传感器、光学反射传感器、磁涡传感器、磁霍尔传感器、磁各向异性磁阻(amr)传感器、磁巨磁阻(gmr)传感器或其中的一些组合。

在一些实施方式中，控制器315可将发射指令(例如关于与从光发射器345发射的一个或多个光束355有关的空间调制、时间调制或强度的指令)提供到光发射器345以控制发射一个或多个光束355。控制器315还可控制安装元件330的位置(例如，经由发射指令)以根据从光发射器345发射的一个或多个光束355调节doe335的位置。在一个实施方式中，控制器315基于由光发射器345产生的一个或多个光束355的空间调制来调节安装元件330的位置和doe335的位置。在另一实施方式中，控制器315基于由光发射器345生成的一个或多个光束355的时间调制来调节安装元件330的位置和doe335的位置。在又一个实施方式中，控制器315基于一个或多个光束355的强度调节安装元件330的位置和doe335的位置。

在一些实施方式中，控制器315部分基于发射指令来调节安装元件330的位置以改变doe335相对于照明源325的角位置。例如，控制器315可以指示安装元件330使doe335例如围绕x轴、围绕y轴、围绕z轴或其中的一些组合旋转特定角度。在替代实施方式中，控制器315部分基于发射指令来调节安装元件330的位置以相对于照明源325例如沿着z轴、沿着x轴、沿着y轴或其中的一些组合来平移doe335。

在一些实施方式中，控制器315获得关于照亮局部区域320的结构化光365的图案的空间分辨率的信息。基于关于结构化光365的空间分辨率的信息，控制器315可改变安装元件330的位置，以调节doe335的位置和衍射扫描光束360的图案和结构化光365的图案的空间分辨率。因此，控制器315被配置为通过调节安装元件330的位置来控制照亮局部区域320的结构化光365的图案的空间分辨率。

如图3所示，控制器315进一步耦接到成像装置310，并且可被配置为确定局部区域320中的一个或多个对象的深度信息。控制器315部分基于由成像装置310捕获的一个或多个图像来确定一个或多个对象的深度信息。控制器315可被配置为基于由成像装置310捕获的以局部区域320中的一个或多个对象的形状扭曲的光的相移图案来确定深度信息，且使用三角测量计算以获得局部区域320的深度图。可替代地，控制器315可被配置为基于飞行时间信息和关于由一个或多个对象的形状扭曲的反射的结构化光370的图案的信息来确定深度信息。在一些实施方式中，控制器315可被配置为基于经反射的结构化光370的偏振信息和/或结构化光365的偏振信息来确定深度信息。

在一些实施方式中，基于确定的局部区域320中的一个或多个对象的深度信息，控制器315可调节(例如，部分基于发射指令)安装元件330的位置以动态地改变doe335相对于光发射器345和光束调节组件350的位置以调节一个或多个光束355的衍射。控制器315可基于所确定的深度信息的质量、局部区域320中的一个或多个对象的表面类型等来指示安装元件330动态地调节doe335的位置和一个或多个光束355的衍射。另外或替代地，控制器315可基于局部区域320中的一个或多个对象的位置信息来控制(例如，部分基于发射指令)安装元件330的位置以调节doe335相对于光发射器345和光束调节组件350的位置，从而调节一个或多个光束355的衍射。由此，控制器315可基于局部区域320中关注的对象的位置动态地调节结构化光365的图案。

在一些实施方式中，控制器315可调节安装元件330的位置和doe335的位置，使得结构化光365指向局部区域320的一个或多个关注区域。在其他实施方式中，控制器315可控制安装元件330的位置和doe335的位置，以根据到局部区域320中的关注的对象的距离(例如，沿着z轴)来调节结构化光365的图案的密度。在其他实施方式中，控制器315可控制安装元件330的位置和doe335的位置降低结构化光365的图案的密度，以节省例如由成像装置310和控制器315用于捕获经反射的结构化光370的一部分和深度确定所耗散的功率。在其他实施方式中，控制器315可控制安装元件330的位置和doe335的位置以增加结构化光365的图案的密度，以便增加局部区域320的深度图中的深度点的数目。在其他实施方式中，控制器315可以控制安装元件330的位置和doe335的位置以将结构化光365的图案改变为更适合于例如手跟踪对房间或对象重构。在其他实施方式中，控制器315可以控制安装元件330的位置和doe335的位置以校准可能由dca300的组件(例如，由doe335和/或投影组件340)引起的指向结构化光365的误差。

图4是示出根据实施方式的确定局部区域中的对象的深度信息的处理400的流程图。图4的处理400可由dca(例如，dca300)的部件执行。在其他实施方式中，其他实体(例如，hmd和/或控制台)可以执行处理的一些或所有步骤。同样地，实施方式可以包括不同和/或附加步骤，或者以不同的顺序执行步骤。

dca生成410(例如，经由控制器)发射指令。dca可以向安装在dca的壳体内的安装元件上的照明源、安装元件和/或doe提供发射指令。基于发射指令，照明源可以发射一个或多个光束(一个或多个光脉冲)。基于发射指令，发射的光束可具有特定强度和/或调制(空间、时间等)。在一些实施方式中，dca生成发射指令，该发射指令包含用于安装元件改变其相对于照明源的位置和/或角度定向的指令。

dca使用安装在具有多个可调节位置的安装元件上的doe和发射指令生成420(例如，经由doe)衍射扫描光束。doe衍射从照明源发射的一个或多个光脉冲以生成衍射扫描光束。衍射扫描光束可具有对于多个可调节位置中的安装元件的每个位置的唯一的图案。

dca将衍射扫描光束作为结构化光投射430(例如，经由投影组件)到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。结构化光的图案可以实时变化，以在不同的时刻照亮局部区域的不同部分。

dca捕获440(例如，经由成像装置)从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。在一些实施方式中，成像装置包含捕获一个或多个图像的二维检测器像素阵列。在其他实施方式中，成像装置包括用于捕获一个或多个图像的一个以上相机。在一些实施方式中，成像装置包括偏振元件和相机，其中，偏振元件位于相机前方。该偏振元件被配置为接收具有特定偏振的经反射的结构化光的至少该部分并且将所接收的经反射的偏振光的该部分传播到相机。

dca部分基于所捕获的一个或多个图像确定450(例如，经由控制器)一个或多个对象的深度信息。在一些实施方式中，dca基于关于由一个或多个对象的形状扭曲的经反射的结构化光的图案的信息来确定一个或多个对象的深度信息。dca还可部分基于所反射的结构化光的所捕获部分的偏振信息来确定一个或多个对象的深度信息。

在一些实施方式中，dca被配置为hmd(例如图1中的hmd100)的一部分。在一个实施方式中，dca将确定的深度信息提供给耦接到hmd的控制台。然后，控制台被配置为基于深度信息生成用于在hmd的电子显示器上呈现的内容。在另一实施方式中，dca基于深度信息将所确定的深度信息提供给生成用于在hmd的电子显示器上呈现的内容的hmd的模块。在替代实施方式中，dca作为ar系统的一部分被集成到hmd中。在这种情况下，dca可以被配置为感测并显示佩戴hmd的用户的头部后面的对象或显示先前记录的对象。在又一实施方式中，dca被集成到hmd外部的基站或传感器条中。在这种情况下，dca可以被配置为感测佩戴hmd的用户(例如，用户的下身)的各个身体部分。在又一实施方式中，dca被配置作为控制器的一部分或作为捕获系统的一部分以捕获vr内容、ar内容或mr内容。

系统环境

图5是其中控制台510操作的hmd系统500的一个实施方式的框图。hmd系统500可以在vr系统环境、ar系统环境、mr系统环境或其中的一些组合中操作。图5所示的hmd系统500包括hmd505和耦接到控制台510的输入/输出(i/o)接口515。虽然图5示出了包括一个hmd505和i/o接口515的示例hmd系统500，但是在其他实施方式中，任意数量的这些部件可以被包括在hmd系统500中。例如，可能存在各自具有相关联的i/o接口515的多个hmd505，其中每个hmd505和i/o接口515与控制台510通信。在替换配置中，hmd系统500中可以包括不同和/或附加的部件。另外，在一些实施方式中，结合图5中示出的一个或多个部件描述的功能可以以与结合图5描述的方式不同的方式分布在部件之间。例如，控制台510的功能中的一些或全部由hmd505提供。

hmd505是向用户呈现内容的头戴式显示器，该内容包括具有计算机生成的元素(例如，二维(2d)或三维(3d)图像、2d或3d视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。在一些实施方式中，所呈现的内容包括经由外部装置(例如，扬声器和/或头戴式受话器)呈现的音频，该外部装置从hmd505、控制台510或两者接收音频信息并且基于该音频信息呈现音频数据。hmd505可以包括一个或多个刚体，该刚体可以刚性地或不刚性地耦接在一起。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对于彼此移动。hmd505的实施方式是以上结合图1描述的hmd100。

hmd505包括dca520、电子显示器525、光学组件530、一个或多个位置传感器535、imu540、可选的眼睛跟踪系统545和可选的变焦模块550。hmd505的一些实施方式具有与结合图5描述的那些不同的部件。另外，在其他实施方式中，由结合图5描述的不同部件提供的功能可在hmd505的部件之间不同地分布。

dca520捕获描述围绕hmd505的一些或全部的局部区域的深度信息的数据。dca520可使用该数据(例如，基于结构化光图案的捕获部分)计算深度信息，或者dca520可将此信息发送到另一装置(例如控制台510)，其可使用来自dca520的数据确定深度信息。

dca520包括结构化光发生器、成像装置和耦接到结构化光发生器和成像装置的控制器。dca520的结构化光发生器被配置为根据发射指令用结构化光图案(例如，点图案、线图案等)照亮局部区域。dca520的结构化光发生器包括照明源、安装元件、doe和投影组件。照明源被配置为部分基于发射指令发射一个或多个光脉冲。安装元件被配置为具有部分基于发射指令的相对于照明源的多个可调节位置。doe安装在该安装元件上并且从该一个或多个光脉冲生成衍射扫描光束，衍射扫描光束对于多个可调节位置中的安装元件的每个位置具有不同的图案。投射组件被配置为将衍射扫描光束作为结构化光投射到局部区域中。结构化光的图案可部分基于多个可调节位置中的安装元件的可调节位置而动态地调节。dca520的成像装置捕获从局部区域中的一个或多个对象反射的结构化光的至少一部分的一个或多个图像。dca520的控制器生成发射指令并且将发射指令提供给结构化光发生器。dca520的控制器进一步部分基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。dca520可以是图2中的dca240或图3中的dca300的实施方式。

电子显示器525根据从控制台510接收的数据向用户显示二维或三维图像。在不同实施方式中，电子显示器525包括单个电子显示器或多个电子显示器(例如，用于用户的每只眼睛的显示器)。电子显示器525的示例包括：液晶显示器(lcd)、有机发光二极管(oled)显示器、无机发光二极管(iled)显示器、有源矩阵有机发光二极管(amoled)显示器、透明有机发光二极管(toled)显示器、一些其他显示器或其中的一些组合。在一些实施方式中，电子显示器525可以表示图2中的电子显示器210。

光学组件530放大从电子显示器525接收的图像光、校正与图像光相关联的光学误差、并且向hmd505的用户呈现经校正的图像光。光学组件530包括多个光学元件。包括在光学组件530中的示例光学元件包括：孔、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射面或影响图像光的任何其他合适的光学元件。此外，光学组件530可包括不同光学元件的组合。在一些实施方式中，光学组件530中的一个或多个光学元件可具有一个或多个涂层，诸如部分反射或抗反射涂层。

光学组件530对图像光的放大率和聚焦允许电子显示器525比较大显示器在物理上小于、重量轻于、以及消耗更少的功率。另外，放大可增加由电子显示器525呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用几乎全部的用户的视场(例如，约110度对角线)呈现，并且在一些情况下使用全部的用户的视场呈现。另外，在一些实施方式中，可通过添加或移除光学元件来调节放大量。

在一些实施方式中，光学组件530可被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可进一步包括由于透镜场曲、像散、或任何其他类型的光学误差而引起的球面像差、色差或误差。在一些实施方式中，提供给电子显示器525以显示的内容被预先失真，并且光学组件530在从电子显示器525接收其基于内容生成的图像光时校正失真。在一些实施方式中，光学组件530可表示图2中的光学组件220。

imu540是基于从一个或多个位置传感器535接收的测量信号和从dca520接收的深度信息来生成指示hmd505的位置的数据的电子装置。位置传感器535响应于hmd100的运动生成一个或多个测量信号。位置传感器535的示例包含：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、一类用于imu540的误差校正的传感器或其中的一些组合。位置传感器535可以位于imu540的外部、imu540的内部、或其中的一些组合。

基于来自一个或多个位置传感器535的一个或多个测量信号，imu540生成指示hmd505相对于hmd505的初始位置的估计当前位置的数据。例如，位置传感器535包括多个加速计以测量平移运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，倾斜、偏转、滚动)。在一些实施方式中，位置传感器535可表示图1中的位置传感器135。在一些实施方式中，imu540快速地对测量信号进行采样并且根据采样数据计算hmd505的估计当前位置。例如，imu540将对从加速度计接收的测量信号随时间进行积分以估计速度矢量，并且将速度矢量随时间积分以确定hmd100上的参考点的估计当前位置。可替代地，imu540将采样的测量信号提供给控制台510，控制台510解释数据以减少错误。参考点是可以用于描述hmd505的位置的点。参考点通常可以被定义为空间中的点或与hmd505的定向和位置相关的位置。

imu540从控制台510接收一个或多个参数。该一个或多个参数用于维持对hmd505的跟踪。基于接收到的参数，imu540可以调节一个或多个imu参数(例如，采样率)。在一些实施方式中，某些参数使得imu540更新参考点的初始位置，使得其对应于参考点的下一位置。将参考点的初始位置更新为参考点的下一校准位置有助于减少与估计imu540的当前位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间远离参考点的实际位置“漂移”。在hmd505的一些实施方式中，imu540可以是专用硬件部件。在其他实施方式中，imu540可以是在一个或多个处理器中实现的软件部件。在一些实施方式中，imu540可以表示图1中的imu130。

在一些实施方式中，眼睛跟踪系统545被集成到hmd505中。眼睛跟踪系统545确定与佩戴hmd505的用户的眼睛相关联的眼睛跟踪信息。由眼睛跟踪系统545确定的眼睛跟踪信息可包括关于用户眼睛的定向的信息，即，关于眼睛注视的角度的信息。在一些实施方式中，眼睛跟踪系统545被集成到光学组件530中。眼睛跟踪系统545的实施方式可包括照明源和成像装置(相机)。

在一些实施方式中，变焦模块550进一步集成到hmd505中。变焦模块550可以耦接到眼睛跟踪系统545，以获得由眼睛跟踪系统545确定的眼睛跟踪信息。变焦模块550可被配置为基于从眼睛跟踪系统545获得的所确定的眼睛跟踪信息来调节在电子显示器525上显示的一个或多个图像的焦点。以此方式，变焦模块550可以缓解相对于图像光的聚散度适应冲突。变焦模块550可以与电子显示器525和光学组件530的至少一个光学元件中的至少一个进行接口连接(例如，机械地或电气地)。然后，变焦模块550可以被配置为基于从眼睛跟踪系统545获得的所确定的眼睛跟踪信息，通过调节光学组件530中的至少一个光学元件和电子显示器525中的至少一者的位置，来调节在电子显示器525上显示的一个或多个图像的焦点。通过调节位置，变焦模块550改变从电子显示器525向用户的眼睛输出的图像光的焦点。变焦模块550还可以被配置为至少部分基于从眼睛跟踪系统545获得的所确定的眼睛跟踪信息通过执行对所显示的图像的视点渲染来调节在电子显示器525上显示的图像的分辨率。在这种情况下，变焦模块550向电子显示器525提供适当的图像信号。变焦模块550仅在用户的眼睛注视的视点区域中提供具有电子显示器525的最大像素密度的图像信号，同时在电子显示器525的其他区域中提供具有较低像素密度的图像信号。在一个实施方式中，变焦模块550可以利用由dca520获得的深度信息来例如生成用于在电子显示器525上呈现的内容。

i/o接口515是允许用户发送动作请求并从控制台510接收响应的装置。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令或执行应用内的特定动作的指令。i/o接口515可以包括一个或多个输入装置。示例输入装置包括：键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台510的任何其他合适的装置。由i/o接口515接收的动作请求被传送到控制台510，控制台510执行对应于动作请求的动作。在一些实施方式中，i/o接口515包括imu540，imu540捕获校准数据，该校准数据指示i/o接口515相对于i/o接口515的初始位置的估计位置。在一些实施方式中，i/o接口515可根据从控制台510接收的指令向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者控制台510向i/o接口515传送指令，从而使i/o接口515在控制台510执行动作时生成触觉反馈。

控制台510向hmd505提供内容以根据从以下各项中的一项或多项接收的信息来处理：：dca520、hmd505和i/o接口515。在图5所示的示例中，控制台510包括应用存储器555、跟踪模块560和引擎565。控制台510的一些实施方式具有与结合图5描述的模块或部件不同的模块或部件。类似地，下面进一步描述的功能可以与结合图5描述的方式不同的方式分布在控制台510的部件之间。

应用存储器555存储供控制台510执行的一个或多个应用。应用是一组指令，该组指令在由处理器执行时生成用于向用户呈现的内容。由应用生成的内容可以响应于经由hmd505或i/o接口515的移动从用户接收的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块560使用一个或多个校准参数校准hmd系统500并且可以调节一个或多个校准参数以减少对hmd505或i/o接口515的位置的确定时的误差。例如，跟踪模块560将校准参数传送到dca520以调节dca520的焦点以更准确地确定由dca520捕获的结构化光元件的位置。跟踪模块560执行的校准还考虑从hmd505中的imu540和/或i/o接口515中包括的imu540接收的信息。另外，如果hmd505的跟踪丢失(例如，dca520失去至少阈值数目的结构化光元件的视线)，则跟踪模块560可重新校准hmd系统500中的一些或全部。

跟踪模块560使用来自dca520、一个或多个位置传感器535、imu540或其中的一些组合的信息跟踪hmd505或i/o接口515的移动。例如，跟踪模块550基于来自hmd505的信息在局部区域的映射中确定hmd505的参考点的位置。跟踪模块560还可以使用来自imu540的指示hmd505的位置的数据或者使用来自包括在i/o接口515中的imu540的指示i/o接口515的位置的数据来分别确定hmd505的参考点或i/o接口515的参考点的位置。另外，在一些实施方式中，跟踪模块560可使用来自imu540的指示hmd505的位置的数据的部分以及来自dca520的局部区域的表示以预测hmd505的将来位置。跟踪模块560向引擎555提供hmd505或i/o接口515的估计或预测的将来位置。

引擎565基于从hmd505接收的信息生成围绕hmd505的一些或全部的区域(即，“局部区域”)的3d映射。在一些实施方式中，引擎565基于从dca520接收的与在计算深度中使用的技术相关的信息来确定局部区域的3d映射的深度信息。引擎565可以使用从结构化光计算深度中的一种或多种技术来计算深度信息。在不同实施方式中，引擎565使用深度信息来例如更新局部区域的模型，并且部分基于更新的模型来生成内容。

引擎565还执行hmd系统500内的应用并且从跟踪模块560接收hmd505的位置信息、加速度信息、速度信息、预测的将来位置或其中的一些组合。基于所接收的信息，引擎565确定提供给hmd505以供呈现给用户的内容。例如，如果接收到的信息指示用户已看向左侧，则引擎565生成反映用户在虚拟环境中或在利用附加内容增强局部区域的环境中的移动的hmd505的内容。另外，引擎565响应于从i/o接口515接收的动作请求在控制台510上执行的应用内执行动作，并且向用户提供执行该动作的反馈。所提供的反馈可以是经由hmd505的视觉或可听反馈或经由i/o接口515的触觉反馈。

在一些实施方式中，基于从眼睛跟踪系统545接收的眼睛跟踪信息(例如，用户的眼睛的定向)，引擎565确定提供给hmd505以在电子显示器525上呈现给用户的内容的分辨率。引擎565将内容提供给hmd505，该hmd505在电子显示器525上在用户注视的视点区域中具有最大像素分辨率，而引擎565在电子显示器525的其他区域中提供较低像素分辨率，从而实现在hmd505处的较少功率消耗并且节省控制台510的计算周期，而不损害用户的视觉体验。在一些实施方式中，引擎565还可以使用眼睛跟踪信息来调节在电子显示器525上显示对象的位置，以防止聚散度适应冲突。

附加配置信息

出于说明的目的已经呈现了本公开的实施方式的前述描述；该描述不旨在是穷尽的或者将本公开局限于所公开的精确形式。本领域的技术人员可以理解，在以上公开的教导下许多修改和变型是可能的。

本说明书的一些部分在对信息的操作的算法和符号表示方面描述本公开的实施方式。这些算法描述和表示通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微代码等实施。此外，已证明有时把这些运算的布置称为模块也是方便的，并且不失其一般性。运算及其关联模块可具体化为软件、固件、硬件或以上装置的任意组合。

本文的任何步骤、操作或流程可被一个或多个硬件或软件模块单独或与其他装置组合执行或实施。在一个实施方式中，软件模块可被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可由用于执行任何或所有步骤、操作或流程的计算机处理器执行。

本公开的实施方式还可以涉及用于执行本文中的操作的装置。这种装置可能是为所需的目的特别构造的，和/或该装置可包括由储存在计算机中的计算机程序选择性激活或重新配置的通用计算装置。这样的计算机程序可以以不透明的、有形的计算机可读存储介质或适合于存储电子指令的任何类型的介质来存储，这些电子指令可以耦接到计算机系统总线。此外，在说明书中提及的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计用于增加的计算能力的架构。

本公开的实施方式还可以涉及由本文描述的计算过程产生的产品。该产品可包括由计算过程产生的信息，其中，信息存储在非暂时性的有形计算机可读存储介质中并且可包括计算机程序产品或者本文所描述的其他数据组合的任何实施方式。

最后，原则上出于可读性和说明性的目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或者限制本发明的主题。因此，意图是本公开的范围不受该详细描述的限制，而是由在基于此的申请上发布的任何权利要求所限制。因此，实施方式的公开内容旨在是说明性的，而非限制在所附权利要求中阐述的本公开的范围。