传感器组件和头戴式显示器的制作方法

本申请要求于2017年7月25日提交的美国临时专利申请序列号62/536,605的权益，该申请以其全部内容通过引用结合于此。

本公开总体上涉及传感器装置的实现方式，并且具体地涉及包括多个堆叠传感器层的可以是人工现实系统的一部分的传感器系统。

背景技术：

诸如头戴式显示器(hmd)系统等人工现实系统采用复杂的传感器装置(相机)用于捕获周围区域中的对象的特征，以便提供令人满意的用户体验。有限数量的常规传感器装置可以在hmd系统中实现并且例如用于眼睛追踪、手部追踪、身体追踪、以宽视场对周围区域进行扫描等等。大部分时间，常规的传感器装置从周围区域捕获大量的信息。由于处理大量数据，常规的传感器装置可能容易饱和，从而负面地影响处理速度。此外，由于执行计算密集型操作，在人工现实系统中采用的常规传感器装置消耗大量功率，而同时具有非常大的延迟。

技术实现要素：

在此提出了一种传感器组件，该传感器组件用于确定围绕该传感器组件的部分或全部的本地区域的一个或多个特征。该传感器组件包括多个堆叠传感器层，即，彼此上下堆叠的传感器层。该多个堆叠传感器层中的位于传感器组件的顶部上的第一传感器层可被实施为光电检测器层并且包括像素的阵列。顶部传感器层可以被配置成捕获从在本地区域中的一个或多个对象反射的光的一个或多个图像。传感器组件还包括位于光电检测器层下方的一个或多个传感器层。该一个或多个传感器层可以被配置成处理与所捕获的一个或多个图像有关的数据，以用于确定本地区域的该一个或多个特征，例如，该一个或多个对象的深度信息、图像分类器等。

头戴式显示器(hmd)可以进一步集成多个传感器组件。hmd向穿戴该hmd的用户显示内容。hmd可以是人工现实系统的一部分。hmd还包括电子显示器、至少一个照明源和光学组件。电子显示器被配置成发射图像光。该至少一个照明源被配置成用光照亮本地区域，该光由该多个传感器组件的至少一个传感器组件捕获。光学组件被配置成将图像光引导至hmd的对应于用户眼睛位置的眼睛框。图像光可以包括由该至少一个传感器组件部分地基于与所捕获的一个或多个图像有关的经处理数据确定的本地区域的深度信息。

附图说明

图1a是根据一个或多个实施方式的头戴式显示器(hmd)的示图。

图1b是根据一个或多个实施方式的在图1a中的hmd的前部刚性体的截面。

图2是根据一个或多个实施方式的可以是图1a中的hmd的一部分的具有多个堆叠传感器层的堆叠传感器系统的截面视图。

图3是根据一个或多个实施方式的可以是图2中的堆叠传感器系统的一部分的多个堆叠传感器层的详细视图。

图4是根据一个或多个实施方式的可以是图2中的堆叠传感器系统的一部分的由耦接的传感器层组成的示例传感器架构。

图5是根据一个或多个实施方式的可以是图2中的堆叠传感器系统的一部分的基于忆阻器阵列的神经网络的实例。

图6是根据一个或多个实施方式的主机-传感器闭环系统的实例。

图7是根据一个或多个实施方式的hmd系统的框图，控制台在该hmd系统中操作。

附图仅出于展示的目的描绘本公开的实施方式。本领域技术人员从以下说明中将容易认识到，在不脱离本文所描述的本公开的原理或推崇益处的情况下，可以采用本文中所展示的结构和方法的替代实施方式。

具体实施方式

本公开的实施方式可以包括人工现实系统或者可以与人工现实系统结合实现。人工现实是在呈现给用户之前已经通过某种方式调整过的一种形式的现实，其可以例如包括虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获(例如真实世界)内容结合的生成内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，并且其中的任意内容可以以单独通道或以多个通道呈现(诸如为观看者产生三维效果的立体视频)。此外，在一些实施方式中，人工现实还可以与例如用于在人工现实中创建内容和/或以其他方式用于人工现实(例如，在人工现实中执行活动)的应用、产品、附件、服务、或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接至主机计算机系统的头戴式显示器(hmd)、独立式hmd、近眼式显示器(ned)、移动设备或计算系统、或者能够为一个或多个观看者提供人工现实内容的任何其他硬件平台。

本文中提出了一种用于确定环境的各种特征的堆叠传感器系统，该堆叠传感器系统可以集成到人工现实系统中。堆叠传感器系统包括多个堆叠传感器层。该多个堆叠传感器层中的每个传感器层可以代表用于执行特定信号处理功能的一个信号处理层。与从环境反射的光的强度有关的模拟传感器数据可以由位于堆叠传感器系统的顶部上的光电检测器层捕获。所捕获的模拟传感器数据可以例如经由位于光电检测器层下方的模拟数字转换(adc)层从模拟域转换至数字域。然后可以将数字传感器数据提供至堆叠传感器系统的位于adc层下方的至少一个信号处理层。该至少一个信号处理层将处理数字传感器数据以确定环境的一个或多个特征。

在一些实施方式中，多个堆叠传感器系统被集成到hmd中。这些堆叠传感器系统(例如，传感器装置)可以捕获描述环境的各种特征的数据，包括围绕hmd的部分或全部的本地区域的深度信息。hmd向穿戴该hmd的用户显示内容。hmd可以是人工现实系统的一部分。hmd还包括电子显示器和光学组件。电子显示器被配置成发射图像光。光学组件被配置成将图像光引导至hmd的对应于用户眼睛位置的眼睛框。图像光可以包括由该多个堆叠传感器系统中的至少一个确定的本地区域的深度信息。

在一些其他的实施方式中，多个堆叠传感器系统可以被集成到代表ned的眼镜式平台中。ned可以是人工现实系统的一部分。ned将媒体呈现给用户。由ned呈现的媒体的实例包括一个或多个图像、视频、音频、或其组合。ned还包括电子显示器和光学组件。电子显示器被配置成发射图像光。光学组件被配置成将图像光引导至ned的对应于用户眼睛位置的眼睛框。图像光可以包括由该多个堆叠传感器系统中的至少一个确定的本地区域的深度信息。

图1a是根据一个或多个实施方式的hmd100的示图。hmd100可以是人工现实系统的一部分。在描述ar系统和/或mr系统的实施方式中，hmd100的前侧102的多个部分在可见频带中(～380nm至750nm)是至少部分透明的，并且hmd100的在hmd100的前侧102与用户眼睛之间的多个部分是至少部分透明的(例如，部分透明的电子显示器)。hmd100包括前部刚性体105、带状物110和参考点115。

前部刚性体105包括一个或多个电子显示元件(在图1a中未示出)、一个或多个集成眼睛追踪系统(在图1a中未示出)、惯性测量单元(imu)120、一个或多个位置传感器125以及参考点115。在图1a示出的实施方式中，位置传感器125位于imu120内，并且imu120和位置传感器125均对hmd100的用户不可见。imu120是基于从位置传感器125中的一个或多个位置传感器接收的测量信号生成imu数据的电子设备。位置传感器125响应于hmd100的运动生成一个或多个测量信号。位置传感器125的实例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种适当类型的传感器、用于对imu120进行误差校正的一种类型的传感器、或其某种组合。位置传感器125可以位于imu120外部、imu120内部、或其某种组合。

hmd100包括传感器装置(相机)130的分布式网络，其可以嵌入前部刚性体105中。应注意，尽管在图1a中未示出，至少一个传感器装置130也可以嵌入带状物110中。每个传感器装置130可以被实施为相对小尺寸的相机。传感器装置130的分布式网络可以代替多个大型常规相机。在一些实施方式中，嵌入在hmd100中的分布式网络的每个传感器装置130被实施为具有预定有限分辨率的微型芯片相机，例如，每个传感器装置130可以包括100x100像素的阵列或200x200像素的阵列。在一些实施方式中，在分布式网络中的每个传感器装置130具有未与集成到hmd100中的任何其他传感器装置130的视场重叠的视场。这与大型常规相机的重叠视场相反，该重叠视场可能引起从周围区域中捕获到大量的重叠数据。hmd100还可以包括与每个传感器装置130相关联的成像光圈(在图1a中未示出)。传感器装置130可以通过成像光圈捕获从周围区域中反射的光。

应注意，在传感器装置130的分布式网络中的每个传感器装置130都具有其自身的通至嵌入hmd100中的中央处理单元(cpu)或控制器135的直接链路(总线)将是不切实际的。而是，每个单独的传感器装置130可以通过可扩展的方式经由共享总线(在图1a中未示出)耦接至控制器135，因此提供嵌入到hmd100中的传感器装置130的可扩展网络。传感器装置130的可扩展网络可以被视为冗余系统。结合在一起，传感器装置130覆盖与由大型常规相机典型展开的视场(例如，180度)相比大得多的视场(例如，360度)。由传感器装置130获得的更宽的视场提供了增加的鲁棒性。

应注意，不需要总是将嵌入到hmd100中的所有传感器装置130保持活跃(即，打开)。在一些实施方式中，控制器135被配置成例如基于特定情形来动态地激活传感器装置130中的第一子集并且停用传感器装置130中的第二子集。在一个或多个实施方式中，取决于在hmd100上运行的具体模拟，控制器135可以将传感器装置130的某一部分停用。例如，在定位了用于扫描的环境的优选部分后，特定传感器装置130可以保持激活，而其他的传感器装置130可以停用以便节省由传感器装置130的分布式网络消耗的功率。

传感器装置130或一组传感器装置130可以例如在一个时段期间追踪一个或多个移动对象以及关于该一个或多个移动对象的特定特征。例如，基于来自控制器135的指令，在该时段期间获得的关于移动对象的特征然后可以被传送至另一个传感器装置130或另一组传感器装置130以用于在随后的时段期间继续追踪。例如，hmd100可以使用在场景中提取的特征作为“地面标记”，以用于在三维世界中的用户定位和头部姿势追踪。与用户头部相关联的特征可以由例如一个传感器装置130在一个时刻提取。在下一个时刻，用户头部可能移动，并且可以激活另一个传感器装置130来定位同一特征以用于执行头部追踪。控制器135可以被配置成预测哪个新的传感器装置130潜在可能捕获移动对象(例如，用户头部)的同一特征。在一个或多个实施方式中，控制器135可以利用由imu120获得的imu数据以执行粗略预测。在此情况下，有关追踪特征的信息可以例如基于该粗略预测来从一个传感器装置130传送至另一个传感器装置130。根据在具体时刻处执行的特定任务，可以(例如，基于来自控制器135的指令)动态地调整活跃的传感器装置130的数量。此外，一个传感器装置130可以执行对环境的具体特征的提取并且将提取的特征数据提供至控制器135以用于进一步的处理和到另一个传感器装置130的传送。因此，在传感器装置130的分布式网络中的每个传感器装置130可以处理有限量的数据。相比而言，集成到hmd系统中的常规传感器装置典型地对大量数据执行连续处理，这消耗了更多的功率。

在一些实施方式中，集成到hmd100中的每个传感器装置130可以被配置用于特定类型的处理。例如，至少一个传感器装置130可以被定制用于追踪环境的各种特征，例如，确定尖锐拐角、手部追踪等。此外，每个传感器装置130可以被定制用于检测一个或多个具体的陆标特征，而忽略其他的特征。在一些实施方式中，每个传感器装置130可以执行早期处理，其提供与具体特征有关的信息(例如，特征的坐标和特征说明)。为了支持早期处理，可以将某个处理电路合并到传感器装置130中，如结合图2至图5更详细描述的。然后传感器装置130可以将基于早期处理获得的数据例如传送至控制器135，因此减少了在传感器装置130与控制器135之间传达的数据量。以此方式，传感器装置130的帧速率增加，同时保留了在传感器装置130与控制器135之间的带宽要求。此外，因为在传感器装置130处执行的是部分处理，可以减小控制器135的功率消耗和处理延迟，并且控制器135的计算负担可以减小并且分配给一个或多个传感器装置130。在传感器装置130处指令的部分及早期处理的另一个优点包括减少了对于在控制器135的内部存储器(在图1a中未示出)上存储图像帧的存储器要求。此外，因为更少的存储器存取引起更低的功率消耗，可以减少控制器135处的功率消耗。

在实施方式中，传感器装置130可以包括耦接至处理电路的100x100像素的阵列或200x200像素的阵列，该处理电路被定制用于提取围绕hmd100的部分或全部的环境的例如高达10个特征。在另一个实施方式中，传感器130的处理电路可以被定制用于作为神经网络来运行，该神经网络被训练成用于追踪例如用户手部的高达20个关节位置(其可能被要求用于执行精确的手部追踪)。在又另一个实施方式中，可以采用至少一个传感器装置130用于面部追踪，其中可以捕获用户的口部和面部的移动。在此情况下，该至少一个传感器装置130可以面向下方以便于追踪用户的面部特征。

应注意，集成到hmd100中的每个传感器装置130可以提供的信噪比(snr)的水平高于针对那个传感器装置130限定的阈值水平。因为传感器装置130被定制用于具体任务，与常规相机相比，定制的传感器装置130的灵敏度能够被改善。还应注意，传感器装置130的分布式网络是冗余系统，并且能够(例如由控制器135)选择分布式网络的产生优选snr水平的传感器装置130。以此方式，可以极大地改善传感器装置130的分布式网络的追踪精确度和鲁棒性。每个传感器装置130还可以配置成用于在扩大的波长范围内(例如，在红外和/或可见光谱中)操作。

在一些实施方式中，传感器装置130包括具有硅基光电二极管的阵列的光电检测器层。在替代实施方式中，可以使用非硅基的材料和技术来实现传感器装置130的光电检测器层，这可以提供改善的灵敏度和波长范围。在一个实施方式中，传感器装置130的光电检测器层基于适用于捕获具有大于1000nm的波长的光电检测器材料的有机光子膜(opf)光电检测器材料。在另一个实施方式中，传感器装置130的光电检测器层基于量子点(qd)光电检测器材料。基于qd的传感器装置130可以例如适用于集成到与低能见度的室外环境(例如，夜间)有关的ar系统和应用中。于是可用的环境光多数位于在例如约1μm至2.5μm之间的长波长非可见范围内，即，在短波红外范围内。基于优化的qd膜实现的传感器装置130的光电检测层可以检测可见光和短波红外光两者，而硅基膜可能仅敏感于在约1.1μm左右的光的波长。

在一些实施方式中，嵌入前部刚性体105中并耦接至分布式传感器网络的传感器装置130的控制器135被配置成结合来自传感器装置130的捕获信息。控制器135可以被配置成适当地整合与由不同的传感器装置130收集的不同特征相关联的数据。在一些实施方式中，控制器135基于由传感器装置130中的一个或多个传感器装置捕获的数据来确定在围绕hmd100的部分或全部的本地区域中的一个或多个对象的深度信息。

图1b是根据一个或多个实施方式的在图1a中示出的hmd100的前部刚性体105的截面150。前部刚性体105包括传感器装置130、耦接至传感器装置130的控制器135、电子显示器155和光学组件160。电子显示器155和光学组件160一起将图像光提供至眼睛框165。眼睛框165是在由用户眼睛170占据的空间中的区域。出于展示的目的，图1b示出了与单个眼睛170相关联的截面150，而与光学组件160分开的另一个光学组件160将改变的图像光提供给用户的另一个眼睛。

电子显示器155朝光学组件160发射图像光。在各种实施方式中，电子显示器155可以包括单个电子显示器或多个电子显示器(例如，用于用户的每个眼睛的显示器)。电子显示器155的实例包括：液晶显示器(lcd)、有机发光二极管(oled)显示器、无机发光二极管(iled)显示器、有源矩阵有机发光二极管(amoled)显示器、透明有机发光二极管(toled)显示器、一些其他的显示器、投影仪、或其某种组合。电子显示器155还包括光圈、菲涅耳透镜、凸透镜、凹透镜、衍射元件、波导、滤光器、偏光器、漫射器、光纤锥体、反射表面、偏振反射表面、或影响从电子显示器155发射的图像光的任何其他合适的光学元件。在一些实施方式中，电子显示器155可以具有诸如防反射涂层等一个或多个涂层。

光学组件160接收从电子显示器155发射的图像光并且将该图像光引导至用户眼睛170的眼睛框165。光学组件160还放大所接收的图像光、修正与图像光相关的光学相差，并且经修正的图像光呈现给hmd100的用户。在一些实施方式中，光学组件160包括用于准直从电子显示器155发射的图像光的光束的准直元件(透镜)。光学组件160的至少一个光学元件可以是光圈、菲涅耳透镜、折射透镜、反射表面、衍射元件、波导、滤光器、或者影响从电子显示器155发射的图像光的任何其他合适的光学元件。此外，光学组件160可以包括不同光学元件的组合。在一些实施方式中，在光学组件160中的光学元件中的一个或多个可以具有诸如防反射涂层、二向色涂层等的一个或多个涂层。由光学组件160对图像光的放大允许电子显示器155的元件与较大的显示器相比物理上更小、重量更轻、并且消耗更少功率。此外，放大可以增加所显示的媒体的视场。例如，所显示的媒体的视场为使得使用几乎所有的(例如，110度对角线)并且在一些情况下用户的全部视场呈现所显示的媒体。在一些实施方式中，光学组件160被设计成使得其有效焦距大于到电子显示器155的间距，这放大了由电子显示器155投影的图像光。此外，在一些实施方式中，放大量可以通过增加或移除光学元件来调整。

在一些实施方式中，前部刚性体105进一步包括眼部追踪系统(在图1b中未示出)，该眼部追踪系统确定用于用户眼睛170的眼睛追踪信息。所确定的眼睛追踪信息可以包括有关用户眼睛170在眼睛框165中的位置(包括朝向)的信息，即，有关眼睛注视的角度的信息。在一个实施方式中，眼睛追踪系统用结构光照亮用户眼睛170。眼睛追踪系统可以基于从用户眼睛的表面反射并由眼睛追踪系统的相机捕获的结构光图案中的变形来确定用户眼睛170的位置。在另一个实施方式中，眼睛追踪系统基于在多个时刻捕获的图像光的幅度来确定用户眼睛170的位置。

在一些实施方式中，前部刚性体105还包括变焦距模块(在图1b中未示出)。变焦距模块可以基于从眼睛追踪系统获得的眼睛追踪信息调整显示在电子显示器155上的一个或多个图像的焦点。在一个实施方式中，变焦距模块通过基于所确定的眼睛追踪信息调整光学组件160的焦点距离来调整所显示图像的焦点并且缓和视觉辐辏调节冲突(vergenceaccommodationconflict)。在其他实施方式中，变焦距模块通过基于所确定的眼睛追踪信息对该一个或多个图像进行凹式渲染(foveatedrendering)来调整所显示图像的焦点。

图2是根据一个或多个实施方式的具有多个堆叠传感器层的传感器组件200的截面视图。传感器组件200可以是图1a中的hmd100的传感器装置130的实施方式。在一些实施方式中，传感器组件200包括彼此上下堆叠的多个硅层。在替代实施方式中，在传感器组件200的该多个堆叠传感器层中的至少一个层是基于非硅的光电检测材料实现的。在传感器组件200中的顶部传感器层可以定制用于光电检测并且可以被称为光电检测器层205。光电检测器层205可以包括像素210的二维阵列。光电检测器层205的每个像素210可以例如经由铜键合(在图2中未示出)直接耦接至处理层220的处理电路215，该处理层位于传感器组件200内在光电检测器层205下方。

如在图2中示出的多个传感器层(晶片)的堆叠允许了在每个像素分辨率上的在光电检测器层205与处理层220之间的铜键合。通过将两个晶片(wafer，薄片)面对面放置，从传感器组件200中的一个晶片到传感器组件200中的另一个晶片的铜焊盘(铜垫)连接可以是在每个像素级处产生的，即，对应于单个像素的电信号225可以从光电检测器层205发送至处理层220的处理电路215。在一个或多个实施方式中，在处理层220与传感器组件200的多个堆叠结构中的至少一个另外的层之间的互连可以使用例如“硅通孔”(tsv：throughsiliconvia)技术来实现。由于tsv的几何尺寸(例如，约10μm)，在处理层220与传感器组件200的该至少一个另外的层之间的互连并非在像素级，但仍可以非常密集。

在一些实施方式中，通过采用晶片缩放，可以有效地实现小尺寸的传感器组件200。例如，光电检测层205的晶片可以使用例如45nm的工艺技术来实现，而处理层220的晶片可以使用更先进的工艺技术(例如，28nm的工艺技术)来实现。因为28nm的工艺技术的晶体管占据非常小的面积，可以将大量的晶体管装配到小面积的处理层220中。在示例性实施方式中，传感器组件200可以被实现为1mmx1mmx1mm的立方体，具有约10mw的功率消耗。相比之下，常规的传感器(相机)包括实现在单个硅层上的处理电路和光电检测器像素阵列，并且总传感器面积被确定为是所有功能块的面积总和。没有如图2中示出的实施方式中的竖直堆叠的益处，常规的传感器占据比传感器组件200大得多的面积。

图3是根据一个或多个实施方式的包括多个堆叠传感器层的传感器组件300的详细视图。传感器组件300可以是图1a中的传感器装置130的实施方式以及图2中的传感器组件200的实施方式。在一些实施方式中，光电检测器层305可以定位在传感器组件300的顶部上并且可以包括像素310的阵列，例如，光电二极管的二维阵列。因为传感器组件300的处理电路可以集成到光电检测器层305下方的其他层中，光电检测器层305可以定制为仅用于光电检测。因此，光电检测器层305的面积可以相对较小，并且光电检测器层305可以消耗有限量的功率。在一些实施方式中，定制用于将模拟信号(例如，由光电检测器层305捕获的光的强度)转换为数字信号的adc层315可以紧挨着被放置在光电检测器层305的下方。adc层315可以被配置成将由光电检测器层305的像素310捕获的光强度的模拟值转换(例如通过其处理电路或adc逻辑电路，在图3中未示出细节)为对应于例如图像帧数据的数字值。adc层315还可以包括存储器(在图3中未示出)，该存储器用于存储在转换之后获得的数字值。

在一些实施方式中，具有定制用于特征提取的处理电路的特征提取层320可以紧挨着被放置在adc层315下方。特征提取层320也可以包括存储器，该存储器用于存储例如由adc层315生成的数字传感器数据。特征提取层320可以被配置成从由adc层315获得的数字传感器数据中提取一个或多个特征。因为特征提取层320被定制用于提取特定特征，特征提取层320可以有效地被设计成占据小的面积尺寸并且消耗有限量的功率。结合图4提供了有关特征提取层320的更多细节。

在一些实施方式中，卷积神经网络(cnn)层325可以紧挨着被放置在特征提取层320的下方。cnn层325的神经网络逻辑电路可以被训练和优化用于具体的输入数据，例如，具有有关由特征提取层320获得的特定特征或一组特征的信息的数据。因为输入数据被完全预期，cnn层325的神经网络逻辑电路可以被有效地实现并且定制用于特定类型的特征提取数据，从而获得降低的处理延迟和降低的功率消耗。

在一些实施方式中，cnn层325被设计成用于执行图像分类和识别应用。对cnn层325的神经网络逻辑电路的训练可以是脱机执行的，并且在cnn层325的神经网络逻辑电路中的网络权重可以是在利用cnn层325用于图像分类和识别之前训练的。在一个或多个实施方式中，cnn层325被实现用于执行推断，即，将经训练的网络权重应用于输入图像以确定输出，例如，图像分类器。与设计通用cnn架构相比，cnn层325可以实现为定制和专用的神经网络，并且可以设计用于优选水平的功率消耗、面积尺寸和效率(计算速度)。结合图5提供了有关cnn层325的特定实现方式的细节。

在一些实施方式中，在传感器组件300中的被定制用于具体处理任务的每个传感器层305、315、320、325可以使用硅基技术来实现。替代性地，传感器层305、315、320、325中的至少一个传感器层可以基于非硅的光电检测材料实现，例如，opf光电检测材料和/或qd光电检测材料。在一些实施方式中，代替包括基于光电二极管的像素310的阵列的硅基光电检测器层305，可以将非硅的光电检测器层330放置在传感器组件300的顶部上。在一个实施方式中，非硅的光电检测器层330被实现为qd光电检测材料的光电检测器层并且可以称为qd光电检测器层。在另一个实施方式中，非硅的光电检测器层330被实现为opf光电检测材料的光电检测器层并且可以称为opf光电检测器层。在又另一个实施方式中，在传感器组件300中可以使用多于一个光电检测器层来用于光电检测，例如，至少一个硅基光电检测器层305和至少一个非硅基的光电检测器层330。

在一些实施方式中，可以使用直接铜键合来用于在光电检测器层305与adc层315之间的层间耦接。如在图3中示出的，可以使用铜焊盘335作为在光电检测器层305中的像素310与adc层315的处理电路(adc逻辑电路)之间的接口。例如，在光电检测器层305被实现为20m像素相机的情况下，可以在光电检测器层305与adc层315的处理电路之间实现高达约20兆的铜焊盘连接335。应注意，光电检测器层305的节距可以相对较小，例如，在约1μm至2μm之间。

在一些实施方式中，如所讨论的，在位于传感器组件300中光电检测器层305下方的传感器层之间的互连可以使用例如tsv技术实现。如图3中示出的，tsv接口340可以将adc层315的adc逻辑电路/存储器与特征提取层320的特征提取逻辑电路互连。tsv接口340可以将由adc层315获得的数字传感器数据提供至特征提取层320以用于提取一个或多个特定特征，其中数字传感器数据可以涉及由光电检测器层305捕获的图像数据。类似地，可以使用另一个tsv接口345将特征提取层320的特征提取逻辑电路与cnn层325的神经网络逻辑电路互连。tsv接口345可以将由特征提取层320的特征提取逻辑电路获得的特征提取数据作为输入提供到cnn层325的神经网络逻辑电路中，以用于例如图像分类和/或识别。

在一些实施方式中，光学组件350可以被定位在硅基光电检测器层305(或非硅基的光电检测器层330)的顶部上。光学组件350可以被配置成将从围绕传感器组件300的本地区域中的一个或多个对象反射的光的至少一部分引导至硅基光电检测器层305的像素310(或者非硅基的光电检测器层330的传感器元件)。在一些实施方式中，光学组件350可以通过将一个或多个晶片层(在图3中未示出)堆叠在硅基光电检测器层305(或非硅基的光电检测器层330)的顶部上来实现。光学组件350的每个晶片可以被实现为玻璃晶片并且代表光学组件350的单独透镜元件。在一个或多个实施方式中，可以将基于聚合物的材料模制在玻璃晶片的顶表面和/或底表面上以用作光学组件350的单独透镜元件的反射表面。这种技术可以被称为晶片级光学。此外，间隔件(在图3中未示出)可以被包括在光学组件350中的一对邻近的玻璃晶片(层)之间，从而调整在邻近的玻璃层之间的空间。

在一些实施方式中，光学组件350的所有玻璃晶片和传感器层305、315、320、325的所有硅晶片可以在从晶片叠层上切下每个单独的传感器透镜单元之前被制造和堆叠在一起，从而获得传感器组件300的一个实例化。一旦完成了制造，从晶片叠层获得的每个立方体变为完整的全部功能的相机，例如，图3的传感器组件300。应理解的是，传感器组件300不需要用于传感器层305、315、320、325的任何塑料壳体，这便于将传感器组件300实现为小于阈值体积的预定体积尺寸的立方体。

在一些实施方式中，当非硅基的光电检测器层330(例如，qd光电检测器层或opf光电检测器层)是传感器组件300的一部分时，非硅基的光电检测器层330可以直接耦接至adc层315。在非硅基的光电检测器层330中的传感器元件(像素)与adc层315之间的电连接可以被制作为铜焊盘。在此情况下，在堆叠了所有其他的传感器层315、320、325之后，可以将非硅基的光电检测器层330沉积在adc层315上。在将非硅基的光电检测器层330沉积在adc层315上之后，将光学组件350施加在非硅基的光电检测器层330的顶部上。

图4是根据一个或多个实施方式的在堆叠传感器组件中的耦接传感器层的示例传感器架构400。传感器架构400可以包括例如经由tsv接口耦接至特征提取电路410的传感器电路405。传感器架构400可以被实现为图3中的传感器组件300的至少两个传感器层的一部分。在一些实施方式中，传感器电路405可以是光电检测器层305和adc层315的一部分，而特征提取电路410可以是特征提取层320的一部分。

传感器电路405可以获取并预处理传感器数据，然后例如经由tsv接口将所获取的传感器数据提供至特征提取电路410。传感器数据可以对应于由二维像素阵列415(例如，数字像素的mxn阵列)捕获的图像，其中m和n是相同值或不同值的整数。应注意，二维像素阵列415可以是图3的传感器组件300的光电检测器层305的一部分。此外，二维像素阵列415可以包括按像素的与adc逻辑电路(在图4中未示出)的接口，该adc逻辑电路可以是图3的adc层315的一部分。来自多路复用器425的像素数据420可以包括与所捕获的图像有关的数字传感器数据。像素数据420可以被存储到线缓冲器430中并且例如经由tsv接口提供至特征提取电路410以用于提取一个或多个特定特征。应注意，从多路复用器425读取的全帧可以经由高速移动行业处理器接口(mipi)435输出，以用于产生原始流输出440。

特征提取电路410可以从由像素数据420代表的所捕获的图像中确定一个或多个特征。在图4的示例性实施方式中，特征提取电路410包括点/特征/关键点(kp)/映射事件块445、卷积引擎450、质心估计块455以及阈值检测块460。卷积引擎450可以通过例如应用使用各种滤波系数(核)465(诸如用于高斯滤波、一阶导数、二阶导数等的滤波系数465)的3x3卷积来处理缓存在线缓冲器430中的像素数据420。来自卷积引擎450的经滤波的数据可以被进一步馈送到阈值检测块460中，其中可以基于例如滤波和阈值设定来检测所捕获的图像中的具体关键特征或事件。由阈值检测块460确定的关键特征/事件的位置可以被写入映射块445中。一个或多个关键特征/事件的映射可以被上传到例如主机(在图4中未示出)；一个或多个关键特征/事件的另一个映射还可以从主机写入映射块445。在实施方式中，基于结构光原理，可以使用传感器架构400来测量场景中的深度信息。在此情况下，可以从质心估计块455中提取激光点质心，并且可以将该质心写入映射块445中。

应理解的是，在图4中示出的传感器架构400代表示例性实施方式。传感器电路405和/或特征提取电路410的其他实施方式可以包括不同的和/或额外的处理块。

图5展示了根据一个或多个实施方式的基于忆阻器阵列的神经网络500的实例。神经网络500可以是在图3的传感器组件300的cnn层325中的神经网络逻辑电路的实施方式。在一些实施方式中，神经网络500代表基于例如用于图像分类和/或识别的机器学习算法被训练和用于某些处理的cnn。应注意，图4的特征提取电路410和神经网络500可以共同存在于智能传感器系统(例如图3的传感器组件300)中，因为可以在特征提取电路410上实现更多传统的(例如用于深度提取的)计算机视觉算法。

在一些实施方式中，神经网络500可以被优化用于具有适用于执行矢量矩阵乘法的忆阻器交叉开关矩阵(memristorcrossbar)的神经形态计算。在神经网络500中的学习是根据一组参数表示的，该组参数包括在神经网络500的交叉开关矩阵处的电导值g＝gn,m(n＝1、2、……n；m＝1、2、……m)和电阻值rs(例如，m个电阻值rs的矢量)。运算放大器(op-amp)502以及其相关联的电阻rs分别用作每列忆阻器元件的输出驱动器和每列加权系数。

在一些实施方式中，代替从例如动态随机存取存储器(dram)获取参数，呈电导值和电阻值形式的参数可直接在神经网络500的交叉开关矩阵点处获得、并且可以在计算过程中(例如，在矢量矩阵乘法的过程中)直接使用。基于图5中示出的忆阻器交叉开关矩阵的神经网络500可以具有双重功能，即，神经网络500可以用作存储器存储设备和计算设备。因此，神经网络500可以被称为“存储器实现的计算”，其具有优选的功率消耗水平、面积尺寸和计算效率。神经网络500可以有效地替代存储器存储设备和cpu的组合，其使得神经网络500适用于有效地实现为图3的传感器组件300的cnn层325的一部分。

神经网络500的初始权重gn,m可以经由具有以例如n行和m列组织的值的输入505(其可以表示矩阵输入)来进行写入。在一个或多个实施方式中，矩阵输入505可以对应于卷积运算的核。在一些实施方式中，输入510可以对应于例如由光电检测器层305捕获并由图3的传感器组件300的adc层315和特征提取层320处理的图像的数字像素值。输入510可以包括被组织成例如n个电压值v1ⁱ、v2ⁱ、v3ⁱ、……vnⁱ的矢量的数字电压值vⁱ。在推断操作过程中，矢量输入510可以应用到矩阵输入505中。作为在矢量输入510与矩阵输入505之间的乘法的结果(即，作为矢量矩阵乘法的结果)，可以获得输出515。如在图5中示出的，输出515表示数字电压值v^o的矢量，即，m个电压值v1^o、v2^o、v3^o、……vmⁱ，其中v^o＝vⁱgrs。输出矢量v^o可以用于推断功能，诸如对象分类。

在一些实施方式中，神经网络500可以例如经由在特征提取层320与cnn层325(即，神经网络500)之间的tsv接口345来与图3的传感器组件300的光电检测器层305、adc层315、和特征提取层320有效连接。此外，基于忆阻器交叉开关矩阵实现的神经网络500可以避免数据的并行到串行和串行到并行的转换，这简化了实现并提高了处理速度。可替换地，神经网络500可以用于图像分割和语义应用，其可以利用图5的具有不同组经过学习的系数的忆阻器交叉开关矩阵来实现。

图6是根据一个或多个实施方式的主机-传感器闭环系统600的实例。主机-传感器闭环系统600包括传感器系统605和主机系统610。传感器系统605可以是图1a中的传感器装置130的实施方式、图2中的传感器组件200的实施方式和/或图3中的传感器组件300的实施方式；主机系统610可以是图1a中的控制器135的实施方式。在一些实施方式中，传感器系统605可以获得环境的至少一部分的例如捕获图像的一个或多个关键特征。传感器系统605可以将该一个或多个关键特征以例如10帧每秒的速率初始地提供给主机系统610作为全分辨率关键帧615。基于经处理的一个或多个全分辨率关键帧615，主机系统610可以被配置成预测表示该一个或多个关键特征例如在接下来的一个或多个图像帧中的未来位置的一个或多个关键点。主机系统610然后可以以例如10帧每秒的速率向传感器系统605提供关键点映射620。

在接收到关键点映射620之后，传感器系统605可以激活例如对应于所预测的一个或多个特征的附近区域的一部分像素。传感器系统605然后可以仅捕获和处理与激活的那一部分像素部分相关的那些光强度。通过仅激活那一部分像素并且仅处理由所激活的那一部分像素捕获的一部分强度值，可以减少由传感器系统605消耗的功率。传感器系统605可以导出该一个或多个关键特征的一个或多个更新的位置。传感器系统605然后可以以例如100帧每秒的增加速率将该一个或多个关键特征的该一个或多个更新的位置发送至主机系统610来作为更新的关键点映射625，因为更新的关键点映射625包括比全分辨率关键帧615更少的数据。主机系统610然后可以处理具有与全分辨率关键帧615相比减少的数据量的经更新的关键点映射625，这提供了节省在主机系统610处的功率消耗，同时还减少了在主机系统610处的计算延迟。以此方式，传感器系统605和主机系统610形成了具有预测性稀疏捕获的主机-传感器闭环系统600。主机-传感器闭环系统600提供了在传感器系统605和主机系统610二者处的功率节省，在传感器系统605与主机系统610之间具有增加的通信速率。

系统环境

图7是控制台710运行所在的hmd系统700的一个实施方式的框图。hmd系统700可以在人工现实系统中运行。由图7示出的hmd系统700包括hmd705和耦接至控制器710的输入/输出(i/o)接口715。虽然图7示出了包括一个hmd705和i/o接口715的示例hmd系统700，然而在其他实施方式中，在hmd系统700中可以包括任何数量的这些部件。例如，可以存在各自具有相关联的i/o接口715的多个hmd705，其中每个hmd705和i/o接口715都与控制台710通信。在替代配置中，在hmd系统700中可以包括不同的和/或额外的部件。此外，在一些实施方式中，结合图7中示出的部件中的一个或多个描述的功能性可以通过与结合图7描述所不同的方式分配在这些部件中。例如，控制器710的一些或全部功能性是由hmd705提供的。

hmd705是头戴式显示器，其通过计算机生成的元素(例如，二维(2d)图像、三维(3d)图像、2d视频或3d视频、声音等)向用户呈现包括物理的真实世界环境的虚拟视图和/或增强视图的内容。在一些实施方式中，所呈现的内容包括经由外部设备(例如，扬声器和/或耳机)呈现的音频，该外部设备从hmd705、控制台710、或两者接收音频信息并且基于该音频信息呈现音频数据。hmd705可以包括一个或多个刚性体，该一个或多个刚性体可以刚性或非刚性地彼此联接。在刚性体之间的刚性联接使得联接的刚性体起单个刚性实体的作用。相比之下，在刚性体之间的非刚性联接允许刚性体相对彼此移动。hmd705的实施方式可以是以上结合图1a描述的hmd100。

hmd705包括一个或多个传感器组件720、电子显示器725、光学组件730、一个或多个位置传感器735、imu740、光学眼睛追踪系统745和光学变焦距模块750。hmd705的一些实施方式具有与结合图7描述的那些部件不同的部件。此外，在其他实施方式中，由结合图7描述的各种部件提供的功能性可以在hmd705的部件之间不同地分配。

每个传感器组件720可以包括多个堆叠传感器层。位于该多个堆叠传感器层的顶部上的第一传感器层可以包括像素的阵列，该阵列被配置成捕获从围绕hmd705的部分或全部的本地区域中的一个或多个对象反射的光的至少一部分的一个或多个图像。该多个堆叠传感器层中的位于第一(顶部)传感器层下方的至少一个其他的传感器层可以被配置成处理与所捕获的一个或多个图像相关的数据。hmd705或控制台710可以例如基于在hmd705上运行的应用来动态地激活传感器组件720中的第一子集并且停用传感器组件720中的第二子集。因此，在每个时刻处，将只激活传感器组件720中的一部分。在一些实施方式中，有关一个或多个移动对象的一个或多个追踪特征的信息可以从一个传感器组件720传送至另一个传感器组件720，因此该另一个传感器组件720可以继续追踪该一个或多个移动对象的该一个或多个特征。

在一些实施方式中，每个传感器组件720可以耦接至主机，即，hmd705的处理器(控制器)或控制台710。传感器组件720可以被配置成使用第一帧速率将第一分辨率的第一数据发送至主机，该第一数据与由传感器组件720在第一时刻捕获的图像相关联。主机可以被配置成使用第一帧速率发送有关基于从传感器组件720接收的第一数据获得的一个或多个特征的信息。传感器组件720可以进一步被配置成使用高于第一帧速率的第二帧速率将低于第一分辨率的第二分辨率的第二数据发送至主机，该第二数据与由传感器组件在第二时刻捕获的另一个图像相关联。

每个传感器组件720可以包括在顶部传感器层的阵列中的每个像素与位于该顶部传感器层下方的该一个或多个传感器层中的至少一个传感器层的逻辑电路之间的接口连接。位于传感器组件720的顶部传感器层下方的该一个或多个传感器层中的至少一个传感器层可包括被配置成从所捕获的一个或多个图像中提取一个或多个特征的逻辑电路。位于传感器组件720的顶部传感器层下方的该一个或多个传感器层中的至少一个传感器层可以进一步包括基于用于存储经训练的网络权重的忆阻器阵列的cnn。

至少一个传感器组件720可以捕获描述本地区域的深度信息的数据。该至少一个传感器组件720可以使用该数据(例如，基于结构光图案的捕获部分)来计算深度信息。替代性地，该至少一个传感器组件720可以将此信息发送给可以使用来自传感器组件720的数据确定深度信息的另一个设备，诸如控制台710。这些传感器组件720中的每一个传感器组件可以是图1a中的传感器装置130的、图2中的传感器组件200的、图3中的传感器组件300的、和/或图6中的传感器系统605的实施方式。

电子显示器725根据从控制台710接收的数据向用户显示二维图像或三维图像。在各种实施方式中，电子显示器725包括单个电子显示器或多个电子显示器(例如，用于用户的每个眼睛的显示器)。电子显示器725的实例包括：lcd、oled显示器、iled显示器、amoled显示器、toled显示器、一些其他的显示器、或其某种组合。电子显示器725可以是图1b中的电子显示器155的实施方式。

光学组件730放大从电子显示器725接收的图像光、校正与图像光相关的光学误差、并且将经校正的图像光呈现给hmd705的用户。光学组件730包括多个光学元件。在光学组件730中包括的示例光学元件包括：光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器、反射表面、或影响图像光的任何其他合适的光学元件。此外，光学组件730可以包括不同光学元件的组合。在一些实施方式中，光学组件730中的光学元件中的一个或多个可以具有诸如部分反射涂层或防反射涂层等的一个或多个涂层。

由光学组件730对图像光的放大和聚焦允许电子显示器725与较大的显示器相比物理上更小、重量更轻、并且消耗更少功率。此外，放大可以增加由电子显示器725呈现的内容的视场。例如，所显示内容的视场为使得使用几乎所有的(例如，大约110度对角线)并且在一些情况下全部视场呈现所显示的内容。此外，在一些实施方式中，放大量可以通过增加或移除光学元件来调整。

在一些实施方式中，光学组件730可以被设计成用于校正一种或多种类型的光学误差。光学误差的实例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括球面像差、由于透镜场曲率引起的色差或误差、像散或任何其他类型的光学误差。在一些实施方式中，被提供给电子显示器725用于显示的内容是预失真的，并且光学组件730在接收电子显示器725的基于内容生成的图像光时校正失真。在一些实施方式中，光学组件730被配置成将从电子显示器725发射的图像光引导至hmd705的对应于用户眼睛位置的眼睛框。图像光可以包括由该多个传感器组件720中的至少一个传感器组件部分地基于经处理的数据来确定的本地区域的深度信息。光学组件730可以是图1b中的光学组件160的实施方式。

imu740是基于从这些位置传感器735中的一个或多个位置传感器接收的测量信号并由从该至少一个传感器组件720接收的深度信息来生成表明hmd705的位置的数据的电子设备。位置传感器735响应于hmd705的运动生成一个或多个测量信号。位置传感器735的实例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种适当类型的传感器、用于对imu740进行误差校正的一种类型的传感器、或其某种组合。位置传感器735可以位于imu740外部、imu740内部、或其某种组合。

基于来自一个或多个位置传感器735的该一个或多个测量信号，imu740生成表明hmd705的相对于hmd705的初始位置的估计当前位置的数据。例如，位置传感器735包括多个加速计以测量转换运动(前/后、上/下、左/右)和多个陀螺仪以测量旋转运动(例如，倾斜、偏转、滚动)。在一些实施方式中，位置传感器735可以表示图1a的位置传感器135。在一些实施方式中，imu740对测量信号进行快速采样并且根据采样数据计算hmd705的估计当前位置。例如，imu740将从加速计接收的测量信号在时间上积分以估计速度矢量并且将速度矢量在时间上积分以确定hmd705上的参考点的估计当前位置。替换性地，imu740将采样测量信号提供至控制台710，该控制台解读数据以减少误差。参考点是可以用于描述hmd705的位置的点。参考点通常可以被限定为是与hmd705的朝向和位置相关的空间点或位置。

imu740从控制台710接收一个或多个参数。该一个或多个参数用于保持对hmd705的追踪。基于所接收的参数，imu740可以调整一个或多个imu参数(例如，采样率)。在一些实施方式中，某些参数使imu740更新参考点的初始位置，从而其对应于参考点的下一位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与imu740估计的当前位置相关的累积误差。累积误差(也称为漂移误差)使参考点的估计位置随着时间“漂移”远离参考点的实际位置。在hmd705的一些实施方式中，imu740可以是专用的硬件部件。在其他实施方式中，imu740可以是在一个或多个处理器上实现的软件部件。在一些实施方式中，imu740可以表示图1a的imu130。

在一些实施方式中，眼睛追踪系统745被集成到hmd705中。眼睛追踪系统745确定与穿戴hmd705的用户的眼睛相关联的眼睛追踪信息。由眼睛追踪系统745确定的眼睛追踪信息可以包括有关用户眼睛的朝向的信息，即，有关眼睛注视的角度的信息。在一些实施方式中，眼睛追踪系统745被集成到光学组件730中。眼睛追踪系统745的实施方式可以包括照明源和成像设备(相机)。

在一些实施方式中，变焦距模块750被进一步集成到hmd705中。变焦距模块750可以耦接至眼睛追踪系统745以获得由眼睛追踪系统745确定的眼睛追踪信息。变焦距模块750可以被配置成基于从眼睛追踪系统745获得的所确定的眼睛追踪信息来调整显示在电子显示器725上的一个或多个图像的焦点。以此方式，变焦距模块750可以缓和关于图像光的视觉辐辏调节冲突。变焦距模块750可以与电子显示器725和光学组件730的至少一个光学元件中的至少一者(例如，机械地或电学地)连接。然后，变焦距模块750可以被配置成通过基于从眼睛追踪系统745获得的经确定的眼睛追踪信息调整电子显示器725和光学组件730的该至少一个光学元件中的至少一者的位置来调整在电子显示器725上显示的该一个或多个图像的焦点。通过调整位置，变焦距模块750改变从电子显示器725朝用户眼睛输出的图像光的焦点。变焦距模块750还可以被配置成通过至少部分地基于从眼睛追踪系统745获得的经确定的眼睛追踪信息对所显示的图像进行凹状渲染来调整显示在电子显示器725上的图像的分辨率。在这种情况下，变焦距模块750为电子显示器725提供合适的图像信号。变焦距模块750仅在用户眼睛注视的凹部区域中提供用于电子显示器725的最大像素密度的图像信号，而在电子显示器725的其他区域中提供具有较低像素密度的图像信号。在一个实施方式中，变焦距模块750可以利用由该至少一个传感器组件720获得的深度信息，从而例如生成用于呈现在电子显示器725上的内容。

i/o接口715是允许用户向控制台710发送动作请求并从该控制台接收响应的设备。动作请求是执行具体动作的请求。例如，动作请求可以是开始或结束捕获图像或视频数据的指令、或者是在应用内执行具体动作的指令。i/o接口715可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将这些动作请求传达至控制台710的任何其他合适的设备。由i/o接口715接收的动作请求被传达至控制台710，该控制台执行对应于该动作请求的动作。在一些实施方式中，i/o接口715包括捕获imu数据的imu740，该imu数据表明i/o接口715的相对于i/o接口715的初始位置的估计位置。在一些实施方式中，i/o接口715可以根据从控制台710接收的指令向用户提供触觉反馈。例如，当接收动作请求时提供触觉反馈，或者控制台710将指令传达至i/o接口715，使得当控制台710执行动作时i/o接口715生成触觉反馈。

控制台710根据从该至少一个传感器组件720、hmd705和i/o接口715中的一个或多个接收的信息向hmd705提供内容以进行处理。在图7中示出的实例中，控制台710包括应用存储装置755、追踪模块760、以及引擎765。控制台710的一些实施方式具有与结合图7描述的那些不同的模块或部件。类似地，可以以与结合图7描述的方式不同的方式在控制台710的部件中分配下面进一步描述的功能。

应用存储装置755存储由控制台710执行的一个或多个应用。应用是当被处理器执行时生成内容以呈现给用户的一组指令。由应用生成的内容可以响应于经由i/o接口715或hmd705的移动从用户接收的输入。应用的实例包括游戏应用、会议应用、视频重放应用、或其他合适的应用。

追踪模块760使用一个或多个校准参数校准hmd系统700并且可以调整一个或多个校准参数来减少在确定hmd705或i/o接口715的位置时的误差。例如，追踪模块760将校准参数传达至该至少一个传感器组件720以调整该至少一个传感器组件720的焦点，从而更精确地确定由该至少一个传感器组件720捕获的结构光元素的位置。由追踪模块760执行的校准还负责从在hmd705中的imu740和/或包含在i/o接口715中的imu740接收的信息。此外，如果hmd705的追踪丢失(例如，该至少一个传感器组件720丢失至少阈值数量的结构光元素的视线)，则追踪模块760可以对hmd系统700的部分或全部进行重新校准。

追踪模块760使用来自该至少一个传感器组件720、该一个或多个位置传感器735、imu740或其某种组合的信息来追踪hmd705或i/o接口715的运动。例如，追踪模块750基于来自hmd705的信息来确定hmd705的参考点在本地区域的映射中的位置。追踪模块760还可以分别使用来自imu740的表明hmd705的位置的数据或者使用来自包含在i/o接口715的imu740的表明i/o接口715的位置的数据来确定hmd705的参考点或i/o接口715的参考点的位置。此外，在一些实施方式中，追踪模块760可以使用来自imu740的表明hmd705的位置的数据部分以及来自至少一个传感器组件720的本地区域的表示来预测hmd705的未来位置。追踪模块760将hmd705或i/o接口715的估计或预测的未来位置提供至引擎765。

引擎765基于从hmd705接收的信息生成围绕hmd705的部分或全部的本地区域的3d映射。在一些实施方式中，引擎765基于从该至少一个传感器组件720接收的与在计算深度时使用的技术相关的信息来确定本地区域的3d映射的深度信息。引擎765可以使用在根据结构光计算深度时的一个或多个技术来计算深度信息。在各种实施方式中，引擎765使用该深度信息来例如更新本地区域的模型，并且部分地基于更新的模型来生成内容。

引擎765还在hmd系统700内执行应用并且从追踪模块760接收hmd705的位置信息、加速度信息、速度信息、预测的未来位置、或其某种组合。基于所接收的信息，引擎765确定提供至hmd705的内容以呈现给用户。例如，如果所接收的信息表明用户已向左看，引擎765生成用于hmd705的在虚拟环境中或在用附加内容增强本地区域的环境中反映用户移动的内容。此外，引擎765响应于从i/o接口715接收的动作请求在控制台710上执行的应用内执行动作并且将该动作被执行的反馈提供给用户。所提供的反馈可以是经由hmd705的视觉反馈或听觉反馈或者经由i/o接口715的触觉反馈。

在一些实施方式中，基于从眼睛追踪系统745接收的眼睛追踪信息(例如，用户眼睛的朝向)，引擎765确定提供至hmd705的内容的分辨率以用于在电子显示器725上呈现给用户。引擎765在电子显示器725上用户注视的凹部区域中向hmd705提供具有最大像素分辨率的内容，而引擎765在电子显示器725的其他区域中提供较低的像素分辨率，因此在没有折损用户的视觉体验的情况下实现了hmd705处较少的功率消耗并且节省了控制台710的计算周期。在一些实施方式中，引擎765可以进一步使用眼睛追踪信息来调整对象被显示在电子显示器725的哪里，从而防止视觉辐辏调节冲突。

附加配置信息

本公开的实施方式的上述说明仅出于展示的目的而呈现，并且不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域技术人员应理解，根据上述公开，可以有多种修改和变化。

本说明的一些部分从信息运算的算法和符号表示法的角度描述了本公开的实施方式。这些算法说明和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。这些运算尽管从功能上、计算上或逻辑上进行了描述，但应被理解为通过计算机程序或等效电路、微代码等来实现。此外，有时把这些运算的安排称为模块也是方便的，并且不失其一般性。所描述的运算及其关联模块可具体化为软件、固件、硬件或其任意组合。

本文中描述的任何步骤、运算或过程可以使用一个或多个硬件或软件模块单独或与其他设备组合执行或实现。在一个实施方式中，软件模块可以用计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可以由被用于执行所描述的任何或所有步骤、运算或过程的计算机处理器执行。

本公开的实施方式还可以涉及一种用于执行本文中的操作的装置。该装置可以针对需要目的而具体构造，和/或该装置可以包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。此类计算机程序可以存储在可耦接至计算机系统总线的非暂时性有形计算机可读存储介质或适用于存储电子指令的任何类型的介质中。此外，本说明书中提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以提高计算能力的架构。

本公开的实施方式还可以涉及由本文中所描述的计算处理生产的产品。此类产品可以包括由计算处理得到的信息，其中该信息被存储在非暂时性有形计算机可读存储介质上并且可以包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。

最后，原则上出于可读性和说明性的目的来选择本说明书中使用的语言，并且所使用的语言并不被选择来划定或限制本发明的主题。因此，本公开的范围并不旨在由此详细说明来限制，而是由基于详细说明的本申请所发布的任何权利要求来限定。因此，实施方式的公开旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。