用于深度映射的阵列检测器的制作方法

本公开内容一般涉及虚拟或增强现实系统，并且更具体地，涉及获得用于确定局部区域的深度信息的信息的阵列检测器。

背景技术：

虚拟现实(vr)、增强现实(ar)和混合现实(mr)系统可以在三维(3d)中平衡围绕用户的环境的捕获。然而，传统的深度相机成像体系结构在尺寸上相对大、沉重，并且消耗巨大功率量。用于获得场景的3d信息的示例性深度相机成像体系结构包括例如立体视觉、飞行时间(tof)和结构化光(sl)。不同的深度相机成像体系结构提供不同的优点和弱点，因此某些深度相机成像体系结构可以在不同操作条件下提供比其他体系结构更好的性能。例如，立体视觉体系结构利用环境照明操作良好，同时可以通过来自环境照明的信噪比中的限制削弱具有有源照明源的tof体系结构。然而，因为传统的深度相机成像体系结构的相对大的尺寸，包括深度相机的许多系统通常使用配置用于具体使用情况的单个类型的深度相机成像体系结构。因为头戴式系统在变化的操作条件和环境中越来越多地用于执行更广泛的功能，因此选择单个深度相机成像体系结构以获得围绕头戴式系统的区域的深度信息并且用户可以利用头戴式系统削弱用户体验。此外，因为hmd在室内和室外使用这两者中变得更普遍，因此操作环境的动态可以在捕获的数据质量中受益于更高程度的可靠性和弹性。

技术实现要素：

一种深度相机组件(dca)，捕获描述围绕例如包括该dca的头戴式显示器(hmd)的局部区域中的深度信息的数据。dca包括阵列检测器、控制器和照明源。阵列检测器包括检测器并且检测器的一部分利用透镜阵列覆盖。检测器包括多个像素，该多个像素被分成多个不同的像素组。透镜阵列包括多个透镜堆叠并且每个透镜堆叠覆盖不同的像素组。阵列检测器捕获用来自照明源的光照亮的局部区域的一个或多个合成图像。控制器使用一个或多个合成图像确定局部区域中的对象的深度信息。在实施方式中，其中，dca是hmd的一部分，电子显示元件部分基于深度信息显示虚拟对象。并且，光学块将光从电子显示元件引导至hmd的出射光瞳。

透镜堆叠是将来自局部区域的光聚焦在活动区域的对应部分上的一个或多个光学元件。每个透镜堆叠可以与透镜阵列中的其他透镜堆叠相同或不同。例如，透镜堆叠的一个或多个光学元件可以是变化的，使得焦距、f数、孔径、透射波长、偏振度等中的一个或多个在相同的透镜阵列中的透镜堆叠之间可以不同。每个透镜堆叠覆盖与各个像素组对应的检测器的活动区域的不同部分，以形成相机单元。因此，单个检测器和多个透镜堆叠创建多个相机单元。来自检测器的输出包括来自一起形成局部区域的合成图像的每一个相机单元的内容。可以由例如控制器和/或虚拟现实控制台使用合成图像，以便经由包括例如立体视觉、光度立体、结构化光(sl)、飞行时间(tof)以及它们的某种组合的各种技术确定用于局部区域的深度信息。

根据本发明的实施方式具体公开在针对系统的所附权利要求中，其中，在一个权利要求类别(例如，系统)中提到的任何特征也可以在另一个权利要求类别(例如，方法)中要求保护。仅由于形式的原因而选择所附权利要求中的从属权利要求或后向引用。然而，也可以要求保护特意后向引用对任何上述权利要求(具体地，多个从属权利要求)导致的任何主题内容，以便权利要求及其特征的任何组合被公开并且可以要求被保护而不管在所附权利要求中选择的从属权利要求。可以要求保护的主题内容不仅包括所附权利要求中阐述的特征的组合，而且包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独的权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求被保护。

在根据本发明的实施方式中，深度相机组件(dca)可以包括：

照明源，被配置为将光投射到局部区域中；

包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及

控制器，被配置为使用一个或多个合成图像确定局部区域中的对象的深度信息。

dca可以是头戴式显示器(hmd)的一部分，该头戴式显示器包括：

电子显示元件，被配置为部分基于深度信息显示虚拟对象；以及

光学块，被配置为将光从电子显示元件引导至hmd的出射光瞳。

控制器还可以被配置为：

使用一个或多个合成图像以及从由立体视觉、飞行时间、光度立体、结构化光以及它们的某种组合组成的组中选择的深度测量技术确定深度信息。

每个像素组可以包括相同数量的像素。

至少一个像素组可以具有与多个像素的另一像素组不同数量的像素。

透镜阵列可以包括四个透镜堆叠，并且每个对应的像素组可以具有相同数量的像素。

多个透镜堆叠中的一透镜堆叠可以包括从由透镜、衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。

透镜阵列中的至少一个透镜堆叠可以包括至少一个与透镜阵列中的另一透镜堆叠不同的光学元件。

透镜阵列中的每个透镜堆叠可以包括相同的一个或多个光学元件。

在根据本发明的实施方式中，深度相机组件(dca)可以包括：

照明源，被配置为将光投射到局部区域中；

包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及

控制器，被配置为将一个或多个合成图像提供至虚拟现实(vr)控制台，其中，vr控制台被配置为部分基于一个或多个合成图像确定深度信息并且部分基于深度信息生成虚拟对象。

每个像素组可以包括相同数量的像素。

至少一个像素组可以具有与多个像素的另一像素组不同数量的像素。

透镜阵列可以包括四个透镜堆叠，并且每个对应的像素组可以具有相同数量的像素。

多个透镜堆叠中的一透镜堆叠可以包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。

透镜阵列中的至少一个透镜堆叠可以包括至少一个与透镜阵列中的另一透镜堆叠不同的光学元件。

在根据本发明的实施方式中，深度相机组件(dca)可以包括：

照明源，被配置为将光投射到局部区域中；

包括检测器的阵列检测器，该检测器包括用包括多个透镜堆叠的透镜阵列覆盖的多个像素，该多个像素被分成不同的像素组并且每个透镜堆叠覆盖不同的像素组，该阵列检测器被配置为捕获用来自照明源的光照亮的局部区域的一个或多个合成图像；以及

控制器，被配置为使用一个或多个合成图像确定局部区域中的对象的深度信息；和/或

控制器，被配置为将一个或多个合成图像提供至虚拟现实(vr)控制台，其中，vr控制台被配置为部分基于一个或多个合成图像确定深度信息并且部分基于深度信息生成虚拟对象。

在根据本发明的实施方式中，深度相机组件(dca)可以包括：

照明源，将光投射到局部区域中；

阵列检测器，包括：

第一检测器，包括第一组像素；

第二检测器，位于邻近于第一检测器，第二检测器包括第二组像素，

透镜阵列，包括第一透镜堆叠和第二透镜堆叠，第一透镜堆叠覆盖第一组像素，并且第二透镜堆叠覆盖第二组像素，并且

其中，由第一检测器在特定时间范围内捕获的局部区域的图像以及由第二检测器在该特定时间范围内捕获的局部区域的图像一起组成合成图像；以及

控制器，被配置为使用合成图像确定局部区域中的对象的深度信息。

第一组像素和第二组像素可以包括相同数量的像素。

第一组像素可以与第二组像素具有不同数量的像素。

第一透镜堆叠和第二透镜堆叠可以包括从由衍射元件、波长滤波器、偏振器、孔以及它们的某种组合组成的组中选择的一个或多个光学元件。

第一透镜堆叠可以包括至少一个与第二透镜堆叠不同的光学元件。

控制器还可以被配置为：

使用合成图像以及从由立体视觉、飞行时间、光度立体、结构化光以及它们的某种组合组成的组中选择的深度测量技术确定深度信息。

附图说明

图1是根据实施方式的包括虚拟现实系统的系统环境的框图。

图2是根据实施方式的头戴式显示器的图。

图3是根据实施方式的包括深度相机组件的头戴式显示器的前刚体的截面。

图4是根据实施方式的深度相机组件的阵列检测器的俯视图。

附图仅为了说明的目的描述了本公开的实施方式。本领域技术人员从下列描述中容易认识到，在不背离本文中描述的本公开的原理或推崇的益处的情况下，可以采用本文中示出的结构和方法的替代实施方式。

具体实施方式

系统概述

图1是vr控制台110在其中运行的虚拟现实(vr)系统环境100的一个实施方式的框图。尽管图1为了说明的目的示出了vr系统环境，但是在各种实施方式中，本文中描述的部件和功能还可以包括在增强现实(ar)系统或混合现实(mr)系统中。如本文中使用的，vr系统环境100还可以包括利用用户可以交互的虚拟环境来呈现用户的虚拟现实系统环境。由图1示出的vr系统环境100包括头戴式显示器(hmd)105和耦接至vr控制台110的vr输入/输出(i/o)界面115。尽管图1示出包括一个hmd105和一个vri/o界面115的示例性系统100，但是在其他实施方式中，在vr系统环境100中可以包括任何数量的这些部件。例如，可以存在各自具有相关联的vri/o界面115的多个hmd105，其中，每个hmd105和vri/o界面115与vr控制台110通信。在替代配置中，vr系统环境100中可以包括不同的和/或附加部件。此外，在一些实施方式中，可以与结合图1描述的不同方式在部件中分配结合图1中示出的一个或多个部件描述的功能。例如，由hmd105提供vr控制台110的一些或者所有功能。

hmd105是利用计算机生成的元素(例如，二维(2d)或三维(3d)图像、2d或3d视频、声音等)将包括物理、真实世界环境的增强视图的内容呈现给用户的头戴式显示器。在一些实施方式中，所呈现的内容包括经由从hmd105、vr控制台110、或这两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如，扬声器和/或听筒)呈现的音频。hmd105可以包括一个或多个刚体，刚体可刚性地或非刚性地彼此耦接在一起。刚体之间的刚性耦接使耦接的刚体充当单个刚性实体。相反，刚体之间的非刚性耦接允许刚体相对彼此移动。

hmd105包括深度相机组件(dca)120、电子显示器125、光学块130、一个或多个位置传感器135以及惯性测量单元(imu)140。hmd105的一些实施方式具有与结合图1描述的那些不同的部件。此外，在其他实施方式中由结合图1描述的各种部件提供的功能可以被不同地分配在hmd105的部件中，或者在远离hmd105的单独组件中被捕获。

dca120捕获描述围绕hmd105的区域的深度信息的数据。描述深度信息的数据可以与用于确定深度信息的以下技术：立体视觉、光度立体、结构化光(sl)和飞行时间(tof)中的一个或组合相关联。dca120可以使用数据计算深度信息，或者dca120可以将该信息发送至诸如vr控制台110的另一设备，该vr控制台110可以使用来自dca120的数据确定深度信息。

在一个实施方式中，dca120包括照明源、阵列检测器和控制器。照明源将光发射到围绕hmd的区域上。阵列检测器捕获环境光以及来自照明源的从该区域中的对象反射的光。阵列检测器包括将阵列检测器的活动区域划分为多个区域的透镜阵列(例如，该透镜阵列可以包括4个分开的透镜堆叠)，并且每个区域提供局部区域的不同视点。阵列检测器被配置为提供有关局部区域的多个视图的数据，以用于更好地提取深度信息。控制器协调照明源如何发光以及阵列检测器如何捕获光。以下关于图3论述关于dca120的操作的补充细节。

电子显示器125根据从vr控制台110接收的数据将2d或3d图像显示给用户。在各种实施方式中，电子显示器125包括单个电子显示器或多个电子显示器(例如，用于用户的每个眼睛的显示器)。电子显示器125的示例包括：液晶显示器(lcd)、有机发光二极管(oled)显示器、有源矩阵有机发光二极管显示器(amoled)、一些其他显示器或者其某种组合。

光学块130放大从电子显示器125接收的图像光，校正与图像光相关联的光学误差，并且将校正的图像光呈现给hmd105的用户。在各种实施方式中，光学块130包括一个或多个光学元件。在光学块130中包括的示例性光学元件包括：孔、菲涅尔透镜、凸透镜、凹透镜、滤波器、反射面、或者影响图像光的任何其他合适的光学元件。此外，光学块130可包括不同光学元件的组合。在一些实施方式中，光学块130中的一个或多个光学元件可以具有一个或多个涂层，诸如，部分反射或者抗反射涂层。

通过光学块130放大和聚焦图像光以允许电子显示器125与较大的显示器相比在物理上更小、重量更轻、并且消耗更少的功率。此外，放大可以增加由电子显示器125呈现的内容的视野。例如，所显示的内容的视野使得使用几乎全部(例如，约110度对角线)的用户的视野并且在一些情况下是使用全部的用户的视野来呈现所显示的内容。此外，在一些实施方式中，可以通过添加或移除光学元件来调节放大量。

在一些实施方式中，光学块130可以被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形失真或枕形失真、纵向色差或横向色差。其他类型的光学误差还可以包括球面像差、色像差、或者由于透镜场曲率、像散导致的误差、或者任何其他类型的光学误差。在一些实施方式中，提供给用于显示的电子显示器125的内容是预失真的，并且当光学块130从基于内容生成的电子显示器125接收图像光时，该光学块130校正失真。

imu140是基于从一个或多个位置传感器135接收的测量信号以及根据从dca120接收的深度信息生成表示hmd105的位置的数据的电子设备。位置传感器135响应于hmd105的运动生成一个或多个测量信号。位置传感器135的示例包括：一个或多个加速计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于imu140的误差校正的一类传感器或者其某种组合。位置传感器135可以位于imu140的外部、imu140的内部、或其某种组合。

基于来自一个或多个位置传感器135的一个或多个测量信号，imu140生成指示相对于hmd105的初始位置的hmd105的估计的当前位置的数据。例如，位置传感器135包括测量平移运动(前/后、上/下、左/右)的多个加速计和测量旋转运动(例如，倾斜、偏转、滚动)的多个陀螺仪。在一些实施方式中，imu140对测量信号进行快速采样并且根据采样数据计算hmd105的估计的当前位置。例如，imu140将从加速计接收的测量信号随时间积分以估计速度矢量并且将速度矢量随时间积分以确定hmd105上的参考点的估计的当前位置。可替换地，imu140将采样的测量信号提供至vr控制台110，这将解释数据以减少误差。参考点是可以用于描述hmd105的位置的点。参考点一般可以定义为与hmd105的方位和位置相关的空间中的点或位置。

imu140从vr控制台110接收一个或多个参数。如以下进一步讨论的，一个或多个参数用于保持对hmd105的跟踪。基于所接收的参数，imu140可以调节一个或多个imu参数(例如，采样率)。在一些实施方式中，某些参数使imu140更新参考点的初始位置，使得其对应于参考点的下一个位置。更新参考点的初始位置作为参考点的下一个校准位置有助于减少与所估计的imu140的当前位置相关联的累积误差。累积误差(也称为漂移误差)使参考点的估计位置随时间“漂移”远离参考点的实际位置。在hmd105的一些实施方式中，imu140可以是专用硬件部件。在其他实施方式中，imu140可以是在一个或多个处理器中实现的软件部件。

vri/o界面115是允许用户发送动作请求并且从vr控制台110接收响应的设备。动作请求是执行具体动作的请求。例如，动作请求可以是开始或结束图像或视频数据的指令，或者是在应用程序内执行特定动作的指令。vri/o界面115可以包括一个或多个输入设备。示例性输入设备包括：键盘、鼠标、游戏控制器、或用于接收动作请求并将动作请求传送至vr控制台110的任何其他合适的设备。由vri/o界面115接收的动作请求被传送至vr控制台110，vr控制台执行与动作请求对应的动作。在一些实施方式中，vri/o界面115包括imu140，如以下进一步描述的，该imu140捕获指示相对于vri/o界面115的初始位置的vri/o界面115的估计位置的校准数据。在一些实施方式中，vri/o界面115可以根据从vr控制台110接收的指令将触觉反馈提供给用户。例如，当接收动作请求时提供触觉反馈，或者vr控制台110将指令传送至vri/o界面115使得当vr控制台110执行动作时vri/o界面115生成触觉反馈。

vr控制台110根据从dca120、hmd105和vri/o界面115中的一个或多个接收的信息，将内容提供给hmd105以用于处理。在图1示出的示例中，vr控制台110包括应用存储器150、跟踪模块155和vr引擎145。vr控制台110的一些实施方式具有与结合图1描述的那些不同的模块或部件。类似地，可以以与结合图1描述的不同方式在vr控制台110的部件中分配下面进一步描述的功能。

应用存储器150存储由vr控制台110执行的一个或多个应用程序。应用程序是一组指令，该组指令在由处理器执行时生成用于呈现给用户的内容。由应用程序生成的内容可以响应于经由hmd105或vri/o界面115的移动而从用户接收的输入。应用程序的示例包括：游戏应用程序、会议应用程序、视频播放应用程序、或其他合适的应用程序。

跟踪模块155使用一个或多个校准参数校准vr系统环境100并且可以调整一个或多个校准参数以减少确定hmd105或者vri/o界面115的位置的误差。例如，跟踪模块155将校准参数传送至dca120以调整dca120的焦点以更精确地确定由dca120捕获的sl元素的位置。由跟踪模块155执行的校准还考虑从hmd105中的imu140和/或包括在vri/o界面115中的imu140接收的信息。此外，如果hmd105的跟踪丢失(例如，dca120失去至少阈值数量的sl元素的视线)，则跟踪模块140可以重新校准vr系统环境100中的一些或全部。

跟踪模块155使用来自dca120、一个或多个位置传感器135、imu140或者其某种组合的信息来跟踪hmd105或vri/o界面115的移动。例如，跟踪模块155基于来自hmd105的信息确定在局部区域的映射中的hmd105的参考点的位置。跟踪模块155还可以分别使用来自imu140的指示hmd105的位置的数据或者使用来自包括在vri/o界面115中的imu140的指示vri/o界面115的位置的数据来确定hmd105的参考点的位置或vri/o界面115的参考点的位置。此外，在一些实施方式中，跟踪模块155可以使用来自imu140的指示hmd105的位置的数据的部分以及来自dca120的局部区域的表示以预测hmd105的未来位置。跟踪模块155将hmd105或vri/o界面115的估计的或预测的未来位置提供至vr引擎145。

vr引擎145基于从hmd105接收的信息生成围绕hmd105的区域(即，“局部区域”)的3d映射。在一些实施方式中，vr引擎145基于从dca120接收的与计算深度中使用的技术相关的信息确定用于局部区域的3d映射的深度信息。vr引擎145可以使用计算深度中的一个或多个技术(例如，立体视觉、光度立体、sl、tof或者其某种组合)计算深度信息。在各种实施方式中，vr引擎145使用由dca120确定的不同类型的信息或者由dca120确定的类型的信息的组合。

vr引擎145也执行vr系统环境100内的应用程序并且从跟踪模块155接收hmd105的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息，vr引擎145确定将内容提供给hmd105以呈现给用户。例如，如果所接收的信息指示用户看向左边，则vr引擎145生成用于在虚拟环境中或者在利用额外内容增强局部区域的环境中反映用户的移动的hmd105的内容。此外，vr引擎145响应于从vri/o界面115接收的动作请求在vr控制台110上执行的应用程序内执行动作并且将该动作被执行的反馈提供至用户。所提供的反馈可以是经由hmd105的视觉反馈或听觉反馈或者经由vri/o界面115的触觉反馈。

图2是hmd200的一个实施方式的线示图。hmd200是hmd105的实施方式，并且包括前刚体205、带子210、参考点215、左侧220a、顶侧220b、右侧220c、底侧220d和前侧220e。图2中示出的hmd200还包括深度相机组件(dca)120的实施方式并且描述成像孔225和照明孔230。dca120的一些实施方式包括阵列检测器和照明源。照明源通过照明孔230发光。阵列检测器通过成像孔225捕获来自照明源的光以及局部区域中的环境光。前刚体205包括电子显示器125(未示出)的一个或多个电子显示元件、imu130、一个或多个位置传感器135和参考点215。

图3是根据实施方式的hmd305的截面300。在一些实施方式中，hmd305是hmd105的实施方式。在其他实施方式中，它是一些其他hmd的一部分。前刚体307包括深度相机组件(dca)120、电子显示器125和光学块130。hmd305的一些实施方式具有与本文中描述的那些部件不同的部件。类似地，在一些情况下，可以以与本文描述的不同的方式在部件中分配功能。前刚体307还包括其中用户的眼睛309将位于的出射光瞳308。为了说明的目的，图3示出根据单个眼睛309的前刚体307的截面。尽管图3描绘眼睛309的中心截面在与dca120相同的平面中，但是眼睛309的中心截面和dca120不必在相同平面上。此外，与图3中示出的那些分开的另一电子显示器125和光学块130可以包括在前刚体307中以将诸如局部区域310的增强表示的内容或者虚拟内容呈现给用户的另一只眼睛。

深度相机组件(dca)120包括照明源320、阵列检测器325和控制器330。在替代实施方式中，dca120不包括照明源320，并且依赖于局部区域310上的环境光以用于数据。

照明源320利用光照亮局部区域310。照明源320包括将光发射到局部区域310上的一个或多个发射器。局部区域310是围绕hmd105的区域并且包括阵列检测器325的视野中的对象。照明源320的一个或多个发射器可以发射相同光谱的光，或者每个发射器可以发射不同光谱或者特定范围的波长的光(即，光的“频带”)。由照明源320发射的光的示例性频带包括：可见频带(～380nm至750nm)、红外线(ir)频带(～750nm至2,200nm)、紫外线频带(100nm至380nm)、电磁光谱的另一部分、或者其某种组合。照明源320可以利用诸如对称的或准随机的光点图形、网格或水平条等指定模式发射sl。在2016年8月9日提交的美国申请第15/232,073号中进一步描述了具有多个发射器并且集成到hmd中的照明源的实施方式，其全部内容通过引证结合于本文中。

阵列检测器325捕获局部区域310的图像。阵列检测器325包括检测器340和透镜堆叠350。检测器340由单个传感器构成，然而，在替代实施方式中由两个或更多个传感器构成。在一些实施方式中，检测器340是单个传感器并且该系统可以平衡像素组之间的内在平版和半导体制造精度。此外，检测器340可以利用数量级为毫米的总尺寸安装在一般的整体式机架上，这有助于减少系统对环境影响(例如，由于温度、振动和冲击在校准中引入误差)的灵敏度。

检测器340可以捕获和记录具体频带的光或者特定偏振度的光。例如，检测器340可以捕获包括可见频带和红外频带中的光的图像。检测器340可以捕获包括特定偏振度的光(例如，圆偏振光、线偏振光)的图像。

检测器340由活跃区和非活跃区构成。检测器340的活跃区是检测器的包括多个像素的对光做出响应的区域。入射在检测器340的活跃区中的像素上的光可以有助于由检测器340测量的光。检测器340的非活跃区不对光做出响应。入射在检测器340的非活跃区上的光不会有助于由检测器340测量的光。例如，检测器340可以包括像素之间或者多个像素的边缘处的区域，这不会有助于由检测器340测量的光。

在一个实施方式中，检测器340是由多个像素组成的单个传感器。多个像素被分成两个或更多个不同的像素组。每个像素组可以具有相同数量的像素或者不同数量的像素。在一些实施方式中，像素组可以是相同的大小。例如，检测器340可以具有2000×2000个像素，并且被分成各自为1000×1000个像素的4个不同的像素组。在其他实施方式中，一个或多个像素组具有不同的大小(例如，继续以上示例，检测器可以分成10个不同的像素组，这些像素组可以包括两个1000×1000个像素，以及八个500×500个像素)。

透镜阵列350由多个透镜堆叠构成。透镜堆叠由一个或多个光学元件构成。透镜堆叠可以包括例如一个或多个透镜、反射面、衍射元件、波长滤波器、偏振器、孔或者其某种组合。透镜堆叠中的光学元件可以针对透镜堆叠的特定焦距、f数、孔径、透射波长、透射的偏振度被配置。例如，透镜堆叠可以包括过滤特定偏振度的光的偏振滤光器、过滤特定频带的光的带通滤光器等。

透镜阵列350中的透镜堆叠可以与透镜阵列350中的其他透镜堆叠相同或不同。每个透镜堆叠覆盖与检测器340的像素组相对应的检测器340的活跃区的不同部分，以便形成相机单元。因为透镜堆叠的光学特性部分由其光学部件确定，因此对应的相机单元还可以具有与阵列检测器325中的其他相机单元不同的属性(例如，焦距、f数、孔径、波长、偏振态等)。阵列检测器325的每个相机单元可以记录局部区域310的图像。每个相机单元可以具有部分重叠且部分不同的视野覆盖，以便允许具有多个视图的视野的区域以及方法这两者增强被覆盖的一切有用的视野。以此方式，由一个或多个相机单元重叠的视野的区域可以允许较高的数据密度并且利用用于检索深度信息的立体法，并且每个相机单元独有的视野区域可以利用稀疏采样方法和/或依赖用于检索深度的非对称的相机技术(例如，sl和tof)。以此方式，可以增加认为是“较高优先级”的视野的部分的数据密度，同时还考虑一切视野覆盖。可以使用来自单个相机单元的图像构成局部区域310的一个或多个合成图像。合成图像是包括来自不同的相机单元的信息的单个图像。

控制器330被配置为使用一个或多个合成图像确定用于局部区域310中的对象的深度信息。控制器330控制光如何从照明源320发射以及阵列检测器325如何捕获光。例如，控制器330可以指示照明源320中的一个或多个发射器发射光。以此方式，控制器330可以控制照明源320的定时。控制器330还可以控制何时从阵列检测器的一个或多个相机单元收集数据的定时。因此，控制器330可以利用由照明源320的光发射或者通过环境源协调阵列检测器325的一个或多个相机单元的数据的捕获。

控制器330被配置为部分基于用于捕获深度信息采用的技术来捕获深度信息。例如，可以通过使用以下技术：立体视觉、光度立体、sl和tof中的一个或组合来确定深度信息。

控制器还可以使dca120使用立体视觉技术捕获深度信息。在一个实施方式中，控制器330控制来自阵列检测器325的两个或更多个相机单元以捕获局部区域310反射的光。因为阵列检测器325的相机单元位于彼此相隔的固定距离，因此可以使用两个或更多个相机单元提取深度信息。每个相机单元收集从局部区域310(例如，局部区域310中的一个或多个对象)反射的光。在替代实施方式中，控制器330利用来自阵列检测器325的两个或更多个相机单元的光的收集协调来自照明源320的光的发射。可以比较由控制器330收集的包含来自不同的有利位置的数据的数据以确定深度信息。

控制器330还可以使dca120使用光度立体技术捕获深度信息。在一个实施方式中，控制器330利用来自阵列检测器325的一个或多个相机单元的光的收集协调来自照明源320的两个或更多个发射器的光的发射。可以使用由控制器330收集的包括具有不同的照明条件的数据的数据来确定局部区域310中的对象的深度。

控制器330还可以使dca120使用sl技术捕获深度信息。在一个实施方式中，控制器330控制照明源320利用特定模式将sl发射到局部区域310上。控制器330利用来自阵列检测器325中的一个或多个相机单元的光的收集协调来自照明源320的sl的发射。可以使用由控制器330收集的包括sl信息的数据来确定局部区域310中的对象的深度。

控制器330还可以使dca120使用tof技术捕获深度信息。在一个实施方式中，控制器330控制光何时从照明源320发射，并且测量从局部区域310反射且由阵列检测器325的一个或多个相机检测到的发射光所花费的时间(时间相位)。可以使用由控制器330收集的包括tof信息的数据来确定局部区域310中的对象的深度。

控制器330还可以使dca120利用sl信息同时或者几乎同时捕获tof信息。控制器330利用具有特定频率(诸如，10mhz)的载波信号调制发射sl的照明源320，以捕获tof信息以及sl信息。在各种实施方式中，控制器330在相对彼此不同的时间处激活阵列检测器325的不同的相机单元以捕获由照明源320发射的载波信号调制的sl的不同的时间相位。例如，在不同时间处激活相机单元使得相邻的相机单元捕获相对彼此具有约90、180或270度的相位偏移的光。控制器330收集来自单个相机单元的可以用于得出用于tof信息的载波信号的相位的数据。可以使用由控制器330收集的包括sl和tof信息这两者的数据来确定局部区域310中的对象的深度。

图4示出了根据实施方式的图3的阵列检测器325的俯视图。透镜堆叠350是2×2阵列的四个透镜堆叠(具体地，透镜堆叠410、透镜堆叠420、透镜堆叠430和透镜堆叠440)。相邻的透镜堆叠具有大约为2至20毫米的中心间距。例如，在图4中透镜堆叠410和透镜堆叠420具有中心间距450。在该实施方式中，每个透镜堆叠大致覆盖检测器340的四分之一区域，该区域被分成相同数量的像素的2×2阵列的像素组：a、b、c和d。例如，如果阵列检测器325具有2000×2000个像素，则每个像素组是1000×1000个像素。每个像素组利用关联的透镜堆叠覆盖。例如，像素组a利用透镜堆叠410覆盖，像素组b利用透镜堆叠420覆盖，像素组c利用透镜堆叠430覆盖，并且像素组d利用透镜堆叠440覆盖。

在一个实施方式中，像素组具有大致相同的视野覆盖，并且因此可以生成相同的局部区域的四个视图。由于2至20mm的透镜堆叠间距，四个视图与基线中的微小偏移有效地相关。由于存在相同场景、照明和时间的多个相关视图，因此可以改善任何单个的图像捕获。

附加配置信息

本公开的实施方式的上述描述出于说明的目的而呈现；不旨在穷尽或者将本公开局限于所公开的确切形式。相关领域的技术人员可以理解，根据上述公开，可以进行许多修改和变化。

本说明书的一些部分从关于信息的运算的算法和符号表示的角度描述本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以将他们的工作实质有效地传达给本领域的其他技术人员。当被描述为功能性的、计算性的或逻辑性的时，这些运算被理解为由计算机程序或等同电路、微码等实现。此外，有时把这些运算的安排称为模块也是方便的，而不失其一般性。所描述的运算及其关联模块可以体现在软件、固件、硬件或其任意组合中。

本文中描述的任何步骤、操作或过程可以利用一个或多个硬件或软件模块单独或与其他设备组合执行或实现。在一个实施方式中，软件模块利用计算机程序产品实现，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可以由用于执行描述的任何或所有步骤、操作或过程的计算机处理器执行。

本公开的实施方式还可以涉及用于执行本文中的操作的装置。出于需要的目的，可以特别构造该装置，和/或该装置可以包括由存储在计算机中的计算机程序选择性激活或者重新配置的通用计算设备。这种计算机程序可以被存储在非易失性的、有形的计算机可读存储介质中或者适用于存储电子指令的可以耦接至计算机系统总线的任何类型的介质中。此外，本说明书中所提及的任何计算系统可以包括单个处理器或者可以是采用多处理器设计以增强计算能力的体系结构。

本公开的实施方式还可以涉及由本文中所描述的计算过程产生的产品。这种产品可以包括从计算过程中得到的信息，其中，该信息存储在非易失性的、有形的计算机可读存储介质中并且可以包括本文中描述的计算机程序产品或其他数据组合的任何实施方式。

最后，主要出于可读性和指导性的目的选择本说明书中使用的语言，并且选择其不是为了划定或者限制发明的主题。因此，本公开的范围并不旨在由具体实施方式来限定，而是由基于具体实施方式的本申请所发布的任何权利要求来限定。因此，实施方式的公开旨在用于说明而非限制在所附权利要求中阐述的本公开的范围。