用于结构化光对象捕获的混合成像传感器的制作方法

三维(3d)成像系统通常结合可见光成像系统使用以提供与可见光图像(通常是彩色图像)的像素相关的深度信息。深度信息传统上使用飞行时间成像系统或利用红外光来计算距离的结构化光成像系统来收集。

红外光传统上从3d成像系统发射并且使用红外成像传感器中的一个或多个红外感光器来检测。具有红外成像传感器和可见光成像传感器两者的3d成像系统可以经历由于这些传感器之间的物理移位导致的红外成像传感器和可见光成像传感器之间的透视偏移。

物理移位导致深度数据与可见光图像数据的未对准，因为对象或表面可能分别被成像传感器中的一个或另一个遮挡。额外地，传统3d成像系统使帧捕获在红外波长感光器与可见光波长感光器之间交替以减少可见光波长感光器与红外波长感光器之间的串扰。

然而，使帧捕获交替对可见光图像数据和红外图像数据(即，深度数据)引入额外的时间移位。这在3d成像系统和/或被成像的目标正在移动时可能是特别有问题的。例如，时间移位导致不正确的深度数据或在成像期间在3d成像系统和/或目标的移动期间深度数据相对于可见光图像数据的失效。

本文中要求保护的主题不限于解决任何缺点或仅仅操作于例如以上描述的环境的环境中的实施例。相反，该背景仅仅被提供以说明本文中描述的一些实施例可以被实践在其中的一个示例性技术领域。

技术实现要素：

在一些公开的实施例中，一种三维成像的系统被配置具有结构化光源、混合成像传感器、以及带通滤波器。结构化光源发射以结构化照射图案的光。发射光以在大约750nm与大约1000nm之间的峰值红外波长来发射。

混合成像传感器被配置具有多个域。这些域中的至少一个域包括至少一个可见光波长感光器和至少一个红外波长感光器。可见光波长感光器检测可见光波长范围内的环境光。红外波长感光器检测红外波长范围内的红外光，其中混合成像传感器被配置为将发射光的一部分检测为反射光。带通滤波器通过在可见光波长范围内和红外波长范围内的光。

在一些实施例中，三维成像的系统还被配置具有与混合成像传感器数据通信的一个或多个处理器，并且一个或多个处理器被配置为执行用于控制系统的混合成像传感器和/或相关部件的存储的计算机可执行指令。

所公开的实施例还包括用于利用所公开的系统来执行三维成像的方法。这些方法包括利用成像系统来接收传入光，其中传入光包括可见光、红外环境光、以及从红外照射器反射的红外光。该方法还包括对传入光进行滤波以衰减至少在大约650nm与大约750nm之间的光；以及利用至少一个可见光波长感光器来收集关于可见光的可见光图像数据并且并发地利用至少一个红外波长感光器来收集关于红外光的红外图像数据。

提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容不旨在确定要求保护的主题的关键特征或必要特征，也不旨在用作确定要求保护的主题的范围的辅助。

额外的特征和优点将被阐述在随后的描述中，并且部分将从描述显而易见，或者可以通过对本文中的教导的实践来习得。本发明的特征和优点可以借助于在权利要求中特别指出的装置和组合来实现和获得。本发明的特征将从下面的描述和权利要求变得更完整地显而易见，或者可以通过对如在后文中阐述的本发明的实践来习得。

附图说明

为了描述能够获得本公开的上述特征和其他特征的方式，将通过参考在附图中图示的其特定实施例来呈现更具体的描述。为了更好理解，类似的元件已经在各个附图中用类似的附图标记来指代。尽管附图中的一些可以是概念的示意性的或夸大的表示，但是附图中的至少一些可以是按比例绘制的。在理解了附图描绘一些示例实施例的情况下，将通过使用附图利用额外的特殊性和细节来描述并解释实施例，在附图中：

图1是包括混合成像传感器和带通滤波器的3d成像系统的实施例的示意性表示；

图2是图1的光源的实施例的示意性表示；

图3a是图1的混合成像传感器的实施例的示意性表示；

图3b是图1的混合成像传感器的另一实施例的示意性表示；

图4图示了图3a的混合成像传感器接收红外光点的实施例；

图5图示了图1的带通滤波器的实施例的透射谱的实施例；

图6图示了图3a的混合成像传感器的感光器的响应曲线的实施例；

图7a是具有被应用到其对应于红外照明器波长的一部分上的陷波滤波器的图3a的混合成像传感器的实施例的示意性表示；

图7b是具有被应用到其一部分上的陷波滤波器的图3a的混合成像传感器的另一实施例的示意性表示；

图8图示了图7a的混合成像传感器的感光器的响应曲线的实施例；以及

图9是图示使用如本文中所描述的3d成像系统的实施例来进行3d成像的方法的流程图。

具体实施方式

本公开总体上涉及用于三维(3d)成像的设备、系统和方法。更具体地，本公开涉及使用在一帧中对红外波长图像数据和可见光波长图像数据的同时收集来进行3d成像。本公开涉及对结构化光图案的产生以及对反射光图案和环境可见光波长光的接收、滤波和收集以完善环境或对象的3d成像。

在一些实施例中，根据本公开的3d成像系统包括被配置为提供以结构化光图案的发射光的结构化光源。结构化光源可以发射在围绕峰值波长的红外范围内的窄带内的光。3d成像系统还可以包括混合成像传感器以收集可见光波长范围内和在发射光的峰值波长处和/或附近的红外范围内的传入光。

在一些实施例中，混合成像传感器包括带通滤波器以衰减在可见光波长范围的外部并且在发射光的峰值波长处和/或附近的红外范围内的光。例如，混合成像传感器可以包括感光器的阵列，其中的至少一些可以具有不同的光谱响应曲线。感光器中的至少一些可以具有对在可见光波长范围的外部并且在发射光的峰值波长处和/或附近的红外范围内的光呈现出敏感性的光谱响应曲线。带通滤波器可以通过在可见光波长范围内并且在发射光的峰值波长处和/或附近的红外范围内的光，同时衰减在可见光波长范围的外部并且在发射光的峰值波长处和/或附近的红外范围内的光以区分在每个感光器处的图像数据并减少图像数据中的串扰。

图1图示了对对象102进行成像的3d成像系统100的示意性表示。3d成像系统100包括结构化光源104和混合成像传感器106。结构化光源104和混合成像传感器106与被配置为控制和/或协同结构化光源104和混合成像传感器106的数据流和操作的一个或多个硬件处理器108数据通信。在一些实施例中，如图1所示，一个或多个处理器108可以是对结构化光源104和混合成像传感器106两者接收并发送信息和命令的单个处理器。在其他实施例中，一个或多个处理器108可以是多个处理器，诸如个体处理器或控制器，其被配置为控制和/或协同结构化光源104或混合成像传感器106中的一个。

3d成像系统100包括与一个或多个处理器108数据通信的至少一个存储设备110。存储设备110可以在其上存储一个或多个指令，其当由一个或多个处理器110执行时执行本文中描述的方法中的至少一个。

3d成像系统100被配置为对对象102或3d成像系统100周围的环境进行成像。3d成像系统100通过从结构化光源104发射发射光112对目标/对象(诸如对象102)进行成像。在一些实施例中，发射光112是连续波的光。在其他实施例中，发射光112是脉冲的并且接收ir像素与ir发射光脉冲协同。

在一些实施例中，来自结构化光源104的发射光112在以在大约750nm与大约1000nm之间的范围内的峰值波长为中心的红外波长范围内发射。在一些实施例中，发射的红外波长范围具有小于大约75纳米(nm)、70nm、65nm、60nm、50nm、45nm、40nm、35nm、30nm、25nm、20nm、15nm、10nm、5nm、1nm、0.1nm或其之间的任何值的光谱半高全宽。例如，发射光112可以具有在800与875nm之间的峰值波长以及0.1至10nm之间的光谱半高全宽。在其他示例中，发射光112可以在从850nm到900nm的发射波长范围内。在另外的其他示例中，发射光112可以在从825nm到860nm的发射波长范围内。

在一些实施例中，发射光112以结构化光图案114(诸如图1中示出的节点的栅格)来发射。发射光112从对象102或周围环境中的其他元件反射。反射的发射光和环境光可以组合成由混合成像传感器106接收的传入光116。混合成像传感器106能够检测传入光116的反射的发射光的红外光和环境光的可见光波长光两者。

混合成像传感器106和结构化光源104可以从彼此移位。例如，在结构化光源104和混合成像传感器106相对于被成像的对象102的位置中可以存在偏差。

在一些实施例中，混合成像传感器106具有衰减围绕照射器光谱范围116的传入红外光的至少一部分以产生滤波的光120的带通滤波器118。滤波的光120之后由包括可见光波长感光器和红外感光器两者的光传感器阵列122检测和捕获。

图2图示了图1的结构化光源104的实施例。结构化光源104可以是相干光源或非相干光源，其被配置为发射以具有多个点124的结构化光图案114的发射光112。点124是发射光112在最大强度处或附近的干涉节点。例如，结构化光源104可以是通过衍射光栅125从而以衍射图案衍射发射光112的相干光源。衍射图案是可以提供点位置的任何偏差可以与之进行比较的基准的一致结构化光图案114。点图案或另一替代图案也可以被调制。

图3a和3b图示了混合成像传感器的感光器阵列的实施例。例如，图3a是图1的混合成像传感器106的感光器阵列122的实施例的平面视图。感光器阵列122可以具有多个域126，其中每个域126包括多个感光器。在一些实施例中，域126包括至少一个可见光波长感光器和至少一个红外波长感光器。在图3a中示出的实施例中，域126包括被配置为检测红光的第一可见光波长感光器128-1、被配置为检测蓝光的第二可见光波长感光器128-2、以及被配置为检测绿光的第三可见光波长感光器128-3。域126还包括被配置为检测在红外范围内的光的红外波长感光器130。

在其他实施例中，感光器阵列被配置为检测其他类型的可见光波长光。图3b图示了感光器阵列222的另一实施例，例如，其被配置为检测黄光、青绿光以及品红光。对应的域226包括被配置为检测黄光的第一可见光波长感光器228-1、被配置为检测青绿光的第二可见光波长感光器228-2、以及被配置为检测品红光的第三可见光波长感光器228-3。域226还包括被配置为检测在红外范围内的光的红外波长感光器230。

在其他实施例中，可见光波长感光器被配置为检测其他波长范围，其当被组合时基本上覆盖大约375nm到大约650nm的范围内的可见光波长。

(一个或多个)感光器和/或(一个或多个)域的面积至少部分地与结构化光图案中的(一个或多个)前述点的面积相关。如图4所示，感光器阵列122包括具有域高度132和域宽度134的域126。在域126具有正交边的实施例中，域面积是域高度132和域宽度134的积。在单个域126内，可见光波长感光器和红外感光器的总面积可以是域面积。例如，第一可见光波长感光器128-1具有定义第一可见光波长感光器128-1的面积的可见光波长感光器高度136和可见光波长感光器宽度138。红外感光器130可以具有定义红外感光器130的面积的红外感光器高度140和红外感光器宽度142。

在一些实施例中，红外感光器130的面积等于或大约等于域面积的25％。在其他实施例中，红外感光器130的面积大于域面积的25％。在另外的其他实施例中，红外感光器130的面积小于域面积的25％。在一些实施例中，域面积的剩余部分均等地划分在多个可见光波长感光器之中。例如，在图4中描绘的实施例中，第一可见光波长感光器128-1具有为域面积的大约25％的面积。在其他实施例中，可见光波长感光器具有关于单个域126不同的面积。在另外的其他实施例中，第一可见光波长感光器128-1、第二可见光波长感光器128-2以及第三可见光波长感光器128-3的面积分别可以被均衡以更改和/或优化成像的可见光的颜色准确性。

在一些实施例中，可见光波长感光器中的至少一个(诸如第一可见光波长感光器128-1)具有大致等于红外感光器130的面积的面积。在其他实施例中，可见光波长感光器中的至少一个(诸如第一可见光波长感光器128-1)具有大于红外感光器130的面积的面积。在另外的其他实施例中，可见光波长感光器中的至少一个(诸如第一可见光波长感光器128-1)具有小于红外感光器130的面积的面积。

在一些实施例中，红外感光器130的总面积等于或大约等于感光器阵列122的总面积的25％。在其他实施例中，感光器阵列122的红外感光器130的总面积大于感光器阵列122的总面积的25％。在另外的其他实施例中，红外感光器130的总面积小于感光器阵列122的总面积的25％。

对象(诸如图1中的对象102)的3d成像可以至少部分地依赖于空间分辨率，对于其，结构化光图案的组成部分的位置可以由混合成像传感器的红外感光器检测。为了准确地测量结构化光图案中的点的位置和/或偏转，来自点的红外光可以由(撞击于其上)红外感光器中的至少三个检测。

如图4所示，滤波的光(诸如图1中的滤波的光120)的点124可以具有点直径144。在一些实施例中，红外感光器130的水平间隔至少部分地依赖于域宽度134，并且红外感光器130的垂直间隔至少部分地依赖于域高度132。例如，为了确保红外感光器130中的至少三个，域高度132和域宽度134可以不超过点直径144的50％。在这样的示例中，如果点124以红外感光器130为中心，则其他红外感光器130中的至少一个将接收点124的红外光的至少一部分。在其他实施例中，域高度132和域宽度134小于点直径144的大约40％。在另外的其他实施例中，域高度132和域宽度134小于点直径144的大约33％。

在一些实施例中，混合成像传感器是具有70°x40°视角以及在水平方向上的1920感光器(即，像素)和在垂直方向上的1080感光器的分辨率的1080p混合成像传感器。根据该示例的混合成像传感器将包括在垂直方向上的540个域和在垂直方向上的540个红外波长感光器，以及在水平方向上的960个域，其中在水平方向上具有960个红外波长感光器。

红外波长感光器130的汇总阵列的分辨率(“ir分辨率”)(mrad/像素)优选在大约1.0mrad/像素和1.6mrad/像素的范围内(例如，1.0mrad/像素、1.1mrad/像素、1.2mrad/像素、1.3mrad/像素、1.4mrad/像素、1.5mrad/像素、1.6mrad/像素、或在其之间的任何值)。在一些示例中，ir分辨率在大约1.2mrad/像素与1.4mrad/像素之间。在至少一个示例中，ir分辨率为大约1.27mrad/像素。

在一些实施例中，点直径144至少部分地与发射光和/或结构化光图案的发散度相关。例如，点直径144可以至少部分地依赖于发射光的光束发散度。点发散度可以在具有上限值、下限值的范围内，或者上限值和下限值包括大约3.5毫弧度(mrad)、3.6mrad、3.7mrad、3.8mrad、3.9mrad、4.0mrad、4.1mrad、4.2mrad、或在其之间的任何值。例如，点发散度可以大于3.5mrad。在另一示例中，点发散度小于4.2mrad。在又一示例中，点发散度在大约3.5mrad与4.2mrad之间。在另一示例中，点发散度在大约3.7与4.0mrad之间。在又一示例中，点发散度在大约3.8与3.9mrad之间。在至少一个示例中，点发散度为大约3.818mrad。

带通滤波器(诸如图1中的带通滤波器118)可以衰减传入红外环境光的至少一部分并且透射或通过传入光的对应于红外照射器的光谱的至少另一部分以产生滤波的光，其在感光器阵列处被接收。例如，传入光的至少一部分可以被带通滤波器衰减至少50％、至少60％、至少70％、至少80％、或至少90％。在另一示例中，传入光的至少另一部分可以以至少50％、至少60％、至少70％、至少80％、或至少90％的透射率被透射。在至少一个示例中，带通滤波器衰减具有大于由结构化光源发射的红外波长范围的波长的光的至少95％(即，对于大于由结构化光源发射的红外波长范围的至少100nm)以及具有小于由结构化光源发射的红外波长范围的波长的光的至少95％(即，对于小于由结构化光源发射的红外波长范围的至少100nm)。

图5是图示在不同入射角(aoi)处的带通滤波器的实施例的透射率的图表146。传入光可以接近在各种aoi处的带通滤波器，并且30°曲线148、20°曲线150以及0°曲线152反映在增加的aoi处的不同透射率。随着aoi增加，透射率的曲线偏移向更短的波长。aoi的效应在更长的波长处更显著。例如，与30°曲线148的红外部分与0°曲线152之间的偏移相比，在可见光波长范围内的30°曲线148的部分相对于0°曲线152更少地偏移。带通被设计为匹配红外照射器波长。

带通滤波器可以通过在透射的可见光波长范围154内和透射的红外波长范围156内的光同时衰减在衰减波长范围158内的光。通过在透射的可见光波长范围154内的光允许可见光波长感光器接收并检测可见光以创建3d成像系统的视场内的对象和/或环境的可见光图像。通过在透射的红外波长范围156内的光允许红外波长感光器接收并检测红外光用于3d成像并且检测3d成像系统的视场内的对象和/或环境的深度。在一些实施例中，衰减在衰减波长范围158内的光减少来自不期望的波长的干扰并且增加红外波长3d成像和可见光图像的重建两者的可靠性和精度。

在一些实施例中，透射的可见光范围154在大约375nm与650nm之间。在其他实施例中，透射的可见光波长范围154在大约400nm与大约625nm之间。在另外的其他实施例中，透射的可见光波长范围154在大约425nm与大约600nm之间。

在一些实施例中，透射的红外波长范围156在大约750nm与大约900nm之间。在其他实施例中，透射的红外波长范围156在大约775nm与大约875nm之间。在另外的其他实施例中，透射的红外波长范围156在大约775nm与大约850nm之间。在另外的实施例中，透射的红外波长范围156在大约800nm与大约830nm之间。在至少一个实施例中，透射的红外波长范围156基本上等价于关于图1描述的发射的红外波长范围。

在一些实施例中，衰减波长范围158在大约600nm与大约800nm之间。在其他实施例中，衰减波长范围158在大约625nm与大约775nm之间。在另外的其他实施例中，衰减波长范围158在大约650nm与大约750nm之间。

在一些实施例中，带通滤波器的透射的可见光波长范围154、透射的红外波长范围156、以及衰减波长范围157至少部分地与混合成像传感器中的感光器的响应曲线相关。通过示例，在图6中描绘了不同感光器的响应曲线。

图6的图160图示了蓝光感光器响应曲线162、绿光感光器响应曲线164、红光感光器响应曲线166、以及红外感光器响应曲线168。例如，蓝光感光器响应曲线162反射对在大约460nm的光更敏感的蓝光感光器。绿光感光器响应曲线164反射对在大约520nm的光更敏感的绿光感光器。红光感光器响应曲线166可以反射对在大约600nm的光更敏感的红光感光器。红外感光器响应曲线168反射对在大约820nm的光更敏感的红外波长感光器。

如图6所示，全部四个响应曲线(蓝光感光器响应曲线162、绿光感光器响应曲线164、红光感光器响应曲线166、以及红外感光器响应曲线168)在大约750nm与大约900nm之间呈现响应率的局部增加。在一些实施例中，对可见光波长感光器中的一个或多个中的红外光的敏感性的降低通过至少减少通过所有感光器对红外光的处理来改进成像过程的效率。

图7a和图7b图示了具有定位在可见光波长感光器中的一个或多个上的陷波滤波器并且没有红外波长感光器上的陷波滤波器的域的实施例。例如，图7a图示了具有定位在被配置为检测红光的第一可见光波长感光器328-1、被配置为检测绿光的第二可见光波长感光器328-2、以及被配置为检测蓝光的第三可见光波长感光器328-3的前面的陷波滤波器370的域326的实施例。红外波长感光器330可以不具有定位在其上的陷波滤波器370以允许红外波长范围内的光在红外波长感光器330处被接收。

图7b图示了具有定位在被配置为检测红光的第一可见光波长感光器428-1、被配置为检测绿光的第二可见光波长感光器428-2、以及被配置为检测蓝光的第三可见光波长感光器428-3的前面的陷波滤波器470的域426的实施例。红外波长感光器430可以不具有定位在其上的陷波滤波器470以允许红外波长范围内的光在红外波长感光器430处被接收。

在一些实施例中，陷波滤波器370、470结合如本文中所描述的带通滤波器使用以减少可见光波长感光器与红外波长感光器之间的串扰。例如，带通滤波器被配置为对感光器阵列衰减在本文中描述的相对更宽的衰减波长范围内的光，并且陷波滤波器被配置为衰减在相对更窄的范围内的光。带通滤波器和陷波滤波器的组合使得对可见光波长感光器能够通过可见光波长光并且对红外波长感光器能够通过红外波长光和可见光波长光。

图8是图7a中图示的感光器的响应曲线。例如，蓝光响应曲线374、绿光响应曲线376、以及红光响应曲线378均具有类似于关于图6描述的峰值敏感性的峰值敏感性。红外波长感光器的红外光响应曲线380在陷波滤波器范围382内具有比蓝光响应曲线374、绿光响应曲线376、以及红光响应曲线378更高的响应。

在一些实施例中，陷波滤波器范围382在大约750nm与大900nm之间。在其他实施例中，陷波滤波器范围382在大约775nm与大约875nm之间。在另外的其他实施例中，陷波滤波器范围382在大约775nm与大850nm之间。在另外的实施例中，陷波滤波器范围382在大约800nm与大约830nm之间。在至少一个实施例中，陷波滤波器范围38等价于关于图1描述的发射的红外波长范围。在一些实施例中，陷波滤波器被配置为衰减在陷波滤波器范围382内的光的至少大约50％、大约60％、大约70％、大约80％、或大约90％。

图9图示了收集包含可见光波长图像数据和红外波长图像数据两者的图像帧用于3d成像的方法的流程图900。方法包括利用3d成像系统来接收包括可见光和红外光的传入光的动作910。传入光可以是环境光和来自光源的发射光的组合。在一些实施例中，3d成像系统的光源发射以结构化光图案的红外光。红外光可以从对象和/或周围环境发射出来并且返回向3d成像系统。传入光可以因此包括发射的红外波长光与包括可见光波长和红外波长光的环境光的混合。

方法还包括对传入光的至少一部分进行滤波以产生在混合成像传感器处的滤波的光的动作920。对传入光进行滤波衰减红外光谱的不对应于照射器光谱的部分。例如，对传入光进行滤波衰减光谱的不与可见光波长范围的红光部分、可见光波长范围的绿光部分、可见光波长范围的蓝光部分、或红外波长范围相关联的部分。在其他示例中，对传入光进行滤波衰减光谱的不与可见光波长范围的黄光部分、可见光波长范围的青绿光部分、可见光波长范围的品红光部分、或红外波长范围相关联的部分。

在一些实施例中，对传入光进行滤波可以通过具有衰减范围的带通滤波器来完成。衰减范围可以位于可见光波长范围的红光部分与红外发射波长范围之间。在其他实施例中，对传入红外光进行额外滤波可以包括利用针对rgb像素的一个或多个陷波滤波器来衰减传入光的一部分。带通滤波器和陷波滤波器可以被并发地使用。对rgb像素应用陷波滤波器(以及其他光学串扰消除)从rgb像素对传入光的至少一部分进行滤波，并且可以减少和/或消除混合成像传感器中的rgb与ir感光器之间的串扰。

方法900还包括并发地收集可见光图像数据和红外图像数据的动作930(使得可见光图像数据中的至少一些和红外图像数据中的一些在相同成像帧期间被收集)。红外光数据和可见光数据的收集还可以基本上是同时的(使得基本上所有可见光图像数据和所有红外图像数据被同时收集)。

利用单个成像透镜来收集可见光图像数据使用混合成像传感器中的多个可见光波长感光器来进行。多个可见光波长感光器可以包括多个域，每个域包括可见光波长感光器和红外波长感光器两者，允许对被对准(即，没有rgb与ir成像系统之间的透视移位)的可见光图像数据和红外图像数据的并发和/或同时收集(即，没有时间移位)通常，rgb和ir像素具有相同的曝光和增益设置。在其他示例中，针对ir像素的数字和模拟增益可以不同于针对rgb像素的数字和模拟增益设置。在其他示例中，针对rgb和ir像素的曝光时间可以不同。在一些实施例中，可见光图像数据和红外图像数据仅仅部分并发地被收集。例如，可见光图像数据和红外图像数据的积分时间的仅仅大约10％可以重叠。在其他示例中，可见光图像数据和红外图像数据的积分时间的至少30％重叠。在另外的其他示例中，可见光图像数据和红外图像数据的积分时间的至少50％重叠。例如，针对可见光图像数据的积分时间可以是一秒的1/5，并且针对红外图像数据的积分时间可以是一秒的2/5。针对可见光图像数据的积分时间可以因此与针对红外图像数据的积分时间重叠50％。在至少一个实施例中，可见光图像数据和红外图像数据的积分时间是同时的。换言之，针对可见光图像数据和红外图像数据两者的积分时间同时开始和结束，使得可见光图像数据和红外图像数据两者的积分时间100％重叠。

对于1080p混合成像传感器，诸如关于图4所描述的，可见光波长感光器可以提供大约1920x1080像素的可见光图像数据，而红外波长感光器可以提供大约960x540像素的红外图像数据。在一些实施例中，红外图像数据被上采样到对应于可见光图像数据的分辨率。上采样过程可以使用其他颜色通道上的信息作为线索。在其他实施例中，可见光图像数据被降尺度变换到红外图像数据的分辨率。

在至少一个实施例中，关于图1描述的一个或多个处理器被配置为从可见光波长感光器接收可见光图像数据并且从红外波长感光器接收红外图像数据，并且随后从可见光图像数据减去红外图像数据的至少一部分和/或从红外图像数据减去可见光图像数据的至少一部分。

如本文中所描述的具有混合成像传感器的3d成像系统可以减少和/或消除红外图像数据和可见光图像数据的空间和时间移位。空间上和时间上对准的红外图像数据和可见光图像数据可以在3d成像中以增加的帧率提供更准确的深度信息和更准确的对象识别。

词语“一”、“一个”、以及“该”旨在意指存在前面的描述中的元件中的一个或多个。术语“包括”、“包含”、以及“具有”旨在为包容性的并且意指可以存在除了列出的元件之外的额外元件。因此，应当理解，对本公开的“一个实施例”或“实施例”的引用不旨在被解读为排除也包含所记载的特征的额外实施例的存在。例如，关于本文中的实施例描述的任何元件可与本文中描述的任何其他实施例的任何元件组合，除非这样的特征被描述为相互排斥的，或者它们本质上是相互排斥的。

本文中陈述的数字、百分比、比率或其他值旨在包括该值，并且还包括“大约”或“大致”为陈述的值的其他值，如本公开的实施例涵盖的领域的普通技术人员将认识到的。陈述的值因此应当被足够宽泛地解读为涵盖至少足够接近于陈述的值以执行期望的功能或实现期望的结果的值。陈述的值包括至少在合适的制造或生产过程中预料到的变化，并且可以包括在陈述的值的5％内、1％内、0.1％内或0.01％内的值。在范围结合一组可能的下限值或上限值描述的情况下，每个值可以在开放式范围(例如，至少50％，高达50％)内使用，作为单个值，或者两个值可以被组合以定义范围(例如，在50％与75％之间)。

本领域普通技术人员鉴于本公开应当意识到，等效结构不偏离本公开的精神和范围，并且可以对本文中公开的实施例进行各种改变、替代和更改而不偏离本公开的精神和范围。等效结构，包括功能性“means-plus-function”子句旨在涵盖本文中描述为执行所记载的功能的结构，包括以相同方式操作的结构等效物以及提供相同功能的等效结构两者。申请人的明确意图是不要调用means-plus-function或针对任何权利要求的其他功能声明，除了词语“meansfor”与相关联的功能一起出现的情况。对落入权利要求的含义和范围内的实施例的每个添加、删除和修改应被权利要求涵盖。

如本文中所使用的术语“大致”、“大约”和“基本上”表示接近于陈述的量的量，其仍然执行期望的功能或者实现期望的结果。例如，术语“大致”、“大约”和“基本上”可以是指在小于陈述的量的5％内、在小于陈述的量的1％内、在小于陈述的量的0.1％内、以及在小于陈述的量的0.01％内的量。另外，应当理解，前面的描述中的任何方向或参考系仅仅是相对方向或移动。例如，对“上”和“下”或“之上”或“之下”的任何引用仅仅描述相关元件的相对位置或移动。

本公开可以在不脱离其精神或特性的情况下以其他具体形式来实现。所描述的实施例应被认为是说明性的而非限制性的。本公开的范围因此由权利要求而非由前述描述指示。在权利要求的等价性的意义和范围内出现的改变应被包含在其范围内。