深度感测系统和方法与流程

深度感测系统和方法
[0001]
本申请是申请日为2017年2月28日、申请号为201780014934.2、发明名称为“深度感测系统和方法”的申请的分案申请。
[0002]
相关申请的交叉引用
[0003]
本申请要求于2016年3月1日提交的序列号为62/301,847，代理案卷号为ml.30066.00，名称为“深度感测系统和方法”的美国临时申请的优先权。本申请涉及于2014年6月14日提交的序列号为62/012,273的美国临时专利申请(代理案卷号ml.30019.00)，以及于2013年6月13日提交的序列号为14/738,877的美国实用新型专利申请(代理案卷号ml.20019.00)。前述专利申请的全部内容通过引用明确且完整地并入此文，就像完整阐述一样。在代理序列号为62/012,273和14/738,877的专利申请中描述的是虚拟现实和增强现实系统的各种实施例，其中，投射光被用于深度感测。在此描述投射光深度感测系统和用于深度感测的光传感器的另外的实施例。
技术领域
[0004]
本公开涉及深度感测系统和方法。


背景技术：

[0005]
深度感测是对三维(“3d”)空间中的已知点(例如传感器)与对象表面上的兴趣点(“poi”)之间的距离的确定。深度感测也称为纹理感测，因为表面上的多个poi的相应距离的确定决定该表面的纹理。深度或纹理感测对于包括混合现实系统的许多计算机视觉系统是有用的。
[0006]
现代计算和显示技术已经促进了用于所谓“虚拟现实”或“增强现实”体验的混合现实系统的发展，其中，数字再现的图像或其部分以看起来真实或可被感知为真实的方式呈现给用户。虚拟现实或“vr”场景通常涉及以对其他实际的现实世界的视觉输入不透明的方式呈现数字或虚拟图像信息。增强现实或“ar”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界的可视化的增强(即，对其他实际的现实世界视觉输入透明)。因此，ar场景涉及以对其他实际的现实世界视觉输入透明的方式呈现数字或虚拟图像信息。
[0007]
各种光学系统以不同的深度生成图像，以用于显示混合现实(vr和ar)场景。在序列号为14/738,877的美国实用新型专利申请(代理案卷号ml.20019.00)中描述了一些这样的光学系统，该专利的内容先前已经通过引用并入此文。于2014年11月27日提交的序列号为14/555,585的美国实用新型专利申请(代理案卷号ml.20011.00)中描述了用于显示混合现实场景的其他这种光学系统，该专利的全部内容通过引用明确且完整地并入此文，就像完整阐述一样。
[0008]
ar场景通常包括对与现实世界对象相关的虚拟图像元素的呈现。例如，参考图1，描绘了增强现实场景100，其中，ar技术的用户看到现实世界的公园状的设置102，该设置102以人、树木、背景中的建筑物和混凝土平台104为特征。除了这些项之外，ar技术的用户
还感知到他“看到”站在现实世界平台104上的机器人雕像106，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色108，尽管这些元素106、108并不存在于现实世界中。为了呈现可信或可传递的ar场景100，必须确定现实世界对象(例如平台104)的深度以呈现与现实世界对象有关的虚拟对象(例如机器人雕像106)。
[0009]
包括现实世界环境的部分再现的vr场景也可以受益于对现实世界环境的那些部分的深度和纹理的确定。准确的深度和纹理信息将导致更准确的vr场景。ar和vr场景也都可包括面向外的相机来捕获现实世界环境的部分(例如，用于分析或传送)。通过对现实世界环境中那些部分的深度的确定，可以帮助聚焦这些面向外的照相机。
[0010]
深度感测的一种方法包括测量表面上的单个poi和相应图像上的poi的两个图像(这两个图像在已知取向上被分开已知距离)的光轴之间的相应角度。然后，通过对测量到的角度和图像捕获位置之间的已知距离进行三角测量来确定表面的深度。这种方法的问题包括：(1)对第一图像中的poi(特别是在同质表面上)的识别(“识别问题”)，以及(2)对第二图像中的对应poi的识别(“对应问题”)。在此描述的系统和方法被配置为解决这些质疑。


技术实现要素：

[0011]
本发明的实施例涉及用于促进与一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。
[0012]
在一个实施例中，深度感测系统包括传感器，所述传感器具有第一传感器像素和第二传感器像素以接收来自表面的光。所述系统还包括滤光器，所述滤光器允许全光谱光透射到所述第一传感器像素，并且允许可见光透射到所述第二传感器像素，同时阻止红外光透射到所述第二传感器像素。所述系统进一步包括处理器，所述处理器被用于分析所述全光谱光和所述可见光以确定所述表面的深度。所述滤光器被设置在所述传感器与所述表面之间。
[0013]
在一个或多个实施例中，所述传感器具有包括所述第二传感器像素的多个第二传感器像素，所述多个第二传感器像素中的每一者与所述第一传感器像素相邻，以及所述滤光器允许将可见光透射到所述多个第二传感器像素中的每一者，同时防止将红外光透射到所述多个第二传感器像素中的每一者。分析所述全光谱光和所述可见光可包括基于与所述多个第二传感器像素对应的多个检测到的可见光值来计算用于所述第一传感器像素的估计可见光值。计算所述估计可见光值可包括对所述多个检测到的可见光值进行平均。计算所述估计可见光值可包括对所述多个检测到的可见光值执行边缘检测。
[0014]
在一个或多个实施例中，所述传感器具有包括所述第一传感器像素的多个第一传感器像素，所述多个第一传感器像素中的每一者与所述第一传感器像素相邻，以及所述滤光器允许将可见光透射到所述多个第二传感器像素中的每一者，同时阻止将红外光透射到所述多个第二传感器像素中的每一者。分析所述全光谱光和所述可见光可包括计算用于所述多个第一传感器像素中的每一者计算多个估计可见光值，并且基于所述多个估计可见光值中的至少一些来计算用于所述第一传感器像素的估计可见光值。
[0015]
在一个或多个实施例中，所述系统还包括空间调制光投射设备，所述空间调制的光投射设备被用于向所述表面投射所述光，其中，所述光从所述表面向所述传感器反射。分析所述全光谱光和所述可见光可包括生成所述表面的红外光图像。分析所述全光谱光和所
述可见光可包括对所述表面的所述红外光图像中的poi进行三角测量。
[0016]
在另一个实施例中，深度感测系统包括空间调制的光投射设备，所述空间调制的光投射设备被用于向表面投射光。所述系统还包括传感器，所述传感器被用于接收从所述表面反射的光的传感器。所述系统进一步包括致动器，所述致动器被用于控制所述光投射设备的空间调制并从所述传感器接收光信息。此外，所述系统包括处理器，所述处理器被用于分析从所述表面反射的所述光以确定所述表面的深度。所述光包括具有从大约700nm到大约1mm的波长的红外光。
[0017]
在一个或多个实施例中，所述光包括具有从大约390nm到大约700nm的波长的可见光。所述致动器可控制所述光投射设备的空间调制，以形成包括所述红外光和所述可见光的图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成两个相交线段。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括两个相交线段的静态图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括两个相交线段的动态图案。所述致动器可控制所述光投射设备的空间调制，以在所述表面上形成包括多个离散相交线段的图案。
[0018]
在一个或多个实施例中，控制所述光投射设备的空间调制包括控制所述光投射设备的至少一部分的移动。控制所述光投射设备的空间调制可包括控制所述光投射设备投射所述光。所述空间调制的光投射设备可包括光纤扫描显示器。所述空间调制的光投射设备可包括激光源。所述空间调制的光投射设备可包括激光扫描显示器。
[0019]
在又一个实施例中，深度感测系统包括传感器，所述传感器具有第一传感器像素和第二传感器像素以接收来自表面的光。所述系统还包括滤光器，所述滤光器允许将第一比例的可见光和第二比例的红外光透射到所述第一传感器像素，以及第三比例的可见光和第四比例的红外光透射到所述第二传感器像素。所述第一比例的可见光和所述第二比例的红外光导致在所述第一传感器像素处产生第一感测值。所述第三比例的可见光和所述第四比例的所述红外光导致在所述第二传感器像素处产生第二感测值。所述系统进一步包括处理器，所述处理器被用于分析所述第一感测值和所述第二感测值以确定所述表面的深度。所述滤光器被设置在所述传感器与所述表面之间。
[0020]
在一个或多个实施例中，分析所述第一感测值和所述第二感测值包括生成所述表面的红外光图像。分析所述第一感测值和所述第二感测值可包括对所述表面的所述红外光图像中的poi进行三角测量。
[0021]
在具体实施方式、附图和权利要求中描述了本发明的附加的和其他的目的、特征和优点。
附图说明
[0022]
附图示出了本发明各种实施例的设计和效用。应当注意，附图没有按比例绘制，并且在所有附图中，相似结构或功能的元件由相同的参考标记来表示。为了更好地理解如何获得本发明各种实施例的上述和其它优点和目的，将通过参考在附图中图例示的具体实施例来对上面简要描述的本发明的更详细的描述。应该理解，这些附图仅描绘了本发明的典型实施例，因此不应被视为限制其范围，本发明将通过使用附图以附加的特征和细节来进行描述和解释，在附图中：
[0023]
图1示出了根据一个实施例的通过可穿戴ar的用户设备的用户视图；
[0024]
图2至图4是由各种现有技术深度感测系统投射的线段和图案的详细视图；
[0025]
图3和图4还示出了各种现有技术深度感测系统的扫描区域；
[0026]
图5至图9是由根据各种实施例的深度感测系统投射的线段和图案的详细视图；
[0027]
图10是根据一个实施例的深度感测系统的详细示意图；
[0028]
图11是使用中的图10所示的深度感测系统的详细透视图；
[0029]
图12是根据另一个实施例的深度感测系统的详细示意图；
[0030]
图13是现有技术深度感测系统的详细示意图；
[0031]
图14和图15是根据两个实施例的深度感测系统的详细示意图；
[0032]
图16至图18是用于根据各种实施例的深度感测系统的光传感器的详细示意图；
[0033]
图19和图21示出了根据两个实施例的图像处理方法的流程图；
[0034]
图20是用于根据另一实施例的深度感测系统的光传感器的详细示意图。
具体实施方式
[0035]
本发明的各种实施例在单个实施例或多个实施例中涉及用于深度感测系统的系统、方法和制品。在具体实施方式、附图和权利要求中描述了本发明的其他目的、特征和优点。
[0036]
现将参考附图详细描述各种实施例，附图被提供作为本发明的说明性示例，以使本领域技术人员能够实践本发明。值得注意的是，以下附图和示例并不意味着限制本发明的范围。在可以使用已知的部件(或方法或过程)来部分地或全部地实现本发明的某些要素的情况下，将仅描述这样的已知部件(或方法或过程)中的对理解本发明所必需的那些部分，并且将省略这样的已知部件(或方法或过程)中的其他部分的详细描述，以免模糊本发明。此外，各种实施例包含与本文图中以例示的方式提及的部件的现在和未来已知的等同物。
[0037]
深度感测系统可以独立于混合现实系统来实现，但下面许多实施例仅为了说明的目的而关于ar系统进行描述。
[0038]
问题和解决方案的概述
[0039]
存在各种用于光学估计或感测表面深度的方法(即，3d空间中的已知点与表面上的点之间的距离)。深度感测方法可分为两种主要模式：无源和有源。无源系统检测来自由表面反射的系统外部的光源(例如顶灯或太阳)的环境光。有源系统将光投射到表面上并检测由表面反射的投射光。
[0040]
无源系统通常使用在不同位置捕获的相隔已知距离的两个图像来确定深度。一些无源系统使用多个相机(如以双目配置)捕获两个图像。其他无源系统使用相同的传感器在不同的时间和位置捕获两个图像。在两个图像已经在不同位置被捕获之后，系统处理图像以将一个图像中的poi与另一个图像中对应的poi匹配。然后，系统对两个图像的光轴与表面上的单个poi之间的角度，以及两个图像捕获位置之间的距离进行三角测量，以确定在3d空间中相对于系统已知的两个图像捕获位置的poi位置。
[0041]
无源系统可以确定poi在3d空间中的位置，但是具有多种故障模式，包括缺少可以在一个图像中被识别(“识别问题”)并且与其他图像中的它们的对应部分相匹配(“对应问
题”)的合适的多个poi。这种故障模式的一个示例是对空白墙成像，在如下两方面是非常困难的：(1)在一个图像中识别墙上的点，并且(2)在另一个图像中识别对应的点。同样地，在暗室的情况下，根本没有足够的环境光来清晰地看到对象，因此，识别和匹配它们也非常困难。
[0042]
一些有源系统通过投射具有图案和纹理的光(例如，来自万花筒的光)来解决这两个问题(即，缺少光以及缺少可辨识的特征)。这样的系统照亮表面并在均匀表面(例如白墙)上投射图案。当使用具有静态照明图案的这样的有源系统(通过同时捕获或者两个具有静态投射的相机)捕获两个图像时，从一个图像到另一个图像匹配表面上的图案(或其部分)要简单得多。因此，对应地，在3d空间中对多个poi的位置进行三角测量就更简单。事实上，使用具有紧密机械公差的先进系统，由单个相机捕获的单个图像可被用于确定多个poi的位置，因为通过对观察到反射的角度，以及相机和光投射仪的位置进行三角测量，可计算3d空间中的poi位置。
[0043]
然而，即使在有源系统中，可见光的使用也经常是次优选的，因为它可能使用户或表面附近的其他人分散注意力或迷失方向。一些有源系统通过投射红外(“ir”)光来解决此问题，现代原始相机传感器可以检测红外光(例如，近红外光子)，但是人眼不可见。
[0044]
即使使用红外有源系统，场景中的其他图案仍可能干扰深度感测或引起其他深度感测问题。其他系统包括设置在传感器(其本身可以感测可见光和红外光)上的波长滤光器，使得可见光不会到达传感器。添加滤光器导致检测到仅红外图像，该红外图像通常仅由系统(红外)投射仪、太阳和几种其他红外线光源(例如暖灯和遥控器)照亮。
[0045]
为了获得最准确(即，最接近真实值)和最精确的(即，可再现的)深度信息，需要分辨率非常高的传感器。观看区域上的传感器像素的数量越多，导致每个传感器像素的角度分辨率降低，有效地为三角测量数学运算提供了更高精度的角度输入。如本申请中所使用的，“传感器像素”包括但不限于，用于光强度测量的传感器上的可辨识点。
[0046]
除了在包括面向外的相机的系统中检测可见光的传感器/传感器像素，红外有源系统需要检测红外光的传感器/传感器像素。这种方法的问题包括：(1)降低包括混合红/绿/蓝/红外传感器的系统中的可见光分辨率，以及(2)包括独立的可见光传感器和红外传感器的系统中进行坐标配准。如下所述，在此公开的实施例通过使用具有增强深度感测的改进的图像传感器来解决这些和其它传感器问题。
[0047]
无需额外的处理，poi的最大角度精度用单个传感器像素的角度分辨率来取得。然而，图像处理算法可以提供“次像素分辨率”。例如，系统可以在几个传感器像素的处理中观察到一些特征(例如，构成桌角边缘的线)，并且以比单个传感器像素更高的精度重建线的方程。
[0048]
深度感测方法受系统的奈奎斯特(nyquist)极限的限制，因为深度感测方法是信号处理方法。因此，重建信号需要基于该信号频率的最小数量的采样点(和点密度)。因此，噪声较大的信号比“较简单”(较低带宽)的信号更难采样和重构。如下所述，在此公开的实施例通过使用非混叠图案投射仪/生成器来降低投射光的高频噪声，解决了奈奎斯特极限相关问题和其他投射仪相关问题。
[0049]
动态非混叠图案投射仪/生成器
[0050]
光纤扫描投射仪(“fsp”)通过选择性地以高频振动光纤尖端来投射光。fsp也称为
扫描光纤显示器(“fsd”)、光纤扫描显示器(“fsd”)。多个fsp可以投射动态图像作为用于人观察的显示。它们非常小的尺寸和低的潜在功耗对于诸如混合现实系统的某些应用是很理想的。在序列号为14/738,877的美国实用新型专利申请(代理案卷号ml.20019.00)和序列号为14/738,877的美国实用新型专利申请(代理案卷号ml.20011.00)中描述了示例性的多个fsp，其内容先前已通过引用并入此文。
[0051]
与典型的“面板”型显示器(例如lcos或dlp)相反，在此公开的实施例描述采用fsp投射具有纹理化、图案化或结构化的光以用于深度重建。绝大多数现有的有源深度感测系统使用诸如lcos和dlp的光子源，这些光子源投射具有像素化图案(例如正方形或矩形)的光。这些系统同时照亮整个帧，并且投射的图像由一次投射的多条直线(或固定形状)显示器像素组成。结果，这些图像由多个重复的(一般是直线/正方形)的形状而不是纯线条来组成。
[0052]
图2描绘了由面板型显示器以足以显示投射线200中的缺陷的放大率投射的“线”200。在此放大率下，投射线200看起来为一系列的直角形成的一组台阶。然而，在较低的放大率下，投射线200对观看者而言看起来是线性的。每个直角臂由一系列线性显示器像素形成。
[0053]
由于投射线200的不规则性，检测投射线200的相当(或更高)分辨率的传感器将具有足够的灵敏度以观察投射图案中的高频噪声，导致图像重建工作复杂化。图3描绘了具有来自具有投射仪分辨率低的传感器的重叠的方形扫描区域202的来自图2的投射线200。如图3所示，沿着投射线200的扫描区域202不包含相同数量的投射线200。因此，来自传感器的信号非常嘈杂，导致混叠，即宽的灰色线而不是窄的黑线。
[0054]
此噪声信号问题使定位两条投射线200a、200b的交叉点204的任务复杂化，如图4所示，此交叉点204可以是用于深度感测系统的poi。然而，在投射线200a、200b中的高频噪声导致交叉点204是线段而不是点。此外，扫描区域202不能足够详细的分辨线200a、200b来以高准确度识别交叉点204。
[0055]
现有系统或者通过使用具有比对应的传感器的分辨率高得多的投射仪，或者通过使用附加的信号处理算法来将此噪声较大的信号重建为适合于次像素(或者甚至在像素(at-pixel))的精确映射。
[0056]
在此公开的实施例描述使用fsp投射光以产生更高质量的动态图案来促进图像重建。当使用多个fsp时，由单个行进光束(例如激光)来投射光。光束以相对较高的频率机械地横跨场景进行扫描。而不是将光投射到场景的基本每个像素上(如采用面板型显示器)，多个fsp通过将具有窄色散角的光束图案投射到表面上来创建光学上明显的图案，使得投射的光最小化干扰重建工作的混叠(例如图像扭曲或锯齿)和高频噪声。
[0057]
然而，面板型显示器具有固定的照明图案，多个fsp是动态的。虽然fsp的有效扫描频率可能仅允许(例如)x行进路径和y行进路径相隔200，但相位偏移、照明图案和扫描频率可以变化，允许提供清晰的非混叠边缘、交叉点，因此容易识别多个poi的动态图案，而不需要分辨率极高的投射仪。
[0058]
例如，图5描绘了由fsp投射的图案300。该图案通过调制fsp(例如，采用致动器)以“绘制”相位偏移的两个实例/通道的正弦波302a、302b来制成。因此，第一正弦波302a和第二正弦波302b周期性相交，形成交叉304。fsp可投射来自紧密(tight)束光源(例如，激光
器)的光，以形成图5所描绘的图案300。因此，来自光的信号具有最小的高频噪声和可忽略的混叠。交叉304形成特别期望的多个poi，因为交叉比点更准确和精确地被图像分析识别，点会随着光的传播而增加直径，需要对点的中心进行估计。形成离散交叉的另一种fsp图案是利萨如(lissajous)图案。
[0059]
图6描绘了由fsp投射的另一图案300’。图6所描绘的图案300’与图5所描绘的并在上面描述的图案300类似。事实上，通过调制fsp以形成图6所描绘的图案300’以形成与图5所示的完全相同的第一正弦波302a和第二正弦波302b。然而，通过仅当第一正弦波302a和第二正弦波302b交叉形成交叉304时激活其中的光源来进一步调制fsp。用fsp投射此图案300’导致以下结果：(1)更多有区别且可辨识的交叉304(多个poi)，以及(2)通过停用光源降低系统能量使用。
[0060]
图7描绘了由fsp投射的另一图案300”。图7所描绘的图案300”与图6所描绘并在上面描述的图案300’几乎相同。与图6所示的第一正弦波302a和第二正弦波302b相比，图7所示的第一正弦波302a’和第二正弦波302b’发生相移(相同的量)。因此，与图6所示的由第一正弦波302a和第二正弦波302b形成的交叉304相比，图7所示的由第一正弦波302a’和第二正弦波302b’形成的交叉304’也发生相移。
[0061]
图8描绘了与交叉304相比的交叉304’的位移，其是图7和以阴影示出的第一正弦波302a和第二正弦波302b以及交叉304(来自图6)。图6所描绘的图案300’(图8以阴影示出的)与图7所描绘的图案300”(图8以实线示出的)之间的时间顺序切换使得交叉304/304’看起来移动。这种移动导致具有更多有区别的和可识别的交叉304/304’(多个poi)的动态图案。
[0062]
图9描绘了由fsp投射的另一图案300”。图9所描绘的图案300
”’
与图6所描绘的并在上面描述的图案300类似。与图6所示的第一正弦波302a和第二正弦波302b相比，图9所示的第一正弦波302a”和第二正弦波302b”被修改。因此，与图6所示的由第一正弦波302a和第二正弦波302b形成的交叉304相比，图9所示的由第一正弦波302a”和第二正弦波302b”形成的交叉304”具有修改过的形状。图9中的交叉304”的形状是“+”，而图6中的交叉点304的形状是
“×”
。然而，图6和图9中的交叉304、304”的位置是相同的。因此，图6所描绘的图案300’与图9所描绘的图案300
”’
之间的时间顺序切换使得交叉304/304”看起来改变形状(在
“×”
与“+”之间)。此形状改变导致具有更多有区别的和可识别的交叉304/304”(多个poi)的动态图案。
[0063]
图5至图9中描绘的图案300、300’、300”、300
”’
描绘了对于在图案300、300’、300”、300
”’
中的每个交叉304、304’、304”(poi)的同一改变。在其他实施例中，交叉304、304’、304”的子集可以改变(例如位置、形状、波长等)。在又一其它实施例中，交叉304、304’、304”的各种子集可具有不同的改变。例如，只有用于深度感测的一个或多个交叉304、304’、304”可改变。在其他实施例中，交叉304、304’、304”的数量可动态地从密集变为稀疏。在又一其它实施例中，光源(例如激光)可以脉冲以动态地变化图案300、300’、300”、300
”’
。
[0064]
图10描绘了能够投射上面根据一个实施例所述的图案300、300’、300”的有源深度感测系统400。系统400包括空间调制光投射设备402(例如fsp)、两个光传感器404a、404b(例如相机)、以及可操作地耦接到其它部件402、404a、404b的处理器406。空间调制光投射设备402(例如fsp)、光传感器404a、404b(例如相机)，以及处理器406可被系统400中的总线
(未示出)耦接。可替代地，这些部件402、404a、404b、406中的一些或全部可被网络(例如无线网络)彼此耦接。
[0065]
图11描绘了在使用中的图10所描绘的有源深度感测系统400。空间调制光投射设备402被调制为将图案408(例如+)投射到基本均匀的表面410(例如白墙)上。图案408可以被用作poi以确定光投射设备402与表面410之间的距离y。光投射设备402将光412投射到表面410上以形成图案408。从第一光传感器404a和第二光传感器404b检测反射光412’、412”。
[0066]
系统400测量角度α、β，通过所述角度α、β，图案408从第一光传感器404a和第二光传感器404b的相应的光轴414a、光轴414b移动。使用测量到的角度α以及分隔光投射设备402与相应的第一光传感器404a的距离x1，和测量到的角度β以及分隔光投射设备402与相应的第二光传感器404b的已知距离x2中的一者，系统400可以计算光投射设备402与表面410之间的距离y。借助测量到的角度α、β，系统400可以提供更准确和精确地计算的距离y。
[0067]
图12描绘了根据另一实施例的有源深度感测系统400。图12所描绘的系统400与图10和图11所描绘的系统类似。除了空间调制光投射设备402、两个光传感器404a、404b和处理器406之外，图12所描绘的系统400还包括致动器416，所述致动器416被用于调制光投射设备402。图12所描绘的系统400的处理器406包括图案设计器418和在其上运行的图案检测器420。图案设计器418生成图案并将指定生成的图案的数据发送到致动器416，所述致动器416调制光投射设备402以显示所生成的图案。图案检测器420从第一光传感器404a和第二光传感器404b接收光学数据，并且从所接收到的光学数据中提取关于图案的信息。
[0068]
此外，因为fsp仅充当用于光束的空间调制导管，具有不同波长的光束可以同时通过fsp传递下去。这不仅允许传输不可见的红外光，而且允许传输各种颜色的可见光。使用多个光束允许fsp以可见图案来增强红外图案，允许通常在类似波长下可能看不到的相机传感器之间的对应。这可以有助于将相机传感器与公共坐标系进行配准，提供额外的深度重建信息(允许来自一个传感器的特征帮助向另一个传感器提供补充信息)。这样的系统还可以执行其他功能，诸如辅助照明以指示目标、用于聚焦的区域、警告等。
[0069]
包括fsp的有源深度感测系统具有以下特性。多个fsp投射有区别的和动态(即随时间变化)的图案，随时间提供用于深度确定的补充或改进信息。此外，多个fsp可以调整向聚焦区域的能量发射，从而降低功率，并增加传递到预定区域的能量以克服高频噪声。多个fsp还具有最小量的高频图像噪声，从而简化深度确定计算。此外，多个fsp能够同时投射来自两个光源(例如红外和不可见光源)的光。
[0070]
此外，虽然在此描述的有源深度感测系统包括多个fsp，但其他空间调制光投射设备也可以被用于有源深度感测系统，同时保持期望的系统特性。例如，有源深度感测系统可以包括微机电系统(“mems”)反射镜扫描器和激光源。像包括多个fsp的系统一样，包括mems反射镜扫描器的系统可以投射并且扫描表面上的光束图案。在其他实施例中，系统还可以投射并且扫描图案以形成可变照明的计算机生成的全息图的一部分。全部空间调制光投射设备(例如多个fsp和多个mems反射镜扫描器)投射“光束”或“光弧”，而不是显示器像素，并且能够使那些光束的路径和定时发生变化。
[0071]
具有增强深度感测的图像传感器
[0072]
无源和有源深度感测系统两者都包括至少一个传感器(例如相机)，所述传感器用于检测从表面反射的光。如上所述，一些检测可见光(例如环境光)，而其他深度感测系统检
测投射的光图案(例如投射的红外光)。
[0073]
现有的深度感测系统(无源和有源)通常使用两个相机传感器来检测可见光和投射的红外光。这些相机传感器各自与不同的滤光器相关联，使得一个相机传感器检测可见光(可能具有rgb滤色器)，另一个相机传感器检测红外光(通过滤除可见光)。图13描绘了该传感器布置，图13描绘了包括可见光传感器502和红外光传感器504的无源深度感测系统500，该可见光传感器502和该红外光传感器504两者都可操作地耦接到处理器506。红外光传感器504包括光截止滤光器508，该光截止滤光器508阻止除红外光之外的全部光到达红外光传感器504。在来自可见光和红外光传感器502、504的数据可以被一起使用之前，必须配准传感器502、504的坐标系统。当深度感测系统500相对于表面移动时，坐标系的配准是特别困难的。
[0074]
在此公开的实施例描述用于深度感测系统的混合可见光/全光谱光传感器。如在本申请中所使用的，“全光谱光”包括可见光和红外光(波长从大约390nm到大约1mm)。例如，图14描绘了根据一个实施例的无源深度感测系统600。无源深度感测系统600包括混合可见光/全光谱光传感器602，该混合可见光/全光谱光传感器602可操作地耦接到处理器604可见光/全光谱。如下面详细描述的，可见光/全光谱光传感器602包括混合滤光器606。混合滤光器606仅允许可见光到达可见光/全光谱光传感器602的一些部分(即传感器像素)，但是允许全光谱光到达可见光/全光谱光传感器602的其他部分(即传感器像素)。
[0075]
图15是根据另一实施例的无源深度感测系统600。无源深度感测系统600包括混合可见光/全光谱光传感器602，该混合可见光/全光谱光传感器602可操作地耦接到处理器604。如下面详细描述的，可见光/全光谱光传感器602包括混合滤光器606。处理器604包括在其上运行的图像处理器608。
[0076]
图16示意性地描绘了用于像图14和图15所描绘的无源深度感测系统一样的无源深度感测系统600的混合可见光/全光谱光传感器602及其混合滤光器606的一部分。图16所描绘的混合可见光/全光谱光传感器602的部分包括五个传感器像素610。就它们各自可以检测全光谱光(即可见光(波长从大约390nm到大约700nm)和红外光(波长从大约700nm到大约1mm))方面而言，位于下面的传感器像素610是相同的。然而，到达一些传感器像素610的光被设置在光源(例如反射表面)与传感器602之间的滤光器606修改。
[0077]
如图16所示，滤光器606包括设置在对应传感器像素610上的子滤光器或“盖(cap)”f1和v1-v4。全光谱光(“f型”)盖允许全光谱光到达位于f型盖下面的传感器像素610。事实上，f型盖可能根本不具有任何过滤能力。可见光(“v型”)盖仅允许可见光到达位于v型盖下面的传感器像素610。传感器像素/盖610f1在基位置被四个传感器像素/盖610v1-610v4包围，形成具有传感器像素/盖610f1位于中间的“+”号。因此，混合可见光/全光谱光传感器602包括全光谱光(“f型”)传感器像素，该f型传感器像素在相对于全光谱光传感器像素的基位置被四个可见光(“v型”)传感器像素围绕。由于可见和全光谱光传感器像素结合在一个传感器中，并且由于这些传感器像素的布置，混合可见光/全光谱光传感器602不同于其他传感器。
[0078]
虽然图16所描绘的传感器602和滤光器606包括布置成十字形配置的五个传感器像素610，但是其他实施例包括具有不同数量的像素和/或不同形状的配置。可以修改在此描述的传感器数据分析方法以分析来自不同配置的传感器和过滤器的数据。
[0079]
图17和图18示意性描绘了图16所描绘的混合可见光/全光谱光传感器602的较大部分及其混合滤光器606。如图17和18所示，v型和f型传感器像素以交替图案布置，使得对于每个传感器像素(v型或f型)，全部四个基本相邻区域都是互补型。
[0080]
在这样的配置中，对于具有p例如(640x480＝307,200)个总传感器像素的混合可见光/全光谱光传感器602，传感器像素的一半将是v型，并且一半将是f型。当不做进一步的图像处理而单独地考虑每种类型的传感器像素时，该传感器像素布置导致用于传感器像素类型和应用的有效分辨率降低。增加整体分辨率传感器来补偿这个问题会增加功耗、传感器尺寸和其他系统成本。
[0081]
根据各种实施例的包括混合可见光/全光谱光传感器602的深度感测系统600通过图像处理(使用图15所描绘的图像处理器608)补偿降低的有效分辨率。虽然这些方法可能无法恢复具有可比较的尺寸的单独可见或红外传感器的100％的分辨率，但是这些方法可以从混合可见光/全光谱光传感器602(例如，50％的可见传感器像素和50％的全光谱传感器像素)的实际传感器像素分辨率恢复将期望的更高分辨率。与混合可见光/全光谱光传感器一起使用的图像处理方法的实施例可以将单独的传感器的分辨率从大约50％恢复到大约100％。其他实施例可以将大约66％的分辨率恢复到大约90％的分辨率。又一其他实施例可以恢复大约75％的分辨率。
[0082]
在深度感测系统600中使用的光包括在可见光谱中重叠的波长，因为全部传感器像素610检测可见光。f型传感器像素610f也检测红外光。在图16至图18所示的实施例中，每个传感器像素610具有八个邻接的邻近区域，每四个是一个类型。例如，如图17所示，610f1在基方向上具有四个邻接的v型传感器像素610v1-610v4。610f1在基本方向之间还具有四个邻接的f型传感器像素610f2-610f5。
[0083]
下面是根据一个实施例的图像处理方法的一般描述。全部f型传感器像素610f的f值最初可以近似为由两个值组成—可见的计算值(“cv”)和红外的计算值(“ci”)。在第一轮(pass)中，用于与f型传感器像素610f相邻的v型传感器像素610v的可见光的测量值(“v”)被用于估计用于f型传感器像素610f的第一遍cv。然后，使用第一轮cv来估计用于f型传感器像素610f的第一轮ci。在第二轮中，使用第一轮ci来(更准确地)估计用于f型传感器像素610f的第二轮cv。
[0084]
对于具有基本上均匀或熟知的多个ci的表面，可以通过从用于f型传感器像素610f的f中减去第一轮ci来估计第二轮cv，从而单独从v型传感器像素610v提供的信息不可用。在没有额外红外光源的室内房间中，并且系统中的任何红外光投射仪被禁用，具有基本上均匀或熟知的多个ci的表面可以被发现。类似地，在室外环境中，环境日光通常在每个表面上主要提供漫射照明(基于该表面的红外反射)，因此，用于每个表面的红外照明主要是均匀的或可预测的。
[0085]
在调制红外投射仪(如上所述)的情况下，可使用关于投射的红外图案的信息来计算可见光图像的有效分辨率，该有效分辨率高于在传感器602中的v型传感器像素610v(例如p/2)。关于在表面的某些区域中动态改变投射的红外图案的信息(如上所述)，也可被用来计算增加的有效可见光图像分辨率。此外，当从环境中消除全部红外光源(例如没有红外源的室内)时，传感器602可被用作全分辨率可见光传感器。
[0086]
根据各种实施例的其他方法可以包括两轮以上，以增加估计cv和ci的准确度。又
一其他实施例使用其他测量的计算值来估计f型传感器像素610f的cv和ci。例如，使用由图17所描绘的混合可见光/全光谱光传感器602获取的数据，除了610v1-610v4的v以外，可以使用610f2-610f5的cv和ci来估计610f1的cv和ci。图18示出了被更多的f型和v型传感器像素包围的610f1，这些传感器像素可以提供用于估计610f1的cv和ci的更多的光学数据。使用全部f型和v型传感器像素的估计方法的一个因素是，用于全部f型传感器像素610f的f的总和应该至少与用于全部v型传感器像素610v的v的总和一样明亮(如果不是更亮的话)。
[0087]
可以使用类似的过程来计算传感器602中的f型传感器像素610f的ci，并且生成估计仅红外光的图像，尽管没有专用的仅红外像素。例如，图19描绘了一种图像处理方法700，其用于根据一个实施例根据由单个混合可见光/全光谱光传感器602获得的光学数据来生成单独的可见光和红外图像。
[0088]
在步骤702，深度感测系统600接收从表面反射的光。混合可见光/全光谱光传感器602同时在每个v型传感器像素610v处接收可见光，并且在每个f型传感器像素610f处接收全光谱光。
[0089]
在步骤704，深度感测系统600基于由像素610v接收的可见光来确定用于每个v型传感器像素610v的可见光值(“v”)。在步骤704，深度感测系统600还基于由像素610v接收的全光谱来确定用于每个f型传感器像素610f的全光谱光值(“f”)。
[0090]
在步骤706，深度感测系统600(例如图像处理器608)计算用于每个f型传感器像素610f的可见光的计算值(“cv”)。图像处理器608可以使用用于与每个f型传感器像素610f相邻的v型传感器像素610v的v来计算cv。在一个简单的实施例中，对与f型传感器像素610f相邻的四个v型传感器像素610v的多个v进行平均以生成cv。例如，图16所描绘的混合可见光/全光谱光传感器602中，对610v1-610v4的多个v进行平均以生成用于610f1的cv。此实施例对于均匀表面(例如白墙)是最准确的，但是随着表面变得更异构，准确度下降。
[0091]
在另一个实施例中，边缘检测和梯度检测可以在对面的邻近区域上执行，以通过考虑包括边缘的非均匀表面来确定更准确的cv。例如，图16所描绘的混合可见光/全光谱光传感器602中，可以对610v1/610v3和610v2/610v4的多个v执行边缘检测和梯度检测。如果在610v1/610v3的多个v之间找到大的梯度，则当生成用于610f1的cv时，那些多个v可以被给予较少的权重。此实施例对于异构表面(例如，包括边缘的拐角)更准确。
[0092]
在步骤708，深度感测系统600(例如图像处理器608)计算用于每个f型传感器像素610f的红外光的计算值(“ci”)。图像处理器608可以使用用于f型传感器像素610f的cv来计算ci。在一个简单的实施例中，ci是通过从用于f型传感器像素610f的f中减去cv来计算的。
[0093]
在步骤710，深度感测系统600(例如图像处理器608)使用来自v型传感器像素610v的多个v和用于f型传感器像素610f的计算的多个cv来生成可见光图像。在步骤712，深度感测系统600(例如图像处理器608)使用用于f型传感器像素610f的计算的多个ci来生成红外光图像。可见光图像、红外光图像或两者都可以用于深度感测。
[0094]
此外，去马赛克和/或边缘锐化算法可以可选地被应用于图像数据，以在步骤704之前求解v型传感器像素610v的可见光值和的f型传感器像素610f的全光谱光值。求解这些光值v、f增加了方法700的准确度。
[0095]
在此所述的系统600使用来自单个混合可见光/全光谱光传感器602的光学数据用高于p/2的有效分辨率生成可见光图像，类似地，以近似的较低分辨率在同一物理传感器
602上生成红外光图像。因此，用于生成可见光图像和红外光图像的光将穿过同一的透镜堆叠，所以任何微小的缺陷都被反映在可见光图像和红外光图像两者中。此外，这种布置与现有系统相比具有两个优点。首先，将从完全相同的光学优势点获取可见光图像和红外光图像，为相应图像的焦点提供了完美的6-自由度(6-dof)对应关系。这消除了对配准和校准的需要，配准和校准对于包括在不同波长谱上运行的单独相机的系统来说是特别困难的问题，因为相机可能无法检测到同一校准目标。此外，配准和校准引入额外的误差源，该误差源降低了对图像数据所执行的任何后期操作的次像素准确度。第二，使用完全相同的传感器，因此，两个图像上的曝光时间完全同步。对于处于相对运动(传感器的、表面的或两者的)的表面的图像，可见光图像和红外光图像在时间上(甚至在微秒的时间量级上)以及几何上匹配，允许对图像进行更精确和详细的分析。
[0096]
在图20所描绘的另一个实施例中，混合可见光/全光谱光传感器802包括两种类型的传感器像素810，a型和b型。a型传感器像素810a、b型传感器像素810b两者都检测可见光和红外光，但以不同的比例检测。在一个实施例中，a型传感器像素810a可检测撞击到像素810a上的75％的可见光(“pv_a”)和25％的红外光(“pi_a”)。在该实施例中，b型传感器像素810b可检测撞击像素810a上的60％的可见光(“pv_b”)和40％的红外光(“pi_b”)。虽然在此实施例中的pv和pi成分合计为100％，但在其他实施例中，pv和pi的成分可以加起来大于或小于100％。例如，图16至图18所描绘的并且在上面描述的具有pv＝100％和pi＝100％的混合可见光/全光谱光传感器602中的f型(全光谱)传感器像素610f。
[0097]
在这样的传感器802中，每个传感器像素810具有与所检测到的可见光和红外光相对应的感测的值(“sv”)。因为对于特定a型传感器像素810a(“sv_a”)的sv由两个贡献者(即，由传感器像素810a检测到的每种类型的光的比例所修改的总可见光值“v”和总红外光值“i”)组成，我们知道sv_a＝(v*pv_a)+(i*pi_a)。
[0098]
每个a型传感器像素810a还具有使用来自相邻传感器像素810(例如基本邻近区域)的光学数据来计算的估计值(“ev_a”)。例如，810a1具有根据用于810b1-810b4的sv计算的ev。换句话说，对于810b1-810b4，ev_a＝f((v*pv_b)+(i*pi_b))。函数f可以与进行平均一样简单。在其他实施例中，函数f可包括如上所述的边缘检测和梯度检测。
[0099]
由传感器像素810a确定sv_a，并估计ev_a。从传感器802的设计可知pv_a、pi_a、pv_b、pi_b。采用这些确定值、估计值和已知值，可以求解两个方程sv_a＝(v*pv_a)+(i*pi_a)和ev_a＝f((v*pv_b)+(i*pi_b))中的用于每个a型传感器像素810a的v和i。可以使用类似的过程来确定用于每个b型传感器像素810a的v和i。
[0100]
图21描绘了一种图像处理方法900，其用于从由单个根据一个实施例的混合可见光/全光谱光传感器802获取的光学数据生成单独的可见图像和红外图像。
[0101]
在步骤902，深度感测系统接收从表面反射的光。混合可见光/全光谱光传感器802在每个传感器像素810(a型和b型两者)处同时接收全光谱光，其中检测到的可见光和红外光的百分比取决于每个a型和b型传感器像素810的pv和pi。
[0102]
在步骤904，深度感测系统确定用于每个传感器像素810的感测的光值(“sv”)。
[0103]
在步骤906，深度感测系统计算用于每个传感器像素810的总可见光值(“v”)和总红外光值(“i”)。例如，通过使用如上所述已知的pv和pi值和检测到的sv值和估计的ev值来同时求解上述方程对(即，sv_a＝(v*pv_a)+(i*pi_a)和ev_a＝f((v*pv_b)+(i*pi_b)))，深
度感测系统可以计算用于每个传感器像素的v和i。
[0104]
在步骤908，深度感测系统使用用于传感器像素810的计算出的多个v生成可见光图像。在步骤910，深度感测系统使用用于传感器像素810的计算出的多个i生成红外光图像。可见光图像、红外光图像或两者都可以用于深度感测。
[0105]
虽然图21所描绘的方法900首先生成可见光图像，然后生成红外光图像，但是在其他实施例中，深度感测系统可首先生成红外光图像，然后生成可见光图像。在又一其他实施例中，深度感测系统可生成可见光图像或红外光图像，而不生成其他图像。
[0106]
虽然在一些实施例中，具有增强深度感测的动态非混叠图案投射仪和图像传感器被描述为一个系统的一部分，但是投射仪和传感器是独立的，并且每个都可以没有另一个的的情况下发挥上述全部优点。
[0107]
虽然上面提到的传感器被描述为深度感测，但是根据实施例的传感器可用于其它可见光/红外光系统，诸如相机聚焦系统。提供上述深度感测系统作为可从混合传感器受益的各种光学系统的示例。因此，在此描述的光学系统的使用不限于所公开的深度感测系统，而是适用于任何光学系统。
[0108]
在此描述本发明的各种示例性实施例。在非限制性意义上参考这些示例。提供这些示例是为了示出本发明更广泛可应用的方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的发明进行各种改变并且可用等同物替换。此外，可以进行很多修改以使特定情形、材料、物质组成、过程、多个过程动作或多个步骤适应本发明的多个目标、精神或范围。此外，如本领域技术人员将理解的，在不脱离本发明的范围或精神的情况下，在此描述和说明的每个单独的变型都具有分立的部件和特征，这些部件和特征可以容易地与其他若干实施例的任意特征分离或组合。全部这样的修改旨在落入与本公开相关联的权利要求的范围内。
[0109]
本发明包括可使用本主题设备执行的方法。所述方法可包括提供这样的合适的设备的动作。这种提供可由终端用户执行。换句话说，“提供”动作仅需要终端用户的获得、访问、接近、定位、设置、激活、加电或其他动作以，以在本主题方法中提供必要的设备。在此所述的方法可以按照逻辑上可能的所述事件的任何顺序以及按照所述事件顺序来实行。
[0110]
上面已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。至于本发明的其他细节，这些其他细节可以结合以上引用的专利和出版物以及本领域技术人员通常已知或理解的来理解。对于本发明的基于方法的方面，就通常或逻辑上采用的附加动作方面而言，这同样适用。
[0111]
此外，尽管已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或指示为关于本发明的每个变型所预期。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变，并且可以替换等同物(无论是本文所述的还是为了简洁起见而未包括的)。此外，在提供值的范围的情况下，应该理解，在该范围的上限和下限之间的每个中间值和在所述范围内的任何其它所述值或中间值包括在本发明之内。
[0112]
此外，可预期的是，所描述的发明变型的任何可选特征可以被独立地或者与本文所述的任何一个或多个特征相组合来阐述和要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地，除非另有具体说明，当在本文和与本文相关联的权利要求中所使用
的，单数形式“一”、“一个”、“所述”和“该”包括复数指代物。换句话说，所述冠词的使用允许由上述说明书以及与本公开相关联的权利要求中的主题项中的“至少一个”。还应注意，这样的权利要求可以被撰写为排除任何可选元素。因此，本声明旨在作为使用与权利要求要素的叙述相关的如“单独”、“仅”等排他性术语或使用“否定”限制的先行基础。
[0113]
在不使用这种排他的术语的情况下，与本公开相关联的权利要求中的术语“包括”应当允许包括任何附加要素，而不管在这样的权利要求中是否列举了给定数量的要素，或者添加特征可以被认为是改变了这样的权利要求中阐述的要素的性质。除非本文中具体限定，否则本文所用的全部技术术语和科学术语在保持权利要求的有效性的同时被赋予尽可能宽的通常理解的含义。
[0114]
本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围来限定。
[0115]
在前述说明书中，已经参照本发明的具体实施例描述了本发明。然而，显而易见的是，在不脱离本发明更广泛的精神和范围的情况下，可以对本发明进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程的流程。然而，可以改变许多所描述的过程动作的顺序而不影响本发明的范围或操作。因此，说明书和附图被认为是说明性的而非限制性的。