具有主动照明的传感器系统的制作方法
【技术领域】
[0001]本发明涉及基于主动照明的视觉传感器。本发明改善了主动成像系统的图像质量，改善了动态范围和它的背景光稳定性。这样的传感器通常被用于检测和测量它们的周围环境、对象或人。
【背景技术】
[0002]主动照明被实现于许多相机设计中来改善相机测量结果。相机被理解为包含具有像素阵列的图像传感器的光电器件。
[0003]在许多机器视觉应用中，主动照明被用于相机系统上来保证一定的光亮度水平。通过这么做，主动系统的性能变得不易受它的周围环境的光照变化的影响。稳定性和可靠性被提升。此外，通过向系统增加照明电源，可设置更短的曝光并实现更高的帧速率。
[0004]具有主动照明相机系统的其他传感器使用场景中的感兴趣对象的特定属性，例如应用可利用场景中的反射物，该反射物能够被容易地识别并且可能进行跟踪。
[0005]其他应用利用感兴趣对象的特定反射属性，例如眼睛的反射属性。由具有主动照明的系统捕获的眼睛的典型背向反射能够被用于检测和跟踪眼睛并且对眼睛眨动进行计数来例如检查驾驶者的睡意和建立疲劳测量传感器。
[0006]在干涉仪中，主动系统对感兴趣对象和参考目标进行照明。基于反射的干涉性，能够对深度进行测量和分析。
[0007]其他主动系统对照明进行调制来取得关于它的周围环境的更多信息。这样的照明通常在时间上被调制(时间调制)或者在空间上被调制，并且能够被应用来例如测量距离以绘制3D环境。时间调制被实现在所谓的飞行时间(TOF)相机中(间接或直接地)；空间调制被用于基于三角测量的深度测量系统，也被称作结构光技术。
[0008]飞行时间图像传感器像素是专用像素设计来保证光生电荷到它们的存储节点的极度快速转移。更高的调制频率产生更好的深度噪声性能。因此，TOF解调像素通常工作在数十MHz至高达数百MHz的范围内。另外，TOF像素一般包括像素级的背景光抑制，从而增加TOF成像系统的动态范围。在大多数实现中，TOF像素的每个像素包括两个存储节点来存储和集成两个采样信号。
【发明内容】
[0009]如果诸如太阳光之类的背景光信号可被去除，则对所有的主动式照明成像系统的稳健性有益。大多数时间里，背景光信号消除是通过两个连续图像的采集来实现的，一个图像具有开启的照明，一个图像具有关闭的照明。两个图像的减除产生了仅包括主动照明的亮度信息的图像。这样的方法的缺陷首先在于系统需要获得两个分离的图像。场景或场景中的对象可能从图像到图像改变并且在此情形中的背景减除是不理想的。另外，两个获得图像需要根据背景光和主动光处置全动态信号范围。即使不需要背景光信号，它也会吃掉系统的动态范围。
[0010]本发明的一个目的是提供具有改善的动态范围的成像系统。本发明的另一目的是提供用于三维测量的成像系统，其具有改善分辨率和更少的光功率消耗。本发明的另一目的是提供二维亮度和三维成像系统。
[0011 ]根据本发明，这些目的是具体通过独立权利要求的特征实现的。此外，根据从属权利要求和说明书得到其他有利的实施例。
[0012]根据本发明，一种成像系统包括成像传感器。该成像系统适于处理由至少两个不同的照明源照明的场景的图像，每个照明源具有处于近红外范围的波长。优选地，波长在800与100nm之间。照明源被放置为紧接着成像传感器并且可与图形传感器同步。至少两个照明源可被放置以最小化遮挡。
[0013]在一些实施例中，该至少两个不同的照明源的波长是不同的，例如至少一个照明源在850nm左右处，并且至少一个照明源在940nm左右处。
[0014]在一些实施例中，所述至少两个不同的照明源包括至少一个结构化照明源。例如，在图像传感器是飞行时间图像传感器的情形中，这提供了由飞行时间测量和结构化照明源测量所提供的优点的益处。
[0015]在一些实施例中，所述至少两个不同的照明源包括至少一个均匀照明源。
[0016]在一些实施例中，该至少两个不同的照明源各自处于近红外范围中但包括至少一个均匀照明源和至少一个结构化照明源。基于结构化照明源的图像的采集可与基于均匀照明源的采集相交插。基于结构化照明源的实际原始图像不以传统的色彩或亮度(intensity)的表现形式表现它所获得的环境。为此，基于结构化照明源的当前技术的系统增加第二图像传感设备，通常是RGB传感器。通过实现如本发明所提出的两个不同照明源(例如，一个结构化照明源和一个均匀照明源)，成像系统可通过相同的图像传感器推导出深度信息并生成代表性的亮度(或黑白)图像。这还允许3D地图到2D亮度图像上的容易且一对一的映射。在图像传感器是TOF图像传感器的情形中，TOF图像传感器和两个不同的照明源还可被时间调制并被同步。
[0017]在一些实施例中，成像系统包括结构化照明源和均匀照明源，各自具有类似的中心波长，二者优选地在800nm和100nm之间。在这样的实施例中，来自结构化照明源的图像和来自均匀照明源的图像各自可通过相同的光路被成像并且可在光路中应用较窄的带通滤波器。较窄的带通滤波器的应用允许光学上尽可能多地阻挡背景光信号。
[0018]在一些实施例中，图像传感器是飞行时间传感器。
[0019]在一些实施例中，所述至少两个不同的照明源包括在曝光期间被时间调制的至少一个照明源。适当的时间调制方案使得能够减少在采集期间由变化的场景或移动的对象引起的伪差(artifact)，并且还使得能够避免来自区域中的其他成像系统的干扰。
[0020]在一些实施例中，所述至少两个不同的照明源在相同的发光管芯上。这在至少两个照明源是结构化照明源并且二者都被时间调制的情形中具有特殊益处。在相同的发射管芯上设置有所述至少两个结构化照明源并且对它们与图像传感器同步地进行调制的系统允许结构化图像上的更高信息亮度等级。
[0021]另外，本发明涉及使用成像传感器的成像方法。由至少两个不同的照明源照明的场景的图像被处理，每个照明源具有处于近红外范围的波长。在变体中，所述至少两个不同的照明源的波长是不同的。在变体中，所述至少两个不同的照明源包括至少一个结构化照明源。在变体中，所述至少两个不同的照明源包括至少一个均匀照明源。在变体中，所使用的图像传感器是飞行时间传感器。在变体中，所述至少两个不同的照明源包括至少一个均匀照明源，该均匀照明源是用低于飞行时间测量中使用的调制频率的调制频率进行调制的。在变体中，所述至少两个不同的照明源包括在曝光期间被时间调制的至少一个结构化照明源。在变体中，所述至少两个不同的照明源在相同的发光管芯上。
[0022]根据本发明，包括飞行时间传感器的成像系统适于使用具有低于用于进行3D飞行时间测量所使用的调制频率的调制频率的照明源。
[0023]在优选的特定实施例中，本发明提出在成像系统中实现飞行时间传感器或者通常每个像素具有两个存储节点的架构，优选地甚至包含某一类型的像素中背景抑制能力。另夕卜，在主动照明成像系统中，飞行时间图像传感器和照明源是用低调制频率来控制的，该调制频率如此低以使得信号的实际飞行时间对采样的信号的影响可忽略。另外，本发明提出在成像系统上实现采集时序，其导致一定数量的样本和采集，该数量不足以执行实际的飞行时间测量并仅基于那些采集进行图像评估。飞行时间像素在大多数实际实现中包括两个存储节点并且捕获至少两个但最常用四个连续但相位延迟的图像来推导深度信息。在此实施例中，像素的一个存储节点被优选地用于仅对背景光进行积分，其然后被从另一存储节点中减除，在该另一存储节点中，背景光信号与主动发射的和反射的光一起被积分。信号的采集和积分，以及它们到两个飞行时间像素存储节点的转移在采集期间被优选地重复和交插多次。得到的差分像素输出然后将仅是主动发射的信号的表示，这使得系统相对于周围环境中的变化光条件更加稳健。
[0024]在一些实施例中，调制频率在10Hz至IMHz之间。与当前技术的飞行时间测量系统中数十MHz的转换相比，更缓慢的调制减少了成像系统的功率消耗。另外，