一个区域107的分辨率的应用带来优点。
[0064]在一个进一步的实施例中，TOF相机系统的至少两个相机可以用两个不同的积分肢通驱动。实际上，非常短的积分时间产生了高移动稳健性，但是也产生了深度上的高标准偏差，在本文件中被称为深度噪声。因此，区域107可以被优化用于短积分时间，而另一区域107可以被优化用于噪声性能。当熔合图像，特别是它们相关联的信息时，这两个配置的优点都可被获得并使用。有利地，由于TOF相机由短积分时间驱动，该实施例使得每个被熔合的像素能获取有关快速移动对象的可靠信息，而从由较长积分时间驱动的其他相机继承低噪声信息。在派生的实施例中，其他相机可以包括用较长积分时间驱动的至少另一个TOF相机。在另一个实施例中，其他相机可至少包括用较长积分时间驱动的另一个TOF相机、以及至少一个彩色相机。
[0065]为了进行对不同信息的可靠熔合，在电路系统中，或者在伴随芯片中，或者在单独的处理单元上，过程将被实现从而将各自与坐标系相关联的不同的信息集转换成一个具有单一共同预定坐标系的单一数据集。优选地，该共同预定坐标系将会是其中一个相机的x-y平面(例如，由水平轴和垂直轴定义的平面)，例如，高度解析相机的χ-y平面。来自另一相机的数据(例如彩色图像、深度图测量或者TOF置信度图的灰阶图像)被使用配准来投影到与共同的预定坐标系相关联的图像中。特别地，这里，图像配准涉及在空间上将目标图像(例如，获取自TOF测量的低分辨率高准确性深度图)配准以与参考图像(例如，获取自立体视觉并且包括彩色信息的高分辨率低准确性深度图)对准。数种图像配准方法可以被使用，诸如基于强度的或基于特征的方法。基于强度的方法可以经由相关(correlat1n)度量来尤其比较图像中的强度图案，而基于特征的方法大多尝试寻找图像特征(诸如点、线、轮廓以及深度)之间的匹配或对应。基于强度的方法的目标在于配准整个图像或子图像。若子图像被配准，对应子图像的中心被视为对应特征点。基于特征的方法建立了图像中预定数目的特异点之间的对应。知晓了图像中数个点之间的对应关系之后，确定变换以将目标图像映射到参考图像，藉此建立参考和目标图像之间的点对点的对应关系。该后面的配准过程可以进一步包括内插技术，因为图像可以是不同分辨率的。
[0066]在本发明的一个优选的实施例中，当使用多个TOF相机时或者至少当TOF相机系统包括至少一个提供深度信息的相机时，使用图像配准，该深度信息可以被用于促进图像的熔合。一阶独立于视点角度和/或光条件地，深度是场景的唯一性特性。因此，对于执行任何对准、任何图案识别或者熔合图像时所需的任何其他手段而言，这是非常稳定的度量。
[0067]在一个优选的实施例中，其中至少一个相机能够被更为彻底地校准，从而允许其他相机继承该校准。在渡越时间成像中，要求有彻底的拉進步骤，诸如绝对距离校准、温度、变形、多径解析等等。由于能够被应用以计算该校准的更少像素与更高数学，仅校准一个相机节省了时间，其他相机能够随后得益于并继承经校准的视点以纠正距离误差和/或非线性。该校准可以在生产时间执行，但是也可以在运行时间执行，例如通过在以上所提到的包括四个TOF相机的TOF相机系统之一中，将这四个视点/相机中的至少一个的维度确定为稳定得多的成像器，从而其可以被用作用于校准的参考。
[0068]根据本发明的进一步的实施例，TOF相机系统可以进一步包括用于在可见范围内和/或红外中过滤光的装置。如图6中所示，色彩过滤器可以实现在相机的之上。在该附图中，R、G、B和IR区分别表示红、绿、蓝以及红外通过过滤器。这允许将RGB和深度数据组合在一个图像中，从而允许组合了所有这些属性的熔合或改进的图像。然而，包括至少一个TOF相机以及用不同参数所驱动的至少另一个相机的TOF相机系统的特征可在于，至少一个相机是RGBZ相机。RGBZ相机是包括数个像素的相机，其特征在于，所述像素的感测区域收集红、绿、蓝之中的至少一个颜色(优选地，是三个RGB颜色)，并且附加地捕捉红外照明，从红外照明可以处理关于例如TOF原理的深度(Z)信息。
[0069]在另一个进一步的实施例中，TOF相机系统的至少一个相机的像素可以进一步包括暈子点薄膜。量子点是半导体材料的纳米粒子，直径范围从2nm到10nm。由于其小的尺寸，量子点演示了唯一性光学及电气性质；即，它们的性质在特性上与对应的块体材料是不同的。主要的明显的性质为在激励下的光子发射(荧光)，其作为光可对于人眼可见，或者若在红外域中发射则不可见。所发射的光子的波长并不仅取决于制成该量子点的材料，而且也取决于该量子点的大小。精确地控制量子点的大小的能力使得制造商能够确定发射的波长，即确定光输出的波长。量子点能够因此在生产期间被“调谐”以发射任何所期望的波长。通过改变其核心大小来控制或“调谐”从量子点进行的发射的能力被称为“尺寸量子化效应”。点越小，其越接近于光谱中的蓝端，并且点越大，其越接近于红端。通过使用某些特定材料，量子点甚至能够被调谐成超过可见光，进入红外或者进入紫外范围。
[0070]作为色彩过滤器，量子点薄膜可以被设计用于重新发射在传感器更为敏感的范围中的波长。优选地，量子点薄膜的发射波长可以接近于传感器的最大灵敏性，以使得能够进行较低噪声的测量。
【主权项】
1.一种TOF相机系统(3)，包括数个相机(1，107)，至少一个所述相机是TOF相机，其中所述相机被组装在共同的基板(100)上并且同时对相同场景(15)成像，并且其中至少两个相机由不同驱动参数驱动。2.如权利要求1所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现解混叠算法的至少两个不同频率。3.如权利要求1或2所述的TOF相机系统(3)，其特征在于，进一步包括镜头(101-104)的阵列，所述阵列中的每个镜头与每个所述相机相关联。4.如权利要求1至3中任一者所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现立体景深技术的参数。5.如权利要求1至4中任一者所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现背景光稳健性机制的参数。6.如权利要求1至5中任一项所述的TOF相机系统(3)，其特征在于，至少有两个相机在不同积分时间期间对所述相同场景成像。7.如权利要求1至6中任一项所述的TOF相机系统(3)，其特征在于，进一步包括用于将所述相机提供的图像配准在一起的图像配准装置。8.如权利要求1到7中的任一项所述的TOF相机系统(3)，其特征在于，进一步包括用于在运行时间校准至少一个相机的装置。9.如权利要求8所述的TOF相机系统(3)，其特征在于，经校准的相机中的至少一者被用作用于校准所述其他相机的参考。10.如权利要求1至9中的任一项所述的TOF相机系统(3)，其特征在于，对所述场景成像的所述相机提供色彩、照明或深度信息中的至少一者。11.如权利要求1至10中的任一者所述的TOF相机系统(3)，其特征在于，进一步包括用于将所述相机所提供的信息以改进的图像的形式熔合或组合在一起的装置，所述改进的图像的特征在于其包括较高分辨率或者较高深度测量准确性中的至少一者的事实。12.如权利要求1至11中任一者所述的TOF相机系统(3)，其特征在于，进一步包括用于过滤可见范围中和/或红外线范围中的光的装置。13.如权利要求1所述的TOF相机系统(3)，其特征在于，所述基板是基于硅的。14.如权利要求1至13中的任一项所述的TOF相机系统(3)，其特征在于，包括至少三个相机(1，107)，至少两个所述相机是TOF相机，所述至少两个TOF相机由不同驱动参数驱动而同时对相同场景(15)成像。
【专利摘要】本发明涉及包括数个相机的TOF相机系统，这些相机中的至少一个相机是TOF相机，其中这些相机被组装在共同的基板上并且同时对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。
【IPC分类】H04N13/02
【公开号】CN105432080
【申请号】CN201480040819
【发明人】纽温霍夫 D·范, J·托洛
【申请人】软动力学传感器公司
【公开日】2016年3月23日
【申请日】2014年12月24日
【公告号】EP2890125A1, WO2015097284A1