渡越时间相机系统的制作方法
【专利说明】渡越时间相机系统发明领域
[0001]本发明涉及渡越时间(TOF)射程成像系统，即TOF相机系统。特别地，本发明的目的是提供高质量的场景3D图像。
[0002]发明背景
[0003]计算机视觉是包括用于捕获、处理、分析、和理解图像的方法的成长中的研究领域。在该领域中的主要驱动理念是要通过电子感知并理解场景的图像来复制人类视觉系统的能力。值得注意的是，计算机视觉研究中的一个主题是深度感知，或者换句话说是三维(3D)视觉。
[0004]对于人类，深度感知源自于所谓的立体景深效应，藉由立体效应，人类大脑将两只眼睛对一场景所捕捉到的两个略微不同的图像进行熔合，并且检取深度信息等。此外，最近的研究显示，识别场景中的对象的能力进一步对深度感知做出了极大贡献。
[0005]对于相机系统，深度信息并不易于获取并且要求复杂的方法和系统。当对场景成像时，一个常规的二维(2D)相机系统将场景的每个点与给定的RGB色彩信息相关联。在成像过程的最后，场景的2D色彩图被创建。标准2D相机系统不能够容易地从该色彩图中识别场景中的对象，因为色彩高度地取决于变动的场景照明，也因为其并不固有地包含任何维度信息。新的技术已经被引入来发展计算机视觉，值得注意地其被用于发展3D成像，这尤其使得能够直接捕捉与深度有关的信息以及间接捕获与场景或对象有关的维度信息。3D成像系统最近的发展是令人印象深刻的并且引起了来自工业界、学术界以及消费者社团的不断增长的兴趣。
[0006]用来创建3D图像的最常见的技术是基于立体景深效应的。两个相机对同一场景照相，但是它们分隔开一段距离一一就像人类的眼睛那样。计算机比较这些图像而同时将这两张图像一起移位到彼此上下相叠来找出匹配和不匹配的部分。所移位的量被称为不一致性。计算机使用图像中的对象得以最佳匹配的不一致性通过额外使用相机传感器几何参数和镜头规范来计算距离信息，即深度图。
[0007]图1中解说的渡越时间(TOF)相机系统3表示了另一种更为近期且不同的技术。TOF相机系统3包括具有专用照明单元18和数据处理装置4的相机I。TOF相机系统能够通过分析光从光源18渡越到对象的渡越时间来捕捉场景15的3D图像。此类3D相机系统现在被用于许多应用中，其中在这些应用中要求深度或距离信息测量。标准2D相机系统(诸如红-绿-蓝(RGB)相机系统)是被动技术，即它们使用环境光来捕捉图像且并不基于附加光的发射。相反，TOF相机系统的基本操作原理是使用专用照明单元以预定波长的经调制光16 (例如用至少一个预定频率的一些光脉冲)来主动照明场景15。经调制的光被从场景内的对象反射回去。镜头收集反射光17并且将对象的图像形成到成像传感器I上。取决于对象到相机的距离，在经调制光(例如，所谓的光脉冲)的发射与在相机处对那些光脉冲的接收之间经历了延迟。在一个常见的实施例中，反射对象以及相机之间的距离可以被确定为所观察到的时间延迟以及光速常量值的函数。在另一个更为复杂且可靠的实施例中，如在 Robert Lange 的题为“3D time-of-flight distance measurement with customsolid-state image sensors in CMOS/CCD technology(使用CMOS/CCD技术中的定制固态图像传感器进行的3D渡越时间距离测量)”的博士论文中所介绍的，所发射的参考光脉冲以及所捕捉到的光脉冲之间的多个相位差可以被确定且被用于估计深度信息。
[0008]TOF相机系统包括数个元件，其中每个元件具有特异的功能。
[0009]DTOF相机系统的第一组件是照明单元18。当使用脉冲时,每个光脉冲的脉冲宽度决定了相机射程。例如，对于50ns的脉冲宽度，该射程被限定于7.5m。结果，场景照明对TOF相机系统的操作变得至关重要，并且照明单元的高速驱动频率要求使得必需使用专业光源(诸如，发光二极管(LED)或激光)来生成此类短光脉冲。
[0010]2) TOF相机系统的另一组件是成像传感器I或称TOF传感器。成像传感器通常包括形成场景图像的像素矩阵阵列。应当理解，像素是指对光电磁辐射敏感的图元及其相关的电子电路系统。像素的输出能够被用于确定光从照明单元到场景中对象以及从该对象反射回成像TOF传感器的渡越时间。可在分开的处理单元中计算渡越时间，该分开的处理单元可耦合到TOF传感器或可直接集成到TOF传感器本身中。已知有各种用于测量光从照明单元行进至对象并从对象回到成像传感器的定时的方法。
[0011]3)成像光学器件2和处理电子器件4也在TOF相机系统内提供。成像光学器件被设计成收集来自场景中诸对象的反射光(通常是IR域中)并且滤除与照明单元所发射的光并非处于相同波长的光。在一些实施例中，光学器件可以使得能够捕捉用于TOF原理测量的红外线照明和用于RGB彩色测量的可见照明。这些处理电子器件驱动TOF传感器，从而滤除与照明单元所发射的光频率不同但是波长类似的光(一般为日光)以及还用于其他数个特征等。通过滤除不想要的波长或频率，可有效地抑制背景光。处理电子器件进一步包括针对照明单元和成像传感器二者的驱动器，从而这些组件能够被准确地同步控制来确保执行准确的图像捕捉并且确定场景的可靠深度图。
[0012]对构成TOF相机系统的元件的选取是至关重要的。取决于所使用的元件的类型以及性能，TOF相机系统旨在覆盖从几毫米一直到数千米的宽广射程。此类TOF相机系统可以具有从亚厘米到数厘米或者甚至数米的不同距离准确性。可与TOF相机系统联用的诸技术包括带数字计时器的脉冲光源、带相位检测器的射频(RF)调制光源、以及射程选通成像器。
[0013]TOF相机系统遭受到数种缺陷。在当前TOF成像器或者TOF传感器中，像素节距通常范围从ΙΟμ??到ΙΟΟμ??不等。由于该技术的新颖性以及TOF像素的架构高度复杂这一事实，难以设计小像素尺寸而同时又维持高效的信噪比(SNR)并且不忘有关以低成本进行大规模生产的要求。这导致了 TOF图像传感器相对大的芯片大小。在使用常规光学器件的情况下，图像传感器如此大的大小要求较大且厚的光学堆叠来配合到管芯上。一般而言，不得不在所要求的分辨率与器件的厚度之间寻求某种妥协来使得其能够嵌入到便携式大众消费广品上。
[0014]进一步，由TOF相机系统所获得的深度测量可以因为多个原因而被错误地确定。首先，此类系统的分辨率要被改进。大的像素大小要求大的传感器芯片，并且由此该传感器分辨率受到TOF传感器大小的限制。其次，此类系统的深度测量中的准确性仍然需要被改进，因为其高度地依赖于信噪比和调制频率(调制频率决定了深度准确性以及操作深度测量射程)以及其他多个参数等。具体地，深度测量中的不确定性或不准确性可以是因为被称为“深度混叠”的效应，这将会在之后被详细描述。此外，不确定性能够源自于背景中附加光的存在。实际上，TOF相机系统的像素包括光敏元件，该光敏元件接收入射光并将其转换成电信号(例如，电流信号)。在场景的捕捉期间，若背景光在传感器敏感的波长中太强烈，那么像素可能会接收到并非反射自该场景内的对象的附加光，这可能会改动测得的距离。
[0015]目前，在TOF成像领域中，有多种选项可用来至少部分地克服该技术可能遭受的主要个体缺陷，诸如，例如，使得能够进行更为稳健且准确的深度测量的改进的调制频率系统、解混叠或者背景光稳健性机制。
[0016]仍然要提议技术方案来将这些缺陷一并解决并且附加地改进TOF相机系统的分辨率，而同时又限制完整系统的厚度并且减少视差问题以使得其顺应于大规模生产的便携式设备集成。
发明概要
[0017]本发明涉及包括数个相机的TOF相机系统，这些相机中的至少一个相机是TOF相机，其中这些相机被组装在共同的基板上并且同时对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。
[0018]通过将该至少一个TOF相机的深度信息至少结合来自用不同参数驱动的另一相机的信息使用，将所有相机信息熔合在一起帮助完善和增强最终图像的质量，并且尤其帮助从所捕捉的场景获取较高质量深度图，因为这些图像是由诸相机同时捕获的。
[0019]有利地，这些相机的传感器被制造并组