利用深度信息和图像传感器来产生图像的方法
【技术领域】
[0001]本发明涉及产生图像的每个点与深度相关联的图像，深度即观察点与产生图像的相机之间的距离。
【背景技术】
[0002]利用相关深度来产生图像被特别地，但不专门地用于产生立体图:在这个应用中，例如可以利用相机来产生图像，并且获得与每个点相关的深度值；然后，根据该单个图像，可以产生彼此不同的左视图像和右视图像；场景中的点如果在无穷远处，则其在左视图像和右视图像中占据相同的位置；如果场景中的点靠近相机，则其占据被横向移位一定距离的不同位置，该距离与这个点靠近相机的程度成比例地增加。同时投射但由各自的眼睛分别观察到的左视图像和右视图像给出了深度的效果。通常来说，通过彼此间隔开的两个相机来获得深度。本发明提出了仅利用一个相机的技术方案。
[0003]在另一个应用中，寻求利用相关深度来建立图像，以检测障碍物。可以利用障碍物与机动车辆之间的距离的知识来防止碰撞。具体是这样的情况:如果利用红外光来获取图像，则即使在雾天的情况下也可以进行检测。在这种情况下，表示相机与障碍物或者部分的障碍物之间距离的深度信息是非常重要的。
【发明内容】
[0004]为了能够利用单个相机来实现这些目标，本发明提供了一种用于产生包括场景中每个点的距离信息的三维场景的图像，该方法利用了脉冲光源和图像传感器，包括像素的传感器能够将由光产生的电荷积聚在每个像素的各自存储节点中，所述方法包括从光源并且在参考时钟的控制下发射光脉冲的N个连续序列(trains)，N是表示对于深度信息期望的深度水平的数量的整数，并且对于来自N个脉冲序列的队列(rang)i中的每个脉冲序列进行迭代:
[0005]a)发射光脉冲的第i序列，在利用参考时钟确定的时刻并且以利用该时钟确定的间距来发射脉冲；
[0006]al)在以相对于脉冲的时间偏移\开始的长度为T int的短累积时隙内，对于第i序列的每个光脉冲的电荷进行累积，该时间偏移表示光脉冲从位于离传感器第i距离(Cli)处的点反射之后在光源和传感器之间的行程时间，第i时间偏移\对于第i脉冲序列的全部光脉冲是相同的，并且时间偏移\的值对于N个序列是彼此不同的，以对应于相对于传感器的各个距离，并且以大于累积时间Tint的时间增量彼此间隔；
[0007]bl)将第i序列的每个光脉冲累积的电荷转移至每个像素的电荷存储节点，并且将该电荷与源自同一序列的在前光脉冲的电荷进行积聚；以及
[0008]b)在第i脉冲序列结束之后，读取包含在每个像素的存储节点中的电荷，将存储节点复位，以及传送表示场景中位于离传感器第i距离(Cli)处的点的队列i的各自图像。
[0009]换言之，每个脉冲序列旨在观察场景中位于明确限定的距离Cli处的点，该观察中不包括其他的点。比距离Cli更近的点是看不到的，这是因为通过这些点反射的光脉冲在时刻\之前到达，即在电荷累积时隙(从、至、+^已经开始之前到达。更远的点是看不到的，这是因为通过这些点反射的光脉冲到达太晚，其在电荷累积时隙已经关闭之后到达。
[0010]长度为Tint的电荷累积时隙(该时隙相对于光脉冲同步)优选位于对全部的像素公共的光电二极管复位信号结束与对全部的像素公共的电荷转移信号结束之间。电荷转移信号允许来自像素的光电二极管的电荷转移至其电荷存储节点。复位信号将来自光电二极管的电荷清空，并且阻止电荷累积在其中。
[0011]光脉冲是简短的，并且电荷累积时隙也是简短的，正是由于这种简短能够精确地定位距离di。如果期望正确地区分相应的相邻距离屯与d i+1，则累积时隙的长度必须小于两个相邻的时间偏移(比如，\与、+1)之间的差。在每个脉冲序列中具有许多光脉冲(如果可能的话)，以补偿其简短并且保证在脉冲序列结束时读取积聚在每个像素的存储节点中的电荷之前，累积地接收到充足数量的光子。
[0012]理论上，如果由用于给定脉冲序列的像素观察的场景中的点位于与该序列相关联的距离Cli处，则通过该像素来传送信号，而如果场景中的该点不在这个距离处，则不传送信号。表示在脉冲序列结束时积聚的电荷量的传送信号的电平大致与反射功率或者点的反照率成比例；然而，如果与该点的距离使得反射脉冲的返回仅与电荷积累时隙部分地叠合，则信号电平降低。
[0013]在N个脉冲序列结束时，获得场景的N个图像，每个图像与深度信息相关联；并且，基于这些图像和相关联的深度信息，对每个像素来获得深度信息。所得的信息可以以表示对应于N个不同距离的N个平面视图的N个图像的形式来发送，或者甚至以组合了 N个图像的亮度的单个图像的形式来发送，逐个像素地增加，所述图像与距离矩阵相关联，所述距离矩阵表示对于每个像素的与这个像素相关联的距离，即，由像素观察到的场景部分中的点的距离。
[0014]与像素相关联的距离可以是仅对于接收信号的像素的距离屯，或者是对于在N个图像中接收到最强信号的像素的距离。然而，也可以是如下将要描述的，如果像素接收了对于多个不同距离的非零信号，则通过插值计算出距离。
[0015]时间偏移值\彼此相差一个值，这个值可以称作为值t i的“时间增量”。如果光脉冲的长度是Timp，并且如果电荷累积时隙的长度是Tint，则限定深度分辨率的值ti的时间增量优选等于时间Timp和Tint之和。这两个时间可以相等或大致相等。如果两个偏移^之间的增量大于Timp+Tint之和，则存在从位于距离d i与距离d i+1之间的点的反射丢失的风险。如果增量更小，则大致位于距离Cli处的点可以响应于对应于这个距离Cli的队列i的脉冲序列，但也可以响应于队列i_l或者i+Ι的脉冲序列，并且这可能使得难以将最相关的距离值与多个可能的值区分开。
[0016]在给定像素接收到对于多个不同脉冲序列的非零信号的所有情况下，最好基于各个响应来建立针对这个像素的距离信息，例如，通过选择响应最强的距离，或者甚至通过计算由像素接收到的信号的距离的插值来计算距离:例如，可以通过对每个距离分配对应于接收到的信号电平的权重，通过对三个值加权的插值来计算距离，即距离Cli对应于读取的信号中具有最大值的队列i的脉冲序列，且信号针对该像素进行读取并且对应于距离dH和/或di+1。可以对五个甚至更多个连续距离执行插值。
[0017]然后，建立传感器的每个像素与场景中由该像素观察的那个点的距离相关联的数值距离值的矩阵。
[0018]除了以上总结的图像产生方法之外，本发明还涉及一种图像捕获设备，其包括矩阵阵列图像传感器和能够传送光脉冲的光源，所述设备传送场景的图像和关于与矩阵阵列的每个像素相关联的距离的信息，每个像素包括光电二极管、用于复位光电二极管的装置、用于将电荷存储在像素中的装置以及用于读取积聚在存储节点中的电荷的装置，所述光源包括用于传送光脉冲的N个序列的装置，所述脉冲具有校准的长度并且具有校准的间距，所述设备进一步包括时序装置，以用于控制光电二极管的复位以及从光电二极管至存储节点的电荷的转移，所述时序装置相对于光脉冲同步，其特点在于，所述时序装置被布置为对于光脉冲的N个序列中的每一个在相对于每个光脉冲具有时间偏移Ui)的短时隙偏移内进行电荷累积，所述时间偏移Ui)对于队列i的给定脉冲序列的全部光脉冲是相同的，而与其他脉冲序列不同，所述时间偏移对应于光从场景中的点反射之后在光源与传感器之间的行程时间，所述点位于各自的距离屯处，由队列i的给定脉冲序列的脉冲照明之后累积的电荷积聚在存储节点中，然后从该节点中读取，以产生场景中位于距离\处的点的队列i的图像，鉴于对应于另一距离di+1的队列i+Ι的另一脉冲序列的新积聚，该电荷在脉冲序列结束时被移除。
[0019]短时隙的长度小于对应于两个不同的脉冲序列的两个相邻的时间偏移值之间的差。
【附图说明】
[0020]通过读取以下参照所附附图给出的具体描述，本发明的其他特性和优点将变得明显，在所述附图中:
[0021]-图1示出了根据本发明的利用距离信息来产生场景的图像的一般原理；
[0022]-图2示出了根据图1的场景产生的连续图像；
[0023]-图3示出了用于实施本发明的像素和读取电路的架构；
[0024]-图4示出了显示操作方法的时序图；
[0025]-图5具体示出了跟随光脉冲建立累积时隙的信号同步。
【具体实施方式】
[0026]在图1中概要示出根据本发明的方法。该方法利用与脉冲光源LS相关的相机CAM，相机的图像传感器的操作相对于光源的操作同步。光源可以是近红外光源，尤其是产生旨在在雾天观察或者检测障碍物的图像的情况下。相机包括物镜传感器和图像传感器。传感器包括有源像素矩阵和内部时序电路，该内部时序电路用于建立内部控制信号，并且特别用于行和列控制信号，所述行和列控制信号使得光生电荷能够被累积，然后该电荷能够被读取。
[0027]在图1中，相机和光源被显示为两个单独的物体，但是光源也可以被合并在相机的壳体中。提供了控制装置，其将图像传感器的操作相对于光源的脉冲操作同步。控制装置可以形成为光源的部件，或者相机的部件，或者连接至相机和光源二者的电子电路SYNC的部件。