专利名称：用于距离成像系统的实时动态参考图像产生的制作方法
技术领域：
本发明总体上涉及计算机视觉领域，更具体地涉及用于距离成像系统的动态参考图像产生。
背景技术：
计算机视觉是与从图像获取信息相关的科学学科。在许多计算机视觉应用中的一个重要的任务是在特定应用感兴趣的对象和特定应用不感兴趣的背景对象之间进行区分。 用于处理这个问题的一种公知手段是背景减除，其中，从每一个输入图像减去参考图像，以便消除对于输入图像和参考图像公共的所有对象。如果被成像系统记录的背景保持不变， 即，如果背景不包含对于进入场景、退出场景和在场景内移动敏感的对象(诸如交通监视系统中的停泊的汽车)，并且如果照明条件保持相同(对于室外图像序列通常不是这样)， 则这种手段作用良好。如果背景可能有改变，则必须采取措施来动态地更新参考图像。在文章“A practical approach to real-time dynamic background generation based on a temporal median filter" (by B.Shoushtarian et al.，Journal of Sciences, Islamic Republic of Iran 14 (4)，2003，pp. 351-362)中，作者提供了基于时间中值滤波器的实时动态背景产生算法，该滤波器使用指数加权移动平均(EWMA)滤波。该文章的算法使用参考图像，在逐个像素的基础上将参考图像与进入的图像作比较。如果进入的图像的给定像素的像素值保持不变(在容差范围内)达到特定的时间，则假定该像素值是背景的一部分，并且将该值复制到参考图像。距离图像是一种图像，其中，每一个像素(图像元素)包含与从成像器系统至被成像到特定像素上的场景的一部分的距离对应的距离值。参考距离图像的像素包含参考图像值。如在2D成像的情况下那样，如果场景的背景不变，则距离成像中的背景减除是简单的。 在该情况下，可以使用空场景的不变的参考图像来去除背景。这种手段的问题是场景的背景必须在计算机视觉系统的生命周期上保持不变；否则，该系统的输出可能是错误的。虽然在实验室或工业环境中可以证明不变的背景的假设是正确的，但是它通常不适用于在自由地可访问的区域中安装的系统。技术问题本发明通过提出一种用于产生动态参考距离图像的方法来处理可变图像背景的问题。在权利要求1中定义了该方法。在从属方法权利要求中定义了可以在计算机程序或距离相机中实现的该方法的优选实施例。
发明内容
根据本发明，所述动态参考距离图像产生方法包括提供要动态更新的参考距离图像，所述参考距离图像由像素构成，每一个像素包含参考距离值。进一步提供获取的距离图像，所述获取的距离图像由像素构成，所述获取的距离图像的每个像素在所述参考距离图像中具有对应的像素，并且包含测量的距离值，所述测量的距离值以预定速率被更新。换句话说，在此假定所述获得的距离图像对应于当前帧。如果在包含无效的测量距离值的所述获取的距离图像中存在像素，则这样的像素因此被标注。将未被标注为包含无效的测量距离值的、所述获取的距离图像的每一个像素的测量的距离值与所述参考距离图像的所述对应的像素的所述参考距离值作比较。如果在下述情况下，则所述参考距离图像的那个像素的所述参考距离值被例如更新为所述测量的距离值或所述测量的距离值和一个或多个先前测量的距离值的平均值，a)所述测量的距离值被认为小于所述参考距离值，并且保持基本上不变达到第一时间段，或者b)所述测量的距离值被认为大于所述参考距离值，并且保持基本上不变达到比所述第一时间段小的第二时间段。如果条件a)和b)都未被满足，则替代地将保持所述参考距离值基本上不变。技术人员将意识到，所述方法提供了用于根据所述获取的图像的所述对应的像素的所述测量的距离值是小于还是大于所述存储的参考距离值而更新所述参考距离图像的像素的不同条件。如果所述当前的测量距离小于所述参考距离，则在场景的前景中存在对象。如果所述当前的测量距离大于所述参考距离，则去除属于所述参考图像的对象。根据所述方法，当先前稳定的对象消失(使得在所述对应的像素中测量较大的距离)时比当对象出现(使得在所述对应的像素中测量较小的距离)时更快地更新所述参考图像。可以将所述第二时间段，即，在测量距离值大于所述参考距离值的情况下用于更新参考距离值的等待时间段，可以被设置为小于帧时间段，使得所述更新在该情况下是即时的。因为所述方法提供像素是否包含无效的测量的距离值(如果成像的场景的部分与所述成像器具有大距离，则无效的测量的距离值在距离图像中是常见的)的检查并且只有所述测量的距离值有效时才更新对应的参考像素，所以所述方法相对于向所述参考距离图像内引入测量误差是健壮的。优选的是，只有所述参考距离值超过所述测量的距离值至少预定义的容差值，所述测量的距离值才被认为小于所述参考距离值。类似地，优选的是，只有所述测量的距离值超过所述参考距离值至少预定义的容差值，所述测量的距离值才被认为大于所述参考距离值。所述容差值优选地相等，但是如果相对于实际值的偏差在一个方向上比在另一个方向上更可能和/或更高，则所述容差值也可以不同。优选的是，如果条件i. a)和i. b)都未被满足则将所述参考距离值保持基本上不变包括如果所述测量的距离值被认为等于(即，既不大于也不小于)所述参考距离值，则将所述测量的距离值(的贡献)整合到所述参考距离值内。优选的是，使用诸如移动平均滤波器、中值滤波器等的预定滤波器来选择所述测量的距离值的所述贡献。如将意识到的， 这有助于降低在所述参考距离图像上的噪声。所述第一时间段和/或所述第二时间段可以被预定义为绝对时间段。替代地，可以相对于可以在运行时间期间确定的另一个时间段定义所述第一时间段和所述第二时间段。例如，可以将所述第一时间段或所述第二时间段选择得等于下述(动态确定的)时间段在所述时间段期间，在所述第一或所述第二时间段分别已经开始之前，所述测量的距离值被认为等于所述参考距离图像。这意味着，如果比测量的距离值先前等于所存储的参考值的时间更长的时间内，所测量的距离值在与存储的参考距离值不同的值周围保持基本上不变，则将后者更新为所述当前测量的距离值。优选的是，对于被标注为包含无效的测量的距离值的所述获取的距离图像的每一个像素，如果所述像素已经保持被标注为包含无效的测量距离值达到第三时间段，则将所述参考图像的所述对应的像素的所述参考距离值更新为最大距离值。在所述方法的这种变型中，忽略被标注为包含无效的测量距离值的像素，除非它们保持如此被标注达到所述第三时间段，在该情况下，将所述参考图像像素更新为所述最大距离值。所述方法第三时间段可以被选择为等于预定(绝对)时间段和下述(动态确定的)时间段中的一个在所述(动态确定的)时间段期间，在所述获取的距离图像的像素已经被标注为包含无效的测量的距离值之前，所述测量的距离值被认为等于所述参考距离图像。在所述方法的一种优选变型中，将所述第三时间段设置为在运行时间期间等于预定时间段和下述(动态确定的)时间段中较短一个在所述(动态确定的)时间段期间，在所述获取的距离图像的像素已经被标注为包含无效的测量的距离值之前，所述测量的距离值被认为等于所述参考距离图像。技术人员将意识到，可以在用于识别距离图像内的兴趣对象的方法中使用动态参考距离图像产生方法，其中，基于所述获取的距离图像和所述参考距离图像来计算“无背景”距离图像，并且，在所述无背景图像中执行对象识别。术语“无背景”意图指定对应于所获取的距离图像的图像，其中，从所获取的距离图像中已经去除了对于参考距离图像和所获取的距离图像所公共的对象。术语“无背景”不意图暗示在所述无背景距离图像中仅存在兴趣对象。为了产生这样的无背景距离图像，优选地在逐个像素的基础上将所述当前获取的距离图像与所述参考距离图像作比较。如果认为像素的所述测量的距离值小于所述参考距离图像的对应的像素的参考距离值，则将该测量的距离值保持在所述无背景距离图像的所述对应的像素中。在相反情况下，例如，通过将该像素的距离值设置为默认值，将所述无背景距离图像的所述对应的像素标注为包含背景。换句话说，在所述获取的距离图像中包含与在所述参考距离图像中相同或比其高的距离值的像素在无背景距离图像中被标注为背景，并且可以在随后的图像处理步骤中被丢弃。本发明的一个方面涉及包括指令的计算机程序，当所述计算机程序在计算机上被执行时所述指令使得所述计算机执行所述动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法。本发明的另一个方面涉及一种包括载体介质的计算机程序产品，所述载体介质承载具有计算机可实现的指令的程序代码以使得计算机执行动态参考距离图像产生方法和/ 或识别距离图像内的兴趣对象的方法。所述载体介质可以包括例如永久或非永久存储器、 存储驱动器、其中具有根据预定义协议来编码的程序代码的电磁信号等。本发明的另一个方面涉及一种距离相机，所述距离相机包括用于执行动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法的模块。本发明的该方面的一个优选实施例涉及一种交通监视和/或控制系统，其中，在(优选地升高的)位置布置了一个或多个距离相机，以便获取道路用户(例如，小汽车、公共汽车、卡车、自行车、行人等)的距离图像，所述系统包括用于执行动态参考距离图像产生方法和/或识别由所述一个或多个距离相机获取的距离图像内的兴趣对象的方法的模块。用于执行动态参考距离图像产生方法和/或识别距离图像内的兴趣对象的方法的这种模块优选地包括专用集成电路、现场可编程门阵列、数字信号处理器和计算机程序中的至少一种。
现在将参考附图通过示例来描述本发明的优选实施例，在附图中图1是根据现有技术的3D飞行时间相机的示意图；图2示出帧序列，该帧序列说明了如果将静态对象置于距离成像器的视场内则更新参考距离图像；图3示出帧序列，该帧序列说明了如果将静态对象取出距离成像器的视场则更新参考距离图像；图4是根据本发明的一个方面的交通监视控制系统的示意图。
具体实施例方式可以通过使用例如雷达、声音或光学飞行时间(TOF)测量的几种获取技术来获取距离图像。为了说明，将参考图1来描述已知的光学TOF距离成像技术。通过(可见、红外线或紫外线)光波的距离测量通常要求及时改变所发射的光的强度。例如，可以使用相移技术或脉冲技术来实现TOF方法。对于相移技术，周期地调制 (例如，通过正弦调制)所发射的光的振幅，并且，将在发射处的调制的相位与在接收处的调制的相位作比较。对于脉冲技术，以离散脉冲来发射光，而不要求周期性。在相移测量中，调制周期通常为大约在最大测量距离和最小测量距离之间的差除以光速的两倍。在这种手段中，通过在发射和接收的光信号之间的相位比较，将传播时间间隔确定为相差。这样的相位比较要求解调信号与发射光信号的同步。因为通过光速给出的高传播速度，在基于脉冲技术或相移技术的距离测量中遇到的基本困难在于测量设备的所需的时间分辨率。事实上，在厘米的数量级上的空间分辨率要求在10_"秒(IOps)的数量级上的时间分辨率。在 EP 1 152 261 Al (授予 Lange 和 kitz)和 WO 98/10255 (授予 khwarte)中详细描述了基于飞行时间测量的距离成像的原理。可以在Robert Lange的博士论文“3D Time-of-Flight Distance Measurement with Custom Solid-State Image Sensors in CMOS/CCD-Technology"(锡根大学的电子工程和计算机科学系)中找到该技术的更详细的描述。图1描述了根据现有技术的距离相机100(例如参见用于参考的W02006/097406 A2)。信号源101在其输出节点上产生调制信号102。照明驱动器103将调制信号放大以驱动由几个单独的光发射设备151构成的照明模块105。该照明模块发射强度调制的光波106，该光波被引导到要成像的场景内。在场景内的对象107将该光的部分散射回锁定 (lock-in)像素传感器单元152(以下为了缩短表示而称为锁定像素)的阵列112上。每一个锁定像素152同时被馈送由光门驱动器109从调制信号102得出的解调信号110。在解调信号110的控制下，每一个锁定像素152整合通过在至少三个时间间隔期间的碰撞的光而在其中产生的电荷，每一个时间间隔对应于在调制信号的一个周期内的不同相位。每一个锁定像素152提供了响应信号113，用于指示不同时间间隔的整合电荷。根据Robert Lange的博士论文的术语集，该原始相位信息有时被称为“分接(tap)值”或“分接响应”。 为了简化在接收的光和调制信号之间的相位差的计算，通常选择与分隔90°的相位对应的四个整合间隔。对于每一个像素，因此对于每一个获取的图像检索四个分接值(称为AO、 A1、A2、A3)。分接值被计算单元114转换为相位信息115。使用四个分接值，将相位差φ计
算如下
9=atan2 (A1-A3, A2-A0)其中，atan2(X，y)是四象限反正切函数，得出在平面的正χ轴和在那个平面上的具有坐标(x，y)的点之间的角度。对于偏移补偿，距离相机包括校准锁定像素153，校准锁定像素153经由参考光路(由光导117提供)从照明模块105接收调制光。因为已知参考光路的长度，所以使用来自参考锁定像素的分接响应计算的相位差可以用于确定全局偏移(即，对于所有锁定像素公共的)。因此可以补偿因为照明单元的老化或因为改变的环境温度导致的相移。计算单元114优选地是数字电路，诸如数字ASIC(专用集成电路)或 FPGA (现场可编程门阵列)。优选地作为微控制器的控制单元116进一步处理距离信息以例如提取对象特性。关于相位φ，计算单元116计算反射光的调制振幅A和照明的非调制偏移B
权利要求
1.动态参考距离图像产生方法，包括提供由像素构成的参考距离图像，每一个像素包含参考距离值；提供由像素构成的获取的距离图像，所述获取的距离图像的每一个像素在所述参考距离图像中具有对应的像素，并且包含测量的距离值，以预定帧速率更新所述测量的距离值， 因此标注包含无效的测量的距离值的所述获取的距离图像的像素；将未被标注为包含无效的测量距离值的、所述获取的距离图像的每一个像素的所述测量的距离值与所述参考距离图像的所述对应的像素的所述参考距离值作比较，并且i)如果在下述情况下，则更新所述参考距离值i. a)所述测量的距离值被认为小于所述参考距离值，并且保持基本上不变达到第一时间段，或1.b)所述测量的距离值被认为大于所述参考距离值，并且保持基本上不变达到比所述第一时间段小的第二时间段；或者 )如果条件i. a)和i.b)都未被满足，则保持所述参考距离值基本上不变。
2.根据权利要求1所述的方法，其中，在情况i)下更新所述参考距离值包括将所述参考距离值更新为所述测量的距离值与所述测量的距离值和一个或多个先前测量的距离值的平均值中的一个。
3.根据权利要求1或2所述的方法，其中，只有所述参考距离值超过所述测量的距离值至少预定义的容差值，所述测量的距离值才被认为小于所述参考距离值。
4.根据权利要求1至3的任何一项所述的方法，其中，只有所述测量的距离值超过所述参考距离值至少预定义的容差值，所述测量的距离值才被认为大于所述参考距离值。
5.根据权利要求1至4中的任何一项所述的方法，其中，在情况ii)下保持所述参考距离值基本上不变包括如果所述测量的距离值被认为既不大于也不小于所述参考距离值， 则将所述测量的距离值的贡献整合到所述参考距离值中，其中，使用诸如移动平均滤波器、 中值滤波器等的预定滤波器来确定所述测量的距离值的所述贡献。
6.根据权利要求1至5的任何一项所述的方法，其中，所述第一时间段和/或所述第二时间段被预定义为绝对时间段。
7.根据权利要求1至5的任何一项所述的方法，其中，将所述第一时间段或所述第二时间段设置为等于下述时间段在所述时间段期间，在所述第一时间段或所述第二时间段分别已经开始之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
8.根据权利要求1至7的任何一项所述的方法，包括对于被标注为包含无效的测量的距离值的所述获取的距离图像的每一个像素，如果所述像素保持被标注为包含无效的测量距离值达到第三时间段，则将所述参考图像的所述对应的像素的所述参考距离值更新为最大距离值。
9.根据权利要求8所述的方法，其中，所述第三时间段被设置为等于预定时间段和和下述时间段中的一个在所述时间段期间，在所述获取的距离图像的所述像素被标注为包含无效的测量的距离值之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
10.根据权利要求8所述的方法，其中，所述第三时间段被设置为等于预定时间段和下述时间段中较短的一个在所述时间段期间，在所述获取的距离图像的像素被标注为包含无效的测量的距离值之前，所述测量的距离值被认为既不大于也不小于所述参考距离图像。
11.一种用于识别距离图像内兴趣对象的方法，所述方法包括根据在权利要求1至5的任何一项中所述的方法来产生动态参考图像； 基于所述获取的距离图像和所述参考距离图像来计算无背景的距离图像； 进行到在所述无背景图像中的对象识别。
12.包括指令的计算机程序，所述指令当所述计算机程序被在计算机上执行时使得所述计算机执行根据权利要求1至11的任何一项所述的方法。
13.包括载体介质的计算机程序产品，所述载体介质承载具有计算机可实现的指令的程序代码以用于使得计算机执行根据权利要求1至11的任何一项所述的方法。
14.距离相机，包括用于执行根据权利要求1至11的任何一项所述的方法的模块，所述模块优选地包括专用集成电路、现场可编程门阵列、数字信号处理器和计算机程序中的至少一种。
15.一种交通监视和/或控制系统，包括被布置在选择的位置中的一个或多个距离相机(16)以使得所述距离相机(16)能够获取道路用户0 的距离图像，所述系统包括被配置来执行根据权利要求1至10的任何一项所述的动态参考距离图像产生方法和/或用于识别在由所述一个或多个距离相机(16)获取的所述距离图像内的兴趣对象的、根据权利要求11所述的方法的模块。
全文摘要
一种动态参考距离图像产生方法包括提供要动态更新的、由像素构成的参考距离图像，每一个像素包含参考距离值。提供获取的距离图像，其的像素每一个包含测量的距离值，以预定速率更新所述测量的距离值。包含无效测量的距离值的获取的距离图像的像素因此被标注。将未被标注为包含无效的测量的距离值的、获取的距离图像的每个像素的测量的距离值与参考距离图像的对应的像素的参考距离值作比较。如果在下述情况下，则将参考距离图像的那个像素的参考距离值例如更新为测量的距离值或测量的距离值和一个或多个先前测量的距离值的平均值a)测量的距离值被认为小于参考距离值，并且保持基本上不变达到第一时间段，或者，b)测量的距离值被认为大于参考距离值，并且保持基本上不变达到比第一时间段小的第二时间段。如果条件a)和b)都未被满足，则替代地保持参考距离值基本上不变。
文档编号G06K9/00GK102576407SQ201080047423
公开日2012年7月11日 申请日期2010年9月16日 优先权日2009年9月23日
发明者B·米尔巴赫, F·格朗迪迪埃, T·索利尼亚克 申请人:Iee国际电子工程股份公司