专利名称：用于运动估计的耦合距离和强度成像的制作方法
技术领域：
本发明涉及确定目标的位置和相对速度。
背景技术：
车辆可配备有半自主或自主地控制车辆从而保持在道路中的相对位置和避免与目标或结构碰撞的系统或装置。这种系统可涉及使用各种传感器，用于检测结构或目标(例如，道路边缘和其它目标)的位置。例如，各个传感器可操作检测距目标的距离和从目标反射的辐射强度分布。
发明内容
耦合距离成像器和强度成像器可操作获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据。配准距离和强度数据可以被分析以获得或产生成像场景的成像目标的元件的估计运动。方案1.一种方法，包括:
操作耦合距离成像器和强度成像器，以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据；以及
分析配准距离和强度数据，以获得成像场景的成像目标的元件的估计运动。方案2.根据方案I所述的方法，包括缩放所获得距离数据的像素以与所获得强度数据的像素匹配。方案3.根据方案·I所述的方法，其中，获得每个自动配准图像包括将距离数据的像素与强度数据的相应像素组合以形成自动配准图像的像素。方案4.根据方案I所述的方法，其中，分析配准距离和强度数据包括找到约束估计运动的距离流平面。方案5.根据方案I所述的方法，其中，分析配准距离和强度数据包括应用光流技术。方案6.根据方案I所述的方法，其中，分析配准距离和强度数据包括应用迭代技术。方案7.根据方案I所述的方法，其中，操作耦合距离成像器和强度成像器包括产生共同触发信号以使得距离成像器和强度成像器获取数据。方案8.根据方案I所述的方法，其中，操作距离成像器包括操作发光装置发射光脉冲以由距离成像器检测。方案9.根据方案8所述的方法，其中，获得距离数据包括测量脉冲发射和脉冲检测之间的时间延迟。方案10.根据方案I所述的方法，包括计算与成像目标碰撞的时间。方案IL 一种系统,包括
会聚光学器件，用于收集来自于场景的光且聚焦所收集的光；强度成像器检测器；
距离成像器检测器；
分束器，用于划分由会聚光学器件收集的光，从而所收集的光的一部分聚焦在强度成像器检测器上，且所收集的光的另一部分聚焦在距离成像器检测器上；以及
控制器，用于控制强度成像器检测器获得场景的强度图像且同时控制距离成像器检测器获得距离图像，将所获得的强度和距离图像组合成自动配准图像，且分析相继获得的自动配准图像序列以计算场景中的成像目标的元件的估计运动。方案12.根据方案11所述的系统，其中，所述强度成像器检测器包括C⑶或CMOS检测元件阵列。方案13.根据方案11所述的系统，包括发射器，用于朝向场景发射光脉冲。方案14.根据方案13所述的系统，其中，所述控制器配置成测量由发射器发射脉冲至在由目标元件反射时由距离成像器检测器的检测元件检测脉冲之间的飞行时间，且基于测量的飞行时间来计算距元件的距离。方案15.根据方案11所述的系统，其中，通过单个触发，所述强度成像器检测器可控制获得强度图像且所述距离成像器检测器可控制获得距离图像。方案16.根据方案11所述的系统，其中，所述控制器配置成通过计算相继获得的自动配准图像之间的光流来计算估计运动。方案17.根据方案16所述的系统，其中，光流的计算包括距离流平面的计算。方案18.根 据方案11所述的系统，包含到车辆中。方案19.根据方案18所述的系统，其中，所述控制器配置成估计与成像目标碰撞的时间。方案20.根据方案18所述的系统，其中，所述车辆包括自主驾驶系统，用于根据所计算的元件运动来控制车辆的运动。
在说明书的结束部分特别指出并且明确地要求保护被作为本发明的主题内容。然而，本发明在体系和操作方法、及其目的、特征和优势方面，通过参考下述详细说明并且结合附图阅读能够被最佳地理解，在附图中:
图1是根据本发明实施例的带有耦合距离成像器和强度成像器的系统的示意 图2示意性地示出了根据本发明实施例的包含带有耦合距离成像器和强度成像器的系统的车辆；
图3是根据本发明实施例的耦合距离成像器和强度成像器装置的操作方法的流程图； 图4图示了根据本发明实施例的距离和强度图像的像素的协调获取；和 图5是根据本发明实施例的运动估计方法的流程图。将理解的是，为了图示简单和清楚，附图所示的元件不必按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件放大。此外，在认为合适时，附图标记可以在附图中重复以表示对应或类似的元件。
具体实施方式
在以下详细说明中，阐述各个具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将理解的是，本发明实施例能够在不具有这些具体细节的情况下被实践。在其他情况下，公知的方法、过程和部件没有详细描述，从而使得本发明易懂。除非另有具体声明，否则如从下述讨论中显而易见地应当理解，贯穿该说明书，利用了诸如“处理”、“计算”、“存储”、“确定”、“评估”、“计算”、“测量”、“提供”、“转换”等等的术语的讨论是指计算机或计算系统或类似的电子计算装置的动作和/或过程，其将表示为计算系统的寄存器和/或存储器内的物理(例如电子)量的数据操纵和/或转换成类似地表示为计算系统的存储器、寄存器或其他这种信息存储、传输或显示装置内的物理量的其他数据。根据本发明的实施例，一种系统可包括被光学耦合且以耦合方式操作的距离成像器和强度成像器。例如，耦合距离成像器和强度成像器可以包含到车辆自主驾驶控制系统中或者与车辆自主驾驶控制系统相关联。(在一些实施例中，不需要使用自主驾驶控制系统)。这种耦合可称为紧密耦合，因为这是距离和强度成像器装置的物理耦合(例如，机械(两者彼此附连)，光学(由两者形成的图像具有彼此恒定的关系，和电子(单组电子器件操作两者))。例如，距离成像器和强度成像器可共用成像光学器件，其将入射辐射聚焦到距离和强度成像器两者的检测器上。例如，入射辐射可以经由分束器通过，分束器将入射辐射的一部分引导到距离成像器的检测器，且将一部分引导到强度成像器的检测器。类似地，距离和强度成像器两者中的图像获取可同步(例如，由共同触发信号启动)。由此，在经由距离成像器获取的距离图像和经由强度成像器获得的强度图像之间可存在自动已知(例如，不用获取图像的图像分析)时间和空间关系(或配准)。该自动已知时间和空间关系可以称为自动配准。因而，来自于两个成像器的图像数据可以组合成单个自动配准图像。距离和强度数据可以实际上组合，例如通过并入单个数据结构，或者可作为单组数据处理，通过使用距离和强度图像的像素之间的已知相关性。因而，距离成像器和强度成像器的同步操作可允许获得自动配准图像。重复同步操作两次或更多次可允许获得至少两个自动配准图像序列。自动配准图像的分析可以获得或产生成像目标的三维位置信息。连续获取的图像的分析可以获得与成像目标相对于与距离和强度成像器有关(例如，安装在其上，由其承载，或附连到其上)的平台(例如，车辆)的运动有关的信息(例如，经由光流技术的应用)。自动配准可以通过由距离和强度成像器的物理耦合引起的已知时间和空间关系允许。另一方面，在没有这种物理耦合(例如，如一些现有技术系统中那样)时，成像器可弱耦合。例如，对于现有技术弱耦合系统，距离成像器和强度成像器将针对单个目标，但是每个成像器将具有独立的成像光学器件，且图像获取通过独立触发信号触发。因而，图像获取将仅仅通过共同时钟来大约地同步。在这种现有技术系统中，获取图像中的目标可通过应用图像处理技术配准。应用这种图像处理技术可将不准确性引入配准(例如，尤其是在成像场景杂乱时)。图像处理技术的这种应用将比由根据本发明实施例的距离和强度成像器的物理耦合得到的自动配准更耗时。图1是根据本发明实施例的带有耦合距离成像器和强度成像器的系统的示意图。耦合距离成像器和强 度成像器装置10可例如包含在车辆的自主驾驶系统中。耦合距离成像器和强度成像器装置10可包括控制器12。控制器12可包括用于控制耦合距离成像器和强度成像器装置10的一个或多个部件的一个或多个控制器装置。控制器12可以根据包含的电路确定来操作，可根据编程指令操作，或者可根据上述组合来操作。控制器12可以包含在处理器32中或者可以与处理器32通信，或者可与处理器32独立地操作。例如，处理器32可包含在车辆的自主驾驶系统中，或者可以是独立处理器。处理器32可包括多个互相通信的处理装置。处理器32可根据编程指令操作。处理器32可以与数据存储装置34通信或者与数据存储装置34相连。处理器32可以包括例如中央处理单元处理器(CPU)、芯片或任何合适计算或可计算装置。处理器32可包括多个处理器，且可包括通用处理器和/或专用处理器(例如，图形处理芯片)。处理器
32可以执行例如存储在存储器36或数据存储装置34中的代码或指令，以实现本发明的实施例。存储器36可以是或者可包括例如随机存取存储器(RAM)、只读存储器(ROM)、动态RAM (DRAM)、同步DRAM (SD-RAM)、双倍数据速率(DDR)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适存储器单元或存储装置单元。存储器36可以是或可包括多个存储器单元。数据存储装置34可以是或者可包括例如硬盘驱动器、软盘驱动器、光盘(⑶)驱动器、⑶可记录(⑶-R)驱动器、通用串行总线(USB)装置或其他合适可拆卸和/或固定存储装置单元，且可包括多个这种单元或这种单元的组合。例如，数据存储装置34可操作存储用于操作处理器32或控制器12的编程指令，可用于存储由耦合距离成像器和强度成像器装置10获取的数据，或者可用于存储可在处理器32或控制器12操作期间使用或生成的数据或参数。处理器32可以与 存储器装置36通信或者与存储器装置36相连。存储器装置36可包括在处理器32或控制器12操作期间可存储数据且可读取数据的一个或多个易失性或非易失性存储器装置。例如，控制器12可控制耦合距离成像器和强度成像器装置10的部件的操作，例如，调制解调器14、距离成像器检测器28和强度成像器检测器30。控制调制解调器14、距离成像器检测器28和强度成像器检测器30的操作可以允许获取自动配准距离-强度图像。控制器12可以控制包括光源16的光发射器，其操作由调制解调器14控制。例如，光源16可包括能够发射已知波长(或波长组或范围)的辐射的激光二极管或发光二极管(LED)。光源16可包括多个相同或不同光源。调制解调器14可控制光源16发射光脉冲(本文指代任何合适电磁辐射，例如红外或接近红外辐射，而不必是可见辐射)，或者发射具有预定时间变化模式的光，例如强度模式或变化波长模式。发射的福射可由发射器光学器件18朝向场景引导。例如，发射器光学器件18可包括一个或多个透镜、镜、棱镜、光圈或用于将由光源16发射的光的至少一部分以光束、光扇或光锥的形式朝向场景再次引导的其它光学部件。例如，发射器光学器件18可包括固定部件，或者可包括一个或多个可移动部件。可移动部件可以例如由控制器12控制，以扫描跨过场景的光束，从而照亮场景的多个区域。场景可以包括目标20。从光源16发射的光可以由目标20上的各个点朝向会聚光学器件24反射。类似地，来自于环境源22的光(例如，来自于太阳或来自于天空的直接或反射自然光，或者环境人工照明，例如来自于街灯或来自于车辆前灯，或者来自于与耦合距离成像器和强度成像器装置10有关的稳定或间歇性光源)可以从目标20朝向会聚光学器件24反射。例如，来自于环境源22的光可以是多色的(例如，基本上白色)。因而，源于环境源22且从目标20反射的光谱可以根据目标20的表面颜色着色。入射在会聚光学器件24上的光可以朝向分束器26聚焦和引导。例如，会聚光学器件24可包括一个或多个透镜、镜、棱镜、光圈或用于将由从场景(例如，包括目标20的场景)入射的光的至少一些朝向分束器26引导的其它光学部件。分束器26可以将入射光中的一些朝向距离成像器检测器28引导，且将一些朝向强度成像器检测器30引导。例如，分束器26可包括选择镜或滤光器，其将光源16发射的光频谱范围的光朝向距离成像器检测器28引导。作为另一个示例，光可以使用不是频谱选择的另一种类型分束技术在距离成像器检测器28和强度成像器检测器30之间划分。例如，分束器26可包括空间反射或透射表面，例如部分镀银的镜、棱镜、滤光器或其它类似部件。由于会聚光学器件24的聚焦，场景图像，包括目标20的图像，可在距离成像器检测器28和强度成像器检测器30两者上同时成像。控制器12于是可以操作距离成像器检测器28和强度成像器检测器30以同时获得距离和强度图像。例如，控制器12可以控制距离成像器检测器28的距离成像器像素29以便以与光源16发射光同步的方式检测入射光。例如，与距离成像器像素29有关或包含在距离成像器像素29中的电子器件或电路可以配置成测量从光源16到距离成像器像素29的光脉冲的飞行时间。由此，可以计算从耦合距离成像器和强度成像器装置10到目标20的每个成像点(例如，成像点21)的距离(例如，间距)。点的计算距离的二维阵列25或距离图像可以保存在例如存储器36中或·数据存储装置32上。例如，距离成像器检测器28可包括由PMDTechnologies制造的类型的光子混成器件(PMD)飞行时间照相机。与距离图像的获取同时或者基本同时，控制器12可以控制强度成像器检测器30以获取成像场景(包括目标20)的强度图像。例如，强度成像器检测器30的强度成像器像素31可包括电荷耦合装置(CCD)检测器或互补金属氧化物半导体(CMOS)的阵列，或者其它类型的成像器。每个检测器可产生表示入射在该检测器上的辐射强度的信号，因而确定得到的图像的相应像素的亮度。检测器的这种阵列可包括分色机构(例如，彩色滤光器阵列)，从而产生彩色图像。例如，检测器阵列可产生三色红-绿-蓝(RGB)图像。因而，成像目标可通过其表面颜色以及其位置彼此区分。获得的图像可以保存在例如存储器36中或数据存储装置32上。由于光学器件的共用和图像获取的同步，获得的距离和强度图像自动对准。因而，从相对于会聚光学器件24的光轴处于已知角位置的成像目标的元件反射的辐射可总是聚焦到同一对距离成像器像素29和对应强度成像器像素31上。可以构建将每个距离成像器像素29与其对应强度成像器像素31相关联的映射表、表格、函数关系或其它对应性。例如，这种对应性可以在耦合距离成像器和强度成像器装置10制造或维护期间在系统上执行或者在生产线设计或开发阶段在耦合距离成像器和强度成像器装置10的原型上执行的标定过程期间测量或构建。获得的距离图像和强度图像可以组合成单个距离-强度图像。因而，距离-强度图像的每个点(例如，像素)可以由四个值表征，其表征成像目标20的对应点或区域:距目标点的距离(一个值)和在每个RGB彩色色板中的反射光强度(三个值)。其它类型的强度数据(例如，使用一组可选彩色色板或单色图像)可以使用。可以使用其它数量的值。在相继时间形成的图像之间的差异可以被分析以获得或产生每个成像目标(或目标点)相对于耦合距离成像器和强度成像器装置10的运动或估计运动。得到的运动可以例如用作控制车辆以避免与成像目标碰撞的基础。图2示意性地示出了根据本发明实施例的包含带有耦合距离成像器和强度成像器的系统的车辆。车辆或主车辆50 (例如，货车、SUV、公共汽车、小客车、摩托车或其它车辆)可包括耦合距离成像器和强度成像器装置10。耦合距离成像器和强度成像器装置10可与一个或多个自动车辆控制系统、自主驾驶应用或车辆自动控制系统90结合或者独立地操作。车辆自动控制系统90可例如是自动转向系统或自动制动系统。在接合时，车辆自动控制系统90可以完全或部分地控制车辆的转向或制动，改变或减少驾驶员(例如，车辆50的操作者)经由方向盘82或制动控制器24 (例如，制动踏板或手动制动器)的转向控制输入。一个或多个传感器可附连到车辆50或者与车辆50相关联。在本发明的一个实施例中，车辆50可包括一个或多个装置或传感器以测量车辆转向输入、车辆转向状况、车辆转向参数、车辆动力学、驾驶员输入或其它车辆有关状况或测量。车辆动力学测量装置可包括一个或多个转向角传感器(例如，连接到方向盘82或转向系统的其它部件)。车辆动力学测量装置还可以包括加速计、速度计、车轮速度传感器、惯性测量单元(MU)、换档位置传感器、气动踏板位置传感器、制动踏板位置传感器、或其它或不同装置。车辆动力学测量装置可以测量驾驶员输入或车辆动力学参数，包括横向(例如，角向或向心)加速度、纵向加速度、车辆加速度、转向扭矩、转向方向、方向盘角度、偏航率、横向和纵向速度、车轮旋转速度和加速度、以及车辆50的其它车辆动力学特性。车辆动力学测量装置还可以测量车辆50的至少一个轮胎中的每个上的竖直力。测量车辆动力学、车辆状况、转向测量、转向状况或驾驶员输入信息可以发送或传输给车辆自动控制系统90，经由例如有线链路(例如，控制器局域网络(CAN)总线、Flexray总线、以太网缆线)或无线链路。测量车辆动力学、车辆状况、或驾驶员输入信息数据可以由车辆自动控制系统90或其它系统使用，以确定碰撞的当前风险或概率，且计算车辆50的期望操作，从而最小化碰撞可能性或概率。虽然在本文讨论某些车辆动力学测量装置和车辆自动控制系统，但是可以使用其它类型的这种系统。此外，本文公开的耦合距离成像器和强度成像器装置不需要与车辆自动控制系统一起使用。在本发明的一个实施例中，车辆自动控制系统90可包括安装在车辆客舱40(或驾驶室)或货物区域60 (例如，货车)中的仪表盘上的计算装置或包括在所述计算装置中。在可选实施例中，车辆自动控制系统90可位于车辆50的其它部分中，可位于车辆50的多个部分中，或者可使得其功能中的全部或部分远程地定位(例如，在远程服务器中或者在便携式计算装置中，例如，蜂窝电话)。耦合距离成像器和强度成像器装置和车辆自动控制系统可使得其功能中的全部或部分由相同装置执行，例如，控制器12、处理器32、存储器36和/或数据存储装置34、或其它装置。虽然讨论了各个传感器和输入，在一些实施例中，可以使用传感器或输入的仅仅子组(例如，一个 )类型。
图3是根据本发明实施例的耦合距离成像器和强度成像器装置的操作方法的流程图。耦合距离成像器和强度成像器操作方法100可以通过与例如车辆的耦合距离成像器和强度装置有关的处理器或控制器实施。例如，耦合距离成像器和强度成像器操作方法100可以定期执行，例如以预定时间间隔或根据感测状况(例如，车辆速度、道路弯度、或环境状况)确定的时间间隔。关于该流程图且关于本文参考的所有流程图，应当理解的是，将所示方法划分成由独立框表示的独立操作仅仅是为了方便和清楚选择的。所示方法可以在具有等同结果的情况下以可选方式划分。方法的所有这种可选划分成操作应当认为落入本发明实施例的范围内。类似地，除非另有声明，框和表示的操作以仅仅是为了方便和清楚选择的顺序显示。除非另有声明，所示方法的所示操作可以在具有等同结果的情况下以可选顺序或者同时地执行。流程图的框和相应操作的所有这种重新排序应当认为落入本发明实施例的范围内。在执行耦合距离成像器和强度成像器操作方法100时，可等待触发信号(框100)。例如，触发信号可以由控制器以预定间隔产生和/或发送。产生相继触发信号的间隔可以根据要求(例如，车辆自主驾驶系统的，例如以便实时检测目标以避免车辆和目标之间的碰撞，或者以便最小化相继获取图像之间的差异)、根据系统性能(例如，获取和读取距离和强度数据所需的时间)或根据上述或任何其它因素的组合来确定。当检测触发信号时，可以获取强度图像或强度数据(框120)。例如，CXD读取电路可操作获得CCD阵列的每个CCD像素的累积电荷的读数。读数可以转换为成像场景的一个或多个强度映射。例如，读数可以转换为成像场景的RGB表示。还在检测触发信号时，可以获取距离图像或距离数据(框130)。距离图像或数据可以与强度图像或强度数据的获取同时或基本同时地获取。例如，触发信号可以使得距离成像器的调制解调器控制光源以发射光脉冲。同时，读取电路可操作获得发射和由距离成像器的每个像素检测脉冲之间的飞行时间。例如，读取电路产生的电压可表示且可以转换为脉冲从距离成像器的光源到 成像目标上的点且返回到距离成像器检测器的飞行时间。飞行时间可以乘以光速以获得或产生距离成像器和反射脉冲的点之间的来回路程距离。来回路程距离可以除以2以获得或产生成像点的距离。图4图示了根据本发明实施例的距离和强度图像的像素的协调获取。两个测量循环，测量循环170a和测量循环170b，可表示单个距离成像器像素和单个强度成像器像素的两个顺序同时或基本同时测量，或者不同像素的同时或基本同时测量。传输信号172由门控信号176触发，表示辐射的传输脉冲。传输信号172可以积分以获得或产生积分传输信号180(具有信号电压Sl)。如果传输脉冲的辐射从目标元件往回朝向系统的会聚光学器件反射，那么接收信号174a或174b可以由距离成像器检测器的像素接收。接收信号的测量时间延迟tD1或tD2可以与从系统到目标元件的距离相关。由门控信号178触发的接收信号的积分可以获得或产生积分接收信号182a或182b (分别具有信号电压s2a和s2b)。积分接收信号182a或182b的最大电压因而可以与接收信号的测量时间延迟tD1或tD2成比例。因而，在测量循环170a期间测量的飞行时间或等同地测量距离可以根据信号电压S1和信号电压s2a之间的计算差来确定。类似地，在测量循环170b期间测量的测量距离可以根据信号电压S1和信号电压s2b之间的计算差来确定。积分强度信号186a或186b的测量可以由门控信号184门控。强度信号电压I1和i2可以表示由成像目标元件反射且在强度成像器检测器上成像的环境光强度。积分强度信号186a和186b可表示亮度测量(例如，以形成灰度图像)，或者可表示(例如，RGB成像系统的)具体颜色信号的强度测量。在一些实施例中，可测量多个积分强度信号186a或186b。例如，可以测量红色、绿色和蓝色；或者任何其它组合的强度信号186a或186b。强度成像器检测器中的像素间距可以与距离成像器检测器中的像素间距不同。因而，得到的原始强度图像和距离图像的分辨率可以不同。例如，读取距离图像可比读取强度图像更耗时。此外，读取距离图像的电路可比读取强度图像的电路更复杂。因而，距离图像的分辨率可比强度图像的分辨率更低(更宽间隔的像素)。使用的系统之间的其它差异可以在一些实施例中存在，且本文所述的差异可以全部或部分颠倒。再次参考图3，具有较低分辨率的图像(例如，距离图像)可以缩放以获得或产生与具有较高分辨率的图像(例如，强度图像)相同的分辨率(框140)。例如，插值技术可以应用于距离图像的像素，以计算与强度图像的像素相对应的中间部分(在现有距离测量之间)处的插值距离。由于缩放，强度图像的每个像素(表示成像目标上的点)对应于距离图像的像素(表示成像目标的该点的距离)。在两个图像具有相等分辨率的情况下，缩放可能没有效果(缩放图像与缩放之前的图像相同)。在这种情况下，框140所示的操作可以省去。在较低分辨率图像的任何缩放之后，两个图像可组合成自动配准图像(框150)。自动配准图像的每个像素可以例如由距离和强度相关值(例如，灰度色标或RGB)或多个值(例如，红色、蓝色和绿色值)表征。相继获得的自动配准图像序列可以获得和分析以获得、产生或确定成像目标的运动或估计运动。例如，目标运动分析可以由自主驾驶系统使用，以控制车辆操作，以便避免与目标碰撞。作为另一个示例，驾驶员辅助应用可警告驾驶员车辆与目标可能碰撞，从而允许驾驶员调节车辆控制以便防止碰撞。自动配准图像的强度( 或颜色)信息和距离信息的组合可以加快数据分析，从而明确地确定成像目标的运动速度。例如，强度或颜色信息的分析可允许识别相继获取图像的成像目标。相应的相继获取距离信息的分析可获得或产生目标距离变化。类似地，图像目标的每个元件的距离的知识可允许将图像间距明确地转换为目标或目标元件之间的横向距离。估计距离和速度可以例如根据情况使用。图5是根据本发明实施例的运动估计方法的流程图。例如，可以相继地获取两个帧(每个包括从自动对准距离和强度图像获得的三维数据)。先前获取的帧可以称为模板图像r(u)，新获取的帧可以称为输入图像j(u)，其中，U= 0/，K)称为像素的图像横坐标和纵坐标。估计目标(或，目标元件)的速度可以描述为计算目标表面的连续区域分别沿X、Y和X轴的三维位移P = (U’V’lf)。Z轴描述区域的间距(距离)，Χ和Y描述横向距离(例如，相对于系统的会聚光学器件的光轴)。从该对帧适当地获得运动可包括自动地确定输入图像的哪个区域或小块与模板图像的给定小块相对应(例如，表示相同目标元件但是移位的图像)。运动估计方法200可以对输入图像的每个小块(局部区域)执行(框210)。基于图像中的三维信息，可计算梯度0/和0/ (框220)。类似地，模板图像和输入图像之间的小块距离(由Z量化)的时间位移ΔΖ可计算(框230)。计算梯度和距离位移可以用于限定或产生距离流平面(range flow plane)(框240)。例如，小块中的点a的深度可以表示为距离流平面，可以同系形式表示为(根据时间):
权利要求
1.一种方法，包括: 操作耦合距离成像器和强度成像器，以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据；以及 分析配准距离和强度数据，以获得成像场景的成像目标的元件的估计运动。
2.根据权利要求1所述的方法，包括缩放所获得距离数据的像素以与所获得强度数据的像素匹配。
3.根据权利要求1所述的方法，其中，获得每个自动配准图像包括将距离数据的像素与强度数据的相应像素组合以形成自动配准图像的像素。
4.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括找到约束估计运动的距离流平面。
5.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括应用光流技术。
6.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括应用迭代技术。
7.根据权利要求1所述的方法，其中，操作耦合距离成像器和强度成像器包括产生共同触发信号以使得距离成像器和强度成像器获取数据。
8.根据权利要求1所述的方法，其中，操作距离成像器包括操作发光装置发射光脉冲以由距离成像器检测。
9.根据权利要求8所述的方法，其中，获得距离数据包括测量脉冲发射和脉冲检测之间的时间延迟。
10.一种系统,包括 会聚光学器件，用于收集来自于场景的光且聚焦所收集的光； 强度成像器检测器； 距离成像器检测器； 分束器，用于划分由会聚光学器件收集的光，从而所收集的光的一部分聚焦在强度成像器检测器上，且所收集的光的另一部分聚焦在距离成像器检测器上；以及 控制器，用于控制强度成像器检测器获得场景的强度图像且同时控制距离成像器检测器获得距离图像，将所获得的强度和距离图像组合成自动配准图像，且分析相继获得的自动配准图像序列以计算场景中的成像目标的元件的估计运动。
全文摘要
一种方法和系统可操作耦合距离成像器和强度成像器以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据。配准距离和强度数据被分析以获得成像场景的成像目标的元件的估计运动。
文档编号G01S17/08GK103245951SQ201310050118
公开日2013年8月14日 申请日期2013年2月8日 优先权日2012年2月10日
发明者S.曾 申请人:通用汽车环球科技运作有限责任公司