专利名称：用于利用激光雷达和视频测量结果生成三维图像的系统与方法
技术领域：
本发明总体上涉及组合激光雷达(lidar，即laser radar)测量结果和视频图像来生成目标的三维图像，更特别地，涉及经激光雷达测量结果和视频图像来分解(resolve) 与移动目标相关联的六自由度轨迹，来获得该目标的运动稳定的三维图像。
背景技术：
各种传统系统都尝试合并激光雷达测量结果和视频图像，来获得目标的三维图像。一般来说，为了组合激光雷达测量结果与视频图像以形成三维图像，这些传统系统需要目标的某种预先指定的初始模型。可惜的是，预先指定的初始模型对系统组合激光雷达测量结果与视频图像的能力施加了显著的约束，而且因此三维图像不足以识别目标。此外，这些传统系统一般不能适当地考虑目标的运动，因此在目标捕捉时段期间常常需要目标保持基本不动。需要一种用于利用激光雷达和视频测量结果捕捉三维图像的改进的系统与方法。
发明内容
本发明的各种实现组合由激光雷达系统生成的测量结果和由视频系统生成的图像，来分解描述目标的运动的六自由度轨迹。一旦分解了这种轨迹，就可以生成目标的准确三维图像。在本发明的有些实现中，描述目标运动的轨迹包括目标的三维平移速度和三维旋转速度。在本发明的有些实现中，激光雷达系统和视频系统耦合到分解目标轨迹的处理器。在本发明的有些实现中，激光雷达系统包括两个或者更多个扫描目标的射束。在本发明的有些实现中，激光雷达系统包括四个或者更多扫描目标的射束。每个射束都为目标上多个点中的每一个点生成距离(range)和多普勒(Doppler)速度。在本发明的有些实现中， 这些点是按照关于激光雷达系统的方位角和仰角来表达的。在本发明的有些实现中，视频系统包括提供目标的多个帧(即，两维图像)的照相机。在本发明的有些实现中，处理器使用来自激光雷达系统的距离和多普勒速度测量结果及来自视频系统的图像，分解目标的轨迹。在本发明的有些实现中，处理器按照两个级来实现其第一级，其中距离和多普勒测量结果与从图像获得的各种特征测量结果一起用于估计目标的第一级运动方面(即，目标的轨迹)；及第二级，其中图像用于估计目标的第二级运动方面。一旦确定了目标的轨迹(即，从目标的第二级运动方面)，就可以生成目标的三维图像。以下更具体地描述本发明的这些实现、特征及其它方面。
图1例示了根据本发明各种实现的组合的激光雷达与视频照相机系统。图2例示了根据本发明各种实现的激光雷达。图3例示了根据本发明各种实现的用于采用两个激光雷达射束的激光雷达子系统的扫描模式。图4例示了根据本发明各种实现的用于采用四个激光雷达射束的激光雷达子系统的扫描模式。图5例示了根据本发明各种实现的从激光雷达子系统从单独的射束在基本上相同的时刻获得的点之间的关系，其可以用于估计目标的角速度的X分量。图6例示了根据本发明各种实现的从激光雷达子系统从单独的射束在基本上相同的时刻获得的点之间的关系，其可以用于估计目标的角速度的y分量。图7例示了根据本发明各种实现的从视频子系统获得的点之间的关系，其可以用于估计目标的两维(例如，X和y分量)平移速度和角速度的Z分量。图8例示了根据本发明各种实现的激光雷达射束的扫描模式。图9例示了根据本发明各种实现的可以用于描述与来自激光雷达子系统的测量结果相关联的各个定时方面的时序图。图10例示了根据本发明各种实现的可以用于关于来自视频子系统的测量结果描述与来自激光雷达子系统的测量结果相关联的各个定时方面的时序图。图11例示了根据本发明各种实现的用于处理激光雷达测量结果和视频图像的框图。图12例示了根据本发明各种实现的用于处理激光雷达测量结果和视频图像的框图。图13例示了根据本发明各种实现的用于处理激光雷达测量结果和视频图像的框图。图14例示了根据本发明各种实现的用于处理激光雷达测量结果和视频图像的框图。图15例示了根据本发明各种实现的用于处理激光雷达测量结果和视频图像的框图。
具体实施例方式图1例示了根据本发明各种实现的组合的激光雷达与视频照相机系统100。本发明的各种实现利用激光雷达测量结果和视频图像之间的协同把目标运动的六个自由度分解到单独利用激光雷达或者视频照相机不可能实现的度。组合的系统100包括激光雷达子系统130、视频子系统150和处理系统160。如所例示的，激光雷达子系统130包括两个或更多个激光雷达射束输出112(例示为射束112A、 射束112B、射束112 (η-l)及射束112η)；两个或更多个反射射束输入114(例示为反射射束114A、反射射束114B、反射射束114(n-l)及反射射束IHn)，其中每个都对应于射束112 中的一个；两个或更多个激光雷达输出116(例示为与射束112A/反射射束114A相关联的激光雷达输出116A、与射束112B/反射射束114B相关联的激光雷达输出116B、与射束 112(11-1)/反射射束114(11-1)相关联的激光雷达输出116 (n_l)，及与射束112η/反射射束 IHn相关联的激光雷达输出116η)，其中每一个激光雷达输出116与一个射束112/反射射束114的对相关联。在本发明的有些实现中，射束转向(steering)机构140可以用来使一个或多个射束112朝向目标190转向。在本发明的有些实现中，射束转向机构140可以包括单独的转向机构，例如转向机构140A、转向机构140B、转向机构140C和转向机构140D，其中每个转向机构都独立地使射束112朝向目标190转向。在本发明的有些实现中，一个射束转向机构 140可以独立地使成对或成组的射束112朝向目标190转向。在本发明的有些实现中，射束转向机构140可以包括一个或多个反射镜，每个反射镜都可以或者可以不被独立控制，每个反射镜都使一个或多个射束112朝向目标190转向。在本发明的有些实现中，射束转向机构140可以直接使射束112的光纤转向，而无需使用反射镜。在本发明的有些实现中，射束转向机构140可以被控制成在方位角和/或仰角上使射束112转向。正如将认识到的，射束转向机构140可以采用各种技术来使射束112 朝向目标190转向。在本发明的有些实现中，射束转向机构140可以用于朝向目标控制两个射束112 的方位角和仰角两者。通过控制方位角和仰角两者，两个射束112可以用于扫描可能目标的体积或者跟踪诸如目标190的特定目标。很显然，其它的扫描机制也可以采用。在本发明的有些实现中，两个射束112可以彼此有偏移。在本发明的有些实现中，两个射束112可以垂直地(例如，在仰角上)或者水平地(例如，在方位角上)彼此偏移预定的偏移量和/ 或预定的角度，其中预定的偏移量和预定的角度中的任何一个都是可以调节或者控制的。在本发明的有些实现中，射束转向机构140可以用于朝向目标控制四个射束112 的方位角和仰角两者。在有些实现中，四个射束112可以布置成具有水平和垂直的间隔。在有些实现中，这四个射束可以布置成使得形成至少两个正交的间隔。在有些实现中，这四个射束可以按照矩形图案布置，其中成对的射束112彼此垂直地且水平地偏移。在有些实现中，这四个射束可以按照其它图案布置，其中成对的射束112彼此偏移。这四个射束112的间隔可以是预先确定的偏移量和/或预先确定的角度，该预先确定的偏移量和/或预先确定的角度可以是固定的、可调节的和/或受控制的。每个射束112的特定部分可以从目标190反射回激光雷达子系统130作为反射射束114。在本发明的有些实现中并且如图1中所例示的，反射射束114遵循与射束112相同的光路(尽管是逆着的)。在本发明的有些实现中，在激光雷达子系统130中或者在组合的系统100中可以提供单独的光路以便容纳反射射束114。在本发明的有些实现中，激光雷达子系统130接收与每个射束112相对应的反射射束114、处理反射射束114并把激光雷达输出116输出到处理系统160。组合的系统100还包括视频子系统150。视频子系统150可以包括用于捕捉目标 190的两维图像155的视频照相机。很显然，各种视频照相机都可以使用。在本发明的有些实现中，视频照相机可以将图像1 输出为特定分辨率和特定图像或者帧速率的像素。由视频子系统150捕捉到的视频图像155被转发到处理系统160。在本发明的有些实现中， 激光雷达子系统130和视频子系统150关于位置和朝向彼此偏移。特别地，激光雷达测量结果一般对应于三维(例如，x、y和z)，而视频图像一般对应于两维(例如，χ和y)。很显然，本发明的各种实现利用视频子系统150来校准激光雷达子系统130，以确保由每个系统提供的数据都指代给定坐标系统中的相同位置。很显然，组合的系统110可以包括一个或多个可选的视频子系统(没有另外例示)，用于从不同的位置、视角(perspective)或角度捕捉目标190的附加两维图像155。在本发明的有些实现中，处理系统160从激光雷达子系统130接收激光雷达输出 116并从视频子系统150接收图像155，并把它们存储在存储器或者其它的存储设备165 中，用于随后处理。处理系统160处理激光雷达输出116和图像155，以生成目标190的三维图像。在本发明的有些实现中，处理系统160从激光雷达输出116和图像155的组合确定目标190的轨迹，并使用该轨迹生成目标190的运动稳定的三维图像。在本发明的有些实现中，对于每个射束112，激光雷达子系统130可以包括双频、啁啾相干激光雷达系统，该系统能够明确地并且同时测量目标190上一个点的距离和多普勒速度。这种激光雷达系统在题为“Chirped Coherent Laser Radar System and Method”( “啁啾激光雷达规范(Chirped Lidar Specification)”)的共同未决美国申请第11/353，123号中进行了描述，该申请通过引用整体并入于此。为了清晰起见，在啁啾激光雷达规范中所引用的“射束”与本说明书中所指的“射束”不同。更具体地，在啁啾激光雷达规范中，两个射束被描述为来自激光雷达系统的输出，即，第一个射束具有第一频率(啁啾的或者别的)，而第二个射束具有第二频率(啁啾的或者别的)，这两个射束同时入射到目标上的一个点，以便提供对目标上该点的距离和多普勒速度两者的同时测量。为了简化和清晰起见，如在此所讨论的单数“射束”可以指啁啾激光雷达规范中所述的从激光雷达系统输出的组合的第一和第二射束。在啁啾激光雷达规范中所讨论的单个射束在下文中称为 “信号”。不过，本发明的各种实现都可以采用除啁啾激光雷达规范中所述的射束之外的其它射束，只要这些射束提供对目标上的点的距离和多普勒速度的同时测量就可以。图2例示了根据本发明各种实现的激光雷达210，该激光雷达210可以用于生成和处理射束112和反射射束114，以提供激光雷达输出116。每个激光雷达210都明确地确定目标190上一个点关于激光雷达210的距离和多普勒速度。激光雷达210包括第一频率激光雷达子区274和第二频率激光雷达子区276。第一频率激光雷达子区274朝目标190发射第一频率目标信号212，而第二频率激光雷达子区276朝目标190发射第二频率目标信号 214。第一目标信号212和第二目标信号214的频率可以是啁啾的，以便产生双啁啾系统。第一频率激光雷达子区274可以包括激光源控制器236、第一激光源218、第一光耦合器222、第一信号延迟器M4、第一局部振荡器光耦合器230和/或其它部件。第二频率激光雷达子区276可以包括激光源控制器238、第二激光源220、第二光耦合器224、第二信号延迟器250、第二局部振荡器光耦合器232和/或其它部件。第一频率激光雷达子区274生成第一目标信号212和第一参考信号M2。第一目标信号212和第一参考信号242可以由第一激光源218在第一频率下生成，其中第一频率可以以第一啁啾率调制。第一目标信号212可以独立地或者与第二目标信号214组合地被朝向目标190上的测量点引导。第一频率激光雷达子区274可以组合从目标190反射的目标信号256与第一参考信号M2，产生组合的第一目标信号沈2，其中第一参考信号242在具有已知的或以别的方式固定的路径长度的路径上被引导。第二频率激光雷达子区276可以关于第一频率激光雷达子区274并置和固定 (即，在激光雷达210中)。更具体地，可以并置和固定用于发射和接收相应的激光信号的相关光学部件。第二频率激光雷达子区276可以生成第二目标信号214和第二参考信号M8。 第二目标信号214和第二参考信号248可以由第二激光源220在第二频率下生成，其中第二频率可以以第二啁啾率调制。在本发明的有些实现中，第二啁啾率与第一啁啾率不同。第二目标信号214可以被引导朝向目标190上与第一目标射束212相同的测量点。第二频率激光雷达子区276可以组合从目标190反射的目标信号256的一部分与第二参考信号M8，产生组合的第二目标信号沈4，其中第二参考信号248在具有已知或以别的方式固定的路径长度的路径上被引导。处理器234接收组合的第一目标信号262和组合的第二目标信号沈4，并测量由每个反射目标信号与其对应的参考信号之间的路径长度差及由目标相对于激光雷达210的运动产生的任何多普勒频率造成的拍频。然后，拍频可以被线性地组合，以产生目标190的距离和多普勒速度的明确确定，如在啁啾激光雷达规范中所阐述的。在有些实现中，处理器 234把距离和多普勒速度测量结果提供给处理系统160。在有些实现中，处理器234与处理系统160组合在一起；在这种实现中，处理系统160接收组合的第一目标信号262和组合的第二目标信号264，并使用它们来确定距离和多普勒速度。如所描述的，每个射束112提供目标190上一个点关于激光雷达210的距离和多普勒速度的同时测量。根据本发明的各种实现，可以采用各种数量的射束112来提供对目标190的这些测量。在本发明的有些实现中，可以使用两个或者更多个射束112。在本发明的有些实现中，可以使用三个或者更多个射束112。在本发明的有些实现中，可以使用四个或者更多个射束112。在本发明的有些实现中，可以使用五个或者更多个射束112。在本发明的各种实现中，射束112可以用于收集测量结果，来用于不同的目的。例如，在本发明的有些实现中，特定的射束112可以用于扫描包括目标190的体积。在本发明的有些实现中，多个射束112可以用于实现这种扫描。在本发明的有些实现中，特定的射束 112可以用于监视目标190的特定特征或者位置。在本发明的有些实现中，多个射束112可以用于独立地监视目标190的一个或多个特征和/或位置。在本发明的有些实现中，一个或者多个射束112可以用于扫描目标190，而一个或者多个其它射束112可以用于监视目标 190上的一个或多个特征和/或位置。在本发明的有些实现中，一个或者多个射束112可以扫描目标190来获得目标190 的三维图像，而一个或者多个其它射束112可以监视目标190的一个或多个特征和/或位置。在本发明的有些实现中，在获得目标190的三维图像后，一个或多个射束112可以继续扫描目标190来监视和/或更新目标190的运动方面，而一个或者多个其它射束112可以监视目标110的一个或多个特征和/或位置。在本发明的有些实现中，经一个或多个用于监视和/或更新目标190的运动方面的射束112获得的测量结果可以用于补偿经一个或多个用于监视目标190的一个或多个特征和/或位置的其它射束112获得的测量结果。在本发明的这些实现中，目标190的粗略 (gross)运动可以从与目标190的各种特征和/或位置相关联的测量结果中除去，以便获得目标190上特定点或者区域的精细(fine)运动。在本发明的各种实现中，目标190的精细运动可以包括目标190表面上某些位置关于例如质心、旋转中心、目标190表面上的另一位置或者其它位置的各种振动、振荡或者运动。在本发明的各种实现中，目标190的精细运动可以包括例如各种特征的相对运动，其中的各种特征例如有眼睛、眼睑、嘴唇、嘴角、面部肌肉或神经、鼻孔、颈部表面等或者目标190的其它特征。在本发明的有些实现中，基于目标190的粗略运动和/或精细运动，可以监视目标 190的一个或多个生理功能和/或物理行为。例如，题为“System and Method for Remotely Monitoring Physiological Functions”的共同未决美国专利申请第11/230，546号描述了用于监视个体的生理功能和/或物理行为的各种系统与方法，该申请通过引用整体并入于此。在本发明的有些实现中，一个或多个射束112可以用于监视目标190的眼球上的一个或多个位置，并测量在这些位置中每一个位置处眼球的各种位置和运动方面。题为 “System and Method for Tracking Eyeball Motion” 的共同未决美国专利申请第 11/610，867号描述了用于跟踪眼球的运动的各种系统与方法，该申请通过引用整体并入于此。在本发明的有些实现中，一个或多个射束112可以用于集中到目标190的脸上的各种特征或位置，并关于目标190脸上的所述特征或位置测量脸的各种方面。例如，某些面部特征或面部表情可以被监视一段时间，以推测目标190的心理状态、推测目标190的意图、推测目标190的欺骗程度或者预测与目标190关联的事件(例如，某些面部肌肉可能只在表情变化之前或者讲话之前抽动)。在本发明的有些实现中，一个或多个射束112可以用于监视目标190颈部的一个或多个位置。目标190的颈部的被测量的运动方面可以用于确定喉咙的运动模式、声带振动、脉搏率和/或呼吸率。在本发明的有些实现中，一个或多个射束112可以用于监视目标 190上嘴唇上的一个或多个位置，以便检测和测量与目标190的讲话相关联的振动。这些振动可用于基本上再现目标190的讲话。在本发明的有些实现中，一个或多个射束112可以在组合系统100操作的第一时段或模式期间服务于一种目的，并且在组合系统100操作的第二时段或模式期间切换到服务于不同的目的。例如，在本发明的有些实现中，多个射束112可以用于测量目标190的各个运动方面，使得处理系统160可以确定或者获取目标190的轨迹。一旦获得了目标190 的轨迹，这多个射束112中的一些就可以切换成监视目标190的某些其它方面或者特征，而这多个射束112中的其它一些测量目标190的运动方面，使得可以维持其轨迹。在本发明的有些实现中，第一射束112扫描目标190，以获得目标190的三维图像。 在这些实现中，这些射束112中的四个射束各自扫描目标190的一部分(利用如下进一步具体描述的各种扫描模式)，而第五个射束112执行对目标190的“过扫描(overscan) ”。过扫描可以是环形的、卵形的、椭圆形的或类似的圆形扫描模式，或者矩形的、方形的、菱形的或者类似的扫描模式，或者其它可用于在相对短的时间间隔内捕捉目标190上各个点(或者至少彼此非常靠近的点)的多个测量的扫描模式。这多个测量可以对应于其它由第五个射束112进行的测量(即，由第五个射束112对相同的点进行多次访问)或者对应于由其它四个射束112中一个或多个进行的测量(即，由第五个射束和其它四个射束112中的一个或多个对相同的点进行访问)。在有些实现中，过扫描的模式可以被选择成在目标190的测量之间提供附加的垂直和/或水平扩展。所述多个测量和附加的扩展都可以用于改进对目标190运动的估计。采用第五个射束112过扫描目标190可以在以上所提到的不同操作模式中的每一种期间发生。在本发明的有些实现中，一旦满意地获取了目标190的轨迹，一个或多个射束112 就可以提供可用于维持目标190的轨迹的测量并监视目标190的特征的其它方面。在这种实现中，其它射束112可以用于扫描扫描体积中的其它目标。如图1中所例示的，目标坐标系180可以用于表示与目标190关联的各种测量结果。如将认识到的，可以使用各种坐标系。如将认识到的，在本发明的有些实现中，子系统 130、150中的各个可以在除目标坐标系180之外的其他坐标系中表示目标190的方面。例如，在本发明的有些实现中，球坐标系(例如，方位角、仰角、距离)可用于表示经激光雷达子系统130获得的测量结果。还例如，在本发明的有些实现中，两维的基于像素的坐标系可以用于表示经视频子系统150获得的图像155。如将认识到的，本发明的各种实现可以在处理的各个级使用这些坐标系中的一个或多个或者其它的坐标系。如将认识到的，在本发明的有些实现中，可能需要各种坐标变换来把来自激光雷达子系统130的可参照激光雷达子系统130在球坐标(有时候称为激光雷达测量空间)中表示的测量结果变换成目标190的可参照目标190在笛卡尔坐标(有时候称为目标空间) 中表示的运动方面。同样，可能需要各种坐标变换来把来自视频子系统150的可参照视频子系统150在笛卡尔或像素坐标(有时候称为视频测量空间)中表示的测量结果变换成目标190的运动方面。此外，来自组合系统100的测量结果可以变换成与外部测量系统(例如，辅助视频、红外、超球面、多球面或者其它辅助成像系统)相关联的坐标系。坐标变换总的来说是众所周知的。如将认识到的，在本发明的有些实现中，可能需要各种坐标变换来变换激光雷达子系统130和/或视频子系统150的测量结果，以考虑每个这种子系统130、150的位置和 /或朝向的不同，如所显见的。图3例示了根据本发明各种实现的可用于扫描目标190的体积的扫描模式300。 扫描模式300包括第一扫描模式区310和第二扫描模式区320。第一扫描模式区310可以对应于可用于扫描该体积(或者其一部分)的第一射束112(例如，射束112A)的扫描模式。 第二扫描模式区320可以对应于可用于扫描该体积(或者其一部分)的第二射束112(例如，射束112B)的扫描模式。如图3中所例示的，第一射束112扫描扫描模式300的上面区域，而第二射束112 扫描扫描模式300的下面区域。在本发明的有些实现中，扫描模式区310、320可以包括重叠区域330。重叠区域330可以用于对准或者“缝合”第一扫描模式区310和第二扫描模式区320。在本发明的有些实现中，扫描模式310、320没有重叠形成重叠区域330(没有另外例示)。在本发明的激光雷达子系统130采用垂直移位的扫描模式300(例如图3中所例示的)的实现中，第一射束112与第二射束112垂直移位(即，达某个垂直距离、仰角或者其它垂直位移)。以这种方式，这对射束112可以利用已知的或者别的可确定的垂直位移来扫描。
尽管在图3中扫描模式300被例示为具有垂直移位的扫描模式区310、320，但是， 在本发明的有些实现中，扫描模式可以具有水平移位的扫描区。在本发明的激光雷达子系统130采用水平移位的扫描模式的实现(没有另外例示)中，第一射束112与第二射束112 水平移位(即，达某个水平距离、方位角或者其它水平位移)。以这种方式，这对射束112可以利用已知的或者别的可确定的水平位移来扫描。尽管图3例示了具有两个垂直移位扫描模式区310、320的扫描模式300，但是，如将认识到的，可以堆叠各种数量的射束来产生对应数量的扫描模式区。例如，三个射束可以配置成具有垂直位移或者水平位移，以便提供三个扫描模式区。如将认识到的，也可以水平地或者垂直地使用其它数量的射束。图4例示了根据本发明各种实现的用于采用四个射束112的激光雷达子系统130 的扫描模式400。如图4中所例示的，激光雷达子系统130包括布置成扫描扫描模式400的四个射束112。扫描模式400可以通过让第一对射束112彼此水平移位而且第二对射束112 彼此水平移位并与第一对射束122垂直移位来实现，由此形成矩形的扫描布置。如很显然的，也可以使用其它扫描几何结构。扫描模式400可以通过经射束扫描机构140彼此独立地、成对地(水平地或者垂直地)或者共同地控制射束来实现。扫描模式400包括第一扫描模式区410、第二扫描模式区420、第三扫描模式区430 和第四扫描模式区440。在本发明的有些实现中，各扫描模式区410、420、430和440中的每一个都可以与相邻的扫描模式部分交叠达一定量(在图4中统示为交叠区域450)。例如， 在本发明的有些实现中，扫描模式400包括第一扫描模式区410和第三扫描模式区430之间的交叠区域450。同样，在第一扫描模式区410和第二扫描模式区420之间存在交叠区域 450。在本发明的有些实现中，这些交叠区域450中的各个区域可能不存在或者以别的方式被利用。例如，在本发明的有些实现中，只有垂直交叠区域450可以存在或者被利用。在本发明的有些实现中，只有水平交叠区域450可以存在或者被利用。在本发明的有些实现中， 交叠区域450可以不存在或者不被利用。在本发明的有些实现中，可以使用交叠区域450 的其它组合。如图3和图4中所例示的，激光雷达子系统130对多个射束112的使用可以增加特定体积(或者该体积内的特定目标)被扫描的速率。例如，相对于利用一个射束112扫描给定的体积，利用两个射束112扫描相同的体积可以两倍快。类似地，利用四个射束112 扫描给定的体积相对于利用两个射束112扫描相同的体积可以两倍快，而且相对于利用一个射束112扫描相同的体积可以四倍快。此外，如以下更具体描述的，多个射束112可以用于测量或者估计与目标190的运动相关联的各个参数。根据本发明的各种实现，特定的扫描模式(及其对应的射束配置)可以用于提供对目标190的运动方面的测量和/或估计。如上所述，每个射束112可以用于同时提供在每个扫描点的距离测量结果和多普勒速度测量结果。在本发明的有些实现中，对于每个射束112，由该射束112扫描的点可以由方位角、仰角和时间来描述。每个射束112提供在那个点和时间的距离测量结果和多普勒速度测量结果。在本发明的有些实现中，由射束112扫描的每个点可以由方位角、仰角、距离测量结果、多普勒速度测量结果和时间来表示。在本发明的有些实现中，由射束112扫描的每个点可以在笛卡尔坐标中表示为位置(x，y，z)、多普勒速度和时间。
根据本发明的各种实现，来自激光雷达子系统130的测量结果(S卩，激光雷达输出 116)和来自视频子系统150的测量结果(帧155)可以用于测量和/或估计目标190的各种朝向和/或运动方面。目标190的这些朝向和/或运动方面可以包括位置、速度、加速度、角位置、角速度、角加速度，等等。当这些朝向和/或运动方面被测量和/或估计后，目标190的轨迹可以被确定或以别的方式近似。在本发明的有些实现中，在给定的时间间隔上目标190可以认为是刚性体，而且其运动可以表示为所述给定时间间隔上在三个维度中表示的平移速度分量vxtrans、vytrans和vztrans及在三个维度中表示的角速度分量ωχ、coy和 ωζ。总的来说，这些平移速度和角速度对应于特定时间间隔上目标190的运动的六个自由度。在本发明的有些实现中，对这六个分量的测量和/或估计可以用于表示目标190的轨迹。在本发明的有些实现中，对这六个分量的测量和/或估计可以用于合并从激光雷达子系统130获得的目标190的三维图像和从视频子系统150获得的目标190的两维图像，来生成目标190的三维视频图像。如 很显然的，在本发明的有些实现中，目标190上一个点的瞬时速度分量vz(t)可以基于来自激光雷达子系统130的距离测量结果、多普勒速度测量结果、方位角和仰角来计算。激光雷达子系统130可以用于测量和/或估计目标190的平移速度vzteans和两个角速度，即coy。例如，图5例示了根据本发明各种实现的在具有来自两个射束112 的对应测量的点之间的示例关系，其可以用于估计目标190的角速度的χ和y分量。更特别地，而且总的来说，如图5中所例示的，在射束112沿y轴彼此移位的实现中，经第一射束 112确定的点Pa沿ζ轴的局部速度、经第二射束112确定的点Pb的速度及Pa和Pb之间的距离可以用于估计这些点关于χ轴的角速度(在此称为ωχ)，如将认识到的。在本发明的有些实现中，这些测量结果可以用于提供对ωχ的初始估计。图6例示了根据本发明各种实现的在具有来自两个射束112的对应测量的点之间的另一示例关系，其可以用于估计角速度。更具体地，如图6中所例示的，在射束112在目标190上沿χ轴彼此移位的实现中，经第一射束112确定的点Pa的速度、由第二射束112确定的点Pb的速度及目标190上Pa和Pb之间的距离可以用于估计这些点关于y轴的角速度 (在此称为《y)。在本发明的有些实现中，这些测量结果可以用于提供对coy的初始估计。图5和图6例示了本发明的实现，其中两个射束112分别沿垂直轴或者水平轴彼此移位，而且在基本上相同的时间测量在每个点处的对应的距离(可以在三维坐标χ、y和 ζ中表示)和多普勒速度。在本发明的采用沿单个轴的射束112的实现(没有另外例示) 中，角速度可以基于在不同时间在不同点处沿该单个轴测量到的多普勒速度来估计。如将认识到的，对角速度更好的估计可以利用以下来获得1)在目标190的范围(extent)上的点处(即，彼此以较大的距离)的测量结果，及2)在最小时间间隔内取得的测量结果(从而最小化由于加速度造成的任何影响)。图5和图6例示了关于不同轴(即，χ轴和y轴)的角速度的概念性估计。总的来说，当第一射束112在目标190上沿第一轴与第二射束112移位时，关于与第一轴正交的第二轴的角速度可以从在每一个对应的点处沿第三轴的速度来确定，其中第三轴与第一轴和第二轴都正交。在本发明的有些实现中，当两个射束沿y轴彼此移位时(即，垂直移位)而且在扫描之间带垂直间隔地被水平扫描时，可以进行对coy两者的估计。尽管沿χ轴的同时测量是不可用的，但是在各种实现中它们在时间上应当足够靠近，以便忽略加速度影响。在本发明的有些实现中，当两个射束112沿χ轴彼此移位而且至少第三射束112沿y轴与这对射束112移位时，可以进行对ωχ、的估计。在本发明的有些实现中，对ωχ、 和vzteans的估计都可以利用以矩形方式布置的四个射束112来进行。在这种实现中，从四个射束112获得的测量结果包括比估计ωχ、和<—所需更多的信息。如将认识到的，这种所谓“超定(overdetermined)系统”可以用于改进对ωχ、ωy和vzteans的估计。如上所述，在各个方位角和仰角并在各个时间点由激光雷达子系统130进行的距离和多普勒速度测量结果可以用于针对正在进行冲击运动的刚性体估计平移速度vztMns并估计两个角速度，即Oj^ncoyt5
如将认识到的，在本发明的有些实现中，可以在每个测量时刻从在不同点获得的测量结果来确定cox、coy*Vzteans。在本发明的有些实现中，可以假定G3x、coy*Vzteans在特定时间间隔上是恒定的。如将认识到的，在本发明的有些实现中，ωχ、可以在各个测量时刻确定并随后在特定的时间间隔上求平均，以便提供在那个特定时间间隔上对 ωχ、的估计。在本发明的有些实现中，该特定的时间间隔可以是固定的或者依赖例如目标190的运动方面是可变的。如将认识到的，在本发明的有些实现中，可以采用最小二乘方估计器来提供在特定时间间隔上对ωχ、coy和VztansW估计。如将认识到的，可以按照其他方式来获得对ωχ、coy和的估计。在本发明的有些实现中，来自视频子系统150的图像可以用于估计给定时间间隔上目标190的三个其它运动方面，S卩，平移速度分量vxtrans和vyte■及角速度分量ωζ。在本发明的有些实现中，当目标190在由视频子系统150捕捉到的帧155之间移动时，可以采用帧155来估计目标190上点的速度的χ和y分量。图7例示了在时刻T的帧155和后续时刻Τ+Δ t的帧155之间的特定点或者特征的位置Ia的改变。在本发明的有些实现中，这种位置变化是针对帧155中至少两个特定的点或者特征中的每一个确定的(未另外例示)。在本发明的有些实现中，这种位置变化是针对多个点或者特征中的每一个确定的。在本发明的有些实现中，目标190的平移速度分量vxtrans和 vytrans及角速度分量ωζ可以基于特征的位置Ia(T)与IA(T+At)之间的差和帧155之间的时间差At来估计。位置和时间中的这些差可以用于确定特征的某些速度，即，目标190的继而可以用于估计平移速度分量vxtrans和vytrans的vxfeat和vyfeat以及角速度分量ωζ。对图像帧之间的特征的速度和角速度的这种估计总的来说是如将认识到的那样理解的。在本发明的有些实现中，目标190的许多特征是从连续的帧155提取出来的。在连续帧155之间的时间间隔上这些特征的速度vxfeat和vyfeat可以基于连续帧155之间的每个对应特征的位置的变化来确定。可以采用最小二乘方估计器从每个提取出的特征的位置变化估计平移速度vxteans和vyteans及角速度ω z。在本发明的有些实现中，最小二乘方估计器可以使用来自激光雷达子系统130的测量结果和来自视频子系统150的帧155中的特征的位置变化，来估计目标190的平移速
度 vxtr咖、vytrans 和 vztrans 及角速度 ω χ、ω y 和 ω z。如以上已经描述过的，激光雷达子系统130和视频子系统150可以用于估计可用于描述目标190的运动的六个分量。这些运动分量可以随时间来收集，以便计算目标190的轨迹。然后，这个轨迹 可以用于补偿目标190的运动，以获得目标190的运动稳定的三维图像。在本发明的各种实现中，目标190的轨迹可以假设为代表随各种时间间隔的冲击运动。目标190的轨迹确定得越精确，组合系统100就可以越精确地调整目标190的测量结果，例如来代表目标190的三维图像或者其它方面。在本发明的各种实现中，激光雷达子系统130进行测量的速率与帧155被视频子系统150捕捉的速率不同。在本发明的有些实现中，激光雷达子系统130进行测量的速率基本上高于帧155被视频子系统150捕捉的速率。此外，因为射束112是被激光雷达子系统130扫描通过扫描体积的，所以在该扫描体积内不同点处的测量结果可以在彼此不同的时间进行；而给定帧155中的像素是基本同时捕捉的(在视频成像的背景下)。在本发明的有些实现中，这些时间差被分解，以便提供对目标190的更准确轨迹。如图8中所例示的，在本发明的有些实现中，扫描模式840可以用于扫描目标的体积。为了解释，扫描模式840代表由单个射束所进行的测量的模式。在有些实现中，可以使用多个射束，每个射束都具有各自对应的扫描模式，如将显见的。如所例示的，扫描模式840 包括以第一仰角831在方位角上从左向右、以第二仰角832在方位角上从右向左、以第三仰角833在方位角上从左向右等直到扫描完特定的扫描体积而测量的各个点810。在有些实现中，扫描模式840可以划分成对应于与组合系统100关联的各个定时方面的间隔。例如， 在本发明的有些实现中，扫描模式840可以划分成与视频子系统150的帧速率关联的时间间隔。在本发明的有些实现中，扫描模式840可以划分成与扫描特定仰角(S卩，整个从左向右或者从右向左的扫描)关联的时间间隔。在本发明的有些实现中，扫描模式840可以划分成与在一个或多个仰角的往复(roimdtrip)扫描820 (即，在相同或者不同的仰角处的从左向右和返回的从右向左扫描)(在图8中例示为往复扫描820A、往复扫描820B和往复扫描820C)关联的时间间隔。类似的定时方面可以用在以仰角垂直扫描(与以方位角水平扫描相对)的实现中。其它的定时方面也可以使用。如图8中所例示的而且同样是为了解释，每个间隔可以包括N个点810，这些点又可以对应于单个扫描(例如，831、832、833等)或者往复扫描820中的多个点810。用于特定间隔的点810的集合在此称为子点云，而用于完整扫描模式840的点810的集合在此称为点云。在本发明的有些实现中，每个点810对应于特定方位角、仰角和进行测量的时刻的距离与多普勒速度的激光雷达测量结果。在本发明的有些实现中，每个点810对应于距离 (表示为X、1、ζ坐标)和多普勒速度的激光雷达测量结果及进行测量的时间。图9例示了根据本发明各种实现的可以用于描述与来自激光雷达子系统130的测量结果相关联的各个定时方面的时序图900。时序图900包括由射束112扫描的点810 ； 子点云920，其由在对应于相应子点云920的间隔上收集的多个点810形成；及点云930，其由在扫描模式上收集的多个子点云920形成。如将认识到的，时序图900可以扩展到包括由多个射束112扫描的点810。每个点810由射束112扫描，而且与每个点810相关联的测量结果由激光雷达子系统130确定。在本发明的有些实现中，点810是经扫描模式(或者扫描模式区)扫描的。 激光雷达子系统130收集用于特定子点云920的测量的间隔可以具有称为Tsrc的持续时间。 在本发明的有些实现中，与子点云920中各点810相关联的测量定时的差可以通过使用用于每个点的运动方面(即，平移速度和角速度)来解决(accommodate)，以便调整该点到用于子点云920的特定参考时间(例如，tESPC)。这个过程可以称为稳定用于目标190的运动方面的各点810。在本发明的有些实现中，可以假设速度在时间间隔上(即，在持续时间Tsrc期间) 是恒定的。如将认识到的，在本发明的有些实现中，可以不假设速度在扫描模式期间是恒定的，而且可能需要考虑加速度影响来把点810的测量调整到参考时间。在本发明的有些实现中，由于时间间隔的子划分造成的调整可能也需要解决。如图9中所例示的，用于每个子点云9 20的参考时间可以选在间隔的中点，但是也可以使用其它参考时间。在本发明的有些实现中，当把子点云920组合到点云930中时，可以进行类似的调整。更具体地，在本发明的有些实现中，与点云930中的子点云920相关联的测量的定时的差可以通过使用与该测量关联的运动方面来解决。在本发明的有些实现中，与合并到点云930中的每个子点云920相关联的测量被单独地调整到与点云930相关联的参考时间。在本发明的有些实现中，该参考时间对应于帧时间(例如，与帧155相关联的时间)。在本发明的其它实现中，该参考时间对应于点云 930中点1110的最早测量时间、点云930中点1110的最晚测量时间、点云930中点1110的平均或者中间测量时间或者与点云930相关联的其它参考时间。尽管没有另外例示，但是，在本发明的有些实现中，可以进行类似的调整，以在特定的参考时间把来自单个射束112的点云930组合到总点云中。如将认识到的，在本发明的有些实现中，这可以在单点级别、子点云级别或者点云级别实现。在本说明书的剩余部分， 子点云920和点云930指来自由激光雷达子系统130用来扫描目标190的每个射束112在其各自参考时间的点810的集合。在本发明的有些实现中，可以假设目标190的运动方面在各个时间间隔上是恒定的。例如，可以假设目标190的运动方面在Tsre或者其它持续时间上是恒定的。在本发明的有些实现中，可以假设目标190的运动方面在给定Tsre上是恒定的，但在Trc上不必是恒定的。在本发明的有些实现中，可以假设目标190的运动方面在Tsre的递增部分是恒定的， 但在整个Tsre上不必是恒定的。因此，在本发明的有些实现中，目标190的轨迹可以表示为时间的分段函数，其中每个“段”对应于目标190在每单个时间间隔上的运动方面。在有些实现中，对运动进行补偿的定时调整可以表示为考虑一个点从第一时间到第二时间的运动的变换。当应用到来自例如激光雷达子系统130的测量结果时，这种变换可以执行从与特定点(或者子点云或者点云，等等)相关联的测量时间到期望参考时间的定时调整。此外，当测量结果表示为向量时，这种变换可以表示为变换矩阵。这种变换矩阵及其属性总的来说是众所周知的。如将认识到的，变换矩阵可以很容易地用于根据目标190的运动把在任何时间用于一个点的位置和朝向向量放到在时间上前进或后退的任何其它时间用于该点的对应位置和朝向向量。变换矩阵也可以应用到子点云、多个子点云及点云。在有些实现中，变换矩阵可以针对每个间隔(或者子间隔)确定，使得其可以用于把在一个间隔中表达的点云调整到在下一个后续间隔中表达的点云。在这些实现中，每个间隔都具有与其关联的变换矩阵，用以把用于目标190的轨迹的点云调整到下一个间隔。在有些实现中，变换矩阵可以针对每个间隔(或者子间隔)确定，使得其可以用于把在一个间隔中表达的点云调整到在前一个顺序间隔中表达的点云。利用用于各个间隔的变换矩阵，点云可以参考任何前进或后退的时间。图10例示了根据本发明各种实现的可用于关于来自视频子系统150的测量结果描述与来自激光雷达子系统130的测量结果相关联的各个定时方面的时序图1000。在本发明的有些实现中，点云930可以参考帧155之间的时间间隔的中点或者帧155之间的其它时间。在本发明的有些实现中，点云930可以参考对应于特定帧155的帧时间。点云930 可以以其它方式参考特定帧155，如将认识到的。
如图10中所例示的，PCnri是对在帧Ilri的帧时间所参考的点云930的表达；PCm 是对在帧In的帧时间所参考的点云930的表达；PCm+1是对在帧In+1的帧时间所参考的点云 930的表达；而PCm+2是对在帧In+2的帧时间所参考的点云930的表达。在有些实现中，点云 930可以在关于帧和帧时间的其它时间参考，如将认识到的。如上所述，可以确定变换矩阵Ti, i+1，来把在第i帧时间的点云930的表达变换成在第(i+Ι)帧时间的点云930的表达。参考图10，变换矩阵可以用于把PCnri变换成 PCffl ；变换矩阵Tm, ffl+1可以用于把PCm变换成PCm+1 ；而变换矩阵Tm+1, m+2可以用于把PCm+1变换成PCm+2。以这种方式，变换矩阵可以用于表示在对应于帧155的不同时间的点云930。根据本发明的各种实现，在不同的处理级确定应用到点云930来表示从第一时间到第二时间的点云930的变换矩阵。总的来说，变换矩阵直接与运动的六个度的参数ωχ、 y, z>Vxtran%vytrans和vztrans关联，这些参数可以在两个步骤中计算首先从激光雷达子系统计算ωχ、(^和ν广ns，然后从视频子系统计算Vxteans、Vytrans和ωζ。图11例示了根据本发明各种实现的处理系统160的配置的框图，其中该系统可以在第一处理级的第一阶段中使用，以估计目标190的轨迹。在本发明的有些实现中，在第一级的第一阶段中，从目标190分运动方面的各种估计确定一系列初始变换矩阵(在此称为 Υ +1(°))。如所例示的，激光雷达子系统130提供用于每个点的距离、多普勒速度、方位角、 仰角和时间作为到最小二乘方估计器1110的输入，其中最小二乘方估计器1110被配置成估计在一系列时间间隔中每一个间隔上的角速度coy及平移速度Vzteans。在本发明的有些实现中，如以上所讨论的，角速度coy及平移速度Vzte■是通过改变时间间隔的大小(或者把时间间隔分成子间隔)来迭代估计的，直到来自最小二乘方估计器1110的用于每个特定时间间隔的任何残余误差都到达可接受的水平，正如所显见的。在由激光雷达子系统130进行对目标190的时间测量期间，可以针对每个连续的时间间隔重复该处理。假设目标190可以在给定的时间间隔上表示为正在进行冲击运动(S卩，没有加速度的恒定速度)的刚性体(即，目标190的表面上的点关于彼此保持固定)，则目标190上任何给定点810的瞬时速度可以表达为V = Vtr咖+[ω X (R-Rc-Vtrans * Δ t)]等式(1)其中ν是给定点的瞬时速度向量；Vtrans是刚性体的平移速度向量；ω是刚性体的旋转速度向量；R是目标上给定点的位置；Rc是目标的旋转中心；及Δ t是每个测量时间与给定参考时间的时间差。
给定可以从激光雷达子系统130获得的测量结果，瞬时速度的ζ分量可以表达为Vz = vztrans+ [ ω X (R-Rc-Vtrans * Δ t) ] ζ等式(2)其中
νζ是瞬时速度向量的ζ分量；vztrans是平移速度向量的ζ分量；及[ ω X (R-Rc-Vtrans * Δ t) ] ζ 是叉积的 ζ 分量。在本发明的有些实现中，可以进行对应于来自图像155的各种特征的帧到帧 (frame-to-frame)测量。这些测量可以对应于用于每个特征和用于每个帧到帧时间间隔的位置(例如，xfeat、产at)和速度(例如，V，at、Vyfeat)。在位置的ζ坐标不可以从视频子系统 150获得的实现中，可以利用例如来自激光雷达子系统130的点的平均ζ分量来进行对ζ的初始估计。最小二乘方估计器1120估计可以表达为用于每个相关时间间隔的变换矩阵Ti, i+1(0)的角速度ωχ、ω,Π ωζ及平移速度和Vzteans。在本发明的有些实现中，可以确定对应于任意帧到帧时间间隔的累积变换矩阵。图12例示了根据本发明各种实现的处理系统160的配置的框图，其中该系统可以在第一处理级的第二阶段中使用，以估计目标190的轨迹。在本发明的有些实现中，在第一级的第二阶段中，从目标190的运动方面的各种估计确定新的变换矩阵(在此称为Ti, i+1(1))。如所例示的，来自激光雷达子系统130的用于N个点中每个点的距离、多普勒速度、 方位角、仰角和时间的测量结果与变换矩阵Ti,i+1(°) —起输入到处理系统160的最小二乘方估计器1110，以按照类似于以上所述在第一阶段期间的方式在一系列时间间隔中每一个间隔上估计角速度coy及平移速度Vzteans。第二阶段和第一阶段之间的主要差别是，相对于仅仅ζ位置的平均值，最小二乘方估计器1120使用基于Ti, i+1(°)计算出的特征的ζ位置。最小二乘方估计器1120估计新的角速度ωχ、ω^Π 2及新的平移速度Vxteans、Vyte 和Vzteans，这些速度可以表达为用于相关时间间隔中每一个的变换矩阵Ti,i+1(1)。同样，在本发明的有些实现中，可以确定对应于帧到帧时间间隔的累积变换矩阵。图13例示了根据本发明各种实现的处理系统160的配置的框图，其中该系统可以在第一处理级的第三阶段期间使用，以估计目标190的轨迹。在本发明的有些实现中，在第一级的第三阶段期间，从目标190的运动方面的各种估计确定新的变换矩阵(在此称为Ti, i+1(2))。如所例示的，激光雷达子系统130提供用于每个点的距离、多普勒速度、方位角、仰角和时间作为到最小二乘方估计器1110的输入，以按照类似于以上所述在第一阶段期间的方式在一系列时间间隔中每一个间隔上估计角速度COy及平移速度Vzteans。在这个阶段，不同于如上采用的特征测量结果，将在前一个阶段所确定的基于Tiii+/1)计算出的用于每个点的Vx和Vy值输入到最小二乘方估计器1120。第三阶段和第二阶段之间的主要差别是最小二乘方估计器1120使用IVi+/1)来描述相关帧155之间的运动。最小二乘方估计器1110、1120估计新的角速度ωχ、(^和ωζ 及新的平移速度vxteans、vytrans和vztrans，这些速度可以表达为用于相关时间间隔中每一个的变换矩阵 ^+1(2)。同样，在本发明的有些实现中，可以确定对应于帧到帧时间间隔的累积变换矩阵。
在本发明的各种实现中，当获得关于目标190的运动的附加信息时，第一处理级的任何一个阶段都可以被迭代任意次数。例如，当改进了变换矩阵时，每个点810可以在关于其测量时间的给定参考时间更好地被表达。在第一处理级中，每个点的平移速度(不能另外地从激光雷达测量获得)可以利用来自帧155的特征来估计。一旦用于每个点的所有速度分量都已知或者估计出来了，就可以确定变换矩阵，而不需要采用如图13中所例示的特征测量结果。图14例示了根据本发明各种实现的处理系统160的配置的框图，其中该系统可以在第二处理级的第一阶段中使用，以便精炼(refine)目标190的轨迹。该第一处理级提供了足以使图像155可以在每个对应的帧时间映射到点云830的变换矩阵。一旦被如此映射， 来自连 续图像155的像素本身(相对于图像155中的特征)的差就可以用于进一步精炼目标190的轨迹。在本发明的有些实现中，在第二处理级的第一阶段中，一系列新的变换矩阵 (在此称为Ti,i+1(3))是基于图像1和Ij之间的偏移量，即Ax-^Ayijj, Δ θ、」，对Ti,i+1⑵ 的精炼。如所例示的，估计器1410利用适当的变换矩阵确定Ti,产)图像Ii和Ii之间的差， 来表达在相同帧时间的图像。图15例示了根据本发明各种实现的处理系统160的配置的框图，其中该系统可以在第二处理级的第二阶段期间使用，以进一步精炼目标190的轨迹。就需要附加准确度来说，可以连同来自激光雷达子系统130的测量结果一起使用来自第二处理级的第一阶段的变换矩阵(例如，Tia+/3))，以进一步精炼变换矩阵(在此称为Tia+/4))。在本发明的有些实现中，在这个阶段期间，使用发生在任何交叠区域360、450之内的来自激光雷达子系统130 的测量结果。这些测量结果对应于在不同时间对相同点(或者基本上相同的点)进行的多个测量结果。这个阶段是基于如下前提，即，不同时间所进行的对目标190上相同点的坐标测量应当利用理想变换矩阵精确地彼此变换。换句话说，在不同的时间点，基础点的坐标应当直接映射到彼此。测量结果之间的差(即，修正量)可以表达为Δζμ、Δ θ χ^., Δ θΥ , j，并且输入到最小二乘方估计器1510，从而把变换矩阵IVi+/3)精炼到 ^+1ω。在本发明的有些实现中，对应于过扫描射束使用的多个测量结果也可以以类似的方式使用。如对本领域技术人员显而易见的，尽管已经在此关于各种实现描述了本发明，但本发明并不是这样限制的而且只能由以下权利要求的范围来限制。当考虑以上所提供的公开内容和附图时，本发明的这些和其它实现都将变得显而易见。此外，关于本发明一种实现描述的各种部件和特征也可以在其它实现中使用。
权利要求
1.一种用于从激光雷达测量结果和视频图像生成目标的三维图像的系统，该系统包括激光雷达子系统，该激光雷达子系统把至少两个射束朝向所述目标引导，并且针对所述至少两个射束中的每一个射束为所述目标上的多个点中的每一个点生成距离测量结果和多普勒速度测量结果；视频子系统，该视频子系统提供所述目标的多个两维图像；及处理器从所述激光雷达子系统接收用于所述目标上的所述多个点中的每一个点的所述距离测量结果和多普勒速度测量结果，从所述视频子系统接收所述目标的所述多个图像，根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果，并根据从所述目标的所述多个图像获得的该目标的至少一个特征的两维位置和速度测量结果，来估计所述目标的第一级运动方面，通过将所述多个图像中的第一个图像从所述多个图像中的第二个图像中减去来估计所述目标的第二级运动方面，其中所述多个图像中的所述第一个图像和所述多个图像中的所述第二个图像各自都利用所述目标的第一级运动方面参照特定的时间，及利用所述第二级运动方面生成所述目标的三维图像。
2.如权利要求1所述的系统，其中，所述第一级运动方面包括三维平移速度和三维角速度。
3.如权利要求1所述的系统，其中，所述处理器利用最小二乘方估计器估计所述目标的第一级运动方面。
4.如权利要求1所述的系统，其中，所述激光雷达子系统把至少四个射束朝向目标引导，并且针对所述至少四个射束中的每一个射束为所述目标上的多个点中的每一个点生成距离测量结果和多普勒速度测量结果。
5.如权利要求1所述的系统，其中，所述至少两个射束彼此移开达已知的距离或者角度。
6.如权利要求4所述的系统，其中，所述至少四个射束中的至少两个射束沿第一轴彼此移位达已知的距离或者角度，而且其中，所述至少四个射束中的至少两个射束沿第二轴彼此移位达已知的距离或者角度。
7.如权利要求6所述的系统，其中，所述第一轴和第二轴彼此正交。
8.如权利要求1所述的系统，其中，所述处理器通过以下操作根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果并根据从所述目标的所述多个图像获得的该目标的至少一个特征的位置和速度测量结果来估计所述目标的第一级运动方面利用来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果，估计所述目标的两个角速度分量和一个平移速度分量，及利用所述目标的所估计的两个角速度分量和一个平移速度分量以及所述目标的至少一个特征的位置和速度测量结果，来估计所述目标的第一级运动方面。
9.如权利要求8所述的系统，其中，利用所述目标的所估计的两个角速度分量和一个平移速度分量以及所述目标的至少一个特征的位置和速度测量结果来估计所述目标的第一级运动方面还包括利用所述目标的所估计的两个角速度分量和一个平移速度分量、所述目标的至少一个特征的位置和速度测量结果、以及对到所述目标的所述至少一个特征的距离分量的估计，来估计所述目标的第一级运动方面。
10.如权利要求9所述的系统，其中，对到所述目标的所述至少一个特征的距离分量的估计包括基于来自所述激光雷达子系统的距离测量结果来确定平均距离分量。
11.如权利要求8所述的系统，其中，利用所述目标的所估计的两个角速度分量和一个平移速度分量以及所述目标的至少一个特征的位置和速度测量结果来估计所述目标的第一级运动方面还包括利用所述目标的所估计的两个角速度分量和一个平移速度分量、所述目标的至少一个特征的位置和速度测量结果、以及对到所述目标的所述至少一个特征的距离分量的估计，来迭代地估计所述目标的第一级运动方面。
12.如权利要求11所述的系统，其中，在第一次迭代期间，对到所述目标的所述至少一个特征的距离分量的估计包括基于来自所述激光雷达子系统的距离测量结果来确定平均距离分量。
13.权利要求12所述的系统，其中，在第二次迭代期间，对到所述目标的所述至少一个特征的距离分量的估计包括从所述目标的第一级运动方面确定的到所述目标的所述至少一个特征的距离，其中所述目标的第一级运动方面是在第一次迭代期间估计出来的。
14.一种用于从来自激光雷达子系统的激光雷达测量结果和来自视频子系统的视频图像生成目标的三维图像的方法，该方法包括从所述激光雷达子系统接收针对该激光雷达子系统的至少两个射束中的每一个射束用于所述目标上的多个点中每一个点的距离测量结果和多普勒速度测量结果；从所述视频子系统接收所述目标的多个两维图像；利用所述目标的所述多个图像确定所述目标的至少一个特征的两维位置和速度测量结果；根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果并根据从所述目标的所述多个图像确定的该目标的至少一个特征的两维位置和速度测量结果，估计所述目标的第一级运动方面；通过将所述多个图像中的第一个图像从所述多个图像中的第二个图像中减去来估计所述目标的第二级运动方面，其中所述多个图像中的所述第一个图像和所述多个图像中的所述第二个图像各自都利用所述目标的第一级运动方面参照特定的时间，及利用所述目标的所述第二级运动方面生成该目标的三维图像。
15.如权利要求14所述的方法，其中，根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果并根据从所述目标的所述多个图像确定的该目标的至少一个特征的位置和速度测量结果估计所述目标的第一级运动方面包括利用至少一个最小二乘方估计器，根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果并根据从所述目标的所述多个图像确定的该目标的至少一个特征的位置和速度测量结果，估计所述目标的第一级运动方面。
16.如权利要求14所述的方法，其中，从所述激光雷达子系统接收针对所述激光雷达子系统的至少两个射束中的每一个射束用于所述目标上的多个点中每一个点的距离测量结果和多普勒速度测量结果包括从所述激光雷达子系统接收针对所述激光雷达子系统的至少四个射束中的每一个射束用于所述目标上的多个点中每一个点的距离测量结果和多普勒速度测量结果。
17.如权利要求14所述的方法，其中，根据来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果并根据从所述目标的所述多个图像确定的该目标的至少一个特征的位置和速度测量结果来估计所述目标的第一级运动方面包括利用来自所述激光雷达子系统的距离测量结果和多普勒速度测量结果，估计所述目标的两个角速度分量和一个平移速度分量，及利用所述目标的所估计的两个角速度分量和一个平移速度分量以及所述目标的至少一个特征的位置和速度测量结果，来估计所述目标的第一级运动方面。
18.如权利要求17所述的方法，其中，利用所述目标的所估计的两个角速度分量和一个平移速度分量以及所述目标的至少一个特征的位置和速度测量结果来估计所述目标的第一级运动方面包括利用所述目标的所估计的两个角速度分量和一个平移速度分量、所述目标的至少一个特征的位置和速度测量结果、以及对到所述目标的所述至少一个特征的距离分量的估计， 来迭代地估计所述目标的第一级运动方面。
19.如权利要求18所述的方法，其中，利用所述目标的所估计的两个角速度分量和一个平移速度分量、所述目标的至少一个特征的位置和速度测量结果以及对到所述目标的所述至少一个特征的距离分量的估计来迭代地估计所述目标的第一级运动方面包括在第一次迭代期间，基于来自所述激光雷达子系统的距离测量结果来确定到所述目标的所述至少一个特征的平均距离分量，作为对到所述目标的所述至少一个特征的距离分量的估计；和在第二次迭代期间，基于在第一次迭代期间确定的所述目标的第一级运动方面，确定到所述目标的所述至少一个特征的距离分量，作为对到所述目标的所述至少一个特征的距离分量的估计。
20.如权利要求19所述的方法，还包括在第二次迭代之后，利用在第二次迭代期间估计出来的所述目标的两个角速度分量和一个平移速度分量，并利用从在第二次迭代期间估计出来的所述目标的第一级运动方面确定的用于所述目标上的每个点的三维位置和两维速度，来估计所述目标的第一级运动方
21.如权利要求14所述的方法，其中，通过将所述多个图像中的第一个图像从所述多个图像中的第二个图像中减去来估计所述目标的第二级运动方面包括利用所述目标的第一级运动方面把来自所述视频子系统的所述多个图像映射到所述目标的所述多个点上，其中所述多个图像中的所述第一个图像和所述多个图像中的所述第二个图像各自都利用所述目标的第一级运动方面参照特定的时间。
全文摘要
一种系统采用来自激光雷达系统的距离和多普勒速度测量结果及来自视频系统的图像来估计目标的六自由度轨迹。该系统在两个级中估计这种轨迹第一级，其中来自激光雷达系统的距离和多普勒测量结果与从来自视频系统的图像获得的各种特征测量结果一起用于估计的目标的第一级运动方面(即，目标的轨迹)；及第二级，其中来自视频系统的图像和目标的第一级运动方面用于估计目标的第二级运动方面。一旦估计出目标的第二级运动方面，就可以生成目标的三维图像。
文档编号G01S13/00GK102378919SQ201080014736
公开日2012年3月14日 申请日期2010年2月22日 优先权日2009年2月20日
发明者A·T·热列兹尼亚克, R·L·赛巴斯帝安 申请人:数字信号公司