使用相干距离多普勒光学传感器控制自主车辆的方法和系统与流程

文档序号:23475995发布日期:2020-12-29 13:32阅读:268来源:国知局
使用相干距离多普勒光学传感器控制自主车辆的方法和系统与流程

相关申请的交叉引用

根据35u.s.c.§119(e),本申请要求于2018年4月23日提交的临时申请62/661,327的权益,其全部内容通过引用合并于此,就如同在此完全阐述一样。



背景技术:

使用激光进行的光学测距(通常被引用为助记符lidar,用于光检测和测距,有时也称为激光radar)用于各种应用,从测高、成像到防撞。与惯用的微波测距系统(诸如,无线电波检测和测距(radar))相比,lidar可提供更佳的尺度距离分辨率和更小的波束尺寸。光学测距可以通过几种不同的技术来实现,包括基于光脉冲到对象的往返行程时间的直接测距、基于发射的线性调频(chirped)光信号和从对象散射的返回信号之间的频率差的线性调频脉冲检测以及基于与自然信号可区分的单频相位变化序列的相位编码检测。

为了获得可接受的距离精度和检测灵敏度,直接远程lidar系统使用具有低脉冲重复率和极高脉冲峰值功率的短脉冲激光器。高脉冲功率会导致光学组件快速退化。线性调频和相位编码的lidar系统使用具有相对低的峰值光功率的长光脉冲。在该配置中,距离精度随着线性调频脉冲宽度或相位码的长度和带宽而不是脉冲持续时间而增加,因此仍然可以获得优异的范围精度。

使用宽带射频(rf)电信号调制光载波已经获得了有用的光带宽。lidar的最新进展包括使用与光检测器上返回的信号相结合的相同的调制光载波作为参考信号,以在所得的电信号中产生与参考和返回的光信号之间的频率或相位的差成比例的相对低的rf频带的拍频。在检测器处对频率差的这种拍频检测称为外差检测。它具有本领域已知的几个优点,诸如,使用现成的和廉价可用的rf组件的优点。

当前发明人的最新工作显示了光学组件的新颖布置和用于检测返回信号中的多普勒频移的相干处理,其不仅提供了改善的距离,而且还提供了lidar系统与每个外部对象之间矢量的相对的带符号的速度。这些系统在本文中称为高分辨率距离多普勒lidar。参见例如分别基于专利合作条约(pct)专利申请pct/us2017/062703和pct/us2018/016632的世界知识产权组织(wipo)的公布wo2018/160240和wo/2018/144853。

自主导航解决方案需要大量传感器的配合以可靠地获得期望的结果。例如,现代自主车辆通常结合摄像头、雷达和lidar系统来进行空间感知。这些系统还采用全球定位系统(gps)解决方案、惯性测量单元和里程表来生成全球坐标系内的位置、速度和航向。有时将其称为惯性导航系统(ins)“解决方案”。导航任务表示提议的运动规划(由ins和地图软件指示)与避免动态障碍物(由相机、雷达和lidar系统通知)之间的复杂相互作用。当任一系统的子组件的行为不可靠时,这两个子系统的依赖关系将变得复杂。例如,众所周知,ins解决方案不可靠。



技术实现要素:

目前的发明人已经认识到,可以利用高分辨率距离多普勒lidar来改善对自主车辆的控制。例如,当先前的ins解决方案的某个组件发生故障时,可以调用来自高分辨率距离多普勒lidar的数据馈送,以帮助对车辆进行定位。一示例是搜索具有已知相对定位(例如,车道标记)或已知地理空间定位(例如,建筑物或路侧标志或轨道标记)的对象,以尝试改善车辆定位和速度的解决方案。

在实施例的第一集合中,在被配置成用于操作多普勒lidar系统的处理器上实现的方法包括:操作多普勒lidar系统以收集点云数据,该点云数据指示针对每个点的至少四个维度,至少四个维度包括倾斜角、方位角、距离以及点和lidar系统之间的相对速度。该方法还包括基于至少四个维度中的仅三个或更少维度来确定点云中的对象的属性值。

在第一集合的一些实施例中,确定对象的属性值包括:隔离点云数据中的具有高值多普勒分量的多个点;以及基于方位角和多普勒分量值的聚类来确定多个点内的移动对象。

在第一集合的一些实施例中,确定点云中对象的属性值包括至少部分地基于针对多个静止点中的每个点的倾斜角来识别点云中的多个静止点。该方法进一步包括基于与多个静止点相对应的多个相对速度来确定lidar的地面速度。在这些实施例中的一些中,识别多个静止点包括基于与多个静止点相对应的多个相对速度,从多个静止点中丢弃相对速度偏离统计量多于阈值的点。在一些实施例中,该方法包括基于与多个静止点中的相对速度最大的静止点相关联的方位角来确定lidar速度的方位角方向。

在第一集合的一些实施例中,该方法包括通过基于当前lidar速度和距扫描周期内的固定时间的时间差来改变点云数据中的点的方位角或倾斜度或距离来进行去偏离。

在实施例的第二集合中,在被配置成用于操作高分辨率lidar系统的处理器上实现的方法包括:操作高分辨率lidar系统以收集点云数据,该点云数据指示针对每个点的至少四个维度,至少四个维度包括倾斜角、方位角、距离和点的反射率。该方法还包括确定点云中的多个对象。每个对象都基于点云中的具有高反射率值的多个相邻点。此外,该方法包括确定数据库中对象的相应数量。数据库中的每个对象都有已知定位。更进一步,该方法包括针对数据库中的相应对象,至少部分地基于数据库中每个对象的已知定位来确定多普勒lidar系统的定位。

在实施例的第三集合中,在被配置为用于操作多普勒lidar系统的处理器上实现的方法包括:操作多普勒lidar系统以收集点云数据,该点云数据指示针对每个点的至少四个维度,至少四个维度包括倾斜角、方位角、距离、点与lidar系统之间的相对速度以及点的反射率。该方法包括确定点云中的多个对象。每个对象都基于点云中的具有高反射率值的相邻点,或者基于点云中的相对速度值近似适合于全球静止对象的相邻点。该方法还包括确定数据库中的对象的相应数量。数据库中的每个对象都有已知定位。该方法进一步包括针对数据库中的相应对象,至少部分地基于数据库中每个对象的已知定位来确定多普勒lidar系统的速度。

在实施例的第四集合中,在被配置为用于操作多普勒lidar系统的处理器上实现的方法包括:操作多普勒lidar系统以收集点云数据,该点云数据指示针对每个点的至少四个维度,至少四个维度包括倾斜角、方位角、距离、点与lidar系统之间的相对速度以及点的反射率。该方法还包括确定点云中对象上的多个斑点。该对象基于点云中的具有高反射率值的相邻点,或者是方位角和多普勒分量值的聚类。该方法进一步包括基于对象上的斑点之间的多普勒分量值的差来确定对象的旋转速率或全球速度。

在其他实施例中,系统或装置或计算机可读介质被配置为执行上述方法的一个或多个步骤。

仅通过示出许多特定的实施例和实施方式,包括为实现本发明而构想的最佳模式,从以下的详细描述中,其他方面,特征和优点将显而易见。其他实施例也能够具有其他和不同的特征和优点,并且在不脱离本发明的精神和范围的情况下,它们的几个细节可以在各种明显的方面进行修改。因此,附图和描述本质上应被认为是说明性的,而不是限制性的。

附图说明

在附图的图中以示例而非限制的方式示出了实施例,其中,相似的附图标记指代相似的元素,并且其中:

图1a是示出根据实施例的作为一系列二进制数字的示例发射信号以及用于距离的测量的返回光信号的示意图;

图1b是示出根据实施例的参考信号与两个返回信号的示例互相关的示意图;

图1b是示出根据实施例的参考信号的示例频谱和多普勒移位返回信号的示例频谱的示意图;

图1c是示出根据实施例的多普勒频移的返回信号的相位分量的示例互谱的示意图;

图1d是示出根据实施例的距离的示例光学线性调频测量的一组曲线图;

图1e是根据实施例的使用对称lo信号的曲线图,并且当没有多普勒频移时,该频率时间图中的返回信号以虚线示出;

图1f是根据实施例的使用对称lo信号的类似于图1的曲线图,并且当存在非零多普勒频移时,该频率时间图中的返回信号以虚线示出;

图2a是示出根据实施例的高分辨率多普勒lidar系统的示例组件的框图;

图2b是示出在一些实施例中使用的用于高分辨率多普勒系统的锯齿扫描图案的框图;

图2c是示出根据实施例的由高分辨率多普勒lidar系统产生的示例速度点云的图像;

图3a是示出根据实施例的包括至少一个安装在车辆上的高分辨率多普勒lidar系统的示例系统的框图;

图3b是示出根据实施例的包括安装在车辆上的多个高分辨率多普勒lidar系统的示例系统的框图;

图3c是示出根据实施例的包括关于在点云中检测到的对象的安装在车辆上的多个高分辨率多普勒lidar系统的示例系统的框图;

图4是示出根据实施例的用于在自动车辆设置中使用来自高分辨率多普勒lidar系统的数据的示例方法的流程图;

图5a是示出根据实施例的用于检测相对于静止路面的自身车辆移动的计算的示例组件的框图;

图5b是示出根据实施例的在x/y/z空间中呈现的未补偿自我运动的示例原始多普勒lidar点云的曲线图;

图5c是示出根据实施例的在x/y/z空间中呈现的基于多普勒计算速度解对自我运动进行距离补偿的示例处理的多普勒lidar点云的曲线图;

图6是示出根据实施例的确定自身车辆速度的示例方法的流程图;

图7a和图7b是示出根据实施例的从全球定位系统(gps)数据与高分辨率3d多普勒lidar数据导出的速度之间的示例比较的曲线图;

图7c至图7e是示出根据实施例的来自多普勒lidar的速度对相对于车辆的移动方向的方位角的示例依赖性的曲线图;

图7f是示出根据实施例的来自多普勒lidar的速度对方位角的依赖性的示例测量的曲线图。

图8是示出根据另一实施例的确定自身车辆速度和其他移动对象的示例方法的流程图;

图9a至图9c是示出根据实施例的用于检测另一对象相对于自身车辆的移动的计算的示例组件的框图;

图10是示出根据另一实施例的确定另一移动对象的移动和轨迹的示例方法的流程图;

图11是示出根据实施例的用于确定相对于检测到的被调查对象(映射数据库中的静止对象)的自身定位的计算的示例组件的框图;

图12是示出根据实施例的确定相对于检测到的被调查对象的自身定位的示例方法的流程图;

图13是示出根据实施例的确定自身的全球速度的计算的示例组件的框图;

图14是示出根据实施例的确定自身的全球速度的示例方法的流程图;

图15是示出根据实施例的确定移动对象相对于自身车辆的转弯速率的计算的示例组件的框图;

图16是示出根据实施例的确定移动对象的全球速度的示例方法的流程图;

图17a是示出根据实施例的从高分辨率多普勒lidar系统照亮的斑点的示例位置的框图;

图17b至图17d是示出根据实施例的来自照亮的斑点的指示来自静止对象的回波和移动对象的轨迹的示例回波的图像;

图18a至图18c是示出根据实施例的来自作为移动对象的独立车辆的示例回波的曲线图;

图18d和图18e是示出根据实施例的示例测量点云的曲线图;

图19是示出可以在其上实现本发明的实施例的计算机系统的框图;和

图20示出可以在其上实现本发明的实施例的芯片组。

具体实施方式

描述了用于使用光学测距的多普勒校正来操作车辆的方法、装置、系统以及计算机可读介质。在下面的描述中,出于解释的目的,阐述了许多具体细节以便提供对本发明的透彻理解。然而,对于本领域的技术人员显而易见的是,可以在没有这些具体细节的情况下实践本发明。在其他实例中,以框图形式示出了公知的结构和设备,以避免不必要地使本发明晦涩难懂。

尽管列出宽范围的数值范围和参数是近似值,但是在特定的非限制性示例中列出的数值应尽可能精确地报告。但是,任何数值固有地包含某些误差,这些误差必然是由于在撰写本文时在其各自的测试测量中发现的标准偏差而导致的。此外,除非从上下文中另有明确规定,否则本文中出现的数值具有由最低有效数字给出的隐含精度。因此,值1.1暗指从1.05到1.15的值。术语“约”用于指示以给定值为中心的更宽范围,除非从上下文中明确规定,否则暗指在最低有效数字附近的更宽范围,诸如“约1.1”暗指从1.0到1.2的范围。如果最小有效数字不清楚,则术语“约”暗指2,例如,“约x”暗指0.5x到2x范围内的值,例如,约100暗指50到200范围内的值。此外,应将本文公开的所有范围理解为包括在其中包含的任何和所有子范围。例如,仅正数参数的“小于10”范围可以包括介于(且包括)最小值0和最大值10之间的任何和所有子范围,即,任何和所有子范围具有等于或大于零的最小值,等于或小于10的最大值,例如1到4。

下面在个人汽车上的单个前置高分辨率多普勒lidar系统的场境下描述本发明的一些实施例;但是,实施例不限于该场境。在其他实施例中,采用具有重叠或非重叠视场的多个系统或安装在较小或较大的陆地或海洋或空中或太空车辆上的一个或多个这样的系统(无论是自主的还是半自主的或操作员辅助的)。在某些实施例中,高分辨率多普勒lidar是一种如发明人早期工作中所述的使用具有外部调制的连续波(cw)激光器的雷达。外部调制的优势在于可以通过电子控制实现波形灵活性,降低激光要求(激光只是cw),允许同时进行距离和多普勒(速度测量)的新颖方法,以及当光束快速穿越不同散斑实现时在低snr处具有更好的性能。

1.相位编码检测概述

使用光学相位编码信号来测量距离,所发射的信号与所发射信号的一部分的载波(相位=0)同相,并且然后在短时间间隔内改变一个或多个由符号δφ表示的相位变化(因此,相位=δφ),在发射的信号上反复在两个或多个相位值之间来回切换。恒定相位的最短间隔是被称为脉冲持续时间τ的编码的参数,并且通常是频带中最低频率的几个周期的持续时间。倒数1/τ是波特率,其中每个波特指示符号。在发射的信号期间,恒定相位脉冲的数量n是符号的数量n,并且表示编码的长度。在二进制编码中,有两个相位值,并且最短间隔的相位对于一个值可以视为0,对于另一个值则可以视为1,因此符号为一个比特,并且波特率也称为比特率。在多相编码中,存在多个相位值。例如,4个相位值,诸如δφ*{0、1、2和3},对于δφ=π/2(90度),它们分别等于{0、π/2、π和3π/2};因此,四个相位值可以分别表示0、1、2、3。在此示例中,每个符号为两比特,比特率为波特率的两倍。

相移键控(psk)是指通过改变(调制)参考信号(载波)的相位来传送数据的数字调制方案。通过在精确的时间处改变正弦和余弦输入来实现调制。在射频(rf),psk被广泛用于无线局域网(lan)、rf识别(rfid)和蓝牙通信。可替代地,代替对于恒定参考波进行操作,发射可以对于其自身进行操作。单个发射波形的相位变化可以视为符号。在该系统中,解调器确定接收信号的相位变化,而不是相位(相对于参考波)本身。由于此方案取决于连续相位之间的差异,因此称为差分相移键控(dpsk)。由于不需要解调器具有参考信号的副本来确定接收信号的准确相位(因此,该方案为非相干方案),因此dpsk的实现比普通psk显著地更为简单。

对于光学测距应用,载波频率是光学频率fc,并且rff0被调制到光学载波上。选择符号的数量n和持续时间τ以实现所需的距离精度和分辨率。选择符号的图案以区别于编码信号和噪声的其他来源。因此,发射信号和返回信号之间的强相关性是反射或反向散射的信号的强指示。发射信号由一个或多个符号块构成,其中每个块足够长,即使在存在噪声的情况下,也能提供与反射或反向散射的回波的强相关性。在下面的讨论中,假定发射信号由每块n个符号的m个块构成,其中m和n是非负整数。

图1a是根据实施例的示出作为一系列二进制数字的示例发射信号以及用于距离的测量的返回光信号的示意图120。横轴122指示从零开始时刻起的任意单位的时间。纵轴124a以相对于零的任意单位指示频率为fc+f0的光发射信号的幅度。纵轴124b以相对于零的任意单位指示频率为fc+f0的光返回信号的幅度,并且从轴124a偏移到单独的迹线。迹线125表示m*n个二进制符号的发射信号,具有如图1a所示的相位变化以产生一个从00011010开始并按省略号指示继续的码。迹线126表示从不移动的对象散射的理想化(无噪声)返回信号(并且因此,回波没有被多普勒频移)。幅度被减小,但是码00011010可被识别。迹线127表示从正在移动的对象中散射理想化(无噪声)并且因此被多普勒频移的返回信号。回波不在适当的光学频率fc+f0处,并且在预期的频带中未得到很好的检测,因此幅度被减弱。

通过等式1给出的多普勒效应,观测到的回波频率f’与回波的正确频率f=fc+f0不同。

其中c是介质中的光速,vo是观察者的速度,vs是沿着将源连接到接收器的矢量的源的速度。请注意,如果观察者和源在两者之间的矢量上沿相同方向以相同速度移动,则这两个频率相同。两个频率之间的差δf=f’-f是多普勒频移δfd,这会给距离测量带来问题,δfd由等式2给出。

请注意,误差的幅度随信号频率f的增加而增加。还要注意,对于静止的lidar系统(vo=0),对于以每秒10米的速度移动的对象(vs=10),可见光的频率约为500thz,则误差的大小约为16兆赫兹(mhz,1mhz=106hz,1hz=每秒1个周期)。在下面描述的各种实施例中,检测多普勒频移误差并将其用于处理数据以计算距离。

在相位编码测距中,通过将发射信号或其他参考信号与返回信号互相关,在回波中检测相位编码反射的到达,而这实际上是通过将rf信号的码与来自光学检测器的电信号互相关并且从而向下混频回到rf频带来实现的。通过对两条迹线进行卷积来计算任意一个滞后的互相关,即,将两条迹线中的对应值相乘,对迹线中的所有点求和,然后针对每个时滞进行重复。可替代地,可以通过将两个迹线中的每一个的傅立叶变换相乘然后进行傅立叶逆变换来实现互相关。快速傅里叶变换(fft)的有效硬件和软件实现可广泛用于正向和逆向傅里叶变换。

注意,在光检测器检测到回波的幅度和相位之后,通常利用模拟或数字电信号来进行互相关计算。为了将光学检测器处的信号移动到可以轻松数字化的rf频率范围,在入射到检测器上之前,将光学返回信号与参考信号进行光学混频。可以将相位编码的发射光信号的副本用作参考信号,但也可以并且通常最好将激光器输出的连续波载波频率光信号用作参考信号,并捕获检测器输出的电信号的幅度和相位。

对于从不移动的对象反射的理想化(无噪声)返回信号(因此返回信号没有被多普勒偏移),在发射信号开始后的时间δt出现一个峰值。这指示返回信号包括从时间δt开始的发射相位码的版本。到反射(或反向散射)对象的距离r是基于介质中的光速c从双向传播时间延迟中计算得出的,如等式3所给出的。

r=c*δt/2(3)

对于从正在移动的对象散射的理想化(无噪声)返回信号(因此,回波被多普勒频移),该返回信号在适当的频率仓中不包括相位编码,对于在所有时间滞后,相关都保持较低,因此不易检测到峰值,并且峰值在存在噪声的情况下通常是无法检测的。因此,δt不易确定,距离r不易产生。

根据发明人先前工作的各个实施例,在返回信号的电处理中确定多普勒频移;多普勒频移用于校正互相关计算。因此,更容易发现峰并且可以更容易确定距离。图1b是示出根据实施例的发射信号的示例频谱和多普勒频移复返回信号的示例频谱的示意图140。横轴142以任意单位指示从光载波fc偏移的rf频率。纵轴144a以相对于零的任意单位指示特定窄频率仓的幅度,也称为频谱密度。纵轴144b以相对于零的任意单位指示谱密度,并且从轴144a偏移到单独的迹线。迹线145表示发射信号;并且,在适当的rff0处出现峰值。迹线146表示理想化(无噪声)的复返回信号,该信号从朝lidar系统移动的对象反向散射,因此被多普勒频移到更高的频率(称为蓝移)。在适当的rff0处,回波没有峰值;但是,实际上,被蓝移δfd,移至偏移频率fs。在实践中,表示回波的同相分量和正交(i/q)分量的复数回波用于确定+δfd处的峰值,从而多普勒频移的方向以及目标在传感器和对象之间的矢量上的运动的方向从一次回波就可以明显看出。

在一些多普勒补偿实施例中,不是如图1b所示通过获取发射信号和返回信号两者的频谱并在每个信号中搜索峰值,然后使相应峰值的频率相减来找到δfd,而在rf频带中获取下混频返回信号的同相和正交分量的互谱更为有效。图1c是示出根据实施例的示例互谱的示意图150。横轴152以相对于基准频谱的任意单位指示频移;并且,纵轴154以相对于零的任意单位指示互谱的幅度。迹线155表示与一个理想化(无噪声)返回信号的互谱,该理想化返回信号由朝lidar系统移动的一个对象(图1b中δfd1=δfd的蓝移)和远离lidar系统移动的第二对象(dfd2的红移)生成。当分量之一被蓝移了δfd1时,出现峰值;并且,当分量之一红移δfd2时,出现另一个峰值。因此确定了多普勒频移。这些偏移可用于确定lidar附近的对象接近的带符号的速度,这可能对于避免碰撞应用至关重要。但是,如果不进行i/q处理,则在+/-δfd1和+/-δfd2处都会出现峰值,因此多普勒频移的符号不明确,从而移动的方向也不明确。

如发明人先前的工作中更详细地描述的,在互谱中检测到的多普勒频移用于校正互相关,使得峰值135在滞后δt处出现在多普勒补偿的多普勒频移回波中,并且可以确定距离r。在一些实施例中,如s.crouch等人在题为“methodandsystemfordopplerdetectionanddopplercorrectionofopticalphase-encodedrangedetection(用于光学相位编码测距的多普勒检测和多普勒校正的方法和系统)”的国际专利申请公开wo2018/144853中更详细地描述的,执行同时的i/q处理。在其他实施例中,如s.crouch等人在题为“methodandsystemfortimeseparatedquadraturedetectionofdopplereffectsinopticalrangemeasurements(光学距离测量中的多普勒效应的时间分离正交检测的方法和系统)”的专利申请公开wo20019/014177中更详细地描述的,使用串行i/q处理来确定多普勒回波的符号。在其他实施例中,使用其他手段来确定多普勒校正;并且,在各种实施例中,使用本领域已知的执行多普勒校正的任何方法或装置或系统。

2.线性调频检测概述

图1d是示出根据实施例的距离的示例光学线性调频测量的一组曲线图。横轴102对于所有四个曲线图都是相同的,并且以任意单位(毫秒(ms,1ms=10-3秒)的量级)指示时间。曲线图100指示用作发射光信号的光束的功率。曲线图100中的纵轴104以任意单位指示发射信号的功率。迹线106指示电源在有限的脉冲持续时间τ(从0时间开始)内接通。曲线图110指示发射信号的频率。纵轴114以任意单位指示发射的频率。迹线116指示脉冲的频率在脉冲的持续时间τ内从f1增加到f2,因此具有带宽b=f2-f1。频率变化率是(f2-f1)/τ。

在曲线图160中描绘了返回信号,如曲线图110所示,其具有指示时间的横轴102和指示频率的纵轴114。在曲线图160上,曲线图110的线性调频脉冲116也被绘制为虚线。第一返回信号由迹线166a给出,它只是强度减小(未示出)并延迟了δt的发射参考信号。当在经过2r的距离后从外部对象接收到返回信号时,其中r是到目标的距离,返回信号从延迟时间δt开始,δt由2r/c给出,其中c是介质中的光速(大约3x108米/秒,m/s),与上述的等式3有关。在这段时间内,变化了取决于距离的量的频率,称为fr,由频率变化率乘以延迟时间得出。这由等式4a给出。

fr=(f2-f1)/τ*2r/c=2br/cτ(4a)

fr的值是在称为去线性调频的时域混频操作中通过发射信号116和返回信号166a之间的频率差来测量的。因此,距离r由等式4b给出。

r=frcτ/2b(4b)

当然,如果返回信号在脉冲完全发射之后到达,也就是说,如果2r/c大于τ,则等式4a和4b无效。在这种情况下,参考信号被延迟一个已知的或固定的量,以确保返回的信号与参考信号重叠。将参考信号的固定或已知延迟时间乘以光速c,即可得到一个附加距离,该距离与根据等式4b计算的距离相加。尽管由于介质中光速的不确定性可能会导致绝对距离偏离,但这是一个近乎恒定的误差,基于频率差的相对距离仍然非常精确。

在某些情况下,被发射光束照亮的斑点在不同距离处遇到两个或更多个不同的散射体,诸如半透明对象的前部和后部,或距离lidar不同距离处的对象较近和较远的部分,或照亮斑点内的两个独立对象。在这种情况下,也将接收到第二减弱的强度和不同地延迟的信号,在曲线图160上由迹线166b指示。这将具有不同的fr测量值,使用等式4b可以得出不同的距离。在某些情况下,会收到多个附加的返回信号。

曲线图170描绘了第一返回信号166a与参考线性调频脉冲116之间的差频fr。横轴102指示时间,如图1d中的所有其他对齐曲线图所示,纵轴164以大得多的比例指示频率差。迹线176描绘了响应于发射的线性调频脉冲而测得的恒定频率fr,其指示如等式4b所给出的特定距离。如果存在第二返回信号166b,则它将在去线性调频脉冲期间产生不同的较大的fr值(未示出);结果,使用等式4b可以得到更大的距离。

用于去线性调频的通用方法是将参考光信号和返回光信号都引导到同一光检测器。检测器的电输出由拍频决定,该拍频等于或以其他方式取决于会聚在检测器上的两个信号的频率差。该电输出信号的傅立叶变换将在拍频处产生峰值。该拍频处于兆赫兹(mhz)的射频(rf)范围内(mhz,1mhz=106赫兹=106周期/秒),而不是处于太赫兹的光学频率范围内(thz,1thz=1012赫兹)。此类信号易于通过常见且廉价的rf组件进行处理,诸如在微处理器上运行的快速傅立叶变换(fft)算法或特殊构建的fft或其他数字信号处理(dsp)集成电路。在其他实施例中,返回信号与用作本地振荡器的连续波(cw)音调(相对于作为本地振荡器的线性调频脉冲)进行混频。这导致检测到的信号本身就是线性调频脉冲(或发射的任何波形)。在这种情况下,检测到的信号将如kachelmyer1990中所述在数字域中进行匹配滤波。缺点是数字转换器带宽要求通常更高。相干检测的积极方面以其他方式得以保留。

在一些实施例中,改变lidar系统以产生同时的上下线性调频脉冲。这种方法消除了对象速度差异或相对于对象的lidar定位变化(实际上会改变距离)或光束中的瞬态散射等或某些组合带来的可变性。然后,该方法保证了在上下线性调频脉冲上测量的多普勒频移和距离确实相同,并且可以最有用地组合。多普勒方案可确保在频率空间中并行捕获非对称移位的回波对,以用于高概率的正确补偿。

图1e是使用对称lo信号的曲线图,并且根据实施例,当没有多普勒频移时,该频率时间图中的返回信号以虚线示出。横轴以10-5秒(数十微秒)为示例单位指示时间。纵轴以吉赫兹(109赫兹)为示例单位指示光发射信号相对于载波频率fc或参考信号的频率。在脉冲持续时间内,生成在任何时间都包括两个光学频率的光束。一个频率从f1增加到f2(例如,在光载波上方1至2ghz),而另一个频率同时从f4减小到f3(例如,在光载波下方1至2ghz)。两个频带(例如,从f1到f2的频带1以及从f3到f4的频带2)不重叠,使得可以通过高通或低通滤波器或某种组合以在通过频率fp处开始的通带将发射信号和返回信号光学隔离。例如f1<f2<fp<f3<f4。尽管在所示实施例中,较高的频率提供上线性调频脉冲,而较低的频率提供下线性调频脉冲,但是在其他实施例中,较高的频率产生下线性调频脉冲,而较低的频率产生上线性调频脉冲。

在一些实施例中,两个不同的激光源被用来每次在每个光束中产生两个不同的光学频率。但是,在一些实施例中,单个光学载波由单个rf线性调频脉冲调制,以产生对称边带,该对称边带用作同时的上下线性调频脉冲。在这些实施例中的一些中,使用了双边带马赫曾德尔(mach-zehnder)强度调制器,该调制器通常在载波频率中不会留下太多能量;相反,几乎所有的能量都进入了边带。

由于边带对称性,如果使用相同阶数的边带,则两个光学线性调频脉冲的带宽将相同。在其他实施例中,使用其他边带,例如,使用两个二阶边带,或者使用一阶边带和不重叠的第二边带,或者某种其他组合。

如在crouch等人的标题为“methodandsystemfordopplerdetectionanddopplercorrectionofopticalchirpedrangedetection(用于光学线性调频测距的多普勒检测和多普勒校正的方法和系统)”的美国专利申请公开wo2018/160240中描述的,在选择发射(tx)和本地振荡器(lo)线性调频脉冲波形时,确保系统的频移频段最大程度地利用可用数字转换器带宽是有利的。通常,这是通过将上线性调频脉冲或下线性调频脉冲移位以使距离频率拍频接近于零来实现的。

图1f是类似于图1e的曲线图,使用对称的lo信号,并且当存在非零多普勒频移时,该频率时间图中的返回信号以虚线示出。在线性调频波形的情况下,可以使用时间分隔的i/q处理(也称为时域复用)来克服上述其他方法的硬件要求。在这种情况下,使用aom可以打破实值信号的距离多普勒不明确。在一些实施例中,如以上引用的专利申请公开wo2018/160240中更详细地描述的,使用计分系统来配对上和下线性调频脉冲回波。在其他实施例中,如在s.crouch等人的标题为“methodandsystemfortimeseparatedquadraturedetectionofdopplereffectsinopticalrangemeasurements(用于光学距离测量中的多普勒效应的时间分离正交检测的方法和系统)”的专利申请公开wo20019/014177中更详细地描述的,使用i/q处理来确定多普勒线性调频脉冲的符号。

3.光学检测硬件概述

为了描述如何使用高分辨率距离多普勒检测系统,描述了一些通用硬件方法。图2a是示出根据实施例的高分辨率多普勒lidar系统的示例组件的框图。光信号由箭头指示。电子有线或无线连接由不带箭头的分段线指示。激光源212在分离器216之前或之后发射在调制器282a中进行了相位或频率调制的载波201,以产生具有持续时间d的相位编码或线性调频光信号203。分离器216将调制后的(或,如图所示,未调制的)光信号分离用于参考路径220。产生具有光束201的大部分能量的目标光束205,在本文中也称为发射信号。还产生具有小得多的能量的调制或未调制的参考光束207a,尽管如此其能量仍足以与从对象(未示出)散射的返回光291产生良好的混频。在所示的实施例中,参考光束207a在调制器282b中被单独调制。参考光束207a穿过参考路径220,并作为参考光束207b被导向一个或多个检测器。在一些实施例中,参考路径220引入已知延迟,该已知延迟足以使参考光束207b以来自感兴趣的距离扩散内的lidar外部的对象的散射光到达检测器阵列230。在一些实施例中,参考从单独的振荡器本地产生参考光束207b的较旧的方法,参考光束207b被称为本地振荡器(lo)信号。在各种实施例中,从不太灵活的方法到更灵活的方法,通过以下方式使参考以散射或反射场到达:1)在场景中放置一面镜子,以将一部分发射光束反射回检测器阵列,使得路径长度匹配得很好;2)使用光纤延迟来紧密匹配路径长度,并在检测器阵列附近用光学元件广播参考光束,如图2所建议的,具有或不具有路径长度调节,以补偿在特定距离内观察到或预期的相位或频率差;3)使用移频设备(声光调制器)或本地振荡器波形调制的时间延迟(例如,在调制器282b中)以产生单独的调制来补偿路径长度失配;或者某种组合。在一些实施例中,对象足够近并且发射持续时间足够长,以使得回波充分重叠参考信号而没有延迟。

然后,通常通过一些扫描光学器件218发射发射信号以照亮感兴趣的区域。检测器阵列是单对或不成对的检测器或布置在大致垂直于来自对象的返回光束291的平面中的成对的或不成对的一维(1d)或二维(2d)阵列。参考光束207b和返回光束291在零个或多个光学混频器284中组合以产生具有待适当检测的特性的光信号。采集系统240在信号持续时间d期间多次为每个检测器记录干涉图案的频率、相位或幅度或某种组合。

每个信号持续时间处理的时间样本的数量影响下视距离范围。该数目通常是基于每个信号的符号数目、信号重复率和可用相机帧速率选择的实际考虑因素。帧速率是采样带宽,通常称为“数字转换器频率”。距离范围的唯一基本限制是激光器的相干长度以及重复之前的线性调频脉冲或唯一相位码的长度(对于明确的测距)。之所以启用此限制,是因为可以将返回的外差信号或比特的任何数字记录与来自先前传输历史的已传输比特的任何部分进行比较或互相关。

所获取的数据可用于处理系统250,诸如下面参考图19描述的计算机系统,或者下面参考图20描述的芯片组。带符号的多普勒补偿模块270确定多普勒频移的符号和大小以及基于其的校正距离以及本文所述的任何其他校正。在一些实施例中,如图2所示,处理系统250还提供扫描信号以驱动扫描光学器件218,并且包括调制信号模块以发送驱动调制器282a、282b的一个或多个电信号。在所示的实施例中,处理系统还包括车辆控制模块272,以提供关于车辆相对于共享地理空间坐标系或相对于一个或多个检测到的对象或某种组合的定位和移动的信息。在一些实施例中,车辆控制模块272还响应于这样的信息来控制车辆(未示出)。

可以使用任何已知的装置或系统来实现激光源212、调制器282a,282b、分束器216、参考路径220、光混频器284、检测器阵列230、扫描光学器件218或采集系统240。没有描绘泛光或聚焦在目标上或聚焦在瞳平面之外的光耦合。如本文所使用的,光耦合器是影响光在空间坐标内传播以将光从一个组件引导到另一组件的任何组件,诸如真空、空气、玻璃、晶体、镜面、透镜、光学循环器、分束器、相板、偏振器、光纤、光混频器等,单独使用或组合使用。

图2a还示出了根据一个实施例的用于同时上和下线性调频lidar系统的示例组件。在该实施例中,调制器282a是移频器,其被添加到发射光束205的光路中。在其他实施例中,移频器被替代地添加到返回光束291的光路中或参考路径220中。通常,将移频元件作为调制器282b添加到本地振荡器(lo,也称为参考路径)侧或发射侧(在光放大器之前)上,因为用作调制器的设备(例如,声光调制器aom)有一些相关的损耗,并且将有损耗的组件放在接收侧或光放大器之后是不利的。光移相器的目的是使发射信号(或返回信号)的频率相对于参考信号的频率偏移已知量δfs,从而使上和下线性调频脉冲的拍频出现在不同的频带,在分析由光检测器230输出的电信号时,例如其可以由处理系统250中的fft组件拾取。例如,如果引起距离效应的蓝移为fb,则上调线性调频脉冲的拍频将增加偏移量,并出现在fb+δfs处,而下调线性调频脉冲的拍频将减少偏移量,降低至fb–δfs。因此,上线性调频脉冲将比下线性调频脉冲处于更高的频带,从而将它们分离。如果δfs大于任何预期的多普勒效应,则在与上线性调频脉冲和下线性调频脉冲相关的范围内将没有不明确。

然后,可以用已知的δfs的正确带符号的值来校正测得的节拍,以获得正确的上线性调频距离和下线性调频距离。在一些实施例中,来自平衡检测器的rf信号被直接数字化,并且频带经由fft分离。在一些实施例中,用模拟rf电子设备对来自平衡检测器的rf信号进行预处理,以分离出可以直接数字化的低频带(对应于上线性调频脉冲或下线性调频脉冲中的一个)和高频带(对应于相反的线性调频脉冲),可以将其电子地下变频到基带,然后数字化。两个实施例都提供了将检测到的信号的频带与可用的数字转换器资源相匹配的路径。

图2b是示出在一些实施例中使用的用于高分辨率多普勒lidar系统的锯齿扫描图案的框图。扫描扫过一定范围的方位角(水平)和倾斜角(以零倾斜上下垂直于水平方向)。在其他实施例中,使用其他扫描图案。在各种实施例中可以使用本领域中已知的任何扫描图案。例如,在一些实施例中,使用在crouch的标题为“methodandsystemforadaptivescanningwithopticalrangingsystems(使用光学测距系统的自适应扫描的方法和系统)”的国际专利申请公开wo2018/125438,或者标题为“methodandsystemforautomaticreal-timeadaptivescanningwithopticalrangingsystems(用于光学测距系统的自动实时自适应扫描的方法和系统)”的国际专利申请公开wo2018/102188中描述的方法执行自适应扫描。

图2c是示出根据实施例的由扫描高分辨率多普勒lidar系统产生的示例速度点云的图像。尽管称为点云,但云的每个元素都表示来自斑点的回波。斑点大小是光束宽度和距离的函数。在一些实施例中,该光束是笔形光束,其具有圆形对称的高斯准直光束和从lidar系统发射的横截面直径(光束宽度),通常在约1毫米(mm,1mm=10-3米)至100mm之间。2d图像的每个像素指示一个以特定方位角和倾斜角照亮的不同斑点,并且每个斑点都具有相对于lidar的距离(第三维)和速度(第四维)。在一些实施例中,还通过返回信号的强度或幅度(第五维度)来指示反射率度量。因此,点云的每个点表示至少一个4d矢量,可能还表示5d矢量。

使用以上技术,鉴于lidar系统,扫描高分辨距离多普勒lidar产生具有场景的逐点符号相对速度的高分辨率3d点云图像。如上所述,通过当前的高分辨率多普勒lidar,可以在非常大的速度范围(>+/-100m/s)内以高粒度(<0.25m/s)确定多普勒相对速度。相干测量技术的使用将多普勒的固有灵敏度转换为lidar扫描仪的同时距离多普勒测量。此外,相干测量技术相对于更传统的lidar解决方案,可实现非常高的动态范围测量。这些数据字段的组合允许在ins丢失的情况下进行强大的车辆定位。

4.车辆控制概述

在一些实施例中,至少部分基于从安装在车辆上的高分辨率多普勒lidar系统接收的数据来控制车辆。

图3a是示出根据实施例的示例系统的框图,该示例系统包括至少一个安装在车辆310上的高分辨率多普勒lidar系统320。车辆具有由星号311指示的质心,并且沿箭头313给出的向前方向行驶。在一些实施例中,车辆310包括响应于来自处理器的信号而操作的部件,诸如转向或制动系统(未示出)。在一些实施例中,车辆具有车载处理器314,诸如图20中描绘的芯片组。在一些实施例中,如图19所示,机载处理器314与远程处理器进行有线或无线通信。高分辨率多普勒lidar使用扫描光束322,该扫描光束322通过方位角视场324以及通过垂直角度(未示出)照亮车辆310周围的斑点,从一侧扫向另一侧(由未来光束323表示)。在一些实施例中,视场是360度方位角。在一些实施例中,倾斜角视场是从大约+10度到大约-10度或其子集。

在一些实施例中,车辆包括辅助传感器(未示出),诸如gps传感器、里程表、转速表、温度传感器、真空传感器、电压或电流传感器以及其他本领域众所周知的传感器。在一些实施例中,包括陀螺仪330以提供旋转信息。

在图3a中也描绘了由从由两个箭头的底部的点表示的已知地理位置的指向北的箭头和指向向东的箭头表示的全球坐标系。相对于全球定位系统来定位作为地理信息系统(gis)数据库的映射系统中的数据。在控制车辆中,与车辆附近的其他移动和非移动对象相比,了解车辆在全球坐标系中的位置和航向以及车辆的相对位置和运动是有利的。

图3b是示出根据实施例的示例系统的框图,该示例系统包括安装在车辆310上的多个高分辨率多普勒lidar系统。项目310、311、313和314以及全球坐标系如图3a所描绘。在此,多个高分辨率多普勒lidar系统340a、340b、340c、340c(在下文中统称为lidar系统340)被定位在车辆310上,以提供完整的角度覆盖,至少对于超过一定的距离的范围,在某些角度上具有重叠。图3b还描绘了分别在瞬时最左光束分别为342a、342b、342c、342d(以下统称为最左光束342)和最右光束分别为343a、343b、343c、343d(下文中统称为最右边光束343)之间的视场344a、344b、344c、344d(以下统称为视场344)。在其他实施例中,更多或更少的高分辨率多普勒lidar系统340以较小或较大的视场344使用。

图3c是示出根据实施例的示例系统的框图,该示例系统包括关于在点云中检测到的对象的安装在车辆310上的多个高分辨率多普勒lidar系统340。项目310、311、313、314、340、342、343和344以及全球坐标系如图3b所描绘。在来自系统340的3d点云中可检测到的项目包括路面391、路缘石395、停车标志392、灯柱393a、393b、393c(以下统称为灯柱393)、车道标记394和移动的独立车辆396。独立的移动车辆396正在转弯,因此在车辆前方具有与车辆后方的速度矢量397b不同的速度矢量397a。这些项目中的某些项目(诸如停车标志392和灯柱393)在gis数据库中可能具有全球坐标。

图4是示出根据实施例的用于在自动或辅助车辆设置中使用来自高分辨率多普勒lidar系统的数据的示例方法400的流程图。尽管用于说明的目的在图4中和在随后图6、图8、图10、图12、图14和图16的流程图中将步骤描绘为特定顺序的整体步骤,但是在其他实施例中,一个或多个步骤或者其一部分以不同顺序,或者在时间上重叠,串行或并行执行,或者被省略,或者添加了一个或多个其他步骤,或以某种方式的组合更改了方法。

在步骤401中,高分辨率多普勒lidar系统340配置在车辆310(以下也称为自身车辆,以和附近的独立车辆396区分)上。在一些实施例中,配置包括将lidar系统340安装在车辆310上。配置数据存储在一个或多个自身车辆数据库中,既可以在车辆310上本地存储,也可以远程存储,或以某种组合的形式存储。配置数据至少包括系统340相对于车辆的质心311的定位和系统相对于车辆的向前方向313的视场344。在一些实施例中,步骤40包括存储在随后的一个或多个步骤中使用的方法的其他常数或参数值,诸如以下参考图8描述的针对自身车辆速度的解公差的值。

在步骤403中,操作自身车辆上的传感器系统。例如,惯性导航系统(ins)被操作用于从里程表获取速度信息,从全球定位系统(gps)接收器获取定位信息,从陀螺仪获取方向信息以及从高分辨率多普勒lidar系统获取3d点云数据以校准相对于车辆质心和方向的lidar视场的定位和方向。校准数据存储在一个或多个数据库中。

在步骤405中,甚至在超出任何校准测量值的情况下,高分辨率多普勒lidar也可操作用于构建包括在每个点处具有相对速度的3d点云的场景,作为在一个或多个这样的lidar系统340中的每一个处的一个完整扫描的结果。在步骤411中,分析场景数据以确定静止对象(例如,路基391或交通标志392或灯柱393或路缘石395或标记394或某种组合)、相对于静止对象的自身速度(本文也称为自我运动)以及一个或多个移动对象的速度和方向(例如,396)(如果有)。用于确定所有这些结果中的每一个或全部的方法的各种实施例在下面参考其余流程图更详细地描述。

如果自我运动的确定足够快以在覆盖大的距离(车辆的大小的量级)之前检测到运动变化(加速度),则是有利的。车速矢量(amax)的最大逐分量变化与lidar的扫描周期(tscan)和多普勒分辨率(rd)的乘积相比有利,如等式4所给出的。

amax<tscanrd(4)

例如,如果车辆的加速度超过2.5m/s2,则具有rd=0.25m/s和10hz扫描速率(tscan=0.1sec)的lidar传感器可能无法正确分割运动参与者。由于这不是一个特别高的值,因此当前的实施方式是解决每个“小框架”上的速度(一个或多个并发多普勒lidar光束的垂直阵列的从左到右扫描),而不是完整的垂直框架(包括以不同的倾斜角偏移、在时间上顺序进行操作的一个或多个小框架)。这使速度解决方案的典型操作具有有效的80hz扫描速率,给出最大加速度为20m/s2——重力加速度的两倍以上,足以应付包括大多数汽车操作在内的许多车辆场景。对于其他对象的速度估计也存在类似的限制,因为在第一阶上,横跨另一对象的范围的速度变化有利地超过了特征多普勒噪声值,以确定另一对象的运动。

通常,在不到一毫秒的时间内测量点云的每个斑点是有用的,以便可以在不到十分之一秒的时间内累积数百个点的点云。更快的测量(数十微秒的量级)可以使点云大100倍。例如,上述的高分辨率多普勒相位编码lidar可以实现500mbps至1gbps的波特率。结果,这些码一次测量的持续时间在大约500纳秒(ns,1ns=10-9秒)和8微秒之间。注意,在这些条件下,距离窗口可以延伸到几公里,并且多普勒分辨率也可以很高(取决于发射信号的持续时间)。

在步骤421中,确定移动对象是否表示对自身车辆的危险,例如,在自身车辆速度或移动对象速度或某种组合指示碰撞或接近碰撞的情况下。如果是这样,则在步骤423中,例如,通过向操作员发送警报或发送使得自身车辆上的一个或多个系统(诸如,制动器或转向系统或安全气囊)工作的命令信号,使得启动危险缓解动作。在一些实施例中,危险缓解动作包括确定预测在碰撞或接近碰撞中涉及什么对象。例如,如果另一对象是人类或大型移动对象(像火车或卡车),则允许碰撞避免以严重到足以使自身车辆打滑或滚动,但是如果另一对象是停车标志或路缘石,则允许缓慢的碰撞。在这些实施例的一些中,使用本领域已知的任何方法,基于反射率变化或形状或某种组合来识别对象。例如,在一些实施例中,使用由crouch的标题为“methodandsystemforclassificationofanobjectinapointclouddataset(用于在点云数据集中对对象进行分类的方法和系统)”的pct专利申请wo2018/102190中描述的方法进行对象识别。在一些实施例中,基于自身车辆的全球定位和指示其他静止或移动对象的全球定位的gis来识别对象。控制然后返回到步骤405,以使用高分辨率多普勒lidar系统340收集下一个场景。重复步骤405至411到421至423的循环,直到在步骤421中确定没有危险为止。显然,可以更快地测量扫描,就可以更快地完成循环。

在步骤431中,确定自身车辆的速度是否可靠(在图4中以“ok”指示)。例如,校准数据指示里程表工作正常,并且正在从里程表接收信号,或者陀螺仪指示自身车辆未在旋转。在一些实施例中,从具有相对速度的3d点云确定的速度用于确定全球坐标系中的速度,并且如果里程表与从点云确定的速度不一致,则该速度不是ok。如果不是,则在步骤433中基于具有相对速度数据的3d点云来确定速度。在一些实施例中,在步骤411中自动确定这种相对于路面或其他地面的速度。在一些实施例中,在步骤433中使用先前使用的相对于地面的速度。在一些实施例中,3d点云数据被选择用于这种速度确定,并且在步骤433期间进行或再次进行速度确定。然后控制转到步骤441。

在步骤441中,确定自身车辆的速度和方向是否指示危险,诸如离开道路或超过车辆或道路状况的安全速度范围的危险,例如,如果这样的参数的值在一个或多个自身车辆数据库中。如果是这样,则控制转到步骤443以启动危险缓解动作。例如,在各种实施例中,危险缓解动作的启动包括向操作员发送警报或发送使自身车辆上的一个或多个系统(诸如,制动器或转向系统)工作以使车辆减速至安全速度和方向或展开安全气囊的命令信号。控制然后返回到步骤405以收集高分辨率多普勒lidar数据以构造下一个场景。

在步骤451中,确定自身车辆的相对位置是否可靠(在图4中以“ok”指示)。例如,到高反射率斑点(诸如,路缘石或车道标记)的距离与在路上沿着正确方向行驶一致。如果不是,则在步骤453中,基于以到高反射率斑点(诸如,道路标记和路缘石)的测量距离为基础的具有相对速度数据的3d点云,确定相对位置。在一些实施例中,在步骤411中自动确定自身车辆的这种相对位置。在一些实施例中,在步骤453中使用先前使用的自身车辆的相对位置。在一些实施例中,选择静止的高反射对象的3d点云数据以在步骤453期间确定自己车辆的相对位置。然后控制转到步骤461。

在步骤461中,确定自身车辆的相对位置是否指示危险,诸如离开行车道的危险。如果是这样,则控制转到步骤463以启动危险缓解动作。例如,在各种实施例中,危险化解动作的启动包括向操作员发送警报或发送使自身车辆上的一个或多个系统(诸如,制动器或转向系统)工作以引导自身车辆停留在行车道上或展开安全气囊的命令信号。控制然后返回到步骤405以收集高分辨率多普勒lidar数据以构造下一个场景。

如果在步骤421、441或461中未检测到危险,则控制转到步骤470。在步骤470,基于具有相对速度的3d点云数据来确定全球位置。在一些实施例中,在步骤411中自动确定自身车辆的这种全球位置。在一些实施例中,在步骤470中再次使用先前使用的自身车辆的全球位置。在一些实施例中,选择静止对象(诸如,道路标志和灯柱)或者具有精确已知的全球坐标和轨迹的移动对象(诸如,轨道对象)的3d点云数据,并与gis进行交叉参考,以在步骤470期间确定自身车辆的全球位置。在一些实施例中,步骤470被省略。控制然后转到步骤481。

在步骤481中,确定自身车辆的全球位置是否指示危险,诸如在前进到特定目的地的错误行车道上的危险。如果是这样,则控制转到步骤483以启动危险缓解动作。例如,在各种实施例中,危险缓解动作的启动包括向操作员发送警报或发送使自身车辆上的一个或多个系统(诸如,制动器或转向系统)工作以将自身车辆引导至正确的全球位置或展开安全气囊的命令信号。控制然后返回到步骤405以收集高分辨率多普勒lidar数据以构造下一场景。

如果在任何步骤421、441、461或481中未检测到危险,则控制转到步骤491,以确定是否满足结束条件。在各种实施例中可以使用任何结束条件。例如,在一些实施例中,如果检测到车辆已经断电或到达特定目的地,或者从操作员接收到命令以关闭系统,则满足结束条件。如果不满足结束条件,则控制返回到上述的步骤403和随后的步骤。否则,过程结束。

5.示例实施例

图5a是示出根据实施例的用于检测相对于静止路面的自身车辆移动(自我运动)的计算的示例组件的框图。高分辨率多普勒lidar系统的传感器520被安装在以速度v(在车辆前进方向上)行进的车辆上。传感器位于路面上方的高度;并且,在与车辆移动一段可观距离相比的短的扫描期间,响应于以单位矢量(即,具有幅度=1)l1和l2表示的倾斜角的扫描光束,分别从路面590前方的不同距离的斑点591和592接收到回波。如在传感器520的参考框架中所观察到的,由高分辨多普勒lidar系统直接测量分别来自静止斑点591和592的回波的相对速度vr1和vr2。这些速度等于反单位矢量l1’和l2’分别与车辆的速度v的点积,如等式5a和5b所给出的。

vr1=l1’·v(5a)

vr2=l2’·v(5b)

由于已知l1’和l2’并且测量了vr1和vr2,并且已知v是水平的(平行于路面590)并且假定为在车辆航向的方向上,因此可以对v求解每个方程。但是,由于系统误差,每个确定都可能出错。为了消除系统误差,可以确定一个由等式5c给出的差,并针对v求解差方程。

vr1-vr2=(l1’-l2’)·v(5c)

或不同地表示为等式5d。

δvr=δl’·v(5d)

如图5所示,其中,δvr=vr1-vr2并且δl’=l1’-l2’。因此,操作lidar系统以收集点云数据,该点云数据指示针对每个点的倾斜角和该点与lidar系统之间的相对速度。基于针对每个点的倾斜角在点云中识别多个静止点。然后,基于对应于多个静止点的多个相对速度,确定lidar的地面速度(并由此推断车辆的地面速度)。

值得注意的是,该处理限于数据中可用的4或5个维度(倾斜角、方位角、距离和多普勒分量)中的两个维度(倾斜角和多普勒分量)。这是仅基于至少四个维度中的三个或更少维度来确定点云中的对象的属性值的示例。这种二维方法的优点是,与必须在三维或四维中执行这些方法相比,用于求解带噪声的联立方程的各种计算方法要高效得多。求解带噪声的联立线性方程组的常用方法通常称为最小二乘解,主要是使用恒等式来最小化b-ax量,这暗指x=(at*a)-1*at*b,这需要找到(at*a)的逆。通常使用svd(奇异值分解)或完全正交分解(cod)完成此运算。矢量b,x和矩阵a的维数越高,计算量就越大。因此,对于任何可用的处理能力,都可以在更短的时间内确定解决方案;因此,这种方法提供了更多时间来应对任何危险情况。

图5b是示出了根据实施例的在x/y/z空间中呈现的未补偿自我运动的示例原始多普勒lidar点云的曲线图。图5c是示出根据实施例的在x/y/z空间中呈现的基于多普勒计算速度解对自我运动进行距离补偿的示例处理的多普勒lidar点云的曲线图。

图6是示出根据实施例的确定自身车辆速度的示例方法的流程图。该实施例基于等式5a至5d。在步骤601中,获取高分辨率多普勒lidar数据,对应于图4中的步骤405。在步骤603中,识别数据中对应于静止地面并在车辆前方的斑点。在一些实施例中,基于手动输入来识别地面点,例如,基于允许用户将3d数据云中的斑点围起来用作地面斑点的图形用户界面(gui)。这也可以基于几何特征自动完成,例如,基于使用沿着车辆航向的方向313并以负倾斜角沿着车辆前方的线的点。

点之间的移动对象会混淆计算;因此,做出努力以丢弃速度与满足几何条件的大多数点的速度相差太大的点。

在步骤605中,确定传感器与地面上多个斑点之间的单位矢量l。在步骤607中,针对地面上的随机斑点对确定δl’。在步骤609,基于测得的随机斑点对的多普勒速度来确定δvr。在步骤611中,对随机对求解等式5d以获得v。在一些实施例中,针对多个随机对重复步骤607、609和611,并对它们求平均以进一步减小测量中噪声的影响。

图7a和图7b是示出根据实施例的在从全球定位系统(gps)数据和高分辨率多普勒lidar数据导出的速度之间的示例比较的曲线图。图7a描绘了曲线图710,其中横轴以扫描次数的任意单位指示时间,纵轴以米/秒的单位从大约1的低点到大约15的高点指示向前方向313上的速度。迹线716示出从gps导出的速度,并且被称为gps解。车辆在点716a减速至几乎停止,并在点716b达到高速。方框718指示在图7b的曲线图720中以扩大比例重新绘制的部分。曲线图720的横轴以扫描次数的任意单位指示时间,并且纵轴以每秒米的单位从约11.1的低点到约12的高点指示向前方向313上的速度。迹线726示出gps解,并且迹线727示出从来自高分辨率多普勒lidar的点云导出的速度,称为多普勒解。存在基本一致,误差在约每秒0.1米内。两者都有系统误差,导致在这两条迹线中观察到的很小的漂移。

在实践中发现,等式5d本身在测量值vr1和vr2中受到随机噪声的影响,并且难以客观地确定哪个斑点表示静止地面而不是移动对象。可以认识到,在确定自身车辆速度(速度和方向)中,可以使用除车辆方向313以外的方向上测得的速度来减少噪声的影响。此外,使用其他方位角方向可以避免假设车辆正在向前方向上行驶。图7c至图7e是示出根据实施例的来自多普勒lidar的速度对相对于车辆的移动方向的方位角的示例依赖性的曲线图。图7c中的曲线730描绘了在360度扫描中的一个实验中测得的多普勒速度。横轴指示从-180度到180度的方位角。纵轴指示以米/秒为单位的从-2.5到+2.5的多普勒速度。空心圆圈指示地面(即,假定的静止点)的测量值。在lidar扫描360度若干次时,在每个方位角测量若干个速度。实验过程中的速度范围是由于测量中的噪声引起的。在该实验中没有移动对象污染点云中静止点的测量。

当相对运动朝向车辆时,前面的方位角显示正速度,相对于车辆310的313方向,在接近0度方位角的移动方向上具有最大值。与零的差指示速度与假定的车辆前进方向不同。当地面斑点相对运动远离车辆时,向后方位角显示负速度。数据可以由迹线737给出的多项式拟合,该多项式类似于余弦函数。因此,基于与多个静止点中的对于其相对速度最大的多个静止点中的静止点相关联的方位角来确定地面速度的方位角方向。真正的地面速度基于相对速度最大的多个静止点。

使用围绕车辆移动方向的数据的子集来实现相同的平均噪声最大值。图7d中的曲线740的横轴指示从-30度到30度的方位角。纵轴指示以单米/秒为单位的从0到+2.5的多普勒速度。点746表示从大约-25度方位角到大约25度的测量值。迹线747是多项式拟合的。类似地,图7e中的曲线750的横轴指示从-60度到60度的方位角。纵轴指示以米/秒为单位的从0到+2.5的多普勒速度。点756表示从大约-25度方位角到大约25度的测量值;迹线757是多项式拟合的。从本质上讲,方位校正后的车辆速度由图7c至图7d中的多项式迹线表示。

在这些实验中,所有点都针对静止地面,因此车辆的速度由多项式拟合的最大多普勒给出。在每个点上,多普勒速度v是光束方向上的单位矢量l与车辆速度v的点积,由等式6给出。

vr=l’·v(6)

图7f是示出根据实施例的来自多普勒lidar的速度对方位角的依赖性的示例测量的曲线图。此投影示出在方位角/距离/多普勒空间中呈现的多普勒lidar点云,但随后旋转以仅示出方位角和多普勒轴。从这个角度看,明显的移动对象是显而易见的,静止斑点的余弦结构也是如此。

我们将等式5a至5d的二维处理概括为三个维度,其中x、y和z分别表示东、北和上。对于在短时间间隔内由扫描仪检测到的一组点,一种计算有效但可能在数值上不稳定的方法是从等式6的三个实例中形成具有三个未知数的三个方程组。该方程组采用以下形式:

av=d(7)

其中a是每个多普勒测量的逆单位矢量l’的矩阵,每个矢量l’在x、y和z方向上具有三个分量lx’ly’lz’,v是车辆速度的3维矢量,d是标量测得的多普勒相对速度的数组。明确地:

等式8可以通过常规方法求解,诸如迭代松弛以将a求逆以给出速度矢量v的值。

该方法对用于形成组的点的选择敏感,因为如果矩阵a近似为奇异,则对a求逆将失败。如果这些点具有非常相似的光束矢量,例如,在小的角度区域上收集它们,就会发生这种情况。另外,由于在多普勒值以及距离的测量中存在噪声,因此不可能找到精确的解,并且必须迭代地收敛到该解。该等式对解中包含的移动对象上的斑点高度敏感,因此避免包含移动对象上的斑点的简单低级方法是有利的。在一些实施例中,可基于移动对象与最近的先前速度解的兼容性,通过应用过滤器来将移动对象分段。对于第n个样本的归一化光束矢量,检测到的静止对象的多普勒应遵循等式9给出的关系。

l′n·(v+δv)>vrn>l′n·(v-δv)(9)

在此,δv是一个小矢量,描述了扫描仪的多普勒速度测量中预期的误差量乘以自先前解采样以来的最大预期车速变化。这可以通过最近的加速度和采样时间(扫描或子扫描周期)等其他方法来估算。

在一些实施例中使用的替代方法是例如基于奇异值分解(svd)找到超定的最小二乘解。这里a是大小为nx3的矩阵,其中n是使用的lidar斑点(例如,来自3d点云的点)的数量。在这种情况下,等式7采用等式10a的形式

找到等式10a给出的超定表达式的解,其中的目标是找到使残差矢量r最小的矢量v,该残差矢量r是等式10b给出的大小(nx1)的列矢量。

本质上,r表示数据点与由图7c至图7d中的多项式迹线表示的经方位角校正的车辆速度之间的差。

清楚的是,基于伪逆的svd解将对图7c中描绘的数据很好地工作,因为很好地定义了跨视场(fov)的多普勒变化的特征。相比之下,图7d仅显示+/-20度(40°fov)上的此相同情况,并且变化不那么明显。因此,在实践中,这种限制采取最小速度的形式,其中,可以很好地解析速度矢量,这是由fov强烈驱动的。可以看出,这最常出现于垂直(倾斜/仰角)方向,因为车辆上使用的lidar传感器通常在垂直方向上的fov较小。此外,速度矢量应指向lidar传感器的fov内以获得最佳性能(即,行进方向在lidar的角度空间扫描仪之内)。尽管等式将返回超出此约束的的值,但它可能是无效的,因为对于非反扫描图案,在扫描周期期间这种情况无法与急剧的线性加速度区分开。非反扫描图案是一个或多个lidar光束的扫描图案,其中在执行单个扫描帧时,所有光束总是始终沿相同方向传播。反扫描图案是一种如下扫描图案,其中一个或多个lidar光束在执行单个扫描帧时同时或在不同点沿一个以上的相反方向传播。

对于中等角度(<~80度),fov限制可以近似由等式10c给出:

r<||v||(1-cosθ)(10c)

其中r是多普勒lidar传感器的速度分辨率,||v||是车速矢量的大小,θ是传播方向和fov边缘之一之间的两个角度中的较小者。

对于目标速度估计存在类似的限制,使得一阶目标范围内的速度变化必须超过特征多普勒噪声值以用于确定目标运动是否正常。但是,在实践中,示例多普勒lidars提供的扫描方向上的极高样本密度允许最小二乘拟合在该限制以下起作用。

图8是示出根据另一实施例的确定自身车辆速度和其他移动对象的示例方法的流程图。这涉及到自身运动(自我运动)补偿。该实施例基于等式10b中给出的残余列矢量r,不仅确定自身运动(自我运动),而且还基于自我运动来补偿对移动和静止对象的检测。注意,自我运动实际上是lidar系统的运动;该运动归因于固定lidar的车辆的运动。另请注意,同一辆车辆上多个lidar系统的自我运动可以结合起来以确定车辆的运动。

在步骤801中,确定当前速度矢量vcurrent。可以使用任何方法来确定当前速度矢量,这实质上是对使用方法800要找到的解的第一猜测。例如,对于从静止启动的车辆,当前速度矢量为零。例如,在里程表停止起作用时寻求解的一些实施例中,当前速度矢量可以被选择为当时车辆行驶方向上来自里程表的最后速度。例如,在确定稍后的时间增量处的解的实施例中,当前速度矢量被选择为等于先前时间增量处的解。在一些实施例中,如上所述,使用向下倾斜对和具有最大速度的方位角来确定当前速度。

步骤801包括确定解公差、与3d点云中的静止斑点相关联的残差的第一阈值、预期以相同速度移动的对象的角仓大小以及类似移动的对象的残差仓大小。第一阈值是大于在扫描时间内车辆速度的变化的速度差。例如,如果扫描在1毫秒内完成,并且车辆可以在十秒内加速每小时100公里(每秒约3米/秒),则超过每秒0.003米的变化预计不会是由于自身车辆速度的变化,而该变化可能是由于扫描移动对象而引起的。在这种情况下,第一阈值是约每秒0.01米/秒。如果扫描图案中的相邻光束具有相似的速度,例如,相似的残差大小,则它们可能属于同一对象。因此,期望同一移动对象的数据点具有一定范围的闭合角度大小和闭合速度变化大小。在一些实施例中,对这些数据进行摸索以确定移动对象的大小和速度。针对角仓大小和残差仓大小确定的值将影响如何将数据点分组以确定3d点云中移动对象的存在和速度。

可以使用任何方法来确定值,包括从本地或远程存储器或存储中检索,使用标准算法进行计算,未经请求或响应与对信息的请求而从远程进程接收消息。在一些实施例中,在图4的步骤401期间确定所有这些参数的值,并且将其存储在一个或多个数据库中,诸如与配置数据一起存储。

在步骤803中,针对由于当前速度而导致的偏斜校正在单次扫描期间收集的3d点云数据。当在lidar扫描场景期间车辆移动时,会出现偏斜。因此,与点云中每个点相关联的距离和多普勒速度可以使用车辆速度的当前值校正为扫描时间的开始、或扫描中途的时间、或扫描结束时的时间或其他任何时间。因此,步骤803包括基于当前lidar速度和距扫描周期内的固定时间的时间差来改变点云数据中的点的方位角或倾斜角或距离。在一些实施例中,偏斜不重要或被忽略,并且步骤803被省略。

在步骤805中,基于当前车辆速度确定残差矢量,例如,使用等式10b基于车辆速度vcurrent的当前值使用vx、vy和vz来计算r。残差矢量的行则是点云数据中点的速度与当前车辆速度相差多少的度量。如果差太大,则该点可能不在静止对象(诸如,地面)上,而是在移动对象上。下一步是尝试在移动对象上发现这些斑点,并从自身车辆速度的计算中删除这些点。

在步骤811,选择残差矢量r中的下一行。在步骤813,确定该行上的残差值是否大于静止斑点的第一阈值。如果是这样,则该行可能不是用于静止对象的多普勒观测,并且控制转到步骤815。在步骤815中,从残差矢量r以及具有多普勒相对速度vr的数据阵列d的相应行中删除该行,并且矢量大小减小(例如,新n=当前n–1)。在步骤817中,基于角仓大小和残差仓大小,将移除的行添加到一个或多个移动对象中的每一个的不同残差矢量。每个移动对象残差矢量包括仅在不超过一个残差仓大小的某个残差范围内的残差以及仅在不超过一个角仓大小的某个角度范围内的角度。控制然后转到步骤811以选择残差矢量r的下一行。在一些实施例中,移除的行不被添加到移动对象残差矢量,并且步骤817被省略;并且,控制从步骤815转到步骤811。

如果在步骤813中确定下一行不具有不大于第一阈值的残差,则控制转到步骤821。在步骤821中,确定是否还有剩下的残差矢量r的更多行的要选择。如果是这样,则控制返回到步骤811以选择下一行。如果不是,则控制转到步骤823。

在步骤823中,执行诸如svd运算的运算以确定将r最小化为新的一组值rnew的vcurrent的值。在一些实施例中,通过使用奇异值分解(由等式11a给出的任意矩阵的因式分解)在等式10a中迭代搜索nx3矩阵a的伪逆来获得解。

a=uσv*(11a)

其中u是大小为nxn的酉矩阵;σ是大小为nx3的对角矩阵,v是3x3酉矩阵,v*是v的共轭转置。a的伪逆a-1基于等式11b给出的近似值。

a-1≈vσ-1u*(11b)

因为σ是对角矩阵,所以很容易求逆。u*只是u的共轭转置。在这种情况下,残差r仅用于计算伪逆解的“质量”。

在步骤825中,确定新残差是否已被充分减少。通过查看新残差矢量rnew的大小||r||是否小于或等于目标速度公差来完成此操作。可以使用任何方法来确定大小||r||,诸如,rnew的最大元素、rnew的元素之和、rnew的元素的绝对值之和、rnew的元素的平方和等。公差值取决于如何确定rnew的大小。例如,残余公差应与多普勒测量的误差成比例(光束方向的误差也有影响,但相比而言较小)。完美解的残差的归一化l2范数应该仅仅是多普勒测量的方差,或者如果误差是高斯的,则是标准差的平方。一个好的公差应该是方差的很小的倍数。如果公差小于此值,则不可能满足且无法达到结束条件。如果rnew大于公差,则控制转到步骤827。

在步骤827中,减小第一阈值,以便从新的残差矢量rnew中去除更多的行。通过使rnew为当前残差矢量来重新启动该过程;并使残差矢量的第一行成为要选择的下一行。控制转到步骤811以选择残差矢量的下一行。因此,形成循环以重复该过程,直到确定速度矢量vcurrent且残差矢量大小等于或小于所需的公差。在一些实施例中,其未收敛在足够小的残差矢量上,对迭代次数设置了限制,例如,在100次迭代后,或者在连续迭代之间的速度v之差小于某个百分比(诸如1%)时,该过程停止。

在步骤831中,将基于来自陀螺仪的数据来确定的旋转(如果有的话)添加到速度矢量v。但是,纯粹的旋转运动(绕固定轴旋转)无法通过上述等式被检测到,因此,能够直接检测旋转速度的传感器(诸如,振动结构陀螺仪)被推荐用作任何能够主导旋转运动的车辆的附加输入。在一些实施例中,不包括陀螺仪,并且省略步骤831。控制然后转到步骤833。

在步骤833中,确定是否要校正偏斜。基于在时间间隔内检测到的一组检测点来计算车辆速度解允许采用一种自洽方式来校正由lidar光束在该时间间隔内的有限扫描速度引起的类似“卷帘窗”的偏斜效应。例如,垂直于具有水平扫描光束的lidar系统的速度矢量的平直表面看起来似乎是倾斜偏斜的,因为在该间隔内较晚检测到的点由于车辆向该表面平移而具有较短的距离。如果将在此间隔内检测到的点的集合用于与地图或点云进行匹配或比较以确定车辆的位置和/或姿态,则这种有限的扫描速度偏斜效应可能会大大降低匹配算法的精度和稳定性。从检测点集合中提取的速度矢量可用于在收集时间间隔内对车辆的平移进行瞬时、自洽的测量,以及通过沿该矢量反投影每个点来使其去偏离由dt*||v||给出的量的集合。如果要这样做,则控制返回到步骤803以使数据去偏离。如果不是,则控制转到步骤841。

在步骤841中,使用通过移动从静止数据点去除的行形成的等式,使用上述方法对每个移动对象残差矢量求解3d点云中的移动对象相对于自身车辆的速度v矢量。将自身车辆的速度加到该速度上,以获得这些一个或多个移动对象(如果有)的全球坐标速度vg。如果确定相邻对象正在类似地移动,则可以通过合并两个移动对象残差矢量和相关联多普勒速度的行,然后针对合并的等式求解v,将相邻对象合并为一个对象。控制然后转到步骤843。

在步骤843中,检查在连续扫描中检测到的移动对象,以确定它们是否可能是同一对象。在步骤845中,组合从扫描到另扫描的相关的对象的定位和速度,以形成对象的轨迹;并且,该移动对象的轨迹被添加到一个或多个数据库中。在一些实施例中,不追踪移动对象,并且省略步骤843和845。

图9a至图9c是示出根据实施例的用于检测另一对象相对于自身车辆的移动的计算的示例组件的框图。在图9a中,高分辨率多普勒lidar系统的传感器921安装在以车辆前进方向y的速度行进的车辆上。传感器位于路面上方的高度;并且,在与车辆移动一段可观距离相比的短的扫描期间,响应于以单位矢量l表示的方位角的扫描光束,从斑点991接收回波。全球坐标系分别由从3d点a表示的全球原点向北方向的矢量n和向东方向的矢量e指示。如果不运动,则回波仅给出斑点991的定位。在图9b中,由斑点991表示的对象以矢量v指示的速度移动。相对速度vr由逆单位矢量l’与速度v的点积给出,例如,由等式12给出。

vr=l’·v(12)

并且,如在传感器921的参考框架中所观察到的,相对速度vr直接由高分辨率多普勒lidar系统测量。在图9c中,目标对象991和传感器921都分别以速度vtarget和vsensor移动。高分辨率多普勒lidar在传感器处测得的目标的相对速度(vr_corr)是等式13给出的沿连接它们的直线的两个速度之和。

vr_corr=l’·vtarget+l·vsensor

=l’·vtarget-l’·vsensor(13)

图10是示出根据另一实施例的用于确定另一移动对象的移动和轨迹的示例方法1000的流程图。该实施例基于等式12和13。在步骤1001中,对基于高分辨率多普勒lidar数据的点云进行过滤,以隔离具有大的多普勒速度值的点。在步骤1003中,基于相似的多普勒速度值来对点进行聚类。沿相似方位角方向(例如,与360度相比较小的方位角范围)的相似多普勒速度的每个聚类被视为对象。在步骤1005中,维护每个时间步骤的高多普勒聚类的对象的列表。在步骤1007中,基于空间(方位角和倾斜)的接近度和多普勒相似度,将不同时间的对象聚类相关联。在步骤1009中,确定并维护例如在计算机存储器中的相关对象聚类的对象轨迹。

再次值得注意的是,该处理限于数据中可用的4个或5个维度(倾斜角、方位角、距离、多普勒分量和反射率)中的3个维度(倾斜角、方位角和多普勒分量)。这是基于至少四个维度中的仅三个或更少维度来确定点云中的对象的属性值的另一示例。这种三维方法的优点是,与那些必须在四个维度上执行的方法相比,用于聚类和求解带噪声的联立方程的各种计算方法更为有效。因此,对于任何可用的处理能力,可以在更少的时间内确定解决方案,并且因此该方法提供了更多的时间来应对任何危险情况。

在一些实施例中,具有已知位置的对象的检测被用来定位自身的传感器。图11是示出根据实施例的用于确定相对于检测到的被调查对象(例如,映射数据库中的静止对象或已知定位随时间变化的移动对象)的自身定位的计算的示例组件的框图。高分辨率多普勒lidar系统的传感器1121安装在车辆上3d矢量p给定的定位;并且,在与车辆移动一段可观距离的时间相比短的扫描期间,响应于由单位矢量l1和l2表示的方位角的扫描光束,分别从各自由3d矢量r1和r2表示的不同距离以及方位角处的斑点1191和1192接收回波。两个对象的已知位置分别由3d矢量t1和t2给出。数据满足以下等式14a至14e的集合。

r1–r2=t1–t2(14a)

r=rrl(14b)

r(r1l1–r2l2)=t1–t2(14c)

rδl=δt(14d)

p=rrl+t(14e)

因此,确定了传感器定位的3d矢量p。

图12是示出根据实施例的确定相对于检测到的被调查对象的自身定位的示例方法1200的流程图。在步骤1201中,获得高分辨率lidar图像。其不必是多普勒图像。在步骤1203中,识别场景中的高反射率对象。这些可能包括已知定位的对象,诸如,路牌392、灯柱393等。在步骤1205中,交叉参考附近有被调查对象的对象的位置(例如,来自地理信息系统(gis)数据库)。如果自身定位未知,则这些交叉参考为近似值。例如,gis中的被调查对象可能是检测到的对象,也可能不是。在步骤1207中,确定传感器和检测到的对象之间的视线单位矢量l集合。在步骤1209中,针对这样的检测到的对象的随机配对计算δl。在步骤1211中,使用等式14d,通过从被调查的对象的定位(例如,来自gis)测量的δl和δt对r进行求解。在步骤1213中,用于多个配对的r、l和t分别用于估计传感器的定位p。另外,确定p的多个值的几何平均值以获得p的估计值。在一些实施例中,还在步骤213期间确定值p的置信度。

图13是示出根据实施例的确定自身全球速度的计算的示例组件的框图。在该实施例中,传感器处于速度为v的移动车辆上的定位p处。高分辨率多普勒lidar系统的传感器1321被安装在车辆上的3d矢量p给定的定位处;并且,在与车辆移动一段可观距离的时间相比短的扫描期间,响应于由单位矢量l1和l2表示的方位角的扫描光束,分别不同的方位角处的非移动斑点1391和1392接收回波。数据满足以下等式14a至14e的集合。

v=l’v(15a)

v1–v2=l’1v–l’2v=(l’1–l’2)v(15b)

δl’v=δv(15c)

vglobal=rvlocal(15d)

因此,确定了传感器速度的3d矢量vglobal。

图14是示出根据实施例的确定自身全球速度的示例方法1400的流程图。在步骤1401中,获得高分辨率多普勒lidar图像。在步骤1403中,使用上述一种或多种技术,以与整体静态表面一致的多普勒值识别场景中的点。在步骤1405中,确定传感器和检测到的静止对象之间的视线单位矢量l的集合。在步骤1407中,针对这样检测到的斑点计算δl。在步骤1409中,使用等式15c,通过测量的δl’和δ来求解vlocal。在步骤1411中,使用r来估计vglobal。

图15是示出根据实施例的确定移动对象相对于自身车辆的转弯速率的计算的示例组件的框图。高分辨率多普勒lidar系统的传感器1521被安装在车辆上;并且,在与车辆移动一段可观距离的时间相比短的扫描期间,从位于以速度v移动的转弯对象上的不同位置的斑点1591和1592接收回波。这些斑点分别位于响应于由单位矢量l1和l2表示的方位角的扫描光束而检测到的方位角处。检测到的多普勒速度分别为vr1和vr2。数据满足以下等式16a至16d的集合。

vr1=l’1v(16a)

vr2=l’2v(16b)

vr1–vr2=l’1v–l’2v=(l’1–l’2)v(16c)

δl’v=δv(16d)

因此,目标的全球速度是从移动目标上两个斑点的相对速度获得的。

图16是示出根据实施例的用于确定移动对象的全球速度的示例方法1600的流程图。在步骤1601中,获得高分辨率多普勒lidar图像。在步骤1603中,使用等式13校正自身车辆的运动以获得每个检测到的斑点的vr_corr。在步骤1605中,基于多普勒速度和方位角接近度将同一移动对象上的数个斑点聚类。在步骤1607中,确定传感器与移动对象上的检测到的斑点之间的视线单位矢量l的集合。在步骤1609中,针对这样的检测到的斑点的随机配对计算δl。在步骤1611中,针对这些检测到的斑点的随机配对计算δvr_corr。在步骤1613中,使用等式16d,通过测量的δl’和δv来求解v。该v用作检测到的对象的vglobal。线速度是图15中等式和图16中方法的主题。但是,旋转对象可能会违反该等式;并且旋转速率的一些度量将是有利的。

5.示例实施例。

图17a是示出根据实施例的来自高分辨率多普勒lidar系统的照亮的斑点的示例位置的框图。这些扫描的斑点位于路面上,并用于根据方法600或方法800确定自身的全球速度。

图17b至图17d是示出根据实施例的来自照亮的斑点的指示来自静止对象的回波和移动对象的轨迹的示例回波的图像。这些图像用于使用方法800或1000跟踪对象。

图18a至图18c是示出根据实施例的来自作为移动对象的独立车辆的示例回波的曲线图。多普勒点通过速度、方位角和倾斜角接近度进行聚类。使用方法1600确定对象的净移动。

图18d和图18e是示出根据实施例的示例测量点云的曲线图。每个点都根据测得的速度着色。描绘了一个转弯的小货车,因此该对象同时在进行平移和旋转运动。这是图8a和图8b中描述的模拟数据的真实数据体现。

6.计算硬件概述

图19是示出了可以在其上实现本发明的实施例的计算机系统1900的框图。计算机系统1900包括诸如总线1910之类的通信机制,用于在计算机系统1900的其他内部组件和外部组件之间传递信息。信息被表示为可测量现象的物理信号,通常是电压,但是在其他实施例中包括:诸如磁、电磁、压力、化学、分子原子和量子相互作用的现象。例如,南北磁场或零和非零电压表示二进制数字(比特)的两个状态(0、1)。其他现象可以代表较高基数的数字。测量之前的多个同时量子状态的叠加表示一个量子比特(qubit)。一个或多个数字序列构成用于表示数字或字符码的数字数据。在一些实施例中,被称为模拟数据的信息由特定范围内的几乎连续的可测量值表示。计算机系统1900或其一部分构成用于执行本文描述的一种或多种方法的一个或多个步骤的装置。

二进制数字序列构成用于表示数字或字符码的数字数据。总线1910包括许多并行的信息导体,从而信息在耦合到总线1910的设备之间快速传输。用于处理信息的一个或多个处理器1902与总线1910耦合。处理器1902对信息执行一组操作。该组操作包括从总线1910引入信息并将信息放置在总线1910上。该组操作通常还包括比较两个或更多个信息单元,移动信息单元的定位以及组合两个或更多个信息单元,诸如,通过加法或乘法。要由处理器1902执行的一系列操作构成计算机指令。

计算机系统1900还包括耦合到总线1910的存储器1904。诸如随机存取存储器(ram)或其他动态存储设备的存储器1904存储包括计算机指令的信息。动态存储器允许计算机系统1900改变存储在其中的信息。ram允许独立于相邻地址的信息来存储和检索存储在被称为存储器地址的位置处的信息的单元。存储器1904还被处理器1902用来在执行计算机指令期间存储临时值。计算机系统1900还包括耦合到总线1910的只读存储器(rom)1906或用于存储包括指令的静态信息其他静态存储设备,该静态信息不被计算机系统1900改变。还耦合到总线1910的是非易失性(永久性)存储设备1908,诸如磁盘或光盘,用于存储包括指令在内的信息,即使计算机系统1900被关闭或断电,该信息仍然存在。

包括指令的信息被从外部输入设备1912提供给总线1910以供处理器使用,该外部输入设备1912诸如是包含由人类用户操作的字母数字键的键盘或传感器。传感器检测其附近的状况,并将这些检测结果转换为与用于表示计算机系统1900中的信息的信号兼容的信号。耦合到总线1910的其他外部设备(主要用于与人互动)包括:显示设备1914,诸如阴极射线管(crt)或液晶显示器(lcd),用于呈现图像;以及指示设备1916,诸如鼠标或轨迹球或光标方向键,用于控制显示器1914上呈现的小光标图像的定位,并发出与显示器1914上呈现的图形元素相关联的命令。

在所示的实施例中,诸如专用集成电路(ic)1920的专用硬件耦合到总线1910。专用硬件被配置为出于专用目的足够快地执行处理器1902未执行的操作。专用ic的示例包括:图形加速卡,用于生成显示器1914的图像;加密板,用于对通过网络发送的消息进行加密和解密;语音识别;以及与特殊外部设备(诸如重复执行可以在硬件中更有效地实现的某些复杂操作序列的机械臂和医疗扫描设备)的接口。

计算机系统1900还包括耦合到总线1910的通信接口1970的一个或多个实例。通信接口1970提供双向通信,耦合到以其自身处理器进行操作的各种外部设备,诸如打印机、扫描仪和外部磁盘。通常,耦合是通过网络链路1978进行的,该网络链路1978连接到局域网1980,具有自身处理器的各种外部设备连接到局域网1980。例如,通信接口1970可以是个人计算机上的并行端口或串行端口或通用串行总线(usb)端口。在一些实施例中,通信接口1970是综合业务数字网络(isdn)卡或数字用户线(dsl)卡或电话调制解调器,其提供到对应类型的电话线的信息通信连接。在一些实施例中,通信接口1970是电缆调制解调器,该电缆调制解调器将总线1910上的信号转换成用于通过同轴电缆进行通信连接的信号或转换成用于通过光纤电缆进行通信连接的光信号。作为另一个示例,通信接口1970可以是局域网(lan)卡,以提供到诸如以太网的兼容lan的数据通信连接。无线链接也可以实现。诸如声波和电磁波(包括无线电波,光波和红外波)的载波在没有电线或电缆的情况下穿过空间传播。信号包括载波的幅度、频率、相位、极化或其他物理属性的人为变化。对于无线链路,通信接口1970发送和接收电、声或电磁信号,包括红外和光信号,其携带信息流,诸如数字数据。

本文中使用术语计算机可读介质来指代任何参与向处理器1902提供信息(包括用于执行的指令)的介质。这样的介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘,诸如存储设备1908。易失性介质包括例如动态存储器1904。传输介质包括例如同轴电缆、铜线、光缆和在没有电线或电缆的情况下穿过空间传播的波,诸如声波和电磁波,包括无线电波、光波和红外波。这里使用术语计算机可读存储介质来指代除传输介质之外的任何参与向处理器1902提供信息的介质。

计算机可读介质的常见形式包括:例如,软盘、柔性盘、硬盘、磁带或任何其他磁介质;光盘rom(cd-rom)、数字视频盘(dvd)或任何其他光学介质;打孔卡、纸带或任何其他带孔图案的物理介质;ram、可编程rom(prom)、可擦除prom(eprom)、flash-eprom或任何其他存储器芯片或盒带;载波;或计算机可以读取的任何其他介质。术语“非暂时性计算机可读存储介质”在本文中用于指代除载波和其他信号之外的参与向处理器1902提供信息的任何介质。

在一种或多种有形介质中编码的逻辑包括计算机可读存储介质和专用硬件(诸如,asic1920)上的处理器指令中的一个或两者。

网络链路1978通常通过一个或多个网络向使用或处理信息的其他设备提供信息通信。例如,网络链路1978可以提供通过本地网络1980到主机1982或由互联网服务提供商(isp)操作的设备1984的连接。isp设备1984进而通过公共的全球分组交换通信网络提供数据通信服务,该网络现在通常被称为互联网1990。连接到互联网的称为服务器1992的计算机响应于通过互联网接收的信息来提供服务。例如,服务器1992提供表示视频数据的信息以在显示器1914上呈现。

本发明涉及使用计算机系统1900来实现本文描述的技术。根据本发明的一个实施例,计算机系统1900响应于处理器1902执行存储器1904中包含的一个或多个指令的一个或多个序列来执行那些技术。这些指令,也称为软件和程序代码,可以被从另一个计算机可读介质(诸如,存储设备1908)读入存储器1904。存储器1904中包含的指令序列的执行使处理器1902执行本文所述的方法步骤。在替代实施例中,可以使用诸如专用集成电路1920的硬件来代替软件或与软件结合来实现本发明。因此,本发明的实施例不限于硬件和软件的任何特定组合。

在网络链路1978和其他网络上通过通信接口1970传输的信号携带去往计算机系统1900的信息和来自计算机系统1900的信息。计算机系统1900可以经由网络1980、1990等通过网络链路1978和通信接口1970发送和接收信息,包括程序代码。在使用互联网1990的示例中,服务器1992通过互联网1990、isp设备1984,局域网1980和通信接口1970发送由从计算机1900发送的消息请求的特定应用程序的程序代码。接收到的代码可以在接收到时由处理器1902执行,或者可以存储在存储设备1908或其他非易失性存储中以供以后执行,或两者都有。以这种方式,计算机系统1900可以获得载波上的信号形式的应用程序代码。

各种形式的计算机可读介质可以涉及将一个或多个指令序列或数据或两者携带到处理器1902以执行。例如,指令和数据最初可以携带在诸如主机1982的远程计算机的磁盘上。远程计算机将指令和数据加载到其动态存储器中,并使用调制解调器通过电话线发送指令和数据。计算机系统1900本地的调制解调器在电话线上接收指令和数据,并使用红外发射器将指令和数据转换成作为网络链路1978的红外载波上的信号。用作通信接口1970的红外检测器接收红外信号中携带的指令和数据,并将表示该指令和数据的信息放到总线1910上。总线1910将该信息携带到存储器1904,处理器1902使用与指令一起发送的数据中的一些从存储器1904中检索并执行指令。存储器1904中接收的指令和数据可以可选地在由处理器1902执行之前或之后存储在存储设备1908上。

图20示出可以在其上实现本发明的实施例的芯片组2000。芯片组2000被编程为执行本文描述的方法的一个或多个步骤,并且包括例如封装在一个或多个物理封装(例如,芯片)中的关于图19描述的处理器和存储器组件。举例来说,物理封装包括一种或多种材料、组件和/或电线在结构组件(例如,基板)上的布置,以提供一种或多种特征,诸如物理强度、尺寸节省和/或或电相互作用的限制。预期在某些实施例中,芯片组可以在单个芯片中实现。芯片组2000或其一部分构成用于执行本文描述的方法的一个或多个步骤的装置。

在一个实施例中,芯片组2000包括诸如总线2001的通信机制,用于在芯片组2000的各个组件之间传递信息。处理器2003具有到总线2001的连接,以执行存储在例如存储器2005中的指令和处理信息。处理器2003可以包括一个或多个处理核,每个核被配置为独立执行。多核处理器可在单个物理封装内进行多处理。多核处理器的示例包括两个、四个、八个或更多数量的处理核。可替代地或另外,处理器2003可以包括经由总线2001协作配置的一个或多个微处理器,以使得能够独立执行指令、流水线和多线程。处理器2003还可以带有一个或多个专用组件来执行某些处理功能和任务,诸如一个或多个数字信号处理器(dsp)2007或一个或多个专用集成电路(asic)2009。dsp2007通常被配置为独立于处理器2003实时处理现实世界中的信号(例如,声音)。类似地,可以将asic2009配置为执行通用处理器不容易执行的专用功能。有助于执行本文描述的发明功能的其他专用组件包括一个或多个现场可编程门阵列(fpga)(未示出)、一个或多个控制器(未示出)或一个或多个其他专用计算机芯片。

处理器2003及其附属组件经由总线2001与存储器2005连接。存储器2005包括动态存储器(例如,ram,磁盘,可写光盘等)和静态存储器(例如,rom,cd-rom等),用于存储可执行指令,这些可执行指令在被执行时,执行本文所述方法的一个或多个步骤。存储器2005还存储与执行本文描述的方法的一个或多个步骤相关联或由其生成的数据。

7.变更、扩展和修改

在前述说明书中,已经参照本发明的具体实施方式描述了本发明。然而,显而易见的是,在不脱离本发明的广泛精神和范围的情况下,可以对其进行各种修改和改变。因此,说明书和附图应被认为是说明性的而不是限制性的。在整个说明书和权利要求书中,除非上下文另有要求,否则词语“包括”及其变体,诸如“包括”和“包含”,将被理解为暗指包括所述的项目、元素或步骤,或项目、元素或步骤的组,但不排除任何其他项目,元素或步骤,或项目、元素或步骤的组。此外,不定冠词“一(a/an)”旨在指示由该冠词修饰的项目、元素或步骤中的一个或多个。如本文所使用的,除非上下文中另有明确说明,否则如果一个值在另一个值的两倍(两倍或一半)之内,则该值“大约为”另一个值。尽管给出了示例范围,但是除非上下文另有明确说明,否则在各种实施例中还意图包含任何包含的范围。因此,在一些实施例中,从0到10的范围包括从1到4的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1