专利名称：使用3-d激光测距仪的目标和车辆检测及跟踪的制作方法
技术领域：
本发明总体上涉及目标检测方法和系统，且更具体地涉及使用三维激光测距仪来检测和跟踪车辆附近的静止和移动目标两者的目标检测方法和系统，从而给下游车辆控制应用提供输入源。
背景技术：
许多现代车辆包括用于安全和导航辅助的各种复杂电子系统。在一些车辆中，这些系统包括目标检测和适应性巡航控制系统，其可以警告驾驶员车辆附近的障碍物，或甚至控制车辆制动器或转向装置以保持距另一个车辆或目标的安全距离。然而，本领域已知且在市场上可用的目标检测系统在它们可以多好地检测和跟踪目标以及目标数据可以多可靠地用于车辆控制目的方面具有限制。当今车辆中可用的大多数目标检测系统使用基于雷达或照相机的视觉技术。这些系统通常具有在实际驾驶情况中通常发现的杂乱环境中的目标之间进行区分的问题。它们可能能够检测目标的二维形状，但是不能确定目标高度，从而不能确定目标实际上是否为地面或道路表面特征。或者它们可能能够检测目标的存在，但是不能基于相对速度或三维特性在紧密隔开的目标之间进行区分。最后，由于缺乏反射或缺乏目标的颜色差异，现有基于雷达或照相机的目标检测系统可能完全不能检测一些目标。需要一种可靠和稳固的目标检测系统，其可以将目标彼此或者与地平面进行区分，其可以可靠地跟踪所检测目标相对于地面以及相对于主车辆的位置和速度两者，其可以在实际世界驾驶的杂乱环境中执行这些任务。这种系统可以允许在开发先进车辆系统 (例如，半自主驾驶系统)中的显著突破。
发明内容
根据本发明的教导，公开了一种使用三维激光测距仪来检测和跟踪车辆附近的目标的方法和系统。所述方法从激光测距仪接收点云，其中，所述点表示测距仪感测一些目标存在的空间位置。算法首先基于先前地平面位置、来自于底盘动态传感器的数据、以及应用于点云数据的特征矢量计算来估计地平面位置。也可以构造不平坦的分段地表面。接下来， 基于点云数据结合地表面计算静止目标的平面图占位映射和标高映射。最后，检测和跟踪动态目标，感测相对于地面移动的目标，例如其它车辆、行人和动物。方法的输出是静止和动态目标集合，包括其大小和形状、距离以及相对于地面和主车辆的速度。该输出数据可以由下游应用使用，例如碰撞避免或半自主驾驶系统。方案1. 一种用于检测和跟踪车辆附近的目标的方法，所述方法包括
从激光测距仪提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；
使用扫描点和车辆动态数据来建立地平面的位置； 使用扫描点和地平面的位置来构造目标占位映射和目标标高映射；以及使用扫描点和目标占位映射来生成动态目标数据，其中，所述动态目标数据识别和跟踪移动的目标。方案2.根据方案1所述的方法，其中，使用扫描点和车辆动态数据来建立地平面的位置包括
使用车辆俯仰角和倾侧角数据来从先前地平面位置计算预测地平面位置； 在扫描点上执行选通操作，其中，选通操作使用预测地平面位置来识别要在地平面计算中包括的点集合；
生成矩阵，所述矩阵包含要在地平面计算中包括的点集合；
在矩阵上执行特征值分解，以识别最小特征值以及与最小特征值相关的特征矢量；以
及
使用与最小特征值相关的特征矢量来确定地平面的方程。方案3.根据方案2所述的方法，还包括使用卡尔曼滤波器提供更新地平面位置。方案4.根据方案1所述的方法，其中，使用扫描点和地平面的位置来构造目标占位映射和目标标高映射包括
将每个扫描点投影到地平面以确定每个扫描点的地平面相交点和法向矢量； 使用所有扫描点的法向矢量来构建目标标高映射，其中，所述目标标高映射示出了在车辆周围空间中检测的所有目标的高度信息；以及
使用所有扫描点的地平面相交点来构建目标占位映射，其中，所述目标占位映射示出了在车辆周围空间中检测的所有目标的位置信息。方案5.根据方案1所述的方法，其中，使用扫描点和目标占位映射来生成动态目标数据包括
从扫描点去除地面点以生成目标点集合； 使用最近计算的目标占位映射； 构造相似性曲线以确定哪些目标点一起移动； 将一起移动的目标点组聚类成动态目标；
将动态目标分类成目标类型，其中，目标类型包括车辆、行人、自行车和动物； 计算动态目标的质心；以及跟踪动态目标以生成动态目标数据。方案6.根据方案5所述的方法，其中，将一起移动的目标点组聚类成动态目标使用深度优先搜索策略。方案7.根据方案5所述的方法，其中，跟踪动态目标使用卡尔曼滤波器。方案8.根据方案5所述的方法，其中，动态目标数据包括每个动态目标相对于地面的纵向和横向位置以及纵向和横向速度。方案9.根据方案1所述的方法，还包括在车辆应用中使用目标占位映射和动态目标数据。方案10. —种用于检测和跟踪车辆附近的目标的方法，所述方法包括
从激光测距仪提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；
使用扫描点和车辆动态数据来建立地表面的定义；使用扫描点和地表面的定义来构造目标占位映射和目标标高映射； 使用扫描点和目标占位映射来生成动态目标数据，其中，所述动态目标数据识别和跟踪移动的目标；以及
在车辆应用中使用目标占位映射和动态目标数据。方案11.根据方案10所述的方法，其中，使用扫描点和车辆动态数据来建立地表面的定义包括使用维诺图方法来构造不平坦地表面分段。方案12.根据方案10所述的方法，其中，使用扫描点和地表面的定义来构造目标占位映射和目标标高映射包括
将每个扫描点投影到地表面以确定每个扫描点的地表面相交点和法向矢量； 使用所有扫描点的法向矢量来构建目标标高映射，其中，所述目标标高映射示出了在车辆周围空间中检测的所有目标的高度信息；以及
使用所有扫描点的地表面相交点来构建目标占位映射，其中，所述目标占位映射示出了在车辆周围空间中检测的所有目标的位置信息。方案13.根据方案10所述的方法，其中，使用扫描点和目标占位映射来生成动态目标数据包括
从扫描点去除地面点以生成目标点集合； 使用最近计算的目标占位映射； 构造相似性曲线以确定哪些目标点一起移动； 将一起移动的目标点组聚类成动态目标；
将动态目标分类成目标类型，其中，目标类型包括车辆、行人、自行车和动物； 计算动态目标的质心；以及跟踪动态目标以生成动态目标数据。方案14.根据方案13所述的方法，其中，将一起移动的目标点组聚类成动态目标包括构造相似性曲线、使用深度优先搜索策略以及使用具有散列表的网格数据结构。方案15. —种用于检测和跟踪车辆附近的目标的系统，所述系统包括
车辆中的激光测距仪，用于提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；
第一处理器，所述第一处理器配置成使用扫描点来计算地表面且生成目标占位映射； 第二处理器，所述第二处理器配置成使用目标占位映射和扫描点来识别和跟踪动态目标；以及
共享存储器模块，用于在第一处理器和第二处理器之间共享数据。方案16.根据方案15所述的系统，其中，第一处理器包括地表面跟踪模块，所述地表面跟踪模块包括选通算法，用于识别要在地平面计算矩阵中包括的点集合；以及特征值分解算法，用于从地平面计算矩阵计算地平面的方程。方案17.根据方案16所述的系统，其中，第一处理器中的地表面跟踪模块还包括地表面分段算法，其使用维诺图方法来构造不平坦地表面分段。方案18.根据方案15所述的系统，其中，第一处理器包括目标占位模块，所述目标占位模块包括地表面投影算法，用于将所有扫描点正交地投影到地表面；标高映射构造算法，用于构造标高映射，标高映射示出了在车辆周围空间中检测的所有目标的高度信息；以及占位映射构造算法，用于构造占位映射，占位映射示出了在车辆周围空间中检测的所有目标的位置信息。方案19.根据方案15所述的系统，其中，第二处理器包括目标聚类模块，用于将一起移动的目标点聚类成动态目标；目标分类模块，用于将动态目标分类成目标类型；以及目标跟踪模块，用于提供关于每个动态目标的位置和速度信息。方案20.根据方案15所述的系统，还包括车辆中的第二激光测距仪。本发明的附加特征从以下说明和所附权利要求结合附图显而易见。
图1是根据本发明实施例的可以用于目标检测和跟踪的硬件系统的框图； 图2是使用图1的硬件系统的元件来检测和跟踪目标的软件系统的框图3是由图2的软件系统的地平面跟踪模块使用的过程的流程图4是用于计算分段地表面的投影到地平面(可能不是平坦的)的点集合的维诺图5是示出了扫描点如何以网格设置以改进分段地表面计算的效率的简图6是由图2的软件系统的静止占位映射模块使用的过程的流程图7是由图2的软件系统的静止占位映射模块产生的二元占位映射的示例；
图8是由图2的软件系统的动态目标跟踪模块使用的过程的流程图；和
图9是示出了在图2的软件系统的动态目标跟踪模块中扫描点如何聚类成目标的简图。
具体实施例方式涉及使用三维激光测距仪的目标检测和跟踪的方法和系统的本发明实施例的以下阐述本质上仅仅是示例性的且绝不旨在限制本发明或其应用或使用。车辆碰撞避免和半自主驾驶系统需要关于其周围环境中的目标的非常精确的信息以便有效。使用基于雷达或照相机的视觉技术的常规目标检测系统可能具有辨别杂乱环境中的目标的问题，这在实际世界驾驶情况下是典型的。例如，基于雷达的系统可能不会可靠地检测非金属目标，例如分立路边、石头和植物。基于照相机的视觉系统可能难以在类似颜色或亮度的目标之间进行辨别，且不能直接地测量距目标的测距或范围。在本发明中，三维(3-D)激光测距仪用于获取点云，表示主车辆附近的目标，特定算法用于计算车辆周围空间中的地平面以及静止和动态目标的映射。图1是可以用于根据本发明的目标检测和跟踪的硬件系统10的框图。车辆12包含能够三维地快速扫描车辆12周围环境的3-D激光测距仪14。如果适当，可以使用多于一个的激光测距仪14，以更完全和快速地扫描整个360度视界。激光测距仪14使用有时称为光检测和测距(LIDAR)的技术，且提供表示激光碰到的目标的点云数据。所述点可以由激光测距仪14按照方位和仰角加上测距来表示，其可以容易地转换为相对于附连到车辆12的本地坐标框架的(X，y, ζ)点数据。激光测距仪14将点云数据提供给可现场编程的门阵列(FPGA) 16，其是设计成由顾客配置(在该情况下是车辆制造商，在制造之后)的集成电路。FPGA 16从测距仪14接收点云数据且执行涉及地平面和目标检测的一系列计算。FPGA 16的能够可以由任何合适处理器处理，包括通用电子控制单元或者专用集成电路(ASIC)。专用集成电路是针对特定用途定制的集成电路，而不旨在用于通用用途。由于 ASIC的高开发成本以及全功能电子控制单元的高成本，在硬件系统10的优选实施例中设想 FPGA 16。FPGA 16将其输出发送到另一个处理器，在该情况下是数字信号处理器(DAP) 18。 DSP 18基于点云数据和先前计算的目标数据来执行下述的附加计算，从而得到车辆12附近的地平面、静止目标和动态目标的完整表示。FPGA 16和DSP 18两者均接入共享存储器模块20。图2是使用硬件系统10的元件检测和跟踪目标的软件系统30的框图。总图像处理模块32管理整个软件系统30的功能。地平面跟踪模块34使用点云数据和其它信息以估计地表面的当前位置，如下文详细所述。接下来，静止占位映射模块36使用点云数据和先前计算的地表面作为输入来计算所有检测目标的位置和高度。下文还将提供静止占位映射模块36中的计算细节。最后，动态目标跟踪模块38使用下文详细描述的方法来计算移动目标的形状、位置和速度。图3是由软件系统30的地平面跟踪模块34使用的过程的流程图40。过程在框42 开始，由总图像处理模块32指导，例如在车辆发动机启动时。过程在决策菱形块44等待来自于先前地平面估计的新数据变得可用。在框46，来自于先前计算步骤的估计地平面用作新地平面计算的基础或起始点。在车辆12启动之后过程的第一关，在没有紧接先前地平面数据可用时，在框46可以使用来自于车辆12先前操作的最后一个地平面或者在框46可以使用基于车辆标称行驶高度的缺省值。在框48，作出关于地平面相对于来自于框46的先前地平面的预期移动的预测。框48处的预测基于许多现代车辆中可用类型的车载惯性测量单元(IMU)。来自于框48处的预测中使用的IMU的数据包括车辆俯仰角和侧倾角，如果这些角度从先前地平面计算以来已经发生变化，其将对地平面的位置和取向具有显著影响。在框50，提供来自于激光测距仪14的最近点云数据。这包括所有点数据，包括表示远高于地面水平的高目标的点。在框52，在点云数据上进行选通或滤波，以仅仅选择被估计表示地平面的点。框52处的选通操作通过计算每个点距预测地平面的距离来进行。限定阈值高度，例如0. 25米，且距地平面距离小于阈值的任何点被认为是地面点。所有其它点(即，距地平面距离大于阈值距离的点)被认为是目标点，且在地平面计算中不使用。在框M，表示地平面的点集合用于进一步分析。要注意的是，在框M处提供的点不都处于一个平面内。相反，从框52处的选通操作输出的点(其在框M使用)是被认为由地面或道路表面返回的点，且这些点用于确定最佳地拟合所述点的平面的计算。在框56，来自于框M的地面点放置在4XN矩阵中，且在矩阵上进行特征值分解，目标是寻找由以下方程表示的地平面
Ax+By+Cz+D = 0 (1)
框56的动作如下进行。来自于框个地面点中的每个的(χ，y, ζ)坐标用于填充4XN矩阵的前三列，第四列为数字1。即，矩阵的第一行将包括第一个地面点的坐标加上数字1，如下[Xl，Y1, Z1, 1]。矩阵的第二行将包括第二个地面点的坐标加上数字1，如 T [x2, J2, z2, 1]。由此，4XN矩阵用来自于框M的所有地面点填充。然后，可以在矩阵上进行特征值分解，从而产生一组特征值和特征矢量，如下文所述。最小特征值可以认为具有来自于最佳地拟合矩阵中包含的点数据的平面方程的系数[A，B, C, D]。在框58，使用方程(1)和在框56刚刚确定的系数[A，B, C, D]限定更新地平面，且过程循环回到决策菱形块44。以下是在流程图40所示过程中使用的计算的详细讨论。在框48，假定主车辆的俯仰角速度和侧倾角速度的IMU测量值分别为
权利要求
1.一种用于检测和跟踪车辆附近的目标的方法，所述方法包括从激光测距仪提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；使用扫描点和车辆动态数据来建立地平面的位置； 使用扫描点和地平面的位置来构造目标占位映射和目标标高映射；以及使用扫描点和目标占位映射来生成动态目标数据，其中，所述动态目标数据识别和跟踪移动的目标。
2.根据权利要求1所述的方法，其中，使用扫描点和车辆动态数据来建立地平面的位置包括使用车辆俯仰角和倾侧角数据来从先前地平面位置计算预测地平面位置； 在扫描点上执行选通操作，其中，选通操作使用预测地平面位置来识别要在地平面计算中包括的点集合；生成矩阵，所述矩阵包含要在地平面计算中包括的点集合；在矩阵上执行特征值分解，以识别最小特征值以及与最小特征值相关的特征矢量；以及使用与最小特征值相关的特征矢量来确定地平面的方程。
3.根据权利要求2所述的方法，还包括使用卡尔曼滤波器提供更新地平面位置。
4.根据权利要求1所述的方法，其中，使用扫描点和地平面的位置来构造目标占位映射和目标标高映射包括将每个扫描点投影到地平面以确定每个扫描点的地平面相交点和法向矢量； 使用所有扫描点的法向矢量来构建目标标高映射，其中，所述目标标高映射示出了在车辆周围空间中检测的所有目标的高度信息；以及使用所有扫描点的地平面相交点来构建目标占位映射，其中，所述目标占位映射示出了在车辆周围空间中检测的所有目标的位置信息。
5.根据权利要求1所述的方法，其中，使用扫描点和目标占位映射来生成动态目标数据包括从扫描点去除地面点以生成目标点集合； 使用最近计算的目标占位映射； 构造相似性曲线以确定哪些目标点一起移动； 将一起移动的目标点组聚类成动态目标；将动态目标分类成目标类型，其中，目标类型包括车辆、行人、自行车和动物； 计算动态目标的质心；以及跟踪动态目标以生成动态目标数据。
6.根据权利要求5所述的方法，其中，将一起移动的目标点组聚类成动态目标使用深度优先搜索策略。
7.根据权利要求5所述的方法，其中，跟踪动态目标使用卡尔曼滤波器。
8.根据权利要求5所述的方法，其中，动态目标数据包括每个动态目标相对于地面的纵向和横向位置以及纵向和横向速度。
9.一种用于检测和跟踪车辆附近的目标的方法，所述方法包括从激光测距仪提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；使用扫描点和车辆动态数据来建立地表面的定义； 使用扫描点和地表面的定义来构造目标占位映射和目标标高映射； 使用扫描点和目标占位映射来生成动态目标数据，其中，所述动态目标数据识别和跟踪移动的目标；以及在车辆应用中使用目标占位映射和动态目标数据。
10. 一种用于检测和跟踪车辆附近的目标的系统，所述系统包括 车辆中的激光测距仪，用于提供多个扫描点，所述扫描点表示车辆周围空间中的激光测距仪已经检测到目标的位置；第一处理器，所述第一处理器配置成使用扫描点来计算地表面且生成目标占位映射； 第二处理器，所述第二处理器配置成使用目标占位映射和扫描点来识别和跟踪动态目标；以及共享存储器模块，用于在第一处理器和第二处理器之间共享数据。
全文摘要
一种使用三维激光测距仪检测和跟踪车辆附近的目标的方法和系统。所述方法从激光测距仪接收多个点，所述点表示测距仪感测一些目标存在的空间位置。算法首先基于先前地平面位置、来自于车载传感器的数据、以及应用于点数据的特征矢量计算来估计地平面位置。接下来，基于点数据结合地平面计算静止目标的平面图占位映射和标高映射。最后，检测和跟踪动态目标，感测移动的目标，例如其它车辆、行人和动物。方法的输出是静止和动态目标集合，包括其形状、距离和速度。该输出可以在以下方面使用，例如碰撞避免或半自主驾驶系统。
文档编号B60W40/02GK102248947SQ20111012095
公开日2011年11月23日 申请日期2011年5月11日 优先权日2010年5月12日
发明者曾 S. 申请人:通用汽车环球科技运作有限责任公司