通过传感器融合检测长对象的制作方法

本发明总体上涉及对象检测系统，更具体地，涉及一种用于使用传感器融合的一般长对象检测的系统和方法。

背景技术：

许多现代车辆配备有先进的安全和驾驶员辅助系统，其需要坚固和精确的对象检测和跟踪系统以控制响应的主机车辆操纵。这些系统利用对象和控制算法的周期性或连续检测来估计各种对象参数，诸如相对对象范围、范围速率(即对象的关闭或打开速度)、行进方向、对象位置和对象大小。对象检测系统可以使用多种检测技术中的任何一种，例如雷达、视觉成像、激光、光检测和测距(lidar)、超声等。这些检测系统中的每一种有助于对象检测和以不同方式估计对象参数，并具有各种限制。由于与一些检测系统相关联的性能限制，特别地检测通常较长的对象可能是具有挑战性的。

例如，雷达装置通过发射从传感器视野内的对象反射的电磁信号来检测和定位对象。反射的信号作为回波返回到雷达，在那里它被处理以确定各种信息，诸如发射/接收的能量的往返行程时间。往返行程时间与来自雷达的对象的范围成正比。除了范围确定之外，还存在确定检测到的对象的方位(即交叉范围)位置的方法。因此，根据其复杂性，雷达能够在相对于装置位置的范围和方位角中定位对象。

基于在整个传感器视场的采样期间的反射信号，雷达装置累积一组检测点。由于由远程传感器(无论是雷达、激光、超声波还是其它有源传感器)收集的“反射”的性质，该组检测点仅代表存在于传感器视场中的对象或对象上的某些点。分析这些检测点以便确定可能存在什么类型的对象以及这样的对象位于何处。然而，短程雷达装置缺乏辨别对象识别细节和区分定位相近的对象所必需的角度和空间分辨率(即没有点目标假设)。当在主机和对象之间存在很小或没有相对速度时，在雷达系统中也出现性能降级，使得难以估计速度和方向。关于特别地检测长对象，由于反射的测量信号可以在相同对象的不同位置处显著变化，所以雷达装置不能有效地直接对检测点进行分组或聚集。

视觉成像也被对象检测和跟踪系统广泛地用于识别和分类靠近主车辆的对象。一般来说，视觉系统使用一个或多个相机捕获图像，并使用各种图像处理技术从图像中提取对象和特征。然后，当对象在主车辆的视场内移动时，在图像之间跟踪对象。然而，通过视觉检测长对象仍然是非常具有挑战性的，特别是当对象太长并且跨越整个图像帧时，视觉算法倾向于将长对象分割成多个短对象。

lidar传感器使用飞行时间原理测量范围。光脉冲被发射达限定的时间长度，被反射离开目标对象，并且经由其被发送的相同路径(视线)被接收。因为光以恒定速度行进，所以发射和检测之间的时间间隔与传感器到反射点之间的距离成比例。然而，使用lidar来估计目标速度是困难的，因为没有来自传感器的直接速度测量。

技术实现要素：

根据本发明的实施例，提供了一种用于相对于主车辆检测和识别细长对象的方法。该方法包括：使用多个对象检测装置来检测相对于主车辆的对象；识别与细长对象相对应的检测数据中的模式，其中检测数据包括从多个对象检测装置中的至少两个融合的数据；使用多个对象检测装置中的每一个来计算所述细长对象的初始对象参数估计；通过融合来自多个对象检测装置中的每一个的初始对象参数估计来计算细长对象的对象参数估计；通过融合来自多个对象检测装置中的每一个的初始对象参数估计来确定细长对象。

根据本发明的另一实施例，提供了一种用于相对于主车辆检测和识别细长对象的方法。该方法包括：获得与使用多个对象检测装置检测到的对象相关的检测数据；通过参考来自多个对象检测装置中的每一个的补充检测数据，以第一处理级别融合检测数据；通过识别融合检测数据中对应于细长对象的模式，将多个对象检测装置中的每一个检测到的对象分类为细长对象，使用多个对象检测装置中的每一个计算细长对象的初始对象参数估计；以及通过对多个对象检测装置中的每一个的初始对象参数估计进行加权，并将加权的初始对象参数估计相加，以确定细长对象的对象参数估计，并计算特定对象类的最大概率作为函数从多个对象检测装置中的每一个检测初始对象参数估计，以确定所述细长对象的对象类型分类。

根据本发明的另一实施例，提供了一种用于相对于主车辆检测和识别细长对象的系统。该系统包括：至少两个对象检测装置，其被配置为获得与在视场中被检测对象相关的检测数据，该视场与至少两个对象检测装置中的每一个相关，通过参考来自至少两个对象检测装置中的每一个的补充检测数据来融合检测数据；通过识别对应于细长对象的融合检测数据中的模式，将检测对象分类为细长对象；以及使用至少两个对象检测装置中的每一个来计算细长对象的初始对象参数估计。该系统还包括至少一个车辆控制模块，其被配置为从至少两个对象检测装置中的每一个接收初始对象参数估计，并融合检测数据以确定对象参数估计并分类细长对象的类型。

附图说明

在下文中将结合附图描述本发明的一个或多个实施例，其中相同的标号表示相同的元件，并且其中：

图1示出了根据本发明的示例性实施例的包括主车辆和长对象的示例性环境的概观；以及

图2示出了根据本发明的示例性实施例的对象检测和跟踪系统的框图；

图3示出了描绘根据本发明的示例性实施例的用于检测长对象的示例性方法的流程图；

图4示出了描绘根据本发明的实施例的利用雷达装置检测长对象的示例性方法的流程图；

图5示出了根据本发明的示例性实施例的与长对象相关联的雷达测量的示例性绘图的图；以及

图6示出了描绘根据本发明的实施例的利用成像装置检测长对象的示例性方法的流程图。

具体实施方式

根据需要，本文公开了详细的实施例。然而，应当理解，所公开的实施例仅仅是各种形式和替代形式及其组合的示例。如本文所使用的，词语“示例性”广泛地用于指代用作说明、样本、模型或模式的实施例。附图不一定按比例绘制，并且一些特征可以被夸大或最小化以示出特定部件的细节。在其它情况下，没有详细描述本领域普通技术人员公知的组件、系统、材料或方法，以避免模糊本发明。因此，本文公开的具体结构和功能细节不应被解释为限制，而仅仅是作为权利要求的基础和作为教导本领域技术人员的代表性基础。此外，尽管下面相对于车辆描述了途径和方法，但是本领域普通技术人员理解，汽车应用仅仅是示例性的，并且本文公开的概念也可以应用于任何其它合适的对象检测系统，诸如，例如空中交通管制、航海导航和武器引导系统，仅举几例。本文所描述的术语“车辆”还应被宽泛地解释为不仅包括客车，而且包括但不限于摩托车、卡车、运动型多用途车(suv)、休闲车(rv)、船舶和飞机。

虽然主要通过示例的方式关于视觉和雷达检测系统描述了本发明和示例性实施例，但是本文公开的一般概念可以用于融合来自各种类型的传感器和对象检测装置的输出。换句话说，任何数量的不同传感器、组件、装置、模块、系统等可以向所公开的对象检测系统提供可以由本方法使用的信息或输入。应当理解，对象检测装置以及位于所公开的对象检测系统中和/或由所公开的对象检测系统使用的任何其它传感器可以用硬件、软件、固件或其某种组合来实现。这些装置可集成在另一车辆部件、装置、模块、系统等(例如集成在发动机控制模块(ecm)、牵引控制系统(tcs)、电子稳定控制(esc)系统、防抱死制动系统(abs)等中)，或者它们可以是独立的部件(如图1示意性所示)。以下描述的各种传感器读数中的任何传感器读数可以由主车辆中的一些其它部件、装置、模块、系统等提供，而不是由实际的传感器元件直接提供。在一些情况下，可以采用多个装置来感测单个参数(例如用于提供信号冗余)。应当理解，前述情况仅表示一些可能性，因为所公开的对象检测系统可以使用任何类型的合适的传感器布置。

下面描述的系统和方法涉及通过使用多个对象检测装置在多个级别上融合对象检测数据来检测长(即，细长)对象。在一个实施例中，该系统包括双级融合过程，其中对象检测数据在不同的过程阶段被融合。更具体地，对象检测数据可以在单个检测装置级和系统级融合。在单个级别，每个对象检测装置被配置为估计与一个或多个被检测对象相关的各种对象参数。估计过程包括识别和隔离与长对象相关的特性和模式一致的检测数据。估计过程还包括利用来自其它对象检测装置的补充数据。在系统级，融合模块被配置为确定总体参数估计并且基于来自单个检测装置的对象参数估计的组合来对被检测对象进行分类。

图1和图2示出了根据本发明的示例性实施例的由主车辆12实现的对象检测系统10。图1示出了示例性环境的概观，其包括沿细长对象14行进的主车辆12，在该非限制性示例中，该对象14是护栏，但是可以是诸如墙壁、路缘石、长车辆等的任何细长对象。为了便于说明，图1仅示出了指向与长对象14相关的主车辆12的一侧的感兴趣区域。然而，本领域普通技术人员理解，典型的对象检测和跟踪系统是以各种组合在主车辆12的所有侧，使得可以围绕车辆对对象进行检测和跟踪360度。图2示出了根据示例性实施例的对象检测系统10的框图。

参考图1和图2，对象检测系统10包括多个对象检测装置16、18、融合模块20和车辆控制模块22。多个对象检测装置16、18被配置为在主车辆12周围的环境中检测对象，并且可以包括已知的对象检测系统，包括但不限于光检测和测距(lidar)装置、无线电检测和测距(radar)装置、视觉装置(例如照相机等)、激光二极管指针、超声波、或其组合。在本文所示的示例性实施例中，主车辆12中的对象检测装置指的是雷达检测装置16和成像系统18，然而，本领域普通技术人员应当理解，多个对象检测装置通常包括两个或更多的合适的对象检测装置的任何组合。

雷达检测装置16包括定位在主车辆12的周边周围的多个位置处的多个雷达传感器24。在图1所示的示例中，雷达传感器24位于主车辆12的前左角和后左角，每个都创建监视感兴趣的特定区域的传感器视场26。雷达传感器24被配置为发射由雷达传感器的视场26内远程对象反射出的电磁信号。反射信号作为回波返回，并由雷达对象检测模块28处理，雷达对象检测模块28从与被检测对象相关的回波提取信息，诸如，例如范围、方位角和包括多普勒测量的距离速率数据。雷达对象检测模块28可以是单一模块或可以包括多个其它模块或子模块，其被配置为根据本文公开的方法和算法接收和处理雷达回波信号。在一个实施例中，雷达对象检测模块28包括但不限于放大器、混频器、振荡器、组合器、滤波器和转换器。由雷达对象检测模块28执行的功能可以变化，但通常包括执行各种滤波、放大、转换和数字化功能，以及分析信号的各种性质以确定信号的特性，诸如相位、频率和振幅。如本领域技术人员所理解的，用于从信号中提取该信息的技术可以变化，但是可以包括但不限于同相和正交分析以及使用傅里叶变换的频域分析。在一个实施例中，雷达对象检测模块28还可以包括但不限于执行脉冲压缩和杂波抑制(例如多普勒滤波)功能的组件。如下面详细描述的，根据本文公开的方法，雷达对象检测模块28被配置为使用来自多个对象检测传感器的数据来估计与被检测对象相关的各种参数。在一个具体实施例中，雷达对象检测模块28被配置为通过识别通常与长对象相关联的不同的雷达信号模式来检测雷达传感器的视场26中的长对象。为了识别信号模式，雷达对象检测模块28利用雷达检测数据和从至少一个附加对象检测源(诸如成像系统18)接收的数据。

成像系统18包括至少一个图像捕获装置30，其包括但不限于安装在主车辆12的周边周围的各个位置处的摄像机。在图1所示的示例中，捕获装置30定位为沿着主车辆的左侧，从而创建监视感兴趣的特定区域的视场32，在该示例中，感兴趣区域是主车辆12的左侧。图像捕获装置30捕获在视野32中的对象的图像，并将图像数据传送到基于视觉的对象检测模块34。通常，每个捕获的图像是包括多个可识别像素的已知像素尺寸的二维图像。可以使用阵列存储和分析多个可识别像素。每个像素可以在阵列中表示为一组位或多组位，其中位对应于预定调色板或颜色映射上的颜色。每个像素可以表示为多个颜色强度值的函数，诸如在红-绿-蓝(rgb)颜色模型或青-品红-黄–黑(cmyk)颜色模型中。在一个实例中，每一像素包括多组位，其中每组位对应于颜色强度和颜色强度值，例如，第一组位对应于红色强度值，第二组位对应于绿色强度值，以及第三组位对应于rgb颜色模型上的蓝色强度值。

基于视觉的对象检测模块34可以是单一模块或可以包括多个其它模块或子模块，其被配置为根据本文公开的方法和算法接收和处理捕获的图像。在一个实施例中，处理捕获的图像包括提取与被检测对象相关的信息，并且可以包括捕获图像的整流、缩放、滤波和噪声降低。如下面详细描述的，根据本文公开的方法，基于视觉的对象检测模块34被配置为使用来自多个对象检测传感器的数据来估计与被检测对象相关的各种参数。在一个具体实施例中，基于视觉的对象检测模块34被配置为使用图像帧数据和从至少一个附加对象检测源(诸如雷达检测装置16)接收的数据来识别在系统的视场32中检测到的对象中的感兴趣区域。

融合模块20被配置为接收并融合来自多个对象检测装置的对象检测数据，在图1和图2所示的示例性实施例中，对象检测数据包括雷达检测装置16和成像系统18。本领域认识到，融合模块20可以是独立的模块，或者可以并入到另一车辆控制模块内，例如但不限于控制模块22.融合模块20还可以包括电子存储装置、存储各种数据文件、查找表或其它数据结构、算法等。

由融合模块20接收的对象检测数据包括对象参数估计，在一个实施例中，对象参数估计可以包括与每个检测到的对象相关联的运动模型。运动学模型可以变化，但通常包括运动学参数，诸如位置、速度、加速度、速度方向、加速度方向和其它运动参数。在一个实施例中，融合模块20包括对象参数子模块36和对象分类子模块38。本领域普通技术人员理解，子模块36，38可以包括独立的处理器或者可以利用单个处理器。

控制模块22被配置为接收融合模块20的输出，特别是接收检测的长对象的类型和相关联的参数数据。控制模块22可以包括任何种类的电子处理装置、存储器装置、输入/输出(i/o)装置和/或其它已知组件，并且可以执行各种控制和/或通信相关功能。根据具体实施例，控制模块22可以是独立的车辆电子模块，其可以结合或包括在另一车辆电子模块(例如，停车辅助控制模块，制动控制模块等)内，或者它可以(例如，碰撞控制模块(ccm)、牵引力控制系统(tcs)、电子稳定性控制(esc)系统、防抱死制动系统(abs)、驾驶员辅助系统、自适应巡航控制系统、车道偏离警告系统等)，仅举几个可能性。控制模块22不限于任何一个特定实施例或布置。

图3示出描绘用于使用上文参考图2描述的对象检测系统10来检测长对象的示例性方法100的流程图。应当理解，方法100的步骤不一定以任何特定顺序呈现，以替换顺序的一些或所有步骤的执行是可能的并且被预期。方法100通过从多个对象检测传感器获取一个或多个数据帧而开始于步骤102，在一个实施例中，该多个对象检测传感器包括雷达传感器24和图像捕获装置30.在步骤104，潜在的长(细长)对象根据从雷达传感器24获得的检测数据来识别。

在步骤104的一个实施例中，雷达对象检测模块28被配置为根据图4所示的方法识别潜在的细长对象，其中每个pi的雷达测量(或点)p1，p2，...，pk的帧，在步骤104a从雷达传感器24获取。测量可以包括但不限于范围r，角度θ，多普勒v和信号强度s。在步骤104b，将聚类过程应用于雷达测量的每个帧，使得来自相同对象的测量被一起分组到一个聚类中。在一个实施例中，聚类过程包括针对一组度量评估帧中的每个点pi，其可以包括例如每个点pi的位置和信号强度。度量可以进一步包括从其它对象检测装置获取的信息的融合。例如，在一个实施例中，每个点pi的位置被映射到使用成像系统18同时捕获的图像。与捕获的图像中的对应像素相关的信息，例如强度值，可以用作附加度量。因此，基于来自多个对象检测装置的对象检测数据的融合，将帧中的每个点聚类为组gi＝(pi1,pi2,…pij)。

在一个特定示例中，可以根据k均值算法对集体对象检测数据进行聚类，该k均值算法基于每个点pi之间的距离或者点与潜在聚类的中心之间的距离。例如，假设两个点pi和pj之间的距离d被定义为：

d(pi,pj)＝wldl(pi,pj)+wvdv(pi,pj)

其中dl(pi，pj)是通过它们的位置测量的两个点之间的距离，dv(pi，pj)是通过捕获图像中的相应块的视觉相似性测量的距离，其中两个点投影到相机图像平面，w1和wv是用于组合来自不同源的距离的权重，其中w1+wv＝1。在一个实施例中，基于已知的启发法或从与所收集的数据相关的统计信息来预定义权重w1和wv。或者，也可以在操作期间基于雷达传感器和视觉传感器的信号质量来计算权重w1和wv。

在步骤104c，启动模式识别过程以确定一组聚集点是否具有与长对象的雷达信号模式一致的雷达信号模式。在一个示例性实施例中，考虑两个主要因素。第一个是组gi中的点是否线性分布，第二个是在每个组gi中的点之间是否存在渐进速度进展。

通过比较相邻数据点之间的位置来确定每个组中的数据点的线性分布，以确定每个组中的点是否在一个维度上广泛分布并且紧密地集中在另一个垂直维度上。例如，图5示出从图1中所示的护栏接收的雷达测量的示例图。每个雷达数据点pi表示空间中的3-d点(x，y，d)，其中x是相对于主车辆12，y是相对于主车辆12的纵向坐标，并且d是提供相对于主车辆12的径向速度信息的多普勒数据。在该示例中，组gi中的数据点通常沿着y轴(即，y维度)，并且点的位置沿着垂直x轴(即，x维度)高度集中。换句话说，沿着y轴存在宽范围的数据点位置，以及沿着x轴每个点的位置之间存在非常小的差异。因此，该组点被标记为长对象候选。丢弃不满足上面针对线性分布阐述的条件的一组点，因为该组不可能表示长对象。

通过根据每个点相对于主车辆12的方位角以升序或降序对每个组中的点进行分类来检查第二因素，即每个剩余组gi中的点之间的速度级数。如图所示在图5中，来自多普勒数据的径向速度信息可以由指示每个点相对于主车辆12的方向和速度的速度矢量表示。对于每个分类的点，根据已知技术计算距离率以确定对于大多数排序点的范围速率是否存在渐进变化，其中在一个实施例中，大多数是基于范围速率阈值来确定的。还检查分类的点以确定与每个点相关联的距离测量是否根据范围阈值以渐进方式改变。在一个实施例中，范围速率和范围测量中的“渐进”变化基于单调函数，如本领域技术人员所理解的，包括考虑值是单调增加还是单调减少，值是单调增加，然后单调减少，或者数字单调减少然后单调增加。如果一组点能够以升序或降序排序，并且组中的点的距离变化率和范围逐渐变化，则该组被标记为长对象候选(即，潜在伸长对象)。不满足上述排序条件的一组点被丢弃，因为该组不太可能表示长对象。

在步骤104d，对于在步骤104c中识别的k个雷达点的每个长对象候选应用线性回归模型。在一个非限制性示例中，以下线性模型被应用于每个长对象候选的数据点：

yj＝axj+b+∈j,j＝1,…,k

其中(xj，yj)是雷达坐标系中雷达点pj的位置，a和b是线性模型的标量参数，其可以使用用于在线性模型中拟合数据点的已知技术来估计(例如，标准线性回归算法)，并且εj是误差项(例如，εradar)，如下面详细描述的，由融合模块20使用以融合对象检测数据。

使用线性模型，在步骤104e，针对每个长对象候选oi估计参数(θradar)。在一个实施例中，参数估计包括但不限于细长对象的质心位置，尺寸(即长度)，移动速度和移动方向(即，前进方向)。

再次参考图3，在步骤106，从从图像捕获装置30获得的检测数据识别潜在的长(细长)对象。在步骤106的一个实施例中，基于视觉的对象检测模块34被配置为识别潜在伸长根据图6所示的方法，其中在步骤106a获得包括来自图像捕获装置30在时间t的图像帧的数据帧。在步骤106b，将在步骤104c中识别的每个长对象候选oi的雷达点组投影到图像帧上。在步骤106c处，对于图像上的每组投影雷达点，生成覆盖投影点的图像的补片。然后，每个图像块i表示图像中的潜在的细长对象。在步骤106d，针对在时间t的当前帧，在步骤106c中生成的每个图像补片标识兴趣点(例如，角，护栏上的点等)。结构化照明可用于没有良好纹理的对象。在步骤106e，将当前帧t的感兴趣点与时间t-1处先前图像帧中的那些相同感兴趣点匹配。以这种方式，可以基于光流方法监测所检测到的对象的移动。在步骤106f，根据已知的计算机视觉技术使用识别的感兴趣区域计算对象参数估计(θvsison)和误差值(例如，εvision)。在一个实施例中，参数估计包括但不限于细长对象的位置，尺寸(即长度)，移动速度和移动方向(即，前进方向)。

再次参考图3，在步骤108，融合模块20接收并融合根据参考图4和6描述的方法在步骤104e和106f中计算的潜在伸长对象的对象参数估计。使用对象参数估计以估计整体对象参数并对检测到的细长对象进行分类。例如，在步骤110，融合模块20通过根据以下等式对从雷达检测装置16和成像系统18计算的参数进行加权来计算检测到的细长对象的参数估计，例如位置，速度，前进方向等

θ＝αθradar+βθvsison

其中θ是被计算的对象参数(即，位置，速度，方向，大小)，θradar是来自雷达检测装置16的对应的对象参数估计，θvsison是来自成像系统18的对应的对象参数估计，α是用于雷达检测装置16的加权系数，β是成像系统18的加权系数，其中α+β＝1。α和β的值可以是手动预定的或者基于已经用细长对象的雷达和基于视觉的参数估计计算的误差项εradar，ε_vision学习。在一个实施例中，学习可以通过以下完成：

(α,β)＝f(∈radar,∈vision)

其中函数f是本领域技术人员已知的任何种类的学习函数，εradar表示与雷达检测数据相关的误差，εvision表示与成像检测数据相关的误差。

在步骤112，根据对象类型对检测到的细长对象进行分类。这是为了确定细长对象的类型，例如护栏，墙壁，长卡车等。在一个实施例中，通过确定给定检测组合的特定类对象的最大概率来分类细长对象数据，其在该示例中是雷达检测数据和成像检测数据的组合。用于对细长对象进行分类的示例性函数由下式给出：

其表示用于对象的具有n个候选类(例如护栏，墙壁，卡车，路缘等)的观察图像块i和聚类群g的特定类的最高概率。

应当理解，前面是对本发明的一个或多个实施例的描述。本发明不限于本文公开的特定实施例，而是仅由下面的权利要求限定。此外，前述描述中包含的陈述涉及特定实施例，并且不应被解释为对本发明的范围或权利要求中使用的术语的定义的限制，除非上面明确定义了术语或短语。各种其它实施例以及对所公开的实施例的各种改变和修改对于本领域技术人员将变得显而易见。所有这些其它实施例，改变和修改旨在落入所附权利要求的范围内。

如在本说明书和权利要求书中所使用的，术语“例如”，“例如”，“例如”，“诸如”和“类似”以及动词“包括”，“具有”当与一个或多个组件或其它项目的列表结合使用时，它们的其它动词形式各自被解释为开放式的，意味着列表不被认为是排除其它附加组件或项目。其它术语将使用其最广泛的合理含义来解释，除非它们在需要不同解释的上下文中使用。

虽然上述描述包括计算机可执行指令的一般上下文，但是本发明还可以与其它程序模块组合和/或作为硬件和软件的组合来实现。术语“算法”，“方法”，“应用”或其变体在本文中广泛使用以包括例程，程序模块，程序，组件，数据结构，算法等。应用可以在各种系统配置上实现，包括单处理器或多处理器系统，基于微处理器的电子器件，其组合等。