使用低层传感器融合的视觉算法执行的制作方法

发明技术领域

本文描述的是用于将雷达(radar)/激光雷达(lidar)信息与摄像头信息融合以改善视觉算法执行。该方法使用低层融合，其中原始有源传感器信息(检测、距离、距离变化率和角度)被发送到视觉处理级。该方法在视觉处理中早期利用有源传感器信息。本公开涉及高级驾驶辅助系统(adas)和自主车辆。在这些系统中，使用多个传感器来检测车辆周围的障碍物。

背景技术：

当前adas和自主车辆系统使用多个传感器来检测车辆周围的障碍物。如图1所示，大多数融合系统使用高层融合。在图中，雷达100生成雷达检测单元(rdu)，并且摄像头102生成图像。然后，每个传感器独立地处理信息104、106。来自每个传感器的信息然后被合并108以确认对象检测。使用诸如“与”/“或”等简单的融合策略。例如使用“与”策略，意味着在宣布检测有效之前全部两个传感器必须一致。

本文所描述的是用于将雷达(激光雷达)和视觉信息融合以便利用每个传感器在低层的优势的技术。本提出方案的好处是在极早期阶段利用有源传感器的优势。该技术通过提供不容易从视觉传感器计算的诸如距离(range)或距离变化率(range-rate)的有用的信息，提高视觉算法的执行。

在低层传感器融合的领域中存在有限的工作。之前工作的一个示例是由tons等人在researchgate(研究之门)，出版号4092473上发表的题目为“radarsensorsandsensorplatformusedforpedestrianprotection(用于行人保护的雷达传感器和传感器平台)”的欧洲项目“save-u”。在该项目中，雷达和视觉信息在全部低层和高层上结合。在低层中，使用雷达信息来定义可以由其他传感器进一步处理的感兴趣的区域(regionofinterest)。该方法的目的是行人和自行车的检测。然而，也可以检测其他类型的对象。

技术实现要素：

本文描述的各种实施例包括使用雷达(激光雷达)信息来改善视觉算法的方法和系统，其中雷达(激光雷达)检测、雷达(激光雷达)距离信息、以及雷达距离变化率被用于视觉算法的输入。

在本发明的一个示例性实施例中，提出了一种用于从雷达(激光雷达)检测单元(rdu)构建感兴趣区域的方法，其中使用rdu作为图像域中的点来将图像划分为自由空间和占用空间。视觉算法仅搜索占用空间，这显著地节省了处理时间。可以以更低的频率搜索自由空间以防止有源传感器遗漏检测。

另外，在本发明的一个实施例中，rdu用来增加视觉检测的置信度，因为检测的存在增加了对象存在的可能性。

在rdu周围的遗漏视觉检测可以是用来检测对象的视觉算法的失效的指示。在本发明的一个示例性实施例中，rdu周围的图像区域可以用不同参数或不同算法来处理。

此外，在本发明的一个实施例中，为了对象分类(例如，卡车对车辆)的目的，图像区域中rdu的数目作为对象尺寸的指示。同样，从rdu距离变化率确定的对象的速度可以被分类器使用来区分自行车和摩托车。

在本发明的一个示例性实施例中，从雷达(激光雷达)检测距离信息确定距离图。该距离图可以被视觉算法使用来决定使用的搜索标度、确定接触时间(ttc)、以及用于将视觉检测框适当地放置于地面。

在本发明的替代实施例中，图像中对象的速度从rdu距离变化率信息来确定。这通过限制下一帧中的搜索空间来帮助视觉跟踪。其也可以用于改善视觉算法的分类结果。例如，高速对象不会被归类为行人。

在本发明的另一实施例中，来自激光雷达传感器的高度信息可以用作用于对象分类的特征。这可以帮助改善分类结果并且减少错误检测。长于例如8米的对象更可能是水池而不是行人。

根据一个实施例，提供了一种对象检测系统，其配置为检测接近车辆的对象。该系统包括雷达传感器、摄像头以及控制器。雷达传感器用于检测由雷达视场中的对象所反射的雷达信号。摄像头用于捕获与雷达视场重叠的摄像头视场中的对象的图像。控制器与雷达传感器和摄像头通信。控制器配置为确定由雷达信号所指示的图像中雷达监测的位置，基于雷达检测确定图像的参数曲线，基于从雷达检测导出的参数曲线定义图像的感兴趣区域，其中，感兴趣区域是摄像头视场的子集，并且处理图像的感兴趣区域以确定对象的身份。

附图说明

现在将参考附图借助示例来描述本发明，在附图中：

图1描绘了典型的高层融合流程图；

图2描绘了本文所提出的利用雷达(激光雷达)处理的低层融合流程图；

图3描绘了本文所提出的不利用雷达(激光雷达)处理的低层融合流程图；

组合的图4a和4b描绘了基于雷达(激光雷达)检测来构建感兴趣的区域的示例；

图5描绘了所本文所提出的使用rdu来调节视觉对象的置信度(confidence)和类型的方法；

图6a和6b描绘了从rdu距离信息建立距离图(rangemap)的两个示例；

图7描绘了使用雷达(激光雷达)距离信息构建距离图的示例；

图8a和8b描绘使用rdu距离变化率跟踪的说明；以及

图9描绘了系统的框图。

应该理解附图仅是为了说明本发明的概念的目的，并且不是为了说明本发明的唯一可能的配置。

具体实施方式

本原理有利地提供了一种用于基于rdu改善视觉检测、分类和跟踪的方法和系统。虽然本原理将主要在使用雷达(激光雷达)的上下文中描述，但是本发明的具体实施例不应被视为限制本发明的范围。例如，在本发明的替代实施例中，可以使用发光二极管(led)传感器。

在adas和自动驾驶系统中，传感器用于检测、分类和跟踪本车辆周围的障碍物。对象可以是车辆、行人或称为一般对象的未知类。通常，使用两个或更多个传感器来克服单个传感器的缺点并且增加物体检测、分类和跟踪的可靠性。然后将传感器的输出融合以确定场景中的对象的列表。融合可以在高层或低层完成：在高层中，独立地处理每个传感器，融合在最后完成；在低层中，一个传感器在处理的早期阶段被另一个传感器使用。这些融合方法的组合也是可能的。不失一般性，本文提出的系统和方法聚焦于adas和雷达。通常地，激光雷达提供更准确和更致密的数据，因此可以产生比雷达更好的性能。

图2和图3示出了所提出的方法的两种可能的实现。在图中，雷达200、300在算法处理的早期向视觉系统204、304提供信息202、302，以允许其更有效地检测、分类和跟踪对象206、306。除rdu之外，雷达可以提供的最有用的信息是距离和距离变化率。该信息可以以下面将描述的多种方式对视觉算法有益。

图2示出了系统10的非限制性示例，该示例是对图1所示的现有系统12的改进，其中雷达200处理可以类似于当前在高层融合208中所做的来进行处理。雷达检测用于建立轨迹并对对象进行分类。然后可以将这些轨迹与视觉轨迹210融合。图3示出了没有执行雷达处理的系统14的不同的非限制性实现。在该实现中，视觉被用作用于检测、分类和跟踪的主要传感器。这利用了每个传感器的优势(雷达–距离和距离变化率，视觉–分类/跟踪)，并减少处理雷达检测所需的时间。

单目视觉系统由于其在确定对象类别方面的低成本和有效性而已经广泛用于adas应用。为了检测对象，建立固定尺寸(例如，-n×m)的标记图像窗口的数据集。数据库包括要检测的对象(例如车辆)的正例和负例。然后训练分类器以将这些窗口分开。然后将每n×m的窗口传递到分类器进行处理。分类器标记为正的窗口包含对象，标记为负的那些不包含。对象检测和分类可以单独进行，即首先检测然后分类，或同时检测/分类。然后使用例如对象窗口的质心在时域中跟踪检测到的对象。

这种在视觉系统中的对象的搜索通常以滑动窗口方式进行[forsyth和ponce的“computervisionamodernapproach(计算机视觉现代方法)”，出版商：pearson，2011年第2版]，从图像的左上角开始到右下角。由于并非对象的所有实例在图像中都具有相同的尺寸，因此必须在多个尺度上进行搜索。通常根据可用的处理能力使用三个或更多个尺度。该滑动窗口检测在实践中伴随需要不同特征选择的不同应用表现良好。然而，该处理要求非常高，这限制了可以搜索的对象的类型和数量。

为了加快对对象的搜索，在一个实施例中，使用rdu来构建边界曲线，该边界曲线将图像划分为自由空间和占用空间。所产生的占用空间是需要由视觉算法搜索的唯一区域，并且由于其通常小于完整图像，显著地节省了滑动窗口算法的处理时间。

为了构建自由空间边界，首先将rdu映射到图像域。从一个传感器到另一个的映射是本领域公知的。其涉及知晓摄像头和雷达的位置，并且定义旋转和平移参数以将每个rdu与图像空间中(x,y)位置相关联。一旦rdu被映射到图像中，它们被视为图像点，并通过在水平方向上延伸穿过图像的曲线拟合。曲线拟合是构建最适合一系列数据点的曲线的过程。

在一个实施例中，从连接两个rdu的线段构建边界曲线。从最左边的rdu开始，在两个连续的rdu位置之间建立一条线。该过程继续，直到到达最右边的rdu。可以使用多种线拟合技术。在一个实施例中，使用公知的线dda(数字微分算法)，其在端点之间以规则的间隔对线进行采样。优点在于其简单性和速度。随后可以是图像扩张和侵蚀，以产生更平滑的曲线。图4呈现了来自雷达检测单元(rdu400)的自由空间创建的示例，其中，叠加在图像402上的rdu被表示为白色方块。所得到的自由空间边界曲线(参数曲线404)如图4b所示，其叠加在摄像头图像406上。

在另一实施例中，参数曲线可以拟合到rdu。在曲线拟合的文献中有大量的工作。例如，样条(spline)已作为表达曲线的数学方法被广泛使用。样条被定义为分段多项式函数，其导数满足某些连续性约束。应当注意，样条是曲线的一个示例，并且许多其他曲线可以用于从rdu构建边界曲线的目的。

在视觉算法中，置信度值通常与视觉检测和分类相关联。置信度值表示当前窗口中的对象与训练数据库中的图像的接近程度。如果使用单一层分类器，则置信度值可以是单一值，或者在级联(cascade)分类中的多个值，其中每个值与一个分类器层相关联。置信度值通常被缩放到0—1之间的值。许多算法依赖于置信度值以进行高层处理。在一个实施例中，rdu用于增加或减少检测中的置信度水平。可以使用简单的加法或减法的策略，诸如：

如果在视觉检测框内存在rdu，则置信度＝置信度+α*x，其中x是在视觉检测窗口内的rdu的数目，且α用于控制rdu对视觉置信度的影响。在大多数情况下，rdu不应完全控制视觉检测的置信度值。最大值0.1可以用作α*x项的上限。

类似地，如果在视觉检测窗口内部不存在rdu，则从置信度中扣除惩罚值-0.1。由于雷达的方位角较差，为了计算置信度的目的，可以略微扩大视觉窗口。图5示出了使用车辆检测的置信度调整原理。在该图中，示出了视觉检测框500和叠加的rdu502的示例。

在另一个实施例中，rdu的数目可以用于影响分类结果。例如，在视觉窗口中的大数目的检测是诸如卡车的较大物体的存在的指示。此概念也在图5中利用叠加在图像上的视觉检测框500来示出。在该图中，与车辆相比，大数目的rdu502存在于更靠近卡车处。

在其他实施例中，rdu用作次级对象检测指示器。例如，如果视觉没有检测到接近rdu的对象，则这可以是由于例如窗口中的对象与视觉算法被训练来检测的东西之间的较大的变化而造成的视觉算法遗漏对象的指示。视觉算法然后可以调整靠近rdu的某些参数，以允许检测被遗漏的对象。一个典型的示例是调整用于检测和/或分类的阈值。阈值测量在窗口中检测到的特征与此对象期望的特征有多接近(例如80％)。在rdu附近，阈值可以减小到例如70％。这可以允许对象被视觉算法检测到，并且避免完全依赖于rdu来决定对象检测。在又一个实施例中，如果处理资源和时间可用，则可以计算不同的特征或可以围绕rdu使用不同的算法。

距离(或深度图)对于许多adas应用是重要的。在计算机视觉中，来自运动或立体摄像头的结构可以用于估计深度图。在来自使用运动或昂贵立体摄像头(硬件(两个摄像头)或软件(视差算法))的结构情况下，这通常无法提供足够的密度。rdu距离用于构建近似的距离图。距离图可以用于减小滑动窗口算法中的搜索空间、估计接触时间(ttc)、以及可能放置视觉检测框或调整视觉检测框的大小。

在一个实施例中，如图6a所示，距离图被构建。在图中，rdu检测被示为黑色方格，并且灰度值表示距离图像底部的距离。距离图按照如下所构建。让我们使用图像的最低部分600处的距离值为零。考虑图像的左下部分中的rdu602，rdu的距离值被用作从图像的最低部分起的距离的上限，并且距离从零逐渐增加到最低框600中的上限。现在，图像中最低框600的顶部位置被用作距离下限。第二方格604定义为从最低框的上限到图像的中间右边的rdu检测的rdu距离值。重复该过程，直到到达最后一个rdu。如果诸如顶部框608没有rdu可用，则不分配距离值。

在另一个实施例中，距离图像610被定义为如图6b所示。在该图中，从rdu612距离值定义距离值，并将其分配给检测614、616的邻域中的所有像素。邻域的大小取决于到摄像头的距离、rdu的数目和所使用的雷达类型。这两种方法可以组合，如图7中所示，其中图6a的方法用于短距离，而图6b的方法用于远距离700。

距离图在视觉算法中具有多种用途。在一个实施例中，距离图用于决定在视觉处理算法中使用的标度的数目。作为示例，如果对象距离较远(大距离值)，则在滑动窗口算法中仅使用一个标度或两个标度。这可以显著节省处理时间。

在另一实施例中，距离图用于ttc计算。ttc使用车辆前方的自由空间来估计到达图像前面的对象的时间。ttc可以被定义为ttc＝距离/速度，其中“距离”是从距离图估计的，而“速度”被定义为本车辆速度减去目标对象速度的相对的速度。目标对象速度可以从rdu距离变化率来计算。

在一个实施例中，可以基于距离图来调整检测框的位置和尺寸。例如，在文献[“robustrangeestimationwithamonocularcameraforvisionbasedforwardcollisionwarningsystem(基于利用用于视觉的单目摄像头的稳健的距离估计的正向碰撞报警系统)”，k.park和s.hwang，scientificworldjournal(科学世界期刊)，2014年1月]中公知，如果车辆的实际宽度已知，可以使用以下公式来定义图像中的车辆宽度：图像中的车辆宽度＝摄像头焦距*(实际车辆宽度/z)，其中z是摄像头前面的距离。使用诸如1.4m—2m的真实车辆宽度的特定值，可以估计图像的宽度。可以如下估计对象到图像中的投影。在z处的道路中的点将以高度y投影到图像，其中y由y＝焦距*(摄像头高度/z)给出。

由于z从距离图中已知，因此可以估计对象y的高度。该分析假定摄像头被安装成使得光轴平行于路面。如果摄像头下俯，可以进行类似的分析。

在一个实施例中，使用rdu距离变化率来提高跟踪速度和精度。在视觉跟踪中，通过搜索图像以在“t+1”的图像中找到与时间“t”的图像窗口的最佳匹配，在时间“t”检测到的对象可以在时间“t+1”被跟踪。如果没有关于对象速度的信息可用，则搜索区域将较大且因此是耗时的。如果搜索空间较大，也可能最终在第二帧中匹配错误的图像窗口。使用来自rdu的距离变化率和可能的方位角将帮助我们更好地估计对象移动了多少，并且因此将帮助我们将搜索集中在图像的较小区域中。

图8示出了上述实施例中提出的概念。在图中，被示为黑框的在时间“t”处的检测到的对象800在时间“t+1”处被跟踪804。图802中所示的箭头可以从rdu距离变化率和方位角计算，并且让我们在时间“t+1”处定义图像中的搜索空间806。搜索空间在图中用白色标记。虽然雷达不能提供到目标的良好的方位角，但它仍然可以用于如图所示的限制搜索空间。

在又一个实施例中，rdu距离变化率也可以用于影响分类结果。作为示例，如果对象窗口拥有具有较大距离变化率(快速对象)的rdu，则其可以用于增加车辆类对卡车、或摩托车对自行车的置信度。

如前所述，激光雷达可以以类似的方式用于计算自由空间和距离图。由于激光雷达提供更准确和更致密的数据，可以用更高的精度估计自由空间和距离图。该方法对于稀疏激光雷达非常有用，其中在该激光雷达扫描期间仅有有限的测量可用。然而，激光雷达通常不能提供距离变化率，并且因此不能用于例如改善跟踪。

在一个实施例中，激光雷达高度值可以用于以多种方式改善视觉检测。作为示例，如果视觉检测到的对象具有来自激光雷达的非常大的高度值，则可以将其用于视觉检测不正确的指示，并且因此被丢弃。在另一示例中，如果检测到的对象的激光雷达高度值小，则可以丢弃视觉检测。

图9示出了被配置为检测邻近车辆924的对象902的对象检测系统900的非限制性示例。系统900包括雷达传感器904，其用于检测由雷达视场906中的对象所反射的雷达信号926。系统900也可以包括摄像头908，其用于捕获与雷达视场906重叠的摄像头视场910中的对象902的图像402(图4)。系统900通常配置为将来自雷达传感器904和摄像头908的信息以利用这两个设备的优势的方式组合，并从而补偿雷达传感器904和摄像头908的劣势。

为此，系统900也包括控制器912，其与雷达传感器904和摄像头908通信。控制器912配置为确定由雷达信号926所指示的图像中雷达监测400的位置，基于雷达检测确定图像402的参数曲线404，基于从雷达检测导出的参数曲线404定义图像402的感兴趣区域406。优选地，感兴趣区域406是摄像头视场910的子集。参数曲线404通过限制被处理的图像402的面积来帮助减少图像处理的量，因为感兴趣的对象不期望在感兴趣区域406之外。因此，控制器912配置为处理图像的感兴趣区域406以确定对象的身份914。

由于期望感兴趣对象比由参数曲线404定义的边界更远离车辆924，所以控制器912配置为将感兴趣区域406定义为在参数曲线上方404。

为了确定何时在图像402中检测到的某物已经被充分分析，控制器912可以配置为基于图像确定对象902的身份914的置信度值916，并且基于雷达检测改变置信度值916。

当控制器基于雷达信号检测对象且没有在图像中检测到该对象时，控制器912可以减小控制器用来处理图像的阈值918。

控制器912可以配置为基于与对象相关联的雷达检测计数922来确定对象的尺寸920。

尽管已针对其优选实施例对本发明进行了描述，然而本发明不旨在受如此限制，而是仅受所附权利要求书中给出的范围限制。