专利名称：用于检测道路障碍物的方法及系统的制作方法
技术领域：
本发明属于信息检测和处理技术领域，并且具体地涉及基于多传感器融合的用于检测和识别道路障碍物的方法及系统。
背景技术：
随着汽车时代的全面来临，汽车技术，特别是汽车安全技术受到越来越多的重视。除了传统汽车中对汽车安全起决定作用的机电控制以外，实时获取车载信息也是安全驾驶重要的保障。具体而言，车载信息主要包括车辆状态信息和环境信息，其中对环境信息的感知尤为重要。随着技术的发展，各种功能各异的传感器设备可以被用于获取各种实时路况信息。目前常用的车载传感器主要可以分成声学类(超声波)、光学类(无源红外线、视频摄像机等)、电磁类(毫米波雷达)。每一种传感器探测技术都有其适用的场合以及受限制的方面。举例来说，视频摄像机探测范围广，信号丰富，但是容易受外界因素影响，存在目标缺失、模糊等问题；超声波传感器在小目标反射信号弱的情况下无法探测，而且需温度补偿；无源红外线式传感器通过物体所发射的热能来实现探测，这种传感器不能很准确地确定物体的距离；雷达传感器采用短的大功率红外光脉冲进行探测，根据光脉冲所需的传播时间可以确定物体被测距离，但雷达传感器的缺陷是检测物体轮廓不准确。在获取环境信息的过程中，非常重要的一个方面是要检测和识别车辆周围的障碍物。传统的汽车通常仅采用基于单一传感器的单个检测模型来获取周围环境的障碍物信息，因而在复杂气候、复杂交通场景下具有很大的局限性，导致无法精确识别出障碍物，为行车安全带来了很大的隐患。因而，对能够在不同道路场景、不同气候条件下实时有效地进行障碍物检测的方法及系统有很大的需求。
发明内容
为实现上述目标，本发明提供了一种用于检测目标区域中的道路障碍物的方法，其特征在于，所述方法包括以下步骤:利用视频摄像装置获取所述目标区域的视频图像信息；基于所述视频图像信息建立第一障碍物检测模型；利用毫米波雷达获取所述目标区域的第一位置信息；基于所述视频图像信息和所述第一位置信息建立第二障碍物检测模型；利用激光雷达所述目标区域的第二位置信息并且利用红外线摄像装置获取所述目标区域的温度信息；基于所述第二位置信息和所述温度信息建立第三障碍物检测模型；以及利用基于粗糙(vague)集的模糊神经网络算法结合所述第一障碍物检测模型的检测结果、所述第二障碍物检测模型的检测结果和所述第三障碍物检测模型的检测结果以确定所述道路障碍物的特征信息，其中，所述目标区域被划分成一系列三维立体栅格，并且所述第一、第二和第三障碍物检测模型的检测结果均包括表征每个所述三维立体栅格是否被所述道路障碍物占据的栅格信息。
在本发明的一些实施例中，所述利用基于粗糙集的模糊神经网络算法结合每个所述障碍物检测模型的检测结果包括以下步骤:按所述三维立体栅格对每一时刻所述第一、第二和第三障碍物检测模型的检测结果进行加权以得到每一时刻所述第一、第二和第三障碍物检测模型的复合检测结果，并且其中根据周围环境信息以及历史检测结果动态地调整所述第一、第二和第三障碍物检测模型的检测结果的权重。在本发明的一些实施例中，利用基于粗糙集的模糊神经网络算法结合每个所述障碍物检测模型的检测结果还包括以下步骤:按所述三维立体栅格对预定时间段内每一时刻的所述复合检测结果进行加权，并且根据周围环境信息以及历史检测结果动态地调整每个时刻的所述复合检测结果的权重。在本发明的一些实施例中，所述周围环境信息包括道路条件和气候条件中的至少一个。
在本发明的一些实施例中，所述建立第一障碍物检测模型包括以下步骤:基于所述视频图像信息计算逆透视变换矩阵；通过所述逆透视变换将所述视频图像从图像坐标系变换至世界坐标系；以及基于斑块聚类算法对所述世界坐标系下的视频图像进行图像分割以确定所述道路障碍物。在本发明的一些实施例中，所述计算逆透视变换矩阵包括以下步骤:对所述视频图像进行图像分割；在经分割的视频图像中进行道路标志线检测；基于所检测到的道路标志线确定消隐点；根据所述消隐点的坐标对所述视频摄像装置的参数进行估计；基于所估计得到的参数值计算所述逆透视矩阵，其中所述参数包括所述视频摄像装置的水平孔径角和垂直孔径角。在本发明的一些实施例中，基于直方图算法对所述视频图像进行图像分割。在本发明的一些实施例中，所述建立第二障碍物模型包括以下步骤:根据所述第一位置信息估计所述道路障碍物的方位；将所述第一位置信息映射到所述视频图像所处的图像坐标系中以确定所估计的道路障碍物方位的中心点；以及基于所述视频图像信息跟踪所述中心点以确定所述道路障碍物。在本发明的一些实施例中，基于所述视频图像信息跟踪所述中心点包括以下步骤:计算所述视频图像的单应性矩阵；以及通过所述单应性矩阵对所述视频图像进行配准。在本发明的一些实施例中，所述第二位置信息包括每个所述三维立体栅格与所述
激光雷达之间的距离Hf,并且所
述建立第三障碍物模型包括根据以下公式计算每个所述三维立体栅格被所述道路障碍物占据的概率:
权利要求
1.一种用于检测目标区域中的道路障碍物的方法，其特征在于，所述方法包括以下步骤: 利用视频摄像装置获取所述目标区域的视频图像信息； 基于所述视频图像信息建立第一障碍物检测模型； 利用毫米波雷达获取所述目标区域的第一位置信息； 基于所述视频图像信息和所述第一位置信息建立第二障碍物检测模型； 利用激光雷达所述目标区域的第二位置信息并且利用红外线摄像装置获取所述目标区域的温度信息； 基于所述第二位置信息和所述温度信息建立第三障碍物检测模型；以及利用基于粗糙集的模糊神经网络算法结合所述第一障碍物检测模型的检测结果、所述第二障碍物检测模型的检测结果和所述第三障碍物检测模型的检测结果以确定所述道路障碍物的特征信息， 其中，所述目标区域被划分成一系列三维立体栅格，并且所述第一、第二和第三障碍物检测模型的检测结果均包括表征每个所述三维立体栅格是否被所述道路障碍物占据的栅格信息。
2.如权利要求1所述的方法，其特征在于，其中所述利用基于粗糙集的模糊神经网络算法结合每个所述障碍物检测模型的检测结果包括以下步骤: 按所述三维立体栅格对每一时刻所述第一、第二和第三障碍物检测模型的检测结果进行加权以得到每一时刻所述第一、第二和第三障碍物检测模型的复合检测结果，并且其中根据周围环境信息以及历 史检测结果动态地调整所述第一、第二和第三障碍物检测模型的检测结果的权重。
3.如权利要求2所述的方法，其特征在于，所述利用基于粗糙集的模糊神经网络算法结合每个所述障碍物检测模型的检测结果还包括以下步骤: 按所述三维立体栅格对预定时间段内每一时刻的所述复合检测结果进行加权，并且根据周围环境信息以及历史检测结果动态地调整每个时刻的所述复合检测结果的权重。
4.如权利要求2或3所述的方法，其特征在于，其中所述周围环境信息包括道路条件和气候条件中的至少一个。
5.如权利要求1所述的方法，其特征在于，其中所述建立第一障碍物检测模型包括以下步骤: 基于所述视频图像信息计算逆透视变换矩阵； 通过所述逆透视变换将所述视频图像从图像坐标系变换至世界坐标系；以及基于斑块聚类算法对所述世界坐标系下的视频图像进行图像分割以确定所述道路障碍物。
6.如权利要求5所述的方法，其特征在于，其中所述计算逆透视变换矩阵包括以下步骤: 对所述视频图像进行图像分割； 在经分割的视频图像中进行道路标志线检测； 基于所检测到的道路标志线确定消隐点； 根据所述消隐点的坐标对所述视频摄像装置的参数进行估计；基于所估计得到的参数值计算所述逆透视矩阵，其中所述参数包括所述视频摄像装置的水平孔径角和垂直孔径角。
7.如权利要求6所述的方法，其特征在于，其中基于直方图算法对所述视频图像进行图像分割。
8.如权利要求1所述的方法，其特征在于，其中所述建立第二障碍物模型包括以下步骤: 根据所述第一位置信息估计所述道路障碍物的方位； 将所述第一位置信息映射到所述视频图像所处的图像坐标系中以确定所估计的道路障碍物方位的中心点；以及 基于所述视频图像信息跟踪所述中心点以确定所述道路障碍物。
9.如权利要求8所述的方法，其特征在于，其中基于所述视频图像信息跟踪所述中心点包括以下步骤: 计算所述视频图像的单应性矩阵；以及 通过所述单应性矩阵对所述视频图像 进行配准。
10.如权利要求1所述的方法，其特征在于，其中所述第二位置信息包括每个所述三维立体栅格与所述激光雷达之间的距离(Oi,并且所述建立第三障碍物模型包括根据以下公式计算每个所述三维立体栅格被所述道路障碍物占据的概率:
11.如权利要求10所述的方法，其特征在于，其中所述建立第三障碍物模型还包括基于概率超过预定阈值的三维立体栅格联结成的斑块来确定所述道路障碍物。
12.一种用于检测目标区域中的道路障碍物的系统，其特征在于，所述系统包括: 视频摄像装置，用于获取所述目标区域的视频图像信息； 毫米波雷达，用于获取所述目标区域的第一位置信息； 激光雷达，用于获取所述目标区域的第二位置信息； 红外线摄像装置，用于获取所述目标区域的温度信息；以及 数据处理装置，其被配置用于基于所述视频图像信息建立第一障碍物检测模型；基于所述视频图像信息和所述第一位置信息建立第二障碍物检测模型；基于所述第二位置信息和所述温度信息建立第三障碍物检测模型；并且利用基于粗糙集的模糊神经网络算法结合所述第一障碍物检测模型的检测结果、所述第二障碍物检测模型的检测结果和所述第三障碍物检测模型的检测结果以确定所述道路障碍物的特征信息，其中所述目标区域被划分成一系列三维立体栅格，并且每个所述障碍物检测模型的检测结果均包括表征每个所述三维立体栅格是否被所述道路障碍物占据的栅格信息。
13.如权利要求1所述的系统，其特征在于，其中所述视频摄像装置和所述红外线摄像装置被布置在汽车前挡风玻璃的上端，并且所述毫米波雷达和所述激光雷达被布置在汽车车头前部大体上正中的 位置。
全文摘要
本发明涉及用于检测道路障碍物的方法及系统。本发明公开了基于视频摄像装置的第一障碍物检测模型，基于视频摄像装置和毫米波雷达的第二障碍物检测模型，基于三维激光雷达和红外线摄像装置的第三障碍物检测模型，并且通过基于粗糙集的模糊神经网络算法使得所述多个模型形成互补检测，从而实时获取道路障碍物的特征信息。本发明能够在不同道路场景、不同气候条件下进行实时有效的道路障碍物检测，准确获取不同障碍物的行进速度、方向等参数，从道路交通环境中提取和分析车辆周边环境信息，并针对异常交通行为进行判断，从而缓解目前城市交通压力、提高交通管理的效率。
文档编号G01S13/93GK103176185SQ201110440690
公开日2013年6月26日 申请日期2011年12月26日 优先权日2011年12月26日
发明者刘凯 申请人:上海汽车集团股份有限公司