一种基于视觉与激光雷达传感器的车辆可通过性检测系统的制作方法

本发明涉及车辆地形通过性仿真分析技术领域，尤指一种基于视觉与激光雷达传感器的车辆可通过性检测系统。

背景技术：

在车辆行驶过程中，常常因为驾驶员对道路两侧限宽障碍物的位置估计不准确而造成剐蹭等事故，不仅会带来一定的经济损失，也需要驾驶员花费一定的时间去处理事故。因而，在车辆的使用成为一种习惯的今天，亟需一种方式能够代替驾驶员准确估计道路两侧限宽障碍物的位置，并提供相应的措施防止剐蹭事故的发生。

现有技术中仅存在检测行车道标识的技术，通常采用摄像头来实现，具体来说，是采用摄像头对车辆行驶道路进行摄像，在所拍摄的图像内在左右分别设定图像处理区域，然后基于图像处理区域中的行车道标识来识别车道。显然，这种采用摄像头的技术仅仅是检测行车道标识，而对别的物体不做处理，功能单一，无法识别道路两侧的限宽障碍物或是其他障碍物，当然也无法避免剐蹭事故的发生。

技术实现要素：

为克服现有技术存在的不足，保证在车队进行过程中，实时为车队提供道路的可通过性检测结果，保证车队的可通过性，本申请提出了一种基于视觉与激光雷达传感器的车辆可通过性检测系统。

具体的，该系统包括：车载传感器、数据处理模块；其中，通过车载传感器采集道路的点云数据，进行道路场景的三维重建，其中点云数据包括道路、隧道、障碍物的特征模型数据；数据处理模块，用于对三维重建的场景建立空间树，生成对应的加速碰撞检测求解过程；依据车辆通过性几何参数对车辆进行建模，获得车辆刚体几何轮廓模型；采集车辆动力数据，建立车辆运动模型；根据车辆运动模型以及道路三维场景数据，生成车辆运动仿真轨迹；沿着车辆运动仿真轨迹，实时进行碰撞检测计算，获得可通过性检测结果。

进一步的，车载传感器包括：摄像机、激光雷达。

进一步的，摄像机包括：单目摄像机，前向窄视野，检测距离300米；双目视觉摄像机，前向主视野，双目摄像头，测距距离200米。

进一步的，激光雷达为固态激光雷达，前向探测，视场角不低于60°×20°，角分辨率不低于0.2°。

进一步的，通过车载传感器采集道路的点云数据，进行道路场景的三维重建包括：建立雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标系转换关系，将传感器数据进行空间融合；将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下，进行传感器数据的空间同步。

进一步的，还包括：利用平面靶标进行传感器的联合标定；通过摄像机、激光雷达同时采集标定板多个姿态下的数据，对摄像机进行标定，得到摄像机内外参，建立摄像机坐标系；根据坐标系，对激光雷达及毫米波雷达进行联合标定。

进一步的，摄像机与激光雷达通过时间同步控制电路进行采样时间的同步，建立时间统一基准及相应的采集触发机制，进行时间融合，使雷达数据与摄像机数据在时间上同步。

进一步的，本系统的道路检测与识别的方法包括：连续帧道路检测将数据处理限制在上一帧数据处理结果的邻域，在建立道路模型、运动学模型和动力学模型的基础上，计算道路参数并依据车辆相对于道路的位置信息和运动信息进行通过性检测模拟仿真。

本申请提出的基于视觉与激光雷达传感器的车辆可通过性检测系统具备以下效果：1、采用基于多传感器信息融合的数据采集设计，使各传感器优势互补，满足时间与空间的可用性要求，保证系统稳定、可靠的道路场景感知能力，探测范围可达200m，测量精度可达±10cm，且具备夜间探测能力，测量道路空间轮廓，为车辆提供夜间辅助驾驶功能；2、使用精准、高效的连续帧道路检测方法，可实时检测识别结构化、非结构化(野外、灌木丛、坑洼地带)道路，提取道路(包括隧道)的空间轮廓，并给出障碍物(包括低洼障碍)的大小；3、建立道路模型、运动学模型和动力学模型，依据车辆相对于道路的位置信息和运动信息进行通过性检测实时仿真计算，给出通过性检测结果；该方案中涉及的关键技术相对成熟，可行性高，不存在技术风险。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例的利用平面靶标进行传感器的联合标定的架构示意图。

图2为本发明一实施例的联合标定流程图。

图3为本发明一实施例的采样频率示意图。

图4为本发明一实施例的时间同步系统架构示意图。

图5为本发明一实施例的道路检测与识别架构示意图。

图6为本发明一实施例的非结构化道路检测算法示意图。

图7为本发明一实施例的基于图像处理的障碍物检测流程示意图。

图8为本发明一实施例的车辆几何参数示意图。

具体实施方式

以下配合图式及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。

本申请提出的基于视觉与激光雷达传感器的车辆可通过性检测系统包括：车载传感器、数据处理模块，车载传感器设置于车辆上；其中，

通过车载传感器采集道路的点云数据，进行道路场景的三维重建，其中点云数据包括道路、隧道、障碍物的特征模型数据；数据处理模块，用于对三维重建的场景建立空间树，生成对应的加速碰撞检测求解过程；依据车辆通过性几何参数对车辆进行建模，获得车辆刚体几何轮廓模型；采集车辆动力数据，建立车辆运动模型；根据车辆运动模型以及道路三维场景数据，生成车辆运动仿真轨迹；沿着车辆运动仿真轨迹，实时进行碰撞检测计算，获得可通过性检测结果。

本系统具有以下功能：本系统具备对前方道路、隧道等可通过性探测和判断能力，为车队的可通过性提供检测结果；还具备对野外道路、灌木丛、坑洼地带等特殊地段可通过性探测和判断能力，为车队的可通过性提供检测结果；保证车队在不低于50km/h行进速度下(引导车与车队之间距离小于200米)，具备实时探测能力，并可以给出车队是否能通过的可靠结论；能够测量道路空间轮廓，为车辆提供夜间辅助驾驶功能；具备实时探测隧道口及隧道内壁状况的能力，并可以根据大型特种车辆进行碰撞预分析，避免大型车辆误入隧道难以回退的情况发生。

具体的，车载传感器包括：摄像机、激光雷达。

摄像机包括：

单目摄像机，前向窄视野，检测距离300米；

双目视觉摄像机，前向主视野，双目摄像头，测距距离200米。

激光雷达为固态激光雷达，前向探测，视场角不低于60°×20°，角分辨率不低于0.2°(h/v)。

综上，本系统的技术指标为：自动探测范围200米，自动探测障碍物高度，自动探测障碍物宽度，自动探测低洼障碍物(如，坑道、低洼地)，隧道內实时碰撞预警，测量精度能达到±10cm。

本系统利用了数据融合处理技术，包含了空间融合、时间融合，以此进行三维重建。

空间融合：建立精确的雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现多传感器数据的空间融合的关键。雷达与视觉传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。在本系统实现过程中，将雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现多传感器的空间同步。

结合图1所示，为利用平面靶标进行传感器的联合标定的架构示意图。标定时，首先相机、激光雷达同时采集标定板多个姿态下的数据。然后对相机进行标定，得到相机内外参，建立相机坐标系；最后对激光雷达以及毫米波雷达进行联合标定，具体流程可参考图2所示。

时间融合：雷达和视觉信息在除在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合。结合图3所示，由于雷达传感器与视觉传感器的数据采集频率不一致，为了保证数据的可靠性，需建立高精度的时间统一基准及相应的采集触发机制，保证雷达数据和摄像机数据在时间上的同步；时间同步系统的架构示意图可参考图4所示。

三维重建：相对于相机，激光雷达的信息相对稀疏，要得到每个像素的深度信息非常困难。通常假设物体表面局部光滑、相似的部分可近似为平面，而这跟实际情况比较吻合。因此按照颜色或者灰度等图像相似属性，将图像进行分割，得到像素块。这些像素块与物体表面相对应。然后对每一块拥有雷达数据的像素块进行平面估计，并根据平面的法向量到原点的距离，估算出所有像素的深度信息，从而得到全景致密三维重建的结果。

道路检测与识别是本系统的核心功能之一。如图5所示，主要通过道路检测、连续帧道路检测、道路识别与跟踪三个模块实现。

连续帧道路检测可将数据处理限制在上一帧数据处理结果的邻域，可以显著提高道路检测的速度，降低硬件计算成本，满足实时性要求；

道路识别与跟踪系统建立在道路模型、运动学模型和动力学模型的基础上，系统除计算道路参数，还可依据车辆相对于道路的位置信息和运动信息进行通过性检测模拟仿真；

上述过程除涉及众多图像处理算法，还需要大量的3d运算作支撑，以此充分发挥多传感器融合数据的作用。

检测对象一般包括：结构化道路、非结构化道路、隧道、障碍物。

结构化道路检测：结构化道路一般是指高速公路、城市干道等结构化较好的公路。这类道路具有清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显。

结非构化道路检测：通常采用基于特征和基于模型的道路检测方法即可对结构化道路检测问题求解。

非结构化道路一般是指城市非主干道、乡村街道等结构化程度较低的道路，这类道路没有车道线和清晰的道路边界，再加上受阴影和水迹等的影响，道路区域和非道路区域难以区分。多变的道路类型，复杂的环境背景，以及阴影、水迹和变化的天气等等都是非结构化道路检测所面临的困难。

针对这些问题，系统采用机器学习的方法，用支持向量机(svm)作为分类器对道路图像分类，从而提取图像中的道路区域。系统根据道路的多种特征选取道路区域和非道路区域样本，使用支持向量机(svm)作为分类器分割图像。为了提高对环境的适应能力，在检测中根据上一帧分类的结果实时更新训练样本和重新训练svm。

由于用svm分类器对道路图像分类，需要在初始化中人为地选择训练svm的样本，系统将激光雷达数据与图像融合来改进算法，其流程如图6所示：

首先，用模糊支持向量机(fsvm)代替svm，增加检测中样本的可信度以及减少噪声对分类的干扰；

然后，用激光雷达提取路面，并将雷达结果映射到图像上，再根据映射的结果自动获取图像中道路和非道路区域样本。

在检测过程中需要进行样本更新，是根据上一帧的检测结果结合当前雷达数据分析结果，从而选择正确的样本，进一步改善分类的效果。

隧道及内壁检测：由于隧道内的光照条件差，摄像头难以获得足够清晰的成像，而激光雷达的数据采集精度却不受影响，因此，当车辆进入隧道后，检测与识别的数据源以激光雷达传感器为准。

激光雷达采集的隧道内壁数据本身具有较为规则的轮廓形状。此时，结合去噪、模型特征匹配等算法，可获得较为精准的隧道内壁轮廓模型，用于后续的通过性检测计算。

障碍物检测：对一幅三维激光数据图像,利用模式识别理论中的迭代自组织数据分析法(isodata)提取出地面(基准面)，通过求图像中各个点到基准面的距离差来判断凹、凸障碍物点，并对这些点进行标记，从而提取出图像中各个障碍物目标。由此，可计算出障碍物的高度与宽度，以及低洼障碍物等信息。

相对于视觉传感器，激光雷达存在分辨率较低、探测距离不够远的问题。在远距离工作区，其采集精度受影响较大，可能发生小障碍物漏检的错误。为此，可融合视觉数据进行障碍物检测，将图像和激光雷达检测的结果相互验证，降低系统的漏检率。

采用双目立体视觉的方法检测障碍物，对需要判定的每一对左右图像像素点进行立体视觉的计算，得到其高度和深度信息。高度值高于地面一定阈值的点被认为是障碍点，高度值低于地面一定阈值的点被认为是低洼障碍点。该障碍物检测与识别的过程与三维激光点云数据的处理过程相似。

为增强系统的可靠性，在障碍物检测过程中，使用单目相机作为补充手段，进一步降低系统的漏检率。单目相机障碍物检测采用基于图像处理的方法实现，依据是道路前方的障碍物特征信息，处理过程如图7所示。

其中，1、彩色图像到灰度图像的转换即为图像灰度化。

2、中值滤波可以在一定程度上保留图像细节，利用中值滤波法平滑道路图像。sobel算子能增强边缘两侧的像素，适用于依靠边界信息识别目标的视觉系统，边缘变得粗而明显。

3、经过边缘处理道路图像中存在的障碍物目标有时会出现裂缝，应采用形态学处理方法将这些裂缝桥接起来。

4、最后采用一个矩形框对目标障碍物进行框定，完成障碍物检测的全过程。

本系统实现的主要目标为实时计算道路的空间轮廓并使其与车辆的轮廓配比，从而计算出通过性检测结果。

其中，最基本的实现要素即通过对比道路空间轮廓与车辆宽度、高度、转弯半径等基本指标，判断其是否可顺利通过。

除此之外，还应包含广义的车辆通过性计算，即使用车辆的通过性几何参数计算汽车在一定载重条件下以足够高的平均车速，通过各种道路的能力。车辆的通过性几何参数可表征其通过隧道、桥梁、坎坷不平路段和障碍的能力。

由于车辆与地面间的间隙不足而被地面托起、无法通过的情况，称为间隙失效。与间隙失效有关的车辆几何参数，称为车辆的通过性几何参数。这些参数主要包括最小离地间隙、接近角、离去角、纵向通过角、最小转弯直径等，如图8所示。

其中，1、最小离地间隙h：

最小离地间隙h是汽车满载、静止时，支承平面与汽车上的中间区域最低点之间的距离。它反映了汽车无碰撞的通过地面凸起的能力。

2、接近角γ1与离去角γ2：

接近角γ1和离去角γ2是指汽车满载、静止时，前、后突出点，向前、后车轮引切线时，切线与路面之间的夹角。它表征了车辆接近或离开障碍物时，不发生碰撞的能力。接近角和离去角越大，越不易发生触头失效和托尾失效。

3)纵向通过角β：

在汽车满载、静止时，分别通过车轮前、后轮胎外缘作垂直于汽车纵向对称平面的切平面，当两切平面交于车底下部较低部位时所夹的最小锐角。它表征车辆可无碰撞地通过小丘、拱桥等障碍物的轮廓尺寸。纵向通过角β越大，顶起失效的可能性越小，车辆的通过性越好。

4)最小转弯直径和转弯通道圆：

当转向轮转到极限位置、车辆以最低稳定车速转向行驶时，外侧转向轮的中心平面在支承平面上滚过的轨迹圆直径，表征车辆能够通过狭窄弯；曲地带或绕过不可越过的障碍物的能力。

转弯通道圆是指当转向轮转到极限位置、汽车以最低稳定车速转向行驶时，车体上所有点在支承平面上的投影均位于圆周以外的最大内圆，称为转弯通道内圆；车体上所有点在支承平面上的投影均位于圆周以内的最小外圆，称为转弯通道外圆。转弯通道内、外圆半径的差值为汽车极限转弯时所占空间的宽度，此值决定了汽车转弯时所需的最小空间。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。