一种智能汽车恶劣天气条件下车辆检测方法与流程

本发明涉及智能汽车环境感知领域，具体涉及一种基于红外热图像与毫米波雷达信息融合的恶劣天气车辆检测方法。

背景技术：

环境感知是智能汽车决策和运动控制的基础和前提，而车辆作为交通的主要参与者又是环境感知的重点对象。良好天气条件下车辆检测的实时性和准确性已经具备了很高的水平，但是恶劣天气(夜间、雨天、雪天、雾天)条件下的车辆检测依然存在诸多挑战。

iwasakiy等人在其论文“robustvehicledetectionundervariousenvironmentstorealizeroadtrafficflowsurveillanceusinganinfraredthermalcamera”中针对轮胎、排气筒、车窗等区域的具有明显的灰度和纹理特征利用红外热图像对车辆进行检测。wanghai等人在论文“night-timevehiclesensinginfarinfraredimagewithdeeplearning”中利用视觉显著性算法从红外热图像中提取车辆的感兴趣区域，然后采用深度置信网络dbn实现了对车辆的检测。蔡文靖等人在论文“基于slpp-shog的红外图像车辆检测方法”、赵英男等人在论文“基于gabor滤波器和svm分类器的红外车辆检测”、齐楠楠等人在论文“基于视觉显著性和目标置信度的红外车辆检测技术”、周燕在论文“基于svm和均值平移的红外车辆目标跟踪算法研究”、聂霆在论文“基于红外图像的前方车辆识别与车距检测”、方圆在论文“基于视觉显著性的红外运动车辆目标检测”、裴嘉欣在论文“基于改进yolov3网络的无人车夜间环境感知”、聂霆在论文“基于红外图像的前方车辆识别与车距检测”张志娟在论文“用于重型卡车的夜间前方车辆检测方法”都利用红外图像采用不同方法实现了对交通车辆的检测。樊峻畅在其硕士论文“红外图像中基于卷积神经网络的车辆检测”中利用r-cnn模型和ssd模型对红外热图像中的车辆进行检测。赵晓枫等人在论文“基于改进ssd的特种车辆红外伪装检测方法”中提出了一种基于残缺窗口优化的ssd模型，利用红外图像方法提高了车辆检测的精度。

丁洪正在论文“基于毫米波雷达和机器视觉的前方车辆检测研究”利用毫米波和红外图像融合实现了弯道和夜间车辆检测。

通过分析现有的红外图像车辆检测技术，发现存在一些不够完善的地方：首先只依靠热成像相机无法获得车辆完备的感知信息，例如基于红外热图像的车辆检测算法无法获得车辆的距离和运动状态信息，而这些信息对于智能车辆行为决策和运动规划是至关重要的。另外很多车辆检测算法都依赖感兴趣区域生成，仅仅依靠图像处理的算法对车辆感兴趣区域进行提取很容易受到周围环境的干扰，车辆感兴趣区域(roi)提取的质量和精度有待提高，而且额外的图像处理过程也容易降低整个车辆检测系统的实时性。

技术实现要素：

本发明提出了一种智能汽车恶劣天气条件下车辆检测方法，解决智能汽车在夜间、雨天、雾天、雪天等恶劣环境下车辆检测困难的问题。

本发明的目的是通过以下技术方案实现的：

一种智能汽车恶劣天气条件下车辆检测方法，包括以下步骤：

步骤1、车辆感兴趣区域生成：分别通过毫米波雷达和热成像相机进行车辆目标检测和图像捕获；将毫米波雷达检测到的车辆目标通过坐标变换投影到热成像相机捕获的红外热图像，获得车辆检测目标在红外热图像中的近似位置分布；提取与分割车辆感兴趣区域；

步骤2、车辆假设验证：采用dmp目标检测算法对车辆感兴趣区域进行假设验证，并对车辆的检测边框进行回归预测；

步骤3、目标融合与跟踪：通过计算代价矩阵对毫米波雷达及热成像相机的车辆检测目标进行融合，最后采用卡尔曼滤波对融合后的车辆检测目标进行跟踪。

进一步地，所述步骤1车辆感兴趣区域生成具体包括以下步骤：

步骤1.1、将毫米波雷达及热成像相机分别固定在车辆指定位置；

步骤1.2、利用张定友标定法对热成像相机进行参数标定，根据相机成像原理和投影变换将环境中物点p(xw,yw,zw)转化到图像坐标p(u,v)，转化公式如下：

步骤1.3、定义世界坐标系与车辆坐标系相同，且其中雷达坐标系xroryr平面和世界坐标系的xoy平面平行，两平面垂直方向的距离为zo，y方向的距离为yo，则雷达坐标系下任意一点p(r,α)，转化到车辆坐标系下可以表示为：

步骤1.4、根据步骤1.2和步骤1.3得到物点p在雷达坐标系和相机坐标系的转化关系为：

步骤1.5、采用时间戳对齐的方式确保毫米波雷达和热成像相机信息传输的同步；

步骤1.6、对毫米波雷达检测到的车辆目标进行筛选，获得有效车辆目标；

步骤1.7、利用步骤1.4的坐标转化公式，将步骤1.6筛选后的有效车辆目标投影到红外热图像，获得车辆检测目标在红外热图像中的近似位置分布；

步骤1.8、根据车辆分布热红外图像中的车辆感兴趣区域进行动态提取；

步骤1.9、采用适应灰度增强算法对每一块提取的车辆感兴趣区域进行图像增强，提高车辆检测目标的辨识度。

更进一步地，所述步骤1.8车辆感兴趣区域的动态提取具体包括以下步骤：

步骤1.8.1、选择实验场地，将道路长度均分并画线；

步骤1.8.2、选择实验车辆，并将试验车分别停靠在实验场地的画线上；

步骤1.8.3、保持相机不动，依次记录车辆距离相机不同距离的图像信息，对每一幅图像中车辆像素的宽度信息进行提取和记录；

步骤1.8.4、通过上述步骤获得若干组车辆在图像中的宽度与距离的映射组合k＝(li,wi)，i∈[1,20]，其中li代表第i个测量点距相机的距离，wi代表在i个测量点车辆的像素宽度；

步骤1.8.5、采用不同函数对所述若干组测量点的函数关系进行回归拟合，车辆像素宽度w与距离l的函数关系表达式如下所示：

w＝905.6l^-0.9246-3.472

步骤1.8.6、毫米波雷达可以精确探测到车辆的距离l，将l带入到步骤1.8.5的公式中求出车辆在图像中的像素宽度w。常见车辆宽高比的统计值为1.2，则车辆在图像中的像素高度h＝w/1.2；以毫米波雷达检测的车辆质心为中心，以求解的车辆像素宽度w和高度h为边界，建立车辆动态感兴趣区域；为了防止车辆细节的缺失对规划的感兴趣区区域再进行1.2倍地拓展。

更进一步地，所述步骤2车辆假设验证包括以下具体步骤：

步骤2.1、训练样本采集与预处理：采用实车实验分别采集不同恶劣环境下的雷达和热成像相机的感知信息；对红外热图像的车辆目标和非车辆目标进行标注，收集正训练样本图片和负训练样本图片；

步骤2.2、训练样本增广；

步骤2.3、dpm建模与训练：随机选取80％的样本作为训练样本，20％的样本作为测试样本；训练样本被平均分成若干份，在训练时进行交叉验证；经过反复训练和迭代获得车辆检测分类器；

步骤2.4、采用多用多尺度滑动窗口对车辆感兴趣区域进行dpm特征提取，利用训练好的车辆分类器对车辆进行识别，最后采用非极大值抑制算法对车辆目标的检测边框进行回归预测。

更进一步地，所述步骤3目标融合与跟踪包括以下具体步骤：

步骤3.1、假设所述步骤2中的车辆检测边框的左上角和右下角的坐标分别为(x1,y1)和(x2,y2)，则所检测的车辆中心坐标可表示为：

步骤3.2、将所有雷达检测目标和热成像相机检测目标分别用集合r和c表示，其中x和y分别代表目标在像平面的横坐标和纵坐标；

步骤3.3、对所有检测目标的x和y分别采用最大最小值法进行归一化处理：

x＝(x-xmin)/(xmax-xmin)

y＝(y-ymin)/(ymax-ymin)

步骤3.4、计算任意两个传感器目标之间的代价函数值，代价矩阵的计算公式如下：

步骤3.5、根据代价函数的计算结果对两传感器的检测目标进行融合，获得有效车辆检测目标列表；

步骤3.6、雷达直接检测车辆的速度、距离、角度，热成像相机通过dpm目标检测算法获得车辆的检测边框，将检测边框的位置信息代入步骤1.4的公式中，求得实际车辆的高度、宽度，将融合后的测量信息更新到目标列表。

步骤3.7、采用卡尔曼滤波算法对融合后的车辆目标进行跟踪。

通过上述方案，本发明可带来如下有益效果：

(1)将毫米波雷达和热成像相机相结合，有利于两传感器优势互补，大大提高了恶劣天气中车辆检测的性能。一方面雷达的感知结果可以为图像提供车辆的深度信息和运动状态；另一方面基于热成像的车辆检测结果，可以协助雷达消除虚假目标，并为目标提供轮廓信息。

(2)通过传感器标定和坐标转换将毫米波雷达的车辆检测信息投影到红外热图像，快速而准确地实现车辆感兴趣区域的提取。训练后的dpm模型只需要对感兴趣区域的图像进行计算，相比于遍历整幅图像的检测算法，一方面大大提高了车辆检测的速度，另一方面也有效地避免了环境信息的干扰，有利于提高车辆检测的精度。

(3)采用像素回归拟合的思想建立了动态感兴趣区域提取窗口，提高了车辆感兴趣区域提取的精度，有效地避免了车辆特征和细节的缺失。

综上分析，本发明提出的一种智能汽车恶劣天气条件下车辆检测方法，充分利用了毫米波雷达和热成像相机的优势，一方面毫米波雷达能够全天候、全天时工作，同时毫米波雷达可以为红外热图像提供车辆的位置信息和运动状态；另一方面基于红外热成像可以抵抗夜间、雾天、雪天、雨天等恶劣天气条件，并提供车辆的轮廓、类型等毫米波雷达不能提供的信息。另外将毫米波雷达的车辆检测位置信息投影到红外热图像，可以快速而准确地实现红外图像车辆感兴趣区域的提取，有效地避免了环境信息的干扰，提高图像处理速度和精度，保证了车辆检测的实时性和准确性。

附图说明

图1为本发明一种智能汽车恶劣天气条件下车辆检测方法流程图

图2为传感器安装和坐标系定义主视图

图3为传感器安装与坐标系定义左视图

图4为毫米波雷达有效检测范围及危险区域划分示意图

图5为毫米波雷达目标映射图

图6为车辆像素宽度与距离拟合曲线图

图7为车辆动态感兴趣区域生成图

图8为车辆感兴趣区域自适应灰度增强图

具体实施方式

为了充分表达本发明的目的、技术方案和优点，结合以下附图和实施实例，对本发明实施方式进行详细说明。

本发明提出了一种智能汽车恶劣天气条件下车辆检测方法，主要解决智能汽车在夜间、雨天、雾天、雪天等恶劣环境下车辆检测困难的问题，整个方法的流程图如图1所示，具体包括如下步骤：

步骤1、车辆感兴趣区域生成。将毫米波雷达的车辆检测目标通过坐标变换投影到红外热图像，快速而准确地实现车辆感兴趣区域的提取与分割。具体包括以下步骤：

步骤1.1、如图2所示，将毫米波雷达固定在车辆前保险杠上方中央处，确保雷达发射面向外并与地面垂直，水平方向容许偏差±2°，垂直方向容许偏差±1°，离地高度为50cm。将热成像相机通过支架固定在车辆顶部中央，为保证热成像相机尽可能捕获道路信息，摄像头向地面倾斜15°。

步骤1.2、利用张定友标定法对热成像相机的内参数和外参数进行标定，根据相机成像原理和投影变换将环境中物点p(xw,yw,zw)转化到图像坐标p(u,v)，转化公式如下：

步骤1.3、在本发明中定义世界坐标系与车辆坐标系相同，且其中雷达坐标系xroryr平面和世界坐标系的xoy平面平行，如图2和图3所示。两平面垂直方向的距离为zo，y方向的距离为yo，则雷达坐标系下任意一点p(r,α)，转化到车辆坐标系下可以表示为：

步骤1.4、根据步骤1.2和步骤1.3可得物点p在雷达坐标系和相机坐标系的转化关系如下所示：

步骤1.5、为了确保毫米波雷达和热成像相机信息传输时间同步，本发明基于系统本地时钟采用时间戳对齐的方式确保信息两传感器信息传输的同步。

步骤1.6、毫米波雷达通过接受障碍物的回波信号对目标进行检测，因此所检测到的障碍物除了具有潜在碰撞危险的车辆目标还包括无效目标、静止目标、非危险目标，这些目标并不影响车辆正常行驶，需要对其进行剔除，获得最终有效车辆目标。

无效目标是指由于车辆颠簸，电磁干扰等原因导致雷达回波信号不稳定所产生的虚假目标，这类目标一般持续时间较短，采用卡尔曼滤波和生命周期算法对这类目标进行过滤。

静止目标是指道路环境中的树木、护栏、绿化带等障碍物。假定本车车速为vego，毫米波雷达探测目标的相对速度为vv，被探测目标的绝对速度vtar可表示为：

vtar＝vego+vv

由于静止目标的运动速度接近于0，设置速度阈值vref＝0.5，当探测目标的速度|vtar|≤vref时，该目标就会被舍弃，从而排出静止目标的干扰。

非危险目标指的是本车道和相邻车道以外的车辆目标，如图所示4。在毫米波雷达有效地检测范围内共包含车辆目标5个，其中存在潜在碰撞危险的目标只有veh_2、veh_3和veh_4。veh_1和vec_5属于非危险目标，需要进行剔除。我国一级公路的车道宽度wroad为3.75，则横向距离的阈值wlimt为：

其中wvehicle为车辆的宽度，取道路车辆的平均宽度wvehicle＝1.8m，则横向距离的阈值wlimit＝6.5m，即当雷达探测的目标横向距离|wdetection|＞wlimit时，目标就会被舍弃，从而排出非危险目标的干扰。

步骤1.7、利用步骤1.4的雷达和相机的坐标转化公式，将步骤1.6筛选后的车辆有效目标投影到红外热图像，如图5所示，获得车辆目标在红外热图像中的近似位置分布。

步骤1.8、车辆感兴趣区域的大小在图像中是动态变化的，为了提高感兴趣区域提取的精度，本发明提出了一种基于像素回归的动态感兴趣区域提取方法，具体包括以下步骤：

步骤1.8.1、选择一块空旷的实验场地，保证道路长度≥100m，将道路长度均匀分成20份，每隔5米画一条横线。

步骤1.8.2、通过对道路常见车辆进行统计发现，车辆的平均宽度为1.8，平均宽高比位1.2。选择这类车辆作为实验车辆，并将试验车分别停靠在画好的横线上，车辆每次停靠时保证车辆尾部所在的平面与横线对齐。

步骤1.8.3、保持相机不动，依次记录车辆距离相机不同距离的图像信息。并采用图像处理工具，对每一幅图像中车辆像素的宽度信息进行提取和记录。

步骤1.8.4、通过上述实验共获得20组车辆在图像中的宽度与距离的映射组合k＝(li,wi)，i∈[1,20]。其中li代表第i个测量点距相机的距离，wi代表在i个测量点车辆的像素宽度。

步骤1.8.5、采用不同函数对20组测量点的函数关系进行回归拟合，拟合结果如图6所示。其中幂函数的拟合效果最好，拟合结果显示sse为3.17，rmse为0.4316，车辆像素宽度w与距离l的函数关系表达式如下所示：

w＝905.6l^-0.9246-3.472

步骤1.8.6、毫米波雷达可以精确探测到车辆的距离l，将l带入到步骤1.8.5的公式中可以求出车辆在图像中的像素宽度w。根据常见车型宽高比的统计结果可知，车辆的平均宽高比为1.2，可以求出车辆在图像中的像素高度h＝w/1.2。以毫米波雷达检测的车辆质心为中心，以求解的车辆像素宽度w和高度h为边界，建立车辆动态感兴趣区域。

步骤1.8.7、考虑到车辆种类、姿态的变化以及雷达所提供的车辆质心位置存在一定的误差，为了防止车辆特征缺失和目标漏检，需要对规划的动态感兴趣区域再进行1.2倍的拓展，如图7所示。

步骤1.9、采用适应灰度增强算法对每一块提取的车辆感兴趣区域进行图像增强，提高车辆目标的辨识度，如图8所示。

步骤2、车辆假设验证。采用经典的dmp目标检测算法对车辆感兴趣区域进行假设验证，并对车辆的检测边框进行回归预测。主要包括以下步骤：

步骤2.1、训练样本采集与预处理。采用实车实验分别采集不同恶劣环境(夜间、雨天、雪天、雾天)下的雷达和热成像相机的感知信息。采用人工标注的方式，对红外热图像的车辆目标和非车辆目标进行标注，共收集正训练样本图片(车辆目标)8200张，负训练样本图片(非车辆目标)7900张。

步骤2.2、训练样本增广。为了增加训练数据，防止模型训练出现过拟合，提高模型训练精度。本发明采用以下四种方法对训练样本进行增广，具体包括：镜像翻转、改变对比度、改变亮度、自适应灰度增强。经过样本增广处理后，正训练样本有26800张，负训练样本25700张。

步骤2.3、dpm建模与训练。本发明基于c++和opencv搭建dpm目标检测模型。随机选取80％的样本作为训练样本，20％的样本作为测试样本。其中80％的训练样本被平均分成5份，在训练时进行交叉验证。经过反复训练和迭代获得车辆检测分类器。

步骤2.4、采用多用多尺度滑动窗口对车辆感兴趣区域进行dpm特征提取，利用训练好的车辆分类器对车辆进行识别，最后采用非极大值抑制算法对车辆目标的检测边框进行回归预测。

步骤3、目标融合与跟踪。通过计算代价矩阵对雷达和热成像相机的检测目标进行融合，最后采用卡尔曼滤波对融合后的车辆检测目标进行跟踪。具体包括以下步骤：

步骤3.1、假设步骤2中的车辆检测边框的左上角和右下角的坐标分别为(x1,y1)和(x2,y2)，则所检测的车辆中心坐标可表示为：

步骤3.2、将所有雷达检测目标和热成像相机检测目标分别用集合r和c表示，其中x和y分别代表目标在像平面的横坐标和纵坐标。

步骤3.3、为了消除横坐标和纵坐标数值分布的差异，对所有检测目标的x和y分别采用最大最小值法进行归一化处理，如下所示：

x＝(x-xmin)/(xmax-xmin)

y＝(y-ymin)/(ymax-ymin)

步骤3.4、计算任意两个传感器目标之间的代价函数值，代价函数值越小的两个目标将会被判定为对同一目标，其中代价矩阵的计算公式如下。

步骤3.5、根据代价函数的计算结果对两传感器的检测目标进行融合，获得有效车辆检测目标列表。

步骤3.6、雷达可以直接检测车辆的速度、距离、角度，热成像相机可以通过dpm目标检测算法获得车辆的检测边框，将检测边框的位置信息代入步骤1.4的公式中，可以求得实际车辆的高度、宽度。融合后的车辆检测目标可以同时得到车辆的速度、距离、角度、宽度和高度信息。

步骤3.7、最后采用卡尔曼滤波算法对融合后的车辆目标进行跟踪。