基于多传感器雾天行车视觉增强与能见度预警系统及方法

基于多传感器雾天行车视觉增强与能见度预警系统及方法
【技术领域】
[0001] 本发明主要涉及智能车辆安全辅助驾驶技术领域，特别是涉及到一种基于多传感 器雾天行车视觉增强与能见度预警系统及方法。
【背景技术】
[0002] 恶劣天气是造成道路交通事故的主要因素之一，在所有容易引起交通事故的恶劣 天气中，雾的影响最大，常常导致高速公路限速或关闭，延误行车时间，甚至引发连环碰撞 事故，造成巨大经济损失。近年来由于霾（干)或雾(湿)严重程度，甚至使能见度降低至零 (能见度不足100米通常被认为为零），这对于驾驶人来说非常危险。据统计，每年雾天交通 事故占道路事故总数的15%左右，但是引起47%以上的死亡率。因此，亟需对雾天能见度进 行实时检测，当能见度、前方车辆距离、行车速度和给定阈值关系不匹配时，给予驾驶人有 效的预警，避免道路交通事故的发生。
[0003] 目前，能见度检测方法主要分为基于能见度仪的检测方法、基于双目摄相机标定 的检测方法、基于建立对比度模型的检测方法、基于图像去雾的能见度检测方法。其中，基 于能见度仪的检测方法存在价格十分昂贵等问题，要保证公路上的交通安全，尤其在团雾 检测时，需要密集布置监测设备，从而成本居高不下，同时实时性、便携性不佳。基于双目摄 相机标定的检测方法，由于需要标定模板、测量摄像机安装角度等受实际条件的限制，难以 适用实时操作。基于建立对比度模型的检测方法，该方法会产生较大误差，而且测量结果容 易受到远方障碍物的不利影响。基于单目红外相机的图像去雾能见度检测方法，测量过程 不会对驾驶人的正常驾驶行为造成干扰，红外相机也适用于雾天能见度的特点。利用图像 去雾处理增强驾驶人雾天视觉已经成为国内外研究热点。
[0004] 现在提高雾天行车安全的方法，主要采用雾灯，主要判断还是由驾驶人判断。然而 雾天条件下现有汽车雾灯存在照射范围有限、存在盲区等问题影响驾驶人判断行车状况， 同时驾驶人驾驶熟练程度、驾驶人心理状态也会导致驾驶人对驾驶环境的误判。
[0005] 因此，亟待一种驾驶辅助系统，能够辅助驾驶人雾天行车，提高行驶安全。

【发明内容】

[0006] 本发明所要解决的技术问题是:提供基于多传感器雾天行车视觉增强与能见度预 警系统及方法，用来解决因现有汽车雾灯照射范围有限、存在盲区;传统的能见度检测方法 存在价格昂贵、难以适用实时操作或者测量结果容易受到远方障碍物的影响等技术问题。
[0007] -种基于多传感器雾天行车视觉增强与能见度预警系统，其特征在于:包括电源、 变压插头、红外摄像头、毫米波雷达、车载电控单元模块、车载显示屏、汽车音响设备、车载 扬声器、车速传感器，所述电源通过变压插头与红外摄像头连接，电源通过导线与毫米波雷 达连接；
[0008] 所述车载电控单元模块包括有无雾图像分类模块、图像去雾模块、能见度值计算 模块和预警模块;所述有无雾图像分类模块的一端与红外摄像头通过导线连接，有无雾图 像分类模块的另一端通过导线与图像去雾模块连接;所述图像去雾模块通过导线与能见度 值计算模块连接;所述能见度值计算模块通过导线与预警模块连接；
[0009] 所述车载显示屏通过导线与图像去雾模块连接;所述汽车音响设备的一端通过导 线与预警模块连接，汽车音响设备的另一端通过导线与车载扬声器连接;所述车速传感器 通过导线与预警模块连接。
[0010] -种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：
[0011] 包括以下步骤
[0012] 步骤一、建立有无雾道路图像分类器并进行实时图像分类
[0013] I建立道路图像支持向量机SVM分类器
[0014] ①红外摄像头采集N张红外道路图像和红外非道路图像，并将采集到的图像传输 到有无雾图像分类模块，其中包括Ni张红外道路图像和N 2张红外非道路图像，1他、犯均为 自然数，在有无雾图像分类模块中建立道路图像分类器的图像训练库；
[0015] ②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量 机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外 道路图像特征，道路图像支持向量机SVM分类器建立完成；
[0016] Π 建立有无雾图像分类器
[0017] ①红外摄像头采集Μ张不同雾浓度的红外有雾图像和红外无雾图像，其中包括％ 张有雾红外图像和Μ2张无雾红外图像，M、Mi、Μ 2均为自然数，在有无雾图像分类模块中建立 有无雾图像分类器的图像训练库；
[0018] ②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯 混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度 直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯 混合模型GMM分类器建立完成；
[0019] ③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向 量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像 进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM 分类器建立完成；
[0020] 将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量 机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；
[0021] m实时图像分类
[0022]①红外摄像头采集实时图像；
[0023] ②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；
[0024] ③对红外道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图 均衡化，得到处理后道路图像；
[0025] ④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器 分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类 出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有 雾道路图像；
[0026] IV制定置信度评价标准
[0027]置信度评价标准采用基于L2范数的相对错误评价标准，该标准是将得到的实时有 雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求 平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值； 取阈值为〇. 5，平均误差值小于0.5，则实时图像为有雾道路图像；
[0028]步骤二、建立图像去雾模型
[0029] ①大气光学模型为Ι(Χ)=^Χ)?ΓΜ+Α(1-?ΓΜ)，Ι( Χ)为分类后的有雾图像，J(x)为 去雾之后的清晰图像，A为全球大气光成分，为大气透射率值t，i3为大气消光系数，d为能 见度值；
[0030] ②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获 取的灰度图像做最小值滤波，获得有雾图像暗通道：= )，其中，是指J 的暗通道，JG表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗 口，mip为整个图像窗口所有像素中的最小值像素，1为整个图像窗口每个像素 RGB三个 通道分量的最小像素值；
[0031] ③从暗通道图像中按照亮度大小取前0.1%的像素，然后在原始有雾图中寻找对 应的具有最高亮度的点的值，作为大气光的成分值A;
[0032]④处理大气光学模型，形式如下：
[0033] I(x)=J(x)e-ed+A(l-e-M)
[0034] Μ Λ
[0035] 其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利 用暗通道灰度值接近零，因此，可推导出：
[0036]
[0037]
[0038]其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在
引入一个[0，1 ]之间的因子ω，获得大气透射率图， w c Λ-
[0039]
;：：
[0040] ⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边 缘保持的滤波器优化，获得细化透射率图；
[0041 ] ⑥设置阈值to,当t值小于to时，令t =