雾霾天车辆驾驶辅助系统及其方法
【专利摘要】本发明公开了雾霾天车辆驾驶辅助系统及其方法，涉及车辆辅助驾驶领域；包括安装在车辆上的图像采集装置、图像处理模块、显示模块和警示模块，图像采集装置将采集到的车辆前方的视频信息发送到图像处理模块中，图像处理模块对所述视频信息中的每帧原始图像进行去雾处理并得到对应帧的去雾图像；安装在车辆中控台上的所述显示模块接收并显示所述去雾图像；图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的去雾图像进行差分处理，分析得到去雾图像中来车的移动位置信息；图像处理模块根据所述移动位置信息启动所述警示模块。本发明可以辅助驾驶人员看清雾霾下的车辆前后的环境，并具有动态跟踪来车，辅助或警示驾驶员正确驾驶。
【专利说明】
雾霾天车辆驾驶辅助系统及其方法
技术领域
[0001] 本发明涉及车辆辅助驾驶领域，特别是本发明涉及将机器视觉领域的暗通道算法 和基于卡尔曼滤波的动态跟踪算法运用到解决汽车安全驾驶的问题中，属于基于图像处理 的创新运用技术领域。
【背景技术】
[0002] 雾霾问题已经成为困扰社会民众的一个严重的环境问题，它不但影响着群众的身 体健康，同时由于其低能见度，对汽车驾驶的安全性产生深刻的影响。雾霾天气下由于能见 度不高，司机视线出现阻碍，而导致交通事故频发。这就急迫要求一种装置能够辅助汽车驾 驶员观察车外的情况，以做出正确的驾驶判断，减少事故的发生。
【发明内容】
[0003] 本发明的发明目的是，针对上述问题，提供一种雾霾天车辆驾驶辅助系统，通过图 形和算法处理获知车辆前方或后方的来车信息，辅助驾驶人员看清雾霾下的车辆前后的环 境，并具有动态跟踪来车的灯光，辅助或警示驾驶员正确驾驶，提高驾驶的安全性。
[0004] 为达到上述目的，本发明所采用的技术方案是:雾霾天车辆驾驶辅助系统，包括安 装在车辆上的图像采集装置、图像处理模块、显示模块和警示模块，所述图像采集装置将采 集到的车辆前方的视频信息发送到图像处理模块中，所述图像处理模块对所述视频信息中 的每帧原始图像进行去雾处理并得到对应帧的去雾图像;安装在车辆中控台上的所述显示 模块接收并显示所述去雾图像;所述图像处理模块对每帧去雾图像进行滤波处理，并将相 邻两帧的去雾图像进行差分处理，分析得到去雾图像中来车的移动位置信息;所述图像处 理模块根据所述移动位置信息启动所述警示模块，所述警示模块向驾驶者发出对应辅助或 警报信息。
[0005] 在雾霾天中是车祸事故的高发时候，雾霾天中驾驶员的可观察视野范围很小，而 车灯的照射距离也因天气影响变短，这样驾驶员发现来车或者障碍物时候往往只有很短的 反应时间。上述技术方案中通过构建一个车辆驾驶的辅助驾驶系统从而辅助驾驶员在雾霾 天中可以做到安全驾驶。该系统中通过图像采集装置采集到车辆前方的视频图像，并通过 图像处理模块进行去雾处理，这样可以得到较为清晰的视频图像，以辅助驾驶员清楚观察 前方的情况;同时，图像处理模块还可以根据视频图像中每帧视频图像的像素变化，分析得 到图像中是否存在相对运动的车辆，并据此提醒驾驶员进行相应的规避或者进行相应操 作。这里辅助系统是基于图像处理的创造性应用，包括基于算法对有雾霾的图像进行去雾 处理，以获得清晰的图像，以供驾驶员观察参考;同时，继续通过对去雾后的图像进行滤波、 差分处理，并从中分析出车辆位置进而通过语音或其他方式提醒驾驶员做出相应的动作。 相比现有技术，简化了系统电路，摆脱了传统辅助系统中传感器多、系统复杂、安装复杂、功 能简单的不足，不仅提供清晰的视野用于辅助驾驶员，而且还具有对监控范围来车的自跟 踪功能，能够更加快速发现来车，更早提醒司机做出反应，从而减少事故的发生。
[0006] 进一步地，所述图像处理模炔基于暗通道算法对所述视频信息中的每帧原始图像 进行去雾处理。暗通道算法能够快速对视频图像进行处理，提高视频图像的清晰图，到达去 霾去雾的功能。
[0007] 进一步地，所述暗通道算法步骤为：1)对原始图像用为奇数的LXL的矩形模块进 行扫描，统计该模块内的像素灰度值;2)提取出最小的像素灰度值，然后用最小像素灰度值 替代该模块内的全部像素灰度值;3)重复步骤1)和步骤2)，对整个原始图像进行扫描，就能 得到一副暗通道的暗通道图像;4)采用所述原始图像与一一对应的暗通道图像的像素值相 减，得到去雾后的所述去雾图像。这里提供一种快速的暗通道算法，优化了算法步骤，能够 快速对原始图像进行去霾处理，实时反映车辆前方的图像信息，避免视频图像处理延迟。
[0008] 进一步地，所述图像处理模炔基于卡尔曼滤波算法对每帧去雾图像进行滤波处 理。卡尔曼滤波算法能够对现场采集的数据进行实时的更新和处理，减少跟踪目标的噪音 影响，为后续处理提供保障。
[0009] 进一步地，所述差分处理为所述图像处理模块将相邻帧的两幅去雾图像的像素灰 度值进行相减，并选取前一帧去雾图像中相减后像素差值相对较大的变化区域，并从所述 变化区域中从而分析得到去雾图像中来车移动位置信息。在图像中来车的灯光部分的像素 灰度值和昏暗背景的像素灰度值是不一样的，当对面汽车在运动的过程中，拍摄出来的每 一帧的图像中，灯光的位置都是不一样的，只要位置发生了偏移，前后两帧图像相减就能检 测出那一部分的像素值发生较大的改变，这样就能检测对面是否有来车。
[0010] 进一步地，所述差分处理为所述图像处理模块将相邻前一帧去雾图像的像素一一 对应减去后一帧去雾图像的像素，并在前一帧去雾图像中标注相减后的像素差值大于150 的变化区域;并分析得到去雾图像中来车的移动位置信息。一般的图片的像素灰度值是从0 到255,其中白色为255,黑色为0。从像素灰度看来车的灯光趋于白色，而这里的背景像素灰 度趋于灰色或黑色，这时设置两者的差值大于150,能够很好区分出来车的灯光移动带来的 差别，将其他干扰因素排除，实现对车辆位置的自跟踪。
[0011] 进一步地，所述图像处理模块根据变化区域形状轮廓得到符合来车的灯光的移动 信息;并分析得到去雾图像中来车的移动位置信息。在去雾图像中标注符合要求的部分，其 中来车的灯光位置变化造成标注的部分一般为弯月形或者圆形，据此可以得到来车在去雾 图像中的位置。
[0012] 进一步地，所述图像采集装置为高清摄像头，并安装在车辆前挡风玻璃和后挡风 玻璃之下的中控台上。对车辆的前后方向上的来车进行监控，能够更好的辅助驾驶员进行 驾驶。
[0013] 进一步地，所述警示模块为LED显示模块或者语音提醒模块。LED显示模块可以通 过设置不同颜色的LED灯进行不同的情况警示;语音提醒模块中设置多种语音信息，针对不 同的驾驶情况，发出不同的语音提示。
[0014] 基于上述技术方案，一种雾霾天车辆驾驶辅助方法，按照以下步骤进行，
[0015] 1)在雾霾天启动该系统，所述图像采集装置采集到的车辆前方的视频信息，并发 送到图像处理模块中；
[0016] 2)所述图像处理模块对所述视频信息中的每帧原始图像进行去雾处理并得到对 应帧的去雾图像，并将所述去雾图像发送到车辆中控台上的显示模块中；
[0017] 3)所述图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的图像进行差 分处理，分析得到图像中来车灯光的移动位置信息；
[0018] 4)所述图像处理模块根据所述移动位置信息启动所述警示模块，所述警示模块向 驾驶者发出对应辅助或警报信息。
[0019] 通过辅助系统可以提高车辆在雾霾天中驾驶的安全系数，这相当多了一个监视视 野远、灵敏、精确的副驾，协助驾驶员在雾霾天提前了解或应对突发状况，特别是由于视野 不足带来反应不及时的各种状况。改辅助方法可以应用在各种车辆上，适用性强;无需对车 辆进行改造，拆卸安装检测设备;这样大大降低了使用的成本。
[0020] 由于采用上述技术方案，本发明具有以下有益效果：
[0021] 本发明与现有技术相比，精简硬件电路了，解决了复杂的驾驶环境监测问题;对外 界监测领域摆脱了使用大量传统的传感器等器件，转向使用摄像头和图像处理的算法，这 样能使在雾霾天气下监测外界的环境的精度更高，而且大部分的图像处理工作都是由处理 器芯片完成，硬件电路就非常简单，一定程度上也精简了汽车整体的负担。同时，动态跟踪 算法的高敏感性能比人眼更容易发现对向来车，从而更早提醒司机做出反应，对安全驾驶 有极大的好处。
【附图说明】
[0022]图1是本发明工作原理流程图。
[0023]图2是本发明差分处理运算示意图。
【具体实施方式】
[0024]本发明包括四个部分:图像采集装置、图像处理模块、显示模块和警示模块。
[0025]图像采集模块为车载式高清摄像头，摄像头安装在汽车前、后挡风玻璃之下的中 控台上，用来拍摄汽车前后方的情况。图像采集模块将拍摄的视频图像发送到图像处理模 块中。
[0026]图像处理模块是基于FPGA的图像处理模块，处理图像采集模块拍摄过来的雾霾图 像，通过暗通道算法对存在雾霾的道路图像进行处理得到清晰的去雾图像，然后输出到车 载显示屏中供驾驶员参考。当对面有来车时，图像处理模块通过卡尔曼滤波算法动态跟踪 来车，分析得到来车的相对位置信息。
[0027]显示模块为车载显示屏，安装在中控台上。显示模块显示经过图像处理模块去雾 处理后的视频图像。
[0028] 警示模块为车载语音设备，基于图像处理模块对来车相对位置的分析结果，向驾 驶者输出不同的警示或辅助驾驶的语音片段。同时警示模块也可以为LED警示灯，安装在汽 车前中控台上，用来提醒驾驶者。
[0029] 这里对系统的运行原理和方式作进一步说明：图像采集装置将采集到的车辆前方 的视频信息发送到图像处理模块中，图像处理模块对所述视频信息中的每帧原始图像进行 去雾处理并得到对应帧的去雾图像。安装在车辆中控台上的所述显示模块接收并显示所述 去雾图像。所述图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的去雾图像进 行差分处理，分析得到去雾图像中来车的移动位置信息。图像处理模块根据所述移动位置 信息启动所述警示模块，警示模块向驾驶者发出对应辅助或警报信息。系统中通过图像采 集装置采集到车辆前方的视频图像，并通过图像处理模块进行去雾处理，这样可以得到较 为清晰的视频图像，以辅助驾驶员清楚观察前方的情况;同时，图像处理模块还可以根据视 频图像中每帧视频图像的像素变化，分析得到图像中是否存在相对运动的车辆，并据此提 醒驾驶员进行相应的规避或者进行相应操作。这里辅助系统是基于图像处理的创造性应 用，包括基于算法对不清楚的有雾霾的图像进行去雾处理，以获得清晰的图像，以供驾驶员 观察参考；同时，继续通过对去雾后的图像进行滤波、差分处理，即可以从中分析出车辆位 置进而通过语音或其他方式提醒驾驶员做出相应的动作。
[0030] 如图1所示，当汽车驾驶员在雾霾天起步汽车时，首先要观察汽车前后的路况情 况，那么就先要打开车载前后摄像头，摄像头放置在汽车的挡风玻璃下方，然后对准前后方 的路面。摄像头把汽车前后的模糊图像拍摄下来之后，传送到图像处理模块，图像处理模块 中预存有基于暗通道的图像预处理程序和基于卡尔曼滤波的动态跟踪算法，当传送过来的 图片经过暗通道图像预处理之后，达到清晰的路况图像，输出回驾驶室内的显示屏中，这时 汽车驾驶员就能看到较为清晰的路况情况。当图像变得清晰之后，又经过动态跟踪算法寻 找前方是否有机动车对向驶来，如果检测到机动车行驶过来，驾驶室内的LED警示灯就会点 亮，驾驶员看到LED灯点亮就会有警醒作用，从而小心操纵汽车起步，从而避免交通事故的 发生。
[0031] 当然，这里图像采集模块也可以是安装车辆上的行程记录仪或是其他视频设备。 显示模块可以是安装在中控台上或方便驾驶员观看的视频显示装备，例如架设在中控台的 大屏智能手机;警示模块可以与显示模块结合，或者与车载的音响设备结合。图像处理模块 可以是基于单片机、FPGA或DSP等的处理模块单元，当然也可以是车载电脑设备。
[0032] 上述中，图像处理模炔基于暗通道算法对所述视频信息中的每帧原始图像进行去 雾处理。暗通道算法能够快速对视频图像进行处理，提高视频图像的清晰图，到达去霾去雾 的功能。
[0033] 在计算机视觉和计算机图像学中，对于较为模糊的图像可以近似抽象为"有雾"， 相机拍出的效果近似于相机和实物之间隔着一层浓雾。
[0034] Narasimhan等根据理论分析提出了 "雾霾"下的大气散射模型（Monochrome atmospheric scattering model):
[0035] I(x)=Ap(x)e-M(x)+Aa-e-M(x)) (1)
[0036] 式（1)中，为空间坐标，表示天空亮度(Skylight)，为场景反照率，为场景景深，为 大气散射系数。
[0037] 模糊的户外图片中，至少有一个通道的某些像素点具有较低的像素值，这一规律 适用于除去天空外的任何区域。也就是说在模糊的图像中，一定的局部区域范围内，总有一 些很暗的成分。由此推出图像暗通道的定义：
[0038]
[0039] 式(2)中的表示图像的某一个颜色通道。表示以像素为中心的一个矩形区域，矩形 区域对应的大小为。表示在这一矩形区域中像素的最小值，也就是图像的暗通道，又称上述 的统计规律为图像的暗通道优先规律。
[0040] 这里暗通道算法步骤为：
[0041] 1)对原始图像用为奇数的LXL的矩形模块进行扫描，统计该模块内的像素灰度 值。
[0042] 2)提取出最小的像素灰度值，然后用最小像素灰度值替代该模块内的全部像素灰 度值。
[0043] 3)重复步骤1)和步骤2)，对整个原始图像进行扫描，就能得到一副暗通道的暗通 道图像。
[0044] 4)采用所述原始图像与一一对应的暗通道图像的像素值相减，得到去雾后的所述 去雾图像。这里提供一种快速的暗通道算法，优化了算法步骤，能够快速对原始图像进行去 霾处理，实时反映车辆前方的图像信息，避免视频图像处理延迟。
[0045] 这里需了解的是，卡尔曼滤波算法或卡尔曼滤波的动态跟踪算法主要原理是通过 卡尔曼滤波算法对拍摄的视频图像进行滤波，得到新的视频图像，然后采用帧差法来分离 出运动目标，从而实现动态跟踪。卡尔曼滤波算法能够对现场采集的数据进行实时的更新 和处理，减少跟踪目标的噪音影响，为后续处理提供保障。
[0046]上述中，差分处理为所述图像处理模块将相邻帧的两幅去雾图像的像素灰度值进 行相减，并选取前一帧去雾图像中相减后像素差值相对较大的变化区域，并从所述变化区 域中从而分析得到去雾图像中来车移动位置信息。
[0047] 在图像中来车的灯光部分的像素灰度值和昏暗背景的像素灰度值是不一样的，当 对面汽车在运动的过程中，拍摄出来的每一帧的图像中，灯光的位置都是不一样的，只要位 置发生了偏移，前后两帧图像相减就能检测出那一部分的像素值发生较大的改变，这样就 能检测对面是否有来车。
[0048] 对相邻两帧的图像进行差分，并设定一个阈值，如果差分的结果大于阈值的像素 点就是运动目标。如图2所示，对于静止时拍摄的视频序列，首先对第f k(x，y)帧图片及fk+1 (x，y)帧图片进行平滑去噪，再做帧差法处理，即用第fk(x，y)帧图片减去第fk+1(x，y)帧图 片，得到二值图像。用公式表示为：
[0049]
[0050] T为设定的阈值，Dk(x，y)为检测得到的二值化图像。
[0051]具体的是，T为150,图像处理模块将相邻前一帧去雾图像的像素一一对应减去后 一帧去雾图像的像素，并在前一帧去雾图像中标注相减后的像素差值大于150的变化区域 为1，其他区域标记为0。图像处理模块根据变化区域形状轮廓得到符合来车的灯光的移动 信息;并分析得到去雾图像中来车的移动位置信息。一般的图片的像素灰度值是从〇到255， 其中白色为255，黑色为0。从像素灰度看来车的灯光趋于白色，而这里的背景像素灰度趋于 灰色或黑色，这时设置两者的差值大于150,能够很好区分出来车的灯光移动带来的差别， 将其他干扰因素排除，实现对车辆位置的自跟踪。去雾图像中标注的来车的灯光变化位置 造成的区域，一般为弯月形或者圆形，据此可以得到来车在去雾图像中的位置。并分析得到 去雾图像中来车的移动位置信息。
[0052]基于上述技术方案，这里还公开一种优选的实施方案：图像采集装置包括安装在 车辆内的行车记录仪，行车记录仪分别对应车辆前方和后方的视野区域设置，用于拍摄车 辆前后视频信息并将视频信息发送到图像处理模块，图像处理模块为通过安装架设置在车 辆中控台的智能大屏手机，手机中安装有用于对述视频信息中的每帧原始图像进行去雾处 理的基于暗通道算法及对每帧去雾图像进行滤波处理的卡尔曼滤波算法、将相邻两帧的去 雾图像进行差分处理的跟踪算法。手机将去雾图像通过手机屏幕显示，用于驾驶员观察较 为清晰的路况视频图像，即显示模块为手机屏幕。同时手机继续通过对去雾后的图像进行 滤波、差分处理，从中分析出车辆位置并通过手机的语音设备提醒驾驶员做出相应的动作。 这里通过将智能手机的处理模块、屏幕、语音设备作为图像处理模块、显示模块和警示模 块，即采用现有硬件即可以实现整个辅助系统:这里只需要在手机上安装本申请中图像处 理模块的相应算法，并连接车载视频监控设备，既可以完成本申请辅助系统的安装;其安装 更为简单、应用更具有适用性;可以大大精简汽车整体的负担，同时高效提高驾驶安全性。
[0053]基于上述技术方案，这里基公开一种雾霾天车辆驾驶辅助方法，按照以下步骤进 行，
[0054] 1)在雾霾天启动该系统，所述图像采集装置采集到的车辆前方的视频信息，并发 送到图像处理模块中。
[0055] 2)所述图像处理模块对所述视频信息中的每帧原始图像进行去雾处理并得到对 应帧的去雾图像，并将所述去雾图像发送到车辆中控台上的显示模块中。
[0056] 3)所述图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的图像进行差 分处理，分析得到图像中来车灯光的移动位置信息。
[0057] 4)所述图像处理模块根据所述移动位置信息启动所述警示模块，所述警示模块向 驾驶者发出对应辅助或警报信息。
[0058] 通过辅助系统可以提高车辆在雾霾天中驾驶的安全系数，这相当多了一个监视视 野远、灵敏、精确的副驾，协助驾驶员在雾霾天提前了解或应对突发状况，特别是由于视野 不足带来反应不及时的各种状况。改辅助方法可以应用在各种车辆上，适用性强;无需对车 辆进行改造，拆卸安装检测设备;这样大大降低了使用的成本。
[0059] 与现有技术相比，本发明提供了一种基于机器视觉辅助的雾霾天气汽车导视仪所 达到的有益效果是:本发明力求用精简的硬件电路去解决复杂的驾驶环境监测问题，相对 于现有技术，本发明在对外界监测领域摆脱了使用大量传统的传感器等器件，转向使用摄 像头和图像处理的算法，这样能使在雾霾天气下监测外界的环境的精度更高，而且大部分 的图像处理工作都是由处理器芯片完成，硬件电路就非常简单，一定程度上也精简了汽车 整体的负担。同时，动态跟踪算法的高敏感性能比人眼更容易发现对向来车，从而更早提醒 司机做出反应，对安全驾驶有极大的好处。
[0060] 上述说明是针对本发明较佳可行实施例的详细说明，但实施例并非用以限定本发 明的专利申请范围，凡本发明所提示的技术精神下所完成的同等变化或修饰变更，均应属 于本发明所涵盖专利范围。
【主权项】
1. 雾霾天车辆驾驶辅助系统，包括安装在车辆上的图像采集装置、图像处理模块、显示 模块和警示模块，其特征在于:所述图像采集装置将采集到的车辆前方的视频信息发送到 图像处理模块中，所述图像处理模块对所述视频信息中的每帧原始图像进行去雾处理并得 到对应帧的去雾图像;安装在车辆中控台上的所述显示模块接收并显示所述去雾图像;所 述图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的去雾图像进行差分处理， 分析得到去雾图像中来车的移动位置信息;所述图像处理模块根据所述移动位置信息启动 所述警示模块，所述警示模块向驾驶者发出对应辅助或警报信息。2. 根据权利要求1所述的雾霾天车辆驾驶辅助系统，其特征在于:所述图像处理模炔基 于暗通道算法对所述视频信息中的每帧原始图像进行去雾处理。3. 根据权利要求2所述的雾霾天车辆驾驶辅助系统，其特征在于，所述暗通道算法步骤 为：1)对原始图像用为奇数的LXL的矩形模块进行扫描，统计该模块内的像素灰度值;2)提 取出最小的像素灰度值，然后用最小像素灰度值替代该模块内的全部像素灰度值;3)重复 步骤1)和步骤2)，对整个原始图像进行扫描，得到暗通道图像;4)采用所述原始图像与一一 对应的暗通道图像的像素值相减，得到去雾后的所述去雾图像。4. 根据权利要求1所述的雾霾天车辆驾驶辅助系统，其特征在于:所述图像处理模炔基 于卡尔曼滤波算法对每帧去雾图像进行滤波处理。5. 根据权利要求1所述的雾霾天车辆驾驶辅助系统，其特征在于:所述差分处理为所述 图像处理模块将相邻帧的两幅去雾图像的像素灰度值进行相减，并选取前一帧去雾图像中 相减后像素差值相对较大的变化区域，并从所述变化区域中从而分析得到去雾图像中来车 移动位置信息。6. 根据权利要求5所不会述的雾霾天车辆驾驶辅助系统，其特征在于:所述差分处理为 所述图像处理模块将相邻前一帧去雾图像的像素一一对应减去后一帧去雾图像的像素，并 在前一帧去雾图像中标注相减后的像素差值大于150的变化区域;并分析得到去雾图像中 来车的移动位置信息。7. 根据权利要求6所述的雾霾天车辆驾驶辅助系统，其特征在于:所述图像处理模块根 据变化区域形状轮廓得到符合来车的灯光的移动信息;并分析得到去雾图像中来车的移动 位置信息。8. 根据权利要求1所述的雾霾天车辆驾驶辅助系统，其特征在于:所述图像采集装置为 高清摄像头，并安装在车辆前挡风玻璃和后挡风玻璃之下的中控台上。9. 根据权利要求1所述的雾霾天车辆驾驶辅助系统，其特征在于:所述警示模块为LED 显示模块或者语音提醒模块。10. 根据权利要求1所述的雾霾天车辆驾驶辅助方法，其特征在于:按照以下步骤进行， 1) 在雾霾天启动该系统，所述图像采集装置采集到的车辆前方的视频信息，并发送到 图像处理模块中； 2) 所述图像处理模块对所述视频信息中的每帧原始图像进行去雾处理并得到对应帧 的去雾图像，并将所述去雾图像发送到车辆中控台上的显示模块中； 3) 所述图像处理模块对每帧去雾图像进行滤波处理，并将相邻两帧的图像进行差分处 理，分析得到图像中来车灯光的移动位置信息； 4) 所述图像处理模块根据所述移动位置信息启动所述警示模块，所述警示模块向驾驶 者发出对应辅助或警报信息。
【文档编号】B60Q9/00GK105857180SQ201610298881
【公开日】2016年8月17日
【申请日】2016年5月9日
【发明人】许皓, 李刚
【申请人】广西大学