一种基于深度融合网络的高速公路团雾预警系统的制作方法

[0001]
本发明涉及团雾预警领域，具体涉及一种基于深度融合网络的高速公路团雾预警系统。


背景技术：

[0002]
雾霾、雨雪、沙尘等天气的出现会导致大气能见度的降低，在高速道路上极易引起交通事故的发生。因此对团雾的监测和告警就显得更加重要。尽管天气预报的技术手段在逐步提升，但是对能见度的准确预测是极其困难的。由于团雾的出现具有突发性，它是局部地区的小气候变化，受到光照、气温、人员活动等多种因素的影响，这些都提高了对团雾预报的难度。同时在某些状况下，大气能见度会在较短时间内发生变化。如果这种变化情形发生在高速公路上，很有可能导致驾驶人员反应不及引起交通事故。
[0003]
为了避免驾驶人员由于准备不足或反应时间不足导致发生交通事故，需要一种预警手段提醒驾驶员放慢车速并且在低能见度路段保持警惕，避免发生事故。目前市面上已经出现了多种测量能见度的设备仪器，这些光学测量仪器通过测量特定角度的散射光通量估计大气消光系数，进而估算能见度值，但是这些仪器往往需要较大的占地面积，同时价格高昂，不适于在高速公路上大规模铺设。
[0004]
由于摄像机的感光元件系统与人眼的视觉系统具有相同的结构，因此可以借助交通应用中已经大规模使用的监控摄像机，实时采集高速道路的场景图像，利用图像处理技术对图像进行分析团雾的存在，及时提醒交通管理部门以及行车人，避免交通事故的发生。


技术实现要素：

[0005]
本发明针对当前的监测方案存在的建设难度大的问题，提供一种基于深度融合网络的高速公路团雾预警系统，该方法仅需要架设摄像头设备，搭建简单同时准确性较高，实时性高，可以有效的对团雾天气进行预警。同时避免了提前设定目标参照物，具有普遍适用性。
[0006]
为实现上述目的，本发明采用以下技术方案：
[0007]
一种基于深度融合网络的高速公路团雾预警系统，包括以下步骤：
[0008]
步骤1：获取摄像头设备的监控图像，即待检测图像；
[0009]
步骤2：对待检测图像进行高频滤波，包括对图像进行二维傅里叶变换后经过高通滤波器滤波，对滤波图像进行二维傅里叶反变换，得到频域特征图；
[0010]
步骤3：将待检测图像转换到hsv色彩空间，提取饱和度分量作为饱和度图；
[0011]
步骤4：将待检测图像进行光谱变换，包括对图像的饱和度分量做伪彩色处理，将不同等级的像素赋予不同的色彩，得到光谱图；
[0012]
步骤5：将频域特征图、光谱图与原始待检测图像分别送入具有多个分支的卷积神经网络；
[0013]
步骤6：卷积神经网络对步骤5的三幅图像分别进行特征提取，将所提取的三个特
征进行拼接融合；
[0014]
步骤7：将融合后得到的新的特征接入全连接层，进行分类得到雾的分类等级信息；
[0015]
步骤8：采集不同能见度等级的雾天图像，采用步骤2-6的方法提取特征，构建训练样本；
[0016]
步骤9：利用采集的训练样本，训练基于cnn的深度学习网络；
[0017]
步骤10：对于待检测图像，采用步骤2-4的方法提取特征，并利用步骤7训练好的网络进行分类，根据分类结果判断当前摄像头监控路段的能见度等级；
[0018]
步骤11：判断当前能见度低的摄像头监视路段，结合相邻摄像头监视路段的警报等级，向各个路段的交通管理部门发出低能见度警报以及团雾预警。
[0019]
为优化上述技术方案，采取的具体措施还包括：
[0020]
进一步地，步骤1具体包括从高速公路各个相邻的监控摄像头隔一定时间抓取一帧图像。
[0021]
进一步地，步骤4具体包括：伪彩色处理是由灰度值根据一定映射关系求出点的r、g、b的值，组成该点的彩色值。
[0022]
进一步地，步骤5具体包括：对频域特征图、光谱图、原始待检测图像分别做尺度归一化，采取的尺度为(224，224)。常用的图像分类网络(如resnet)，输入图像的尺寸一般为224*224。首先避免分类图片的尺度太小，难以获取特征；同时避免图片尺寸过大，影响计算速度。
[0023]
进一步地，步骤7包括：将融合后的特征采用softmax分类器进行分类。
[0024]
进一步地，步骤10包括：根据分类结果，计算高速公路相应路段的能见度级别，包括当能见度＞1km，为等级a；当500m＜能见度≤1km，为等级b；当100m＜能见度≤500m，为等级c；当能见度≤100m，为等级d；能见度等级由a至d依次递减，能见度等级a表示对行车安全基本无影响，等级b至d表示能见度较低。
[0025]
进一步地，步骤11包括，1)当前路段相邻的四个路段监视的能见度等级同时较低时，判断当前路段存在大雾，对所有监视路段进行相应级别的能见度报警；
[0026]
2)当前路段相邻的两个路段监视的能见度等级存在一个为a时，判断当前路段存在团雾，对低能见度的路段进行相应级别的能见度报警，同时对无雾路段进行团雾预警，提醒驾驶人小心慢行。
[0027]
本发明的有益效果是：由于雾天图像在像素空间变换较小，细节部分缺失。通过提取图像的高频频域特征，可以更好的区分是否存在团雾；饱和度反映了图像中的色彩的鲜艳程度，存在雾霾图像的色彩一般比较单调，较高的饱和度区域颜色趋近红色，较低的区域颜色趋近蓝色；通过对图像进行伪彩色处理，可以提高图像的对比度，提高对细节的辨别能力，提高模型的分辨能力；利用基于特征融合的深度学习网络，与一般的分类模型相比，可以更好的利用图像特征，具有精度高、识别速度快的优势；采用结合相邻摄像头监控数据的预警方法，更有效的利用了高速公路路段大量监控的优势，进行及时预警。
附图说明
[0028]
图1为本发明的基于深度融合网络的高速公路团雾预警系统步骤示意图。
[0029]
图2为本发明实施例中待检测图像经过傅里叶变换后的图像。
[0030]
图3为本发明实施例中待检测图像经过傅里叶反变换后的图像。
[0031]
图4为本发明实施例中提取饱和度分量后图像的效果。
[0032]
图5为本发明实施例中采用的映射图。
[0033]
图6为本发明实施例中经过伪彩色变换的图像。
具体实施方式
[0034]
现在结合附图对本发明作进一步详细的说明。
[0035]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0036]
如附图1所示，本发明公开了一种基于深度融合网络的高速公路团雾预警系统，在本发明的一个实施例中，包括以下步骤：
[0037]
步骤1：从高速公路各个相邻的摄像监控隔一定时间抓取一帧图像。
[0038]
步骤2：对图像进行二维傅里叶变换，提取轮廓特征：
[0039]
(1)图像傅里叶变换：一个m*n的图像f(x，y)经过离散傅里叶变换得到f(u，v)，公式如下：
[0040][0041]
经过傅里叶变换的图像如图2。
[0042]
(2)高通滤波：对频域图像进行高通滤波，保留图像的细节特征。
[0043]
(3)傅里叶反变换：傅里叶反变换的公式如下：
[0044][0045]
经过傅里叶反变换的图像如图3，即为频域特征图h。
[0046]
步骤3：将图像转换到hsv色彩空间，用饱和度分量反映图像色彩的鲜艳程度，提升了模型的分辨能力。
[0047]
空间：hsv分别指的是色相、饱和度、明度。hsv色彩空间更符合人眼的观察特性。
[0048]
rgb转hsv色彩空间公式：
[0049]
r、g、b通道值分别除以255：
[0050]
r
′
＝r/255
[0051]
g
′
＝g/255
[0052]
b
′
＝b/255
[0053]
c
max
＝max(r
′
，g
′
，b
′
)
[0054]
c
min
＝min(r
′
，g
′
，b
′
)
[0055]
δ＝c
max-c
min
[0056]
色相h计算公式：
[0057][0058]
饱和度s计算公式：
[0059][0060]
明度v计算公式：v＝c
max
[0061]
(2)饱和度特征：饱和度s表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。
[0062]
提取饱和度分量后的效果如图4，即为饱和度特征图t。
[0063]
步骤4：对提取的饱和度分量图，做伪彩色处理，可以增强图像的细节特征。
[0064]
(1)伪彩色处理：由灰度值根据一定映射关系求出图像中每个点的r、g、b的值，组成该点的彩色值，本发明采用的映射图如图5。
[0065]
经过伪彩色变换的图像如图6，即为光谱特征图s。
[0066]
步骤5：对高频特征图h、光谱图s、原图i分别做尺度归一化，本发明采取的尺度为(224，224)。
[0067]
步骤6：将图像h、图像s与原图i在分别送入以cnn网络为骨干的特征提取网络，生成特征图f1、f2、f3。
[0068]
步骤7：将生成的特征图f1、f2、f3以数值相加的方式做特征融合。
[0069]
步骤8：将融合后的特征图f采用softmax分类器进行分类。采用resnet50的网络结构训练分类模型。
[0070]
步骤9：采集大量的雾天图像以及晴朗天气的清晰图像，经过同样的特征提取步骤，得到训练样本。
[0071]
步骤10：将特征图f输入分类模型，得到分类结果。
[0072]
步骤11：根据分类结果，计算高速公路相应路段的能见度级别，包括当能见度＞1km，为等级a；当500m＜能见度≤1km，为等级b；当100m＜能见度≤500m，为等级c；当能见度≤100m，为等级d。能见度等级由a至d依次递减，能见度等级a表示对行车安全基本无影响，等级b至d表示能见度较低。
[0073]
步骤12：判断当前能见度低的摄像头监视路段，结合相邻摄像头监视路段的警报等级，向各个路段的交通管理部门发出低能见度警报以及团雾预警：
[0074]
(1)当前路段相邻四个路段监视的能见度等级同时较低时，判断当前路段存在大雾，对所有监视路段进行相应级别的能见度报警；
[0075]
(2)当前路段相邻两个路段监视的能见度等级存在一个为a时，判断当前路段存在
团雾，对低能见度的路段进行相应级别的能见度报警，同时对无雾路段进行团雾预警，提醒驾驶人小心慢行。
[0076]
本发明提取图像的高频信息作为特征，提取图像的饱和度分量作为特征，可以更好的区分是否存在团雾；对图像伪彩色处理作为特征，可以提高图像的对比度，提高了对细节的辨别能力，提高了系统模型的分辨能力。
[0077]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。