基于路面语义分割和卷积神经网络的路面天气识别方法

1.本发明涉及计算机视觉和模式识别技术领域，具体涉及一种基于路面语义分割和卷积神经网络的路面天气识别方法。


背景技术：

2.天气识别是计算机视觉领域里重要的分类问题之一。利用数字图像来在天气进行识别在各方面应用中都有一定的帮助，尤其是在人机交互方面。高速公路路面天气识别是特定针对交通公路的天气情况识别其天气条件是否恶劣，并及时地通过路面图像来判断天气情况将有助于更好地执行交通管理。
3.目前，一些通用的图像分类问题已经有了较为成熟的解决方案，但是在路面天气图像分类任务上仍然面临着许多挑战。例如，在现有的图像分类模型在天气分类领域的效果仍然有改进的空间；在不同天气分类中存在较多的相似特征，例如晴天和阴天；在天气分类这一细领域分类里有许多挑战需要解决。


技术实现要素：

4.本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于路面语义分割和卷积神经网络的路面天气识别方法。
5.本发明的目的可以通过采取如下技术方案达到：
6.一种基于路面语义分割和卷积神经网络的路面天气识别方法，所述路面天气识别方法包括以下步骤：
7.s1、构建语义分割网络，其中，所述语义分割网络包括用于特征提取和下采样的编码器和用于融合编码器多尺度特征和上采样的解码器，所述编码器采用resnet18卷积神经网络，所述解码器采用ppm金字塔池化卷积神经网络，输入原始图像p，语义分割网络输出与原始图像p相同尺寸、每个像素点值等于原始图像p语义标签的语义图像s；
8.s2、对语义图像s进行路面二值化处理，只保留语义图像s中语义标签为路面的部分，输出路面二值图像r；
9.s3、构建天气识别卷积神经网络，天气识别卷积神经网络的输入为原始图像p和路面二值图像r，天气识别卷积神经网络包括处理全局图像特征的全局分支、处理图像路面部分特征的路面分支以及合并全局分支特征和路面分支特征并分类的分类部分；
10.s4、设计损失函数对语义分割网络和天气识别卷积神经网络进行训练，首先对语义分割网络进行训练，随后通过训练好的语义分割网络获得路面二值图像r，将原始图像p和路面二值图像r输入天气识别卷积神经网络进行训练；
11.s5、实时采集高速公路监控图像p
′
，将高速公路监控图像p
′
输入经过训练的语义分割网络得到语义图像s
′
，并经路面二值化操作获得路面二值图像r
′
，将高速公路监控图像p
′
和路面二值图像r
′
，输入经过训练的天气识别卷积神经网络，识别得到图像对应的天气类型。
12.进一步地，所述编码器采用resnet18网络，包括一个7
×
7卷积层、一个步长为2的最大池化层、4个残差层，其中，每个残差层由2个残差块组成，每个残差块是跳跃连接结构的两个3
×
3卷积层。该编码器利用跳跃连接结构的残差卷积网络，可以在网络结构加深的情况下有效地避免梯度消失现象，进而更好地提取图像特征；所述解码器采用ppm金字塔池化网络，ppm金字塔池化网络对编码器输出的特征图分别进行4次不同尺度的池化操作，4次池化操作的尺寸分别为[1
×
1，2
×
2，3
×
3，6
×
6]，然后采用双线性插值上采样至与输入图像尺寸相同，并在通道维度上进行拼接，最后依次输入一层卷积核为3
×
3、填充数为1的卷积层和一层卷积核为1
×
1、输出通道数为标签类别数的卷积层。采用金字塔池化网络的解码器通过对编码器学习到的特征图进行多次不同尺度的池化，在不同的特征图尺度下继续进行卷积操作，充分地利用了图像粗粒度和细粒度的上下文信息并进行整合学习，提高解码器上采样的精度。
[0013]
进一步地，所述步骤s2中，对语义图像s进行路面二值化处理，输出路面二值图像r，其中，二值化的处理公式如下：
[0014][0015]
当语义图像的像素值等于路面标签对应值时，取响应值255，其中s(x,y)表示语义图像s在坐标(x,y)处对应的像素值；r(x,y)表示路面二值图像r在坐标(x,y)处对应的像素值。为了让天气识别卷积神经网络学习路面部分特征，路面二值化处理撇去了语义图像中其他部分，仅留下路面区域作为有效部分，并保存为二值图的形式，用于下一步骤中天气识别卷积神经网络路面分支的掩码操作。
[0016]
进一步地，所述天气识别卷积神经网络包括全局分支、路面分支和分类部分，其中，全局分支的输入为原始图像p，采用resnet18网络，包括一个7
×
7卷积层conv1、一个步长为2的最大池化层max_pool、4个残差层，4个残差层分别为conv2、conv3、conv4、conv5，均是由2个使用跳跃连接结构的2个3
×
3卷积层构成，全局分支主要有两个作用：其一，学习整张图像的所有内容，在全局分支末端输出整体图像的深度抽象特征，作为分类部分的其中一个输入；其二，将全局分支学习到的初期特征共享至路面分支，节省路面分支初期特征学习的步骤。
[0017]
路面分支的输入为特征图f
′
,特征图f
′
由路面二值图像r和全局分支的conv3层输出的特征图f得到，首先获取全局分支中conv3层输出的特征图f，公式如下：f＝conv3(conv2(max_pool((conv1(p))))
[0018]
特征图f经过conv1、conv2和conv3的卷积层充分学习了整张图像的一些简单的和边缘的特征，f是全局分支浅层部分学习到的较为低级的和具体的特征。而路面分支的目的在于在全局分支的基础上着重学习路面区域，因此路面区域作为原始图像的子区域，可以利用全局分支学习的初期特征，并以此进一步学习路面区域的深层次特征。为了在特征图f上截取路面区域，特征图f和路面二值图像进行掩码操作，得到中间层特征图(conv3层)仅关于路面部分的特征图f
′
，公式如下：f
′
＝f
⊙
down_sampling(r)
[0019]
其中，
⊙
为元素积，down_samplng()为双线性插值下采样操作，使路面二值图像r的尺寸与特征图f的尺寸一致，特征图f
′
用于对路面部分更加抽象的特征学习，路面分支的
网络结构为2个使用跳跃连接结构的2个3
×
3卷积层；
[0020]
分类部分用于融合全局分支和路面分支的特征，对全局分支和路面分支输出的特征图分别进行全局平均池化，输出512维特征向量和256维特征向量，然后两者拼接组成768维特征向量并输入全连接层fc。
[0021]
进一步地，所述损失函数如下：
[0022][0023]
其中，loss为交叉熵函数，对于语义分割网络，pk是语义分割网络预测的像素点所属类别的概率值，p
′k为真实像素点概率值，k表示所有像素点数，k代表第k个像素点；对于天气识别卷积神经网络，pk是天气识别卷积神经网络预测的输入图像所属类别的概率分布，p
′k为真实输入图像概率分布，k表示分类的总类别，k代表第k个分类类别。使用交叉熵函数作为损失函数，在模型效果差的时候学习速度比较快，在模型效果好的时候学习速度变慢，有利于神经网络的训练与收敛。
[0024]
进一步地，采集包括晴天、阴天、雨天、雾天、雪天在内的天气情况下的高速公路的监控视频，将采集到的所有图像按照7:3的比例划分为训练数据集和测试数据集。为了让天气识别的结果更加准确，该数据集尽可能地囊括了公路监控路段的场景，如收费站、高架桥、城际高速和市内道路等，以及不同恶劣程度下的天气情况，如可以看见路面浸湿的小雨和整张图片充满雨丝的大雨、路面未形成积雪的小雪和形成较厚积雪的大雪等。
[0025]
本发明相对于现有技术具有如下的优点及效果：
[0026]
1)本发明实现了从图片输入到神经网络，再通过神经网络输出天气类型，端到端地直接输出天气结果。相对于天气预报来判断高速公路路面情况而言，可以更加细粒度地判别具体道路的天气情况，更具备实时性。
[0027]
2)本发明利用高速公路的路面特征更能体现整体图像天气情况的优势，设计了学习图像全局特征的全局分支以及学习路面局部特征的路面分支，结合全局特征和路面特征，获得了更高的天气类型识别准确率。
[0028]
3)本发明利用路面二值图像与全局分支进行掩膜操作，可以有效共享路面部分特征信息并节省路面分支的网络参数，减少重新再提取路面部分初级特征的冗余操作，提高神经网络的运行效率。
附图说明
[0029]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0030]
图1是本发明公开的基于路面语义分割和卷积神经网络的路面天气识别方法的步骤图；
[0031]
图2是本发明公开的基于路面语义分割和卷积神经网络的路面天气识别方法的预处理提取路面二值图像的步骤图；
[0032]
图3是本发明方法中基于路面语义分割和卷积神经网络融合原理图；
[0033]
图4是本发明方法与采用卷积神经网络resnet18进行天气分类识别的准确率对比
图。
具体实施方式
[0034]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
实施例1
[0036]
如图1所示，本实施例公开了一种基于路面语义分割和卷积神经网络的路面天气识别方法，包括下述步骤：
[0037]
s1、构建语义分割网络，其中，所述语义分割网络包括用于特征提取和下采样的编码器和用于融合编码器多尺度特征和上采样的解码器，所述编码器采用resnet18卷积神经网络，所述解码器采用ppm金字塔池化卷积神经网络，输入原始图像p，语义分割网络输出与原始图像p相同尺寸、每个像素点值等于原始图像p语义标签的语义图像s；
[0038]
s2、对语义图像s进行路面二值化处理，只保留语义图像s中语义标签为路面的部分，输出路面二值图像r；
[0039]
s3、构建天气识别卷积神经网络，天气识别卷积神经网络的输入为原始图像p和路面二值图像r，天气识别卷积神经网络包括处理全局图像特征的全局分支、处理图像路面部分特征的路面分支以及合并全局分支特征和路面分支特征并分类的分类部分；
[0040]
s4、设计损失函数对语义分割网络和天气识别卷积神经网络进行训练，首先对语义分割网络进行训练，随后通过训练好的语义分割网络获得路面二值图像r，将原始图像p和路面二值图像r输入天气识别卷积神经网络进行训练；
[0041]
其中，损失函数如下：
[0042]
其中，loss为交叉熵函数，对于语义分割网络，pk是语义分割网络预测的像素点所属类别的概率值，p
′k为真实像素点概率值，k表示所有像素点数，k代表第k个像素点；对于天气识别卷积神经网络，pk是天气识别卷积神经网络预测的输入图像所属类别的概率分布，p
′k为真实输入图像概率分布，k表示分类的总类别，k代表第k个分类类别。
[0043]
s5、实时采集高速公路监控图像p
′
，将高速公路监控图像p
′
输入经过训练的语义分割网络得到语义图像s
′
，并经路面二值化操作获得路面二值图像r
′
，将高速公路监控图像p
′
和路面二值图像r
′
，输入经过训练的天气识别卷积神经网络，识别得到图像对应的天气类型。
[0044]
构建语义分割网络，输入生成语义图像是整个路面天气识别方法的预处理步骤，需要预先训练好语义分割网络，得到较好的语义分割性能，并经过路面二值化操作后，才能开始天气识别卷积神经网络的学习和训练。
[0045]
如图2所示，语义分割网络中编码器采用resnet18网络，包括一个7
×
7卷积层、一个步长为2的最大池化层、4个残差层，其中，每个残差层由2个残差块组成，每个残差块是跳跃连接结构的两个3
×
3卷积层；语义分割网络中解码器采用ppm金字塔池化网络，ppm金字塔池化网络对编码器输出的特征图分别进行4次不同尺度的池化操作，4次池化操作的尺寸分别为[1
×
1，2
×
2，3
×
3，6
×
6]，然后采用双线性插值上采样至与输入图像尺寸相同，并在
1080ti gpu和intel core i7-6700 cpu,运行主频为3.41ghz，操作系统为windows10，程序开发语言为python，基于pytorch深度学习框架，在采集的路面天气数据集中，图片标签分为5类，分别为晴天，阴天，雨天，雾天，雪天，使用36380张图片用于网络训练，学习率设置为0.001，网络迭代20次，使用8970张图片作为测试集。如图4，本发明方法的天气分类准确率为84.96％，比卷积神经网络resnet18的准确率81.34％高出3.62％。又图4混淆矩阵可得，除了阴天分类，本发明在雾天、雨天和晴天的准确率均高于resnet18，可见通过引入对路面区域的特征学习后，本发明学习到了更多有利于天气识别的特征，证明了本发明的有效性。
[0060]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。