本发明涉及图像处理技术领域，尤其是一种基于迁移学习技术的室外天气图像分类方法。
背景技术：
天气信息对于我们日常生活、交通出行和工业生产等都具有很重要的意义。传统的天气信息获取方法依赖于各种昂贵的天气数据采集传感器,还需要通过人工观测判别。近年来，随着图像识别技术的快速发展，利用普通摄像头获取图像进行天气判别已成为当前流行的方法。
自动驾驶、智能监控和视频图像理解等技术的高速发展也带动了室外天气状况识别技术的发展，使其成为当前的研究热点之一。在自动驾驶系统中，车辆周围的天气环境对驾驶系统做出的决策有很大影响，系统需要实时获取天气状况。在智能监控和图像理解领域，我们都是基于清晰的图像进行图像分类、目标检测和跟踪、语义分割，然而在实际情况中，相机拍摄的照片会受到雨、雪、雾等恶劣天气的影响而引入噪声，因此，自动检测图像中所表示的天气情况是很有必要的。
目前，天气图像分类的方法主要包括两大类：基于特征工程和传统机器学习的分类方法、基于卷积神经网络(cnn)和深度学习的分类方法。前者需要将从图像中提取的各种特征融合成特征向量，再传给分类器(机器学习算法)用于训练；后者是一种端到端的图像分类方法。
与一般的图像分类任务相比，天气图像分类的难点在于不同类别的天气图像中可能存在相同的目标物体，这使得一些传统的特征提取方法(如sift、surf、hog)无法提取到有效的特征。因此，基于特征工程的天气图像分类方法需要人工去设计适用于天气图像分类的特征及其组合方式，这就要求研究者具备较强的专业知识，而且设计一种有效特征的难度很大。天气图像分类中常用的特征有天空、阴影、暗通道、雨线、功率谱斜率、色相、亮度、对比度、饱和度、锐度等，针对不同的任务还需要调整特征组合方式以实现最佳的分类效果。常用的机器学习算法包括svm、knn、随机森林等。
与人工设计特征相比，cnn能够自动提取图像的有效特征，因此基于cnn和深度学习的方法成为现在流行的方法。从2012年开始，深度学习方法得到了快速的发展与应用，各种强大的深度网络模型被设计出来(如vgg、googlenet、resnet)，目前利用深度学习技术已经能够较好地解决通用图像分类问题。但是，深度学习模型在训练时依赖于大规模标记好的图像数据，这也导致模型训练时间较长，模型推广泛化能力较弱。
技术实现要素：
本发明所要解决的技术问题是提供一种能够能对雾、雨、晴、小雪、中雪、大雪6类天气进行快速自动判别、且分类准确率较高的基于迁移学习技术的室外天气图像分类方法。
本发明解决其技术问题所采用的技术方案为：该基于迁移学习技术的室外天气图像分类方法，包括以下步骤：
1)、建立深度网络模型；
a、在不同的地点布置相机，以固定时间间隔拍取照片图像，然后将获取的图像上传到服务器存储；
b、将获取的图像按照雾、雨、晴、小雪、中雪、大雪分成六类天气候选数据集；
c、六类天气候选数据集的预处理；具体的预处理过程如下所述：首先，从步骤b得到的六类天气候选数据集中分别选取一定数量的图片，然后对选取的图片随机翻转处理一次，扩充一倍的数据量，再利用双线性插值法将原图尺寸调整为适合resnet的尺寸，然后把调整后的图片分为两部分，一部分为训练集，另一部分为测试集，最后把所有图像数据转换为tfrecord格式文件；
d、将resnet_v1_50模型在imagenet竞赛数据集上进行预训练得到resnet_v1_50预训练模型；
e、将预训练模型进行模型结构的迁移处理，模型结构迁移处理的过程如下所述：将resnet_v1_50预训练模型的输出层修改为两个分支，每个分支包括一个由3个神经元组成的全连接层，模型结构迁移处理后得到的模型成为第一模型，第一模型的特征提取层结构与resnet_v1_50预训练模型的特征提取层结构保持一致；
f、对第一模型进行模型参数迁移处理，模型参数迁移处理的过程如下所述：将第一模型的除最后的全连接层参数外的所有参数作为第一模型的初始化参数，第一模型的全连接层参数采用随机初始化，模型参数迁移处理后得到第二模型；
g、对第二模型进行训练；模型训练的具体过程如下所述：采用adam算法作为训练模型的优化算法，adam算法的初始学习率设置为0.0001，设置每次迭代的批处理图片数为24，将步骤c得到的tfrecord格式文件的训练集和测试集图像数据导入第二模型中进行训练后得到最终的checkpoint格式的深度网络模型；
2)、将训练好的checkpoint格式的深度网络模型转换为pb格式的深度网络模型；
3)、将待判别的图像输入pb格式的深度网络模型即可得到图像的天气类别。
进一步的是，在步骤c中，从步骤b得到的六类天气候选数据集中分别选取的图片数量如下所示：选取雾天、雨天、晴天图像各200张，选取小雪、中雪、大雪天气图像各60张。
进一步的是，在步骤c中，利用双线性插值法将原图尺寸调整为224*224。
进一步的是，在步骤c中，把调整后的图片分为两部分，训练集的图片数量占比为85％，测试集的图片数量占比为15％。
本发明的有益效果：该基于迁移学习技术的室外天气图像分类方法首先建立深度网络模型，接着将训练好的checkpoint格式的深度网络模型转换为pb格式的深度网络模型；最后只需将待判别的图像输入pb格式的深度网络模型即可快速自动判别图像的天气类别，且分类准确率较高，同时本发明所述的室外天气图像分类方法可以对天气类别进行分类，即分为雾、雨、晴、雪，同时还可以针对雪天天气进行细分，即细分为小雪、中雪、大雪，同时本发明基于迁移学习技术，与一般的深度学习技术相比，具有训练数据需求量少，模型训练时间更少、优化速度更快的优势，本发明迁移在imagenet数据集上表现优异的深度网络resnet到我们的天气图像数据集上，取得了较高的分类准确率，另外，本发明所述的室外天气图像分类方法应用于户外输电线路及其周边环境中，能够实时监测输电线路周围的天气状况，填补了这一应用领域的空白。
具体实施方式
该基于迁移学习技术的室外天气图像分类方法，包括以下步骤：
1)、建立深度网络模型；
a、在不同的地点布置相机，以固定时间间隔拍取照片图像，然后将获取的图像上传到服务器存储；
b、将获取的图像按照雾、雨、晴、小雪、中雪、大雪分成六类天气候选数据集；
c、六类天气候选数据集的预处理；具体的预处理过程如下所述：首先，从步骤b得到的六类天气候选数据集中分别选取一定数量的图片，然后对选取的图片随机翻转处理一次，扩充一倍的数据量，再利用双线性插值法将原图尺寸调整为适合resnet的尺寸，然后把调整后的图片分为两部分，一部分为训练集，另一部分为测试集，最后把所有图像数据转换为tfrecord格式文件；
d、将resnet_v1_50模型在imagenet竞赛数据集上进行预训练得到resnet_v1_50预训练模型；由于深度残差网络resnet是ilsvrc2015竞赛的冠军，resnet有效解决了“当网络达到一定深度后，随着网络继续加深，准确率会下降”的问题。因为天气图像数据集太小，选取太深的网络会加重过拟合现象，模型训练难度也更大，因此选择50层的resnet，即resnet_v1_50，作为预训练模型；
e、将预训练模型进行模型结构的迁移处理，本发明主要包括两个分类任务：一是天气图像粗分类任务(雾天、雨天、晴天的分类)，二是针对雪天的细分类任务(小雪、中雪、大雪的分类)。因此，本发明设计了一种多任务模型结构，即将resnet_v1_50预训练模型的输出层修改为两个分支，每个分支包括一个由3个神经元组成的全连接层，两个不同的任务，将共用模型的特征提取层，而在模型输出层分为两个分支；imagenet竞赛数据集共有1000个类别，故resnet_v1_50预训练模型的输出层有1000个神经元，因此本发明模型结构迁移处理的过程如下所述：将resnet_v1_50预训练模型的输出层修改为两个分支，每个分支包括一个由3个神经元组成的全连接层，模型结构迁移处理后得到的模型成为第一模型，第一模型的特征提取层结构与resnet_v1_50预训练模型的特征提取层结构保持一致；
f、对第一模型进行模型参数迁移处理，模型参数迁移处理的过程如下所述：将第一模型的除最后的全连接层参数外的所有参数作为第一模型的初始化参数，第一模型的全连接层参数采用随机初始化，模型参数迁移处理后得到第二模型；
g、对第二模型进行训练；模型训练的具体过程如下所述：采用adam算法作为训练模型的优化算法，adam算法的初始学习率设置为0.0001，设置每次迭代的批处理图片数为24，将步骤c得到的tfrecord格式文件的训练集和测试集图像数据导入第二模型中进行训练后得到最终的checkpoint格式的深度网络模型；该深度网络模型能够实现天气图像分类识别，不仅能够有效解决小数据集存在的过拟合问题，还能加速模型的训练和优化，节省计算资源；
2)、为了便于部署和调用，本发明还设计了天气分类应用程序接口，首先将训练好的checkpoint格式的深度网络模型转换为pb格式的深度网络模型，将模型参数值与模型结构冻结在一起，便于做推断，然后在使用接口时，只需指定模型的文件路径和待判别图像的文件路径，就可以输出天气类别；
3)、将待判别的图像输入pb格式的深度网络模型即可得到图像的天气类别。
该基于迁移学习技术的室外天气图像分类方法首先建立深度网络模型，接着将训练好的checkpoint格式的深度网络模型转换为pb格式的深度网络模型；最后只需将待判别的图像输入pb格式的深度网络模型即可快速自动判别图像的天气类别，且分类准确率较高，同时本发明所述的室外天气图像分类方法可以对天气类别进行分类，即分为雾、雨、晴、雪，同时还可以针对雪天天气进行细分，即细分为小雪、中雪、大雪，同时本发明基于迁移学习技术，与一般的深度学习技术相比，具有训练数据需求量少，模型训练时间更少、优化速度更快的优势，本发明迁移在imagenet数据集上表现优异的深度网络resnet到我们的天气图像数据集上，取得了较高的分类准确率，另外，本发明所述的室外天气图像分类方法应用于户外输电线路及其周边环境中，能够实时监测输电线路周围的天气状况，填补了这一应用领域的空白。
为了使训练效果更好，在步骤c中，从步骤b得到的六类天气候选数据集中分别选取的图片数量如下所示：选取雾天、雨天、晴天图像各200张，选取小雪、中雪、大雪天气图像各60张。进一步的是，在步骤c中，利用双线性插值法将原图尺寸调整为224*224。进一步的是，在步骤c中，把调整后的图片分为两部分，训练集的图片数量占比为85％，测试集的图片数量占比为15％。