基于图像端对端的空气污染程度分类方法与流程

本发明属于计算机视觉领域、环保技术，具体讲，涉及基于图像端对端的空气污染程度分类方法。

背景技术

工业的发展，大大的提高人们的生活品质，但是随之而来的问题就是，大量的灰尘、硫酸、硝酸等颗粒物组成的气溶胶——雾霾，对人们的生活产生一定的负面影响。目前，近年来所有空气污染程度分类的方法都是基于某个污染参数，例如pm2.5，pm10等。pm2.5是指大气中空气动力学粒径小于或等于2.5微米的颗粒物，也成为可入肺颗粒物，其粒径小，富含大量的有毒、有害物质。国际上多所研究院及高校，如：微软研究院、中科院等，对雾霾进行研究。传统检测pm2.5的方法，如naqpms系统(中科院大气物理研究所嵌套网格空气质量预报模式系统)，该模式考虑了两种人为排放的前体物(甲苯以及其他芳香烃)和四种生物排放的前体物(异戊二烯、单萜等)通过光化学反应生成二次有机产物soa的过程。该方法已在全国多个省市地区投入使用，并取得较好的效果(王自发，谢付莹等.嵌套网格空气质量预报模式系统的发展和应用[j]，大气科学，2006,30(5)；111-115)。此检测pm2.5值的方法，精准度高，但是其雾霾检测仪器存在成本高、易被污染、系统维护困难等问题。本发明方法则绕过pm2.5预测，直接输入图像到系统中，通过深度卷积神经网络处理，得到最终的污染程度分类结果。其结果精度高，时间快，成本低。

技术实现要素：

为克服现有技术的不足，本发明提出一种精确鲁棒的通过图像的相关特征来对当前环境下空气污染程度分类的方法，更加方便精确地估计拍摄图像当地的空气污染程度。为达到上述目的，本发明采取的技术方案基于图像端对端的空气污染程度分类方法，包括以下步骤：

1)训练数据库的建立与训练模型的求取，基于深度学习网络模型，提取深层特征，训练出模型；

2)用户通过手机等摄影设备对着全天空或者半天空采集一张测试图片，上传至服务器端；

3)在服务器端，通过混合模型对用户采集到的图片进行特征提取，得到特征向量t；

4)通过步骤1)得到的训练模型以及结合步骤3)得到的特征向量t，根据softmax函数进而求解各个分类的概率，将概率最大的分类作为当前空气污染状况，进而对空气污染程度进行分类；

5)将由步骤4)得到的空气污染程度分类结果返回给用户客户端并显示当前的空气污染程度等级。

其中，步骤1)具体步骤细化为：

1-1)利用手持相机和霾表对天空或者半天空采集雾霾图像及记录其对应的pm2.5值，pm2.5为细颗粒物又称细粒、细颗粒；

1-2)根据pm2.5空气质量标准，将pm2.5浓度小于75μg/m³的图片分类为无污染，将pm2.5浓度大于75μg/m³且小于150μg/m³的图片分类为中度污染，将pm2.5浓度大于150μg/m³的图片分类为重度污染；

1-3)对数据进行数据扩充，将分类好的数据进行旋转90度，180度，270度，以及对图片进行随机剪裁，得18574张图片；

1-4)联合残差网络152层和卷积神经网络vgg19层，将其特征进行融合；

1-5)由步骤1-4)得到的深层特征，通过softmax损失函数进行训练，得到训练模型；

其中，δ(y,z)是softmax损失函数，y是根据步骤1-2)分类好的图像空气污染等级，zj是第j个图像的特征(由步骤1-4)得出)，zy是对于y等级的空气污染程度的编码。

步骤4)具体步骤细化为：

4-1)将训练集图像和训练集图像的尺寸设置为224×224；

4-2)将步骤4-1)设置好的图片同时送入残差网络152层和vgg19层，抽取残差网络中res5c卷积层输出特征feares，以及vgg网络pooling5输出的特征feavgg，将这两个特征进行融合，即concat操作：

其中fea是本发明方法的输出特征，时矩阵维数相加，从而达到特征融合，其中res5c为残差网络中最后一层卷积的名字，pooling5是vgg网络中最后一层池化层的名字。

本发明的特点及有益效果是：

本发明方法避免了现有测量仪器价格昂贵、因损坏导致对空气质量检测出现误差的问题，利用手机等便携单相机设备，方便快捷地采集测试当地的全天空或半天空远景图像，通过训练多模型融合的深度卷积神经网络，实现了由图像对当前空气质量的检测，从而更加方便精确地估计当前空气空气污染程度，具体来说具有以下特点：

1、采集设备成本低且便携；

2、操作简单，易于实现；

3、通过深度学习提取了深层特征；

4、可根据单相机拍摄的单张图像估计空气污染程度；

本发明可以采用手机实现对当地空气污染程度精准估计。所提出的方法具有很好的实用性：用户可以通过拍摄全天空或者半天空图像上传至服务器端，在服务器端，系统对用户上传的图像进行深层神经网络的特征提取，通过softmax函数得出各个分类的概率，取其最大的概率，从而精准的估计出当地的空气污染程度。

附图说明：

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于图像的空气污染程度估计方法的流程图；

图2为一张测试图像，通过汉王霾表测试的当地pm2.5值结果为236.57，为重度污染，通过本发明方法得到的预测结果重度污染；

具体实施方式

为了降低成本和复杂度、方便检测，本发明采用一种多模型深度神经网络，对图片进行空气污染程度估计，提高人们对空气污染的认知与重视程度。通过本发明训练出来的模型，用户可直接通过手机拍摄图像，并且得到精准的空气污染程度，此发明在天气评估、交通运输等领域有着广泛的应用前景。

本发明基于深度学习网络模型，方便快捷地提取深层特征，训练出模型。所提出的方法具有很好的鲁棒性：对于新的图片，能很好的估计出其空气污染程度。效果好，方便快捷。

本发明采取的技术方案基于图像端对端的空气污染程度分类方法，包括以下步骤：

1)训练数据库的建立与训练模型的求取；

2)用户通过手机等摄影设备对着全天空或者半天空采集一张测试图片，上传至服务器端；

3)在服务器端，系统通过混合模型对用户采集到的图片进行特征提取，得到特征向量t；

4)通过步骤1)得到的训练模型以及结合步骤3)得到的特征向量t，根据softmax函数进而求解各个分类的概率，将概率最大的分类作为当前空气污染状况，进而对空气污染程度进行分类；

5)将由步骤4)得到的空气污染程度分类结果返回给用户客户端并显示当前的空气污染程度等级。

其中，步骤1)具体步骤细化为：

1-1)利用手持相机和霾表对天空或者半天空采集雾霾图像及记录其对应的pm2.5值，pm2.5为细颗粒物又称细粒、细颗粒；

1-2)根据pm2.5空气质量标准，将pm2.5浓度小于75μg/m³的图片分类为无污染，将pm2.5浓度大于75μg/m³且小于150μg/m³的图片分类为中度污染，将pm2.5浓度大于150μg/m³的图片分类为重度污染；

1-3)对数据进行数据扩充，将分类好的数据进行旋转90度，180度，270度，以及对图片进行随机剪裁，得18574张图片；

1-4)联合残差网络152层和vgg19层，将其特征进行融合；

1-5)由步骤1-4)得到的深层特征，通过softmax损失函数进行训练，得到训练模型；

其中，δ(y,z)是softmax损失函数，y是根据步骤1-2)分类好的图像空气污染等级，zj是第j个图像的特征(由步骤1-4)得出)，zy是对于y等级的空气污染程度的编码，其中softmax用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类。

步骤4)具体步骤细化为：

4-1)将训练集图像和训练集图像的尺寸设置为224×224；

4-2)将步骤4-1)设置好的图片同时送入残差网络152层和vgg19层，抽取残差网络中res5c卷积层输出特征feares，以及vgg网络pooling5输出的特征feavgg，将这两个特征进行融合，即concat操作，vgg是一种传统卷积神经网络结构，其在图像识别，分类等领域上取得了巨大成功：

其中fea是本发明方法的输出特征，时矩阵维数相加，从而达到特征融合，其中res5c为残差网络中最后一层卷积的名字，pooling5是vgg网络中最后一层池化层的名字。

表1本发明与其他深度模型方法的实验结果正确率对比。

下面结合附图和具体实施方式进一步详细说明本发明。

本发明的基于图像端对端的空气污染程度分类方法，其特征在于包括以下步骤：

1)训练数据库的建立与训练模型的求取；

2)用户通过手机等摄影设备对着全天空或者半天空采集一张测试图片，上传至服务器端；

3)在服务器端，系统通过混合模型对用户采集到的图片进行特征提取，得到特征向量t；

4)通过步骤1)得到的训练模型以及结合步骤3)得到的特征向量t，根据softmax函数进而求解各个分类的概率，将概率最大的分类作为当前空气污染状况，进而对空气污染程度进行分类；

5)将由步骤4)得到的空气污染程度分类结果返回给用户客户端并显示当前的空气污染程度等级。

其中，步骤1)具体步骤细化为：

1-1)利用手持相机和霾表对天空或者半天空采集雾霾图像及记录其对应的pm2.5值，pm2.5为细颗粒物又称细粒、细颗粒；

1-2)根据pm2.5空气质量标准，将pm2.5浓度小于75μg/m³的图片分类为无污染，将pm2.5浓度大于75μg/m³且小于150μg/m³的图片分类为中度污染，将pm2.5浓度大于150μg/m³的图片分类为重度污染；

1-3)对数据进行数据扩充，将分类好的数据进行旋转90度，180度，270度，以及对图片进行随机剪裁，得18574张图片；

1-4)联合残差网络152层和vgg19层，将其特征进行融合；

1-5)由步骤1-4)得到的深层特征，通过softmax损失函数进行训练，得到训练模型；

其中，δ(y,z)是softmax损失函数，y是根据步骤1-2)分类好的图像空气污染等级，zj是第j个图像的特征(由步骤1-4)得出)，zy是对于y等级的空气污染程度的编码，其中softmax用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类。

步骤4)具体步骤细化为：

4-1)将训练集图像和训练集图像的尺寸设置为224×224；

4-2)将步骤4-1)设置好的图片同时送入残差网络152层和vgg19层，抽取残差网络中res5c卷积层输出特征feares，以及vgg网络pooling5输出的特征feavgg，将这两个特征进行融合，即concat操作：

其中fea是本发明方法的输出特征，时矩阵维数相加，从而达到特征融合，其中res5c为残差网络中最后一层卷积的名字，pooling5是vgg网络中最后一层池化层的名字。

参考文献：

[1]krizhevskya,sutskeveri,hintonge.imagenetclassificationwithdeepconvolutionalneuralnetworks[c]//internationalconferenceonneuralinformationprocessingsystems.curranassociatesinc.2012:1097-1105.

[2]simonyank,zissermana.verydeepconvolutionalnetworksforlarge-scaleimagerecognition[j].computerscience,2014.

[3]hek,zhangx,rens,etal.deepresiduallearningforimagerecognition[c]computervisionandpatternrecognition.ieee,2016:770-778.

[4]huangg,liuz,maatenlvd,etal.denselyconnectedconvolutionalnetworks.inproceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,2017。