基于CNNs-GRU融合深度学习模型的PM2.5预测方法与流程

基于cnns-gru融合深度学习模型的pm2.5预测方法
技术领域
1.本发明属于环境科学技术领域，具体涉及一种基于cnns-gru融合深度学习模型的pm2.5预测方法。


背景技术：

2.随着工业化和现代化进程的不断深入发展，空气质量问题已经引发了社会的广泛关注，空气中携带的病菌、悬浮的固体颗粒污染物对人体健康构成实质性威胁。2017年lancet刊载的一项权威研究报告指出，pm2.5污染已经成为排名第五的致死风险因素。因此，开展关于pm2.5浓度质量的预测研究具有十分重要的现实意义。
3.pm2.5浓度变化受多种因素影响，具有显著的非线性特点，准确预测pm2.5 难度较大。近几年，学术领域基于统计模型对pm2.5的预测进行了大量研究。 mahajan等人利用ann模型预测未来1小时pm2.5浓度变化。pai等人通过七种灰度模型gm(1,1)，预测板桥市未来1小时的pm2.5小时浓度。mahajan 等人提出一种指数平滑模型，基于单站点pm2.5历史数据，预测未来1小时和3小时的pm2.5小时浓度。biancofiore等人使用循环神经网络(rnn)预测未来3天的pm2.5日平均浓度。li等人使用深度学习模型lstm，预测未来 1小时的pm2.5小时浓度。虽然以上方法在特定场景下取得一定成效，但存在预测时间步太少或时间粒度过大的问题，实用价值较差。同时，模型过度依赖于人工特征选择方法，导致模型泛化能力差，忽略相邻区域站点间的空间关联特征，不利于对扩散性较强的pm2.5进行预测。
4.相关研究表明，考虑时间和空间关系对空气质量分析至关重要。li等人提出一种时空深度学习模型stdl，利用堆叠自动编码器自动提取空气质量因子的特征，实验证明，通过考虑多站点的空间关联特性，该模型预测未来1 小时pm2.5小时浓度的性能优于其他不考虑空间特征的传统模型，且避免了使用人工特征选择方法，但存在输入特征种类太少、预测时间步少的问题。 zheng等人提出一种混合模型框架ffa，分别使用线性回归(lr)和ann模型，提取不同站点输入数据的时间和空间特征，该时空模型较传统模型能更好预测未来6小时的pm2.5小时浓度，不足是依赖人工特征选择，空间预测器仅使用相邻站点划分区域后的特征均值、中值作为输入，降低了模型对多站点空间特征的灵敏度，没有充分利用多站点的空间信息。huang等人提出一种基于cnn和lstm的深度学习模型apnet，利用cnn能够自动提取特征的特性, 自动完成对单站点多种特征序列的逐层抽象，lstm能够记忆序列的前后依赖关系，实验证明，该模型比单独使用cnn、lstm能更准确地预测未来1小时 pm2.5小时浓度，cnn能够有效代替传统人工特征选择方法，但该模型没有考虑空间关系，预测时间步太短。
5.为此，我们提出一种基于cnns-gru融合深度学习模型的pm2.5预测方法，以解决上述背景技术中提到的问题。


技术实现要素：

6.本发明的目的在于提供一种基于cnns-gru融合深度学习模型的pm2.5预测方法，
以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：一种基于cnns-gru融合深度学习模型的pm2.5预测方法，包括如下步骤：
8.s1：获取某区域若干个监测站的空气质量相关数据，构成多站点多模态空气质量数据集ω
*
；
9.s2：对多站点多模态空气质量数据进行预处理，包括数值化编码、缺失值填充、异常值修正、周期性特征构造和数据集划分；
10.s3：基于cnn和gru，以多站点多模态空气质量数据为输入，构建适用于 pm2.5预测的深度学习模型cnns-gru；
11.s4：基于训练集、验证集训练cnns-gru模型，并对模型进行优化；
12.s5：在测试集上运行最优cnns-gru模型，获得某区域未来24小时pm2.5 浓度的精细化预测结果。
13.优选的，所述步骤s1中空气质量相关数据包括空气质量因子、气象因子、交通流量数据、区域工业污染源排放量。
14.优选的，对多站点多模态空气质量数据进行预处理，包括数值化编码、缺失值填充、异常值修正、周期性特征构造和数据集划分，包括如下：
15.step1：根据所述步骤s1获得的实验数据集ω
*
，由于部分特征如风速、风向用文字化形式表示为“3级”、“东南风”，故使用labelencoder方法对其进行数值化编码，使输入数据具有统一的二维矩阵结构；
16.step2：根据所述步骤s1获得的实验数据集ω
*
，存在时间序列不连续问题，对于缺失时间低于12小时使用三次样条函数插值法填充，超过12小时使用前后一天同时段序列平均值填充，超过24小时，数据集被划分成独立的两部分。
17.step3：根据所述步骤s1获得的实验数据集ω
*
，存在个别特征数值异常的情况，处理方法为将该值重置为前后时刻的平均值；
18.step4：根据所述步骤s1获得的实验数据集ω
*
，由于空气质量易受周期性社会活动和季节性因素的影响，表现出明显的周期性特点，按照月份和小时的不同组合，扩展1维周期性特征作为模型输入；
19.step5：根据所述步骤s1获得的实验数据集ω
*
，不同特征量纲不同，导致大小相差明显，不利于模型计算和收敛，需要对数据集进行标准化处理，此处使用z-score标准化方法。
20.step6：根据所述步骤step1至step5获得的预处理数据集ω，将全部数据集的20％用于模型测试，剩余数据集的80％用于模型训练、20％用作验证集。
21.优选的，基于cnn和gru，以多站点多模态空气质量数据为输入，构建适用于pm2.5预测的深度学习模型cnns-gru，包括如下：
22.step1：构建cnns结构，该结构由并列、级联连接的1维cnn构成；并列连接的cnn单元和同等数量的二维输入矩阵单元对应，每组二维矩阵由某区域全部监测站的单模态空气质量数据时间序列构成，多模态对应多组二维输入矩阵单元，通过并列cnn单元层自动提取多组多站点单模态输入的局部变化趋势和空间关联特征；级联cnn层进行特征水平的融合和更深层的特征抽象，输出多站点多模态空气质量数据的融合时空特征；
23.step2：构建gru网络，由若干gru层构成；gru有更新门和重置门两个门结构，如果更新门被激活，gru能捕获多模态空气时间序列的长期依赖特征；反之，它会记忆短期的历史信息；将某区域的多站点多模态空气质量数据的抽象融合时空特征作为gru网络的输入，能进一步提取隐含着的长期依赖特征，有助于pm2.5预测；
24.step3：构建全连接网络，由输入适量矢量化层和全连接层构成，它以 y＝x为线性激活函数，输出某区域站点附近未来24小时pm2.5浓度的精细化预测结果。
25.优选的，基于训练集、验证集训练cnns-gru模型，并对模型进行优化，包括如下：
26.step1：设置cnns-gru网络结构和其他训练相关的超参数，使其适用于 pm2.5预测；
27.step2：对cnns-gru融合深度学习模型的优化。
28.优选的，在测试集上运行该最优cnns-gru模型，获得某区域未来24小时pm2.5浓度的精细化预测结果，包括如下：
29.在测试集上运行最优cnns-gru模型，获得标准化预测结果，并对该结果进行逆标准化操作，最终获得某区域未来24小时pm2.5浓度的精细化预测结果。
30.与现有技术相比，本发明的有益效果是：
31.(1)独特的cnns结构设计，能够自动提取、融合多站点多模态空气数据的局部变化趋势特征和空间关联特征，代替传统的人工特征选取方法，有助于pm2.5预测准确率的提升和预测模型的泛化能力；
32.(2)使用了处理时间序列性能优异的gru模型，gru能够充分挖掘时间序列中隐藏的长时依赖特性，提升pm2.5预测准确度；
33.(3)cnns-gru融合深度学习模型提供未来24小时pm2.5浓度的精细化预测，而不像传统方法仅预测未来几个或一个小时(天)浓度值，甚至只简单地预测污染等级，因此更具有实用价值。
附图说明
34.图1为本发明所述的pm2.5预测总体流程图；
35.图2为本发明所述的cnns-gru融合深度学习模型；
36.图3为本发明所述的1维cnn卷积原理示意图；
37.图4为本发明所述的gru典型结构图；
38.图5为本发明所述的cnns-gru模型训练流程图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.本发明针对以上问题，基于卷积神经网络(cnn)和门限循环单元(gru)，提出一种能自动提取多站点多模态空气质量数据时空特征的pm2.5预测模型。该模型以某区域多个空气质量监测站的空气质量因子、气象因子时间序列为输入，通过cnns自动提取、融合多站
点多模态空气质量数据的局部变化趋势和空间关联特征，并将cnns输出的结果输入到gru网络，进一步捕获空气质量数据的长期依赖特征。最后，构建全连接网络，以gru网络输出的时空特征为输入，输出未来24小时pm2.5浓度的精细化预测结果。
41.如本发明图1pm2.5预测总体流程图所示，主要分为以下步骤：s1：获取某区域多个监测站的空气质量相关数据，构成多站点多模态空气质量数据集ω
*
；s2：对多站点多模态空气质量数据进行预处理，包括数值化编码、缺失值填充、异常值修正、周期性特征构造和数据集划分；s3：基于cnn和gru，以多站点多模态空气质量数据为输入，构建适用于pm2.5预测的深度学习模型cnns-gru；s4：基于训练集、验证集训练cnns-gru模型，并对模型进行优化；s5：在测试集上运行最优cnns-gru模型，获得某区域未来24小时pm2.5 的精细化预测结果。
42.s1：获取某区域多个监测站的空气质量相关数据，构成多站点多模态空气质量数据集ω
*
，包括如下：
43.由于要考虑多种空气质量污染相关数据和站点空间分布对pm2.5浓度变化的影响，因此，需要获取研究区域内多个监测站的空气质量相关数据，如空气质量因子、气象因子、交通流量数据、区域工业污染源排放量等，构成多站点多模态空气质量数据集ω
*
。本专利获得了无锡市环保局提供的空气质量数据集，多站点多模态数据集采集自无锡市13个空气质量监测站的两类数据：空污染因子、气象因子，各模态数据的采集周期均为小时，详细见表1 所示。如果能获取到对应区域的交通流量、工业排放量等数据，将进一步提升该模型的预测性能。
44.表1多站点多模态空气质量数据集
[0045][0046][0047]
s2：对多站点多模态空气质量数据进行预处理，包括数值化编码、缺失值填充、异
常值修正、周期性特征构造和数据集划分，包括如下：
[0048]
step1：根据所述步骤s1获得的实验数据集ω
*
，由于部分特征如风速、风向用文字化形式表示为“3级”、“东南风”，故使用labelencoder方法对其进行数值化编码，使输入数据具有统一的二维矩阵结构；
[0049]
step2：根据所述步骤s1获得的实验数据集ω
*
，存在时间序列不连续问题，对于缺失时间低于12小时使用三次样条函数插值法填充，超过12小时使用前后一天同时段序列平均值填充，超过24小时，数据集被划分成独立的两部分；
[0050][0051]
式中xi表示待插值点位，n表示待插值点位数量，yi＝s(xi)、hi＝x
i+1-xi， s(xi)的二阶导数是分段线性函数，求出所有待定系数mi即实现插值。
[0052]
step3：根据所述步骤s1获得的实验数据集ω
*
，存在个别特征数值异常的情况，处理方法为将该值重置为前后时刻的平均值；
[0053]
step4：根据所述步骤s1获得的实验数据集ω
*
，由于空气质量易受周期性社会活动和季节性因素的影响，表现出明显的周期性特点，按照月份和小时的不同组合，扩展1维周期性特征作为模型输入，具体转换标准见表2；
[0054]
表2空气质量周期性特征构造标准
[0055][0056][0057]
step5：根据所述步骤s1获得的实验数据集ω
*
，不同特征量纲不同，导致大小相差明显，不利于模型计算和收敛，需要对数据集进行标准化处理，此处使用z-score标准化方法。
[0058][0059]
step6：根据所述步骤step1至step5获得的预处理数据集ω，将全部数据集的20％用于模型测试，剩余数据集的80％用于模型训练、20％用作验证集。
[0060]
s3：基于cnn和gru，以多站点多模态空气质量数据为输入，构建适用于 pm2.5预测的深度学习模型cnns-gru，结合本发明图2所示的cnns-gru模型架构，包括如下：
[0061]
step1：构建cnns结构，该结构由并列、级联连接的1维cnn构成。并列连接的cnn和同等数量的二维输入矩阵单元对应，每组二维矩阵由某区域全部监测站的单模态空气质量数据(如pm2.5、no2或风速等)时间序列构成，多模态对应多组二维输入矩阵单元，通过并列cnn层自动提取多组多站点单模态输入的局部变化趋势和空间关联特征。级联cnn层进行特征水平的融合和更深层的特征抽象，输出多站点多模态空气质量数据的融合时空特征。
[0062]
如本发明图3所示的1维cnn卷积原理，cnns结构的核心组成单元是1 维cnn，每个1维cnn包含若干大小相同的1维卷积核。以某个区域所有空气质量监测站采集的pm2.5数据为例，图3展示了1维cnn如何自动提取、融合多站点单模数据的时空特征。
[0063]
1维卷积核的长度表示局部感受野大小，对应延时间轴方向覆盖的多站点 pm2.5序列向量的个数，宽度默认覆盖来自目标区域的全部空气质量监测站的单模态pm2.5序列，其跨度等于监测站数量。卷积核通过赋不同的值给连接多个站点的pm2.5输入，学习多站点数据之间的空间关联特征。卷积核延时间轴滑动，自动提取多站点单模态pm2.5时间维度的局部变化趋势。多个卷积核从不同角度学习多种特征向量表示，多个特征向量沿着数据维度合并，输出多站点单模态输入的时空特征，继续作为后续层输入。
[0064]
以下是对cnns结构的公式化推导过程。假设有n组样本数据，m种空气质量属性，数据源自p个监测站，则多站点单模态n构成的二维输入矩阵单元可表示为：
[0065][0066][0067]
其中，表示多站点单模态空气质量属性n在t时刻的时间序列向量，表示xn在[t,t+t-1]时间段内的t组向量，t表示转置。
[0068]
假设cnn单元包含v个1维卷积核，第i个卷积核ki表示为wi∈r
t
×
p
，t表示卷积核沿时间轴一次处理的时间序列长度，对应的卷积过程可表示为：
[0069][0070]
其中，σ为激活函数，本专利采用elu(exponential linear unit)。卷积核ki沿着时间轴滑动，这里假设stride＝1，卷积结果为[n-t+1]
×
1大小的特征向量v个1维卷积核的卷积结果沿特征方向合并为[t,t+t-1]
×
v大小的an， an表示多站点单模态空气质量属性n对应的时空特征矩阵。
[0071][0072][0073]
以上是1维cnn单元的公式化表示，完成了多站点单模态空气质量输入(如 pm2.5)
的时空特征抽象。由于有m空气质量属性，cnns结构首先通过并列的 1维cnn单元，将以上过程作用于其他模态的空气质量数据(如pm10、so2、风速等)，从而自动提取多种多站点单模态空气质量数据的时空特征抽象，并进行特征级别的融合，获得多站点多模态空气质量数据的融合时空特征矩阵 a，如公式(7)所示。然后，将a作为后续级联1维cnn层的输入，继续按照公式(3)-(7)提取更抽象的融合时空特征。
[0074]
a＝[a1,a2,
…
,am]
ꢀꢀꢀ
(8)
[0075]
step2：构建gru网络，由若干gru层构成。gru模型结构如图4所示，门结构保证其能够处理时间序列长短期依赖问题，计算公式如下：
[0076]zt
＝σ(z
(z)
·
[h
t-1
,x
t
])
ꢀꢀꢀ
(9)
[0077]rt
＝σ(w
(r)
·
[h
t-1
,x
t
])
ꢀꢀꢀ
(10)
[0078][0079][0080]
其中，z
t
、r
t
分别表示更新门、重置门，h
t
、分别代表t时刻的隐含状态和候选隐含状态，σ是激活函数。基于以上过程，如果更新门被激活，gru能捕获到空气质量时间序列的长期依赖特征；反之，它会记忆短期历史信息。将某区域多站点多模态空气质量数据的抽象融合时空特征输入gru网络，能进一步提取隐含着的长期依赖特征，有助于pm2.5预测。
[0081]
step3：构建全连接网络，由输入适量矢量化层和全连接层构成，它以y＝x 为线性激活函数，输出某区域站点附近未来24小时pm2.5浓度的精细化预测结果。
[0082]
s4：基于训练集、验证集训练cnns-gru模型，并对模型进行优化，包括如下：
[0083]
step1：设置cnns-gru网络的拓扑结构和训练相关的超参数。其中模型输入按照s3中介绍的1维cnn原理，确定并列连接的cnn个数和输入序列的大小，输出是具有24个神经元的全连接层。本专利结合基于多站点多模态空气质量数据某区域未来24小时pm2.5浓度变化的目标，构建的cnns-gru模型具有8层网络，结构设置如表3所示。训练超参数设置需要经过不断试验，找到效果相对理想的参数组合，具体设置如表4所示；
[0084]
表3 cnns-gru模型的网络结构参数设置
[0085][0086]
表4 cnns-gru模型的训练超参数设置
[0087][0088]
step2：为了促进模型快速收敛、减少过拟合的发生，对cnns-gru融合深度学习模型进行了优化，使用了参数为min_delta＝0.002、patience＝10的 earlystop方法，batchnormalization使用默认参数，而dropout的参数 dropout_rate设置为0.35。
[0089]
基于以上设置，按照如本发明图5所示的训练流程图进行模型训练以，获得最优的cnns-gru模型。
[0090]
s5：在测试集上运行最优cnns-gru模型，获得某区域未来24小时pm2.5 的精细化预测结果，其包括如下：
[0091]
在测试集上，运行s4获得的最优cnns-gru融合深度学习模型，获得目标区域未来24小时pm2.5浓度的精细化预测结果。
[0092]
综上所述，与现有技术相比：本发明独特的cnns结构设计，能够自动提取、融合多站点多模态空气数据的局部变化趋势特征和空间关联特征，代替传统的人工特征选取方法，有助于pm2.5预测准确率的提升和预测模型的泛化能力；
[0093]
使用了处理时间序列性能优异的gru模型，gru能够充分挖掘时间序列中隐藏的长时依赖特性，提升pm2.5预测准确度；
[0094]
cnns-gru融合深度学习模型提供未来24小时pm2.5浓度的精细化预测，而不像传统方法仅预测未来几个或一个小时(天)浓度值，甚至只简单地预测污染等级，因此更具有实用价值。
[0095]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。