基于深度网络学习的山火预测方法与流程

文档序号:17132120发布日期:2019-03-16 01:25阅读:400来源:国知局

本发明涉及数据处理技术领域,尤其是一种基于深度网络学习的山火预测方法。



背景技术:

在自然灾害中,山火是一种非常特殊和非常有破坏性的灾害;不仅会对生态造成重大影响,也会对发生地的人,动物以及一些”资产”造成重大损失;如电力设备中的塔,线缆,变电站;通信中的信号塔等等。而山火的发生机理非常复杂,多种因素相互作用下才会发生山火。

随着物联网、数字化、物联网等技术的发展,使得能通过合理的方式获取到大量的数据,再结合现在计算能力的提升,能通过非实验的方式来对自然灾害进行分析、预测、预警等。其次,现在的数据不仅仅是大数据,而且数据多样化,数据繁杂。类似自然灾害的问题,不仅包含了地理空间温度,还包含了时间维度,这两个维度的有效结合建模也是现在很多传统数学模型的难点。因此,本发明主要利用目前热点技术“深度学习”来解决时间和空间建模的问题,并结合山火的特点,在山火预测预警中进行应用。

传统特征提取方式是在空间和时间维度上分别进行提取,再进行后续的分析和建模,这种特征提取的方式存在一定的主观性,而且不容易找到有效的特征来支撑后续的模型,会导致模型效果较差。

传统的机器学习模型是基于人工特征的模式,不能将空间上的特征进行有效利用,在时间维度上建模,传统的时间序列不能建立长期的时间依赖性,且时间序列主要还是基于统计。这类传统的机器学习算法设计上没有空间或时间的概念,都是基于特征的学习过程。

在特征融合上,一般都是会将每个特征加到每个样本上,即使有全局性的特征,这种方式不够灵活,当不同类型的特征或者不一致特征在融合时还可能出现问题。

传统学习方式是在一定数据量的基础上,数据量过小或过大都会出现问题。当数据量过小,对结果的可信度很低。但是传统学习方式对海量数据的处理又非常困难,有一定的瓶颈。



技术实现要素:

本发明所要解决的技术问题是提供一种能够提高预测效率和预测准确性的基于深度网络学习的山火预测方法。

本发明解决其技术问题所采用的技术方案为:该基于深度网络学习的山火预测方法,包括以下步骤:

1)、利用深度网络学习方法建立山火风险预测模型;

所述山火风险预测模型包括卷积层、融合层、lstm层、全连接层;

2)、针对山火风险预测任务的需要,采集从当前时间开始往前一段历史时间内的遥感数据和气象数据;

3)、对2)步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据;

4)、将遥感数据以及3)步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配;

5)、将经过4)步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m;时间分辨率为1天,格式为tiff格式的数据;

6)、将步骤5)得到的数据经过如下处理得到batch数据,具体处理过程如下所述:

a、tiff数据的解析,将tiff数据解析为矩阵形式;再对数据进行缺失值填充,填充的方式是通过相邻的点来填充:具体如下所示:

x′i,j=xi-1,j|xi,j-1;

b、将矩阵形式的遥感数据分割成多个遥感数据矩阵,并记录下各个点中的经纬度位置;

c、根据经纬度位置将气象数据进行对应,生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵;

d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵,矩阵的格式为:[时间步数,矩阵行数,矩阵列数,特征数];

e、通过历史火点数据生成目标样本矩阵,目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致;

f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射,并将整个数据分成不同大小的数据集,即可形成batch数据;

7)、将batch数据输入山火风险预测模型的卷积层,并从batch数据中提取当日的气象数据输入山火风险预测模型的全连接层,即可得到最终的山火发生预测概率。

进一步的是,在3)步骤中,所述时间分辨率融合方法具体如下所述:

将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标,包括:当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md;

其中,max_md=max(md,i)(i∈0,…,23)

min_md=min(md,i)(i∈0,…,23)

range_md=max(md,i)-min(md,i)(i∈0,…,23)

total_md=sum(md,i)(i∈0,…,23)

最大值max_md、最小值min_md用于温度、湿度、降雨、风速,极差值range_md统用于温度、湿度,当日总量total_md用于降雨水平。

进一步的是,在4)步骤中,所述空间数据融合方法采用紧邻匹配法或krige插值方法。

进一步的是,在1)步骤中,利用深度网络学习方法建立山火风险预测模型包括以下步骤:

a、针对山火风险预测任务的需要,采集从当前时间开始往前一段历史时间内的遥感数据和气象数据;

b、对a步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据;

c、将遥感数据以及b步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配;

d、将经过c步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m;时间分辨率为1天,格式为tiff格式的数据;

e、将步骤d得到的数据经过如下处理得到batch数据,具体处理过程如下所述:

a、tiff数据的解析,将tiff数据解析为矩阵形式;再对数据进行缺失值填充,填充的方式是通过相邻的点来填充:具体如下所示:

x′i,j=xi-1,j|xi,j-1;

b、将矩阵形式的遥感数据分割成多个遥感数据矩阵,并记录下各个点中的经纬度位置;

c、根据经纬度位置将气象数据进行对应,生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵;

d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵,矩阵的格式为:[时间步数,矩阵行数,矩阵列数,特征数];

e、通过历史火点数据生成目标样本矩阵,目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致;

f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射,并将整个数据分成不同大小的数据集,即可形成batch数据;

f、基于batch数据构建深度网络模型,所述深度网络模型包括卷积层、融合层、lstm层、全连接层;

所述卷积层是由多个卷积单元堆叠而成,每个卷积单元采用如下方法得到:首先将batch数据作为输入矩阵进行卷积计算得到卷积结果,所述卷积计算公式为:c=a*b,其中*表示卷积运算,a表示输入矩阵和一个b卷积核矩阵,所述卷积运算采用如下的离散计算公式:其中m,n为卷积核的大小值。wm,n为卷积核中m,n位置的值,b为偏执项;然后将得到的卷积结果进行最大池化得到卷积单元

所述融合层对得到的卷积单元采用add方法进行融合,具体的,将卷积层得到的卷积单元进行flatten展开,并加入新的特征,所述新的特征的shape和输入的矩阵大小一致,再按照时间维度进行stack,得到融合矩阵[batch_size,time_steps,depth],其中depth=w*h;

所述lstm层包括lstmcell层、dropper层和full-connect层,将融合矩阵[batch_size,time_steps,depth]输入lstmcell层后再依次经过dropper层和full-connect层处理并使用结果函数进行输出得到lstm数据,所述结果函数采用维tanh函数输出,所述维tanh函数如下所述:

所述全连接层将得到lstm数据以及从batch数据中提取的当日气象数据进行融合处理;

g、采用多epoch对深度网络模型进行训练,并采用多gpu来进行深度网络模型的训练,cpu负责参数的更新,而gpu来进行网络的训练,得到最终的山火预测模型。

进一步的是,在b步骤中,所述时间分辨率融合方法具体如下所述:

将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标,包括:当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md;

其中,max_md=max(md,i)(i∈0,…,23)

min_md=min(md,i)(i∈0,…,23)

range_md=max(md,i)-min(md,i)(i∈0,…,23)

total_md=sum(md,i)(i∈0,…,23)

最大值max_md、最小值min_md用于温度、湿度、降雨、风速,极差值range_md统用于温度、湿度,当日总量total_md用于降雨水平。

进一步的是,在c步骤中,所述空间数据融合方法采用紧邻匹配法或krige插值方法。

本发明的有益效果:该基于深度网络学习的山火预测方法通过构建时间和空间维度上的自动特征提取网络,并对海量历史数据进行学习,达到山火预测预警分析。克服了传统学习方式在海量数据上的瓶颈,能有效利用gpu和分布式来进行快速训练;摒弃了传统人工特征的方式,实现特征自动化;使用了深度网络来灵活的对不同维度特征进行有效融合,从而提升了山火风险预测的预测效率和预测准确性。

具体实施方式

该基于深度网络学习的山火预测方法,包括以下步骤:

1)、利用深度网络学习方法建立山火风险预测模型;

所述山火风险预测模型包括卷积层、融合层、lstm层、全连接层;

2)、针对山火风险预测任务的需要,采集从当前时间开始往前一段历史时间内的遥感数据和气象数据;所述遥感数据包括:可燃物含水率fmc、可燃物载荷fl、可燃物类型ft;高程、坡度、坡向;所述气象数据包括温度、湿度、降雨、风速、风向;

3)、对2)步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据;所述时间分辨率融合方法具体如下所述:

将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标,包括:当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md;

其中,max_md=max(md,i)(i∈0,…,23)

min_md=min(md,i)(i∈0,…,23)

range_md=max(md,i)-min(md,i)(i∈0,…,23)

total_md=sum(md,i)(i∈0,…,23)

最大值max_md、最小值min_md用于温度、湿度、降雨、风速,极差值range_md统用于温度、湿度,当日总量total_md用于降雨水平;

4)、将遥感数据以及3)步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配;所述空间数据融合方法采用紧邻匹配法或krige插值方法;

5)、将经过4)步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m;时间分辨率为1天,格式为tiff格式的数据;

6)、将步骤5)得到的数据经过如下处理得到batch数据,具体处理过程如下所述:

a、tiff数据的解析,将tiff数据解析为矩阵形式;再对数据进行缺失值填充,填充的方式是通过相邻的点来填充:具体如下所示:

x′i,j=xi-1,j|xi,j-1;

b、将矩阵形式的遥感数据分割成多个遥感数据矩阵,并记录下各个点中的经纬度位置;

c、根据经纬度位置将气象数据进行对应,生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵;

d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵,矩阵的格式为:[时间步数,矩阵行数,矩阵列数,特征数];

e、通过历史火点数据生成目标样本矩阵,目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致;

f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射,并将整个数据分成不同大小的数据集,即可形成batch数据;batch数据组装过程中,正例数据较少,为了解决比例失衡,在每次使用时都会将正例数据进行组装到每个batch中;

7)、将batch数据输入山火风险预测模型的卷积层,并从batch数据中提取当日的气象数据输入山火风险预测模型的全连接层,即可得到最终的山火发生预测概率。

该基于深度网络学习的山火预测方法通过构建时间和空间维度上的自动特征提取网络,并对海量历史数据进行学习,达到山火预测预警分析。克服了传统学习方式在海量数据上的瓶颈,能有效利用gpu和分布式来进行快速训练;摒弃了传统人工特征的方式,实现特征自动化;使用了深度网络来灵活的对不同维度特征进行有效融合,从而提升了山火风险预测的预测效率和预测准确性。

在上述实施方式中,在1)步骤中,利用深度网络学习方法建立山火风险预测模型包括以下步骤:

a、针对山火风险预测任务的需要,采集从当前时间开始往前一段历史时间内的遥感数据和气象数据;所述遥感数据包括:可燃物含水率fmc、可燃物载荷fl、可燃物类型ft;高程、坡度、坡向;所述气象数据包括温度、湿度、降雨、风速、风向;

b、对a步骤采集的气象数据通过时间分辨率融合方法处理得到以天为单位的气象数据;所述时间分辨率融合方法具体如下所述:

将第d天气象指标m在每小时的观察数据md,i(i∈0,…,23)按天进行聚合生成相应统计指标,包括:当日最大值max_md、最小值min_md、极差值range_md、当日总量total_md;

其中,max_md=max(md,i)(i∈0,…,23)

min_md=min(md,i)(i∈0,…,23)

range_md=max(md,i)-min(md,i)(i∈0,…,23)

total_md=sum(md,i)(i∈0,…,23)

最大值max_md、最小值min_md用于温度、湿度、降雨、风速,极差值range_md统用于温度、湿度,当日总量total_md用于降雨水平;

c、将遥感数据以及b步骤得到的以天为单位的气象数据通过空间数据融合方法实现空间数据的融合匹配;所述空间数据融合方法采用紧邻匹配法或krige插值方法;

d、将经过c步骤处理得到的遥感数据、气象数据全部转换为空间分别率为500m*500m;时间分辨率为1天,格式为tiff格式的数据;

e、将步骤d得到的数据经过如下处理得到batch数据,具体处理过程如下所述:

a、tiff数据的解析,将tiff数据解析为矩阵形式;再对数据进行缺失值填充,填充的方式是通过相邻的点来填充:具体如下所示:

x′i,j=xi-1,j|xi,j-1;

b、将矩阵形式的遥感数据分割成多个遥感数据矩阵,并记录下各个点中的经纬度位置;

c、根据经纬度位置将气象数据进行对应,生成与b步骤中遥感数据矩阵大小相同的气象数据矩阵;

d、将气象数据矩阵和遥感数据矩阵进行合并最终生成大型矩阵,矩阵的格式为:[时间步数,矩阵行数,矩阵列数,特征数];

e、通过历史火点数据生成目标样本矩阵,目标样本矩阵的大小和步骤d中生成的大型矩阵保持一致;

f、将目标样本矩阵的数据和步骤d中生成的大型矩阵的数据进行映射,并将整个数据分成不同大小的数据集,即可形成batch数据;batch数据组装过程中,正例数据较少,为了解决比例失衡,在每次使用时都会将正例数据进行组装到每个batch中;

f、基于batch数据构建深度网络模型,所述深度网络模型包括卷积层、融合层、lstm层、全连接层;

所述卷积层是由多个卷积单元堆叠而成,每个卷积单元采用如下方法得到:首先将batch数据作为输入矩阵进行卷积计算得到卷积结果,所述卷积计算公式为:c=a*b,其中*表示卷积运算,a表示输入矩阵和一个b卷积核矩阵,所述卷积运算采用如下的离散计算公式:其中m,n为卷积核的大小值。wm,n为卷积核中m,n位置的值,b为偏执项;然后将得到的卷积结果进行最大池化得到卷积单元

所述融合层对得到的卷积单元采用add方法进行融合,具体的,将卷积层得到的卷积单元进行flatten展开,并加入新的特征,所述新的特征的shape和输入的矩阵大小一致,再按照时间维度进行stack,得到融合矩阵[batch_size,time_steps,depth],其中depth=w*h;

所述lstm层包括lstmcell层、dropper层和full-connect层,将融合矩阵[batch_size,time_steps,depth]输入lstmcell层后再依次经过dropper层和full-connect层处理并使用结果函数进行输出得到lstm数据,所述结果函数采用维tanh函数输出,所述维tanh函数如下所述:

所述全连接层将得到lstm数据以及从batch数据中提取的当日气象数据进行融合处理;

g、采用多epoch对深度网络模型进行训练,并采用多gpu来进行深度网络模型的训练,cpu负责参数的更新,而gpu来进行网络的训练,得到最终的山火预测模型。

该基于深度网络学习的山火预测模型建立方法通过构建时间和空间维度上的自动特征提取网络,并对海量历史数据进行学习,达到山火预测预警分析,克服了传统学习方式在海量数据上的瓶颈,能有效利用gpu和分布式来进行快速训练;摒弃了传统人工特征的方式,实现特征自动化;使用了深度网络来灵活的对不同维度特征进行有效融合,从而提升了山火风险预测模型的预测效率和预测准确性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1