基于连续时序遥感态势数据的林火蔓延预测方法及电子设备与流程

[0001]
本发明涉及林火蔓延预测技术领域，具体涉及一种基于连续时序遥感态势数据的林火蔓延预测方法及电子设备。


背景技术：

[0002]
近年来全球变暖趋势导致世界各地森林火情频繁发生，如何连续快速监测火场态势并预测蔓延趋势，对提高消防救援效能、降低经济损失和生态灾害具有重要的意义。
[0003]
林火态势监测方面，目前广泛应用卫星遥感技术，美国nasa的modis卫星提供全球范围内的火点监测产品，日本新一代静止轨道气象卫星himawari-8具有高频率连续对地观测的能力，可持续对发生的火点进行监测。由于卫星影像的空间分辨率一般较低，只能获取宏观的火场态势；同时受到回归周期、云霾等影响，难以实现小时级连续的高分辨率监测。飞机航拍也是目前常用的手段，可以实现小时级连续的高分辨率监测。因卫星遥感和飞机航拍均需要下载后专业处理，尚未发展实时接收快速处理技术，还没有小时级连续时序的高分辨率实时监测实时处理的能力。
[0004]
火情蔓延预测方面，因为火情发展受到多种因素的影响，包括气象的风速风向、温度湿度，地势的构型、布局、尺度，地物的类型、分布、密度，特别是植被的季节型含水量变化等，加之卫星和航拍没有小时级连续时序的高分辨率实时监测实时处理的局限，目前火情蔓延的研究主要集中在林火蔓延的模型构建，按模型类型可以分为统计模型、物理模型和半经验模型。林火蔓延模型速度场的计算一般采用经验模型，通过实际观测的数据总结规律，得到林火蔓延速度与地形、可燃物特性等参数之间的关系，主要代表有美国rothermel模型、加拿大林火蔓延模型、澳大利亚mrarthur模型和中国王正非林火蔓延模型等。林火蔓延模型的数据来源主要是卫星数据，近年来有学者在融合航拍实时观测的火蔓延数据，并根据观测数据与模型结果的对比修正模型参数，尚未有基于小时级连续时序态势数据研发小时级林火蔓延预测技术。
[0005]
针对现有卫星和航拍林火监测预测的技术与应用瓶颈，本发明提出一种基于连续时序遥感态势数据的林火蔓延预测技术，该技术以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。


技术实现要素：

[0006]
针对现有技术的局限，本发明公开了一种基于连续时序遥感态势数据的林火蔓延预测方法及电子设备，用于解决现有卫星和航拍林火蔓延态势监测和预测的技术与应用瓶颈。
[0007]
本发明通过以下技术方案予以实现：
[0008]
第一方面，本发明公开一种基于连续时序遥感态势数据的林火蔓延预测方法，所述方法包括以下步骤：
[0009]
s1利用无人机等遥感态势感知系统获取小时级连续时序的火场态势数据；
[0010]
s2采用深度学习语义分割技术和ndvi指数，对s1中获取的态势数据或卫星与航拍遥感历史数据识别分割得到火场的地势与地物分类信息；
[0011]
s3采用红外温度图像识别技术，对s1中获取的态势数据识别提取各过程时序的监测火线，并解析火线的蔓延方向和速度；
[0012]
s4采用深度学习全连接神经网络技术，综合s2中获取的火场地势与地物分类信息和s3中获取的各过程时序火线蔓延方向和速度，解算未来时刻火线蔓延的方向、速度和方差，拟合获取小时级火线预测带，并逐时序和短周期迭代提高预测精度。
[0013]
更进一步的，所述s1中，遥感态势感知系统可搭载无人机平台和有人机及卫星平台，其获取的火场态势数据包括可见光与红外光双光谱正射影像和实景三维模型。
[0014]
更进一步的，所述s2中，火场地势与地物识别分割包括基于遥感高程数据的地势类型识别分割、基于遥感可见光与红外光数据的地物类型识别分割。
[0015]
更进一步的，所述地势类型识别分割，采用fcn深度学习神经网络模型，基于卫星和航拍遥感数据高程信息进行监管区域的地势分类，可定期更新存储或现场处理应用，用于解析火场的地势格局和坡度等地理空间环境信息。
[0016]
所述地势类型识别分割模型，采用公开的遥感dem数据进行训练，将其高程信息转换为只有一个通道的灰度影像，裁剪为影像块，图像块中存储归一化的高程值，取值的范围为[0,1]，并采用卫星遥感影像数据辅助进行。
[0017]
更进一步的，所述地物类型识别分割，采用deeplab v3+深度学习神经网络模型和ndvi指数，基于卫星和航拍遥感影像数据进行监管区域的地物分类，可定期更新存储或现场处理应用，用于解析火场的地物分布和植被密度等地理空间环境信息。
[0018]
所述地物类型识别分割模型，利用卫星与航拍遥感历史数据进行训练，采用可见光遥感影像的三个通道数据作为输入，并对识别分割图像进行腐蚀再膨胀处理，去除语义分割产生的小目标。
[0019]
更进一步的，所述地物类型识别分割ndvi指数，利用遥感红外光数据和可见光影像的红色波段数据计算区分不同密度的植被，算式写为：
[0020]
ndvi＝(nir-red)/(nir+red)
[0021]
nir为近红外波段的反射率，red为红色波段的反射率。
[0022]
更进一步的，所述s3中，火线的提取方法为，基于无人机等遥感态势感知系统获取的各过程时序红外光正射影像，识别分割为过火区域、燃烧区域和未燃区域，利用燃烧区域与未燃区域的轮廓定位的方式提取确定火线，再采用自适应的火线拟合策略，进行三次样条函数平滑处理得到一定分辨尺度的拟合火线。
[0023]
更进一步的，所述s3中，火线蔓延方向的确定方法为，采用自适应的关键点采样策略，选取拟合火线曲率拐点为基础关键点，再根据曲率变化幅度和地势地物分布情况，在基础关键点间均衡选取中间关键点，计算关键点的法线方向即为该关键点的火线蔓延方向。
[0024]
更进一步的，所述s3中，火线蔓延速度的计算方法为：
[0025]
根据前一时序拟合火线关键点沿蔓延方向与后一时序拟合火线的间距，计算该关
键点的蔓延速度，算式写为：
[0026][0027]
更进一步的，所述s4中，火线蔓延预测采用全连接深度学习神经网络模型，包含两个隐藏层，每个隐藏层都经过bn(batchnormalization)和relu(rectified linear unit)处理，输入数据包括火场地势地物识别分割信息和连续时序拟合火线信息，使用卫星和航拍遥感历史林火数据进行训练优化，解析各时序拟合火线关键点在地势地物静态因素和气象植被等动态因素条件下的蔓延方向和速度，推理当前时序拟合火线关键点的蔓延方向、速度和位置，并拟合获得未来时刻的预测火线。
[0028]
更进一步的，所述火线蔓延预测模型在林火现场使用时，无人机等遥感态势感知系统获取的第一二个时序拟合火线数据用于火线蔓延预测模型训练并开始火线蔓延预测，自第三个时序开始，每个拟合火线数据均用于迭代优化火线蔓延预测模型并继续后续的火线蔓延预测，以持续提高预测精度。
[0029]
更进一步的，所述火线蔓延预测模型根据连续时序的训练预测结果，统计预测值和监测值的方差，从而获得一个火线预测带作为最终的预测结果。
[0030]
更进一步的，所述火线蔓延预测模型可以较短的时间周期迭代得到较长的未来时刻预测结果，进而获得更高精度的预测结果。
[0031]
第二方面，本发明公开一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行第一方面所述的基于连续时序态势数据的林火蔓延预测方法。
[0032]
本发明的有益效果为：
[0033]
本发明以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1是本发明实施例的系统架构图；
[0036]
图2是本发明实施例无人机态势感知系统的系统构架图；
[0037]
图3是本发明实施例无人机态势感知系统的数据处理示意图；
[0038]
图4是本发明实施例无人机态势感知系统的火场扫描示意图；
[0039]
图5是本发明实施例无人机态势感知系统的连续时序火线蔓延示意图；
[0040]
图6是本发明实施例地势识别分割模型的训练流程图；
[0041]
图7是本发明实施例地势识别分割模型的训练用原始数据与转换数据示意图；
[0042]
图8是本发明实施例地物识别分割模型的系统架构图；
[0043]
图9是本发明实施例地势与地物识别分割数据融合示意图；
[0044]
图10是本发明实施例拟合火线示意图；
[0045]
图11是本发明实施例拟合火线关键点选取示意图；
[0046]
图12是本发明实施例火线蔓延预测模型的架构图；
[0047]
图13是本发明实施例火线蔓延预测模型的流程图；
[0048]
图14是本发明实施例火线蔓延预测模型的地势坡度计算示意图；
[0049]
图15是本发明实施例火线蔓延预测模型的预测方差示意图；
[0050]
图16是本发明实施例火线蔓延预测模型的短周期迭代示意图。
具体实施方式
[0051]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
实施例1
[0053]
本实施例公开基于连续时序遥感态势数据的林火蔓延预测方法，以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，综合卫星和航拍数据识别分割得到的火场地势与地物分类信息，应用人工智能深度学习算法，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，逐时序迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
[0054]
本实施例系统架构包括三个核心模块：地势地物识别分割模块、火场态势解析模块和火线蔓延预测模块，参见图1。
[0055]
其中，地势地物识别分割模块采用深度学习的语义分割技术，通过卫星和航拍遥感历史数据作为样本来训练神经网络模型，对典型季节的遥感历史数据或无人机等遥感态势感知系统的正射影像和三维模型进行火场地势和地物分类识别分割，得到火线蔓延分析预测所需的地理空间环境数据。
[0056]
火场态势解析模块采用红外温度图像识别技术，对无人机等遥感态势感知系统获取的红外光正射影像进行识别分割，提取拟合各过程时序的监测火线，并解析火线的蔓延方向和速度。
[0057]
火线蔓延预测模块采用深度学习的全连接结构，基于火场的地势地物分类数据和连续时序的火场态势解析数据，通过卫星与航拍遥感历史林火态势数据训练优化的深度神经网络模型，预测未来时刻火线蔓延的方向、速度和方差，拟合火线蔓延预测带，并逐时序和短周期迭代提高预测精度。
[0058]
实施例2
[0059]
本实施例公开无人机态势感知系统，包括无人机平台、双光谱视频吊舱、飞控地面站和态势地面站，系统架构见图2。
[0060]
飞控地面站控制无人机和视频吊舱按设定的航线和姿态扫描监测区域，态势地面站实时接收处理视频吊舱的双光谱视频数据，自动生成双光谱正射影像和实景三维模型，
如图3所示，并配套基于动态视频和二维正射影像的纹理、温度、几何特征及三维模型的空间变量的智能识别分析功能模块。
[0061]
无人机态势感知系统连续时序地扫描林火现场时，可智能识别提取当前时序和连续时序的火线，如图4、图5所示。
[0062]
无人机态势感知系统基于双光谱航拍视频流的实时数据处理技术包括：
[0063]
1)实时双光谱正射影像拼接
[0064]
本实施例公开一种综合利用多种信息的无人机视频实时快速正射拼接方法，该方法以pos数据作为相机位置和姿态的初始值，利用关键帧图像特征点提取和匹配结果来构建图优化的约束，然后基于图优化对相机位置和姿态进行优化更新，最后利用优化后的相机位置和姿态来进行视频图像的实时快速正射拼接。
[0065]
2)实时迭代实景三维建模
[0066]
本实施例公开一种融合pos信息、slam技术、并行密集匹配和点云匹配技术的实时三维模型重建方法，该方法利用pos数据来直接提取关键帧并作为初值建立初始的点云模型，利用点云融合技术来对密集匹配的点云进行匹配得到精确的点云，并利用点云匹配技术来实现点云的融合，点云融合后生成三角网并进行纹理映射，最终得到具有真实纹理的三维模型。
[0067]
本实施例的双光谱视频吊舱、态势地面站也可搭载在大型无人机平台和有人机平台，实现机载一体化的态势扫描与分析。
[0068]
实施例3
[0069]
本实施例公开基于深度学习语义分割技术和ndvi指数的地势地物识别分割模块。
[0070]
深度学习在图像识别、目标监测、语义分割等领域都取得了巨大的进展，其中在语义分割方面，以全卷积网络(full convolutionalnetworks)为基础的神经网络能够实现像素级别的语义分割。
[0071]
1)基于遥感高程数据的地势类型语义分割
[0072]
本实施例地势识别分割模块采用基于卫星和航拍遥感数据高程信息的深度学习神经网络模型进行监管区域的地势分类，包括平原、丘陵、山地、沟壑等类型，可定期更新存储或现场处理应用，用于解析火场的地势起伏和坡度等地理空间环境信息。
[0073]
本实施例采用公开的遥感dem数据进行地势分类深度学习神经网络模型训练，主要使用美国nasa新一代对地观测卫星terra的aster-gdem v2数据，可以将其高程信息转换为只有一个通道的灰度影像。由于高程数据转换为一个波段，且地势类型也比较简单，本实施例地势识别分割模块采用fcn深度学习神经网络模型。
[0074]
本实施例地势识别分割模型采用基于fcn的语义分割架构，该架构是为像素级别的图像分割来设计，其训练流程如图6所示。由于直接用高程数据进行标签难度较大，本实施例采用30m分辨率的 aster-gdem v2数据，裁剪为500x500的影像块，图像块中存储了归一化的高程值，取值的范围为[0,1]，作为训练输入数据，参见示意图7。
[0075]
本实施例采用卫星遥感影像数据辅助进行地势的识别分类，包括广泛使用的landsat系列，以及我国自主研发的环境卫星和高分卫星的数据。
[0076]
2)基于遥感可见光数据的地物类型语义分割
[0077]
本实施例地物识别分割模块采用基于卫星和航拍遥感可见光影像数据的深度学
2。
[0095]
火线蔓延方向的确定方法：
[0096]
根据拟合火线变化幅度和地势地物分布情况选取关键点，如图11 中curve-1上的p1点等，计算关键点的法线方向即为该关键点的火线蔓延方向，如图10中的
[0097]
火线蔓延速度的计算方法：
[0098]
根据前一时序拟合火线关键点沿蔓延方向与后一时序拟合火线的间距，计算关键点的蔓延速度，如图10中curve-1关键点p1的法线与curve-2的交点p1’，关键点p1的蔓延速度为p1与p1’的距离除以时间差(t2-t1)来得到，算式写为：
[0099][0100]
鉴于火场蔓延态势复杂，火线蔓延过程分析预测采用自适应的火线拟合和关键点采样策略，即根据火场的面积规模和火线的监测尺度，火线拟合平滑的分辨尺度一般设置为10-100米，以过滤不影响态势监测和蔓延预测的火线细小凸凹；相应的，选取拟合火线曲率拐点为基础关键点后，还需根据拟合火线曲率变化幅度和地势地物分布情况，在基础关键点间均衡选取中间关键点，例如，曲率变化大幅度的区间按20米间距均衡选取，中幅度的区间按50米间距均衡选取，小幅度的区间按100米间距均衡选取，如图11所示。
[0101]
实施例5
[0102]
本实施例公开基于深度学习全连接神经网络技术的火线蔓延预测模块。
[0103]
火情蔓延过程与预测，涉及的因素与规律复杂多变，影响因素包括气象的风速风向、温度湿度，地势的构型、布局、尺度，地物的类型、分布、密度，特别是植被的季节性含水量变化等，且林火现场难以实时、全面、精确地监测获得相关因素状态参数，从而难以通过有限的历史数据建立有效的经验模型并实现精确的蔓延预测。
[0104]
深度学习神经网络得益于庞大的结构设计，能够对真实世界中异常复杂的问题进行精确的模拟分析，获得优异的识别预测结果。本实施例采用基于小时级连续时序火场态势数据的深度学习神经网络模型进行连续迭代优化的小时级火线蔓延过程分析和预测，模型输入仅考虑火情蔓延态势的静态影响因素，包括地势的构型、布局、尺度和地物的类型、分布、密度等，而动态影响因素，包括气象的风速风向、温度湿度和植被的季节性含水量等，则由深度学习神经网络模型利用火场蔓延过程态势数据进行动态识别分析并用于蔓延预测分析。
[0105]
本实施例火线蔓延预测采用深度学习全连接结构神经网络模型，架构见图12所示，包含两个隐藏层，第一个隐藏层为128维，第二个隐藏层为64维，每个隐藏层都经过bn(batch normalization)和relu(rectified linear unit)处理，bn可以让神经网络模型的输入保持相同分布，relu可以克服梯度消失的问题并加快训练速度。在林火现场应用预测中，过程时序态势数据可以进行不断的迭代，每隔一段时间可以根据最新时序的态势数据来对模型进行优化得到更优的解。
[0106]
本实施例火线蔓延预测模型的输入数据包括火场地势地物识别分割信息和连续时序监测火线信息，使用卫星和航拍遥感历史林火数据进行训练优化，解析各时序监测火线关键点在地势地物静态因素和气象植被等动态因素条件下的蔓延方向和速度，解算当前
时序监控火线关键点的蔓延方向、速度和位置，并拟合获得未来时刻的预测火线，流程如图13所示。
[0107]
本实施例采用地势方差和相对坡度正弦值对地势识别分割数据进行量化，作为火线蔓延预测模型的输入数据。地势方差可以根据地势分类来设置，相对坡度则根据高程数据计算。坡度需沿着火线关键点蔓延的方向计算。本实施例在关键点的正射影像上按照8邻域的关系，将方向离散分配8个方向，分别对应0、45、90、135、180、225、270 和315度，如图14所示，图中每个方框中的值为高程值，根据火线关键点蔓延方向选择相邻的两个位置计算出相对的坡度，坡度的计算公式为：
[0108]
θ＝atan(δl，δz)，
[0109][0110]
在深度学习模型中，输入的数据尽量要归一化，所以用sin(θ)来作为神经网络的输入值。
[0111]
本实施例火线蔓延预测模型根据训练预测的结果，可以统计预测值和监测值的方差σ，从而获得一个火线蔓延预测带作为最终的预测结果，如图15所示，c
current
是当前时序监测火线，c
predict
是未来时刻基准预测火线，c
predict
+σ是正方差预测火线，c
predict-σ是负方差预测火线。
[0112]
本实施例在林火现场使用时，无人机等遥感态势感知系统获取的第一二个时序监测火线数据用于火线蔓延预测模型训练并开始火线蔓延预测，自第三个时序开始，每个监测火线数据均用于迭代优化火线蔓延预测模型并继续后续的火线蔓延预测，以持续提高预测精度。
[0113]
在火灾现场应用中，为合理预测火线蔓延过程和提高火线蔓延预测精度，本实施例提出一种以较小的时间周期迭代得到较长的未来时刻预测结果的方法，例如当前时序监测火线的未来1小时预测火线，可以15分钟为周期连续迭代4次预测，如图16所示，进而获得更高精度的预测结果。
[0114]
实施例6
[0115]
本实施例公开一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行基于连续时序态势数据的林火蔓延预测方法。
[0116]
综上，本发明以无人机等遥感态势感知系统获取的小时级连续时序的火场态势数据为基础，应用人工智能深度学习神经网络技术，综合卫星和航拍遥感数据识别分割得到的火场地势与地物分类信息，解析火场各过程时序的蔓延方向和速度，并预测未来小时级火线蔓延的方向和速度，并逐时序和短周期迭代提高预测精度，以实现更高精度和时效的林火态势评估和应急救援。
[0117]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。