一种基于光学图像和红外图像融合分析的森林防火监测方法与流程

1.本发明属于图像检测技术领域，具体涉及一种基于深度学习和光学图像和红外图像融合分析的森林防火监测方法。


背景技术：

2.森林火灾是全球性的林业重要灾害之一，在破坏森林的各种因素中，森林火灾是最为严重的，每年都会造成林木资源的重大损失和灾区及周边地区大范围的环境污染。很多地区由于干旱致使森林火灾多发，不仅严重破坏了森林资源，而且造成了巨大的经济损失。
3.森林防火的难度在于森林面积广、交通不方便、通信困难及能源供应缺乏等问题，目前针对森林火灾的监测，主要采用人工嘹望、远程视频监控及卫星遥感监测等方法。人工嘹望的方法比较落后，难以及时发现火情，往往延误扑火时间，造成严重后果。利用数字视频技术和现代通信技术结合的远程视频监控系统，其工作方式主要为：在林区范围内各监测点处安置摄像头，并通过有线或无线数据传输网络实现画面实时送达监控中心，由中心工作人员实施监控。虽然这类系统避免了直接派驻人员的麻烦，可以在一定程度上提高火灾报警的及时性，但实时视频的传输需要庞大且昂贵的通信网络保证。此外，发生火灾的情况相对比较少，故多数时间系统传送的是安全状况下的画面。但由于火情发生难以预测，理论上工作人员必须24小时不间断的监视各监测点传送的视频，否则依然可能延误火情的预报。因此此类预警系统的工作效率不高但投入的人力和物力却较高。采用卫星遥感方式进行监测，通过对遥感照片处理从而发现火灾，由于高分辨率卫星绕地球同一地点的周期较长，对于小面积森林火灾不能有效监控。这些监测手段的运用，对加强森林资源管理是至关重要的，但也明显存在不足。能采用简单易行的方法完成森林防火监控，成为有效保护森林资源的当务之急。


技术实现要素：

4.本发明的目的是：针对背景技术描述的问题，本发明提供一种基于光学图像和红外图像融合分析的森林防火监测方法。
5.为了解决上述问题，本发明所采用的技术方案是：一种基于光学图像和红外图像融合分析的森林防火监测方法，其特征在于，包括如下步骤：
6.s1，利用高斯混合背景建模与灰度阈值法分别对光学图像与红外图像进行预处理提取特征信息；
7.s2，将预处理得到的特征信息进行整合并生成归一化子图传入yolo v3目标检测网络；
8.s3，基于预训练好的yolo v3目标检测模型对火焰情况进行分类检测，生成分析报告；
9.s4，根据分析报告来标记具体起火位置并送人工复检决定是否采取相关措施。
10.进一步的，所述步骤s1中，利用高斯混合背景建模对光学图像进行预处理，具体方法包括：
11.(1)模型初始化，第一帧图像的每个像素值作为均值，并设置方差w，建立q数量的高斯混合模型，q默认为1，w默认为1.0；
12.(2)模型学习，将当前帧的像素点和已有的高斯模型对应的像素点作比较，若：
13.满足|x
k
‑
u
(q，k)
|＞2.5σ
(q，k)
，需要进行增加高斯分量；
14.满足|x
k
‑
u
(q，k)
|＝2.5σ
(q，k)
，需要进行替换高斯分量；
15.满足|x
k
‑
u
(q，k)
|＜2.5σ
(q，k)
，判断背景和前景；
16.其中，x
k
为新像素值，u
(q，k)
为均值，σ
(q，k)
为标准差，k为第k个高斯分量；
17.针对森林场景的监控视频，调低标准差的系数，由默认2.5改为1.5+0.5；
18.若满足|x
k
‑
u
(q，k)
|＜1.5+0.5σ
(q，k)
，判断背景和前景；
19.判断公式为：
[0020][0021]
其中，w
q
为权重归一化后的结果，b为选出的背景模式数量，t表示背景所占的比例；
[0022]
高斯混合模型的迭代计算公式为：
[0023]
w
q
(k+1)＝(1
‑
α)w
q
(k)+αm
q
(k+1)
[0024]
μ
q
(k+1)＝(1
‑
ρ)μ
q
(k)+ρi(k+1)
[0025][0026]
ρ＝αg(i(k+1)；μ
q
，σ
q
)
[0027]
其中，α和ρ代表学习率，w
q
表示权值，μ
q
是均值，是方差，k为第k个高斯分量，m
q
是求第k个高斯分量的像素均值的函数，i表示求第k个高斯分量的像素值的函数，g是求学习率的函数；
[0028]
(3)对得到的前景图像进行5*5中值滤波去噪；
[0029]
(4)利用opencv对步骤(3)得到的图像进行烟火检测，预处理结束。
[0030]
进一步的，所述步骤s1中，利用opencv对红外图像进行烟火检测，每隔一段时间将森林的环境温度与预设的森林环境温度表进行对比，设定一个温度阈值t，如果温度大于t，则检测到异常，将提取可疑信息并传至云端服务器进行进一步检测；检测过程中，一些热源的出现会影响检测结果，采用meanshift跟踪算法对可疑热源进行追踪计算其移动速度，减少运动生物可能带来的影响，具体步骤为：
[0031]
(1)mean shift的向量基本形式的定义为：
[0032][0033]
其中，x表示空间中任意一点，x
i
表示第i个样本点，n表示样本点x
i
有k个点落入s
k
区域中；s
h
是一个半径为h的高维球区域，满足以下关系的y点的集合：
[0034]
s
h
(x)≡{y：(y
‑
x)
t
(y
‑
x)≤h2}
[0035]
(2)将检测到的可疑对象在视频首帧中框出，作为mean shift的输入；
[0036]
(3)提取对象的轮廓，从图像中获取对象的特征信息，并设置跟踪参数；
[0037]
(4)对得到的信息进行反向投影，获得反向投影图，计算反向投影的公式如下：
[0038][0039]
其中，m是直方图区间的个数，u表示直方图的个数，q
u
每一个直方图对应的频数，b(x
i
)表示图像在点x
i
位置的像数值，δ表示冲击响应函数；
[0040]
(5)根据反向投影和物体轮廓进行mean shift迭代，收敛后移动到检测目标上，返回目标位置的标记，具体的迭代公式如下：
[0041][0042]
其中，f
k
为当前位置的中心坐标，z
i
为当前区域像素，r为核函数窗口大小，w
i
为bhattacharyya系数，g为高斯核函数的导函数。
[0043]
(6)将返回的结果在下一帧中作为输入，实现可疑对象的跟踪并根据位置坐标计算其移动速度，移动速度超过某一阈值并且温度差异不是很大则判定为生物运动，预处理结束。
[0044]
本发明实施例提供的上述技术方案的有益效果至少包括：本发明方法能够改善传统的森林防火检测方法；通过对监控图像预处理并进行火焰分类检测，在减轻服务器压力，节省传输资源的前提下改善森林防火的监测。
[0045]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0046]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0047]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0048]
图1为本发明实施例公开的一种基于光学图像和红外图像融合分析的森林防火监测方法的流程图。
[0049]
图2～图4为本发明实施例公开的对光学图像处理的示例。
[0050]
图5～图6为本发明实施例公开的对红外图像进行烟火检测结果的示例。
[0051]
图7～图8为本发明实施例公开的云端检测结果的示例。
具体实施例
[0052]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0053]
本发明提供一种基于光学图像和红外图像融合分析的森林防火监测方法。整个数据流程如图1所示，详细过程描述如下：
[0054]
i.利用高斯混合背景建模与灰度阈值法分别对光学图像与红外图像进行预处理提取特征信息；
[0055]
ii.将预处理得到的特征信息进行整合并生成归一化子图传入yolo v3目标检测网络；
[0056]
iii.基于预训练好的yolo v3目标检测模型对火焰情况进行分类检测，生成分析报告；
[0057]
iv.根据分析报告来标记具体起火位置并送人工复检决定是否采取相关措施。
[0058]
所述步骤i具体为：
[0059]
i.1利用高斯混合背景建模对光学图像进行预处理，具体步骤为：
[0060]
i.11模型初始化，第一帧图像的每个像素值作为均值，并设置一个较大的方差，建立对应数量的高斯混合模型。
[0061]
i.12模型学习，将当前帧的像素点和已有的高斯模型对应的像素点作比较，若满足|x
k
‑
u
(q，k)
|＞2.5σ
(q，k)
，需要进行增加高斯分量；
[0062]
若满足|x
k
‑
u
(q，k)
|＝2.5σ
(q，k)
，需要进行替换高斯分量；
[0063]
若满足|x
k
‑
u
(q，k)
|＜2.5σ
(q，k)
，判断背景和前景；
[0064]
针对森林场景，调低参数值，这里使用1.5
±
0.5，若满足|x
k
‑
u
(q，k)
|＜(1.5
±
0.5)σ
(q，k)
，判断背景和前景；
[0065]
其中x
k
为新像素值，u
(q，k)
为均值，σ
(q，k)
为标准差，k为第k个高斯分量；判断公式为：
[0066][0067]
其中，w
q
为权重归一化后的结果，b为选出的背景模式数量，t表示背景所占的比例；
[0068]
高斯混合模型的迭代计算原理为：
[0069]
w
q
(k+1)＝(1
‑
α)w
q
(k)+dm
q
(k+1)
[0070]
μ
q
(k+1)＝(1
‑
ρ)μ
q
(k)+ρi(k+1)
[0071][0072]
ρ＝αg(i(k+1)；μ
q
，σ
q
)
[0073]
其中，α和ρ代表学习率，w
q
表示权值，μ
q
是均值，是方差，k为第k个高斯分量，m
q
是求第k个高斯分量的像素均值的函数，i表示求第k个高斯分量的像素值的函数，g是求学
习率的函数；
[0074]
i.13对得到的前景图像进行5*5中值滤波去噪。
[0075]
i.14利用opencv对i.13得到的图像进行烟火检测，预处理结束。
[0076]
i.2利用opencv对红外图像进行烟火检测(检测结果如图5)，每隔一段时间将森林的环境温度与预设的森林环境温度表进行对比，设定一个温度阈值t，如果温度大于t，则检测到异常，将提取可疑信息并传至云端服务器进行进一步检测。检测过程中，一些热源的出现会影响检测结果，本方法采用meanshift跟踪算法对可疑热源进行追踪计算其移动速度，减少运动生物可能带来的影响，具体步骤为：
[0077]
i.21 mean shift的向量基本形式的定义为：
[0078][0079]
其中，xi表示第i个样本点，k表示样本点xi有k个点落入sk区域中，sh是一个半径为h的高维球区域，满足以下关系的y点的集合：
[0080]
s
h
(x)≡{y：(y
‑
x)
t
(y
‑
x)≤h2}
[0081]
i.22将检测到的可疑对象在视频首帧中框出，作为mean shift的输入。
[0082]
i.23提取对象的轮廓，从图像中获取对象的特征信息，并设置跟踪参数。
[0083]
i.24对得到的信息进行反向投影，获得反向投影图，计算反向投影的公式如下：
[0084][0085]
其中，m是直方图区间的个数，u表示直方图的个数，q
u
每一个直方图对应的频数，b(x
i
)表示图像在点xi位置的像数值，δ表示冲击响应函数。
[0086]
i.25根据反向投影和物体轮廓进行mean shift迭代，收敛后移动到检测目标上，返回目标位置的标记，具体的迭代公式如下：
[0087][0088]
其中，f
k
为当前位置的中心坐标，z
i
为当前区域像素，h为核函数窗口大小，wi为bhattacharyya系数。
[0089]
i.26将返回的结果在下一帧中作为输入，实现可疑对象的跟踪并根据位置坐标计算其移动速度，移动速度超过某一阈值并且温度差异不是很大则判定为生物运动，预处理结束。
[0090]
下面结合具体实例对本发明方法进行进一步的详细说明。
[0091]
(1)前端预处理
[0092]
森林摄像头所覆盖的区域范围较大且得到图片质量不一。为了减小数据量，实现实时进行火灾检测，先在前端进行数据筛选、过滤与整合。
[0093]
1)对光学图像的处理
[0094]
由于森林天气变化，导致场景给的明暗程度随之变化。如果采用一般的烟火检测算法，极容易受到影响。所以我们先对视频进行建模，分出前景和背景，以便适应森林变化的环境。其次，在出现火灾的场景中如果摄像头距离火焰太近，容易出现热风现象。以图2情况为例，具体表现为前景出现很多椒盐噪声，如图3左部所示。对于这种情况我们使用了中值滤波过滤的方法去噪。得到的前景图像如图4所示。
[0095]
对于森林场景采用高斯混合模型的背景建模和中止滤波去噪的方法能够取得很好的效果。
[0096]
通过此方法提取出可疑区域，可疑区域可能是森林火灾，也可能是一些人为影响，烟火的类型和大小分级比较多，前端的主要任务是判断是否有安全隐患，因此在前端的数据筛选过程中会适当降低传输条件的精度以防止漏检的发生。
[0097]
2)对红外图像的处理
[0098]
利用opencv对红外图像进行烟火检测(检测结果如图5)。检测过程中，一些热源的出现会影响检测结果。
[0099]
首先，检测到的对象边缘进行连通域分析，带入到实景中计算目标对象轮廓的面积。同时采集目标对象的温度情况。
[0100]
先判断温度，如果对象的面积较大且温度高于50℃，即可判定为有火，并向云端服务器传输数据。
[0101]
if(temperature>50&&area>2)send()
[0102]
对于一些刚出现的火焰，检测温度低并且面积也不大，需要采用视频追踪算法。这里采用了opencv中mean shift的视频追踪方法，根据得到的轨迹判断检测对象是否为火焰。但由于火势的蔓延，检测到的火焰对象可能也拥有一定的移动轨迹会被跟踪算法检测出来，考虑该地区目前的风速与风向，这里设置一个速度阈值，如果热源的移动速度小于预设阈值，即可向云端服务器传输数据。
[0103]
speed＝wind effect
±
0.4(根据不同地区取值可能有差异)km/h
[0104]
if(trajectory/time<speed)send()
[0105]
如图6，一个行人走过山路，使用视频跟踪算法得到轨迹，并根绝轨迹计算出热源的速度。热源移动速度大于预设阈值，判定其为非火焰目标。
[0106]
(2)传输前的准备
[0107]
由于项目对于精度要求高，所以设置条件：只要光学图或者红外图有一项符合起火条件即判定为起火，并准备向云端服务器传输数据。首先对于图像先进行裁剪，保留识别出的对象范围及周围区域，然后对光学和红外图像进行归一化，然后将通道整合(得到四通道数据)，传到云端服务器。
[0108]
(3)云端检测
[0109]
采用基于yolov3的深度学习网络对烟火进行目标检测。首先模型应实现对火灾是否出现的判别。
[0110]
对于四通道图像我们将模型检测出的火焰区域与第四通道(红外信息)相应的区域对比，如果第四通道对应区域与周围区域无明显边界，应送人工复检，确认是否为其他物体进入场景。另外还要对出现的火灾进行等级评定和以及对火焰种类的简单分析。检测结
果如图7和图8所示。
[0111]
(4)后续灭火协作
[0112]
对于已经确认的火灾，采集起火地不同位置的摄像头拍摄的图像，根据传感器安装位置和姿态信息，对数据进行整合分析，确定具体的着火点。并在已有的三维模型上标注出起火位置，方便消防部门针对火情和地形制定相应的灭火计划。
[0113]
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
[0114]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
[0115]
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
[0116]
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd
‑
rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
[0117]
对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
[0118]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。