一种基于卷积神经网络的森林火灾告警方法与流程

[0001]
本发明涉及计算机视觉分析领域和深度神经网络技术，具体涉及一种基于卷积神经网络的森林火灾告警方法。


背景技术：

[0002]
随着我国社会经济不断发展，环境、环保问题日益突出，而森林资源对缓解温室效应、净化空气、保持水土等方面有着重要的作用，同时森林资源也是重要的工业原材料。在我国，每年因为森林火灾，不仅造成了生态环境破坏，而且还造成了人民生命财产的损失，因此对森林火灾实施有效的监控是非常有必要的。
[0003]
目前，大部分森林区域要么没有监控火情的装置，要么采用人工巡逻发现；或者设置监控，然后护林人员在监控室定时查看；或者使用红外检测系统；这几种种方式实时性差，不能及时的发现火情，而且浪费了很多人力，另外红外检测，常常在火势较小或者只是有烟雾的时候，不能及早发现，效率不高。


技术实现要素：

[0004]
有鉴于此，本发明提出了一种基于卷积神经网络的森林火灾告警方法，通过卷积神经网络模型和图像识别算法，能够自动的分析监控视频，自动的判断监控区域是否有火灾发生，不需要人员巡逻，也不需要人员去观察监控视频，同时以卷积神经网络模型为代表的深度学习算法在图像识别领域精确度已经达到了很高的精确度，对于早期的森林烟雾和很小的火苗有较好的识别效果，避免了红外监控的缺点，提高了识别的实时性、准确性。
[0005]
本发明是通过以下技术方案实现的：一种基于卷积神经网络的森林火灾告警方法，包括如下步骤：
[0006]
s1：采集有关森林火灾的视频以及图片数据，将视频数据序列化为图片，预处理之后，形成样本数据；
[0007]
s2：使用样本数据训练一个识别火灾的卷积神经网络模型；
[0008]
s3：采集实时监控视频数据，输入步骤s2所述的卷积神经网络模型，实时分析是否有火灾发生，如果发生火灾，则产生告警信息。
[0009]
作为优选地，所述步骤s1的具体流程如下：
[0010]
s11：使用ffmpeg库对视频数据进行帧序列化，将视频数据转换为图片数据；
[0011]
s12：对图片数据进行分类，图片数据中包含火灾的图片分类为正样本，没有火灾发生的图片分类为负样本，根据实际情况再加入合适数量的负样本；
[0012]
s13：判断是否发生火灾有两个要素：是否产生烟雾或者明火；
[0013]
作为优选地，所述步骤s2，还包含以下步骤：
[0014]
s21：对所有样本数据进行预处理，等比例压缩，归一化操作；
[0015]
s22：对输入图像数据进行高斯滤波，过滤图像中的噪点；
[0016]
s23：训练使用的主干网络为mobilenetv3，mobilenetv3是一种卷积神经网络。
[0017]
作为优选地，所述步骤s3，还包含以下步骤：
[0018]
s31：视频数据采集，采用高清广角摄像头，分辨率不低于1080p；
[0019]
s32：摄像头应架设在森林的山顶或者森林的最高点，使用固定金属架，保证能够提取大范围的森林监控画面；
[0020]
s33：同一位置，至少应安装三台摄像头，摄像头之间的夹角为120度；
[0021]
s34：获取视频流之后，使用opencv对其进行预处理操作，包括但不限于压缩、通道变换(yuv转rgb)、分离通道操作；
[0022]
s35：使用高斯滤波算法，过滤图像中的噪点；
[0023]
s36：计算分离通道之后的帧数据(仅包含b通道)确定监控画面中的运动区域，这些运动区域是烟雾运动或者明火运动区域；
[0024]
s37：采用非极大值抑制策略过滤掉步骤s36计算出来的面积小于100像素的运动区域目标框；
[0025]
s38：通过计算帧数据的颜色来判断是否有疑似为明火；
[0026]
s39：综合上述步骤，获取到了疑似为烟雾或者明火的目标框，提取这些目标框的区域，输入已经训练完成的识别火灾的卷积神经网络模型中，得到每一个目标框的置信度，并与预先设置好的阈值进行比较，超过阈值的判定为有火灾发生。
[0027]
与现有技术相比，本发明通过上述技术手段，首先通过大量正负样本数据训练卷积神经网络模型，使得模型很好的学习到了火灾的几乎所有特征，另外卷积神经网络对于处理图像数据有着天然的优势，结合这两个特点，保证了模型的准确率，确保了数据识别过程中的准确性；其次对rgb数据的b通道进行高斯滤波运算以及方差计算，过滤图像中的噪点，得到了画面中的运动区域，去除了监控画面静态背景的影响；然后通过计算目标框的颜色域，并对目标框进行了无效目标的筛选，最终得到了准确的疑似火灾区域，使得识别过程中的运算量大为减少；最后使用gpu运算，加速了图像预处理和识别推理运算，达到了实时识别的速度。综合来看，本发明实时性强、自动化程度高、检测精确率高。
附图说明
[0028]
图1是一种基于卷积神经网络的森林火灾告警方法模型训练流程示意图；
[0029]
图2是一种基于卷积神经网络的森林火灾告警方法计算流程示意图；
具体实施方式
[0030]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0031]
如图1所示，一种基于卷积神经网络的森林火灾告警方法，模型训练其主要包括如下步骤：
[0032]
s1：搜集森林火灾的视频数据，使用ffmpeg解码，将视频数据序列化为图片数据，选出其中明显有火灾发生的图片分类为正样本，选出或者另外增加有关森林的不同状态的图片，其中没有火灾发生的作为负样本；正样本大于10000张，负样本大于10000张；
[0033]
s2：以同s1步骤的方法制作2000张不同于s1步骤的正样本，4000张负样本，作为模型的测试数据；
[0034]
s3：使用s1步骤的数据训练卷积神经网络模型mobilenetv3，得到模型文件；
[0035]
s4：使用s2步骤中的测试数据，测试s3中训练得到的模型，测试得到准确率r1，如果r1达到预期的准确率r0，则保存当前的模型，如果r1小于预期的准确率r0，则更新s1步骤的数据，重新进行训练，直至r1大于或等于r0。
[0036]
如图2所示，一种基于卷积神经网络的森林火灾告警方法，计算方法流程主要包括如下步骤：
[0037]
s1：在需要监控的林区的最高点假设铁架，安装三个广角高清(分辨率大于等于1080p)摄像头，三个摄像头夹角120度，并且视频画面尽可能大的包含森林区域；
[0038]
s2：在机房部署分析视频服务器，服务器包含gpu；
[0039]
s3：使用gb28181国标协议，获取摄像头的实时视频流，传送至分析服务器；
[0040]
s4：调用cuda解码将视频解码为yuv数据帧；
[0041]
s5：使用opencv工具处理yuv数据，包括将帧数据为压缩为分辨率为416*416大小，将yuv数据转换为rgb数据；
[0042]
s6：分离rgb数据通道，提取b通道数据；
[0043]
s7：调用gpu运算资源，对b通道的数据实行高斯滤波运算，过滤图像中的噪点；
[0044]
其中高斯滤波的公式为：
[0045]
一维高斯函数公式：
[0046][0047]
其中，μ是x的均值，σ是x的方差。因为计算平均值的时候，中心点就是原点，所以μ等于0。
[0048]
二维高斯函数公式：
[0049][0050]
高斯滤波一般使用的二维零均值的高斯分布函数，通过高斯分布函数求出模板系数，例如一个3*3的模板：以模板的中心位置为坐标原点进行取样，x轴水平向右，y轴垂直向下，(x,y)表示。
[0051][0052]
对所帧数据进行高斯滤波，取出因采集、抖动、传输引起的画面中的噪点，为识别
的准确率提供优质的检测数据。
[0053]
s8：对s7步骤的数据在进行方差计算，得到图像中运动区域，运动区域包含烟雾的运动区域和火苗的运动区域；这里的区域以坐标的形式表示；
[0054]
s9：对s8步骤所得数据进行汇总，达到n帧(n大于5，小于200)之后，对着n帧数据进行频率运算，计算出于运动区域的频率，这里的频率就是烟雾或者明火的固有运动频率；
[0055]
s10：对s8中的数据进行颜色空间的计算，烟雾对应的颜色是白色色域，明火对应的色域是黄色色域；
[0056]
s11：对s10步骤所得到的疑似火灾的目标预期进行预处理，如果目标框的面积小于100像素(即分辨率10*10大小)则去除该目标；
[0057]
s12：综合s9步骤和s11步骤，最终得到疑似火灾的目标框的坐标，将这些区域从原图中裁剪下来，得到对应框的图片，对着图片进行等比例压缩，压缩至416*224；
[0058]
s13：将s12步骤中的所有图片数据，输入到训练好的模型文件中，进行识别操作，最终得到每一个框是否发生火灾的置信度t0；
[0059]
s14：根据设置的火灾告警阈值t1，与s13中得到的置信度t0进行比较，如果t0>t1，则判定当前发生火灾，如果t0<t1则判定为无火情发生；
[0060]
s15：根据s14得到的告警情况，如果发生告警，则系统自动将告警信息发送至维护人员的手机端，由相关人员实时处理。
[0061]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。