一种基于深度神经网络的监控视频秸秆焚烧巡检方法与流程

本发明属于信息技术领域，尤其是一种基于深度神经网络的监控视频秸秆焚烧巡检方法，主要用于环境监测。

背景技术

随着经济与科技的发展，环境污染问题日益严重，尤其是空气污染，雾霾现象遍及中国，但在“保护环境”的主流之下，焚烧秸秆现象仍然屡禁不止。在传统方法中，一般由巡逻人员根据监控摄像拍摄的视频，前往有关地区处理秸秆焚烧现场。然而，平时无异常事件时，就会浪费大量的人力、物力，因此提高巡检效率、智能提取关键信息是十分必要的。

基于深度学习神经网络框架构建，利用神经网络分类器捕捉烟火的特征标签，便可识别出图片和视频中的烟与火，从而判断秸秆焚烧现象。但此方法的实施，在实际场景中，会受到夜晚灯光、积水反光、雨天水雾等等因素的影响，而产生误判或错判，导致识别事件的不准确，发送错误的信息。此外，训练数据匮乏也是优化残差网络的难点之一。下表1中列出了烟与火的标签特征以及识别处理的难点。

表1烟火信息识别难点

技术实现要素：

为解决传统监测秸秆焚烧的低效性以及由于场景中其他事物的干扰而误判烟火事件的问题，本发明提供一种基于深度神经网络的监控视频秸秆焚烧巡检方法，构造了烟火识别处理模块，利用神经网络分类器，自动识别监控视频秸秆焚烧事件，并主动发送短信报警，实现了信息的高效性与交互性，大大节省了人力物力。

为实现上述目的，本发明采用下述技术方案：

一种基于深度神经网络的监控视频秸秆焚烧巡检方法，基于深度学习神经网络框架构建了基于神经网络分类器的烟火识别处理模块，该烟火识别处理模块采取视频每10帧截为图片而增大数据集和放大数据集特征标签的方法，优化残差网络，从而提高识别图像与视频中异常事件的准确度；该烟火识别处理模块根据神经网络分类器对某些地区烟与火的判定结果，自动向巡逻人员和普通用户进行报警，从而实现对秸秆焚烧事件的监测。

进一步地，烟火识别处理模块包括移动信号塔视频采集模块、深度学习图像烟火识别模块和自动报警模块；

深度学习图像烟火识别模块根据线性分类器函数与损失函数，进行提取样本的特征标签以及识别分类样本，由此训练分类数据集；在训练数据的过程中，采用放大数据集特征标签的方法，准确定位提取样本特征标签，解决在实际情况中对场景的误判与错判，并给相关人员发送错误信息的问题，同时对特殊样本进行反复训练与识别，层层优化残差网络，排除因夜晚灯光、积水反光、雨天水雾等外部因素影响而导致的识别不准确的问题；同时自动归类收集样本、使用python工具对样本进行翻转、拉伸及平移的操作，以达到扩展样本的目的，解决数据训练集不足的问题。

进一步地，自动报警模块自动发送短信给巡逻人员，并由移动信号塔定位监控摄像头的位置，在gps地图上用红点标明异常地区，并通过所关联的微信小程序自动向用户推送信息。

有益效果：

1.本发明利用移动信号塔视频采集模块，基于深度学习神经网络框架实现秸秆焚烧自动检测与报警，与传统秸秆焚烧监测方法相比，一方面能减少巡逻人员的工作量，另一方面能及时派出相关人员到现场处理事件，有着高效性和及时性的优点，能有效减少秸秆焚烧的现象；

2.针对在传统识别分类烟与火特征标签时，往往实例场景中的夜晚灯光、积水反光、雨天水雾等复杂场景会影响识别的准确度，本发明构造了基于神经网络分类器的烟火识别处理模块，可以对特殊样本进行反复训练与识别，层层优化残差网络，并扩展样本，排除特殊场景下的干扰因素，使识别结果更加准确。

3.本发明提出了基于python环境下，通过放大数据集特征标签、优化残差网络的方法，解决在实际情况中对场景的误判与错判，并给相关人员发送错误信息的问题；同时将特殊样本反复训练与识别，并对其进行翻转、变换等操作，从而扩展样本，解决训练数据不足的缺陷。

4.本发明提出了自动报警模块。监控视频经神经网络分类器的处理，其烟火识别的结果，一方面会以系统自动发送短信的方式告知相关巡逻人员，通知他们前往现场处理秸秆焚烧现象，另一方面由移动信号塔定位拍到异常事件的监控摄像，在gps地图上标注出相应的红点，通过所关联的微信小程序自动向用户推送，不仅大大节省了人力物力，还增强了群众保护环境的意识，相互监督，共同维护家园。

附图说明

图1为本发明一实施例的烟火识别模块的结构框图；

图2为本发明一实施例的基于神经网络分类器数据训练的逻辑示意图；

图3为本发明一实施例的样本扩展训练的流程示意图；

图4为本发明一实施例的自动报警模块的结构框图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本实施例提出一种基于深度神经网络的监控视频秸秆焚烧巡检方法，针对当前传统秸秆焚烧巡检方法耗费大量人力并且监察实施效果十分低下的状况，基于深度学习神经网络框架，构造了包括移动信号塔视频采集模块1、深度学习图像烟火识别模块2和自动报警模块3这三个模块在内的智能服务系统，即烟火识别处理模块，其结构如图1所示。在优化残差网络的同时，针对烟火特征标签识别不准确的问题，提出放大数据集特征标签的方法，将考虑到的各种实例场景加入数据集进行训练，优化模型，提高识别准确度；自动报警具体对象为巡检人员与普通用户，通过移动信号塔实现标注异常地区，以发送短信和微信小程序的方式自动推送数据。

如图1所示，烟火识别处理模块包括移动信号塔视频采集模块1、深度学习图像烟火识别模块2和自动报警模块3。由监控摄像头拍摄视频后，将数据运输至接收平台，交给神经网络分类器，根据烟与火的特征标签进行识别分类，最后自动处理其识别结果，一方面给巡逻人员自动发送报警短信，通知前往现场处理秸秆焚烧事件，另一方面由移动信号塔定位异常地区，在gps地图上标注出相应的红点，通过所关联的微信小程序自动推送给用户。

其中，基于深度学习神经网络框架分类训练数据集为关键部分，神经网络分类器训练数据的逻辑示意图如图2所示，将收集到的数据分文件分别标注为烟、火、正常场景1、正常场景2，具体实现过程为分别存入4个文件夹，一个文件夹放火的图片，一个文件夹放烟的图片，还有两个文件夹放正常场景的图片，四个文件夹的图片数量保持平衡，形成数据集，放入残差网络中训练。

使用损失函数，将损失降到最低，并提取样本的特征标签，同时衡量权重矩阵w映射结果和实际类别的吻合度：

其中，xi表示第i张图片的数据，w为权重矩阵，δ为所定的一个参数，得分结果向量由sj＝f(xi,w)表示，则第j类的得分可记作再运用正则化得到损失函数：

接着根据线性分类器函数对样本进行分类处理：

f(x,w,b)＝wx+b(4)

其中，x表示所输入的一个3072维列向量，w为权重矩阵，b作为偏置值，表示独立的权重参数。x无法改变，但可以改变w，并设定成训练集中每张图片可以正确输出的值，使用这个线性分类的方法，取得w和b的最佳值，保持均衡，使分类结果更加准确。

训练结束后，再用四个文件夹，分别放入相应的图片，其数量为训练图片数量的1/4，从而来检测此模型识别烟火与正常场景的准确度。

在分类训练烟火图片的同时，也是不断优化残差网络的过程。样本扩展训练的流程示意图如图3所示，其中，面临着两个问题，一个是外部因素影响识别烟火的准确度，另一个是数据集的不足。

对于在实际场景中，因外部条件，如：夜晚灯光、积水反光、雨天水雾等因素影响而导致的识别不准确问题，采取放大数据集特征标签的方法。将图片中明亮且颜色偏橙红色的一块区域根据坐标划分出来，作为火的特征标签单独进行训练，增加识别火的准确度。针对识别烟的正常场景的问题，可在正常场景的文件夹中，加入大量积水反光、雨天水雾等图片，进行训练识别，优化残差网络。

针对数据集不足的缺陷，采用数据集增加的方法进行处理。具体实现过程为训练过程中自动归类收集样本、使用python工具对样本翻转、拉伸、平移等操作，达到扩展样本的目的，解决因数据集不足而导致识别不精确的问题。

在接收完监控摄像数据、输出烟火检测的结果后，不需要人工处理信息，直接通过自动报警模块3，达到对外界公布信息的目的。一方面自动发送短信给巡逻人员，通知相关人员前往现场处理秸秆焚烧事件；另一方面由移动信号塔定位监控摄像头的位置，在gps地图上用红点标明其异常的地区，通过所关联的微信小程序自动向用户推送信息。自动报警模块的结构框图如图4所示。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。