基于深层人工神经网络的数字图像中烟火检测方法与流程

本发明涉及智能监控领域，具体涉及一种基于深层人工神经网络的数字图像中烟火检测方法。

背景技术：

基于深层人工神经网络的数字图像中烟火检测是一个与图像处理、计算机视觉、人工智能、机器学习等诸多领域相关的经典问题，目前已有一些自动识别烟火的文献，识别方法包括模式识别及与模式识别相结合的人工神经网络等。

上述识别方法主要可分为三个阶段，目标分割、特征提取和综合判断：

目标分割主要用于寻找数字图像中可能存在烟火的位置，大致分为阈值分割、边缘检测分割、区域特性分割、特征空间聚类分割等方法，例如，火的颜色的数值范围可用于在图像中分割出可能存在火的区域；

特征提取主要用于提取烟火目标的视觉特征，例如颜色、形状、纹理、空间关系等；

综合判断的主要方法在于，提取目标分割得出的区域的特征，判定特征与目标物先验特征的相似度，相似度高于一定阈值则判定为目标物，其中，传统的机器学习模式识别方法使用基于分类器的相似度判段，更进一步可以用神经网络判断相似度，或者不经传统的特征提取，直接用深层神经网络判断区域内是否有目标物。

深层神经网络指层次较深的神经网络，基于深层神经网络的方法也被称作深度学习，它的主要原理是用深层的非线性网络结构逼近复杂的函数关系，例如“数字图像-火”这样一个复杂的关系就可以用深层神经网络逼近，使用数据集逼近的过程即为神经网络的学习过程。

上述方法已经在烟火识别领域得到一定的应用。但传统的机器学习模式识别方法精度较低，漏报率与误报率较高，虽然在引入深度学习后准确率得到一定改善，但是并不算高，还有较大改进空间。

技术实现要素：

本发明的目的就是针对上述技术的不足，提供一种基于深层人工神经网络的数字图像中烟火检测方法采用了神经网络代替传统的目标分割，直接利用神经从图中找出可能存在目标物的矩形框，识别准确率高。

为实现上述目的，本发明所设计的基于深层人工神经网络的数字图像中烟火检测方法，包括如下步骤：

a)采集样本，得到样本图像集；

b)人工分类所述步骤a)中取得的样本图像集，标记含有目标物即烟火的图像，取得有标签正样本图像集，标记没有目标物及相似物的图像，取得无标签负样本图像集；

c)将所述步骤b)中取得的有标签正样本图像集和无标签负样本图像集中的图像打乱顺序后，取其中一部分图像作为训练数据集，另一部分作为测试数据集，并取得与所述训练数据集中图像对应的训练数据集标签文件和与所述测试数据集中图像对应的测试数据集标签文件；

d)从所述步骤c)中取得的训练数据集中取一个批次图像，输入深层人工神经网络训练；

e)所述深层人工神经网络根据与所述步骤d)中图像对应的训练数据集标签文件修正所述深层人工神经网络的参数，重复所述步骤d)，使所述深层人工神经网络学会检测图像中目标物的位置，保存所述深层人工神经网络的训练完成参数；

f)根据训练完成参数，将待检测图像输入所述深层人工神经网络即可得到图像中可能存在的烟火。

优选地，所述步骤a)中采集的样本为拍摄的各种场景下的烟火数字图像及其背景图像。

优选地，所述步骤a)中采集的样本经过矫正图像畸变，剔除其中模糊、不确定的图像，取得清晰的烟火数字图像及其背景图像，再采用高斯滤波去噪进行图像预处理，取得所述样本图像集。

优选地，所述步骤c)中的训练数据集标签文件和测试数据集标签文件包括所述样本图像集中的图像中存在目标物的矩形框位置及大小，还包括所述矩形框包含的目标物的属性信息。

优选地，所述步骤e)包括如下步骤：

e1)使用卷积层、池化层和全连接层构建深层人工神经网络，并随机给定所述卷积层、池化层和全连接层的初始权值矩阵与偏置矩阵，并将所述深层人工神经网络按照功能分为定位模块和识别模块；

e2)所述定位模块在所述图像中找出可能存在目标物的矩形框，所述深层人工神经网络根据所述训练数据集标签文件中的目标物的矩形框位置，修正所述深层人工神经网络中定位模块的各层权值矩阵与偏置矩阵，使所述深层人工神经网络找出的矩形框尽可能匹配所述训练数据集标签文件中存在目标物的矩形框；

e3)所述识别模块判断所述步骤e2)中找到的矩形框中是否有目标物，若果有，判断目标物的属性信息，所述深层人工神经网络根据所述训练数据集标签文件中的目标物的属性信息修正所述识别模块的各层权值矩阵与偏置矩阵，使所述深层人工神经网络判断矩形框中有无目标物以及目标物的属性的结果尽可能匹配所述训练数据集标签文件中目标物的属性信息；

e4)重复所述步骤d)，不断从训练数据集中取一个批次的图像，输入所述深层人工神经网络，使所述深层人工神经网络的识别结果不断逼近人工标注的所述训练数据集标签文件中的矩形框及目标物的属性信息，使所述深层人工神经网络学会检测图像中目标物的位置，完成所述深层人工神经网络的训练，取得所述深层人工神经网络学习得到的权值矩阵与偏置矩阵。

优选地，所述步骤f)包括如下步骤：

f1)保存所述步骤e4)中所述深层人工神经网络学习得到的权值矩阵与偏置矩阵；

f2)将待检测图像输入所述深层人工神经网络，通过所述深层人工神经网络的定位模块，找出若干个可能性最大的存在目标物的矩形框；

f3)通过所述深层人工神经网络的识别模块判断所述步骤f2)中取得的矩形框中有无目标物及目标物的属性；

f4)所述深层人工神经网络输出包含目标物的矩形框，并给出目标物匹配的概率值。

本发明与现有技术相比，具有以下优点：

1、采用神经网络代替传统的目标分割，直接利用神经从图中找出可能存在目标物的矩形框，识别准确率高；

2、对目标物的识别，通用性好，可以应用到更多目标识别领域。

附图说明

图1为本基于深层人工神经网络的数字图像中烟火检测方法中深层人工神经网络的结构示意图。

具体实施方式

下面结合具体实施例对本发明作进一步的详细说明。

一种基于深层人工神经网络的数字图像中烟火检测方法，包括如下步骤：

a)采集样本，得到样本图像集，其中采集的样本为拍摄的各种场景下的烟火数字图像及其背景图像，经过矫正图像畸变，剔除其中模糊、不确定的图像，取得清晰的烟火数字图像及其背景图像，再采用高斯滤波去噪进行图像预处理，取得样本图像集；

b)人工分类步骤a)中取得的样本图像集，标记含有目标物即烟火的图像，取得有标签正样本图像集，标记没有目标物及相似物的图像，取得无标签负样本图像集；

c)将步骤b)中取得的有标签正样本图像集和无标签负样本图像集中的图像打乱顺序后，取其中一部分图像作为训练数据集，另一部分作为测试数据集，并取得与训练数据集中图像对应的训练数据集标签文件和与测试数据集中图像对应的测试数据集标签文件，训练数据集标签文件和测试数据集标签文件包括样本图像集中的图像中存在目标物的矩形框位置及大小，还包括矩形框包含的目标物的属性信息；

d)从步骤c)中取得的训练数据集中取一个批次图像，输入深层人工神经网络训练；

e)深层人工神经网络根据与步骤d)中图像对应的训练数据集标签文件修正深层人工神经网络的参数，重复步骤d)，使深层人工神经网络学会检测图像中目标物的位置，保存深层人工神经网络的训练完成参数，具体而言，包括如下步骤：

e1)使用卷积层、池化层和全连接层构建深层人工神经网络，本实施例中，如图1所示，整体神经网络由五层“卷积-池化”层、rpn网络和resnet网络构成，resnet的最后一层改为softmax层，区域会被分类为是烟、是火或者是背景，随机给定卷积层、池化层和全连接层的初始权值矩阵与偏置矩阵，并将深层人工神经网络按照功能分为定位模块和识别模块；

e2)定位模块在图像中找出可能存在目标物的矩形框，深层人工神经网络根据训练数据集标签文件中的目标物的矩形框位置，修正深层人工神经网络中定位模块的各层权值矩阵与偏置矩阵，使深层人工神经网络找出的矩形框尽可能匹配训练数据集标签文件中存在目标物的矩形框，本实施例中，图片进入神经网络，调整至224*224*3的大小，经五次“卷积-池化”，输出大小为13*13*256的特征图，特征图输入基于rpn网络结构的深层人工神经网络，输出300个最可能存在目标物的矩形框，并映射到特征图上；

e3)识别模块判断步骤e2)中找到的矩形框中是否有目标物，若果有，判断目标物的属性信息，深层人工神经网络根据训练数据集标签文件中的目标物的属性信息修正识别模块的各层权值矩阵与偏置矩阵，使深层人工神经网络判断矩形框中有无目标物以及目标物的属性的结果尽可能匹配训练数据集标签文件中目标物的属性信息，本实施例中，特征图上被判定可能存在目标物的300个矩形框作为识别模块的输入，经softmax分类得出区域内是烟、火或者是背景；

e4)重复步骤d)，不断从训练数据集中取一个批次的图像，输入深层人工神经网络，非极大值抑制消除多余矩形框，留下局部得分最高的矩形框与分类信息并输出，深层人工神经网络通过损失函数修正输出结果与训练数据集标签文件的误差，损失函数为l1loss，降低l1loss意味着深层人工神经网络的结果与标注结果更接近，当l1loss降到趋于于一个值时认为逼近极限，即深层人工神经网络的识别结果不断逼近人工标注的训练数据集标签文件中的矩形框及目标物的属性信息，使深层人工神经网络学会检测图像中目标物的位置，完成深层人工神经网络的训练，取得深层人工神经网络学习得到的权值矩阵与偏置矩阵；

f)根据训练完成参数，将待检测图像输入深层人工神经网络即可得到图像中可能存在的烟火：具体而言，包括如下步骤：

f1)保存步骤e4)中深层人工神经网络学习得到的权值矩阵与偏置矩阵；

f2)将待检测图像输入深层人工神经网络，通过深层人工神经网络的定位模块，找出300个可能性最大的存在目标物的矩形框；

f3)通过深层人工神经网络的识别模块判断步骤f2)中取得的矩形框中有无目标物及目标物的属性；

f4)深层人工神经网络输出包含目标物的矩形框，并给出目标物匹配的概率值。

本实施例中，步骤a)中采集的图像可来源于监控视频中的一帧，或是一张照片，目标物烟火中的烟指肉眼可见的物质燃烧时所产生的气状物，火指肉眼可见的物质燃烧时所发出的光和焰。

本发明基于深层人工神经网络的数字图像中烟火检测方法，采用神经网络代替传统的目标分割，直接利用神经从图中找出可能存在目标物的矩形框，识别准确率高；而且对目标物的识别，通用性好，可以应用到更多目标识别领域。