基于深度学习的已有火焰环境中异常烟火识别监测方法

本发明属于图像识别技术领域，具体涉及一种基于深度学习的已有火焰环境中异常烟火识别监测方法。

背景技术：

火灾严重威胁人民群众的生命财产安全，阻碍社会的稳定发展。火灾预警无论是对生产还是日常生活均具有重要价值。目前对于火灾的检测预防，大多采用的是基于传感器和人工选择特征的图像处理方法。第一种方法是比较成功的，也是目前火灾报警器使用的基本方法，但是当此种报警器置于室外大空间场所(如车站、商场、机场)中，甚至存在强气流的地方，其无法迅速采集火灾带来的温度、烟雾浓度等变化的信息，故不能及时的发出报警信号，同时其检测的距离也是有限的，传感器容易因外界环境的变化而发生老化或损坏，增加了漏报和误报现象的发生。第二种方法对人工选择特征具有较强的依赖性，而往往人工选择特征具有复杂性和盲目性的特点，从而导致烟雾识别的准确率会受到很大的影响。

在实际生产中，焊接生产线、烤包器等已有火焰的特殊工况场景，通常需要配置一定的检测人员和检测设备，对可能出现的灾害进行预防；由于检测点多、覆盖范围广、作业时间长，不仅增加了企业运营成本，也存在由于检测人员疲劳而导致的安全风险。基于传统火灾探测方法，检测范围有限且信息单一，检测速度存在较大的延迟，并且容易受到外界环境变化的干扰，难以适应复杂多变环境下的火灾实时探测要求。视频图像中包含直观的视觉信息，利用摄像机采集视频数据，通过数字图像处理和深度学习方法检测视频图像中的火焰进而实现无人值守的不间断工作，自动发现监控区域内的异常烟雾和火灾苗头，以最快、最佳的方式进行告警和协助消防人员处理火灾危机，并最大限度的降低误报和漏报现象；同时还可查看现场实时图像，根据直观的画面直接指挥调度救火。基于深度学习的火焰检测方法具有非接触式探测的特点，不受空间高度、热障、易爆、有毒等环境条件的限制，具有准确度高、响应时间短、成本低廉等优点，对于复杂场景下的火灾预警具有重大意义。

技术实现要素：

为了解决现有技术存在的不足，本发明提供了一种基于深度学习的已有火焰环境下的异常烟火识别智能监测方法，实现了在已有火焰的特殊工况场景的异常烟火智能化识别，是一种准确性高的烟火实时检测方法。

为了实现上述目的，本发明的一个实施方式的一种基于深度学习的已有火焰环境中异常烟火识别监测方法，其包括以下步骤：

s1、获取多个不同类型的烟火视频数据集m；

s2、对烟火视频数据集m中的图像进行预处理，将视频图像由rgb颜色空间模型转换为ycbcr颜色空间模型；

s3、基于预处理后的数据集m进行机器学习训练，获取目标检测模型yolov4模型；

s4、采集待检测区域视频数据集n；

s5、对视频数据集n中正常烟火目标进行多目标跟踪，获取所有正常烟火目标的标定框信息；

s6、将视频数据集n输入yolov4模型中，得到所有烟火目标的检测框信息；

s7、计算所有标定框信息与检测框信息的交并比iou，当iou超过阈值时，确定检测框内为正常烟火目标，否则为疑似异常烟火目标；

s8、运用高斯混合背景模型提取视频图像背景中所有的疑似异常烟火目标，得到疑似异常烟火目标集s；

s9、对疑似异常烟火目标集s基于中值滤波进行图像降噪得到降噪目标集s1；

s10、建立双确认模型,判别疑似异常烟火目标中的真正异常烟火目标，并发出警报，其具体步骤包括:

s101、建立支持向量机svm模型并标记其训练正确率为p1,通过svm模型判别疑似异常烟火目标中真正异常烟火目标，得到分类结果集x＝{x1,x2,...,xi,...,xn},其中xi∈{0,1}；

s102、建立卷积神经网络cnn模型并标记其训练正确率为p2,通过cnn模型判别疑似异常烟火目标中真正异常烟火目标，得到分类结果集y＝{y1,y2,...,yi,...,yn},其中yi∈{0,1}；

s103、建立投票机制模型，对分类结果集x、y中结果分别进行对比；

s104、当同一检测框在两个模型的分类结果相同,即xi＝yi时，输出分类结果；当同一检测框在两个模型的分类结果不同,即xi≠yi时，判断训练正确率p1与p2数值的大小，输出训练正确率较高的模型的分类结果；

s104、判断输出分类结果，当分类结果为1时，确定检测框内为真正异常烟火目标进行报警，否则不报警。

进一步地，所述步骤s2中的视频图像由rgb颜色空间模型转换为ycbcr颜色空间模型为：

其中，rgb和ycbcr各分量的值的范围均为0-255。

进一步地，所述标定框信息包括但不限于标定框的位置信息和大小信息。

进一步地，所述检测框信息包括但不限于检测框的位置信息和大小信息。

进一步地，所述步骤s7中的阈值为0.5。

进一步地，所述机器学习训练中，随机将预处理后图像的75％设定为训练集，25％设定为测试集。

进一步地，所述步骤s5具体为：

s51、加载视频并读取第一帧，手动框选待检测区域的正常烟火目标，得到n个正常烟火目标的标定框信息；

s52、调用csrt目标跟踪算法，对正常烟火目标的多目标跟踪，得到视频数据集中所有正常烟火目标的标定框信息。

进一步地，所述步骤s101具体步骤为：

s1011、基于降噪目标集s1提取疑似烟火目标的包括但不限于颜色矩、圆形度多维特征并融合为归一化的特征向量集s2；

s1012、基于特征向量集s2进行机器学习训练，获取支持向量机svm模型，并标记其训练正确率为p1；

s1013、将特征向量集s2输入到svm模型中进行判别，得到分类结果集x＝{x1,x2,...,xi,...,xn},其中xi∈{0,1}。

进一步地，所述步骤s102具体步骤为：

s1021、基于降噪目标集s1进行机器学习训练，获取卷积神经网络cnn模型，并标记其训练正确率为p2；

s1022、将降噪目标集s1输入到cnn模型中进行判别，得到分类结果集y＝{y1,y2,...,yi,...,yn},其中yi∈{0,1}。

进一步地，所述步骤s7中交并比iou表达式为：

其中，a为标定框，b为检测框；a∩b为标定框和检测框之间重叠区域的面积；a∪b为标定框和检测框所占有区域的总面积。

本发明的有益效果为：

1、本发明首先对视频信息预处理，运用混合高斯背景模型提取视频图像中的运动目标，经过机器学习的检测模型检测运动目标中的疑似烟火目标，确认模型依据疑似烟火目标的特征进行判别；

2、本发明实现了在已有火焰的特殊工况场景的烟火智能化识别，可以实时提取视频中的烟火目标，能够有效的从复杂的背景环境中剔除疑似火焰区域的干扰，具有良好的烟火识别能力。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明中使用检测模型检测疑似烟火目标的流程图；

图3为本发明中svm模型判别烟火目标的流程图；

图4为本发明中cnn模型判别烟火目标的流程图；

图5为本发明实验原图；

图6为转换颜色空间模型结果图；

图7为yolov4算法识别结果图；

图8为高斯混合模型提取前景结果图；

图9为中值滤波去除噪点结果图；

图10为投票机制模型图；

图11为投票机制流程图。

具体实施方式

为使本发明的目的、技术方案和优点更为清楚，下面结合附图1-11和实施例作进一步说明。

如附图1-3所示，本发明实施例的一种基于深度学习的已有火焰环境下的异常烟火识别智能监测方法，包括以下步骤：

s1、获取现有公开的多个不同类型的烟火视频数据集m；

s2、对烟火视频数据集m中的图像进行预处理，将视频图像由rgb颜色空间模型转换为ycbcr颜色空间模型；

图像预处理，具体包括以下流程：

为了减小光照条件对检测模型的影响，采用pycharm等开发工具将视频图像由rgb颜色空间模型根据公式转换为ycbcr颜色空间模型如图6所示：

式中，rgb和ycbcr各分量的值的范围均为0-255。

s3、基于预处理后的数据集m进行机器学习训练，获取目标检测模型yolov4模型；

1)建立样本数据集通过对现有公开的多个不同类型的烟火视频数据集m基于步骤s2处理得到，并且随机的将其75％设定为训练集，25％设定为测试集；

2)基于样本数据集完成目标检测模型yolov4模型的训练，为增加网络模型的分辨率可适当增加输入图片的hight和widht值，分别为672,672(默认height＝608，widht＝608),必须为32倍数，这有助于提高检测精度；使用k-means聚类获得样本数据集的先验框大小，然后修改权重文件的先验框大小多次训练测试，获得更好的网络模型；

s4、采集待检测区域视频数据集n；

在附图5中，通过摄像头获取烟火检测的视频数据集n，在需要进行检测的区域安装摄像头，从摄像头设备中采集到的图像传回到计算机设备中，在计算机设备中进行收集和整理。

s5、对视频数据集n中正常烟火目标进行多目标跟踪，获取所有正常烟火目标的标定框信息；

采用pycharm等开发工具加载视频并读取第一帧，手动框选待检测区域的正常烟火目标，得到n个正常烟火目标的标定框信息，标定框信息包括标定框的位置信息和大小信息；调用opencv软件库的csrt目标跟踪算法，实现对正常烟火目标的多目标跟踪。得到视频数据集中所有正常烟火目标的标定框信息。

s6、将视频数据集n输入yolov4模型中，得到所有烟火目标的检测框信息；

将视频数据集n输入到完成训练的检测模型yolov4模型中识别疑似烟火目标如图7所示。

s7、计算所有标定框信息与检测框信息的交并比iou，当iou超过阈值时，确定检测框内为正常烟火目标，否则为疑似异常烟火目标；

计算手动框选的标定框与yolov4模型的检测框的交并比(iou)，将交并比大于阈值0.5的预测框认定为正常烟火目标，否则为疑似烟火目。交并比是目标检测任务中非常重要的概念，其作用就是剔除正常烟火目标。计算公式如下：

其中，a为标定框，b为检测框；a∩b为标定框和检测框之间重叠区域的面积；a∪b为标定框和检测框所占有区域的总面积。

s8、运用高斯混合背景模型提取视频图像背景中所有的疑似异常烟火目标，得到疑似异常烟火目标集s；

运用混合高斯背景模型提取视频图像中的运动目标，通过中值滤波降噪并进行归一化处理。

运用混合高斯背景模型等提取视频图像中的运动目标，具体原理如下：

高斯分布的概率密度函数：

式中，x为输入向量，μ为高斯分布均值，∑为高斯分布协方差矩阵。

高斯混合模型采用k个高斯分布线性相加构成高斯混合模型的概率密度函数，如下：

式中，k为高斯分布的个数，n()为多元高斯分布，πk为混合加权值,其中0≤πk≤1和

利用收集到的前n帧图像的像素值推算出高斯混合模型的概率分布,通过最大似然估计来确定其中的参数，高斯混合模型的似然函数公式如下:

使用最大期望算法求出其中的参数：

式中，γ(i,k)表示第i个数据由第k个高斯分布产生的概率。从第n+1帧开始检测，判断图像中的每个像素点与构建好的k个高斯模型是否匹配，如果匹配不成功，则判断为前景点，否则为背景点。

采用pycharm等开发工具应用基于混合高斯模型的运动检测算法将疑似烟火目标从图像序列中分离出来，如图8所示，能有效的将疑似烟火目标从背景中提取出来，减小背景环境因素的影响。

s9、对疑似异常烟火目标集s基于中值滤波进行图像降噪得到降噪目标集s1；

中值滤波是一种非线性平滑技术，将每一像素点设置为该点某邻域窗口内的所有像素点的中值。

所谓窗口，就是一个点的特定长度或形状的邻域，在二维中值滤波器中，可以利用特定形状(方形、线形、圆形、十字形棱形等)的二维窗口，通常为3×3，5×5区域，找出窗口中各个点的中值，然后对窗口的中心值进行修改，则定义二维中值滤波为:

g(x,y)＝med{f(x-k,y-l),(k,l∈a)}

其中，f(x,y)，g(x,y)分别为原始图像和处理后图像，a为滤波窗口。

基于pycharm等开发工具采用中值滤波方法进行图像降噪，滤波窗口大小为3×3，有助于去除基于混合高斯模型的运动检测算法提取的疑似烟火目标中的椒盐噪声，效果如图9所示。

s10、建立双确认模型,判别疑似异常烟火目标中的真正异常烟火目标，并发出警报，其具体步骤包括:

s101、建立支持向量机svm模型进行判别；

s1011、基于降噪目标集s1提取疑似烟火目标的颜色矩、圆形度等多维特征并融合为归一化的特征向量集s2；

采用pycharm等开发工具基于降噪目标集s1提取疑似烟火目标的颜色矩、圆形度等多维特征并融合为归一化的特征向量。

描述疑似烟火目标的特征，具体包括以下步骤：

1)提取疑似烟火目标的颜色矩、圆形度等多维特征。

具体原理如下：

颜色矩是一种简单有效的颜色特征表示方法，有一阶矩(均值)、二阶矩(方差)和三阶矩(斜度)等，由于颜色信息主要分布于低阶矩中，所以用一阶矩，二阶矩和三阶矩足以表达图像的颜色分布，颜色矩可有效地表示图像中的颜色分布，该方法的优点在于：不需要颜色空间量化，特征向量维数低。

三个颜色矩的数学定义如下：

一阶矩(均值)：

二阶矩(方差)：

三阶矩(斜度)：

其中，pi,j表示彩色图像第j个像素的第i个颜色分量，n表示图像中的像素个数。

圆形度是对物体连通域边缘复杂程度的一种度量，连通域越接近圆形，其圆形度越大；连通域越不规则，其圆形度越小。计算公式如下：

其中，s为物体连通域的面积，l为物体连通域的周长。在进行烟火识别时，环境中的光源会对识别造成很大的影响，而这些光源与圆形非常接近，通过圆形度可以很好的排除外界光源的影响。

2)将多维特征进行融合并归一化。

采用pycharm等开发工具计算疑似烟火目标的颜色矩、圆形度等特征，并将其融合为一维特征向量。

s1012、基于特征向量集s2进行机器学习训练，获取支持向量机svm模型，并标记其训练正确率为p1。

s1013、将特征向量集s2输入到svm模型中进行判别，得到分类结果集x＝{x1,x2,...,xi,...,xn},其中xi∈{0,1}。

s101、建立卷积神经网络cnn模型进行判别；

s1021、基于降噪目标集s1进行机器学习训练，获取卷积神经网络cnn模型，并标记其训练正确率为p2；

设计cnn模型并基于降噪目标集s1完成cnn模型训练如图4所示；

初始学习率设置为0.001，batch大小设置为128，迭代次数设置为10000。

(1)输入层：网络的输入为416×416的图像；

(2)第一层卷积层：采用5个3×3的卷积核对输入图像进行卷积操作，步长为1，激励函数为relu；

(3)第一层池化层：采用2×2的池化核进行最大池化操作，步长为2；

(4)第二层卷积层：采用8个3×3的卷积核进行卷积操作，步长为1，激励函数为relu；

(5)第二层池化层：采用3×3的池化核进行最大池化操作，步长为2；

(6)第三层卷积层：采用10个3×3的卷积核进行卷积操作，步长为1，激励函数为relu；

(7)第三层池化层：采用2×2的池化核进行最大池化操作，步长为2；

(8)第一层全连接层：由5000个神经元构成；

(9)第二层全连接层：由1000个神经元构成，使用softmax函数输出概率。

s1022、将降噪目标集s1输入到cnn模型中进行判别，得到分类结果集y＝{y1,y2,...,yi,...,yn},其中yi∈{0,1}。

s103、建立投票机制模型，对分类结果集x、y中结果分别进行对比；

s104、当同一检测框在两个模型的分类结果相同,即xi＝yi时，输出分类结果；当同一检测框在两个模型的分类结果不同,即xi≠yi时，判断训练正确率p1与p2数值的大小，输出训练正确率较高的模型的分类结果；

s105、判断输出分类结果，当分类结果为1时，确定检测框内为真正异常烟火目标进行报警，否则不报警。

本发明对svm模型和cnn模型的烟火识别结果进行分析，当同一张图片输入到不同的模型中时，不同的特征提取方式和分类器可能会得到相同或不同的分类结果，所以引入一个投票机制模型如图10所示，当这两个模型的分类结果相同时，输出分类结果，当两个模型的分类结果不同时，选择训练时正确率最高模型的分类结果，流程如图11所示。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的范围。