基于神经网络的在石油化工行业的初期火灾智能识别系统的制作方法

1.本发明涉及一种火灾智能识别系统。特别是涉及一种基于神经网络的在石油化工行业的初期火灾智能识别系统。


背景技术：

2.现有的火灾检测方法主要分为两大类：基于传统图像处理的火灾检测方法和基于神经网络的火灾检测方法。基于传统图像处理的火灾检测方法主要倾向于通过分析火灾的视觉特征如颜色特征、纹理特征、形状特征等静态特征来训练火灾分类器；而基于神经网络的火灾检测方法利用卷积神经网络模型来对视频帧中的图像直接做处理，节省了传统学习方法中对训练数据做预处理的大量前期工作，且由于卷积神经网络模型高效的“智能性”和“主动性”，使基于神经网络的目标检测方法与传统方法相比，有了更大的优势。
3.基于传统图像处理的火灾检测方法主要是从检测火灾图像的视觉特性如颜色特征、纹理特征、形状特征等信息出发，构建分类器。颜色信息是火灾检测的一个重要因素，现有的成熟的额颜色模型有rgb和ycbcr颜色模型，研究者对火灾颜色特征做了大量的研究。t.celi，提出了一种自适应视频火灾检测算法，该算法将视频前景信息和颜色信息相结合来检测视频中的类火区域。首先进行自适应背景建模，然后提取图像的rgb颜色信息，构建统计颜色模型，采用形态学方法的腐蚀和膨胀操作去除噪音，最后采用连通成分标记算法进行火灾检测。该方法的实时性较强，但是由于只提取了颜色信息导致算法准确率不高。随后，celik等人提出使用多项式在ycbcr颜色空间上对火灾颜色分布进行建模。这些颜色模型是通过对不同类别的火灾视频序列和火灾相关图片从ycbcr色彩空间出发做统计学分析得到的。该模型对火焰检测的正确率有所提高。但没有结合火焰的动态特征，对类火静态目标误报率高。lin提出了一种基于图像处理的智能火灾检测算法，该算法综合考虑了火灾的运动和静态特征。首先获取视频运动区域；其次，经过颜色全间模型获侍候选区域；再次，提取候选区域的面积、周长等形状特征排除一些类火物体的干扰；最后，采用不规则多边形、圆圈等形状特征进行火灾检测。该方法在提升性能、降低误检率上有突出贡献。但在距离远或火焰在图像占比小时，效果欠佳。kosmas提出了一个实时火灾检测算法，利用各种时空特征对火灾行为进行建模，并利用动态纹理分析模型对候选图像块像素强度的时间演化进行建模。该方法采用的时空特征有：颜色概率信息，闪烁特征，小波分析，时空能量分析，动态纹理分析等，提取好火灾火焰的时空信息特征后，采用svm(支持向量机)分类器进行火灾检测，提升了算法的准确率和鲁棒性。但时间复杂度高，延时大。段锁林为了克服环境光照强度的影响，提出了一种有效提取火灾特征的算法，该算法首先采用了向量相关理论，然后利用神经网络对提取的特征进行分类，该方法在光照变化的复杂情况下取得了较好的分类结果。但也存在小目标识别率低和高并发下效果不佳。wang d c,cui x,park e提出了使用随机测试和鲁棒性特征的自适应火灾检测算法，该算法首先构建ycbcr颜色空间模型；其次，采用近似中值法更新运动背景图像，两者相结合可以得到一些候选视频帧；然后，提取一些火灾特征，包括闪烁频率、面积、质心等，得到一组特征向量；最后采用机器学习算法中的随
机森林算法进行火灾分类模型的构建，完成视频中的火灾检测。但是，该方法仍然受到一些外在条件的干扰，如：摄像头的分辨率、天气条件和环境因素等。jin针对之前的基于运动信息和颜色模型的视频火灾检测方法的频繁误报进行改进，提出了一种基于逻辑回归和随机测试的实时火灾检测算法,实验表明，该算法在误报率上有显著成效，但对漏报率还有待改进。
4.基于神经网络的火灾检测方法通过建立深层次的模型结构来模拟人脑神经系统的分层信号处理机制。frizzi提出了一种基于卷积神经网络的火灾烟雾检测模型。该方法与其他方法最大的区别是没有特征提取阶段，直接通过操作原始rgb视频帧得到训练模型。在训练过程中，为了减少检测火灾烟雾所需要的处理时间，其使用cnn(卷积神经网络)模型中的光结构并利用滑动窗口来检测原始图像或重构图像。这些滑动窗口通过卷积神经网络和完全连接层得出分类结果。该算法的缺点是当图像分辨率高，火焰占比小时效果欠佳。maksymiv提出了一种火灾检测方法，该方法首先将adaboost和局部二值模式结合使用来获得感兴趣区域，以减少时间复杂度；然后利用卷积神经网络进行火灾检测以缓解误报问题。该方法在应对突发事件检测问题上可以达到达95.2％的准确率。但adaboost训练过程极为费时，这恰恰是算法需要改进的关键问题之一。wang z,zhang h将卷积神经网络和支持向量机相结合进行火灾检测，创新点在于用支持向量机来取代卷积神经网络最后的全连接层和softmax分类，也就是说，该方法利用卷积神经网络提取火灾图像的深层特征，然后将提取到的特征用svm(支持向量机)算法构建分类模型，实现火灾检测。实验表明，该方法优于单独使用cnn(卷积神经网络)或者svm(支持向量机)进行火灾检测的方法。但无法满足多路高并发实时处理要求。


技术实现要素：

5.本发明所要解决的技术问题是，提供一种准确率高，系统整体响应快的基于神经网络的在石油化工行业的初期火灾智能识别系统。
6.本发明所采用的技术方案是：一种基于神经网络的在石油化工行业的初期火灾智能识别系统，包括有，依次连接的系统管理模块、图像预处理模块、火灾识别模块、预警管理模块和可视化模块，其中，所述的系统管理模块用于配置视频监控的相关信息；所述的图像预处理模块用于通过摄像头获取监控的实时图像，并对所述的实时图像进行预处理后送入火灾识别模型模块；所述的火灾识别模型模块包括火灾识别模型，通过火灾识别模型对接收到的图像进行识别，将识别结果传递给预警管理模块；所述的预警管理模块通过结合人员工作经验建立的人工模型，对火灾识别模块的结果进行分析，进一步减少误报的发生；所述可视化模块用于进行报警显示。
7.本发明的基于神经网络的在石油化工行业的初期火灾智能识别系统，通过前景检测技术做图像预处理，基于神经网络建模完成对火焰检测，同时，基于企业员工与实际经验建立人工模型，对火焰针对危害严重等级进行分类，实现分级预警。能够适应石化场景的特殊性，识别准确率已达95％以上。不仅实现火焰的高识别率、准确率，而且满足多路高并发时，系统整体响应时间较短，最大限度降低经济损失和对装置的影响。
附图说明
8.图1是本发明基于神经网络的在石油化工行业的初期火灾智能识别系统的运行流程图；
9.图2是输入为3*3数组，卷积核为2*2，通道数为1，步长为1的卷积操作示意图；
10.图3是输入为4*4数组，filter为2*2，步长为2的池化操作示意图。
具体实施方式
11.下面结合实施例和附图对本发明的基于神经网络的在石油化工行业的初期火灾智能识别系统做出详细说明。
12.如图1所示，本发明的基于神经网络的在石油化工行业的初期火灾智能识别系统，包括有，依次连接的系统管理模块、图像预处理模块、火灾识别模块、预警管理模块和可视化模块，其中，所述的系统管理模块用于配置视频监控的相关信息；所述的图像预处理模块用于通过摄像头获取监控的实时图像，并对所述的实时图像进行预处理后送入火灾识别模型模块；所述的火灾识别模型模块包括火灾识别模型，通过火灾识别模型对接收到的图像进行识别，将识别结果传递给预警管理模块；所述的预警管理模块通过结合人员工作经验建立的人工模型，对火灾识别模块的结果进行分析，进一步减少误报的发生；所述可视化模块用于进行报警显示。
13.本发明中所述的系统管理模块中所述的配置相关信息，包括：
14.1)配置硬盘录像机的厂商、型号、编号、状态、访问路径；
15.2)配置摄像机的厂商、挂载硬盘录像机、编号、序列号、分区位置、延时时间、间隔帧数信息；
16.3)配置图像预处理运行时依赖的参数信息；图像预处理运行时依赖的参数信息，包括：摄像机rtsp地址、摄像机分辨率(1920*1080)、火焰识别模型地址、缓存地址、消息队列地址、动态阈值、取流帧间隔。
17.4)对用户信息及用户角色进行维护，并为用户角色的操作访问设置权限。
18.本发明中所述的图像预处理模块从系统管理模块中获取所配置的相关信息，以及摄像头所监控的实时图像；并对所述的实时图像进行灰度转换、高斯模糊、帧差、腐蚀膨胀、前景提取的预处理，得到视频帧数据，并将所述的视频帧数据送入火灾识别模块。其中，
19.所述的灰度转换：灰度转换是对独立的像素点进行处理，通过改变原始图像数据所占据的灰度范围，使图像清晰；
20.所述的高斯模糊：用来减少图像噪声以及降低细节层次；
21.所述的帧差：通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓，可以很好地适用于存在多个运动目标和摄像机移动的情况；
22.所述的腐蚀膨胀：图像的膨胀(dilation)和腐蚀(erosion)是两种基本的形态学运算，是用来寻找图像中的极大区域和极小区域，其中，所述的腐蚀是将图像中的高亮区域或白色部分进行缩减细化，腐蚀处理后的图像比原图的高亮区域更小；所述的膨胀是将图像的高亮区域或白色部分进行扩张，膨胀处理后的图像比原图的高亮区域更大；
23.本发明中所述的火灾识别模块，是基于cnn及帧间差分算法的火灾识别模型，所述的火灾识别模块，运行如下步骤：
24.1)通过火焰具有跳动的特征，采用帧间差分法，找出视频画面中的运动区域：具体是：将rgb三通道的彩色图转换为grey单通道的灰度图，将视频第fn帧灰度图与fn-1帧灰度图逐个像素的相减，得到差分图像，设置阈值为50，令差分图像中小于等于50的值为0，大于50的值为255，得到二值图像；然后进行连通性分析，将多个集中的小动态区域进行连通，得到大的动态区域。
25.当所述的大的动态区域为小于阈值的区域，则该区域是视频画面中变化较小或静止的区域，为背景；当所述的大的动态区域为大于等于阈值的区域，则该区域是像素变化较大，有物体在区域内移动，即为运动区域；视频画面中出现火情时，必定是在大于域值的运动区域。通过寻找运动区域，找到疑似火焰的区域；
26.将找到疑似火焰的区域输入所述的火灾识别模型进行是否为火的判断。
27.火灾识别模块中所述的帧间差分法公式如下：
28.dn(x，y)＝|fn(x，y)-f
n-1
(x，y)|
29.其中，fn(x,y)，fn-1(x,y)代表相邻两帧图像，dn为差分图像。
30.火灾识别模块中所述的二值图像计算公式如下：
[0031][0032]
其中，t为阈值，r
′
n(x,y)为二值图像，dn为差分图像
[0033]
构成所述火灾识别模块的火灾识别模型为卷积神经网络，包括：
[0034]
输入层input：64*64*3的图像；
[0035]
第一层卷积核为3*3，通道数32，步长为1，激活函数relu，same卷积(same卷积后图像的尺于未发生改变)；
[0036]
第二层池化：filter 2x2，步长为2的maxpooling；
[0037]
第三层卷积核为3*3，通道数32，步长为1，激活函数relu,same卷积(same卷积后图像的尺于未发生改变)；
[0038]
第四层池化：filter 2x2，步长为2的maxpooling；
[0039]
第五层卷积核为3*3，通道数32，步长为1，激活函数relu,same卷积(same卷积后图像的尺于未发生改变)；
[0040]
第六层全连接层：512个神经单元，随机丢弃(dropout)为0.6；
[0041]
第七层网络输出层：输出节点类别为有火或无火；
[0042]
除了第七层之外，其他各层激活函数均采用relu函数，表达式为：
[0043]
z(x)＝max(0,x)；
[0044]
用softmax激活函数将输出的节点值映射到概率空间，形成有火或无火的概率；
[0045]
softmax函数表达式为：
[0046][0047]
zj为输出节点中的某一个，e的zj次方是所有节点e的次方相加，k为输出节点的个数，即分类的类别个数，得到有火或无火的概率；
[0048]
卷积神经网络的卷积计算的输入input为一个高和宽均为3的二维数组；数组的形
状(shape)记为3
×
3或(3，3)；核数组的高和宽分别为2记为2
×
2或(2，2)，在卷积神经网络计算中又称卷积核或过滤器(filter)；卷积核窗口(又称卷积窗口)的形状取卷积核的高和宽，即2
×
2；通道数为卷积核个数图中的阴影部分为第一个输出元素及其计算所使用的输入和核数组元素：0
×
0+1
×
1+3
×
2+4
×
3＝19；步长为每次卷积滑动的间隔；图2表示为输入为3*3数组，卷积核为2*2，通道数为1，步长为1的卷积操作，输出为2*2的数组；
[0049]
如图3所示，卷积神经网络的池化计算的输入input是一个高和宽均为4的二维数组；数组的形状(shape)记为4
×
4或(4，4)；过滤器(filter)窗口为2
×
2；最大值池化(maxpooling)是取出窗口中的最大值；步长指每次滑动的间隔；
[0050]
卷积神经网络各层的权值的初始化取值在μ＝0，std＝0.1的高斯分布中随机选取；
[0051]
本发明中所述的结合人员工作经验建立的人工模型包括：
[0052]
1)面积变化模型
[0053]
由于火焰的扩散及蔓延性质，火焰的面积也会随之发生变化，且大多数情况下火灾的蔓延趋势会越变越大，采用连续几帧火焰区域面积的增长率来表征面积变化特征，计算公式如下：
[0054]
γ＝(s(r)t-s(r)t0)/(t-t0)γ＝(s(r)t-s(r)t0)/(t-t0)
[0055]
式中：γ为增长率；s(r)t表示t感兴趣火焰区域的面积；s(r)t0表示t0感兴趣火焰区域的面积；t-t0表示时间间隔；
[0056]
根据火焰的扩散面积变化特征除用面积增长率来表示之外，面积重叠率也可以表示面积变化特征，计算公式如下
[0057]
rs＝sa∩bmax{sa,sb}rs＝sa∩bmaxsa,sb
[0058]
式中：rs表示重叠率；sa和sb分别为连续的前后帧中火焰区域的面积；
[0059]
2)整体移动模型
[0060]
火焰会沿着燃烧物或者是风向变化进行移动变换，但是这种整体移动与其他刚性物体的移动有很大的差别，尽管火焰的位置会发生改变，但是不会突然改变，这种变化体现在火焰区域的质心位置不会突变，通过计算火焰区域的质心来判断整体移动特征，计算公式如下
[0061]
xi＝∑(x,y)∈sx/nsxi＝∑(x,y)∈sx/ns
[0062]
yi＝∑(x,y)∈sy/nsyi＝∑(x,y)∈sy/ns
[0063]
式中：s表示检测的感兴趣火焰区域；ns表示感兴趣火焰区域的像素点个数；(x,y)为质心坐标；
[0064]
3)闪烁特征模型
[0065]
频闪特征是最常用的火焰动态特征，采用小波分解，利用运动历史检测以及火焰图像间的相关性等方法分析火焰频闪特征。但其中最常用的是用空间小波分解来分析火焰的动态频闪特性，对火焰图像进行小波分解后，得到4个子带编码，分别为1个低频子带编码(压缩图像xll)和3个高频子带编码(水平系数图像xhl，垂直系数图像xlh，对角线系数图像xhh)，然后通过计算空间小波能量来区分火焰和非火焰，小波能量计算公式如下
[0066]
e＝1m
×
n∑|xlh|2+|xhl|2+|xhh|2e＝1m
×
n∑xlh2+xhl2+xhh2
[0067]
式中：m
×
n为感兴趣火焰区域的像素值；e表示空间小波能量。根据小波能量的系
数曲线图来区分火焰与非火焰，火焰与其他物体之间存在较强的能量壁垒；
[0068]
4)交并比模型
[0069]
交并比(intersection-over-union，iou)，目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1，交并比计算公式如下：
[0070][0071]
式中，iou为交并比值，area(c)为产生的候选框，area(g)为原标记候选框。