基于卷积神经网络和动态跟踪的火焰预警方法和系统与流程

本发明涉及计算机技术领域，尤其涉及的是一种基于卷积神经网络和动态跟踪的火焰预警方法和系统。

背景技术：

现有技术的主要流程是：

方法一、基于图像的共生灰度矩阵等纹理特征或火焰的轮廓与动态特征，结合分类识别等算法，进行图像中的火焰检测。

方法二、使用特殊的摄像头，比如加入偏振镜片、高通低通滤光片、红外辅助等信息进行火焰的判断。

以上方法存在的缺点：

方法一：因为手工特征的不稳定性，在复杂环境中的准确度较低，当出现红色或者橘黄色的物体时容易出现误判，而当火焰颜色较淡时容易出现漏检。

方法二：需要安装新的摄像头才能获得此功能，原有的普通监控摄像头不能使用，需要花费额外的成本并抛弃原有的设备才能获得火焰检测的功能。

因此，现有技术存在缺陷，需要改进。

技术实现要素：

本发明所要解决的技术问题是：提供一种可以防止漏检和误检，成本较低，使用方便的基于卷积神经网络和动态跟踪的火焰预警方法和系统。

本发明的技术方案如下：一种基于卷积神经网络和动态跟踪的火焰预警方法，包括如下步骤：S1：对视频图像进行高斯模糊，求出高斯模糊后的图像；S2：对高斯模糊后的图像进行基于像素值的候选区域提取，提取出候选火焰区域；S3：对候选火焰区域进行分割，得到最终火焰候选区域的外接矩形坐标位置；S4：判断是否为跟踪中的火焰团块，是则进行跟踪判断，否则继续步骤S5；S5：将各最终火焰候选区域的外接矩形坐标位置所在的图像，输入卷积神经网络分类器，经过卷积神经网络分类器的特征提取后送入判别层，最后输出是火焰的概率和不是火焰的概率；S6：在火焰的概率大于设定值时，发送预警信号。

应用于上述技术方案，所述的火焰预警方法中，步骤S6中，在发送预警信号的同时，还传送火焰发现的前后十秒的视频，以及发现火焰时的系统时间。

应用于各个上述技术方案，所述的火焰预警方法中，接受到此预警信号后，还通过websocket或http长连接通知网页客户端或手机客户端，通过网页客户端或手机客户端，弹出弹窗并生成一条预警数据。

应用于各个上述技术方案，所述的火焰预警方法中，在弹出弹窗后，还将预警数据通过短信的方式发送到预先关联的手机上。

应用于各个上述技术方案，所述的火焰预警方法中，还包括步骤S7：还对误报预警进行反馈，并把此区域标为非火焰，存入反馈数据库。

应用于各个上述技术方案，所述的火焰预警方法中，步骤S7之后，还执行S71：当反馈数据库中的数据量大于N时，则提取数据库中的所有反馈图片，并加入原始的火焰训练数据库中，并对反馈图片进行过采样，使用新的数据集对卷积神经网络分类器进行训练。

应用于各个上述技术方案，所述的火焰预警方法中，步骤S5中，还定期更新并实用新的卷积神经网络分类器。

应用于各个上述技术方案，所述的火焰预警方法中，步骤S4中，其步骤具体包括：S41：输入一个区域中包含火焰时，跟踪器将此区域与已经记录的火焰区域对比；S42：判断此区域与记录的某唯一区域的重叠率高于阈值T1，则认为此区域已经被认为是火焰，不再进行卷积神经网络的判断，且用此新区域的位置替换与之重叠的记录区域；S43：判断此区域与记录的任何区域的重叠率都小于阈值T2，则认为此区域是新发现的火焰团块，将此区域记录入跟踪器；S44：判断此区域与记录中的多个区域的重叠率高于阈值T1，则认为原火焰区域的多个融合成当前区域，则取当前区域与其重叠的所有记录区域的最小外接矩形计入记录区域，并且从跟踪器中删除所有记录的重叠区域；S45：判断前多个区域与记录中某一个区域的重叠率高于阈值T1，则认为原火焰区域分裂成了当前多个区域，记录所有当前区域进入跟踪器并且从跟踪器中删除与当前多个区域重叠的记录区域；S46：判断此最小外接矩形与跟踪的火焰团块中的某个区域相交的值大于80％，则认为此矩形已经被判断为火焰了，不再进行卷积神经网络的判断，直接用于更新火焰跟踪器以节省计算资源；否则下一步进入卷积神经网络的判断。

应用于各个上述技术方案，一种以上任一火焰预警方法所对应采用的火焰预警系统，包括火焰检测子系统和预警子系统，其中，火焰检测子系统包括：对视频图像进行高斯模糊，求出高斯模糊后的图像的高斯模糊模块；对高斯模糊后的图像进行基于像素值的候选区域提取候选火焰区域的提取模块；对候选火焰区域进行分割，得到最终火焰候选区域的外接矩形坐标位置的分割模块；对选火焰区域进行进行跟踪判断的跟踪判断器；以及将各最终火焰候选区域的外接矩形坐标位置所在的图像，输入卷积神经网络分类器，经过卷积神经网络分类器的特征提取后送入判别层，最后输出是火焰的概率和不是火焰的概率的卷积神经网络分类器；预警子系统包括有火焰预警发送模块和接收客户端。

应用于各个上述技术方案，所述的火焰预警系统中，还包括有一对误报预警进行反馈，并把此区域标为非火焰的用户反馈子系统、以及与其连接的反馈数据库。

采用上述方案，本发明通过动态跟踪与卷积神经网络结合的方法，对通过像素值预选的火焰候选区域进行判断，可以提取更丰富和细致的特征，减少原来手工特征描述性不够强带来的漏检和误检。

并且，仅使用监控摄像头就可以获得火焰检测预警的功能，不必替换硬件，且成本较低，使用方便。

附图说明

图1为本发明中火焰预警系统的流程结构示意图；

图2为本发明中预警子系统的流程结构示意图；

图3为本发明中用户反馈子系统的流程结构示意图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

本实施例提供了一种基于卷积神经网络和动态跟踪的火焰预警方法和系统，本实施例通过动态跟踪与卷积神经网络结合的方法，对通过像素值预选的火焰候选区域进行判断，可以提取更丰富和细致的特征，减少原来手工特征描述性不够强带来的漏检和误检。

且实施例仅使用监控摄像头就可以获得火焰检测预警的功能，不必替换硬件，且成本较低，使用方便。

本实施例结合了传统的特征提取以及深度神经网络，即卷积神经网络分类器对视频进行实施分析，对检测到的火焰进行预警，确保监控区域对火灾的发生有提前的预知能力。当发生误报或者漏报时，可以由系统的用户进行反馈，反馈的数据用于优化模型，提高系统的稳定性和精确性。

本系统主要由三个部分组成：火焰检测系统、用户反馈系统以及预警系统。

火焰检测系统的工作主要是通过视频中图像的特征，使用手工特征做初级处理预选出候选区域，然后使用卷积神经网络对候选区域进行判断，得出视频图像中是否含火焰的判断。

预警系统与火焰检测系统耦合，当火焰检测系统产生火焰的时候，预警系统会把检测到火焰前后十秒的视频片段，以及检测到火焰时的时间戳收集并通过websocket或http长连接的信道反馈到客户端。其中客户端包含手机app端以及web端。并且当客户留有手机号码信息时，报警也会以短信的形式发送到客户手机。及时的分析反馈可以降低火情扩大的风险。

用户反馈系统则是用于线上优化算法的，当客户端收到报警后，用户如果觉得此报警为误报警，则可以通过误报反馈按钮对此条报警信息进行反馈。系统则会把引起此条误报的图像信息标注为非火焰并存入反馈数据库。

火焰检测系统

火焰检测系统主要包括高斯模糊、基于像素值的候选区域提取、候选区域分割以及卷积神经网络判断四个部分。

高斯模糊：用于减小图像的噪点

σ＝0.15*ksize-0.35

x,y为图像坐标，ksize为高斯模糊核的大小。利用上式计算出高斯模糊核后对每个像素做卷积操作求出高斯模糊后的图像。

基于像素值的火焰候选区域提取

gray＝b+g+r

先根据上述的两个公式从rgb像素值中计算灰度值gray和亮度值s。然后测试下面的不等式的条件。其中red_threshold是红色分量的最低阈值，saturation_threshold是亮度分量的最低阈值。检测完如下所示的不等式，就可以把满足不等式需求的认为是候选的火焰区域。

1＞red_threshold

r＞g

g＞b

s≥(255-r)*saturation_threshold/red_threshold

候选区域分割

经过上面的候选区域提取，我们可以获得二值化的掩模，所有通过像素值测试的像素置为255，其余置为0。

之后我们对掩模图像进行腐蚀和膨胀操作去除噪点；

再用连通区域滤波取得每一块连通的掩模的位置；

去除连通面积小于area_threshold的区域，对于过小的区域认为其不可能是火焰区域，如红色的亮点之类的就可以在此步骤去除；

计算轮廓的质心，质心的坐标值就是轮廓中所有值为255的点的坐标的平均值；

在原始RBG图像中以轮廓质心为种子像素点开始漫水填充，以尽量的扣取火焰候选区域的部分。原理是，从质心开始，检测每一个点的颜色，如果其邻居像素颜色与其颜色的差距在阈值内则被认为是火焰像素，否则认为是非火焰像素。

提取漫水填充后扩展的火焰候选区域，并记录其最小外接矩形。

如果此最小外接矩形与跟踪的火焰团块中的某个区域相交的值大于80％，则认为此矩形已经被判断为火焰了，不再进行卷积神经网络的判断，直接用于更新火焰跟踪器以节省计算资源；否则下一步进入卷积神经网络的判断。设置本帧获取的火焰候选区域矩形的坐标为(x,y,w,h),跟踪中的火焰矩形区域为(x1,y1,w1,h1)其中区域相交的计算方法如下，先计算两矩形相交区域的宽和高，再求相交区域的面积和自身面积的比值。

cross_x＝min(x+w，x1+w1)-max(x，x1)

cross_y＝min(y+h，y1+h1)-max(y，y1)

ratio＝cross_x*cross_y/(w*h)if(cross_x＞0且cross_y＞0)

卷积神经网络判断

将上一步的外接矩形位置所在的图像输入卷积神经网络，经过卷积神经网络的特征提取后送入判别层，最后输出是火焰的概率和不是火焰的概率。

跟踪综合判断

鉴于监控视频下火焰在帧间转移的范围比较小。可以使用团块跟踪对已经判断的火焰进行跟踪，以免多次使用卷积神经网络对同一团火焰进行判断浪费计算资源。

且跟踪可以弥补卷积神经网络的错误，当卷积神经网络上一帧十分确定此区域发现了火焰，但当前帧却又判断不是火焰，这种情况发生概率较小，但跟踪方法可以使得在这种情况下，火焰检测系统具有时序相关的输出，减小犯错误的概率。

输入一个区域中包含火焰时，跟踪器将此区域与已经记录的火焰区域对比；

存续：如果此区域与记录的某唯一区域的重叠率高于阈值T1，则认为此区域已经被认为是火焰，不再进行卷积神经网络的判断，且用此新区域的位置替换与之重叠的记录区域；

新建：如果此区域与记录的任何区域的重叠率都小于阈值T2，则认为此区域是新发现的火焰团块，将此区域记录入跟踪器；

融合：如果此区域与记录中的多个区域的重叠率高于阈值T1，则认为原火焰区域的多个融合成当前区域，则取当前区域与其重叠的所有记录区域最小外接矩形计入记录区域，并且从跟踪器中删除所有记录的重叠区域；

分裂：如果当前多个区域与记录中某一个区域的重叠率高于阈值T1，则认为原火焰区域分裂成了当前多个区域，因此记录所有当前区域进入跟踪器并且从跟踪器中删除与当前多个区域重叠的记录区域。

预警系统

当火焰检测系统检测到新发现的火焰，则通知预警系统，并且传送火焰发现的前后十秒的视频，以及发现火焰时的系统时间。

接受到此预警后，后台通过websocket连接通知网页客户端，弹出弹窗并生成一条预警数据。网页客户端可以在预警页面看到火焰产生的视频和时间。

手机客户端也可以通过相同的连接方法收到预警通知。

如果摄像头的绑定用户提供了手机号码，也可通过短信通知火焰预警信号产生，请用户及时查看以免造成不必要的损失。

三、用户反馈系统

当用户收到火焰预警后，如果认为此次火焰预警为误报，可以进行误报反馈。系统会找出引起此次报警的火焰区域，并把此区域标为非火焰，存入反馈数据库。

当反馈数据库中的数据量大于N时，会提取数据库中的所有反馈图片，并加入原始的火焰训练数据库中，并对反馈图片进行过采样，以提高反馈图片的权值，减小新模型在此类数据上犯错的概率。然后使用新的数据集对卷积神经网络分类器进行训练。

训练步骤如下：

将数据进行随机的旋转、进行仿射变换；

将数据大小归一化到70*70；

对数据进行随机剪裁，剪裁后大小为60*60；

将数据输入卷积神经网络结构，并使用反向传播算法进行学习，使用网络预测值和标签值的差距作为误差进行反向传播调整网络各个层级的权值；

最后网络输出的是类别以及其相应的属于此类别的概率值。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。