使用三维卷积神经网络的视频烟雾识别方法与流程

本发明涉及火灾探测技术领域，尤其涉及一种使用三维卷积神经网络的视频烟雾识别方法。

背景技术：

烟为火始，烟雾是早期火灾的重要特征之一，对烟雾进行检测可以较早的感知火灾的发生，有利于在火灾初期就采取相应灭火措施，减少灾害损失。目前常用的火灾烟雾探测方法包括光电型和离子型点式感烟探测器、光截面感烟探测器和图像型烟雾探测器。点式感烟探测器属于接触型，需要烟雾颗粒扩散进入探测器并达到一定浓度才能报警，不适用于高大或开阔空间中的烟雾探测。图像型烟雾探测器使用高清摄像头，可实现远距离非接触的烟雾探测，探测范围广，响应速度快，将烟雾探测算法集成于安防视频监控系统可实现低成本，所以视频烟雾探测是一种经济有效的烟雾探测技术。

传统的视频烟雾探测技术主要根据烟雾的运动、颜色、纹理等特征进行识别，首先，设计相应的特征提取方法，得到识别对象的特征向量，再使用分类器对特征向量进行训练或分类。然而由于烟雾的形态多变，人工设计的特征提取方法难以处理各式各样的烟雾图像，识别效果并不理想。近年来，深度学习方法在人工智能领域大放异彩，其中基于深度卷积神经网络的图像处理方法在人脸检测、自动驾驶等应用中都有突出表现，但是，如果直接使用相应的深度卷积神经网络进行视频烟雾的识别将消耗大量的计算资源，且整个计算过程耗时较长。

技术实现要素：

本发明的目的是提供一种使用三维卷积神经网络的视频烟雾识别方法，可以快速、准确的实现视频烟雾识别，且节省了计算资源。

本发明的目的是通过以下技术方案实现的：

一种使用三维卷积神经网络的视频烟雾识别方法，包括：

利用预训练好的fasterrcnn模型并结合非极大融合算法对目标帧进行烟雾的初步识别定位，得到疑似烟雾区域的结果框及其烟雾评分，并提取目标帧前后一定数量的视频帧组成视频序列；

利用预训练好的三维卷积神经网络对视频序列进行三维特征提取，将提取到的特征向量与结果框的烟雾评分组成新的特征向量输入至svm分类器，由svm分类器输出新的特征向量为烟雾或非烟雾的分类结果。

由上述本发明提供的技术方案可以看出，1)使用fasterrcnn算法，基于图片进行烟雾的初步识别，作为疑似烟雾区域提取方法，与基于颜色、运动等特征的传统前景提取方法相比，更加准确，并已经对烟雾进行了初步判断；同时，在三维卷积网络之前基于图片使用fasterrcnn网络也可以减少计算量。2)提出非极大融合算法，针对烟雾特点对fasterrcnn结果框生成过程进行了改进，实现了减少框数量、各框之间互不重叠、结果框包含烟雾边界的效果，更加有利于使用三维卷积网络进行烟雾识别，减少了三维卷积网络处理的对象，提高检测速度；烟雾的动态特征在边界处最为明显，结果框尽量多的包含烟雾边界有利于感知烟雾动态信息。3)使用三维卷积网络可以提取烟雾动态特征，在fasterrcnn基于图片对烟雾进行识别的基础上，对烟雾进行二次识别，提高了烟雾识别准确率，降低了误报率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种使用三维卷积神经网络的视频烟雾识别方法的流程图；

图2为本发明实施例提供的利用非极大融合算法得到疑似烟雾区域的结果框的流程图；

图3为本发明实施例提供的三维卷积神经网络的结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种使用三维卷积神经网络的视频烟雾识别方法，如图1所示，其主要包括如下两个部分：

1、利用预训练好的fasterrcnn(fasterregionconvolutionalneuralnetwork，快速区域卷积神经网络)模型并结合非极大融合算法对目标帧进行烟雾的初步识别定位，得到疑似烟雾区域的结果框及其烟雾评分，并提取目标帧前后一定数量的视频帧组成视频序列。

从探测系统前端的视频图像采集设备传回视频流到计算设备上，在计算设备上，视频流每间隔一定数量的帧，例如32帧，标记一个目标帧，作为fasterrcnn模型的处理对象，以达到减少处理相似帧、加快处理速度的目的。将目标帧输入预先训练好的fasterrcnn网络模型中，得到网络模型的输出结果，fasterrcnn网络模型的输出中提取了疑似烟雾的位置信息。fasterrcnn网络包含三个部分，cnn(convolutionalneuralnetwork，卷积神经网络)用于提取图片特征获得特征图，rpn(regionproposalnetwork，区域候选网络)用于在特征图上提取目标框，softmax用于分类，即根据目标框内的特征图给出相应目标框的烟雾评分，其值在0至1之间。其中cnn使用的是zf-net网络。

在标准的fasterrcnn网络框架中，使用了rpn网络来生成最初的大量相互重叠的300个目标框，然后基于各个框的烟雾评分使用nms算法(non-maximumsuppression，非极大抑制)减少框的数量。但仍然存在结果框数量过多、框相互重叠较多，框无法将烟雾完全包括等问题，不利于后续使用三维卷积作进一步处理。

本发明实施例中，针对烟雾形态多变、边界不明显等特征，设计了nma算法(non-maximumannexation，非极大融合)来处理300个目标框，得到了更适合烟雾三维特征提取的结果框。

利用非极大融合算法对一定数量(例如300个)目标框进行一些合并、丢弃操作获得新的目标框，为了方便区分，将新的目标框称为结果框，其流程如图2所示，主要包括：

1)利用预训练好的fasterrcnn模型中的区域候选网络结合目标帧生成一定数量的目标框，然后将目标框按照烟雾评分递减排序，并结合非极大融合算法生成疑似烟雾区域的结果框，过程如下：

2)从中选取烟雾评分最高的目标框，并判断其烟雾评分是否高于阈值；若高于阈值，则判断目标框是否与已经选出的任一结果框不重叠；若是，则将相应的目标框保留为一个结果框，并保留相应的烟雾评分；如果此过程为第一次执行，则选出的烟雾评分最高的目标框直接保存为结果框。

3)若否，则判断目标框是否与已经选出的某一结果框重叠的区域大于设定值；若是，则将目标框与相应结果框合并为一个新的结果框，因为目标框已经根据烟雾评分排序，当前处理的目标框的烟雾评分一定不大于结果框的烟雾评分，所以合并后的结果框继承合并前结果框的烟雾评分；若否，则删除相应目标框；

通过重复执行上述过程(即2)～3))，最终选出一系列疑似烟雾区域的结果框。

此外，提取目标帧前后一定数量的视频帧组成视频序列后，还按照疑似烟雾区域的结果框的位置对视频序列进行裁剪，得到与各个结果框对应的视频序列。

2、利用预训练好的三维卷积神经网络对视频序列进行三维特征提取，将提取到的特征向量与结果框的烟雾评分组成新的特征向量输入至svm分类器，由svm分类器输出新的特征向量为烟雾或非烟雾的分类结果。

在上个步骤中，fasterrcnn模型给出了疑似烟雾的结果框，及各结果框对应的烟雾评分(类别概率)，如果只根据这个结果进行烟雾报警，误报率太高，所以在本步骤中使用三维卷积神经网络(3dcnn)对这些疑似烟雾框进行动态特征提取。针对视频烟雾数据样本少的特点，使用较少的卷积层来防止过拟合，如图3所示，预训练好的三维卷积神经网络包括：依次连接的五个卷积层与三个全连接层。

第三个全连接层(即fc8)只参与三维卷积神经网络的训练阶段。为了结合结果框的烟雾评分以提高识别准确率，在三维卷积神经网络训练完成后，第二个全连接层(即fc7)的输出即为提取到的特征向量，将结合相应的烟雾评分输入至训练好的svm分类器进行分类。三维卷积网络对视频序列进行处理，利用时间-空间信息，可以进行烟雾的精确识别。针对不同场景下烟雾距离存在差异，视频序列中烟雾运动速度会有所不同，三维卷积网络的输入层可以设计三种尺寸，例如，可以分别为64帧，32帧和16帧，并通过第一个卷积层时间步长的调整后，统一输出64*16*56*56的特征图，作为第二个卷积层的输入。

在使用三维卷积网络提取特征之后，使用svm对特征向量进行训练和分类，并将第一部分fasterrcnn得到的每个结果框的烟雾评分加入到三维卷积提取的特征向量中，利用fasterrcnn对空间特征的判别结果，达到了提高识别准确率的效果。

本发明实施例上述方案，主要具有如下有益效果：

1)使用fasterrcnn算法，基于图片进行烟雾的初步识别，作为疑似烟雾区域提取方法，与基于颜色、运动等特征的传统前景提取方法相比，更加准确，并已经对烟雾进行了初步判断；同时，在三维卷积网络之前基于图片使用fasterrcnn网络也可以减少计算量。

2)提出非极大融合算法，针对烟雾特点对fasterrcnn结果框生成过程进行了改进，实现了减少框数量、各框之间互不重叠、结果框包含烟雾边界的效果，更加有利于使用三维卷积网络进行烟雾识别，减少了三维卷积网络处理的对象，提高检测速度；烟雾的动态特征在边界处最为明显，结果框尽量多的包含烟雾边界有利于感知烟雾动态信息。

3)使用三维卷积网络可以提取烟雾动态特征，在fasterrcnn基于图片对烟雾进行识别的基础上，对烟雾进行二次识别，提高了烟雾识别准确率，降低了误报率。

为了便于理解，下面结合一个示例来进行说明，需要强调的是，下述示例所涉及的应用场景及相关参数的数值仅为举例，并非构成限制。

本发明可以应用于不同场景下的烟雾检测，如森林火灾瞭望塔台、楼梯走廊等室内场景，候机楼等大空间等，针对不同的场景使用相应的视频数据训练深度卷积模型即可。

本示例中以森林火灾烟雾检测场景为例来进行说明。

森林火灾烟雾视频监控系统由前端高清监控设备，监控塔台，网络传输系统，供电系统，安全防护系统，视频管理系统和烟雾识别系统及其他必要设备组成，其中烟雾识别系统搭载基于深度卷积神经网络的视频烟雾识别算法。

前端高清网络摄像机安装于视野开阔的监控塔台上，并通过云台实现360度水平旋转，能够根据预设的角度和轨迹完成监控范围的巡航报警工作，也可以通过后台进行手动控制，对监控范围进行精细观察。监控数据通过网络传输系统传送到后台视频管理系统，烟雾识别系统从视频管理系统中读取视频数据，并按照32帧的间隔提取目标帧。

预先训练好的fasterrcnn模型对目标帧进行处理，对于烟雾评分大于0.01(即阈值)的目标框，则通过非极大融合nma算法计算结果框，并提取目标帧前15和后16帧组成32帧的视频序列，根据结果框的位置信息将视频序列裁剪为clips，作为三维卷积网路的输入。

预先训练好的三维卷积模型对clips进行三维特征提取，得到fc7层的特征向量，并与fasterrcnn对结果框的烟雾评分组成新的特征向量，作为svm分类器的输入。

预先训练好的svm分类模型根据特征向量对clips进行烟雾分类，结果为烟雾和非烟雾两类，如果分类结果为烟雾则发出火灾警报，同时视频管理系统对该段视频进行存档以供调阅。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。