一种基于卷积网络的火灾场景中内容的检测装置的制作方法

本发明涉及人工智能技术领域，更具体地，涉及一种基于卷积网络的火灾场景中内容的检测装置。

背景技术：

火灾能对人类生产生活造成巨大损害。以nfpa提供的数据为例，美国2015年总共发生约134万场火灾，3千人死于火灾中，1.5万人受伤，造成143亿美元损失，防火部门每隔23秒就要应对一次火灾的发生。据统计火灾预警的时间越迟，其伤亡人员可能性越高，财产损失越大。而烟、雾和火光作为火灾初期产生的重要特征，如果能通过视觉装置有效的捕捉到烟、雾和火光，就能在火情尚未扩大时提供及时、有效的预警，从而减小人员伤亡和财产损失的几率。由于监控相机相易于架设且存在普遍，因此开展基于视觉的烟、雾和火光检测研究具有实际应用意义。

早期的烟、雾和火光识别多围绕颜色、纹理以及轮廓等静态特征展开，例如chen和yin等人通过分析烟、雾和火光的像素点颜色信息，统计并建立了烟雾彩色模型来进行烟、雾和火光检测。袁非牛等人采用金字塔纹理和多边尺度特征方法提取烟、雾和火光图像边缘和纹理信息进行烟、雾和火光检测。

现有烟、雾和火光检测技术存在检测效率和准确率低等问题。

技术实现要素：

为了解决上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的基于卷积网络的火灾场景中内容的检测装置。

根据本发明实施例的第一方面，提供了一种火灾场景中内容的检测方法，包括：

获取至少一张待检测火灾场景的图像；

将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

进一步，将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率，之前还包括：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对火灾检测卷积网络进行训练。

进一步，获取训练样本集；对训练样本集进行标注；基于训练样本集和训练样本集的标注信息，对火灾检测卷积网络进行训练，进一步包括：

获取训练样本图像；

对训练样本图像所对应的标准检测矩阵y进行标注；将训练样本图像输入火灾检测卷积网络，获得训练检测矩阵

重复执行上一步骤，通过调整火灾检测卷积网络的参数，最终使得y与的差异loss(θ)达到最小。

进一步，y与的差异包括对应点间的差异dl和相邻点间的差异dn，其中，相邻点间的差异dn是邻接区域内所有元素标签代数和nneighbor(yi,j)：

其中，yi,j为检测矩阵中的元素，i,j是训练样本图像、检测矩阵y和中元素的坐标；λ为平衡dl与dn的参数；labelij为训练样本图像在i,j坐标的标注。

进一步，所述火灾检测卷积网络进一步用于：

将输入的图像经过6个卷积层，其中前5个卷积层各层后还连接1个非线性激活函数和1个最大池化层；再经过2个全连接层fc1、fc2把图像压缩成特征向量；其中6个卷积层从上到下依次为conv1、conv2、conv3、conv4、conv5和conv6；前5个卷积层各层对应的最大池化层从上到下依次为pool1、pool2、pool3、pool4和pool5；

特征向量经过上采样层dl1反卷积，再与经裁剪后的pool4的输出合并成up1层；

up1层的输出经过上采样层dl2反卷积，并与经裁剪后的pool3的输出合并成up2层；

up2层的输出再经过上采样层dl3反卷积，将输出的结果裁剪到与输入的图像相同的尺寸，获得检测矩阵。

进一步，检测矩阵中包括的元素yi,j为：

yij＝fks({xsi+δi，sj+δj})(0≤δi，δj≤k)

i,j为输入图像和检测矩阵中元素的坐标；fks为操作函数，操作函数为卷积层、最大池化层、上采样层和非线性激活函数四种,k为核的大小,s为步幅stride尺寸,σ为边缘上的填充尺寸。

根据本发明的又一个方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述任一所述的方法。

根据本发明的又一个方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一项所述的方法。

本发明提供一种基于卷积网络的火灾场景中内容的检测方法及装置，所述方法包括：获取至少一张待检测火灾场景的图像；将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率。本发明基于待检测火灾场景的静态图像特征，具有高效、准确识别火灾场景中内容信息的有益效果。

附图说明

图1为本发明实施例的一种基于卷积网络的火灾场景中内容的检测方法的整体流程示意图；

图2为本发明实施例的一种基于卷积网络的火灾场景中内容的检测方法中火灾检测卷积网络的框架示意图；

图3为本发明实施例的一种基于卷积网络的火灾场景中内容的检测装置的整体框架示意图；

图4是本发明实施例的一种电子设备的框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1，示出本发明实施例一种基于卷积网络的火灾场景中内容的检测方法的总体流程示意图，包括：

s1，获取至少一张待检测火灾场景的图像；

s2，将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

具体地，本发明实施例基于静态特征，提出了基于卷积网络的烟雾检测方法，不但能检测场景中是否发生烟、雾和火光，而且能够分辨出场景中哪儿发生了烟雾。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中内容的检测方法，s2，将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率，之前还包括：

s0，获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对火灾检测卷积网络进行训练。

其中，需要说明的是，此处s0既可以在s1之前，也可以在s1之后，也可以同时进行，本发明实施例对于s0与s1之间的时序关系不作特殊限定。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中内容的检测方法，s0，获取训练样本集；对训练样本集进行标注；基于训练样本集和训练样本集的标注信息，对火灾检测卷积网络进行训练，进一步包括：

s01，获取训练样本图像；

s02，对训练样本图像所对应的标准检测矩阵y进行标注；将训练样本图像输入火灾检测卷积网络，获得训练检测矩阵

s03，重复执行上一步骤，通过调整火灾检测卷积网络的参数，最终使得y与的差异loss(θ)达到最小。

其中，将训练样本图像输入待训练的火灾检测卷积网络，得到检测矩阵检测矩阵与标注过的检测矩阵y间存在差异loss(θ)，其中θ为火灾检测卷积网络的参数。训练的过程就是反复多次调整参数θ，让差异loss(θ)最小。也就是:

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测方法，y与的差异包括对应点间的差异dl和相邻点间的差异dn，其中，相邻点间的差异dn是邻接区域内所有元素标签代数和nneighbor(yi,j)：

其中，yi,j为检测矩阵中的元素，i,j是训练样本图像、检测矩阵y和中元素的坐标；λ为平衡dl与dn的参数；labelij为训练样本图像在i,j坐标的标注。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测方法，如图2，示出本发明实施例一种基于卷积网络的火灾场景中内容的检测方法中火灾检测卷积网络的框架示意图。所述火灾检测卷积网络进一步用于：

将输入的图像经过6个卷积层，其中前5个卷积层各层后还连接1个非线性激活函数和1个最大池化层；再经过2个全连接层fc1、fc2把图像压缩成特征向量；其中6个卷积层从上到下依次为conv1、conv2、conv3、conv4、conv5和conv6；前5个卷积层各层对应的最大池化层从上到下依次为pool1、pool2、pool3、pool4和pool5；

特征向量经过上采样层dl1反卷积，再与经裁剪后的pool4的输出合并成up1层；

up1层的输出经过上采样层dl2反卷积，并与经裁剪后的pool3的输出合并成up2层；

up2层的输出再经过上采样层dl3反卷积，将输出的结果裁剪到与输入的图像相同的尺寸，获得检测矩阵。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测方法，检测矩阵中包括的元素yi,j为：

yij＝fks({xsi+δi，sj+δj})(0≤δi，δj≤k)

i,j为输入图像和检测矩阵中元素的坐标；fks为操作函数，操作函数为卷积层、最大池化层、上采样层和非线性激活函数四种,k为核的大小,s为步幅stride尺寸,σ为边缘上的填充尺寸。

如图3，示出本发明实施例一种基于卷积网络的火灾场景中内容的检测方法装置的总体框架示意图，包括：

a1，获取模块，用于获取至少一张待检测火灾场景的图像；

s2，检测模块，用于将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

具体地，本发明实施例基于静态特征，提出了基于卷积网络的烟雾检测方法，不但能检测场景中是否发生烟、雾和火光，而且能够分辨出场景中哪儿发生了烟雾。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中内容的检测装置，还包括训练模块，用于：

获取训练样本集；

对训练样本集进行标注；

基于训练样本集和训练样本集的标注信息，对火灾检测卷积网络进行训练。

其中，需要说明的是，此处s0既可以在s1之前，也可以在s1之后，也可以同时进行，本发明实施例对于s0与s1之间的时序关系不作特殊限定。

在本发明上述任一具体实施例的基础上，提出一种基于卷积网络的火灾场景中内容的检测装置，训练模块，进一步用于：

获取训练样本图像；

对训练样本图像所对应的标准检测矩阵y进行标注；将训练样本图像输入火灾检测卷积网络，获得训练检测矩阵

重复执行上一步骤，通过调整火灾检测卷积网络的参数，最终使得y与的差异loss(θ)达到最小。

其中，将训练样本图像输入待训练的火灾检测卷积网络，得到检测矩阵检测矩阵与标注过的检测矩阵y间存在差异loss(θ)，其中θ为火灾检测卷积网络的参数。训练的过程就是反复多次调整参数θ，让差异loss(θ)最小。也就是:

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测装置，y与的差异包括对应点间的差异dl和相邻点间的差异dn，其中，相邻点间的差异dn是邻接区域内所有元素标签代数和nneighbor(yi,j)：

其中，yi,j为检测矩阵中的元素，i,j是训练样本图像、检测矩阵y和中元素的坐标；λ为平衡dl与dn的参数；labelij为训练样本图像在i,j坐标的标注。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测装置，如图2，示出本发明实施例一种基于卷积网络的火灾场景中内容的检测装置中火灾检测卷积网络的框架示意图。所述火灾检测卷积网络进一步用于：

将输入的图像经过6个卷积层，其中前5个卷积层各层后还连接1个非线性激活函数和1个最大池化层；再经过2个全连接层fc1、fc2把图像压缩成特征向量；其中6个卷积层从上到下依次为conv1、conv2、conv3、conv4、conv5和conv6；前5个卷积层各层对应的最大池化层从上到下依次为pool1、pool2、pool3、pool4和pool5；

特征向量经过上采样层dl1反卷积，再与经裁剪后的pool4的输出合并成up1层；

up1层的输出经过上采样层dl2反卷积，并与经裁剪后的pool3的输出合并成up2层；

up2层的输出再经过上采样层dl3反卷积，将输出的结果裁剪到与输入的图像相同的尺寸，获得检测矩阵。

在本发明上述任一具体实施例的基础上，提供一种基于卷积网络的火灾场景中内容的检测装置，检测矩阵中包括的元素yi,j为：

yij＝fks({xsi+δi，sj+δj})(0≤δi，δj≤k)

i,j为输入图像和检测矩阵中元素的坐标；fks为操作函数，操作函数为卷积层、最大池化层、上采样层和非线性激活函数四种,k为核的大小,s为步幅stride尺寸,σ为边缘上的填充尺寸。

在本发明上述任一具体实施例的基础上，提供一种电子设备，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中，图4是本发明实施例提供的电子设备的结构框图，包括：处理器(processor)410、存储器(memory)420和总线430，其中，处理器410，存储器420通过总线430完成相互间的通信。处理器410可以调用存储器420中的逻辑指令，以执行如下方法：获取至少一张待检测火灾场景的图像；将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

本发明实施例公开一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取至少一张待检测火灾场景的图像；将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

本发明实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取至少一张待检测火灾场景的图像；将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率；其中，所述烟雾检测卷积网络包括卷积层、最大池化层、上采样层和非线性激活函数；火灾场景中内容为烟、雾和火光中的至少一种。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

本发明首先获取至少一张待检测火灾场景的图像，然后将待检测火灾场景的图像输入预先训练得到的火灾检测卷积网络，输出得到待检测火灾场景中各像素为各内容的概率。本发明基于待检测火灾场景的静态图像特征，具有高效、准确识别火灾场景中内容信息的有益效果。

最后，本申请说明书中详述的方法和装置仅为较佳的实施方案，并非用于限定本发明实施例的保护范围。凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。