基于卷积神经网络的火焰检测方法及装置与流程

文档序号:12471118阅读:625来源:国知局
基于卷积神经网络的火焰检测方法及装置与流程

本发明涉及图像处理、视频监控以及消防,特别涉及火焰检测方法及装置。



背景技术:

火灾是一种常见的频发灾害,严重地威胁了国家财产和人民群众的安全。为有效及时地预警火灾的发生,避免火灾蔓延,引入一种高效的火焰检测方法具有极强的现实和经济意义。由于火焰本身蕴含着复杂多变的静态特征和动态特征,如何准确描述火焰特征,使其能在复杂场景下有效区分火焰和非火焰一直是火焰检测领域的难点和核心问题。

现有的火焰检测主要是围绕火焰特征,包括火焰静态特征和动态特征,并在特征基础上引入相关概率和分类模型进行火焰检测。火焰静态特征主要包括颜色和轮廓等。颜色特征主要基于RGB、YCbCr等颜色空间,检测速度快,但对于与火焰颜色接近的目标无法正确区分。轮廓特征主要描述了火焰的面积、周长、形状等轮廓信息,但由于火焰轮廓存在不确定性和多样性,无法从轮廓上准确刻画出火焰域非火焰的区分性。火焰动态特征目前只是单纯刻画火焰的局部或全局的一种频率变化,但对于闪烁灯光、抖动的红旗等无法区分。

综上所述,目前迫切需要提出一种快速且检测准确率高的火焰检测方法及装置。



技术实现要素:

有鉴于此,本发明的主要目的在于实现火焰的快速检测,且检测准确率高。

为达到上述目的,按照本发明的第一个方面,提供了一种基于卷积神经网络的火焰检测方法,该方法包括:

第一步骤,选取标签的样本图像,利用卷积神经网络对样本图像进行训练,获取训练好的模型;

第二步骤,提取彩色的场景图像中的疑似火焰点,将疑似火焰点作为前景点,获取二值图像;

第三步骤,采用连通区域法对二值图像进行连通区域处理,获取一系列的连通区域;

第四步骤,对连通区域进行筛选,获取候选区域;及

第五步骤,利用训练好的模型对候选区域进行识别,输出识别结果。

所述第一步骤进一步包括:

样本选取步骤,选取Th_fire个标签的灰度火焰图像作为正样本图像,选取Th_nfire个标签的灰度非火焰图像作为负样本图像;

初步训练步骤,利用卷积神经网络对正样本图像和负样本图像进行特征训练,获得初步训练的模型;

二次训练步骤,选取Th_Test个无标签的灰度图像,根据初步训练的模型对无标签的灰度图像进行反复训练,直至模型收敛,该收敛的模型即为训练好的模型。

所述初步训练步骤中卷积神经网络包括:Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。

所述第i个卷积层包括Th_CKi个卷积核,卷积核的大小为CKSi*CKSi、步长为Th_CSi,i=1,2,…,Th_Conc;第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj,j=1,2,…,Th_Pool;所述全连接层的最后一层全连接层输出的神经元的数量为2。

所述二次训练步骤包括:

训练特征提取步骤,根据初步训练的模型提取Th_Test个无标签的灰度图像的特征;

训练分类判定步骤,分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别;

反复训练步骤,计算判定结果与真实结果的误差,利用反向传播算法来训练模型,重复训练特征提取步骤和训练分类判定步骤,直至该模型收敛,收敛的模型即为训练好的模型。

所述第二步骤进一步包括:

RGB颜色空间判定步骤,统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x,y)、B分量值B(x,y),若同时满足和则将该像素点标记为保留点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0;

HIS颜色空间判定步骤,将场景图像转换到HIS颜色空间,统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y),若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255,则认为该保留点为疑似火焰点,并将疑似火焰点标记为前景点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0。

所述第四步骤进一步包括:计算每一个连通区域的面积,若连通区域的面积小于Th_CR,则将该连通区域内的所有前景点设为背景点,否则将该连通区域标记为候选区域。

所述第五步骤进一步包括:

检测特征提取步骤,根据训练好的模型提取候选区域的特征;

检测分类判定步骤,分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别,输出判定结果。

按照本发明的另一个方面,提供了一种基于卷积神经网络的火焰检测装置,该装置包括:

火焰识别模型训练模块,用于选取标签的样本图像,利用卷积神经网络对样本图像进行训练,获取训练好的模型;

二值图像获取模块,用于提取彩色的场景图像中的疑似火焰点,将疑似火焰点作为前景点,获取二值图像;

连通区域获取模块,用于采用连通区域法对二值图像进行连通区域处理,获取一系列的连通区域;

候选区域获取模块,用于对连通区域进行筛选,获取候选区域;及

候选区域识别模块,用于利用训练好的模型对候选区域进行识别,输出识别结果。

所述火焰识别模型训练模块进一步包括:

样本选取模块,用于选取Th_fire个标签的灰度火焰图像作为正样本图像,选取Th_nfire个标签的灰度非火焰图像作为负样本图像;

初步训练模块,用于利用卷积神经网络对正样本图像和负样本图像进行特征训练,获得初步训练的模型;

二次训练模块,用于选取Th_Test个无标签的灰度图像,根据初步训练的模型对无标签的灰度图像进行反复训练,直至模型收敛,该收敛的模型即为训练好的模型。

所述初步训练模块中卷积神经网络包括:Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。

所述第i个卷积层包括Th_CKi个卷积核,卷积核的大小为CKSi*CKSi、步长为Th_CSi,i=1,2,…,Th_Conc;第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj,j=1,2,…,Th_Pool;所述全连接层的最后一层全连接层输出的神经元的数量为2。

所述二次训练模块进一步包括:

训练特征提取模块,用于根据初步训练的模型提取Th_Test个无标签的灰度图像的特征;

训练分类判定模块,用于分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别;

反复训练模块,用于计算判定结果与真实结果的误差,利用反向传播算法来训练模型,重复训练特征提取模块和训练分类判定模块,直至该模型收敛,收敛的模型即为训练好的模型。

所述二值图像获取模块进一步包括:

RGB颜色空间判定模块,用于统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x,y)、B分量值B(x,y),若同时满足和则将该像素点标记为保留点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0;

HIS颜色空间判定模块,用于将场景图像转换到HIS颜色空间,统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y),若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255,则认为该保留点为疑似火焰点,并将疑似火焰点标记为前景点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0。

所述候选区域获取模块进一步包括:计算每一个连通区域的面积,若连通区域的面积小于Th_CR,则将该连通区域内的所有前景点设为背景点,否则将该连通区域标记为候选区域。

所述候选区域识别模块进一步包括:

检测特征提取模块,用于根据训练好的模型提取候选区域的特征;

检测分类判定模块,用于分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别,输出判定结果。

与现有的火焰检测技术相比,本发明的基于卷积神经网络的火焰检测方法及装置一方面先利用火焰在RGB和HIS颜色空间的特征,先提取火焰的候选区域,减少了后期候选区域识别的计算量,减少了火焰检测的运算量;另一方面采用卷积神经网络对候选区域进行识别,提高了火焰检测的准确率。

附图说明

图1示出了按照本发明的基于卷积神经网络的火焰检测方法的流程图。

图2示出了按照本发明的基于卷积神经网络的火焰检测装置的框架图。

具体实施方式

为使贵审查员能进一步了解本发明的结构、特征及其他目的,现结合所附较佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并非限定本发明。

图1给出了按照本发明的基于卷积神经网络的火焰检测方法的流程图。如图1所示,按照本发明的基于卷积神经网络的火焰检测方法包括:

第一步骤S1,选取标签的样本图像,利用卷积神经网络对样本图像进行训练,获取训练好的模型;

第二步骤S2,提取彩色的场景图像中的疑似火焰点,将疑似火焰点作为前景点,获取二值图像;

第三步骤S3,采用连通区域法对二值图像进行连通区域处理,获取一系列的连通区域;

第四步骤S4,对连通区域进行筛选,获取候选区域;及

第五步骤S5,利用训练好的模型对候选区域进行识别,输出识别结果。

所述第一步骤S1进一步包括:

样本选取步骤S11,选取Th_fire个标签的灰度火焰图像作为正样本图像,选取Th_nfire个标签的灰度非火焰图像作为负样本图像;

初步训练步骤S12,利用卷积神经网络对正样本图像和负样本图像进行特征训练,获得初步训练的模型;

二次训练步骤S13,选取Th_Test个无标签的灰度图像,根据初步训练的模型对无标签的灰度图像进行反复训练,直至模型收敛,该收敛的模型即为训练好的模型。

其中,所述样本选取步骤S11中Th_fire≥100,Th_nfire≥0。当Th_nfire选为0时,没选取负样本图像。所述二次训练步骤S13中Th_Test≥100。

优选地,Th_fire≥500,Th_nfire≥100,Th_Test≥400。

所述样本选取步骤S11中若标签的火焰图像和非火焰图像为彩色图像,则先进行灰度化处理,以获取标签的灰度火焰图像和灰度非火焰图像。

所述初步训练步骤S12中卷积神经网络包括:Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。

所述第i个卷积层包括Th_CKi个卷积核,卷积核的大小为CKSi*CKSi、步长为Th_CSi,i=1,2,…,Th_Conc;第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj,j=1,2,…,Th_Pool;所述全连接层的最后一层全连接层输出的神经元的数量为2。

所述Th_Con∈[2,22],Th_Pool∈[2,16],Th_Full∈[1,4]。Th_CKi∈[4,512],CKSi∈[3,11],Th_CSi∈[1,2],PKSj∈[2,4],Th_PKj∈[2,4]。

进一步地,所述Th_Con∈[2,12],Th_Pool∈[2,10],Th_Full∈[1,3]。Th_CKi∈[4,200],CKSi∈[3,9],Th_CSi∈[1,2],PKSj∈[2,4],Th_PKj∈[2,3]。

优选地,所述卷积神经网络包括:

第一层卷积层,输入Th_Width*Th_Height的灰度图像,输出Th_CK1个卷积核,卷积核的大小为CKS1*CKS1、步长为Th_CS1

第一层池化层,采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核;

第二层卷积层,输出Th_CK2个卷积核,卷积核的大小为CKS2*CKS2、步长为Th_CS2

第二层池化层,采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核;

第三层卷积层,输出Th_CK3个卷积核,卷积核的大小为CKS3*CKS3、步长为Th_CS3

第一层全连接层,采用ReLU作为激活函数,输出Th_Neur个神经元;

第二层全连接层,输出2个类别。

其中,Th_Width和Th_Height分别为输入图像的宽度和高度,Th_Width∈[32,128],Th_Height∈[32,128]。Th_CK1∈[6,20],CKS1∈[5,9],Th_CS1∈[1,2]。PKS1∈[2,4],Th_PK1∈[2,3]。Th_CK2∈[10,40],CKS2∈[3,5],Th_CS2∈[1,2]。PKS2∈[2,4],Th_PK2∈[2,3]。Th_CK3∈[10,40],CKS3∈[3,5],Th_CS3∈[1,2]。Th_Neur∈[160,10000]。

优选地,Th_Width选为64,Th_Height选为64;Th_CK1选为16,CKS1选为9,Th_CS1选为1;PKS1选为2,Th_PS1选为2;Th_CK2选为32,CKS2选为5,Th_CS2选为1;PKS2选为2,Th_PS2选为2;Th_CK3选为32,CKS3选为3,Th_CS3选为1。Th_Neur设为256。

所述第一层全连接层中ReLU全称为Rectified Linear Units,中文译为修正线性单元,可以参考文献“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述二次训练步骤S13进一步包括:

训练特征提取步骤S131,根据初步训练的模型提取Th_Test个无标签的灰度图像的特征;

训练分类判定步骤S132,分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别;

反复训练步骤S133,计算判定结果与真实结果的误差,利用反向传播算法来训练模型,重复训练特征提取步骤S131和训练分类判定步骤S132,直至该模型收敛,收敛的模型即为训练好的模型。

其中,所述反向传播算法通过现有的技术实现。

所述第二步骤S2中彩色的场景图像可以是通过图像传感器采集的彩色图像,也可以是直接输入的彩色图像。

所述第二步骤S2可以通过现有的火焰点检测方法实现。

优选地,所述第二步骤S2进一步包括:

RGB颜色空间判定步骤S21,统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x,y)、B分量值B(x,y),若同时满足和则将该像素点标记为保留点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0;

HIS颜色空间判定步骤S22,将场景图像转换到HIS颜色空间,统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y),若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255,则认为该保留点为疑似火焰点,并将疑似火焰点标记为前景点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0。

其中,所述λ1∈[0.3,0.5],λ2∈[0.7,0.9],λ3∈[0.4,0.6],λ4∈[50,70],λ5∈[0.15,0.25],λ6∈[80,120]。优选地,λ1选为0.4,λ2选为0.8,λ3选为0.5,λ4选为60,λ5选为0.2,λ6选为100。

所述第三步骤S3中连通区域法为现有技术。

所述第四步骤S4进一步包括:计算每一个连通区域的面积,若连通区域的面积小于Th_CR,则将该连通区域内的所有前景点设为背景点,否则将该连通区域标记为候选区域。

其中,Th_CR∈[20,40]。优选地,Th_CR选为30。

所述第五步骤S5进一步包括:

检测特征提取步骤S51,根据训练好的模型提取候选区域的特征;

检测分类判定步骤S52,分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别,输出判定结果。

图2给出了按照本发明的基于卷积神经网络的火焰检测装置的框架图。如图2所示,按照本发明的基于卷积神经网络的火焰检测装置包括:

火焰识别模型训练模块1,用于选取标签的样本图像,利用卷积神经网络对样本图像进行训练,获取训练好的模型;

二值图像获取模块2,用于提取彩色的场景图像中的疑似火焰点,将疑似火焰点作为前景点,获取二值图像;

连通区域获取模块3,用于采用连通区域法对二值图像进行连通区域处理,获取一系列的连通区域;

候选区域获取模块4,用于对连通区域进行筛选,获取候选区域;及

候选区域识别模块5,用于利用训练好的模型对候选区域进行识别,输出识别结果。

所述火焰识别模型训练模块1进一步包括:

样本选取模块11,用于选取Th_fire个标签的灰度火焰图像作为正样本图像,选取Th_nfire个标签的灰度非火焰图像作为负样本图像;

初步训练模块12,用于利用卷积神经网络对正样本图像和负样本图像进行特征训练,获得初步训练的模型;

二次训练模块13,用于选取Th_Test个无标签的灰度图像,根据初步训练的模型对无标签的灰度图像进行反复训练,直至模型收敛,该收敛的模型即为训练好的模型。

其中,所述样本选取模块11中Th_fire≥100,Th_nfire≥0。当Th_nfire选为0时,没选取负样本图像。所述二次训练模块13中Th_Test≥100。

优选地,Th_fire≥500,Th_nfire≥100,Th_Test≥400。

所述样本选取模块11中若标签的火焰图像和非火焰图像为彩色图像,则先进行灰度化处理,以获取标签的灰度火焰图像和灰度非火焰图像。

所述初步训练模块12中卷积神经网络包括:Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层。

所述第i个卷积层包括Th_CKi个卷积核,卷积核的大小为CKSi*CKSi、步长为Th_CSi,i=1,2,…,Th_Conc;第j个池化层的核的大小为PKSj*PKSj、步长为Th_PSj,j=1,2,…,Th_Pool;所述全连接层的最后一层全连接层输出的神经元的数量为2。

所述Th_Con∈[2,22],Th_Pool∈[2,16],Th_Full∈[1,4]。Th_CKi∈[4,512],CKSi∈[3,11],Th_CSi∈[1,2],PKSj∈[2,4],Th_PKj∈[2,4]。

进一步地,所述Th_Con∈[2,12],Th_Pool∈[2,10],Th_Full∈[1,3]。Th_CKi∈[4,200],CKSi∈[3,9],Th_CSi∈[1,2],PKSj∈[2,4],Th_PKj∈[2,3]。

优选地,所述卷积神经网络包括:

第一层卷积层,输入Th_Width*Th_Height的灰度图像,输出Th_CK1个卷积核,卷积核的大小为CKS1*CKS1、步长为Th_CS1

第一层池化层,采用最大池化法输出PKS1*PKS1、步长为Th_PS1的核;

第二层卷积层,输出Th_CK2个卷积核,卷积核的大小为CKS2*CKS2、步长为Th_CS2

第二层池化层,采用最大池化法输出PKS2*PKS2、步长为Th_PS2的核;

第三层卷积层,输出Th_CK3个卷积核,卷积核的大小为CKS3*CKS3、步长为Th_CS3

第一层全连接层,采用ReLU作为激活函数,输出Th_Neur个神经元;

第二层全连接层,输出2个类别。

其中,Th_Width和Th_Height分别为输入图像的宽度和高度,Th_Width∈[32,128],Th_Height∈[32,128]。Th_CK1∈[6,20],CKS1∈[5,9],Th_CS1∈[1,2]。PKS1∈[2,4],Th_PK1∈[2,3]。Th_CK2∈[10,40],CKS2∈[3,5],Th_CS2∈[1,2]。PKS2∈[2,4],Th_PK2∈[2,3]。Th_CK3∈[10,40],CKS3∈[3,5],Th_CS3∈[1,2]。Th_Neur∈[160,10000]。

优选地,Th_Width选为64,Th_Height选为64;Th_CK1选为16,CKS1选为9,Th_CS1选为1;PKS1选为2,Th_PS1选为2;Th_CK2选为32,CKS2选为5,Th_CS2选为1;PKS2选为2,Th_PS2选为2;Th_CK3选为32,CKS3选为3,Th_CS3选为1。Th_Neur设为256。

所述第一层全连接层中ReLU全称为Rectified Linear Units,中文译为修正线性单元,可以参考文献“Taming the ReLU with Parallel Dither in a Deep Neural Network.AJR Simpson.Computer Science,2015”。

所述二次训练模块13进一步包括:

训练特征提取模块131,用于根据初步训练的模型提取Th_Test个无标签的灰度图像的特征;

训练分类判定模块132,用于分别计算该无标签的灰度图像的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别;

反复训练模块133,用于计算判定结果与真实结果的误差,利用反向传播算法来训练模型,重复训练特征提取模块131和训练分类判定模块132,直至该模型收敛,收敛的模型即为训练好的模型。

其中,所述反向传播算法通过现有的技术实现。

所述二值图像获取模块2中彩色的场景图像可以是通过图像传感器采集的彩色图像,也可以是直接输入的彩色图像。

所述二值图像获取模块2可以通过现有的火焰点检测方法实现。

优选地,所述二值图像获取模块2进一步包括:

RGB颜色空间判定模块21,用于统计场景图像中像素点(x,y)的R分量值R(x,y)、G分量值G(x,y)、B分量值B(x,y),若同时满足和则将该像素点标记为保留点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0;

HIS颜色空间判定模块22,用于将场景图像转换到HIS颜色空间,统计场景图像中保留点的(x,y)的H分量值H(x,y)、S分量值S(x,y)、I分量值I(x,y),若同时满足0≤H(x,y)≤λ4、λ5≤S(x,y)≤1以及λ6≤I(x,y)≤255,则认为该保留点为疑似火焰点,并将疑似火焰点标记为前景点,否则将该像素点标记为背景点,并将该像素点的各分量值都设为0。

其中,所述λ1∈[0.3,0.5],λ2∈[0.7,0.9],λ3∈[0.4,0.6],λ4∈[50,70],λ5∈[0.15,0.25],λ6∈[80,120]。优选地,λ1选为0.4,λ2选为0.8,λ3选为0.5,λ4选为60,λ5选为0.2,λ6选为100。

所述连通区域获取模块3中连通区域法为现有技术。

所述候选区域获取模块4进一步包括:计算每一个连通区域的面积,若连通区域的面积小于Th_CR,则将该连通区域内的所有前景点设为背景点,否则将该连通区域标记为候选区域。

其中,Th_CR∈[20,40]。优选地,Th_CR选为30。

所述候选区域识别模块5进一步包括:

检测特征提取模块51,用于根据训练好的模型提取候选区域的特征;

检测分类判定模块52,用于分别计算该候选区域的特征与火焰类别的相似度Simi1、非火焰类别特征的相似度Simi2,若Simi1>Simi2,则判定为火焰类别,否则判定为非火焰类别,输出判定结果。

与现有的火焰检测技术相比,本发明的基于卷积神经网络的火焰检测方法及装置一方面先利用火焰在RGB和HIS颜色空间的特征,先提取火焰的候选区域,减少了后期候选区域识别的计算量,减少了火焰检测的运算量;另一方面采用卷积神经网络对候选区域进行识别,提高了火焰检测的准确率。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1