一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法与流程

本发明涉及一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，属于图像识别技术领域。

背景技术：

火灾在日常生活中发生频繁，严重影响到人们的生命和财产安全。而农田秸秆焚烧会造成雾霾天气，并产生大量有毒有害物质，甚至引发火灾。我国从1999年就明令禁止秸秆焚烧，但是至今仍旧屡禁不止。秸秆焚烧可能有深刻的社会原因，暂不考虑，仅仅从技术角度对秸秆焚烧造成的火灾进行警报，从而遏制火灾的危害。

为了对秸秆焚烧造成的火灾进行预防和警报，科研人员们做出了极大的努力。早期，人们依靠传统的感烟，感光，感温的探测器去检测火焰从而降低生活中的损失。但是由于传统的火灾检测器对环境要求苛刻，也不适合对广阔的空间进行火焰检测，所以迫切需要更合理的方式进行火灾检测。随着信息技术的发展，火灾探测正在逐步的向图像化和智能化转变。

这些新型的火灾检测方式大多使用了图像特征提取结合模式识别的方式对火灾进行检测。在这些提取的图像特征中，颜色特征是火焰检测必不可少的一项，因为它包含了火焰最为基本的信息。有基于ycbcr、cielab、hsv、ohta等颜色空间的火焰颜色特征提取。文献[闫红梅,李白萍,视频监控系统中的火灾监测算法研究[c].第17届全国图像图形学术会议论文集,2012年5月]提取了火焰变化的动态特征结合bp网络对火焰进行识别。文献[包晗,康泉胜,周明.一种基于lvq神经网络与图像处理的火焰识别算法[j].中国安全科学学报,2011,21(6):60-64]提取了火焰图像序列的面积重叠率和中心相对移动率等特征结合学习向量量化(lvq)神经网络融合技术对视频序列中的火焰进行自动检测。文献[wangd,cuix,parke,etal.adaptiveflamedetectionusingrandomnesstestingandrobustfeatures[j].firesafetyjournal,2013,55:116-125]使用颜色特征和运动概率特征来衡量视频图像中是否含有火焰。文献[吴茜茵,严云洋,杜静,等.多特征融合的火焰检测算法[j].智能系统学报,2015(2015年02):240-247]提出了一种融合圆形度、矩形度和重心高度系数的火焰检测算法，然后将融合后的火焰特征输入支持向量机(svm)中进行分类。由于农田秸秆焚烧火灾与一般火灾在可燃物、燃烧环境上的不同都会导致检测效果发生偏差，所以以上这些方法在农田秸秆焚烧火灾上有一定的局限性。但是，农田秸秆焚烧的可燃物的纹理特征有其独特之处，因此考虑火焰纹理和颜色特征相结合的检测方式。文献[吴茜茵,严云洋,杜静,等.多特征融合的火焰检测算法[j].智能系统学报,2015(2015年02):240-247]采用局部二值模式方法提取疑似火焰区域的多尺度纹理特征，并输入到支持向量机中进行识别。这些方法在各自相应的范围取得了极好的成绩，但是在秸秆焚烧中不太适应。

技术实现要素：

本发明所要解决的技术问题是提供一种能够克服现存火灾检测技术中火灾检测率低，误检率高的缺点，有效提高检测针对性和准确性的基于图像特征提取的多特征融合秸秆焚烧火灾检测方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，首先针对准确分割后的火焰图像和非火焰图像，分别基于图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，分别针对预设指定分类器进行训练，分别获得火焰hog特征分类器、火焰图像灰度共生矩阵特征分类器、火焰颜色矩特征分类器；包括如下步骤：

步骤a.将待检测图像划分为至少两个图像单元区，各个图像单元区的尺寸彼此相同，然后进入步骤b；

步骤b.分别针对各个图像单元区，分别获得图像单元区的图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，然后进入步骤c；

步骤c.分别针对各个图像单元区，根据所获图像单元区的图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，分别采用火焰hog特征分类器、火焰图像灰度共生矩阵特征分类器、火焰颜色矩特征分类器针对图像单元区进行分类，获得图像单元区分别对应图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征的火焰分类结果，然后进入步骤d；

步骤d.根据预设图像hog特征权值、图像灰度共生矩阵特征权值、图像颜色矩特征权值，分别针对各个图像单元区，针对图像单元区分别对应图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征的火焰分类结果进行加权处理，获得图像单元区所对应的火焰分类值，然后进入步骤e；

步骤e.分别针对各个图像单元区，判断图像单元区所对应的火焰分类值是否大于预设火焰阈值，是则判断该为图像单元区为火焰区域，即秸秆焚烧火灾区；否则判断该为图像单元区为非火焰区域。

作为本发明的一种优选技术方案，所述步骤b中，获得图像单元区的图像hog特征，包括如下步骤：

步骤b-01.以预设n×n个像素组成一个子单元区、预设m×m个子单元区构建滑动窗口，且n×m小于图像单元区的边长；

步骤b-02.采用滑动窗口在图像单元区上分别沿水平方向和竖直方向进行滑动，且每次滑动步长为n个像素，同时分别针对每次移动后滑动窗口所对应的图像区，分别针对滑动窗口中各个子单元区所对应的图像区，按梯度方向平均划分为9个区间，并分别对子单元区所对应图像区内各个像素所属方向进行投票统计，所获票数即为像素的边缘强度，进而获得子单元区所对应图像区的9维特征向量，并进一步获得滑动窗口所对应图像区的(9×m×m)个特征；

步骤b-03.将滑动窗口在图像单元区上移动所对应各图像区的(9×m×m)个特征进行串联，构成图像单元区的图像hog特征。

作为本发明的一种优选技术方案，在步骤a之前，还包括步骤α如下，执行完步骤α之后，再执行步骤a；

步骤α.将待检测图像的颜色空间转化为ycbcr颜色空间，更新待检测图像。

作为本发明的一种优选技术方案，还包括步骤β如下，执行完步骤α之后，接着执行步骤β，执行完步骤β之后，再执行步骤a；

步骤β.获得待检测图像中的火焰可疑区域，然后进入步骤a；

并且步骤a中，将所获待检测图像中火焰可疑区域划分为至少两个图像单元区，然后针对各个图像单元区继续后续步骤。

作为本发明的一种优选技术方案，所述步骤β包括如下步骤：

步骤β-01.针对待检测图像，采用大津算法获得火焰初级可疑区域，然后进入步骤β-02；

步骤β-02.针对火焰初级可疑区域，采用颜色判别方法获得火焰可疑区域。

作为本发明的一种优选技术方案，在步骤a之前，还包括步骤β如下，执行完步骤β之后，再执行步骤a；

步骤β.获得待检测图像中的火焰可疑区域，然后进入步骤a；

并且步骤a中，将所获待检测图像中火焰可疑区域划分为至少两个图像单元区，然后针对各个图像单元区继续后续步骤。

作为本发明的一种优选技术方案，所述步骤β包括如下步骤：

步骤β-01.针对待检测图像，采用大津算法获得火焰初级可疑区域，然后进入步骤β-02；

步骤β-02.针对火焰初级可疑区域，采用颜色判别方法获得火焰可疑区域。

作为本发明的一种优选技术方案，所述步骤b中，获得图像单元区的图像灰度共生矩阵特征包括灰度共生矩阵能量、惯性矩、相关性和、信息总量的四维特征。

作为本发明的一种优选技术方案，所述步骤b中，获得图像单元区的图像颜色矩特征，包括分别针对图像单元区的色调、饱和度和亮度，分别提取其一阶中心距、二阶中心距、三阶中心距共计九维特征。

作为本发明的一种优选技术方案，所述预设指定分类器为svm分类器。

本发明所述一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，克服了现存火灾检测技术中火灾检测率低和误检率高的缺点，有效提高检测针对性和准确性，并且降低了漏检率，具体应用中，不依赖于动态的火焰场景，仅仅依靠静态的图片即可完成检测，具有较高的适应性；不仅如此，其中引入大津算法和颜色检测算法，有效降低了运算的复杂度，使得后续的处理时间缩短，极大的提高了检测效率。

附图说明

图1是本发明所设计基于图像特征提取的多特征融合秸秆焚烧火灾检测方法的架构示意图；

图2a为实施例图像rgb颜色空间示意图及其各个单通道颜色空间示意图；

图2b为实施例图像ycbcr颜色空间示意图及其各个单通道颜色空间示意图；

图3为火灾图片检测结果示例图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

在真实的火焰检测中，火焰的颜色和周围环境的区分度受到环境明亮度的影响。为了排除非火焰颜色物体对火焰检测的干扰，特别引入火焰颜色分割模型，而各种色彩模式下的火焰颜色有很大的区分度，对火焰检测的影响关系重大。在rgb空间中，r、g、b分别对应于红色通道，绿色通道，蓝色通道。而在ycbcr空间中，y、cb、cr分别对应于亮度通道，色度蓝通道，色度红通道。成功的将亮度和色度分开来。为了解决rgb图像在色彩分离现象中的不明朗问题，特别引入ycbcr颜色空间对火焰进行检测。如图2a所示，从左至右依次为rgb颜色空间示意图、r通道颜色空间示意图、g通道颜色空间示意图、b通道颜色空间示意图；如图2b所示，从左至右依次为ycbcr颜色空间示意图、y通道颜色空间示意图、cb通道颜色空间示意图、cr通道颜色空间示意图；依次，若将rgb颜色空间转换为ycbcr颜色空间，则可以将亮度和色度区分开，以方便下一步的检测。在此基础上，使用了大津otsu算法，获取了火焰初级可疑区域，缩小了所要检测区域的面积。接着对火焰初级可疑区域进行检测，获得更为细化的火焰可疑区域。

如图1所示，本发明设计了一种基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，首先针对准确分割后的火焰图像和非火焰图像，分别基于图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，分别针对svm分类器进行训练，分别获得火焰hog特征分类器、火焰图像灰度共生矩阵特征分类器、火焰颜色矩特征分类器；包括如下步骤：

步骤α.颜色空间的使用对火焰的检测意义重大，检测环境受到亮度变化的影响，为了将火焰颜色的亮度和色度区分开来，因此将待检测图像由rgb颜色空间转化为ycbcr颜色空间，更新待检测图像，然后进入步骤β，其中，ycbcr颜色空间的公式如下所示：

步骤β.获得待检测图像中的火焰可疑区域，然后进入步骤a。

其中，步骤β具体包括如下步骤：

步骤β-01.针对待检测图像，采用大津算法获得火焰初级可疑区域，然后进入步骤β-02。

其中，大津算法(otsu算法)(具体可参见文献[otsunobuyuki.athresholdselectionmethodfromgray-levelhistograms.ieeetransactionsonsystems,manandcyberenetics,vol.9.no.1,jan.1979:62-66])的基本思想是：遍历图像中的所有灰度值，将此灰度值作为阈值将图像分割成两组，一组对应目标，另一组对应背景，找出灰度值中使得分割所得两类中类内方差最小而类间方差最大的作为图像的阈值进而分割图像。

步骤β-02.针对火焰初级可疑区域，采用颜色判别方法获得火焰可疑区域。这里颜色判别方法具体为，使用手工分割出的多张火焰图片的颜色约束条件，针对步骤β-01中的火焰初级可疑区域进一步的进行检测，获得火焰可疑区域。

步骤a.将所获待检测图像中火焰可疑区域划分为至少两个图像单元区，各个图像单元区的尺寸彼此相同，然后进入步骤b。

步骤b.分别针对各个图像单元区，分别获得图像单元区的图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，然后进入步骤c。

上述步骤b中，获得图像单元区的图像hog特征，具体执行包括如下步骤：

步骤b-01.以预设n×n个像素组成一个子单元区、预设m×m个子单元区构建滑动窗口，且n×m小于图像单元区的边长。

步骤b-02.采用滑动窗口在图像单元区上分别沿水平方向和竖直方向进行滑动，且每次滑动步长为n个像素，同时分别针对每次移动后滑动窗口所对应的图像区，分别针对滑动窗口中各个子单元区所对应的图像区，按梯度方向平均划分为9个区间，并分别对子单元区所对应图像区内各个像素所属方向进行投票统计，所获票数即为像素的边缘强度，进而获得子单元区所对应图像区的9维特征向量，并进一步获得滑动窗口所对应图像区的(9×m×m)个特征。

步骤b-03.将滑动窗口在图像单元区上移动所对应各图像区的(9×m×m)个特征进行串联，构成图像单元区的图像hog特征。

这里对于步骤b中，采用滑动窗口获得图像单元区的图像hog特征过程，在实际的应用过程中，可按如下进行实施例设定，图像单元区的尺寸定义为48×48像素，8×8个像素组成一个子单元区、预设2×2个子单元区构建滑动窗口，则采用滑动窗口在图像单元区上分别沿水平方向和竖直方向进行滑动，且每次滑动步长即为8个像素，如此，滑动窗口所对应图像区中由4×9＝36个特征，由于对于48×48像素的图像单元区，水平方向有5个步长，竖直方向有5个步长，则图像单元区所对应图像区共有36×5×5＝900个特征。

还有上述步骤b中，所获图像单元区的图像灰度共生矩阵特征包括灰度共生矩阵能量(asm)、惯性矩(con)、相关性和(cor)、信息总量(ent)的四维特征；以及所获图像单元区的图像颜色矩特征，包括分别针对图像单元区的色调、饱和度和亮度，分别提取其一阶中心距、二阶中心距、三阶中心距共计九维特征。

步骤c.分别针对各个图像单元区，根据所获图像单元区的图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征，分别采用火焰hog特征分类器、火焰图像灰度共生矩阵特征分类器、火焰颜色矩特征分类器针对图像单元区进行分类，获得图像单元区分别对应图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征的火焰分类结果，然后进入步骤d。这里在实际应用中，对于各种分类器所获得的火焰分类结果，可以设定1为有火焰，0为没有火焰。

步骤d.根据预设图像hog特征权值、图像灰度共生矩阵特征权值、图像颜色矩特征权值，分别针对各个图像单元区，针对图像单元区分别对应图像hog特征、图像灰度共生矩阵特征、图像颜色矩特征的火焰分类结果进行加权处理，获得图像单元区所对应的火焰分类值，然后进入步骤e。

步骤e.分别针对各个图像单元区，判断图像单元区所对应的火焰分类值是否大于预设火焰阈值，是则判断该为图像单元区为火焰区域，即秸秆焚烧火灾区；否则判断该为图像单元区为非火焰区域。

如此，基于上述设计基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，在实际应用过程当中，即可针对待检测图像进行检测，获得图3所示的秸秆焚烧火灾标识区图像。

上述技术方案所设计的基于图像特征提取的多特征融合秸秆焚烧火灾检测方法，克服了现存火灾检测技术中火灾检测率低和误检率高的缺点，有效提高检测针对性和准确性，并且降低了漏检率，具体应用中，不依赖于动态的火焰场景，仅仅依靠静态的图片即可完成检测，具有较高的适应性；不仅如此，其中引入大津算法和颜色检测算法，有效降低了运算的复杂度，使得后续的处理时间缩短，极大的提高了检测效率。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。