基于深度神经网络的森林火灾自动检测方法和装置与流程

本发明涉及图像处理技术领域，具体为一种基于深度神经网络的森林火灾自动检测方法和装置。

背景技术：

火灾是一种人为灾害，造成经济、社会、生态的灾难。为了降低灾害的损失，火灾的检测具有非常重要的意义。随着深度神经网络算法的不断发展完善，学术界出现了多种基于深度神经网络的森林火灾检测算法。其中，基于cnn(convolutionalneuralnetwork)的火灾检测方法应用较为广泛。传统的cnn算法要求输入图像尺寸固定，而在基于图像的火灾检测中，通常获得的疑似火灾区域的尺寸不能满足cnn网络的尺寸要求。为了满足cnn网络的要求，需要对图像进行变形、剪裁等处理，这种处理的结果可能造成失真，影响最终的识别结果。同时传统的cnn网络的池化方法基本采用最大、平均值池化的方法。这类方法没有考虑特征图像中像素间的几何关系。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种基于深度神经网络的森林火灾自动检测方法，其将spp应用于cnn，解决输入图像的尺度转换问题；通过验证，该方法识别率较高，鲁棒性较强。

本发明的目的之二在于提供一种基于深度神经网络的森林火灾自动检测装置，其将spp应用于cnn，解决输入图像的尺度转换问题；通过验证，该方法识别率较高，鲁棒性较强。

为实现上述目的之一，本发明提供如下技术方案：

一种基于深度神经网络的森林火灾自动检测方法，包括以下步骤：

对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；

获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合；

将待检测图像通过所述最优数字组合进行rgb三通道拟合，得到初始处理图像；

采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；

构建基于空间尺度hog池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。

优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：

对所述训练样本图像的r，g，b三个通道的图像按照公式(1)所示进行拟合，得到拟合图像集：

i(xi,yi)＝{k1*r(xi，yi)+k2*g(xi,yi)+k3*b(xi,yi)|k∈[-2-1012]}(1)

其中，(xi,yi)为训练样本图像，i(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，r(xi,yi)、g(xi,yi)和b(xi,yi)分别代表训练样本图像(xi,yi)在rgb色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的r，g，b三个通道的图像的拟合系数。

优选地，所述得到拟合图像集之后还包括：

消除拟合系数冗余项的拟合图像，所述消除的拟合系数冗余项的拟合图像为：

i(xi,yi)＝{k1*r(xi,yi)+k2*g(xi,yi)+k3*b(xi,yi)|k1＝k2＝k3}。

优选地，获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合，包括：

获取所述组合图像中各个拟合图像的rgb三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的rgb三通道系数为(rj、gj、bj)；1≤j≤n；

将各个拟合图像的rgb三通道系数的组合定义为最优数字组合：

其中：p(r、g、b)为最优数字组合。

优选地，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：

采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；

通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；

所述矩形框内的图像的像素点不少于1000个。

优选地，构建基于空间尺度hog池化的卷积神经网络模型，包括：

创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、sp-hogp层、全连接层和输出层；

所述sp-hogp层采用spp的结构，池化选择为计算区域中的hog特征作为池化方式；

依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整sp-hogp层中最后一组区域分割的数目，获得最终的基于空间尺度hog池化的卷积神经网络模型。

本发明的目的之二采用如下技术方案实现：

一种基于深度神经网络的森林火灾自动检测装置，其包括：

拟合模块，用于对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；

获取模块，用于获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合；

初始处理模块，用于将待检测图像通过所述最优数字组合进行rgb三通道拟合，得到初始处理图像；

分割模块，用于采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像；

检测模块，用于构建基于空间尺度hog池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。

优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：

对所述训练样本图像的r，g，b三个通道的图像按照公式(2)所示进行拟合，得到拟合图像集：

i(xi,yi)＝{k1*r(xi,yi)+k2*g(xi,yi)+k3*b(xi,yi)|k∈[-2-1012]}(2)

其中，(xi,yi)为训练样本图像，i(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，r(xi,yi)、g(xi,yi)和b(xi,yi)分别代表训练样本图像(xi,yi)在rgb色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的r，g，b三个通道的图像的拟合系数。

优选地，获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合，包括：

获取所述组合图像中各个拟合图像的rgb三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的rgb三通道系数为(rj、gj、bj)；1≤j≤n；

将各个拟合图像的rgb三通道系数的组合定义为最优数字组合：

其中：p(r、g、b)为最优数字组合。

优选地，采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像，包括：

采用自适应阈值分割法选定初始处理图像中疑似火灾的候选区域；

通过矩形框对候选区域进行分割，分割后的矩形框内的图像记为疑似火灾图像；

所述矩形框内的图像的像素点不少于1000个；

构建基于空间尺度hog池化的卷积神经网络模型，包括：

创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、sp-hogp层、全连接层和输出层；

所述sp-hogp层采用spp的结构，池化选择为计算区域中的hog特征作为池化方式；

依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整sp-hogp层中最后一组区域分割的数目，获得最终的基于空间尺度hog池化的卷积神经网络模型。

与现有技术相比，本发明基于深度神经网络的森林火灾自动检测方法和装置，其有益效果在于：本发明将spp(spatialpyramidpooling)应用于cnn，解决输入图像的尺度转换问题；同时在spp的池化过程中采用了方向梯度直方图池化的方法，在特征中加入像素间的相对位置关系；为了获得较高的识别精度，识别特征的提取充分考虑各个卷积层特征，通过验证，该方法识别率较高，鲁棒性较强。

附图说明

图1为本发明实施例一基于深度神经网络的森林火灾自动检测方法的流程图；

图2为一种训练样本图像的实例；

图3为图2训练样本图像拟合后的拟合图像集；

图4为一种待检测图像的实例；

图5为图4中待检测图像经过通道拟合获得的初始处理图像；

图6为候选区域的定位示意图；

图7为初始处理图像的矩形框位置示意图；

图8为卷积神经网络模型的结构图；

图9为hog计算示意图；

图10为本发明实施例二基于深度神经网络的森林火灾自动检测装置的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

请参照图1所示，一种基于深度神经网络的森林火灾自动检测方法，包括以下步骤：

110、对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像。

应用网络图像作为训练样本图像构建森林火灾数据集合。训练样本图像区域中着火点在局部区域，因此，需要粗略定位着火点。着火点的定位通过多样本训练得到。由于训练样本图像是彩色图像，本发明的识别网络为单通道图像的识别，因此，需要将彩色图像转换为单通道图像。多通道图像转换为单通道图像采用多通道图像拟合加局部调优的方法实现。

首先，将训练样本图像(xi,yi)位置的r，g，b三通道图像经过公式(3)进行拟合，并规范为0～255之间，拟合后的像素值为i(xi,yi)：

i(xi,yi)＝{k1*r(xi,yi)+k2*g(xi,yi)+k3*b(xi,yi)|k∈[-2-1012]}(3)

其中，(xi,yi)为训练样本图像，i(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，r(xi,yi)、g(xi,yi)和b(xi,yi)分别代表训练样本图像(xi,yi)在rgb色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的r，g，b三个通道的图像的拟合系数。

然后，消除拟合系数冗余项的拟合图像，所述消除的拟合系数冗余项的拟合图像为：

i(xi,yi)＝{k1*r(xi,yi)+k2*g(xi,yi)+k3*b(xi,yi)|k1＝k2＝k3}。

如图2所示的一幅训练样本图像，通过拟合可以获得图3所示的49幅拟合图像。

通过在森林火灾数据集合中实验，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像，该组拟合图像的数量根据需要进行设置，在本发明较佳的实施例中，该组拟合图像的数量设定为3个。

120、获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合；

获取所述组合图像中各个拟合图像的rgb三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的rgb三通道系数为(rj、gj、bj)；1≤j≤n；

将各个拟合图像的rgb三通道系数的组合定义为最优数字组合：

其中：p(r、g、b)为最优数字组合。

通过实验验证，图3中的第19，23，32个拟合图像中火焰区域与背景区域的对比最为明显，因此，该组合图像为第19、23、32个拟合图像。第19、23、32个拟合图像的rgb三通道系数分别为：(-2，1，1)、(-2，2，0)、(-1，-1，2)。因此，本发明选择这三组rgb三通道系数组合作为三通道图像拟合的最优数字组合。最优数字组合的系数为(-5，2，3)。

130、将待检测图像通过所述最优数字组合进行rgb三通道拟合，得到初始处理图像。

图4示出了一个待检测图像，图5为该待检测图像经过最优数字组合进行rgb三通道拟合后得到的初始处理图像。

140、采用自适应阈值分割法选定初始处理图像的候选区域，并对所述候选区域进行分割，分割后的图像，记为疑似火灾图像。

获取初始处理图像，采用自适应阈值分割法选定初始处理图像疑似火灾区域的候选区域，具体是：应用腐蚀膨胀对初始处理图像进行处理，采用阈值自适应的方法选定候选区域，并用最小的矩形框形成对候选区域的包络，图像中检测到的候选区域为疑似火灾区域，依据候选区域的大小选定分割数目。如图6和7所示，由于经过阈值处理后选定的候选区域的大小为509×271，将候选区域分为16个矩形框，为确保每个疑似火灾图像在运算过程中输出特征数据具有足够的描述能力，矩形框中像素点数目超过1000个。为了便于计算，候选区域设置为矩形，分割成的矩形框的长宽采用等分的方式进行。

150、构建基于空间尺度hog池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。

创建卷积神经网络模型，请参照图8所示，火灾识别的卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、sp-hogp层、全连接层和输出层；其中，第一卷积层的卷积核选择为6个5×5矩阵；第一池化层的池化层选择为1/2降采样；第二卷积层的卷积核选择为12个5×5矩阵；sp-hogp层采用spp的结构，池化选择为计算区域中的hog特征作为池化方式。

依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整sp-hogp层中最后一组区域分割的数目，获得最终的基于空间尺度hog池化的卷积神经网络模型。如图8所示sp-hogp层中最后一组区域分割的数目选择为12×9×8-d，也可选择为12×16×8-d，依据测试结果调整选择测量。最终选择为12×9×8-d。为了确保spp-hogp层具有方向鲁棒性，hog特征在计算过程中进行了旋转处理，处理的依据为整个hog的最大幅值方向为主方向，主方向定义为0～45°。主方向确定如图9所示。

将所述疑似火灾图像直接输入至最终的基于空间尺度hog池化的卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。由于本发明的模型采用了空间金字塔式的池化策略，因此，在切割后的图像不需要进行尺度等调整。同时，在图像区域中应用hog，提取了图像的几何特征，提高了识别的精度。

实施例二

请参照图10所示，一种基于深度神经网络的森林火灾自动检测装置，其包括：

拟合模块210，用于对训练样本图像进行拟合，获取拟合后的拟合图像集，寻求拟合图像集中火焰区域和背景区域的对比度最大的一组拟合图像作为组合图像；

获取模块220，用于获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合；

初始处理模块230，用于将待检测图像通过所述最优数字组合进行rgb三通道拟合，得到初始处理图像；

分割模块240，用于采用自适应阈值分割方法选定初始处理图像的疑似火灾区域，并分割出各个疑似火灾区域的图像，记为疑似火灾图像；

检测模块250，用于构建基于空间尺度hog池化的卷积神经网络模型，将所述疑似火灾图像输入至所述卷积神经网络模型，当存在两个或以上的疑似火灾图像经卷积神经网络模型的输出结果为火灾时，则所述待检测图像存在火灾点。

优选地，所述对训练样本图像进行拟合，获取拟合后的拟合图像集，包括：

对所述训练样本图像的r，g，b三个通道的图像按照公式(4)所示进行拟合，得到拟合图像集：

i(xi,yi)＝{k1*r(xi,yi)+k2*g(xi,yi)+k3*b(xi,yi)|k∈[-2-1012]}(4)

其中，(xi,yi)为训练样本图像，i(xi,yi)代表训练样本图像(xi,yi)的拟合图像集，r(xi,yi)、g(xi,yi)和b(xi,yi)分别代表训练样本图像(xi,yi)在rgb色彩空间下的红色通道图像、绿色通道图像和蓝色通道图像；k为拟合系数，k＝k1，k2，k3；k1、k2、k3分别为训练样本图像(xi,yi)的r，g，b三个通道的图像的拟合系数。

优选地，获取所述组合图像中各个拟合图像的rgb三通道系数，将各个拟合图像的rgb三通道系数的组合定义为最优数字组合，包括：

获取所述组合图像中各个拟合图像的rgb三通道系数，设定组合图像中拟合图像的个数为n个，第j个拟合图像的rgb三通道系数为(rj、gj、bj)；1≤j≤n；

将各个拟合图像的rgb三通道系数的组合定义为最优数字组合：

其中：p(r、g、b)为最优数字组合。

优选地，采用自适应阈值分割方法选定初始处理图像的疑似火灾区域，并分割出各个疑似火灾区域的图像，记为疑似火灾图像，包括：

采用自适应阈值分割方法通过矩形框选定初始处理图像的疑似火灾区域；

依据所述矩形框对初始处理图像进行分割，分割后的矩形框内的图像记为疑似火灾图像；

所述矩形框内的图像的像素点不少于1000个；

构建基于空间尺度hog池化的卷积神经网络模型，包括：

创建卷积神经网络模型，所述卷积神经网络模型包括六层，按照对疑似火灾图像的处理顺序依次为：第一卷积层、第一池化层、第二卷积层、sp-hogp层、全连接层和输出层；

所述sp-hogp层采用spp的结构，池化选择为计算区域中的hog特征作为池化方式；

依据网络火灾图像创建火灾样本数据集合，火灾样本包括正样本和负样本，正样本标签设置为[10]，负样本标签设置为[01]；应用火灾样本数据对卷积神经网络模型进行训练并测试，调整sp-hogp层中最后一组区域分割的数目，获得最终的基于空间尺度hog池化的卷积神经网络模型。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。