森林火灾早期烟雾检测方法与流程

本发明涉及一种森林火灾早期烟雾检测方法。

背景技术：

森林火灾的检测和识别一直是森林火灾预警和扑救的关键技术，随着计算机视觉技术的发展，基于视频的火灾探测技术成为当下研究的重难点。基于数字图像的火灾监测与识别的对象有火焰和烟雾两个基本对象。而对其预热阶段产生的烟雾进行监测与识别可以更早发现火灾，为火灾的扑救争取更大的时间与安全优势，也更有研究价值。

无论是传统的视频图像检测方法，还是基于深度学习的检测方法，都难以避免和排除天空、云雾等对林火早期烟雾检测的干扰。

技术实现要素：

本发明的目的在于提供一种森林火灾早期烟雾检测方法。

为解决上述问题，本发明提供一种森林火灾早期烟雾检测方法，包括：

从林火早期烟雾航拍的每一帧的源目标图像中提取对应的背景图像；

分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域。

进一步的，在上述方法中，从林火早期烟雾航拍的每一帧的源目标图像中提取对应的背景图像，包括：

步骤11：通过多旋翼飞行器获取悬停4s以上的获取林火早期烟雾航拍视频源数据；

步骤12：从所述林火早期烟雾航拍视频源数据获取每一帧的源目标图像；

步骤13：根据中值法建立中值背景模型，基于所述背景模型从每一帧的源目标图像提取对应的背景图像。

进一步的，在上述方法中，步骤11：获取林火早期烟雾航拍视频源数据，包括：

通过多旋翼飞行器获取悬停4s以上的获取林火早期烟雾航拍视频源数据。

进一步的，在上述方法中，所述背景模型的公式如下：

ib(x，y)＝median(ii(x，y))

式中，ib(x，y)为中值背景图像的像素点，ii(x，y)为第i帧的源目标图像的像素点。

进一步的，在上述方法中，分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域之前，还包括：

对源目标图像和背景图像分别进行灰度处理，分别获得处理后的灰度目标图像和灰度背景图像。

进一步的，在上述方法中，分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域，包括：

步骤21：分别对所述灰度目标图像进行小波分解，得到第一分解结果，基于所述第一分解结果进行高频融合，得到第一高频融合图像，对第一高频融合图像进行分块，得到目标图像子块；

步骤22：分别对所述灰度背景图像进行小波分解，得到第二分解结果，基于所述第二分解结果进行高频融合，得到第二高频融合图像，对第二高频图像结果进行分块，得到背景图像子块；

步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域。

进一步的，在上述方法中，每个第一高频融合图像包括一幅低频(ll)分量子图像和三幅高频分量子图像，其中，三幅高频分量子图像包括水平方向(hl)高频分量子图像、竖直方向(lh)高频分量子图像和对角方向(hh)高频分量子图像；

每个第一高频融合图像包括一幅低频(ll)分量子图像和三幅高频分量子图像，其中，三幅高频分量子图像包括水平方向(hl)高频分量子图像、竖直方向(lh)高频分量子图像和对角方向(hh)高频分量子图像。

进一步的，在上述方法中，基于所述第一分解结果进行高频融合，得到第一高频融合图像或基于所述第二分解结果进行高频融合，得到第二高频融合图像中，根据如下公式得到第一高频融合图像或得到第二高频融合图像：

fi(x，y)＝|lhi(x，y)|²+|hlⁱ(x，y)|²+|hhi(x，y)|²

式中，fi(x，y)为第i帧的第一高频融合图像或第二高频融合图像的像素点，lhi(x，y)为第i帧的竖直方向(lh)高频分量子图像，hli(x，y)为第i帧的水平方向(hl)高频分量子图像，hhi(x，y)为第i帧的对角方向(hh)高频分量子图像。

进一步的，在上述方法中，对第一高频融合图像进行分块，得到目标图像子块或对第二高频图像结果进行分块，得到背景图像子块中，根据如下公式进行分块：

式中，(e1,e2)表示目标图像子块在第一高频融合图像中的相应位置，或背景图像子块在第二高频融合图像中的相应位置；

ei，j(x，y)表示第i帧第一高频融合图像的第j个目标图像子块内的像素高频信息，或第i帧第二高频融合图像的第j个背景图像子块内的像素高频信息。

进一步的，在上述方法中，步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域中，根据如下公式确定疑似烟雾区域：

0＜ei，j(e1，e2)＜λbi，j(e1，e2)

式中，ei，j(e1，e2)表示，第i帧第一高频融合图像的第j个目标图像子块内像素高频信息，bi，j(e1，e2)表示第i帧第二高频融合图像的第j个背景图像子块内像素高频信息，λ为阈值，满足上述公式的条件的为疑似烟雾区域。

进一步的，在上述方法中，得到目标图像子块和得到背景图像子块之后，还包括：

基于所述目标图像子块和背景图像子块进行重构，获得目标重构图像和背景重构图像。

进一步的，在上述方法中，步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域之后，还包括：

根据确定的疑似烟雾区域的图像的帧数占总视频图像的帧数的比例来确定检测结果的正确率。

与现有技术相比，本发明通过多旋翼飞行器获取林火早期烟雾视频实验源视频数据；根据背景模糊模型提取视频的背景，然后通过二维离散小波变换对视频的帧图像进行分解，重构完成烟雾的特征判别。本发明分别使用传统远程侧拍角度和近距离航拍角度两组源视频数据进行检测对比。本发明提供的检测方法可以更好的避免和排除天空、云雾等对林火早期烟雾检测的干扰，以提高早期林火烟雾的检测的准确率。本发明极大程度的避免和排除天空、云雾等对林火早期烟雾检测的干扰，与传统的监控检测相比，将检测率提高了近10个百分点。

附图说明

图1是传统远程早期林火烟雾侧拍图；

图2是近距离早期林火烟雾航拍图；

图3是基于模糊特征和航拍的林火早期烟雾检测的实施过程；

图4是基于中值背景模型的视频背景图像；

图5是小波分解的过程；

图6是小波重构前后操作的过程；

图7是传统远程早期林火烟雾侧拍检测结果图；

图8是近距离早期林火烟雾航拍检测结果图；

图9是5组传统远程早期林火烟雾侧拍视频检测率统计结果表；

图10是5组近距离早期林火烟雾航拍视频检测率统计结果表。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图3所示，本发明提供一种森林火灾早期烟雾检测方法，包括：

从林火早期烟雾航拍的每一帧的源目标图像中提取对应的背景图像；

分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域。

在此，本发明通过多旋翼飞行器获取林火早期烟雾视频实验源视频数据；根据背景模糊模型提取视频的背景，然后通过二维离散小波变换对视频的帧图像进行分解，重构完成烟雾的特征判别。本发明分别使用传统远程侧拍角度和近距离航拍角度两组源视频数据进行检测对比。本发明提供的检测方法可以更好的避免和排除天空、云雾等对林火早期烟雾检测的干扰，以提高早期林火烟雾的检测的准确率。本发明极大程度的避免和排除天空、云雾等对林火早期烟雾检测的干扰，与传统的监控检测相比，将检测率提高了近10个百分点。

随着多旋翼飞行器技术的发展和成熟，搭载视频监控的多旋翼飞行器也屡见不鲜，其为森林火灾早期烟雾检测也提供了新思路。

烟雾通常会部分地遮挡其他物体，在空域内表现为背景模糊，在频域内表现为高频信号衰减；在整图构图中，非烟雾图像则通常时完全遮挡背景。背景模糊性这一特征对于飞行器航拍图的烟雾检测更为友好。

本发明的森林火灾早期烟雾检测方法一实施例中，从林火早期烟雾航拍的每一帧的源目标图像中提取对应的背景图像，包括：

步骤11：通过多旋翼飞行器获取悬停4s以上的获取林火早期烟雾航拍视频源数据；

步骤12：从所述林火早期烟雾航拍视频源数据获取每一帧的源目标图像；

在此，所述源目标图像是含有烟雾的图像；

步骤13：根据中值法建立中值背景模型，基于所述背景模型从每一帧的源目标图像提取对应的背景图像；

在此，所述背景图像是对应的一帧的源目标图像基础上部分去掉烟雾的图像，前后两帧源目标图像的运动差图像。

本发明的森林火灾早期烟雾检测方法一实施例中，步骤11：获取林火早期烟雾航拍视频源数据，包括：

通过多旋翼飞行器获取悬停4s以上的获取林火早期烟雾航拍视频源数据。

根据森林火灾的发生过程，一般将其分为三个阶段，即预热阶段、气体燃烧阶段和木炭燃烧阶段。在预热阶段会产生大量的烟雾，对该阶段产生的烟雾进行监测与识别可以更早发现火灾，为火灾的扑救争取更大的时间与安全优势。

根据远程侧拍和近距离航拍图像构图的区别，传统的监控视频只能远程侧拍，视频图像中烟雾占完整图像的一小部分，且背景中存在天空云雾等干扰因素，在完整图像中占据一定比例。而采用飞行器获取的航拍视频可近距离监控火情，在其完整图像构图中，其背景主体为森林，烟雾在完整构图也占据一定的比例。

本发明的森林火灾早期烟雾检测方法一实施例中，所述背景模型的公式如下：

ib(x，y)＝median(ii(x，y))

式中，ib(x，y)为中值背景图像的像素点，ii(x，y)为第i帧的源目标图像的像素点。

根据中值背景模型公式选取(m，n)大小的滑动窗口，将以点(x，y)为中心的目标窗口的所有像素灰度值进行顺序排序，如果滑动窗口中的像素为奇数个，则将中间值作为该点的灰度值，如果滑动窗口的像素个数为偶数个，则将两个中间值的平均值作为该点的灰度值。中值背景模型提取的视频背景如图4所示。

本发明的森林火灾早期烟雾检测方法一实施例中，分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域之前，还包括：

对源目标图像和背景图像分别进行灰度处理，分别获得处理后的灰度目标图像和灰度背景图像。

本发明的森林火灾早期烟雾检测方法一实施例中，分别对所述源目标图像和背景图像进行小波变换，以得到确定疑似烟雾区域，包括：

步骤21：分别对所述灰度目标图像进行小波分解，得到第一分解结果，基于所述第一分解结果进行高频融合，得到第一高频融合图像，对第一高频融合图像进行分块，得到目标图像子块；

步骤22：分别对所述灰度背景图像进行小波分解，得到第二分解结果，基于所述第二分解结果进行高频融合，得到第二高频融合图像，对第二高频图像结果进行分块，得到背景图像子块；

步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域。

本发明的森林火灾早期烟雾检测方法一实施例中，每个第一高频融合图像包括一幅低频(ll)分量子图像和三幅高频分量子图像，其中，三幅高频分量子图像包括水平方向(hl)高频分量子图像、竖直方向(lh)高频分量子图像和对角方向(hh)高频分量子图像；

每个第一高频融合图像包括一幅低频(ll)分量子图像和三幅高频分量子图像，其中，三幅高频分量子图像包括水平方向(hl)高频分量子图像、竖直方向(lh)高频分量子图像和对角方向(hh)高频分量子图像。

图5是小波分解的过程，分别对目标图像和背景图像进行小波分解，分解得到一幅低频(ll)分量子图像和三幅高频分量子图像，三幅高频分量子图像包含了水平方向(hl)、竖直方向(lh)和对角方向(hh)。

本发明的森林火灾早期烟雾检测方法一实施例中，基于所述第一分解结果进行高频融合，得到第一高频融合图像或基于所述第二分解结果进行高频融合，得到第二高频融合图像中，根据如下公式得到第一高频融合图像或得到第二高频融合图像：

fi(x，y)＝|lhi(x，y)|²+|hli(x，y)|²+|hhi(x，y)|²

式中，fi(x，y)为第i帧的第一高频融合图像或第二高频融合图像的像素点，lhi(x，y)为第i帧的竖直方向(lh)高频分量子图像，hli(x，y)为第i帧的水平方向(hl)高频分量子图像，hhi(x，y)为第i帧的对角方向(hh)高频分量子图像。

图6是小波重构前后的操作过程。

本发明的森林火灾早期烟雾检测方法一实施例中，对第一高频融合图像进行分块，得到目标图像子块或对第二高频图像结果进行分块，得到背景图像子块中，根据如下公式进行分块：

式中，(e1,e2)表示目标图像子块在第一高频融合图像中的相应位置，或背景图像子块在第二高频融合图像中的相应位置；

ei，j(x，y)表示第i帧第一高频融合图像的第j个目标图像子块内的像素高频信息，或第i帧第二高频融合图像的第j个背景图像子块内的像素高频信息。

本发明的森林火灾早期烟雾检测方法一实施例中，步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域中，根据如下公式确定疑似烟雾区域：

0＜ei，j(e1，e2)＜λbi，j(e1，e2)

式中，ei，j(e1，e2)表示，第i帧第一高频融合图像的第j个目标图像子块内像素高频信息，bi，j(e1，e2)表示第i帧第二高频融合图像的第j个背景图像子块内像素高频信息，λ为阈值，满足上述公式的条件的为疑似烟雾区域。通过对目标图像经过小波变换后的局部高频信息与相应位置的背景图像经过小波变换后局部高频信息进行比较，若在(e1，e2)处子块高频信息ei，j(x，y)被降低，即高频衰减，对应的位置为疑似烟雾区域。

可以将满足式子0＜ei，j(e1，e2)＜λbi，j(e1，e2)中的对应能量子块内的像素值设置为0。

本发明的森林火灾早期烟雾检测方法一实施例中，得到目标图像子块和得到背景图像子块之后，还包括：

基于所述目标图像子块和背景图像子块进行重构，获得目标重构图像和背景重构图像。

在此，通过小波逆变换分布得到重构的目标图像和背景图像。

构造图像的二值图，取反，补空，找到最大的连通区域即为真正的烟雾区域，即确定烟雾边界标红统计。

本发明的森林火灾早期烟雾检测方法一实施例中，步骤23：基于所述目标图像子块和所述背景图像子块，确定疑似烟雾区域之后，还包括：

根据确定的疑似烟雾区域的图像的帧数占总视频图像的帧数的比例来确定检测结果的正确率。

本方法首先基于对如何避免和排除天空、云朵等干扰因素考虑的，如图1和图2，两者区别在于，传统的监控视频只能远程侧拍，视频图像中烟雾占完整图像的一小部分，且背景中存在天空云雾等干扰因素，在完整图像中占据一定比例。而近距离航拍视频图像中烟雾占据比例大很多，且背景中天空云雾等干扰因素少。

为避免运动镜头下背景提取复杂会降低检测率，并保证检测视频帧数足够，本实例的航拍源视频数据是固定性较强的多旋翼飞行器悬停航拍4s以上获取的。

图7是传统远程早期林火烟雾侧拍检测结果图，图8是近距离早期林火烟雾航拍检测结果图，对比发现，采用航拍角度的烟雾识别结果正确率非常高，采用侧拍的结果图中最下面几张图检测结果受到天际线的影响致其误检。

烟雾底部的运动连贯性比较好，导致前后两帧烟雾底部的运动特征不大，因此，可能更多检测到运动特征明显的烟雾顶部。

图9是5组传统远程早期林火烟雾侧拍视频检测率统计结果表，图10是5组近距离早期林火烟雾航拍视频检测率统计结果。前者的平均识别率比后者的识别率低了近10个百分点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。