一种基于窄带紫光成像融合去模糊算法和机器视觉的火灾目标检测方法与流程

本发明涉及火灾目标检测领域，更具体地说，涉及一种基于窄带紫光成像融合去模糊算法和机器视觉的火灾目标检测方法。

背景技术：

1、当火灾发生时，消防员很难开展有效的救援，这是由于火焰自发光和浓烟都会遮挡救援人员和救援摄像机的视线。由于火焰的辐射比火焰中待救援目标的反射强度大得多，而且烟雾颗粒的存在使光线进一步随机散射，这些现象都导致了目标检测的信噪比急剧下降。

技术实现思路

1、本发明主要解决的技术问题是提供一种基于窄带紫光成像融合去模糊算法和机器视觉的火灾目标检测方法，能够解决上述背景技术所提出的问题。

2、为解决上述技术问题，根据本发明的一个方面，更具体的说是一种基于窄带紫光成像融合去模糊算法和机器视觉的火灾目标检测方法，其特征在于，包括以下步骤：

3、步骤一、利用395nmled光源、匹配的带通滤光片和cmos相机来拍摄被不同形态和燃烧模式的火焰所遮挡的目标图像，从而对火焰进行透视，提高图像信噪比。

4、步骤二、采用多种去模糊算法来降低碳烟的遮挡效果，并采用图像处理常用的评价指标来评价数据集上的去模糊结果，最终选出最优结果；

5、步骤三、对窄带紫光成像进行去模糊处理后，使用目标检测算法检测人类的位置，并通过自制火灾检测数据集训练模型，以提高检测准确率。

6、更进一步的，所述去模糊算法为：

7、2.1、暗通道先验法，其表达式如下：

8、i(x)＝j(x)t(x)+a(1-t(x))

9、其中i(x)是观察到的有雾图像，j(x)是要恢复的无雾图像，a是全局大气光，t(x)是传输矩阵，定义为:

10、t＝e-βd(x)

11、其中β是大气的散射系数，d(x)是物体与相机之间的距离。

12、暗通道先验(darkchannelprior,dcp)是指在rgb无雾户外图像的非天空区域，至少有一个通道在某些像素处具有非常低的强度。故最终出来的无雾图像j可通过以下表达式求解：

13、jdark(x)＝minc∈{r,g,b}(miny∈ω(x)(jc(y)))

14、其中jc(y)是j的一个颜色通道，ω(x)是x处的一个局部补丁。

15、2.2、aod-net(all-in-onedehazingnetwork)是一个基于大气散射模型的卷积神经网络，它通过一个轻量的卷积神经网络直接生成无雾图像，而不是通过分别估计传输矩阵和大气光的方式。大多数去雾的算法都是单独估计传输矩阵和大气光，但缺点在于估计误差可能会累积。aod-net旨在以统一的方式k(x)估计这两个参数，其表达式如下所示：

16、

17、其中a和t(x)被整合为一个单一的变量k(x)，它取决于输入i(x)。

18、2.3、非局部图像去雾法(non-localdehazing,nld)是一种全新的非局部先验的算法，该算法基于这样的假设：无雾图像的颜色可以被数百种不同的颜色很好地近似，这些颜色在rgb空间中形成紧密的集群。这些集群中的像素通常是非局部的，也就是说，它们分布在整个图像平面上。在有雾的情况下，这些不同的距离被转化为不同的传输系数，因此，清晰图像中的每一个颜色簇在雾霾图像的rgb空间中成为一条线，这种算法可以通过应用这些雾线来恢复距离图和无雾图像且无需训练。

19、2.4、ipudn(iterativepriorupdateddehazingnetwork)是一个多网络去雾框架。该算法提出了一种新颖的卷积体系结构来估计通道方向的大气光，并将其与估计的透射图一起用作去雾网络的先验，使用通道方向的大气光可以通过网络处理雾霾图像中的颜色转换，ipudn使用新型迭代网络更新传输图和大气光估计值，最终输入到原始图像中生成无雾图像。

20、2.5、gcanet(gatedcontextaggregationnetwork)是一个可用于图像去雾和去雨的端到端门控网络。该网络可以直接生成最终的去雾图像，而不是使用传统的图像先验条件作为约束，如暗通道先验和增加对比度的方式。该网络采用了平滑的扩张卷积和门控子网络来消除网格效应，并融合来自不同层次的特征，它由三个卷积块作为编码器部分，一个反卷积块和两个卷积块作为解码器部分组成。在它们之间插入几个平滑的空洞残差块来聚合上下文信息，从而避免网格化假象，在gcanet中，真值的表达式为：

21、r(x)＝j(x)-i(x)

22、预测的雾霾残差的表达式为：

23、

24、损失函数被定义为平均平方误差损失：

25、

26、2.6评价指标

27、为了定量地评价两幅图像的相似性，研究中通常采用结构相似度(structuralsimilarity,ssim)指数和峰值信噪比(peaksignaltonoiseratio,psnr)两种指标作为衡量标准，对于两幅图像x和y，它们的结构相似度可以按以下公式计算：

28、

29、其中μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差，c1＝(0.01l)2＝6.5025，c2＝(0.03l)2＝58.5225，其中l＝255代表图像灰度，结构相似度由11×11像素的滑动子窗口计算，并对整体图像进行平均。

30、峰值信噪比是一个常用的指标，逐像素比较两幅图像的相似性，其计算公式为：

31、

32、其中max＝255，两张图像x和y的均方误差(mse)的表达式为：

33、

34、更进一步的，使用一些独特的方式(如mosaic增强和自适应锚框)提高了模型的通用性、推理速度、精确度和鲁棒性。网络结构由输入(input)、骨干网络(backbone)、检测脖(neck)、检测头(head)共同组成。数据集的图片首先在输入中进行一系列预处理，然后进入骨干网络部分对特征图进行信息提取，随后在检测脖网络中对之前提取的信息进行多尺度特征融合，最后在预测部分从特征图中对目标进行检测和分类。不仅如此，方法还提供了coco(common objects in context)数据集上的预训练模型，该数据集包含超过330,000张图像(其中200,000张已标记)，共有包括人在内的80个不同类别。因此，该目标检测方法很适合用于人的检测。为了实现更高的检测精度和识别率，选用包含目标人物的窄带紫光成像作为数据集进行训练。

35、本发明一种基于窄带紫光成像融合去模糊算法和机器视觉的火灾目标检测方法的有益效果为：

36、通过设置窄带紫光成像方法进行有效地滤除了大部分火焰自

37、发光与红外辐射，但是还会有部分395nm左右的火焰辐射存在，为了进一步消除火焰在紫光部分形成的干扰，采用数字图像处理方法对拍摄到的窄带紫光成像进行处理，在使用了紫光成像法拍摄的图像上，烟雾和碳烟的遮挡效果类似于雾霾，因此我们引入了几种去模糊算法(暗通道先验法,gcanet,aod-net,非局部图像去雾法和ipudn)来消除烟雾和碳烟的遮挡效果；

38、通过设置使用目标检测算法检测人类的位置，本申发明中目标检测算法是建立在pytorch框架上的，这样数据集的训练更加方便和快速，同时目标检测算法进一步使用了一些独特的方式(如mosaic增强和自适应锚框)提高了模型的通用性、推理速度、精确度和鲁棒性。