一种多光谱成像的烟雾检测方法及系统与流程

[0001]
本发明属于环保领域，更具体地，涉及一种多光谱成像的烟雾检测方法及系统。


背景技术：

[0002]
烟雾是环保领域重要的监测指标，判定某地空气质量或移居程度都会涉及烟雾的监测与评估。传统的烟雾检测方式有几种，如人工考察，无人机监测等。传统的，人工实地考察费时费力，且无法及时反馈，监测的人力成本很高；无人机监测虽可降低一部分人工成本，但硬件成本增加，且无法超远距离操控，识别时，本质上还是人工识别，依然费时费力。为响应国家号召，建设环保型社会，烟雾检测成为一个急需解决的问题。现有的较为先进的检测方式包括图像降噪与基于人工智能的烟雾检测算法，这些方法虽然可以达到识别效果，但对于复杂天气以及夜晚环境中烟雾的检测较为困难。
[0003]
现有技术利用降噪光流等方法对图片进行处理，从而得到烟雾的识别结果，这种方式智能识别普通可见光的图像，而在夜晚或雨天，可见光相机所摄的图片包含大量的干扰元素，识别烟雾的效果会下降。因此，设计一种可以应对恶劣天气与黑暗环境的烟雾检测系统具有重大实用价值。现有的基于计算机视觉的检测技术大都通过对可见光摄像头采集的单帧图像进行识别，这种方式的缺陷是容易误判，例如发光的水面，天上的云等可能会被判别为烟雾。由于烟雾的形状颜色等的不特定性，通过对烟雾颜色或形状的捕获进行识别的方法局限性较大，也会有漏判和误判的情况，且涉及到的算法种类繁多也较复杂。检测烟雾时，现有技术均未考虑到天气以及夜晚对检测结果的影响，在雾天，雨天等天气状况复杂与光线较暗的夜晚时，无法较为准确的识别烟雾。
[0004]
公开号为cn107274374b的中国专利“一种基于计算机视觉技术的烟雾监测方法”根据烟雾的颜色特征和运动特性进行烟雾检测，将通过颜色信息提取的烟雾目标图像和通过运动特性提取的烟雾目标图像进行交集运算获得烟雾目标。这种方式需要提取两种特征不同的图像再进行合成，处理步骤繁琐，得到结果的速度较慢，且遇到雾天时，识别效果会变差。公开号为cn111626110a的在中国专利“一种基于改进mobilenetv2-ssd的烟雾视频检测方法及系统”通过对现有的目标检测模型加入一些现有的优化技术用于检测烟雾。这种方式中添加的优化过程包括fpn(特征金字塔网络)与se-net模块，网络结构较为复杂，且无法应对复杂天气状况。公开号为cn107609470b的中国专利“野外火灾早期烟雾视频检测的方法”需要先通过均值滤波器去除视频帧的噪点，再经过去除前景等操作，输入到cnn(卷积神经网络)中进行识别。这种方法中识别用的神经网络层数较浅，对于烟雾这种特征复杂的目标表现力不够强，因此需要在输入神经网络前要对图片进行预处理，以得到较好的效果。这样使得预处理图片的运算量较大，识别速度较慢。


技术实现要素：

[0005]
针对现有技术的一些局限性以及实际应用中的改进需求，本发明提供了一种多光谱成像的烟雾检测方法及系统，其目的在于利用多光谱相机分时段获取可见光图像和红外
图像，并用相应的方法对这两种图像进行处理，提高烟雾检测的准确率，并能应对夜晚以及恶劣天气场景下的烟雾检测。
[0006]
为实现上述目的，按照本发明的一个方面，提供了一种多光谱成像的烟雾检测方法，具体包括如下步骤：
[0007]
步骤1，使用多光谱相机，根据预先设定的时间段，拍摄部署点环境的视频序列，获取序列中的单帧图像；
[0008]
步骤2，利用单片机对采集到的单帧图像数据进行处理，得到烟雾检测的结果；
[0009]
其中，对于可见光图像数据的处理采用基于深度卷积神经网络的烟雾检测算法，得到烟雾检测的结果，红外图像数据的处理采用改进的基于帧差法的着火点检测算法，得到烟雾检测的结果；
[0010]
步骤3，利用蜂窝网络将烟雾检测的结果传输到数据服务器，并与通信范围内的其他单片机进行通信，达到信息互通的效果，共享数据；
[0011]
步骤4，通过数据服务器获取检测结果数据，通过用户图形界面展示给用户。
[0012]
进一步的，步骤1中所述多光谱相机在每天昼间，即06:00～19:00以可见光工作模式采集可见光图像数据；在每天夜间，即19:00～次日06:00以红外工作模式采集红外图像。
[0013]
进一步的，步骤2中对可见光图像数据的处理过程如下；
[0014]
步骤(21)，使用分割法，将图片分割为n个区域，输出每个区域包含目标的置信度c与该区域的左上及右下坐标(x1,y1,x2,y2)，其中x1,y1为区域左上坐标，x2,y2为区域右下坐标，选择c高的区域作为疑似目标检测区，c低的区域将被继续分割，迭代上述过程自适应生成目标检测区域；
[0015]
步骤(22)，采用基于深度卷积神经网络提取图像特征；
[0016]
步骤(23)，将疑似目标检测区域映射到特征图像，最后通过分类器对该区域是否包含烟雾进行判定，并输出检测得分s。
[0017]
进一步的，步骤(21)中每次分割得到的区域，经过一个浅层的神经网络推算区域置信度c，包含烟雾则置信度高，当c≥0.5时，该区域作为疑似目标检测区，c<0.5时该区域将被继续分割，直到区域太小无法被分割或c低于一定阈值时，停止迭代。
[0018]
进一步的，步骤(22)中基于深度卷积神经网络的处理过程为：将收集的图像通过13个卷积层和4个最大池化层结构进行特征提取，得到特征图，该特征图与自适应生成的疑似目标检测区域进行位置映射，将映射的特征区域经过roi pooling层进行局部特征提取，送入3个全连接层，经过softmax分类器进行分类，判断是否为烟雾，若是烟雾，则进一步输出是烟雾的概率，即检测得分；
[0019]
所述深度卷积神经网络定义了两部分损失函数，第一部分损失函数将分类和确定目标区域两个操作进行了结合，该损失函数定义如下：
[0020][0021]
其中，i表示第i个疑似目标检测区域，p
i
表示第i个疑似目标检测区域是烟雾的概率，当该区域是烟雾时，为1反之为0；t
i
表示预测的目标区域的坐标，为图像上烟雾存在位置真实的坐标，n
cls
表示训练集类别数目，n
reg
表示图像上目标区域个数，l
cls
表示分类
损失函数，l
reg
表示回归损失函数，λ1是平衡因子，平衡分类损失与回归损失对模型参数的影响；
[0022]
第二部分损失函数为标签平滑损失，具体计算公式如下：
[0023][0024]
其中定义n为模型所能预测的类别数，p
′
(x
j
)表示标签为j的数据在训练数据集中的真实概率分布，q(x
j
)表示模型预测的标签为j的数据在预测数据集中的概率分布；
[0025]
最终的损失函数为：l＝al1+bl2，其中a和b为权重。
[0026]
进一步的，对红外图像数据进行处理时，首先使用滤波器进行预处理降噪；然后将预处理后的t时刻处连续三帧图像f
t-1
，f
t
，f
t+1
进行像素级灰度差值计算，通过比较三帧灰度值的差异，若存在差异则判定该时刻包含疑似着火点区域，将差异像素点相连，划分出疑似着火点区域；计算疑似着火点区域在f
t-1
，f
t
两帧与f
t
，f
t+1
两帧上的对应位置iou，并求其均值m
iou
，若m
iou
小于阈值i，则判定该疑似着火点区域为无效区域，否则判定为着火点，其中着火点即为烟雾。
[0027]
进一步的，利用滤波器对红外图像进行降噪预处理，使用的滤波器包括均值滤波器，平滑滤波器，卡尔曼滤波器，用于增强红外图像上目标的灰度特征。
[0028]
本发明还提供一种多光谱成像的烟雾检测系统，包括多光谱数据采集模块，单片机图像处理模块，移动网络传输模块，以及人机交互模块；
[0029]
所述多光谱数据采集模块通过使用多光谱相机，根据预先设定的时间段，拍摄部署点环境的视频序列，获取序列中的单帧图像；
[0030]
所述单片机图像处理模块，使用单片机包括树莓派，arm，fpga，stm32，对采集到的图像数据进行处理，得到烟雾检测的结果；
[0031]
其中可见光图像数据的处理采用基于深度卷积神经网络的烟雾检测算法，得到烟雾检测的结果，红外图像数据的处理采用改进的基于帧差法的着火点检测算法，得到烟雾检测的结果；
[0032]
所述移动网络传输模块利用蜂窝网络，包括2g，3g，4g或5g网络，将烟雾检测的结果传输到数据服务器，并与通信范围内的其他单片机进行通信，达到信息互通的效果，共享数据；
[0033]
所述人机交互模块通过数据服务器获取检测结果数据，通过用户图形界面展示给用户。
[0034]
进一步的，单片机图像处理模块的处理过程如下；
[0035]
步骤(21)，使用分割法，将图片分割为n个区域，输出每个区域包含目标的置信度c与该区域的左上及右下坐标(x1,y1,x2,y2)，其中x1,y1为区域左上坐标，x2,y2为区域右下坐标，选择c高的区域作为疑似目标检测区，c低的区域将被继续分割，迭代上述过程自适应生成目标检测区域；
[0036]
步骤(22)，采用基于深度卷积神经网络提取图像特征；
[0037]
步骤(23)，将疑似目标检测区域映射到特征图像，最后通过分类器对该区域是否包含烟雾进行判定，并输出检测得分s。
[0038]
进一步的，步骤(22)中基于深度卷积神经网络的处理过程为：将收集的图像通过13个卷积层和4个最大池化层结构进行特征提取，得到特征图，该特征图与自适应生成的疑似目标检测区域进行位置映射，将映射的特征区域经过roi pooling层进行局部特征提取，送入3个全连接层，经过softmax分类器进行分类，判断是否为烟雾，若是烟雾，则进一步输出是烟雾的概率，即检测得分；
[0039]
所述深度卷积神经网络定义了两部分损失函数，第一部分损失函数将分类和确定目标区域两个操作进行了结合，该损失函数定义如下：
[0040][0041]
其中，i表示第i个疑似目标检测区域，p
i
表示第i个疑似目标检测区域是烟雾的概率，当该区域是烟雾时，为1反之为0；t
i
表示预测的目标区域的坐标，为图像上烟雾存在位置真实的坐标，n
cls
表示训练集类别数目，n
reg
表示图像上目标区域个数，l
cls
表示分类损失函数，l
reg
表示回归损失函数，λ1是平衡因子，平衡分类损失与回归损失对模型参数的影响；
[0042]
第二部分损失函数为标签平滑损失，具体计算公式如下：
[0043][0044]
其中定义n为模型所能预测的类别数，p
′
(x
j
)表示标签为j的数据在训练数据集中的真实概率分布，q(x
j
)表示模型预测的标签为j的数据在预测数据集中的概率分布；
[0045]
最终的损失函数为：l＝al1+bl2，其中a和b为权重。
[0046]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0047]
(1)本发明提供的一种多光谱成像的烟雾检测系统及方法，可以采集可见光图像以及红外图像，分别用于昼间和夜晚的烟雾识别，提高了烟雾检测的准确率；
[0048]
(2)本发明利用的深度卷积神经网络能够提取丰富的可见光图像特征，利用分割法自适应的产生目标检测区域，能够提取到较小的烟雾区域，降低了漏检率；
[0049]
(3)本发明在红外图像处理上采用帧差法比较灰度的方法，较准确且快速的找到目标区域，提升了系统在红外图像上检测的速度；
[0050]
(4)本发明的烟雾检测只需单片机将图片输入训练好的检测算法模型，对新的数据只需经过少量且快速的计算就能得到对应的结果，提升了监测的实时性；
[0051]
(5)本发明采用的改进过的检测方法使得识别模型的性能与泛化程度均得到了提升，在复杂天气与夜晚状况下，其鲁棒性也得到了增强。
[0052]
(6)本发明提供的人机交互模块使得工作人员无需去实地考察，用户可以利用互联网登录检测系统随时查看检测结果，提升了检测的工作效率。
[0053]
(7)本发明采用蜂窝网络进行通信，每个单片机之间也可进行通信，达到信息互通的目的，通过计算平均检测得分，提高检测系统的准确率。
附图说明
[0054]
图1是本发明提供的多光谱成像的烟雾检测系统结构的示意图。
[0055]
图2是本发明提供的基于深度卷积神经网络的烟雾检测算法示意图
[0056]
图3是本发明提供的基于深度卷积神经网络的网络结构图。
[0057]
图4是本发明提供的基于帧差法的着火点检测算法示意图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0059]
参照图1所示，是本发明提供的一种多光谱成像的烟雾检测系统的结构的示意图。这种检测系统包括多光谱数据采集模块，单片机图像处理模块，无线网络传输模块，以及人机交互模块；
[0060]
其中，多光谱数据采集模块用于收集部署地环境的可见光图像与红外图像数据。通过部署可联网多光谱相机，以采集昼间与夜间的画面；多光谱相机在每天昼间，如06:00～19:00以可见光工作模式采集可见光图像数据；在每天夜间，即19:00～次日06:00以红外工作模式采集红外图像；多光谱相机的工作模式也可以在恶劣天气情况时手动切换，以增强识别的准确率；
[0061]
单片机用于处理收集到的图像数据，包括可见光图像和红外图像；其中，可见光图像处理使用如图2和图3所示的基于深度卷积神经网络的烟雾检测算法；红外图像处理使用如图4所示的基于目标纹理与背景灰度差异的烟雾检测算法；
[0062]
无线网络传输模块用于单片机间信息互通，为了减少单个单片机对烟雾出现误判的情况，针对可见光图像，每个单片机上保存了单独训练得到的模型，对同一张图像进行处理过后，每个单片机都会输出一个检测得分s
n
(其中n是单片机序号)，通过均值公式计算平均检测得分s
mean
，当s
mean
>0.5时，表明检测结果为正，即不是误判；同时无线网络传输模块也用于传输单片机检测结果给数据服务器；其中所采用的无线网络通信方式为移动5g蜂窝网络通信；数据服务器用来存储识别的结果数据，包括识别的图片结果，时间戳，检测地点等信息；
[0063]
人机交互模块在pc端以网页形式实现，在移动端以手机app形式实现；其中，用户需要使用用户名和密码登录检测系统，在检测系统中可查询某地某时的检测情况。
[0064]
参照图1所示，是本发明提供的一种多光谱成像的烟雾检测方法的示意图，具体包括如下步骤：
[0065]
步骤1，使用多光谱相机，根据预先设定的时间段，拍摄部署点环境的视频序列，获取序列中的单帧图像；
[0066]
步骤2，利用单片机对采集到的单帧图像数据进行处理，得到烟雾检测的结果；
[0067]
其中，对于可见光图像数据的处理采用基于深度卷积神经网络的烟雾检测算法，得到烟雾检测的结果，红外图像数据的处理采用改进的基于帧差法的着火点检测算法，得
到烟雾检测的结果；
[0068]
步骤3，利用蜂窝网络将烟雾检测的结果传输到数据服务器，并与通信范围内的其他单片机进行通信，达到信息互通的效果，共享数据；
[0069]
步骤4，通过数据服务器获取检测结果数据，通过用户图形界面展示给用户。
[0070]
参照图2所示，是本发明提供的基于深度卷积神经网络的烟雾检测算法的示意图。该算法包括分割法自适应生成目标检测区域，深度卷积神经网络提取可见光图像特征，以及分类器分类；
[0071]
分割法自适应生成疑似目标检测区域采用区域迭代分割的方式，通过判断区域置信度来决定是否划分该区域以及是否作为疑似目标检测区域；每次分割得到的区域，经过一个浅层的神经网络alexnet推算区域置信度c，包含烟雾则置信度高，当c≥0.5时，该区域作为疑似目标检测区，c<0.5时该区域将被继续分割，直到区域太小无法被分割或c太低时，停止迭代；
[0072]
参照图3所示，是本发明提供的深度卷积神经网络的网络结构图，其中，深度卷积神经网络是提取特征所用的主干网络，用于提取可见光图像特征，将收集的图像经过13个卷积层，与4个最大池化层结构进行特征提取，得到特征图，该特征图与自适应生成的疑似目标区域进行位置映射，将映射的特征区域经过roi pooling层进行局部特征提取，送入3个全连接层，经过softmax分类器进行分类，判断是否为烟雾以及是烟雾的概率，即检测得分；
[0073]
上述过程中，深度卷积神经网络定义了两部分损失函数，第一部分损失函数将分类和确定目标区域两个操作进行了结合，该损失函数定义如下：
[0074][0075]
其中，i表示第i个疑似目标检测区域，p
i
表示第i个疑似目标检测区域是烟雾的概率，当该区域是烟雾时，为1反之为0；t
i
表示预测的目标区域的坐标，为图像上烟雾存在位置真实的坐标，n
cls
表示训练集类别数目，n
reg
表示图像上目标区域个数，l
cls
表示分类损失函数，l
reg
表示回归损失函数，λ1是平衡因子，平衡分类损失与回归损失对模型参数的影响；
[0076]
第二部分损失函数为标签平滑损失，具体计算公式如下：
[0077][0078]
其中定义n为模型所能预测的类别数，p
′
(x
j
)表示标签为j的数据在训练数据集中的真实概率分布，q(x
j
)表示模型预测的标签为j的数据在预测数据集中的概率分布；
[0079]
最终的损失函数为：l＝al1+bl2，其中a和b为权重，根据实验需求进行设置。
[0080]
参照图4所示，是本发明提供的基于帧差法的着火点检测算法示意图。该算法包括，滤波器预处理降噪，连续帧画面灰度差值比较；
[0081]
其中，滤波器用于对红外图像进行降噪预处理，使用的滤波器例如均值滤波器，平滑滤波器，卡尔曼滤波器等，增强红外图像上目标的灰度特征；
[0082]
将预处理后的t时刻处连续三帧图像f
t-1
，f
t
，f
t+1
进行像素级灰度差值计算，通过比较三帧灰度值的差异，若存在差异则判定该时刻包含疑似着火点区域，将差异像素点相连，划分出疑似着火点区域。计算疑似着火点区域在f
t-1
，f
t
两帧与f
t
，f
t+1
两帧上的对应位置iou，并求其均值m
iou
，若m
iou
小于阈值i(i＝0.7)，则判定该疑似着火点区域为无效区域，否则判定为着火点。
[0083]
本发明提供的一种多光谱成像的烟雾检测系统及方法，可以实时检测昼夜间环境下的烟雾；整个监测与识别过程无需人为干预，节省了大量的人力物力资源，提高了监测效率；通过蜂窝网络传输使得单片机间信息互通，提升烟雾检测的准确率；相比传统监测方法以及现有的烟雾识别技术，使用单片机作硬件支持降低了硬件成本，增加了分割法自适应生成目标检测区域提升识别精度，算法实现原理清晰，减少了计算成本，提高了监测的实时性与准确性，降低了漏判率，具有极大的应用价值。
[0084]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。