一种基于深度学习的气体泄露检测方法、系统及终端设备

1.本发明涉及气体泄漏检测的技术领域，尤其涉及一种基于深度学习的气体泄露检测方法、系统及终端设备。


背景技术：

2.由于危险气体在生产、存储和运输环节极易发生泄漏且由泄漏引发的火灾，爆炸事故往往造成重大的人员伤亡，经济损失和环境污染。因此，气体泄漏检测已成为油气行业的热点，也是保障气体安全运输的重中之重。
3.如今红外热成像技术已常用于危险气体的定期检测和维护，但其仍存在以下几方面的挑战：(1)手动操作红外热像仪进行检测的劳动力成本很高，(2)红外热像仪在没有检查员判断检测结果的情况下无法提供实时反馈，(3)不同检查员手持红外热像仪进行检测的结果不同，并且红外成像形成的图像对比度低，形状无规则，加大了红外气体检测难度，如何实现准确获得泄露气体浓度信息、非接触以及高精度检测气体泄露并进行实时预警，成为气体泄漏检测领域具有挑战性的难题。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有基于深度学习的气体泄露检测方法、系统及终端设备存在的问题，提出了本发明。
6.因此，本发明目的是提供一种基于深度学习的气体泄露检测方法、系统及终端设备。
7.为解决上述技术问题，本发明提供如下技术方案：一种基于深度学习的气体泄露检测方法，包括，
8.使用红外热像仪采集红外气体泄露视频，使用opencv视频分帧技术获得红外图像序列；
9.使用图像标注工具labelme对天然气红外图像序列的目标区域进行像素级标记；
10.使用u
2-net图像分割网络代替背景建模方法来提取泄露气体区域；
11.通过迁移vgg16网络模型结构和卷积层参数，在卷积层和激励层之间加入bn层，将最后一层池化层替换为基于最大池化算法的动态自适应池化方法，进行泄露检测。
12.作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：使用安装在三脚架上的flir gf-320红外热像仪，收集泄漏气体视频，并剪切掉每个视频的前15秒和后5秒，使用opencv视频分帧技术，获得天然气红外图像序列，而后使用图像标注工具labelme对气体图像序列的目标区域进行像素级标记，进而得到原始图像对应的标签图像。
13.作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：使用
原始图像和对应的标签图像作为u
2-net神经网络的图像数据集，总共750张图像，其中训练集600张，测试集150张，将图像数据集输入到pytorch框架搭建的u
2-net网络中进行训练，选择最优的网络模型来分割泄露气体图像。
14.作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：迁移vgg16网络模型的参数，将源域训练得到的参数迁移到目标领域，通过调整模型的参数来适应泄露气体视频数据集，构建最优的网络模型，进行泄露检测。
15.作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：在bn层处理过程中，输入数据对应的特征值x1，x2，
…
xm，将其均值记为u
β
，标准差记为σ
β2
，将每一个数据作相应的映射得到bn层的输出yi，其中公式如下所示，
[0016][0017][0018][0019][0019][0020][0021]
作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：根据不同的泄漏气体特征图像，自适应调整池化过程，根据各个池化域的内容，动态调整池化权值，并建立公式计算最大池化：
[0022][0023]
其中μ为池化因子，f为特征图矩阵，子采样池化域的大小为c
×
c，b1为偏置，s为得到的子采样特征图；
[0024]
并建立公式计算池化因子：
[0025][0026]
其中μ∈(0,1),a为池化域元素中除最大值外的平均值，u
max
为池化域元素中的最大值，θ为校正误差项，ρ为特征系数。
[0027]
作为本发明所述基于深度学习的气体泄露检测方法的一种优选方案，其中：建立公式计算特征系数ρ：
[0028][0029]
其中m
epo
为训练时的迭代次数，c为池化域的边长。
[0030]
本发明还提供了一种气体泄漏检测系统，包括，
[0031]
视频获取模块，图像预处理模块、气体泄露区域分割模块和气体泄漏检测模块；
[0032]
视频获取模块，用于拍摄被检测场景视频，获取气体从未泄露到泄露的整个过程；
[0033]
图像预处理模块，利用opencv视频分帧技术将采集的泄漏视频生成图像序列，利用labelme对气体图像进行像素级标注；
[0034]
气体泄露区域分割模块，将标注的气体图像序列输入到最优的u
2-net网络模型
中，进而分割出气体泄露区域；
[0035]
气体泄漏检测模块，对泄露区域的气体云团特征进行特征选择，将相关的主要特征输入预先训练的改进的vgg16网络中，对气体泄漏区域进行识别检测。
[0036]
本发明还提供了一种气体泄漏监测的终端设备，其特征在于：包括存储器、与存储器相连的处理器以及与存储器相连的网络接口，所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述轨迹查询方法的步骤。
[0037]
本发明的有益效果：本发明所提出的基于深度学习的气体泄露检测方法、系统及终端设备与其他方法相比，该方法将红外热成像图像处理技术和深度学习技术相结合，能够准确提取泄露气体区域，可以准确获得气体浓度信息，测量误差小，响应速度快，灵敏度高，测量结果准确可靠，可以实现非接触以及高精度检测气体泄露并进行实时预警。
附图说明
[0038]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0039]
图1为本发明实施例1的流程示意图。
[0040]
图2为本发明实施例1所述的原始图像(a-b)和labelme标注的图像(c-d)示意图。
[0041]
图3为本发明实施例1所述的u
2-net网络结构示意图。
[0042]
图4为本发明实施例1所述的使用u
2-net分割模型得到泄露的气体区域示意图。
[0043]
图5为本发明实施例1所述的u
2-net图像分割网络提取的泄露气体区域与背景建模方法对比示意图。
[0044]
图6为本发明实施例1所述的有bn层和没有bn层时训练集和测试集的损失变化情况示意图。
[0045]
图7为本发明实施例1所述的不同池化方式的准确率对比示意图。
[0046]
图8为本发明基于深度学习的气体泄露检测方法所述的气体泄露检测系统的结构示意图。
[0047]
图9为本发明所述的终端设备的示意图。
具体实施方式
[0048]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0049]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0050]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0051]
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0052]
实施例1
[0053]
参照图1-7，本发明公开了一种基于深度学习的气体泄露检测方法，其包括以下步骤：
[0054]
首先采集泄漏气体的视频，获得气体图像序列：使用安装在三脚架上的flir gf-320红外热像仪，收集泄露气体视频，在收集的泄露视频中，泄露气体在刚开始和结束时不稳定。因此，我们剪切掉每个视频的前15秒和后5秒，使用opencv视频分帧技术，获得气体图像序列。
[0055]
然后使用图像标注工具labelme对目标区域进行像素级的标记：用于图像语义分割的训练数据一般都需要对目标区域进行像素级的标记，图像标注工具labelme操作简单，能够在图像的任意位置进行标注，因此采用它对气体泄露图像数据集进行标注。原始图像和经过labelme标注后的泄漏气体图像如图2所示。
[0056]
其次，使用u
2-net图像分割网络提取泄露气体区域：由于传统的背景建模方法存在不能准确提取泄露气体区域的问题，而u
2-net网络在提取泄露气体区域时不受类间相似性的影响，具有准确提取出泄露气体区域的特点，因此使用u
2-net网络来分割泄露气体区域。u
2-net是一种基于深度学习的分割技术，它从原始图像生成掩码，并且该掩码进一步用于对图像的分割。其结构如图3所示，u
2-net网络是基于u-net提出的一种新的网络结构,它使用一个两层嵌套的u型结构，主要由三部分组成：(1)一个六级编码器，(2)一个五级解码器，(3)显著图融合模型。
[0057]
使用原始图像和对应的标签图像作为u
2-net神经网络的图像数据集，总共750张图像，其中训练集600张，测试集150张，将图像数据集输入到pytorch框架搭建的u
2-net网络中进行训练，选择最优的网络模型来分割泄露气体图像。分割结果如图4所示。
[0058]
最后使用改进的vgg16网络模型进行泄露检测：
[0059]
迁移学习：
[0060]
迁移学习被定义为一个过程，给定一个源域ds和源学习任务ts，一个目标域d
t
和目标学习任务t
t
，迁移学习通过使用源域ds和源学习任务ts中的知识，提升目标域d
t
中的目标预测函数f
t
()的学习,其中ds≠d
t
，ts＝t
t
。迁移学习将旧环境中学习的知识用来解决新环境中的任务，可以提高任务的学习效率，减少任务对目标域d
t
中样本的依赖，因此使用迁移学习能够取得预期的训练效果。本文使用参数迁移学习，将源域训练得到的参数迁移到目标领域，通过调整模型的参数来适应气体泄露视频数据集，进而构建最优的网络模型。在大规模数据集imagenet中训练的vgg16网络已经具备较强的特征提取能力，将其迁移到本文的模型中可以减少模型的训练时间以及提高泄露检测的准确率。
[0061]
增加batch normalization：
[0062]
批正则化技术即batch normalization(bn)是近年来深度学习发展的重要成果之一。深层神经网络vgg16的训练过程很复杂，训练过程会增加模型参数的数量和计算的复杂度，导致训练时间长和训练效率低，进而增加了网络学习的难度以及网络过拟合的风险。为了解决以上问题，本文采用loffe等人提出的批量归一化方法。在本文中将bn层放在卷积层
和激励层之间，图像在经过bn层后，在训练时都具有相同的分布规律，从而避免了新输入的样本数据分布波动较大而带来的网络较深层的参数训练开销，进而提升网络训练收敛速度。在bn层处理过程中，输入数据对应的特征值x1，x2，...xm，将其均值记为u
β
，标准差记为σ
β2
，将每一个数据作相应的映射得到bn层的输出yi，其中公式如下所示。
[0063][0064][0065][0066][0067]
改进的池化结构如下：
[0068]
为了保留泄露气体图像轮廓完整性的同时，尽可能多的保留图像特征信息。本文提出一种基于最大池化算法的动态自适应池化方法，其可以根据不同的泄漏气体特征图像，自适应调整池化过程，根据各个池化域的内容，动态调整池化权值。其表达式如下，其中μ为池化因子，f为特征图矩阵，子采样池化域的大小为c
×
c，b1为偏置，s为得到的子采样特征图，其本质是使用池化因子μ对最大池化算法进行优化。
[0069][0070]
其μ的表达式如下，μ∈(0,1),a为池化域元素中除最大值外的平均值，u
max
为池化域元素中的最大值，θ为校正误差项，ρ为特征系数。
[0071][0072]
其ρ的表达式如下，其中m
epo
为训练时的迭代次数，c为池化域的边长。
[0073][0074]
在式(6)到(7)中，池化域的边长c和迭代次数m
epo
决定了特征系数ρ，而特征系数ρ与池化域中各项值决定了池化因子μ。由于池化因子μ∈(0,1)，其既可以在处理最大特征值明显的池化域时不丢失精度，又可以在处理其余池化域时弱化最大池化的影响。其同时兼顾最大池化和平均池化，从而使vgg16在处理池化域时可以提取到更为准确的特征。
[0075]
为了验证所使用的图像分割网络模型的有效性，把采用背景差分法，高斯混合背景建模方法提取前景图像的背景建模方法与本文的u
2-net图像分割网络进行对比分析，结果如图5所示，为了验证所改进的网络模型的有效性，对添加bn层的网络和没有添加bn层的网络进行训练，随着迭代次数的增加，训练集损失和测试集损失的情况如图6所示。另外，为了验证其在气体泄露分类的准确率，在vgg16框架的基础上增加bn层，然后在模型的最后一个池化层上使用不同的池化方式，实验结果如图7所示。为了进一步验证本文所提的泄露检测方法的有效性，本文还将采用频谱增强(se)和卷积神经网络进行气体泄露检测的方法,采用内核主成分分析和svm分类器进行气体泄露检测的方法以及采用背景差分法和3d cnn进行气体泄露检测的方法与本文检测方法进行对比，结果如下表所示：
[0076][0077]
表1气体泄露检测的方法与本文检测方法对比表
[0078]
在提取泄露气体方面，使用u
2-net图像分割网络代替背景建模方法，解决了在泄漏气体边缘区域以及泄露气体浓度低的区域存在特征提取不明显的问题。
[0079]
通过使用改进的vgg16网络模型，可以提高泄露检测精度，且损失更加平滑且稳定，进而增加了模型的鲁棒性。
[0080]
实施例2
[0081]
本实施例为一种基于深度学习的气体泄露检测系统。
[0082]
参见图8，气体泄露检测系统包括：
[0083]
视频获取模块，使用安装在三脚架上的flir gf-320红外热像仪，用于拍摄被检测场景视频，获取气体从未泄露到泄露的全过程。
[0084]
图像预处理模块，在每个气体泄露视频中，泄露气体在刚开始和结束时可能不稳定。因此，我们剪切了每个气体泄露视频的前15秒和后5秒。然后利用opencv视频分帧技术将采集的泄漏视频生成图像序列，利用labelme对气体图像进行像素级标注；
[0085]
opencv视频分帧技术，具体如下：
[0086]
其以15帧为间隔对采集的泄露气体视频进行抽帧，共获得15426张泄露气体图像，包括10800张训练集，4626张测试集。
[0087]
labelme对气体图像进行像素级标注，具体如下：
[0088]
用于图像语义分割的训练数据一般都需要对目标区域进行像素级的标记，由于图像标注工具labelme操作简单，能够在图像的任意位置进行标注，因此本文采用它对泄露气体图像进行标注。
[0089]
泄露气体图像被标记好之后会默认保存为json格式的文件，采用python编程来实现将json文件批量转化为对应的文件夹，该文件夹包含了原始图像img.png，info.yaml，lael_names.txt，label_viz.png和标签图像label.png，其中原始图像img.png和对应的标签图像label.png作为u
2-net神经网络的图像数据集。
[0090]
气体泄露区域分割模块，将标注的气体图像序列输入到最优的u
2-net网络模型中，进而分割出气体泄露区域；
[0091]u2-net图像分割网络，具体如下：
[0092]u2-net是一种基于深度学习的分割技术，它从原始图像生成掩码，并且该掩码进一步用于对图像的分割。u
2-net网络是基于u-net提出的一种新的网络结构,它使用一个两层嵌套的u型结构，主要由三部分组成：(1)一个六级编码器，(2)一个五级解码器，(3)显著图融合模型。
[0093]
使用原始图像和对应的标签图像作为u
2-net神经网络的图像数据集，总共750张图像，其中训练集600张，测试集150张。使用pytorch框架搭建u
2-net网络进行训练，选择最优的网络模型来分割泄露气体区域。
[0094]
气体泄漏检测模块，对泄露区域的气体云团特征进行特征选择，将相关的主要特征输入预先训练的改进的vgg16网络中，对气体泄漏区域进行识别检测。
[0095]
具体地，气体泄漏检测模块具体步骤如下：
[0096]
(a)对气体泄露区域进行高维特征提取
[0097]
高维特征包括但不限于时域特征和小波域特征，其中时域特征包括但不限于矩特征、几何特征、灰度特征、亮度直方图特征等。小波域特征指小波高频能量特征。
[0098]
(b)对选择出的主要特征进行训练和学习
[0099]
采用深度学习方法识别出气体泄露疑似区域是否为待测气体泄漏区域。其中深度学习方法，包括但不限于卷积神经网络和深度信念网络等。
[0100]
实施例3
[0101]
参见图9，本发明还提供一种终端设备100包括通过系统总线相互通信连接存储器101、处理器102、网络接口103以及存储在所述存储器101中并可在所述处理器102上运行的计算机程序，处理器102执行所述计算机程序时实现本发明实施例1的上述方法。
[0102]
终端设备100可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，上述终端设备100的组成结构仅仅是终端设备100的示例，并不构成对终端设备100的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。终端设备100可以将用户通过键盘、鼠标、触摸板或声控设备等方式进行人机交互。
[0103]
进一步的，处理器102可以是中央处理器102、数字信号处理器102、控制器、微控制器或者其他可编程逻辑器件、其他数据处理芯片等。处理器102通常用于控制所述终端设备100的总体操作，利用各种接口和线路连接整个终端设备100的各个部分。
[0104]
存储器101至少包括一种类型的可读存储介质，可读存储介质包括闪存、多媒体卡、硬盘、磁盘、光盘、内存、插接式硬盘、只读存储器101、可编程只读存储器101、安全数字卡、或其他易失性固态存储器101件。
[0105]
存储器101主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。
[0106]
实施例4
[0107]
本实施例提出一种计算机可读存储介质，其可以存储计算机程序，该程序被处理器执行时实现实施例1的泄漏检测方法，可执行如下步骤：获得红外相机拍摄的气体泄露视频，利用opencv视频分帧技术把气体泄露视频分成图像序列，利用图像标注工具labelme对气体图像序列的目标区域进行像素级标记，将标记的图像序列输入到u
2-net网络中，得到最优网络模型，利用u
2-net网络模型对疑似泄露气体区域进行分割，显示出气体轮廓和气体流动信息，将提取的泄露气体特征输入到改进的vgg16网络中，进而对红外相机拍摄区域进行检测。
[0108]
计算机可读存储介质包括：计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统或者器件使用或者与其结合使用。
[0109]
使用一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程
序代码，如面向对象的程序设计语言—java、smalltalk、c++，还包括面向过程的程序设计语言—c语言或类似的程序设计语言。程序代码可以部分地、完全地在用户计算机上执行或作为一个独立的软件包执行、或者完全在远程计算机或服务器上执行。
[0110]
重要的是，应注意，在多个不同示例性实施方案中示出的本技术的构造和布置仅是例示性的。尽管在此公开内容中仅详细描述了几个实施方案，但参阅此公开内容的人员应容易理解，在实质上不偏离该申请中所描述的主题的新颖教导和优点的前提下，许多改型是可能的(例如，各种元件的尺寸、尺度、结构、形状和比例、以及参数值(例如，温度、压力等)、安装布置、材料的使用、颜色、定向的变化等)。例如，示出为整体成形的元件可以由多个部分或元件构成，元件的位置可被倒置或以其它方式改变，并且分立元件的性质或数目或位置可被更改或改变。因此，所有这样的改型旨在被包含在本发明的范围内。可以根据替代的实施方案改变或重新排序任何过程或方法步骤的次序或顺序。在权利要求中，任何“装置加功能”的条款都旨在覆盖在本文中所描述的执行所述功能的结构，且不仅是结构等同而且还是等同结构。在不背离本发明的范围的前提下，可以在示例性实施方案的设计、运行状况和布置中做出其他替换、改型、改变和省略。因此，本发明不限制于特定的实施方案，而是扩展至仍落在所附的权利要求书的范围内的多种改型。
[0111]
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
[0112]
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
[0113]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。