泄露气体云团的检测方法、装置、存储介质和电子设备与流程

本技术涉及图像处理技术，特别涉及一种泄露气体云团的检测方法、装置、存储介质和电子设备。

背景技术：

1、天然气作为优质的清洁能源和重要的化工原料，在人民的日常生活和社会的日常生产中均发挥了极其重要的作用，如今也已经成为了我国能源主体中的关键组成部分。然而天然气在运输和使用过程中，较容易由于设备老化或者人员疏忽等原因产生泄漏问题，并且其作为一种易燃易爆的可燃性气体，一旦发生泄漏，较容易造成火灾，会给周围群众的生命和财产安全带来较大的威胁。因而有必要建立一套能够及时准确发现泄漏险情的智能化气体泄漏检测系统。

2、虽然天然气在可见光波段中呈透明状态，常规相机难以对其进行捕捉，但因其对于环境中存在的波长介于3μm至8μm之间的光波具有明显的吸收作用。红外相机根据该性质，通过分析当前场景中该波段光波的能量存在情况，对该气体可以进行清晰的成像。基于此，业界出现了许多以红外成像视频为处理对象的气云智能检测方法。使用相应方法后，相机能够对当前监控场景中出现的泄漏云团进行自动化报警。除了天然气外，该方法对环境能够造成严重环境污染的其他vocs气体具有同样的监测效果。

3、目前大部分气云检测算法是使用传统图像处理方法对红外图像进行处理实现的，其大致算法流程为：首先使用多波段高光谱相机或者宽波段红外相机对当前场景进行监控，获得视频成像数据；然后使用图像预处理方法，包括中值滤波等滤波算法、灰度变换等增强方法，对视频图像进行处理，以减弱噪声，增强气云特征；之后或者直接对图像进行气云位置检测并报警，或者先使用视频差分算法获得运动区域，后对运动区域进行分类，确定该运动位置是否包含气云并报警。

4、此外，也存在部分算法考虑到红外图像成像质量较差，导致算法误报较多，因而同步对可见光进行处理，来降低算法误报情况。

5、但上述方法存在以下问题：1)在红外成像视频数据中，气云通常具有成像特征不清晰的特点。然而一般图像滤波算法也会呈现在去除图像噪声的同时，模糊图像特征的特点。因此，当面对复杂处理环境或者需要同时处理多个场景数据时，寻找有效的红外图像滤波算法和增强算法会存在较大的难度。2)在报警阶段，无论是直接检测气云存在位置方法，还是先差分获得气云存在可疑区域，再分类确定最终报警方法，均使用了复杂程度较低的算法，这也使得整体方法在效果上局限性较大，检测准确率较低，误报较多。3)在最终报警时，大部分方法仅采用物体框报警的方式，即不利于后续的气羽具体浓度分析，又不能给工作人员提供直观的展示。4) 对可见光的处理较为简单，误报去除效果不明显。

技术实现思路

1、本技术提供一种泄露气体云团的检测方法、存储介质和电子设备，能够提高泄露气体云团的检测准确性。

2、为实现上述目的，本技术采用如下技术方案：

3、一种泄露气体云团的检测方法，包括：

4、将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；

5、将所述第一红外图像及其相邻的n帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个第一目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；其中，所述n为预设的正整数；

6、利用所述气云序列分类模型对输入的目标框图像组进行处理，基于输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；

7、将确定为可疑泄露气云的气云目标作为检测结果进行输出。

8、较佳地，在判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云之后、输出检测结果之前，该方法进一步包括：

9、对于确定为可疑泄露气云的气云目标，将所述第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；

10、将对应所述第一红外图像的可见光图像或所述第一红外图像输入预先训练好的场景理解模型，利用所述场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；

11、基于标记为所述前景目标框的第二目标框与所述场景理解模型划分出的相关区域的空间位置关系以及所述相关区域的场景分类标记，判断所述第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；

12、其中，所述相关区域为与所述第二目标框的位置相关的区域。

13、较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：

14、将所述第二目标框图像输入预先训练好的气云溯源模型，利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置；

15、在判断所述第一气云目标是否为可疑泄露气云时，基于所述气云溯源模型检测到的所述第一气云目标的源头位置与所述相关区域的空间位置关系以及所述相关区域的场景分类标记进行。

16、较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：

17、将所述第二目标框图像输入预先训练好的气羽形态估计模型，利用所述气羽形态估计模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；

18、在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。

19、较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云前，该方法进一步包括：

20、利用所述气云溯源模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；

21、在判断所述第一气云目标是否为可疑泄露气云时，进一步基于所述第一气云目标的气羽形态进行。

22、较佳地，所述气云溯源模型包括两个分支，分别用于确定所述源头位置和估计所述气羽形态；

23、在训练所述气云溯源模型时，采用双分支联合训练的方式。

24、较佳地，所述利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置，包括：

25、针对所述第二目标框图像中的每个像素确定该像素属于所述第一气云目标源头的概率，若所述概率大于设定的源头阈值，则将相应像素作为源头备选像素；

26、对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将所述区域作为所述第一气云目标的源头位置。

27、较佳地，在判断所述第二目标框图像所指示的第一气云目标是否为可疑泄露气云之后，该方法进一步包括：对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计相应第一气云目标的浓度。

28、一种泄露气体云团的检测装置，包括：气云目标检测单元、气云序列分类单元和结果分析单元；

29、所述气云目标检测单元，用于将采集的第一红外图像输入预先训练好的气云目标检测模型，利用所述气云目标检测模型在所述第一红外图像中进行目标检测，输出符合气云特征的第一目标框，并基于所述第一红外图像确定所述第一目标框对应的第一目标框图像；

30、所述气云序列分类单元，用于将所述第一红外图像及与其相邻的n帧红外图像进行所述目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；还用于利用所述气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云；其中，所述n为预设的正整数；

31、所述结果分析单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。

32、较佳地，所述气云序列分类单元，还用于对确定为可疑泄露气云的气云目标，将所述第一红外图像中相应的第一目标框图像标记为前景图像，并将对应的第一目标框标记为前景目标框；

33、在所述气云序列分类单元和所述结果分析单元之间进一步包括场景理解单元，用于将对应所述第一红外图像的可见光图像或所述第一红外图像输入预先训练好的场景理解模型，利用所述场景理解模型对输入图像进行区域划分和各个区域的场景分类标记；

34、所述结果分析单元包括分析子单元和输出子单元；

35、所述分析子单元，用于在所述输出子单元输出检测结果前，基于标记为所述前景目标框的第二目标框与所述场景理解模型划分出的相关区域的空间位置关系以及所述相关区域的场景分类标记，判断所述第二目标框对应的第二目标框图像所指示的第一气云目标是否为可疑泄露气云；其中，所述相关区域为与所述第二目标框的位置相关的区域；

36、所述输出子单元，用于将确定为可疑泄露气云的气云目标作为检测结果进行输出。

37、较佳地，在所述气云序列分类单元和所述结果分析单元之间进一步包括气云溯源单元，用于将所述第二目标框图像输入预先训练好的气云溯源模型，利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置；

38、所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时，基于所述气云溯源模型检测到的所述第一气云目标的源头位置与所述相关区域的空间位置关系以及所述相关区域的场景分类标记进行。

39、较佳地，在所述气云序列分类单元和所述结果分析单元之间进一步包括气羽形态估计单元，用于将所述第二目标框图像输入预先训练好的气羽形态估计模型，利用所述气羽形态估计模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；

40、所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时进一步基于所述第一气云目标的气羽形态进行。

41、较佳地，所述气云溯源单元，进一步用于利用所述气云溯源模型在所述第二目标框图像中检测位于所述第一气云目标内的像素点，并利用检测到的像素点描述所述第一气云目标的气羽形态；

42、所述分析子单元，在判断所述第一气云目标是否为可疑泄露气云时进一步基于所述第一气云目标的气羽形态进行。

43、较佳地，在所述气云溯源单元中，所述利用所述气云溯源模型在所述第二目标框图像中检测所述第一气云目标的源头位置，包括：

44、针对所述第二目标框图像中的每个像素确定该像素属于所述第一气云目标源头的概率，若所述概率大于设定的源头阈值，则将相应像素作为源头备选像素；

45、对于多个连通的源头备选像素构成的区域，若面积大于设定的面积阈值，则将所述区域作为所述第一气云目标的源头位置。

46、较佳地，该装置进一步包括气云浓度估计单元，用于对于确定为可疑泄露气云的第一气云目标，基于该第一气云目标的气羽形态，估计第一气云目标的浓度。

47、一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的泄露气体云团的检测方法。

48、一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；

49、所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的泄露气体云团的检测方法。

50、由上述技术方案可见，本技术中，将采集的第一红外图像输入预先训练好的气云目标检测模型，利用气云目标检测模型在第一红外图像中进行目标检测，输出符合气云特征的第一目标框图像。接下来，将第一红外图像及与其相邻的n帧红外图像进行目标检测后得到的位于不同帧且指示同一气云目标的多个目标框图像作为一个目标框图像组，输入预先训练好的气云序列分类模型；利用气云序列分类模型对输入的目标框图像组进行处理，判断输入的目标框图像组中各个目标框图像的空间特征和不同目标框图像间的时间特征，判断该目标框图像组中的目标框图像所指示的气云目标是否为可疑泄露气云。最后，将确定为可疑泄露气云的气云目标作为检测结果进行输出。通过上述方式，利用气云目标检测模型对红外图像进行目标检测，找到粗略的气云物体框；再利用气云序列分类模型，引入前后多帧图像中指示相同气云目标的气云物体框之间的时间特征，利用该时间特征对前述得到的粗略的气云物体框进一步筛选，找到更精确的气云物体框，以确定检测结果。这种方式下，利用气云目标检测模型和气云序列分类模型这两个神经网络模型，对于红外图像进行特征提取，并结合真实的泄露气云在前后帧的时间和运动特性，得到相对精确的气云所在物体框，因此能够克服红外图像特征模糊的问题，有效提高泄露气云检测的有效性。