一种漏磁数据的压缩和重构方法、系统、电子设备及介质与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

背景技术：

1、漏磁内检测(magnetic flux leakage，mfl)是长距离油气管道检测缺陷的最常用方法之一。随着传感电子技术的发展，mfl检测技术得到了极大的发展，内检测器能够实现超高速采集和大容量存储。然而，随着周向传感器数量和轴向采样频率的增加，内检测数据量会急剧增加，一次检测的数据量高达几tb，给内检测数据的分析和存储带来了极大的挑战。为了提高数据分析效率、减少数据占用空间并方便数据管理，需要对mfl数据进行压缩处理。因此，开发一种无损压缩方法对于长距离油气管道mfl数据分析具有重要意义。

2、常见的数据压缩算法包括有小波变换编码、lzw(lempel ziv welch)算法和huffman算法等。近年来，学者们针对漏磁数据压缩方法进行了深入研究，王书怡等针对管道超高清漏磁内检测海量数据不宜于存储和分析的问题，提出了一种基于组合滤波的超高清漏磁内检测数据特征无损压缩方法，张兰勇等将压缩感知与重要段筛选方法结合，提出了漏磁检测数据在线cs压缩方法。宋志强等研究了基于小波包-haar小波算法的漏磁检测信号降噪压缩算法，保留了高频部分信号特征，可以在解压缩中避免信号失真畸变现象。

3、综上，现有的漏磁数据压缩方法，大多是在漏磁数据特性的基础上，通过一定的手段对漏磁数据进行去冗余处理以实现数据压缩，这样的压缩往往需要设计复杂的压缩编码算法，这在嵌入式环境下实现困难且十分耗时。

技术实现思路

1、为了克服现有技术实现数据压缩重构算法复杂的问题，本发明提供了一种漏磁数据的压缩和重构方法、系统、电子设备及介质。

2、第一方面，为了解决上述技术问题，本发明提供了一种漏磁数据的压缩和重构方法，包括：

3、获取漏磁数据集，漏磁数据集为l×c的矩阵，其中，c表示传感器的个数，l表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；

4、将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过如下步骤确定压缩数据集和重构数据集，如下步骤包括：

5、对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对漏磁数据序列的卷积操作；

6、对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对压缩数据序列的上采样操作和反卷积操作；

7、各个目标压缩数据序列作为压缩数据集，各个目标重构数据序列作为重构数据集。

8、第二方面，本发明提供了一种漏磁数据的压缩和重构系统，包括：

9、漏磁数据获取模块，用于获取漏磁数据集，漏磁数据集为l×c的矩阵，其中，c表示传感器的个数，l表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；

10、压缩重构确定模块，用于将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过第一单元确定压缩数据集和重构数据集，第一单元具体用于：

11、对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对漏磁数据序列的卷积操作；

12、对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对压缩数据序列的上采样操作和反卷积操作；

13、各个压缩数据序列作为压缩数据集，各个重构数据序列作为重构数据集。

14、第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如上述的一种漏磁数据的压缩和重构方法的步骤。

15、第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行一种漏磁数据的压缩和重构方法的步骤。

16、本发明的有益效果是：将漏磁数据集输入一维全卷积自编码模型中，先进行编码操作(编码器)得到目标压缩数据集，再进行解码操作(解码器)得到目标重构数据集，即可实现漏磁数据的压缩和重构，在编码器中，将步长为1和步长为2的卷积层进行堆叠，减小了原本单独使用两个卷积层的参数量，降低了算法的复杂度，在解码器中，同样将上采样层和反卷积层进行堆叠，减小了原本单独使用采样层和反卷积层的参数量，同样降低了算法的复杂度，解决了现有技术实现漏磁数据压缩重构算法复杂的问题。

技术特征：

1.一种漏磁数据的压缩和重构方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对于每个所述漏磁数据序列，将所述漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，包括：

3.根据权利要求2所述的方法，其特征在于，所述对于每个所述目标压缩数据序列，将所述目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括对初始模型进行训练得到一维全卷积自编码模型，其中，通过如下步骤对初始模型进行训练，如下步骤包括：

5.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，对所述漏磁数据集进行数据异常预处理，得到第一预处理数据集，包括：

7.根据权利要求6所述的方法，其特征在于，对所述第一预处理数据集进行数据分类预处理，得到第二预处理数据集，包括：

8.一种漏磁数据的压缩和重构系统，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的一种漏磁数据的压缩和重构方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至7任一项所述的一种漏磁数据的压缩和重构方法的步骤。

技术总结
本发明涉及一种漏磁数据的压缩和重构方法、系统、电子设备及介质，方法包括获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集。解决了现有技术实现数据压缩重构算法复杂的问题。

技术研发人员：玄文博,王富祥,富宽,李睿,张银辉,杨辉,雷铮强,邱红辉,马江涛,王亚楠
受保护的技术使用者：国家石油天然气管网集团有限公司
技术研发日：
技术公布日：2024/1/15