一种基于压缩感知的管道漏磁数据分级压缩方法与流程

本发明涉及管道无损检测和信号处理领域，特别是涉及一种基于压缩感知的管道漏磁数据压缩方法。

背景技术：

海底管道工作在十分恶劣的海底环境中，容易受到腐蚀等复杂因素的侵蚀，一旦发生泄漏，将造成十分严重的后果。

在海底管道的缺陷检测，一次检测的距离往往特别长，记录的数据量特别大，并且为了获得更高的检测精度，布置的传感器数量也越来越多，不再只检测单一的轴向或径向数据，而是对管道进行全方位的三维漏磁信号检测。特别是一些大口径管道，数据量成倍增长。而管道内的空间是有限的，管道内检测器的存储部分获得的空间更是有限。采集的数据若完整的存储下来，一是对内检测器的硬件配置的存储容量要求特别高，二是后期检测处理时，数据量大，数据预处理及缺陷检测的速度下降，三是显示管道漏磁数据时，显示速度慢，影响操作的流畅性。

实际采集到的管道漏磁检测数据具有以下特点：大部分区域都是没有缺陷的，除了管段连接处的焊缝外，其他部分漏磁信号十分平缓且幅值较小，将这部分称为非重要区域，可以进行较大比例的压缩；一些有缺陷的部分以及包含较多组件如阀门、弯头、法兰、三通等的部分，漏磁信号的幅值增大且变化较快，包含一些重要的缺陷数据特征，如峰-峰值、峰-谷值等，将这部分称为重要区域，需要减小压缩的比例，尽可能地保留缺陷漏磁数据的所有信息。综上，将管道漏磁检测数据依据重要程度的不同来划分等级，再将对应的不同等级数据采取不同的压缩比例进行压缩，实现对管道漏磁数据的分级压缩，既能解决管道漏磁数据压缩的问题，同时又不会影响管道缺陷部分的检测。

压缩感知理论，利用信号数据的稀疏特性，在远小于nyquist采样率的条件下,用随机采样获取信号的离散样本，接着非线性重建信号数据，实现了用较少的数据最大限度的还原了信息，实现了数据量的减少而数据信息的完整。将压缩感知理论应用于管道漏磁检测的数据压缩中来，结合管道漏磁数据的特点，对部分管道漏磁检测的数据进行低频率的采样，实现数据量的压缩，同时保证不改变原始漏磁信号的重要特征值，不影响管道缺陷的检测。

技术实现要素：

针对上述现有的压缩方法中存在的耗费时间长、压缩比例低以及压缩后的数据缺陷信息容易有较多缺失的技术问题，本发明提供一种基于压缩感知的管道漏磁数据分级压缩方法，实现管道漏磁数据的自适应压缩，通过对管道漏磁数据的合理压缩来提高管道漏磁缺陷检测系统的数据采集存储速度、缺陷检测速度以及漏磁数据显示速度，保证了在完成对漏磁数据最大化压缩的同时，完整地保留漏磁数据中的各种缺陷信息。

本发明的技术方案为：

一种基于压缩感知的管道漏磁数据分级压缩方法，其特征在于，包括下述步骤：

步骤1：漏磁数据的预处理：实时采集管道原始漏磁数据h0；设计低通滤波器，去除原始漏磁数据h0中的高频干扰；去除原始漏磁数据h0中的异常数据，对缺失数据进行插补；对原始漏磁数据h0进行归一化处理，得到预处理后的漏磁数据h；

步骤2：漏磁数据的分级处理：实时采集预处理后的漏磁数据h，根据两个焊缝之间管段的长度确定每次分级计算时读取的漏磁数据长度，得到固定长度的待分级的漏磁数据f；对漏磁数据f进行基础分级阈值的计算，依据基础分级阈值的不同对漏磁数据f进行分级；对各管段内的漏磁数据均进行级别评定，得到分级后的漏磁数据hf；

步骤3：稀疏变换基的构造：实时采集分级后的漏磁数据hf，按照管道里程顺序，每次读取连着的同一级别的漏磁数据构成待压缩数据hr；依据待压缩数据hr的等级的不同，构造与等级相对应的稀疏变换基ψ，使待压缩数据hr具有相应等级的稀疏性；

步骤4：漏磁数据的稀疏采集：构造与待压缩数据hr的级别和大小相对应的观测矩阵φ，对待压缩数据hr进行稀疏采集，得到观测值yr；依次对所述漏磁数据h中与所述待压缩数据hr临近的下一级别的一段数据进行稀疏采集，最终得到所述漏磁数据h的观测值y；

步骤5：漏磁数据的重构：利用正交匹配追踪算法，对观测值y进行重构，最终得到重构的管道漏磁数据。

所述步骤2包括下述步骤：

步骤2.1：读取待分级数据：实时采集预处理后的漏磁数据h，确定每次分级计算时读取的漏磁数据长度为两个焊缝之间管段长度的γ倍，得到l段固定长度的待分级的漏磁数据所述漏磁数据f的每一行对应一个传感器通道的n个数据，环绕管道一周有m个传感器；其中，γ取1.3～1.8，h＝[h1，...，hl]，f＝hk，k＝1,2,…,l；

步骤2.2：计算基础分级阈值：所述漏磁数据f的第i行的平均值为中位数为基础分级阈值为其中，i＝1,2,…,m，α为偏差系数，取0.2～0.4；

步骤2.3：评定待分级数据每一个元素的级别：依据管道漏磁数据的特点将漏磁数据f分为d个等级，其中，d＝5；依据所述漏磁数据f的第i行的基础分级阈值的大小来评定漏磁数据f的第i行第j列元素的级别fij：

当时，漏磁数据最为平缓，评定为一级，fij＝1；

当时，漏磁数据有轻微抖动，评定为二级，fij＝2；

当时，漏磁数据对应微小缺陷和大缺陷的谷部区域，评定为三级，fij＝3；

当时，漏磁数据对应为较大缺陷的峰部区域和焊缝，评定为四级，fij＝4；

当时，漏磁数据对应为对应为金属增加和金属缺失等异常情况，评定为五级，fij＝5；

步骤2.4：评定待分级数据每一列的级别：依据所述漏磁数据f的第j列的级别数据[f1j，...，fmj]^t来评定所述漏磁数据f的第j列的级别：该列级别数据对应一个管道圆环，选取该列最高的级别作为该管道圆环的级别，也即漏磁数据f的第j列的级别fj＝max{f1j，...，fmj}；重复上述步骤，继续评定其他列的级别，最终得到该第k段管道分级后的漏磁数据其中，hkf的第一行的每个元素对应每列漏磁数据的级别；

步骤2.5：重复上述步骤，继续评定下一个待分级管段内漏磁数据的级别，直到数据读取结束，最终得到整个管道分级后的漏磁数据hf＝[h1f，...，hkf，...，hlf]。

所述步骤3包括下述步骤：

步骤3.1：读取待压缩数据：实时采集分级后的漏磁数据hf，按照管道里程顺序，从起始端开始，每次读取连着的同一级别的漏磁数据所述漏磁数据hrf中的漏磁数据即为待压缩数据，所述待压缩数据hr的每一列数据的级别相同且为f；按照上述规则，所述漏磁数据h被分为r段，所述待压缩数据hr为所述漏磁数据h的第r段数据；其中，n为该段漏磁数据hr的列数，也即该段漏磁数据hr的大小；

步骤3.2：确定稀疏性：确定待压缩数据hr经过变换后的稀疏性k＝n*f*β；其中，β为基础压缩系数，取0.04～0.06；

步骤3.3：确定稀疏变换基：构造与待压缩数据hr的级别f相对应的稀疏变换基ψ，使得级别高的数据少量压缩，级别低的数据大量压缩：

当f＝1或2时，采用离散余弦变换(dct)，其变换公式为

其中，k＝1,2,...,n-1，

写为矩阵形式为

当f＝3或4或5时，采用离散傅里叶变换(dft)，其变换公式为

其中，n,k＝0,1,...,n-1，wn＝e^-j2π/n，

写为矩阵形式为

所述步骤4包括下述步骤：

步骤4.1：确定观测值的个数m＝cklog(n/k)，其中，c＝0.16；

步骤4.2：构造与待压缩数据hr的级别和大小相对应的观测矩阵φ，所述观测矩阵φ为m×n大小的随机高斯测量矩阵，即其中的每个元素都服从均值为0、方差为1/m的高斯分布；

步骤4.3：对待压缩数据hr的第i行数据hi＝[xi1，xi2，...，xin]进行稀疏采集，得到m个观测值，记为yi，其中，yi^t＝φhi^t，i＝1,2,...,m；

步骤4.4：重复上述步骤，依次对所述待压缩数据hr其他各行的数据进行稀疏采集，得到所述待压缩数据hr的观测值yr＝[y1；y2；...；yi；...；ym]；

步骤4.5：重复上述步骤，对所述漏磁数据h中与所述漏磁数据hr临近的下一级别的一段漏磁数据进行稀疏采集，直到所述步骤3中的数据读取结束，最终得到所述漏磁数据h的观测值y＝[y1，...，yr，...，yr]，再对观测值y进行传输与存储。

所述步骤5包括下述步骤：

步骤5.1：从数据起始端开始，实时读取所述漏磁数据h的观测值y＝[y1，...，yr，...，yr]中同一级别的观测值yr；

步骤5.2：利用所述步骤3.3得到的稀疏变换基ψ和所述步骤4.2得到的观测矩阵φ，由yi^t＝φhi^t＝φψθi＝aθi，利用正交匹配追踪算法，依次对所述观测值yr的每一行数据yi进行重构；其中，a为传感矩阵，θi为hi^t在稀疏变换基ψ下的稀疏表示系数，θi是k稀疏的；

步骤5.3：重复上述步骤，对所述观测值y中与所述观测值yr临近的下一级别的一段观测值进行重构，直到r＝r，最终得到重构的管道漏磁数据。

本发明的有益效果为：

第一，本发明采用自适应分级方法，根据实时管道漏磁数据的信息特征自动更新漏磁数据的划分等级，提高了分级的准确性，最终提高了压缩比例；

第二，本发明针对不同等级的数据采用不同的压缩方式，使得管道漏磁数据中的特征信息得到了较好的保留；

第三，本发明不涉及复杂的运算过程，运行速度快，减少了压缩时间。

附图说明

图1为本发明的基于压缩感知的管道漏磁数据分级压缩方法的流程图；

图2为本发明的管道漏磁数据分级流程图；

图3为本发明的管道漏磁数据压缩感知流程图；

图4为本发明的一个实施例的管道漏磁数据压缩前后效果对比图。

具体实施方式

下面将结合附图和实施例，对本发明作进一步描述。

本发明的目的是提供一种基于压缩感知的管道漏磁数据分级压缩方法，实现管道漏磁数据的自适应压缩，通过对管道漏磁数据的合理压缩来提高管道漏磁缺陷检测系统的数据采集存储速度、缺陷检测速度以及漏磁数据显示速度，保证了在完成对漏磁数据最大化压缩的同时，完整地保留漏磁数据中的各种缺陷信息。

如图1所示，为本发明的基于压缩感知的管道漏磁数据分级压缩方法的流程图。本发明首先对原始漏磁数据进行滤波降噪等预处理，然后对漏磁数据进行评定分级，接着对相应级别数据进行稀疏采样，对数据进行传输存储后，对相应级别数据进行重构，最终得到压缩后的数据。

本发明的基于压缩感知的管道漏磁数据分级压缩方法，具体如下：

步骤1：漏磁数据的预处理

实时采集的原始管道漏磁数据需要进行滤波等预处理，以去掉多余的噪声及异常数据，使得预处理后的漏磁数据仍保持原始漏磁数据的信息特征，防止异常数据对漏磁数据的后续分级处理造成干扰。

预处理的具体步骤如下：

步骤1.1：实时采集管道原始漏磁数据h0；

步骤1.2：设计低通滤波器，首先使用fft滤波，去除原始漏磁数据h0中的高频干扰；然后使用平滑均值滤波，使原始漏磁数据h0更加平滑；

步骤1.3：去除原始漏磁数据h0中达到传感器极值的异常数据；对数据缺失的部分以及数据异常的部分，参考临近通道的数值，采用三次样条法进行数据的插补处理；

步骤1.4：对原始漏磁数据h0进行归一化处理，消除不同传感器通道之间的差异对漏磁数据的后续分级处理的影响，得到预处理后的漏磁数据h。

步骤2：漏磁数据的分级处理

管道漏磁数据经过预处理后，需要对其进行级别的评定。如果采用固定阈值的方法进行分级，会导致等级分布过于集中、范围覆盖不够全面等问题。而本发明采用自适应分级方法，根据实时管道漏磁数据的信息特征自动更新漏磁数据的划分等级。

如图2所示，为本发明的管道漏磁数据分级流程图。分级处理的具体步骤如下：

步骤2.1：读取待分级数据：实时采集预处理后的漏磁数据h，确定每次分级计算时读取的漏磁数据长度为两个焊缝之间管段长度的γ倍，得到l段固定长度的待分级的漏磁数据所述漏磁数据f的每一行对应一个传感器通道的n个数据，环绕管道一周有m个传感器；其中，γ一般为1.3～1.8，这里取1.5，h＝[h1，...，hl]，f＝hk，k＝1,2,…,l；

步骤2.2：计算基础分级阈值：所述漏磁数据f的第i行的平均值为中位数为基础分级阈值为其中，i＝1,2,…,m，α为偏差系数，一般为0.2～0.4，这里取0.3；

步骤2.3：评定待分级数据每一个元素的级别：依据管道漏磁数据的特点将漏磁数据f分为d个等级，其中，d＝5；依据所述漏磁数据f的第i行的基础分级阈值的大小来评定漏磁数据f的第i行第j列元素的级别fij：

当时，漏磁数据最为平缓，评定为一级，fij＝1；

当时，漏磁数据有轻微抖动，评定为二级，fij＝2；

当时，漏磁数据对应微小缺陷和大缺陷的谷部区域，评定为三级，fij＝3；

当时，漏磁数据对应为较大缺陷的峰部区域和焊缝，评定为四级，fij＝4；

当时，漏磁数据对应为对应为金属增加和金属缺失等异常情况，评定为五级，fij＝5；

步骤2.4：评定待分级数据每一列的级别：依据所述漏磁数据f的第j列的级别数据[f1j，...，fmj]^t来评定所述漏磁数据f的第j列的级别：该列级别数据对应一个管道圆环，选取该列最高的级别作为该管道圆环的级别，也即漏磁数据f的第j列的级别fj＝max{f1j，...，fmj}；重复上述步骤，继续评定其他列的级别，最终得到该第k段管道分级后的漏磁数据其中，hkf的第一行的每个元素对应每列漏磁数据的级别；

步骤2.5：重复上述步骤，继续评定下一个待分级管段内漏磁数据的级别，直到数据读取结束，最终得到整个管道分级后的漏磁数据hf＝[h1f，...，hkf，...，hlf]。

分级后的管道漏磁数据中，不同等级的漏磁数据长短大小不一，主要由管道漏磁数据自身的特征决定，缺陷、组件多的重要部分相应高级别的数据就多，管道平缓的部分则大多是较低级别的数据。

管道漏磁数据通常经过采集、压缩、传输、解压缩等过程，其中，在采集完数据之后要压缩掉其中无用的冗余数据，莫不如在采集的过程中直接只采集非冗余的数据。本发明通过对管道漏磁数据的上述分析，判断了管道漏磁数据的重要程度，并对不同重要程度的不同部位的管道进行了相应的分级标记；之后，再采用压缩感知的方法，对不同重要程度的漏磁数据采用相应级别的稀疏变换基进行动态压缩，对漏磁数据进行最大限度的压缩，同时又不减少管道缺陷和组件的信息，不影响后续缺陷和组件的识别检测工作。

如图3所示，为本发明的管道漏磁数据压缩感知流程图。

基于压缩感知的漏磁数据压缩的具体步骤如下：

步骤3：稀疏变换基的构造

步骤3.1：读取待压缩数据

实时采集分级后的漏磁数据hf，按照管道里程顺序，从起始端开始，每次读取连着的同一级别的漏磁数据所述漏磁数据hrf中的漏磁数据即为待压缩数据，所述待压缩数据hr的每一列数据的级别相同且为f；按照上述规则，所述漏磁数据h被分为r段，所述待压缩数据hr为所述漏磁数据h的第r段数据；其中，n为该段漏磁数据hr的列数，也即该段漏磁数据hr的大小；

步骤3.2：确定稀疏性

压缩感知方法要求数据本身是稀疏的或者能够稀疏分解，如果n维离散信号是k稀疏(n个元素值只有k个是非零的)的，那么只需要采样m个观测值，而且k≤m＜n。实际的漏磁数据不是稀疏的，但经过一个变换后，在一组基上面是稀疏的，这就是漏磁数据的稀疏表示。

对管道漏磁数据进行变换，使得变换后的漏磁数据具有与其等级相对应的稀疏性，漏磁数据等级越高，则相应的数据稀疏性越低。根据数据量n和漏磁数据所在的级别f，来确定待压缩数据hr经过变换后的稀疏性k＝n*f*β；其中，β为基础压缩系数，一般为0.04～0.06，这里取0.05。

步骤3.3：确定稀疏变换基

依据待压缩数据hr的等级f的不同，构造与等级f相对应的稀疏变换基ψ，使待压缩数据hr经过变换后具有相应等级的稀疏性k，从而使得级别高的数据少量压缩，级别低的数据大量压缩。

稀疏变换基ψ，一般可以为离散余弦稀疏基、离散小波稀疏基、离散傅里叶变换基、curvelet基和gabor基等，这里构造与待压缩数据hr的级别f相对应的稀疏变换基ψ：

当f＝1或2时，数据较为平缓，采用离散余弦变换(dct)，其变换公式为

其中，k＝1,2,...,n-1，

写为矩阵形式为

当f＝3或4或5时，数据信息特征较多，采用离散傅里叶变换(dft)，其变换公式为

其中，n,k＝0,1,...,n-1，wn＝e^-j2π/n，

写为矩阵形式为

步骤4：漏磁数据的稀疏采集

步骤4.1：确定观测值的个数m＝cklog(n/k)，其中，c为一个很小的常数，这里取c＝0.16；

步骤4.2：构造与待压缩数据hr的级别和大小相对应的观测矩阵φ，所述观测矩阵φ为m×n大小的随机高斯测量矩阵，即其中的每个元素都服从均值为0、方差为1/m的高斯分布；

步骤4.3：对待压缩数据hr的第i行数据hi＝[xi1，xi2，…，xin]进行稀疏采集，得到m个观测值，记为yi，其中，yi^t＝φhi^t，i＝1,2,...,m；

步骤4.4：重复上述步骤，依次对所述待压缩数据hr其他各行的数据进行稀疏采集，得到所述待压缩数据hr的观测值yr＝[y1；y2；...；yi；...；ym]；

步骤4.5：重复上述步骤，对所述漏磁数据h中与所述漏磁数据hr临近的下一级别的一段漏磁数据进行稀疏采集，直到所述步骤3中的数据读取结束，最终得到所述漏磁数据h的观测值y＝[y1，...，yr，...，yr]，再对观测值y进行传输与存储。

经过上述步骤，所述漏磁数据h就被编码成了观测值y。显然，观测值y比漏磁数据h所占空间更小，实现了对漏磁数据h的初步压缩。

步骤5：漏磁数据的重构

在完成对漏磁数据的稀疏采集并对观测值进行传输与存储后，由于已经知道观测值yi对应级别的观测矩阵φ和稀疏变换基ψ，便可从观测值yi中重构出漏磁数据。

漏磁数据重构的具体步骤如下：

步骤5.1：从数据起始端开始，实时读取所述漏磁数据h的观测值y＝[y1，...，yr，...，yr]中同一级别的观测值yr；

步骤5.2：利用所述步骤3.3得到的稀疏变换基ψ和所述步骤4.2得到的观测矩阵φ，由yi^t＝φhi^t＝φψθi＝aθi，利用正交匹配追踪算法，依次对所述观测值yr的每一行数据yi进行重构；其中，a为传感矩阵，θi为在稀疏变换基ψ下的稀疏表示系数，θi是k稀疏的；

在正交匹配追踪算法(omp)中，记矩阵a的第j列为aj，迭代次数为t，第t次迭代的索引(即列序号)为λt，第t次迭代的索引集合为λt，第t次迭代的残差为其中，y＝yi^t，at表示按索引集合λt选出的矩阵a的列集合(大小为m×t)；为t×1的列向量，是第t次迭代的漏磁数据稀疏表示系数估计。

具体的重构过程如下：

1)首先初始化r0＝y，t＝1。找到索引λt，使

2)令λt＝λt-1∪{λt}，求y＝atθt的最小二乘解：

3)更新残差

4)令t＝t+1，如果t≤k则返回到2)，否则就停止循环进入5)；

5)重构得到的θi在λt处有非零项，其值为最后一次循环得到的

6)得到θi后，利用稀疏变换基ψ可以得到重构信号

步骤5.3：重复上述步骤，对所述观测值y中与所述观测值yr临近的下一级别的一段观测值进行重构，直到r＝r，最终得到重构的管道漏磁数据。

缩感知理论不同于传统的奈奎斯特采样定理，只要数据是稀疏的或者在某种变换域下是稀疏的，就可以用观测矩阵将高维数据投影到低维空间上，再通过优化求解重构出原始的数据。将此方法应用到管道漏磁检测领域，保证了漏磁数据特征信息的准确完整，节省了数据采集存储的时间，为后续漏磁数据的检测处理等环节带来了便利，同时也为管道漏磁检测技术的进一步发展奠定了实践基础。

如图4所示，为本发明的上述实施例的管道漏磁数据压缩前后效果对比图。其中，压缩后的数据仅有原始数据的五分之一大小。从图4可以看出，通过本发明的基于压缩感知的管道漏磁数据分级压缩方法对原始漏磁数据进行处理后，清晰地保留了原始漏磁数据的几乎全部特征，尤其完整保护了缺陷等重要部分的特征信息。

上述对本发明的一个实施例进行了详细说明。显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例；上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。