一种管道内检测漏磁数据智能分析系统及方法与流程

本发明属于管道检测技术领域，具体特别涉及一种管道内检测漏磁数据智能分析系统及方法。

背景技术：

管道运输作为一种连续、经济、高效、绿色的运输手段而被广泛应用。国标规定的管道设计寿命为20年，随着运行时间的增长，因管道材质问题、施工、腐蚀和外力作用造成的损伤，会使管道状况逐年恶化，潜在危险激增。一旦发生泄漏，不但会造成大气污染，也极易引发剧烈爆炸。因此，为了确保能源运输和生态环境安全，必须对管道定期进行安检和维护。

无损检测(non-destructivetesting,ndt)作为管道安全维护的一种重要手被广泛应用。目前，用于管道检测的主要方法包漏磁检测、涡流检测和超声检测。其中，漏磁检测被广泛应用于接近90％的在役管道中，是国外发达国家技术相对成熟、应用最广泛的一种针对铁磁性材料的缺陷检测技术。目前针对漏磁数据的分析研究很多，包括数据预处理、检测、尺寸反演、数据呈现等。然而，现有对漏磁数据分析的研究过于注重局部点的发展，缺乏对数据分析的系统观，绝大多数理论方法和应用技术缺乏通用性和可移植性，并未将智能化技术与漏磁数据分析有效的结合在一起，很难形成一套切实可行的、可广泛移植的数据分析系统。

本发明从面和体的角度，发明一种管道内检测漏磁数据分析软件系统；从人工智能角度发明数据分析方法，发明一种基于类时域稀疏采样和knn-softmax的数据预处理方法、发明一种基于选择性搜索与卷积神经网络相结合的管道连接组件检测方法、发明一种基于拉格朗日数乘框架和多源漏磁数据融合的异常候选区域搜索与识别方法，发明一种基于随机森林的缺陷反演方法，发明一种基于asmeb31g标准改进的管道缺陷评估方法。

技术实现要素：

基于以上技术问题，本发明提供一种管道内检测漏磁数据智能分析系统及方法，其中，一种管道内检测漏磁数据智能分析系统，包括：数据完备集构建模块、发现模块、量化模块以及解决方案模块；

原始采样漏磁数据与数据完备集构建模块相连接，数据完备集构建模块通过完备漏磁数据集与发现模块相连接，发现模块与量化模块相连接，量化模块与解决方案模块相连接；

所述数据完备集构建模块用于对原始漏磁内检测数据进行数据缺失重构以及降噪操作，构建完备漏磁数据集。

所述数据完备集构建模块中将原始采样漏磁数据作为多源数据信息，具体包括：轴向数据、径向数据、周向数据、α向数据；

所述发现模块是进行缺陷检测，其过程包括组件检测和异常检测，其中，组件检测完成对管道连接组件焊缝和法兰的检测；异常检测包括：缺陷、阀门仪表和金属增加检测，并最终得到缺陷信号。

所述量化模块完成缺陷信号到物理特性的映射，最终给出缺陷的尺寸，即长度、宽度和深度。

所述解决方案模块从完备漏磁数据集中提取缺陷信息中所有的缺陷长度列、深度列以及管道属性参数，通过维修决策模型，最终给出评估结果，评估结果包括单独缺陷位置的维修指数、维修建议；其中管道属性参数包括最小屈服强度smys、最小拉伸强度smts、公称外径dd、壁厚ta和最大允许操作压力maop；

采用上述的一种管道内检测漏磁数据智能分析系统进行漏磁数据分析，包括如下方法实现：

步骤1：在数据完备集构建模块中采用一种基于类时域稀疏采样和knn-softmax的数据完备集构建方法，得到完备漏磁数据集；

步骤1.1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行二次基线校正，其中，原始采样漏磁数据作为多源数据信息，具体包括：轴向数据、径向数据、周向数据、α向数据；

步骤1.1.1：对原始漏磁检测数据进行一次基线校正，表示为：

其中，kc为里程计数点数量；为第ja通道在第ia里程计数点位置的原始值；为第ja通道在第ia里程计数点位置的校正后的值；s为所有通道的中值，na为漏磁内检测器通道数。

步骤1.1.2：去除数据中的超限值±ta，将超限值的位置值赋予所有通道的中值s，表示为：

步骤1.1.3：对去除超限值的数据进行二次基线校正：

其中，kc为里程计数点数量；为第ja通道在第ia里程计数点位置的一次校正值；为第ja通道在第ia里程计数点位置的二次校正后的值；s′为一次校正后所有通道的中值。

步骤1.2：对二次基线校正后的数据进行类时域稀疏采样异常检测处理；

步骤1.2.1：对二次基线校正后的数据进行异常信号类时域建模，即将采样点对应为时间信息；

步骤1.2.1.1：对异常部分进行数学建模，建模结果所示为：

f(t)'＝p(t)'*sin(2πnft)

其中，

其中，p(t)′表示管道漏磁检测电压凸起补偿信号，f表示信号采样率，t表示采样时间，t1,t2表示采样时间间隔，a表示电力管道，n为系统波动幅值系数，f(t)'电压波形变化频率；

步骤1.2.1.2：以区间为采集单位设定漏磁检测异常数据变化量，以ke个采集数据为一个区间，将各区间内采集的管道系统电压数据的方差视为数据变化量，判定漏磁数据电压信号波动程度，具体计算方法为：

即：

其中，表示给定区间内的第ic个取样点，表示该区间内采集管道系统电压数据的平均值，△f0表示漏磁数据电压信号波动程度。

步骤1.2.1.3：计算电压状态变化量公式如下：

步骤1.2.2：异常信号判别：若则此时的数据认为是外界扰动产生的异常，即为异常部分。

步骤1.2.3：人工提取训练样本特征人工提取测试样本特征人工提取待插补数据特征ib,jb,kd为特征数目。

步骤1.3：对海底管道漏磁数据进行基于knn-逻辑回归的缺失插补处理。

步骤1.3.1：训练测试knn、softmax回归模型。

步骤1.3.1.1将特征样本数据t分为两部分，一部分特征样本数据xtrain用于训练knn模型，另一部分特征样本数据ttest用于测试knn模型。

步骤1.3.1.2：将xtrain输入到knn模型中，确定一个k值，训练knn模型。

步骤1.3.1.3：将ttest输入到训练完成的knn模型中进行分类，计算判别错误率，若错误率小于阈值，则采用v折交叉法，改变训练和测试样本继续训练，否则令k＝k+1继续训练模型，当k大于阈值m时停止训练。

步骤1.3.1.4：分到每类中的特征样本数据特征样本对应的数据集为对和分别进行归一化处理得到和表示为：

是特征样本数据的平均值；特征样本对应数据的平均值；

步骤1.3.1.5：在每一类的节点处添加一个softmax回归模型，其假设函数为如式表示为：

其中，x为样本输入值，y为样本输出值；θ为训练模型参数；kf为向量维数；ie为分类的第ie个类别；p(y＝ie|x)表示对类别ie估算的概率值。

步骤1.3.1.6：将每个节点处中的训练样本集输入到softmax回归模型中，得到插补之后的输出值其损失函数j(θ)为：

其中，x为样本输入值；y为样本输出值；θ为训练模型参数；kf为向量维数；ie为分类的第ie个类别；je为该分类中第je个样本输入；md为样本个数；1{·}为示性函数，若大括号里为真值，表达式值为1。

步骤1.3.2：计算预测结果的损失函数，设定阈值p。若j(θ)>p，回到步骤1.3.2.2，令k＝k+1继续训练模型。直至j(θ)≤p，当k大于阈值m时停止训练，输出插补之后的输出值y⁽ⁱ⁾'。

步骤1.3.3：将待插补数据特征及数据集输入到训练完成的模型中，实现对缺失数据的插补，得到完备漏磁数据集，因原始采样漏磁数据作为多源数据信息，故得到完备多源漏磁数据集。

步骤2：在发现模块中采用一种基于选择性搜索与卷积神经网络相结合的管道连接组件发现方法，得到焊缝的精确位置；

步骤2.1：提取管道漏磁信号数据：从完备漏磁数据集中，取将整段管道漏磁信号矩阵d，等比例分割成ng段管道漏磁信号矩阵每一个分割后的漏磁信号矩阵都由个数据组成；

步骤2.2：漏磁信号转换色彩图：设置信号幅值上限atop和信号幅值下线afloor，并据此将管道漏磁信号矩阵转换为管道彩色图矩阵

步骤2.2.1：设置信号幅值上限atop和信号幅值下线afloor。

步骤2.2.2：根据如下公式将管道漏磁信号矩阵转换为0-255之间的灰度矩阵

其中dij为漏磁信号矩阵d组成元素，grayij为灰度矩阵gray组成元素；

步骤2.2.3：根据如下公式将灰度矩阵转换为包含的三维彩色矩阵

其中，rij为矩阵r组成元素。gij为矩阵g组成元素。bij为矩阵b组成元素。

步骤2.3：选择性搜索：对每一段管道彩色图ck，利用选择性搜索，提取出mc个候选区域

步骤2.3.1：每一段管道彩色图ck，利用切分方法得到候选的区域集合rk＝{rk1,rk2,...,rkw}。

步骤2.3.2：初始化相似度集合sim＝φ。

步骤2.3.3：根据如下公式计算所有相临区域rka,rkb的相似度sim{rka,rkb}。

步骤2.3.4：重复步骤2.3.3直到所有相邻区域的相似度都计算出来，根据如下公式更新相似度合集sim。

sim＝sim∪sim(rka,rkb)

步骤2.3.5：从sim找到最大的相似度sim{rkc,rkd}＝max(sim)，并根据此得到合并区域：

rke＝rkc∪rkd

从sim中剔除出sim{rkc,rkd}。

步骤2.3.6：重复步骤2.3.5，直到sim为空，得到mc个合并后区域这些区域就是候选区域。

步骤2.4：卷积神经网络：利用卷积神经网络对提取出的候选区域进行判别，模记录卷积神经网络判断的焊缝位置loc1,loc2,...,locw及其评分soc1,soc2,...,socw。

步骤2.5：非极大值抑制：根据步骤2.4中焊缝位置loc1,loc2,...,locw及其评分soc1,soc2,...,socw，根据非极大值抑制算法得到焊缝的精确位置l1,l2,...,lu。

步骤3：根据焊缝的精确位置，将整段管道漏磁信号分别u+1段，取其中一段漏磁信号，在发现模型中采用一种基于拉格朗日数乘框架和多源漏磁数据融合的异常候选区域搜索与识别方法，找出有缺陷的漏磁信号；

步骤3.1：建立基于拉格朗日数乘的数据重构框架；

步骤3.1.1：建立数据重构模型subjecttop＝a+e，其中p是观测矩阵，e是误差矩阵，a是重构后的低秩矩阵。||·||1表示矩阵的1范数，||·||*表示矩阵的核范数，λ是权重参数。

步骤3.1.2：将有约束优化化模型为无约束优化模型：

其中，l表示拉格朗日函数，<·>表示矩阵的内积，μ是惩罚因子。y是拉格朗日数乘矩阵。该无约束模型最小化问题通过如下迭代过程解决：

步骤3.1.3：迭代优化。矩阵a的优化模型为：

为了计算方便，核范数最小化问题可以通过soft阈值算子解决，soft阈值的计算公式为(x,τ)＝sgn(x)(|x|-τ)+，其中y+＝max(y,0)，该算子可以被用如下优化过程：

其中，usv^t是矩阵z的奇异值分解。对u∈r^m×r，v∈rr×n。r为矩阵的秩。

因此，矩阵a的优化问题转化为同样的，矩阵e的优化问题转化为

步骤3.1.4：设置迭代截止条件，截止条件为：

其中，s为权重矩阵，s权重矩阵的使用可以大大降低迭代时间。从而提高检测速度。

步骤3.2：基于多数据融合的管道异常候选区域搜索；

步骤3.2.1：分别对单轴数据在基于拉格朗日数乘的数据重构框架下进行异常区域搜索，得出三轴异常区域分别为οx,οy,οz。

步骤3.2.2:建立三轴融合优化框架：

min(οx∪οy∪οz),

步骤3.2.3：用非极大值抑制算法消除重叠，同时考虑候选区域生成的多样性，距离近的窗体合并，以二者的最大外围为新窗体外围，合并准则为：相邻窗体中心横向距离如果小于相邻窗体横向长度的最小值。

步骤3.3基于可进化模型的管道漏磁异常识别。

步骤3.3.1：从完备漏磁数据集中提取异常样本，建立基于卷积神经网络(convolutionalneuralnetwork,cnn)的异常识别模型。

步骤3.3.2：针对那些识别错误的样本，添加新的标签，作为新的分类，转到步骤3.3.1，重新建立异常识别模型，重新进行分类，找出有缺陷的漏磁信号。

步骤4：针对有缺陷的漏磁信号，在量化模块中采用一种基于随机森林的缺陷量化方法，得到缺陷尺寸；

步骤4.1：收集数据；对缺陷漏磁信号进行检测，并将其漏磁信号进行特征提取，得到缺陷漏磁信号特征值，具体为：

根据轴向最大通道漏磁信号上的极小值点，找到轴向最大通道漏磁信号峰谷位置及峰谷值，判断为单双峰缺陷之后，提取波形相关10个特征，分别为：单峰缺陷峰值，单峰最大峰谷差，双峰谷宽度，双峰缺陷信号左峰谷差和右峰谷差，双峰缺陷信号峰峰间距，轴向特殊点间距，面积特征，面能量特征，缺陷体积，缺陷体能量。

10个特征具体描述如下：

a.单峰缺陷峰值：yv则为缺陷最小谷值，yp-v为最大峰谷差。由于缺陷漏磁信号受到内检测器检测环境等多种因素影响，数据的基准线波动较大。取缺陷数据的峰谷差值作为特征量可以很好地消除信号基线的影响，可以提高缺陷定量分析的可靠性。

b.单峰最大峰谷差：其表达式为：yp-v＝yp-yv，式中yp是单峰缺陷峰值，yv则为缺陷最小谷值，yp-v为最大峰谷差。由于缺陷漏磁信号受到内检测器检测环境等多种因素影响，数据的基准线波动较大。取缺陷数据的峰谷差值作为特征量可以很好地消除信号基线的影响，可以提高缺陷定量分析的可靠性。

c.双峰谷宽度：用公式表示为：xv-v＝xvr-xvl，其中，xv-v表示缺陷轴向信号谷宽度，xvr是缺陷右谷位置，xvl为缺陷左谷位置。缺陷信号的谷宽度能够反映出缺陷信号在轴向上的分布情况。

d.双峰缺陷信号左峰谷差和右峰谷差：用公式表示为：ylp-lv＝ylp-ylv，yrp-rv＝yrp-yrv，式中，ylv是漏磁信号的左谷值，yrv是漏磁信号右谷值，ylp为双峰信号左峰值，yrp为双峰信号右峰值，ylp-lv为左峰谷差，yrp-rv为右峰谷差。

e.双峰缺陷信号峰峰间距：其表达式为：xp-p＝xpr-xpl，式中，xpr是右峰位置，xpl为左锋位置，xp-p是信号峰峰间距。缺陷信号的峰峰间距与峰谷值的结合能够大致的确定异常数据曲线的形状，有助于对缺陷长度和深度进行定量分析。

f.轴向特殊点间距：为求缺陷长度的关键特征量，特殊点提取方法为：设置求长的比例m-ratea，根据x+(y-x)*m-ratea求出阈值，其中，x为谷值平均值，y为最大峰值，轴向最大通道漏磁信号中和阈值最接近的两个点即为特殊点，特殊点的间距为求缺陷长度的关键特征量。

g.面积特征：以数值较低的谷值为基线，取两个谷之间的数据曲线与基线之间覆盖的面积，用公式表示为：

其中，sa表示缺陷波形面积；x(t)表示缺陷信号数据点；min[x(t)]表示缺陷最小谷值；n1表示缺陷左谷位置；n2表示缺陷右谷位置。

h.面能量特征：求取两个谷之间的数据曲线的能量，用公式表示为：

式中：se为缺陷波形面能量。

i.缺陷体积：缺陷的体积就是在缺陷通道范围内对缺陷面积求和，用公式表示为：

式中，va表示缺陷体积；n1表示向信号特殊点位置确定的起始通道；n2表示周向信号特殊点位置确定的终止通道；sa(t)表示单条通道轴向缺陷面积。

j.缺陷体能量：缺陷体能量就是在缺陷范围内对缺陷面能量进行求和，其表达式为：

式中：ve表示缺陷体能量；se(t)表示单条轴向缺陷信号面能量。

步骤4.2：以缺陷漏磁信号特征值作为样本；人工测量缺陷尺寸作为标签，缺陷尺寸包括缺陷的深度、宽度和长度；人工选择初始训练集和测试集。

步骤4.3：训练网络；将训练集输入初始随机森林网络中。

步骤4.4：调整网络；通过测试集检验随机森林回归网络结果，并通过调参调整网络得到最终网络。

步骤4.4.1:从原始漏磁信号特征缺陷样本mh×nh维中使用bootstraping方法随机有放回采样选出me个缺陷样本，me≤mh，共进行tc次采样，生成tc个训练集；

步骤4.4.2:对于tc个训练集，分别训练tc个回归树模型。

步骤4.4.3:对于单个回归树模型，在漏磁缺陷信号特征集中，选择ne个特征，其中，ne≤n，然后每次分裂时根据信息增益比公式中ha(d)表示特征a的熵，g(d,a)表示其信息增益。选择信息增益比最大值的特征进行分裂。初始将参数最大特征数max_features设置为none，即不限制网络选取特征数；

步骤4.4.4:每棵树都一直这样分裂下去，在分裂过程中为防止过拟合，考虑回归树的复杂度，对回归树进行剪枝。剪枝通过极小化损失函数cα(t)＝c(t)+α|t|,其中c(t)代表模型对缺陷尺寸预测误差，即拟合程度。|t|代表模型复杂度，α用于调节回归树复杂度。使用国际海油运输管道pof标准，将损失函数的预测误差取为pof90％位置占壁厚的百分数。

步骤4.4.5:模型调参优化，采用cvgridsearch网格搜索及k折交叉验证寻找最优参数，最优参数包括随机森林框架参数，袋外样本评估分数eoob和最大迭代次数，以及树模型参数最大特征数，最大深度，内部节点再划分所需最小样本数和叶子节点最少样本数。

步骤4.4.6:将生成的多棵决策树组成随机森林，对于缺陷特征样本建立的回归问题网络，由多棵树预测值的均值决定最终预测缺陷尺寸大小。

步骤4.5：将测试集中待测数据输入到按照步骤4.4调整的随机森林网络中，输出预测缺陷尺寸，此时若待测数据为缺陷尺寸中的深度，则输出为预测缺陷尺寸的深度；若待测数据为缺陷尺寸中的宽度，则输出为预测缺陷尺寸的宽度，若待测数据为缺陷尺寸的长度，则输出为预测缺陷尺寸的长度；其中，按照国际输油管道pof标准，其预测深度反映了按误差绝对值排序百分之80位置的值，公式为：其中yc,分别为设计深度与预测深度。

步骤5：针对缺陷尺寸，在解决方案模块中采用一种基于asmeb31g标准改进的管道解决方案，导入维修决策模型，输出评估结果。

步骤5.1：从完备漏磁数据集中提取缺陷信息中所有的缺陷长度列、深度列以及管道属性参数；其中管道属性参数包括最小屈服强度smys、最小拉伸强度smts、公称外径dd、壁厚ta和最大允许操作压力maop；

步骤5.2：计算流变应力值其中smys是管材的最小屈服强度，单位为mpa；smts是最小拉伸强度，单位为mpa。

步骤5.3：计算管道预测失效压力当z<＝20时，长度伸缩系数当z>20时，长度伸缩系数l0＝(ηz+λa)，腐蚀区金属损失面积原始面积aarea0＝tal。其中d为缺陷深度，单位为mm；ta为管道壁厚，单位为mm；dd为公称外径，单位为mm。

步骤5.4：计算管道最大失效压力整理得：当z<＝20时，θa＝2/3，当z>20时，θa＝1。

步骤5.5：计算维修指数其中其中p为最大允许设计压力；如果维修指数erf小于1表示缺陷可接受，大于等于1不可接受，此时应该维修或换管。

步骤5.6：导入维修决策模型，基于专家经验及寿命预测模型进行定性和定量分析然后评估管道腐蚀的严重程度，制定维修规则，根据维修规则，输出评估结果，包括：维修指数及维修建议；其中，规则一：缺陷处的壁厚损失最大深度大于等于80％属于重大腐蚀，维修建议：应该立即维修或换管，规则二：缺陷处的erf大于等于1，属于严重腐蚀，维修建议：应该马上维修，规则三：缺陷处的erf值大于等于0.95且小于1.0，属于一般腐蚀，维修建议：可以观察1-3个月，规则四：缺陷处最大深度大于等于20％且小于40％属于轻微腐蚀，维修建议：可以定期观察，不做处理。

有益技术效果：

(1)本发明的数据完备集构建模块，相比于一般的基线校正算法，提出了一种二次基线校正算法，该方法降低了异常数据对整体基值的影响，提高了基线校正的准确性。同时采用在knn每个盒子中添加逻辑回归的算法实现对缺失数据的插补，该方法适用于不同种类的数据缺失类型中，同时针对实际工程数据的不确定性具有很强的抗干扰能力。

(2)在发现模块中，区别于一般的焊缝检测方法，引入选择性搜索算法生成候选区域，提高了生成候选区的速度与准确性；利用卷积神经网络算反对候选区域进行将缺分类，增加了焊缝检测算法对于信号噪声的鲁棒性，提高了分类准确性；

(3)在发现模块中，本发明采用多源漏磁数据进行重构，通过分析重构数据与源数据的偏差实现异常检测，同时为了提升算法速度，一种新颖的权重矩阵应用在条件计算中。实验结果表明该方法异常检出效果良好。

(4)在量化模块中，区别于一般的特征提取方法，根据漏磁信号突变不平稳的特点。本发明提出了一种基于漏磁信号波形及统计特征提取方法，增强了模型识别效果；运用海油管道pof标准自定义了随机森林迭代损失函数，使算法在本领域适应性高，缺陷量化结果精度高。本发明方法已经应用于实际工程管道反演，量化缺陷尺寸效果良好。

(5)在所述解决方案模块，本发明基于实际工程应用，相对于原始的asmeb31g方法，本次的方法改进了流变应力的计算从而增大了失效压力，降低了保守性，而asmeb31g保守性过高，因此不会因为asmeb31g的保守性过高而进行频繁的维修产生大量的维修费用。

(6)本发明提出了一种管道内检测漏磁数据智能分析系统及方法，相比于一般的漏磁数据分析方法，本发明从整体角度提出了一种管道内检测漏磁数据智能分析流程，该流程顺序包括：数据完备集构建模块、发现模块、量化模块以及解决方案模块。该流程实现了对原始管道内检测漏磁数据的预处理，连接组件的检测和异常检测，异常检测包括：缺陷、阀门仪表和金属增加，缺陷尺寸的反演以及最终的维修决策。

附图说明

图1为本发明实施例的一种管道内检测漏磁数据智能分析系统及方法流程图；

图2为本发明实施例的一种管道内检测漏磁数据智能分析系统框图；

图3为本发明实施例的基于类时域稀疏采样和knn-softmax的数据完备集构建流程图；

图4为本发明实施例的基于选择性搜索与卷积神经网络相结合的管道连接组件发现流程图；

图5为本发明实施例的基于拉格朗日数乘的异常区域搜索示意图；

图6为本发明实施例的基于多源漏磁数据融合的异常候选区域推荐和识别框架示意图；

图7为本发明实施例的一种基于asmeb31g标准改进的管道解决方案流程图；

图8为本发明实施例的基线校正前后的数据示意图；其中，图8(a)为基线校正前的数据示意图，图8(b)为基线校正后的数据示意图；

图9本发明实施例的进行knn-softmax算法插补前后得到的完备数据集的示意图；其中，图9(a)为未进行插补的完备数据集示意图，图9(b)为进行knn-softmax算法插补后得到的完备数据集的示意图；

图10为本发明实施例的管道连接组件发现仿真结果示意图；

图11为本发明实施例的找出有缺陷的漏磁信号仿真结果示意图；

图12为本发明实施例的缺陷量化性能对比柱状图；

图13为本发明实施例的缺陷反演残差散点图；

图14为本发明实施例的比较asmeb31g1991及改进的标准剩余强度评价曲线。

具体实施方式

下面将结合附图和实施例，对本发明作进一步描述。

本发明提供一种管道内检测漏磁数据智能分析软件系统及方法，从无损检测评估整体角度提出内检测漏磁数据分析系统，并从智能角度发明了一种基于类时域稀疏采样和knn-softmax的数据完备集构建方法、一种基于选择性搜索与卷积神经网络相结合的管道连接组件发现方法、一种基于拉格朗日数乘框架和多源漏磁数据融合的异常候选区域搜索与识别方法、一种基于随机森林的缺陷量化方法和一种基于asmeb31g标准改进的管道解决方案。实现管道的安全运维。

如图2所示，为本发明的漏磁数据智能分析软件系统图，整个系统分为4个主要部分：数据完备集构建模块、发现模块、量化模块以及解决方案模块。其中数据完备集构建模块实现数据的异常检测以及重构，构建完备数据集；发现模块包括组件检测和异常检测，其主要目标是识别缺陷；量化模块实现从信号到物理属性的映射，得出缺陷的长度、宽度和深度；解决方案模块是综合缺陷检测、尺寸反演结果以及管道属性和历史数据知识模型，最终给出维修策略。

本发明的种管道内检测漏磁数据智能分析系统及方法，如图1所示，具体实施如下：

步骤1：在数据完备集构建模块中采用一种基于类时域稀疏采样和knn-softmax的数据完备集构建方法，得到完备漏磁数据集。

如图3所示，为本发明基于类时域稀疏采样和knn-softmax的数据预处理流程图。首先对数据进行两次基线校正，然后对数据进行类时域建模并对数据进行异常识别。最后针对数据异常部分，运用knn-softmax回归模型进行数据插补，最终构建完备漏磁数据集。基于类时域稀疏采样和knn-softmax的数据预处理的具体步骤如下：

步骤1.1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行二次基线校正，其中，原始采样漏磁数据作为多源数据信息，具体包括：轴向数据、径向数据、周向数据、α向数据；。

步骤1.1.1：对原始漏磁检测数据进行一次基线校正，表示为：

其中，kc为里程计数点数量；为第ja通道在第ia里程计数点位置的原始值；为第ja通道在第ia里程计数点位置的校正后的值；s为所有通道的中值，na为漏磁内检测器通道数。

步骤1.1.2：去除数据中的超限值±ta，将超限值的位置值赋予所有通道的中值s，表示为：

步骤1.1.3：对去除超限值的数据进行二次基线校正：

其中，kc为里程计数点数量；为第ja通道在第ia里程计数点位置的一次校正值；为第ja通道在第ia里程计数点位置的二次校正后的值；s′为一次校正后所有通道的中值。

步骤1.2：对二次基线校正后的数据进行类时域稀疏采样异常检测处理；

步骤1.2.1：对二次基线校正后的数据进行异常信号类时域建模，即将采样点对应为时间信息；

步骤1.2.1.1：对异常部分进行数学建模，建模结果所示为：

f(t)'＝p(t)'*sin(2πnft)

其中，

其中，p(t)′表示管道漏磁检测电压凸起补偿信号，f表示信号采样率，t表示采样时间，t1,t2表示采样时间间隔，a表示电力管道，n为系统波动幅值系数，f(t)'电压波形变化频率；

步骤1.2.1.2：以区间为采集单位设定漏磁检测异常数据变化量，以ke＝100个采集数据为一个区间，将各区间内采集的管道系统电压数据的方差视为数据变化量，判定漏磁数据电压信号波动程度，具体计算方法为：

即：

其中，fic表示给定区间内的第ic个取样点，表示该区间内采集管道系统电压数据的平均值，△f0表示漏磁数据电压信号波动程度。

步骤1.2.1.3：计算电压状态变化量公式如下：

步骤1.2.2：异常信号判别：若则此时的数据认为是外界扰动产生的异常，即为异常部分。

步骤1.2.3：人工提取训练样本特征t＝(x1,x2,…,x7,x8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

人工提取测试样本特征t′＝(x1′,x2′,…,x7′,x8′)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

人工提取待插补数据特征t″＝(x1″,x2″,…,x7″,x8″)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

步骤1.3：对海底管道漏磁数据进行基于knn-逻辑回归的缺失插补处理。

步骤1.3.1：训练测试knn、softmax回归模型。

步骤1.3.1.1将特征样本数据t分为两部分，一部分特征样本数据xtrain用于训练knn模型，另一部分特征样本数据ttest用于测试knn模型。

步骤1.3.1.2：将xtrain输入到knn模型中，k值初始值设定为5，训练knn模型。

步骤1.3.1.3：将ttest输入到训练完成的knn模型中进行分类，计算判别错误率，若错误率小于阈值，则采用v折交叉法，改变训练和测试样本继续训练，否则令k＝k+1继续训练模型，当k大于阈值m时停止训练。

步骤1.3.1.4：分到每类中的特征样本数据特征样本对应的数据集为对和分别进行归一化处理得到和表示为：

是特征样本数据的平均值；特征样本对应数据的平均值；

步骤1.3.1.5：在每一类的节点处添加一个softmax回归模型，其假设函数为如式表示为：

其中，x为样本输入值，y为样本输出值；θ为训练模型参数；kf为向量维数；ie为分类的第ie个类别；p(y＝ie|x)表示对类别ie估算的概率值。

步骤1.3.1.6：将每个节点处中的训练样本集输入到softmax回归模型中，得到插补之后的输出值其损失函数j(θ)为：

其中，x为样本输入值；y为样本输出值；θ为训练模型参数；kf为向量维数；ie为分类的第ie个类别；je为该分类中第je个样本输入；md为样本个数；1{·}为示性函数，若大括号里为真值，表达式值为1。

步骤1.3.2：计算预测结果的损失函数，设定阈值p＝0.5。若j(θ)>p，回到步骤1.3.2.2，令k＝k+1继续训练模型。直至j(θ)≤p，当k大于阈值m时停止训练，输出插补之后的输出值y⁽ⁱ⁾'。

步骤1.3.3：将待插补数据特征及数据集输入到训练完成的模型中，实现对缺失数据的插补，得到完备漏磁数据集，因原始采样漏磁数据作为多源数据信息，故得到完备多源漏磁数据集。

步骤1的仿真结果：图8(a)为基线校正前的数据示意图，从图8(a)中可知，未进行基线校正的数据基值差距很大，加入偏移量后每个通道的数据分布不均匀；图8(b)为基线校正后的数据示意图，由图8(b)可知进行基线校正后的数据基值相等，加入偏移量后每个通道数据分布均匀，从而降低了后续数据处理的误差。

图9(a)为未进行数据插补的，含有缺失的数据集的示意图，图9(b)为进行knn-softmax算法插补后得到的完备数据集的示意图，由图9(b)可知，无论在缺陷位置还是在平滑位置，该算法都能将缺失的数据插补完成。

步骤2：基于选择性搜索与卷积神经网络相结合进行管道连接组件发现。

如图4所示，为本发明基于选择性搜索与卷积神经网络相结合的管道连接组件检测流程，首选将漏磁信号转换为彩色图，然后利用祖安泽兴搜索获得候选区域并利用卷积神经网路进行识别，最后采用非极大值抑制的方法去除区域重叠，过得最终组件位置，具体步骤如下：

步骤2.1：提取管道漏磁信号数据：从完备漏磁数据集中，取将整段管道漏磁信号矩阵d，等比例分割成ng段管道漏磁信号矩阵每一个分割后的漏磁信号矩阵都由个数据组成；漏磁内检测器采集得到的大小m×n整段管道漏磁信号矩阵d。等比例分割成大小为m1×n,m2×n,...m10×n的漏磁信号矩阵d1,d2,...,d10。其中m1＝m2＝...＝m10,m1+m2+...+m10＝m。

步骤2.2：漏磁信号转换色彩图：设置信号幅值上限atop和信号幅值下线afloor，并据此将管道漏磁信号矩阵转换为管道彩色图矩阵

步骤2.2.1：设置信号幅值上限atop和信号幅值下线afloor。

步骤2.2.2：根据如下公式将管道漏磁信号矩阵转换为0-255之间的灰度矩阵

其中dij为漏磁信号矩阵d组成元素，grayij为灰度矩阵gray组成元素；

步骤2.2.3：根据如下公式将灰度矩阵转换为包含的三维彩色矩阵

其中，c＝255，rij为矩阵r组成元素。gij为矩阵g组成元素。bij为矩阵b组成元素。

步骤2.3：选择性搜索：对每一段管道彩色图ck，利用选择性搜索，提取出mc个候选区域

步骤2.3.1：每一段管道彩色图ck，利用切分方法得到候选的区域集合rk＝{rk1,rk2,...,rkw}。

步骤2.3.2：初始化相似度集合sim＝φ。

步骤2.3.3：根据如下公式计算所有相临区域rka,rkb的相似度sim{rka,rkb}。

步骤2.3.4：重复步骤2.3.3直到所有相邻区域的相似度都计算出来，根据如下公式更新相似度合集sim。

sim＝sim∪sim(rka,rkb)

步骤2.3.5：从sim找到最大的相似度sim{rkc,rkd}＝max(sim)，并根据此得到合并区域rke＝rkc∪rkd。从sim中剔除出sim{rkc,rkd}。

步骤2.3.6：重复步骤2.3.5，直到sim为空。得到mc个合并后区域这些区域就是候选区域。

步骤2.4：卷积神经网络：候选区域识别：

步骤2.4.1：构建输入为72×72的卷积神经网络的，卷积神经网络的中间层包括4个卷积层，4个降采样层和1个全连接层。其中，每个卷积层后面都紧跟着一个用来求局部加权平均的降采样层作为二次特征提取。

步骤2.4.2：从历史数据中提取p个nl×nl的焊缝彩色图作为卷积神经网络的样本。随机取样本中80％作为训练样本，剩余20％作为测试样本。

步骤2.4.3：将网络反复训练500次，其中测试成功率最高的作为最终网络net。

步骤2.4.4：将候选区域rk1,rk2,...rkm分别输入训练好的卷积神经网络进行判别。对于判断是焊缝的区域，记录下其位置loc与网络评分soc。最终得到w个位置loc1,loc2,...,locw及其评分soc1,soc2,...,socw。

步骤2.5：非极大值抑制：根据上述焊缝位置loc1,loc2,...,locw及其评分soc1,soc2,...,socw，根据非极大值抑制算法，得到焊缝的精确位置l1,l2,...,lu。

步骤2的仿真结果，如图10所示：本发明提出的管道组件发现方法：准确率为95.3％召回率为97.94％，相比于采用阈值的传统方法：准确率为91.5％召回率为95.51％。可以看出本发明提出的方法性能更好。

步骤3：根据焊缝的精确位置，将整段管道漏磁信号分别u+1段，取其中一段漏磁信号，在发现模型中采用一种基于拉格朗日数乘框架和多源漏磁数据融合的异常候选区域搜索与识别方法，找出有缺陷的漏磁信号，如图6所示；

步骤3.1：建立基于拉格朗日数乘的数据重构框架；

如图5所示，为本发明基于拉格朗日数乘的异常区域搜索流程，通过拉格朗日数乘算法将有约束优化模型化为无约束优化模型，最终通过交替迭代获得重构矩阵，从而得到重构矩阵与观测矩阵的误差矩阵，通过合适的阈值获得异常区域，最终将区域规则化。具体步骤如下：

步骤3.1.1：建立数据重构模型subjecttod＝a+e。

步骤3.1.2：将有约束优化化模型为无约束优化模型

该无约束模型最小化问题可以通过如下迭代过程解决：

步骤3.1.3：迭代优化。矩阵a的优化模型为：

为了计算方便，核范数最小化问题可以通过soft阈值算子解决，soft阈值的计算公式为(x,τ)＝sgn(x)(|x|-τ)+，其中y+＝max(y,0)，该算子可以被用如下优化过程：

因此，矩阵a的优化问题转化为同样的，矩阵e的优化问题转化为

步骤3.1.4：设置迭代截止条件。截止条件为：其中s为权重矩阵，s权重矩阵的实用可以大大降低迭代时间。从而提高检测速度。本发明s矩阵的设置如下：

步骤3.2：基于多数据融合的管道异常候选区域搜索；

如图6所示，为本发明基于多源漏磁数据融合的异常候选区域推荐和识别框架，在上述数据重构框架下对多源数据分别进行异常区域推荐，然后通过区域优化框架，从边界和区域角度进行优化，最终得到异常候选区域，输入到识别模型，最终进行分类。具体步骤如下：

步骤3.2.1:分别对单轴数据在基于拉格朗日数乘的数据重构框架下进行异常区域搜索。得出三轴异常区域分别为οx,οy,οz。

步骤3.2.2:建立三轴融合优化框架

min(οx∪οy∪οz),

步骤3.2.3：用非极大值抑制算法消除重叠，同时考虑候选区域生成的多样性，距离近的窗体合并，以二者的最大外围为新窗体外围，合并准则为：相邻窗体中心横向距离如果小于相邻窗体横向长度的最小值。

步骤3.3基于可进化模型的管道漏磁异常识别。

步骤3.3.1：从完备漏磁数据集中提取异常样本，建立基于卷积神经网络(convolutionalneuralnetwork,cnn)的异常识别模型。

步骤3.3.2：针对那些识别错误的样本，添加新的标签，重新输入模型中进行训练，随着变迁数据数据的不断增多，识别模型不断进化。

步骤3中仿真结果，如图11所示：本发明提出的管道异常发现方法：准确率为95.73％召回率为93.86％；单轴数据异常发现准确率为93.07％召回率为89.73％；相比于传统基于特征提取的方法：准确率为88.98％召回率为81.93％。可以看出，本方法性能更好。

步骤4：针对有缺陷的漏磁信号，在量化模块中采用一种基于随机森林的缺陷量化方法，得到缺陷尺寸；

步骤4.1：收集数据；对缺陷漏磁信号进行检测，并将其漏磁信号进行特征提取，得到缺陷漏磁信号特征值，具体为：

根据轴向最大通道漏磁信号上的极小值点，找到轴向最大通道漏磁信号峰谷位置及峰谷值，判断为单双峰缺陷之后，提取波形相关10个特征，分别为：单峰缺陷峰值，单峰最大峰谷差，双峰谷宽度，双峰缺陷信号左峰谷差和右峰谷差，双峰缺陷信号峰峰间距，轴向特殊点间距，面积特征，面能量特征，缺陷体积，缺陷体能量。

10个特征具体描述如下：

a.单峰缺陷峰值：yv则为缺陷最小谷值，yp-v为最大峰谷差。由于缺陷漏磁信号受到内检测器检测环境等多种因素影响，数据的基准线波动较大。取缺陷数据的峰谷差值作为特征量可以很好地消除信号基线的影响，可以提高缺陷定量分析的可靠性。

b.单峰最大峰谷差：其表达式为：yp-v＝yp-yv，式中yp是单峰缺陷峰值，yv则为缺陷最小谷值，yp-v为最大峰谷差。由于缺陷漏磁信号受到内检测器检测环境等多种因素影响，数据的基准线波动较大。取缺陷数据的峰谷差值作为特征量可以很好地消除信号基线的影响，可以提高缺陷定量分析的可靠性。

c.双峰谷宽度：用公式表示为：xv-v＝xvr-xvl，其中，xv-v表示缺陷轴向信号谷宽度，xvr是缺陷右谷位置，xvl为缺陷左谷位置。缺陷信号的谷宽度能够反映出缺陷信号在轴向上的分布情况。

d.双峰缺陷信号左峰谷差和右峰谷差：用公式表示为：ylp-lv＝ylp-ylv，yrp-rv＝yrp-yrv，式中，ylv是漏磁信号的左谷值，yrv是漏磁信号右谷值，ylp为双峰信号左峰值，yrp为双峰信号右峰值，ylp-lv为左峰谷差，yrp-rv为右峰谷差。

e.双峰缺陷信号峰峰间距：其表达式为：xp-p＝xpr-xpl，式中，xpr是右峰位置，xpl为左锋位置，xp-p是信号峰峰间距。缺陷信号的峰峰间距与峰谷值的结合能够大致的确定异常数据曲线的形状，有助于对缺陷长度和深度进行定量分析。

f.轴向特殊点间距：为求缺陷长度的关键特征量，特殊点提取方法为：设置求长的比例m-ratea，根据x+(y-x)*m_ratea求出阈值，其中，x为谷值平均值，y为最大峰值，轴向最大通道漏磁信号中和阈值最接近的两个点即为特殊点，特殊点的间距为求缺陷长度的关键特征量。

g.面积特征：以数值较低的谷值为基线，取两个谷之间的数据曲线与基线之间覆盖的面积，用公式表示为：

其中，sa表示缺陷波形面积；x(t)表示缺陷信号数据点；min[x(t)]表示缺陷最小谷值；n1表示缺陷左谷位置；n2表示缺陷右谷位置。

h.面能量特征：求取两个谷之间的数据曲线的能量，用公式表示为：

式中：se为缺陷波形面能量。

i.缺陷体积：缺陷的体积就是在缺陷通道范围内对缺陷面积求和，用公式表示为：

式中，va表示缺陷体积；n1表示向信号特殊点位置确定的起始通道；n2表示周向信号特殊点位置确定的终止通道；sa(t)表示单条通道轴向缺陷面积。

j.缺陷体能量：缺陷体能量就是在缺陷范围内对缺陷面能量进行求和，其表达式为：

式中：ve表示缺陷体能量；se(t)表示单条轴向缺陷信号面能量。

步骤4.2：以缺陷漏磁信号特征值作为样本；人工测量缺陷尺寸作为标签，缺陷尺寸包括缺陷的深度、宽度和长度；人工选择初始训练集和测试集。

步骤4.3：训练网络；将训练集输入初始随机森林网络中。

步骤4.4：调整网络；通过测试集检验随机森林回归网络结果，并通过调参调整网络得到最终网络，具体实践：输入mh＝666nh＝6,设置参数mf＝sqrt(),tf＝56。具体实践：初始将参数设置nf＝nf/3，最大特征数max_features设置为none。

步骤4.4.1:从原始漏磁信号特征缺陷样本mh×nh维中使用bootstraping方法随机有放回采样选出me个缺陷样本，me≤mh，共进行tc次采样，生成tc个训练集；

步骤4.4.2:对于tc个训练集，分别训练tc个回归树模型。

步骤4.4.3:对于单个回归树模型，在漏磁缺陷信号特征集中，选择ne个特征，其中，ne≤n，然后每次分裂时根据信息增益比公式中ha(d)表示特征a的熵，g(d,a)表示其信息增益。选择信息增益比最大值的特征进行分裂。初始将参数最大特征数max_features设置为none，即不限制网络选取特征数；

步骤4.4.4:每棵树都一直这样分裂下去，在分裂过程中为防止过拟合，考虑回归树的复杂度，对回归树进行剪枝。剪枝通过极小化损失函数cα(t)＝c(t)+α|t|,其中c(t)代表模型对缺陷尺寸预测误差，即拟合程度。|t|代表模型复杂度，α用于调节回归树复杂度。使用国际海油运输管道pof标准，将损失函数的预测误差取为pof90％位置占壁厚的百分数。初始将最大树深max_depth设置为5。

步骤4.4.5:模型调参优化，采用cvgridsearch网格搜索及k折交叉验证寻找最优参数。包括随机森林框架参数，袋外样本评估分数eoob和最大迭代次数，以及树模型参数最大特征数max_features，最大深度max_depth，内部节点再划分所需最小样本数和叶子节点最少样本数。

步骤4.4.6:将生成的多棵决策树组成随机森林。对于从缺陷特征样本建立的回归问题网络，由多棵树预测值的均值决定最终预测缺陷尺寸大小信息。

步骤4.5：将待测数据输入到按照步骤4.4调整的随机森林网络中，输出预测缺陷尺寸，此时若待测数据为缺陷尺寸中的深度，则输出为预测缺陷尺寸的深度；若待测数据为缺陷尺寸中的宽度，则输出为预测缺陷尺寸的宽度，若待测数据为缺陷尺寸的长度，则输出为预测缺陷尺寸的长度；其中，按照国际输油管道pof标准，其预测深度反映了按误差绝对值排序百分之80位置的值，公式为：，公式为：其中yc,分别为设计深度与预测深度。将迭代np代内损失函数不再减少作为参数寻优终止条件，网络最终输出最大迭代次数n_estimators为172。

步骤4的仿真结果，本发明与传统缺陷反演算法性能对比，如表1所示：

表1缺陷反演算法性能：

表1和图12反映出本发明算法按照国际海油管道pof标准，在80％置信度时，缺陷的长度绝对误差在10mm之内，宽度15mm之内，深度绝对误差占壁厚(9.5mm)百分比在10之内。相比较于传统随机森林算法精度更高，且方差较小，达到工业缺陷反演精度要求。实验结果验证了算法泛化能力和鲁棒性较好。

从图13中可以看出缺陷尺寸反演精度和稳定性量化结果较好。并且预测点并无大幅度偏离真实点实例，这对工业故障检测十分重要，因为如果一个缺陷尺寸预测偏差大，会导致后续修复措施损失严重。

骤5：针对缺陷尺寸，在解决方案模块中采用一种基于asmeb31g标准改进的管道解决方案，导入维修决策模型，输出评估结果，如图7所示。

步骤5.1：从完备漏磁数据集中提取缺陷信息中所有的缺陷长度列、深度列以及管道属性参数；其中管道属性参数包括最小屈服强度smys、最小拉伸强度smts、公称外径dd、壁厚ta和最大允许操作压力maop。

步骤5.2：计算流变应力值其中smys是管材的最小屈服强度，单位为mpa；smts是最小拉伸强度，单位为mpa。

步骤5.3：计算管道预测失效压力当z<＝20时，长度伸缩系数当z>20时，长度伸缩系数l0＝(ηz+λa)，腐蚀区金属损失面积原始面积aarea0＝tal。其中d为缺陷深度，单位为mm；ta为管道壁厚，单位为mm；dd为公称外径，单位为mm。

步骤5.4：计算管道最大失效压力整理得：当z<＝20时，θa＝2/3，当z>20时，θa＝1。

步骤5.5：计算维修指数其中其中p为最大允许设计压力；如果维修指数erf小于1表示缺陷可接受，大于等于1不可接受，此时应该维修或换管。

步骤5.6：导入维修决策模型，基于专家经验及寿命预测模型进行定性和定量分析然后评估管道腐蚀的严重程度，制定维修规则，根据维修规则，输出评估结果，包括：维修指数及维修建议；其中，规则一：缺陷处的壁厚损失最大深度大于等于80％属于重大腐蚀，维修建议：应该立即维修或换管，规则二：缺陷处的erf大于等于1，属于严重腐蚀，维修建议：应该马上维修，规则三：缺陷处的erf值大于等于0.95且小于1.0，属于一般腐蚀，维修建议：可以观察1-3个月，规则四：缺陷处最大深度大于等于20％且小于40％属于轻微腐蚀，维修建议：可以定期观察，不做处理。

步骤5仿真结果，如图14所示的曲线是分别将管道基本参数信息带入asmeb31g1991及改进后的标准后绘制的，改进后的公式通过改变流变应力的值降低了保守性。图中曲线是维修指数erf＝1的曲线，如果缺陷位于曲线上方说明该缺陷腐蚀比较严重应该立即维修，asmeb31g1991标准保守性过高，实际检测过程中经常增加维修或换管力度，造成经济上的浪费，适用于老管道，由于改进后的公式保守性降低，进而减少了因经常维修而产生的费用。