一种航空发动机管路图像分割方法及系统与流程

本发明涉及图像处理与机器视觉领域，特别涉及一种航空发动机管路图像分割方法及系统。

背景技术：

航空发动机是一种高度复杂精密的机械结构，确保着飞机在运行过程中的稳定性和可靠性。管路负责传输燃油、润滑油和空气等液态和气态介质，是航空发动机的重要组成部分。航空发动机在工作中会存在大量振动，若管路与管路之间间隙过小，则将因振动而产生大量的摩擦，从而影响发动机的可靠运行。在传统方法中工人依靠塞规进行间隙测量以排查故障隐患，使得工作量繁琐且效率低下。近年来机器视觉的方法在工业领域得到了广泛的应用，当采用立体视觉方法对航空发动机管路进行三维重建的过程中，对复杂工业场景下的管路进行图像分割是其中的重要一步。

现有针对管路图像分割的技术主要利用的是管路与背景的灰度信息。在专利102410811b中采用多目视觉的方法对弯管参数进行测量时，由于将管路直接置于较为良好的背光光源环境下，因此利用简单的阈值分割方法即可将管路区域从背景中区分出来，这种方法无法适用于复杂光照和工业背景下的航空发动机管路的图像分割。专利cn109636790a对管路上的不同结构进行识别的方法中，通过计算前景和背景像素灰度的最大类间方差来确定管路结构的边界轮廓，这种方法同样也仅适用于管路和背景对比度较高的管路图像中。而当航空发动机管路处于与其材质类似的工业环境中，仅利用灰度信息无法区分出管路和背景。

图像分割一直是计算机视觉领域重点研究的课题之一。近年来，基于深度学习的算法促使了图像分割技术的进一步发展，其通过建立复杂的数学模型以及大量的数据训练来提高分割的准确性。专利cn110287932a通过优化卷积神经网络中的损失函数，提高了模型对于被树木、阴影遮挡的道路分割的精度。专利cn110766643a中利用u-net进行血管分割，然而该方法需要大量的图像及其标注信息，同时将该方法应用于管路分割时在管路被遮挡或交错处无法正确的提取管路，降低分割精度。由于管路在图像中尺度不一、形状多变，不同的管路之间会出现交错或者管路部分区域受到工业连接件的遮挡，现有的图像分割方法无法考虑到管路在空间中的几何分布，从而分割结果中会出现管路断裂等问题。同时由于环境的复杂性，容易出现将背景误识别为管路导致错误分割的问题。因而本发明针对上述发明中一直尚未解决的问题，提出一种航空发动机管路图像分割方法，可以从复杂的工业环境中分割出管路，同时解决管路的交错、遮挡对分割精度带来的影响。

综上所述，针对复杂场景下的航空发动机管路这种金属管状结构，目前尚未出现其自动分割的解决方案。其主要难点在于需要综合考虑管路在图像中的几何信息和局部信息，从而实现航空发动机管路的图像分割任务。

技术实现要素：

本申请的主要目的在于提供一种航空发动机管路图像分割方法及系统，以解决复杂工业场景下管路的自动化分割问题。

为了实现上述目的，根据本申请的一个方面，提供了一种航空发动机管路图像分割方法。

根据本申请的航空发动机管路图像分割方法包括：步骤1、根据管路图像获取多尺度各向异性特征提取结果；步骤2、将多个特征融入条件随机场进行特征融合，在对特征权重训练后得到管路二值分割结果；步骤3、根据所述二值分割结果的骨架线进行管路跟踪，基于截面相似度连接管路候选区域，得到实例分割结果。

进一步地，所述根据管路图像获取多尺度各向异性特征提取结果包括：

(11)利用路径形态学对原始图像i进行预处理，保留图像中的线状目标，抑制非线性物体；

(12)利用一定大小的线性算子计算在各个方向上的灰度积累量来提取线状结构特征，当待测点处于管路内部时不同方向上的灰度积累量有较为明显差异，当待测点位于背景时其灰度积累量差异不大。将最大灰度积累量和窗口内灰度平均值之差作为特征响应值，不同窗口大小的算子对应不同宽度的管路构成多尺度线状结构特征f1；

(13)通过计算在一定半径圆周上的梯度积分来提取最佳方向性梯度通量特征，当圆与管路边缘重合时，圆周上某一方向的梯度分量的通量具有极值。利用高斯卷积求解梯度分量并构造特征矩阵，值为负数的特征值的绝对值即可代表当前点的最佳方向性梯度通量特征响应值，通过改变半径值来对应不同宽度的管路来构成多尺度特征f2；

(14)基于hessian矩阵获取管路增强特征，利用不同尺度下与管状目标的实际宽度匹配最大时输出的响应最大来求取该特征。通过分析该点构成的hessian矩阵的特征值是否满足一定条件，进而判别是否属于管路。改变高斯核的尺度来适应不同宽度的管路，得到管路增强特征f3。

进一步地，所述将多个特征融入条件随机场进行特征融合，在对特征权重训练后得到管路二值分割结果包括：

(21)利用全连接条件随机场对管路多尺度各向异性特征进行融合。将条件随机场用于图像分割时，可视为能量函数e的最小化问题，可用公式(1)表达，

其中，能量函数的一元项θu由多尺度各向异性特征fi求得，二元项θp通过计算图像中不同像素之间灰度和距离信息来求得其相关关系；

(22)一元项和二元项之间的权重向量由结构化svm训练得到。最后可以得到管路二值分割结果y。

进一步地，所述根据所述二值分割结果的骨架线进行管路跟踪，基于截面相似度连接管路候选区域，得到实例分割结果包括：

(31)利用二值图像的连通域骨架细化算法并通过剪枝操作来求得主骨架线。同时，根据管路局部边缘可以近似视为一条线段这一特点，得到管路的边缘线性响应。其主要做法是通过一组不同方向的线性算子与经过拉普拉斯变换的二值图进行开运算得到，求出每一点处在不同方向上开运算的最大值即为线性响应值；

(32)根据所述骨架线结果进行管路跟踪，提出一种管路截面点对提取算法，利用管路的局部信息来正确获取管路候选区域，进一步筛选二值图像中的管路和背景。该截面点对提取算法主要包含三个步骤，首先要选取初始跟踪点x1并将主骨架线作为拟合中心线，其法线与管路边缘相交的两点构成第一组截面点对(t1,x1,p1)；接着沿着中心线进行跟踪，得到一系列的截面点对{(t1,x1,p1),...,(ti,xi,pi)}，在中心线的末端无可以跟踪的中心线时，沿着末端方向移动适量位置，在该点处求出与管路边缘截线最短的两个点ti+1和pi+1，并将两点及其中点作为新的截面点对(ti+1,xi+1,pi+1)；最后，当求出的截面点对的宽度与之前的平均宽度相差一定阈值时结束管路跟踪，得到一个管路候选区域si＝{(t1,x1,p1),...,(tm,xm,pm)}；

(33)获取管路候选区域后，通过计算管路截面相似度判断管路候选区域是否属于同一根管路。管路截面相似度的计算主要包含截面宽度、方向以及距离的判定。

为了实现上述目的，根据本申请的另一方面，提供了一种航空发动机管路图像分割系统。

根据本申请的航空发动机管路图像分割系统包括：特征提取模块，用于根据管路的几何特点提取管路图像的多尺度各向异性特征；特征融合模块，用于将多个特征融入条件随机场进行特征融合，在对特征权重训练后得到管路二值分割结果；实例分割模块，用于根据所述二值分割结果的骨架线进行管路跟踪，基于截面相似度连接管路候选区域，得到实例分割结果。

进一步地，所述特征提取模块包括：

(11)利用路径形态学对原始图像i进行预处理，保留图像中的线状目标，抑制非线性物体；

(12)利用一定大小的线性算子计算在各个方向上的灰度积累量来提取线状结构特征，当待测点处于管路内部时不同方向上的灰度积累量有较为明显差异，当待测点位于背景时其灰度积累量差异不大。将最大灰度积累量和窗口内灰度平均值之差作为特征响应值，不同窗口大小的算子对应不同宽度的管路构成多尺度线状结构特征f1；

(13)通过计算在一定半径圆周上的梯度积分来提取最佳方向性梯度通量特征，当圆与管路边缘重合时，圆周上某一方向的梯度分量的通量具有极值。利用高斯卷积求解梯度分量并构造特征矩阵，值为负数的特征值的绝对值即可代表当前点的最佳方向性梯度通量特征响应值，通过改变半径值来对应不同宽度的管路来构成多尺度特征f2；

(14)基于hessian矩阵获取管路增强特征，利用不同尺度下与管状目标的实际宽度匹配最大时输出的响应最大来求取该特征。通过分析该点构成的hessian矩阵的特征值是否满足一定条件，进而判别是否属于管路。改变高斯核的尺度来适应不同宽度的管路，得到管路增强特征f3。

进一步地，所述特征融合模块包括：

(21)利用全连接条件随机场对管路多尺度各向异性特征进行融合。将条件随机场用于图像分割时，可视为能量函数e的最小化问题，可用公式(1)表达。

其中，能量函数的一元项θu由多尺度各向异性特征fi求得，二元项θp通过计算预处理图像中不同像素之间灰度和距离信息来求得其相关关系；

(22)一元项和二元项之间的权重向量由结构化svm训练得到。最后可以得到管路二值分割结果y。

进一步地，所述实例分割模块包括：

(31)利用二值图像的连通域骨架细化算法并通过剪枝操作来求得主骨架线。同时，根据管路局部边缘可以近似视为一条线段这一特点，得到管路的边缘线性响应。其主要做法是通过一组不同方向的线性算子与经过拉普拉斯变换的二值图进行开运算得到，求出每一点处在不同方向上开运算的最大值即为线性响应值；

(32)根据所述骨架线结果进行管路跟踪，提出一种管路截面点对提取算法，利用管路的局部信息来正确获取管路候选区域，进一步筛选二值图像中的管路和背景。该截面点对提取算法主要包含三个步骤，首先要选取初始跟踪点x1并将主骨架线作为拟合中心线，其法线与管路边缘相交的两点构成第一组截面点对(t1,x1,p1)；接着沿着中心线进行跟踪，得到一系列的截面点对{(t1,x1,p1),...,(ti,xi,pi)}，在中心线的末端无可以跟踪的中心线时，沿着末端方向移动适量位置，在该点处求出与管路边缘截线最短的两个点ti+1和pi+1，并将两点及其中点作为新的截面点对(ti+1,xi+1,pi+1)；最后，当求出的截面点对的宽度与之前的平均宽度相差一定阈值时结束管路跟踪，得到一个管路候选区域si＝{(t1,x1,p1),...,(tm,xm,pm)}；

(33)获取管路候选区域后，通过计算管路截面相似度判断管路候选区域是否属于同一根管路。管路截面相似度的计算主要包含截面宽度、方向以及距离的判定。

本发明提供的航空发动机管路图像分割方法与系统，主要包含三大阶段。在特征提取阶段，利用三种多尺度各向异性特征提取管路；在特征融合阶段，采用全连接条件随机场对三种特征进行融合，获得二值分割结果；在实例分割阶段，提出管路截面点对算法进行管路跟踪获取候选区域，计算截面相似度连接属于同一管路的区域，获得最终实例分割结果。

本发明与现有技术相比的优点在于：本发明提供的航空发动机管路图像分割方法与系统可以满足对于管路分割无断裂、高精度的要求，与现有的管路及遥感道路、血管等图像分割技术相比，充分考虑了航空发动机管路的几何信息和局部信息，增强了管路的连接性。发明中所采用的特征提取技术，能够利用管路细长性的几何特征，增强管路与背景的对比度；利用全连接条件随机场进行特征融合，可以获得更加精细化的分割结果；实例分割阶段利用管路的局部信息，对断裂的二值分割结果进行连接，提高了分割精度。

附图说明

本申请的附图用于提供对本方法和系统的进一步理解，使得本申请的特点和优势更加明显。本申请的示例附图仅用于解释本申请，并不对本申请构成限定。在附图中：

图1为本发明航空发动机管路图像分割方法与系统的总体实现流程图；

图2为特征提取模块流程图；

图3为特征融合模块流程图；

图4为实例分割模块流程图；

图5为管路跟踪算法示意图；其中，图5(a)为初始管路跟踪图，图5(b)为跟踪至骨架线结束的中间跟踪效果图，图5(c)为完整的管路跟踪结果图；

图6为管路候选区域连接示意图；其中，图6(a)为待连接的管路候选区域，图6(b)为部分连接的管路候选区域，图6(c)为最终完整的管路连接结果；

图7为管路图像分割实验效果图。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明航空发动机管路图像分割方法与系统的总体实现流程图，具体包括以下步骤：

步骤1：采集航空发动机管路图像，建立管路图像数据集。

本实例在大型航空发动机上采集约40处部位，共获得186张图像。将其中的112张图像作为训练集，剩下的74张图像作为测试集。图像的大小为512×612个像素。其中图像中的管路宽度变化范围为7个像素到50个像素，包含多种尺度的管路。

步骤2：根据管路图像获取多尺度各向异性特征提取结果。

利用路径形态学对原始图像i进行预处理，保留图像中的线状目标，抑制非线性物体。本实例中选用的路径形态算子的长度为100个像素。如图2所示，在经过图像预处理之后，根据管路细长型的结构特点，共提取三种特征：多尺度线性结构特征f1、最佳方向性梯度通量特征f2和管路增强特征f3。

利用一定大小的线性算子计算在各个方向上的灰度积累量来提取线状结构特征，当待测点处于管路内部时不同方向上的灰度积累量有较为明显差异，当待测点位于背景时其灰度积累量差异不大。将最大灰度积累量和窗口内灰度平均值之差作为特征响应值，不同窗口大小的算子对应不同宽度的管路构成多尺度线状结构特征f1。本实例中选用的算子大小为5、13、21、29、3、53个像素，共7种长度。

通过计算在一定半径圆周上的梯度积分来提取最佳方向性梯度通量特征，当圆与管路边缘重合时，圆周上某一方向的梯度分量的通量具有极值。利用高斯卷积求解梯度分量并构造特征矩阵，值为负数的特征值的绝对值即可代表当前点的最佳方向性梯度通量特征响应值，通过改变半径值来对应不同宽度的管路来构成多尺度特征f2。本实例中选用的半径值大小为3、6、9、12、15个像素，共5种长度。

基于hessian矩阵获取管路增强特征，利用不同尺度下与管状目标的实际宽度匹配最大时输出的响应最大来求取该特征。通过分析该点构成的hessian矩阵的特征值是否满足一定条件，进而判别是否属于管路。改变高斯核的尺度来适应不同宽度的管路，得到管路增强特征f3。本实例中选用的高斯核的尺度大小为1、3、5、7、9、12、15个像素，共7种。

步骤3：将多个特征融入条件随机场进行特征融合，在对特征权重训练后得到管路二值分割结果。

如图3所示，利用全连接条件随机场对三种管路多尺度各向异性特征进行融合。将条件随机场用于图像分割时，可视为能量函数e的最小化问题，可用公式(1)表达。

其中，能量函数的一元项θu由多尺度各向异性特征fi求得，二元项θp通过计算图像中不同像素之间灰度和距离信息来求得其相关关系；

一元项和二元项之间的权重向量由结构化svm训练得到。最后可以得到管路二值分割结果y。

步骤4：根据所述二值分割结果的骨架线进行管路跟踪，基于截面相似度连接管路候选区域，得到实例分割结果。

如图4所示，利用二值图像的连通域骨架细化算法并通过剪枝操作来求得主骨架线。同时，根据管路局部边缘可以近似视为一条线段这一特点，得到管路的边缘线性响应。其主要做法是通过一组不同方向的线性算子与经过拉普拉斯变换的二值图进行开运算得到，求出每一点处在不同方向上开运算的最大值即为线性响应值；

如图5所示，根据所述骨架线结果进行管路跟踪，本申请提出一种管路截面点对提取算法，利用管路的局部信息来正确获取管路候选区域，进一步筛选二值图像中的管路和背景。该截面点对提取算法主要包含三个步骤，首先要选取初始跟踪点x1并将主骨架线作为拟合中心线，其法线与管路边缘相交的两点构成第一组截面点对(t1,x1,p1)；接着沿着中心线进行跟踪，得到一系列的截面点对{(t1,x1,p1),...,(ti,xi,pi)}，在中心线的末端无可以跟踪的中心线时，沿着末端方向移动适量位置，在该点处求出与管路边缘截线最短的两个点ti+1和pi+1，并将两点及其中点作为新的截面点对(ti+1,xi+1,pi+1)；最后，当求出的截面点对的宽度与之前的平均宽度相差一定阈值时结束管路跟踪，得到一个管路候选区域si＝{(t1,x1,p1),...,(tm,xm,pm)}；

获取管路候选区域后，通过计算管路截面相似度判断管路候选区域是否属于同一根管路。管路截面相似度的计算主要包含截面宽度、方向以及距离的判定。如图6所示，对于一个管路候选区域s1，在一定范围内存在两个候选区域s2和s3。为了判断其相似度关系，分别计算s1两侧端面与剩下两个候选区域的截面相似度。经过计算得到s1右侧截面与s2左侧截面的相似度最高，因此将其进行连接，获得新的管路候选区域s'1和s'2。同理，将s'1的右侧与s'2的左侧连接，获得最终的一条管路s″1。如图7所示，图7为最终的管路分割结果，不同的管路被标注为不同的灰度。

最终，在74张图像上进行测试，本发明所提出的航空发动机管路图像分割方法与系统的实际分割精度为：f1为0.732，管路分割准确率为84.2％，管路分割召回率为89.5％。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。