一种基于先验信息的杆塔异常自动化检测方法与流程

本发明涉及一种杆塔异常自动化检测技术。

背景技术：

目前，在电力电信等行业，需要以杆塔承载架空线路、承载天线等设备；截止2013年我国仅220kv以上的输电线路长度合计54万多千米，涉及塔架的地方非常多；人工巡检难度大，效率低，准确率也并不好；因此以无人机、有人机为载体搭载摄像机，并使用相应的软件进行自动分析的，基于图像处理技术的杆塔巡线方案，将成为发展的趋势；目前这类软件对于杆塔故障的情况检测效果差。

技术实现要素：

本发明的目的是为了解决现有的基于图像处理技术的杆塔巡线检测软件对于杆塔故障的情况检测效果差的问题，提出了一种基于先验信息的杆塔异常自动化检测方法。

一种基于先验信息的杆塔异常自动化检测方法，该自动化检测方法通过以下步骤实现的：

步骤一、对标准的杆塔三维建模，利用建模后的三维模型在二维图像上任意投影，得到标准的杆塔二维投影；

步骤二、将步骤一得到的标准的杆塔二维投影分解为若干个标准直线段，并获取每个标准直线段的位置、长度和方向；

步骤三、通过摄像机拍摄杆塔，并利用摄像机的内参数矩阵以及摄像机相对于杆塔的位姿，计算出杆塔在图像上的投影；

步骤四、将步骤三得到的杆塔在图像上的投影分解为若干个待检测直线段，并获取每个待检测直线段的位置、长度和方向；

步骤五、将步骤四中得到的待检测直线段的位置、长度和方向与步骤二中得到的标准直线段的位置、长度和方向相匹配，匹配出与待检测直线段的位置、长度和方向分别相同或相近的标准直线段，并对匹配出的标准直线段重新组合成标准的杆塔图像；

步骤六、将步骤五得到的标准的杆塔图像与步骤三中摄像机拍摄得到的图像进行对比，完成杆塔异常的自动化检测。

本发明的有益效果是仔细考虑各种杆塔类型和空间位置关系，把需要操作人员、设备参与的多个复杂因素，通过本发明所述的自动化检测方法来统一化，极大的提升了准确率和速度。

附图说明

图1为具体实施方式一中利用建模后的三维模型在二维图像上得到的五种标准的杆塔二维投影；

图2为具体实施方式三中笛卡尔坐标系的结构示意图；

图3为具体实施方式四中level-line的方向示意图；

图4为具体实施方式四中lsr区域增长示意图；

图5为具体实施方式四中角度阈值宽泛造成lsr错误示意图；

图6为具体实施方式四中最小显著性差异法在杆塔上的检测结果示意图；

图7为具体实施方式四中根据杆塔单位模型计算得到的杆塔投影示意图；

图8为具体实施方式四中匹配得分的方法结构图；

图9为具体实施方式四中杆塔异常故障检测结果示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式所述的一种基于先验信息的杆塔异常自动化检测方法，该自动化检测方法通过以下步骤实现的：

步骤一、对标准的杆塔三维建模，利用建模后的三维模型在二维图像上任意投影，得到标准的杆塔二维投影；

步骤二、将步骤一得到的标准的杆塔二维投影分解为若干个标准直线段，并获取每个标准直线段的位置、长度和方向；

步骤三、通过摄像机拍摄杆塔，并利用摄像机的内参数矩阵以及摄像机相对于杆塔的位姿，计算出杆塔在图像上的投影；

步骤四、将步骤三得到的杆塔在图像上的投影分解为若干个待检测直线段，并获取每个待检测直线段的位置、长度和方向；

步骤五、将步骤四中得到的待检测直线段的位置、长度和方向与步骤二中得到的标准直线段的位置、长度和方向相匹配，匹配出与待检测直线段的位置、长度和方向分别相同或相近的标准直线段，并对匹配出的标准直线段重新组合成标准的杆塔图像；

步骤六、将步骤五得到的标准的杆塔图像与步骤三中摄像机拍摄得到的图像进行对比，完成杆塔异常的自动化检测。

具体实施方式二：本实施方式是对具体实施方式一所述的一种基于先验信息的杆塔异常自动化检测方法进一步限定，在本实施方式中，步骤一中杆塔三维建模，的具体方法为：利用积木模型的三维重建方法构造三维模型；

所述积木模型的三维重建方法为利用杆塔的施工图纸构造出标准杆塔基本部件的三维模型，然后通过积木累加的方式来搭建出标准的杆塔三维模型；

所述标准杆塔基本部件为杆塔标准直线段。

具体实施方式三：结合图2说明本实施方式，本实施方式是对具体实施方式一所述的一种基于先验信息的杆塔异常自动化检测方法进一步限定，在本实施方式中，步骤一中利用建模后的三维模型在二维图像上任意投影，得到标准的杆塔二维投影的具体方法包括以下步骤：

步骤一一、将三维模型放在笛卡尔坐标系中；其中，笛卡尔坐标系包括水平面上的x轴、在水平面上与x轴垂直的y轴以及垂直于水平面的z轴；

步骤一二、随意选取三维模型的杆塔标准直线段上的一点，将该点分别经过以逆时针为正向相对于x轴、y轴以及z轴的旋转θ；并依次得出该点沿x轴、y轴以及z轴的旋转矩阵；

其中，rx(θ)为该点经过以逆时针为正向相对于x轴旋转θ角度后的旋转矩阵，ry(θ)为该点经过以逆时针为正向相对于y轴旋转θ角度后的旋转矩阵，rz(θ)为该点经过以逆时针为正向相对于z轴旋转θ角度后的旋转矩阵；

步骤一三、根据步骤一二中的公式(1)、公式(2)和公式(3)得出三维模型上某点按照沿着x、y、z轴顺序旋转到新位置的通用公式(4)；

其中，tx为三维模型上某点的x轴坐标，ty为三维模型上某点的y轴坐标，tz为三维模型上某点的z轴坐标，t'x某点旋转到新位置的x轴坐标，t'y某点旋转到新位置的y轴坐标，t'z某点旋转到新位置的z轴坐标；

步骤一四、根据每个在笛卡尔坐标系下的点，经过公式(1)～(4)的旋转和平移变换，得到标准的杆塔二维投影。

具体实施方式四：结合图3至图9说明本实施方式，本实施方式是对具体实施方式一所述的一种基于先验信息的杆塔异常自动化检测方法进一步限定，在本实施方式中，步骤二所述的将步骤一得到的标准的杆塔二维投影分解为若干个标准直线段，并获取每个标准直线段的位置、长度和方向的具体方法为：采用最小显著性差异法对标准直线段进行提取，并获取每个标准直线段的位置、长度和方向。

在本实施方式中，最小显著性差异法是一种局部的直线段提取方法，相比于hough变换等全局方法，最小显著性差异法有着明显的速度优势。

最小显著性差异法采用robert算子计算梯度；robert算子是一种边缘检测算子，由于梯度幅值较大的点对应的是更加明显的边缘，因此，在区域增长的过程中，选取梯度值较大的点作为搜寻直线的种子点会得到更精确的结果；点的梯度方向表示在灰度空间内由明到暗或相反的指向，与其所在边缘方向垂直；level-line方向表示该点所在边缘的方向，同时表示若该点属于某条直线段时该直线段的方向，如图3所示。

如果若干具有相同或相似属性的点构成的区域可以表示一条线段，这个区域称之为线支持区域(linesupportregion,lsr)；这里，点的属性定义为梯度的方向；因此，lsr区域增长是在梯度的方向场中进行，如图4所示。

区域增长的过程如下；在进行区域增长之前，将所有点的状态设置为“未使用”；若其梯度幅值小于阈值，则将其置为“已使用”状态；所有的点经过伪排序后，从幅值最大的区间中选取一个状态为“未使用”的点作为lsr的种子点；区域的方向θregion初始为种子点的梯度方向；种子点选取后，将状态设为“已使用”，在其梯度方向场的邻域内搜索状态为“未使用”，并且梯度方向θ满足θ∈[θregion-τ,θregion+τ]的点(τ为角度阈值)；若找到相邻的满足条件的点，则将该点加入当前lsr，并根据式(5)更新θregion(n表示区域中点的数目)；重复以上过程，直到最后没有满足条件的相邻点为止。

最小显著性差异法用一个适合描述lsr的矩形表示一条具有宽度的直线段；在该矩形内，梯度方向与直线段方向相似的点的数量，定义为这个矩形的“密度”；图像中若存在两条直线，它们位置接近且方向的差异小于角度阈值τ，则在计算有效点时就会将原本分别属于两条直线的点加入同一个lsr中，从而得到一条错误的直线，如图5所示；原本应属于两个不同lsr的区域因为较为宽泛的角度阈值，被合并为同一个lsr。

为了解决这个问题，最小显著性差异法采用了矩形的有效点密度；有效点密度d定义为

其中k为矩形中有效点个数，l和w分别为矩形的长和宽；设定密度的阈值d＝0.7，若矩形框小于该阈值，则采取以下两种方案：1)缩小角度容许阈值，2)缩小lsr的范围。

最小显著性差异法的运行时间比较快，在计算机上处理一幅1百万像素的图像仅需要不到1秒钟；从图6中可以看出，检测出的直线段主要为塔杆连接的电线及塔杆上的杆件。然而，由于最小显著性差异法是一种局部方法，易受到噪声的干扰，杆件交叉也会导致直线段断开；因此，在后处理步骤中，需要合并方向相同、间隔较短的直线段，以方便后续的塔杆状态检测。

根据塔杆的三维模型、摄像机的内参数矩阵以及摄像机相对于塔杆的位姿，可以方便的计算出塔杆在图像上的投影，如图7所示；若摄像机内参数矩阵估计准确，位姿测量精度较高，那么投影后的杆塔与图像中的杆塔将会较好的匹配，否则会有一定误差；对于塔杆模型投影后的每条直线段，在lsd的检测结果中搜索与其方向和位置相近的直线段。将这些直线段组合在一起，就得到了图像中的塔杆。

由于自然条件以及人为破坏等因素，塔杆可能存在杆件丢失、整体歪斜等现象。另一方面，塔杆上经常会出现鸟窝，给整个高压输电线路带来巨大的安全隐患。本项目中提出采用模式识别和图像处理技术对杆件丢失和存在鸟窝等异常现象进行识别，实现自动化的塔杆状态检测。

由于之前已经有了直线段检测结果和标准塔杆的投影，仅需要对二者进行匹配，并根据差异判断是否存在异常状态。该匹配算法主要包括搜索临近直线段，滤除干扰直线段，计算匹配得分三个步骤。下面详细描述每个步骤。

搜索临近直线段是指对于模型中每一个杆件的投影，在直线段检测结果中搜索与其方向近似、位置临近的直线段。由于杆件的相互影响，直线段可能存在断裂现象，而且杆件两侧边缘都有可能检测到直线段，因此一个杆件可能对应多条直线段。

由于临近杆件的影响，杆件附近的某些直线段可能是属于其它杆件的，因此需要加以滤除。在滤除干扰直线段过程中，需要根据已有的直线段采用多数投票法拟合直线，并综合考虑满足距离、角度等条件的直线段总长度，以及杆件两侧边缘的对应关系等因素。

滤除干扰直线段后，认为剩余的直线段都是对应于当前杆件的。由于一个杆件可能对应多条直线段，将这些直线段向杆件的直线段做投影，并按照投影的起始位置排序，合并后得到每个杆件的匹配结果，如图8所示；在该图中，经投影、排序以及合并之后，得到两段匹配结果，分别为54.46％和32.16％，这样未匹配的部分即为13.18％。

在实际中，为了避免噪声干扰，对于较小的未匹配部分直接忽略。若未匹配部分较大，则在检测结果中突出显示，以提示检测人员该部分杆件出现了异常状态；图9为一些典型的处理结果，可以看出，对杆件丢失(下面的框)和存在鸟窝(上面的框)等异常现象都有不错的检测效果。