一种基于无人机图像识别架空输电线路铁塔结构的方法与流程
本发明涉及无人机图像识别技术领域，具体涉及一种基于无人机图像识别架空输电线路铁塔结构的方法。
背景技术
近年来多旋翼无人机技术迅速发展，在农用植保、环境监测、安防，电力巡检等领域有广泛应用，特别是无人机巡检能大大提高对高压输电线路维护的效率。但无人机在进行业务飞行时，对地面操作人员提出了较高的要求，如无人机巡检带电的输电线路铁塔时，不仅要操作无人机进行安全飞行，而且还要操作无人机上安装的相机设备对铁塔进行有效拍摄，是一件操作难度较大的工作。
多旋翼无人机在低空飞行时，可能拍摄到地面的各种人造设施，如输电线路铁塔、铁路、桥梁、公路、建筑物等。其中铁路、桥梁、公路具有显著的长平行线状特征，能有效与铁塔、建筑物区分。而铁塔与建筑物局部结构具有近似的线特征，造成不能正确识别铁塔或建筑物所在的位置区域；另一方面无人机拍摄的图像受复杂的背景纹理及光线影响较大，常提取不到完整的边缘轮廓，造成对铁塔结构不能正确的识别。
铁塔是一种镂空的3d线结构，任意角度拍摄的铁塔，线结构之间还存在较严重的遮挡，进一步造成识别铁塔结构的困难。tdutta,hsharm,avellaiappan.imageanalysis-basedautomaticdetectionoftransmissiontowersusingaerialimagery.7thiberianconferenceonpatternrecognitionandimageanalysis
(ibpria),jun17-19,2015.提出采用分割及铁塔灰度分布的分块方法检测杆塔区域，该方法可能会受到各种纹理背景干扰，其可靠性较差。oliviersteiger,
erwanlucas,yannickmaret.automaticdetectionoftransmissiontowers.ieeesensors,2014.提出了一种训练和检测结合的铁塔识别方法，但这种方法一方面需要大量的样本，另一方面没有考虑到铁塔内部结构可能呈现不同的形态。andréfischer,thomash.kolbe,felicitaslang,etc.extractingbuildingsfromaerialimagesusinghierarchicalaggregationin2dand3d.computervisionandimageunderstanding.1998(11),72(2).提出建筑物屋顶形状的部件模型，提出特征层、特征聚类层、建筑部件层、建筑模型层四级聚类方法来检测建筑物的3d结构。xiaobailiu,yibiaozhao,song-chunzhu.single-view3dsceneparsingbyattributedgrammar.ieeeconferenceoncomputervisionandpatternrecognition.2014.提出三层的树结构语法描述属性图来识别具有矩形形状的人造场景，基于特征描述了四个推理规则(排列、嵌套、立方体多面的排列、网状或片结构中排列的关系)来理解人造场景的内容。这些方法在底层特征提取较完备的条件下，通过其推理规则能获得较好的结果。在人造场景的识别方法中，gestalt感知理论与局部特征检测起到重要作用。gestalt感知理论用于分析人造对象稳定的、规则的简化结构特征，changcheng,andreaskoschan,chung-haochen,etc.outdoorsceneimagesegmentationbasedonbackgroundrecognitionandperceptualorganization.ieeetransactionsonimageprocessing,2012(3),21(3).为识别自然场景中的人造对象，分析分割的区域之间的排列关系(相似性、对称关系、排列关系、强与弱的依附关系及近似性)来检测人造设施。陈韶斌，蔡超，丁明跃，周成平.基于知识推理的机场目标识别[j].红外与激光工程，2011(3),40(3)，感知线段排列特征识别建筑物区域和机场表示为“日”字形的直线结构来识别简单的人造对象的结构。vittorioferrari,loicfevrier,fre′de′ricjurie,cordeliaschmid.groupsofadjacentcontoursegmentsforobjectdetection,ieeetransactionsonpatternanalysisandmachineintelligence,2008(1),30(1).研究了k个相连的近似直线段轮廓(kas)所构成的局部形状特征用于对象类的检测。当k等于2或3，生成了35个常用的局部特征，但在人造对象识别中不仅仅存在这些局部特征。对于3d人造对象的识别，v.verma,r.kumar,s.hsu.3dbuildingdetectionandmodelingfromaeriallidardata,ieeecomputersocietyconferenceoncomputervisionandpatternrecognition,2006.由屋顶拓扑图建立3d对象模型及屋顶结构模型，进而构造封闭的屋顶结构图来识别建筑物或3d对象，r.wessel,r.klein.learningthecompositionalstructureofman-madeobjectsfor3dshaperetrieval[c].3rdeurographicsworkshopon3dobjectretrieval,2010(5).从特征选择与相似性测量，通过使用特征袋的方法,建立特征之间的相似性匹配来识别人造对象。这些方法均要求完备的轮廓特征，没有充分考虑到复杂的背景纹理干扰及像铁塔结构的严重遮挡情况。
在每次无人机巡检时，会存在一些冗余的图像，如无人机在机动时拍摄的运动模糊图像，相机角度偏离所拍摄的没有输电线路或远距离的输电线路图像，这些图像对缺陷检测是无效的图像。本发明的目的是通过对自然场景中铁塔结构的精确识别，使得无人机能自动实现对铁塔目标的拍摄。
技术实现要素：
为解决现有技术中的不足，本发明提供一种基于无人机图像识别架空输电线路铁塔结构的方法，解决了目前不能有效地检测架空输电线路铁塔结构的问题。
为了实现上述目标，本发明采用如下技术方案：一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征在于，包括步骤：
1)从无人机巡检图像上提取不同方向线段并描述其属性；
2)检测并分类相邻多线段之间的连接特征；
3)将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征；
4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。
前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤1)从无人机巡检图像上提取不同方向线段并描述其属性，具体步骤包括：
一、对无人机巡检图像进行灰度化处理，生成二值图像；
二、在生成的二值图像上，将线段构建为矢量线段，将不同方向的线段表示为：l＝{l1,l2,....,ln}，n为线段总数，任意一条线段li其属性描述为：(ci，si，ei，θi，li，oi)，i为线段序号，i＝1～n，
前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述对无人机巡检图像进行灰度化处理，生成二值图像，具体为：
采用8个不同方向的prewitt算子处理巡检图像，提取巡检图像边缘信息，通过最大类间二差法生成二值图像，并用blob连通结构管理所有不同方向的线段。
前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤2)检测并分类相邻多线段之间的连接特征，具体步骤包括：
在线段集合中，读取一条线段li，遍历其余任意一条线段lj，j＝1～n，首先，计算线段li起始点与线段lj是否存在共线，判断方法为：
若d(si,sj)||d(si,ej)≤t，其中：d(si,sj)为线段li起始点与线段lj起始点的距离；d(si,ej)为线段li起始点与线段lj结束点的距离，t为距离阈值，其取值范围为0≤t≤64，||表示或的关系；且若两条线段li、lj的长度满足：
收集线段li所有起始点的共端点线段，表示为：cs(i)；收集线段li所有结束点的共端点线段，表示为：ce(i)，按如下规则，对共端点线段进行分类：
一、l型两相邻线段检测：线段li的共端点集合cs(i)、ce(i)满足如下条件，则检测出线段li与相邻线段之间为l型，共端点线段：
1)若cs(i)＝0&&ce(i)≠0或cs(i)≠0&&ce(i)＝0，线段li仅一个端点有共连接线段；
2)所有与线段li共端点的线段是起始点连接或结束点连接；
3)线段li与所有共端点线段之间的角度差lθ的范围为：75°≤lθ≤105°；若线段li与所有共端点线段之间的角度差lθ的范围为：25°≤θdiff≤75°，则判断两相邻线段之间为∠形，将三角形结构视为两个存在公共边的∠形结构组合，两个∠形结构非公共边的端点满足相交条件，将满足条件的线段聚类为三角形结构；
二、u型三相邻线段检测：
线段li的共端点集合cs(i)、ce(i)满足如下条件，则检测出线段li与相邻线段之间为u型共端点线段：
1)如果cs(i)≠0&&ce(i)≠0，线段li起始端点与结束端点均有共连接线段；
2)所有与线段li共端点的线段是起始点连接或结束点连接；
3)线段li与所有共端点线段之间的度差θdiff的范围为：75°≤θdiff≤105°；
三、y型的线段的检测，若与线段li共端点线段数目多于两条，按顺时针方向，两两相邻线段的夹角至少有两个大于等于90°，则判决为y型结点模型；
四、共端点k型的线段检测，若与线段li共端点线段数目多余两条，按顺时针方向，两两相邻线段的夹角至少有两个小于90。，则判决为k型结点模型；
五、交叉x型线段检测，假设任意两条线段li、lj，其方位分别为：
若满足：
六、星型结构检测，所有构成该结构的线段中心点相交于点p，以p点为端点重新分割组成该结构的线段，任意线段总是存在另一条以点p为端点的共线线段，
若线段li,lj,lk...满足：
式中，条件(1)表明所有线段中点相交，||ci,cj||表示线段li，lj中心点之间的欧式距离，ci,cj,ck分别表示线段li，lj，lk的中心点坐标，tc表示距离阈值；条件(2)表明所有线段最小长度与最大长度比大于阈值比例0.5，li，lj，lk分别表示线段li，lj，lk的长度，将满足条件的所有的线段li，lj，lk......聚类为ss(s,llines,pcenter,pends)，其中，s为表示该线段集合为星型类型标识符，，llines为满足星型类型的线段编号，pcenter为所有线段中点的聚合中心，pends为所有线段的起止点。
前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤3)将不同连接特征的线段聚类为铁塔中包含的三角形与四边形局部轮廓特征，具体步骤包括：
一、铁塔中三角形局部轮廓特征聚类，在识别到三角形tr1,tr2...的基础上，进一步识别出三角形之间关系，步骤包括：
1)：以当前三角形tr1为基准，搜寻与当前三角形存在共线边和公共顶点的三角形结构tr2并按下列情况分类：
a)三角形tr1、tr2存在公共边，二者构成平行四边形或梯形；
b)三角形tr1、tr2存在共线边，但共线边不相等，面积不重合；
c)三角形tr1、tr2存在公共边且面积重合；
2)：重复步骤1)，直至所有三角形结构验证完毕；
3)：将符合步骤1)中三种情况的三角形线段聚合在一起。
二、铁塔中四边形局部轮廓特征聚类，如果两个u型两条边线段相同或者两个三角形共线段，组合为一个四边形，在识别出四边形q1,q2...的基础上，进一步识别出四边形之间的关系，具体步骤包括：
1)以当前四边形q1为基准，搜寻与当前四边形满足：
a)四边形q1、q2一组对边共线，另一组对边平行，面积无重合；
b)四边形q1、q2无公共的边或顶点，四条边分别对应平行，面积满足
c)四边形q1、q2无公共的边或顶点，四条边分别对应平行，面积满足
d)四边形q1、q2存在公共顶点，两条共顶点的边对应共线，另外两条边对应平行；
2)分类输出满足上述四类四边形组合，遍历所有四边形结构；
3)将满足a)～d)类空间关系的四边形线段进行聚类合并。
前述的一种基于无人机图像识别架空输电线路铁塔结构的方法，其特征是：所述步骤4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构，具体步骤包括：
一、铁塔塔身、塔脚的识别具体步骤包括：
在步骤3)识别出的四边形结构集合：q1,q2...、三角形结构集合：tr1,tr2...的基础上，识别出铁塔塔身面结构f1,f2...，具体步骤包括：
1)在巡检图像上搜索长的垂直线段，判断搜索到长的垂直线段是否符合梯形关系，最左边长线段角度符合正的70°～90°，最右边长线段角度符合-90°～-70°的，其角度是图像像素坐标拟合出线段斜率的角度，将符合梯形关系的长线段作为铁塔塔身最外支架线段a、d；
2)依据塔身3d镂空结构，塔身面存在重叠遮挡，在塔身支架上包含若干个k形节点sk1，在塔身面上包含若干个典形的内部星形节点ss2；从图像最左边支架a向右搜索，将满足面积无重合、一组上下对边共线的四边形，当满足条件的四边形数量大于2时，进一步搜索这些包含在四边形的线段属于内部星形节点ss2线段，同时属于k形节点sk1，从图像坐标下到上基于k形节点拟合出直线段；如拟合出两条直线段，设定为塔身内部支架线段，基于将这些四边形的外接多边形作为铁塔的面，铁塔面f1支架线段为a、b，铁塔面f2支架线段为a、c，a为重叠的最左边共线支架线段；
3)基于上述步骤1)、2)，从图像最右边支架线段d向左搜索，将共顶点连接的四边形组，进一步搜索这些包含在四边形的线段属于内部星形节点ss2线段，同时属于k形节点sk2，从图像坐标下到上基于k形节点拟合出直线段；如拟合出两条直线段，设定为塔身内部支架线段，如拟合出的内部支架线段与步骤2)拟合出的内部支架线段重合，则识别出3d的塔身结构，铁塔面f3支架线段为c、d，铁塔面f4支架线段为b、d，d为重叠的最右边共线支架线段；
4)分析塔支架直线上的三角形结构，则铁塔边界a、d端点处三角形共边且重合，塔身内部支架b、c端点三角形共边不重合，这些三角形区域代表了铁塔塔脚的底座点。
二、铁塔塔头的识别具体步骤包括：
在识别的四边形结构集合:q1,q2...，三角形结构集合:tr1,tr2...，塔身面结构集合f1,f2...的基础上，识别出塔头横担结构cr1,cr2...，步骤包括：
1)以存在公共边，二者构成平行四边形或梯形的三角形作为识别塔头横担的基础，若满足相邻三角形构成梯形集合中含三个以上的三角形，则将该组三角形集合的外接多边形区域作为铁塔塔头横担cr1；
2)以无公共的边或顶点，各边平行且面积不相等的四边形作为识别塔头横担的基础，若满足条件的四边形数量大于3，将满足条件的四边形外接区域作为塔头横担区域cr1；
3)搜索线段与杆塔面f1,f2...边界共线的三角形，若三角形不在塔身面内，将其作为塔头横担区域cr2。
本发明所达到的有益效果：本发明能够有效识别架空输电线路铁塔结构，为了能区分建筑物与铁塔所在的不同区域，从铁塔与建筑物结构的线特征着手，将不同方向线段之间的共连区域作为人造对象(铁塔或建筑物)的连接特征点，对这些连接特征点进行分类，进而建立连接特征点之间线段的连接规则，从语义上识别人造对象的局部形状特征，进一步推理出局部形状特征之间的连接规则，进而识别出复杂人造对象铁塔的结构。该方法适合在检测不出完整的铁塔的轮廓及其结构之间存在遮挡的情况下识别铁塔的结构。
附图说明
图1为本发明无人机图像上建筑物屋顶模型示意图；
图2为本发明涉及到铁塔3d模型与航拍图像示意图；
图3为本发明涉及到主要的铁塔结点模型示意图；
图4为本发明输电线路铁塔识别方法流程图；
图5为本发明描述的线段方位分组方法；
图6为本发明描述的线段共端点模型示意图；
图7为本发明分类的u型线段形状模型示意图；
图8为本发明分类的y型结点模型示意图；
图9为本发明分类的共端点模型示意图；
图10为星形局部结构示意图；
图11为三角形之间空间关系示意图；
图12为四边形之间空间关系示意图；
图13为杆塔面的识别示意图；
图14为塔头与横担空间结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，从空中通过无人机拍摄建筑物呈现的面结构中连接结点不同特征，建筑物屋顶主要呈现任意方向的“y”形状模型；
如图2所示，为无人机航拍铁塔及描述的铁塔3d模型。整个铁塔主要由塔头、塔身和塔腿三大部分组成，塔头从塔腿往上塔架截面急剧变化(出现折线)以上部分为塔头，如果没有截面急剧变化，那么下横担的下弦以上部分为塔头。塔腿：基础(在电力术语中：基础就是将铁塔支架埋入地下，通过浇灌水泥，在地面上突出的水泥墩)上面的第一段塔架称为塔腿；塔身：塔腿和塔头之间的部分称为塔身。图2(a)描述铁塔的3d结构模型，其中a、b、c、d称为塔身的支架，并且a、d称为边界支架，b、c称为存在遮挡的内部支架。e、f均称为塔头的横担，e为上横担，f为下横担。铁塔的镂空特性将造成图像上的遮挡钢条之间会产生很多的伪连接点从而给识别造成一定的难度，即便人工观察也难以分辨每一根钢条隶属的具体塔面。实际电网中使用的电力铁塔种类很多，按照形状可以分为：猫头塔、酒杯塔、干字型塔、t型塔、官帽塔等，分类的主要区别在于塔头，而塔身往往具有相似的钢条交互衔接支撑结构。塔身的斜钢材呈现出交叉的“x”形状模型，同时塔身的斜钢材连接到铁塔主支撑框架上呈现出k型特征，塔腿呈现出w型特征。
将铁塔的整体识别分为塔身的识别和塔头的识别，铁塔的塔身由四个支架支撑，构成了塔身的四个塔面，塔头由横的塔架支撑，塔身的支架与塔头的支架之间存在联通关系。
如图3所示，描述塔身的斜钢材汇聚到支架上具有的结点特征，图3(a)描述在塔头区域中，交叉的斜线段汇聚到横框架上；图3(b)、(e)描述在塔身区域中，斜线段汇聚到支撑到主框架上；图3(c)、(d)描述铁塔内部线段的交叉特征。
如图4所示，一种基于无人机图像识别架空输电线路铁塔结构的方法，包括步骤：
1)从无人机巡检图像上提取不同方向线段并描述其属性；
2)检测并分类相邻多线段之间的连接特征；
3)将这些不同连接特征的线段聚类为铁塔中包含的三角形与四边形轮廓特征；
4)由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构。
步骤1，从无人机巡检图像上提取不同方向线段并描述其属性，具体为：
一、对无人机巡检图像进行灰度化处理，采用8个不同方向的prewitt算子处理巡检图像，提取巡检图像边缘信息，通过最大类间二差法生成二值图像，并用blob连通结构管理所有不同方向的线段，具体采用8个不同方向的prewitt算子如下：
二、在生成的二值图像上，将线段构建为矢量线段，将不同方向的线段表示为：l＝{l1,l2,....,ln}，n为线段总数，任意一条线段li其属性描述为：(ci,si,ei,θi,li,oi)，i为线段序号，i＝1～n，其中：
如图5所示，依据线段的角度，将线段分类为4组：-10°～10°视为水平线段，表示为h；小于-75°且大于-90°或大于75°且小于90°视为垂直线段，表示为v；10°～75°视为斜上线段，表示为o+；-75°～-10°视为斜下线段，表示为o-。对于水平、斜上、斜下线段将左端点作为起始点，将右端点作为结束点；对于垂直线段，将顶点作为起始点，将底点作为结束点。
步骤2，检测并分类相邻多线段之间的连接特征，具体步骤包括：
如图6所示，在线段集合中，读取一条线段li，遍历其余任意一条线段lj，j＝1～n，首先，计算线段li起始点与线段lj是否存在共线，判断方法为：
若d(si,sj)||d(si,ej)≤t，其中：d(si,sj)为线段li起始点与线段lj起始点的距离；d(si,ej)为线段li起始点与线段lj结束点的距离；t为距离阈值，其取值范围为0≤t≤64，||表示或的关系；且若两条线段li、lj的长度满足：
收集线段li所有起始点的共端点线段，表示为：cs(i)；收集线段li所有结束点的共端点线段，表示为：ce(i)。在共端点线段集合中，定义每条线段属性为(lc,lt,lθ)，lc线段编号，lt表示起始点或结束点共端点，lθ为共端点线段的角度，按如下规则，对共端点线段进行分类：
一、l型两相邻线段检测：线段li的共端点集合cs(i)、ce(i)满足如下条件，则检测出线段li与相邻线段之间为l型(标记sl)共端点线段：
1)若cs(i)＝0&&ce(i)≠0或cs(i)≠0&&ce(i)＝0，线段li仅一个端点有共连接线段；
2)所有与线段li共端点的线段是起始点连接或结束点连接；
3)线段li与所有共端点线段之间的角度差lθ的范围为：75°≤lθ≤105°；若线段li与所有共端点线段之间的角度差lθ的范围为：25°≤θdiff≤75°，则判断两相邻线段之间为∠形。将三角形结构视为两个存在公共边的∠形结构组合，两个∠形结构非公共边的端点满足相交条件，将满足条件的线段聚类为三角形结构。
二、u型三相邻线段检测：
如图7所示，线段li的共端点集合cs(i)、ce(i)满足如下条件，则检测出线段li与相邻线段之间为u型(标记su)共端点线段：
1)如果cs(i)≠0&&ce(i)≠0，线段li起始端点与结束端点均有共连接线段；
2)所有与线段li共端点的线段是起始点连接或结束点连接；
3)线段li与所有共端点线段之间的度差θdiff的范围为：75°≤θdiff≤105°；
三、y型的线段的检测，若与线段li共端点线段数目多于两条，按顺时针方向，两两相邻线段的夹角至少有两个大于等于90°，则判决为如图8所示的y型结点模型(标记sy)。
四、共端点k型的线段检测，若与线段li共端点线段数目多余两条；按顺时针方向，两两相邻线段的夹角至少有两个小于90。，则判决为如图9(a)(b)(c)(d)所示的k型(标记sk)结点模型。特别关注图9(c)(d)结点模型中，所有线段的方向共起始点或结束点，在铁塔的塔身上大量存在这些共端点连接结点。
五、交叉x型线段检测，假设任意两条线段li、lj，其方位分别为：
若满足：
六、星型结构检测，图10展示了杆塔的星形局部结构，该结构具有对称性，即指所有构成该结构的线段中心点相交于p，以p点为端点重新分割组成该结构的线段，任意线段总是存在另一条以点p为端点的共线线段。如图10(a)中线段sjp与线段pej。
如图10(a)所示，若线段li,lj,lk...满足：
式中，条件(1)表明所有线段中点相交，||ci,cj||表示线段li，lj中心点之间的欧式距离，ci,cj,ck分别表示线段li，lj，lk的中心点坐标，tc表示距离阈值，取值为16或者32；条件(2)表明所有线段长度满足一定的阈值比例，li,lj,lk分别表示线段li，lj，lk的长度；此时将所有的线段li，lj，lk......聚类为ss(s,llines,pcenter,pends)，其中，s为表示该线段集合为星型类型标识符，llines为满足星型类型的线段编号，pcenter为所有线段中点的聚合中心，pends为所有线段的起止点，即所有线段的外接矩形的四点坐标。实际上由于拍摄角度的变化，对称星形结构可能会发生形变。
步骤3，将不同连接特征的线段聚类为铁塔中包含的三角形与四边形轮廓特征，具体步骤包括：
一、三角形之间关系轮廓特征聚类，如图11所示，将两个三角形之间的关系分为三大类关系：图11(a)所示两个三角形构成一个平行四边形；图11(b)所示，两个三角形存在共线且重合的边，相互之间无重叠；图11(c)所示，两个三角形存在共线且重合的边，且相互之间存在重合。在识别到三角形tr1,tr2...的基础上，进一步识别出三角形之间关系，步骤包括：
1)：以当前三角形tr1为基准，搜寻与当前三角形存在共线边和公共顶点的三角形结构tr2并按下列情况分类。
a)三角形tr1、tr2存在公共边，二者构成平行四边形或梯形如图11(a)所示；
b)三角形tr1、tr2存在共线边，但共线边不相等，面积不重合如图11(b)所示；
c)三角形tr1、tr2存在公共边且面积重合，如图11(c)所示。
2)：重复步骤1)，直至所有三角形结构验证完毕；
3)：将符合步骤1)中三种情况的三角形线段聚合在一起。
二、四边形之间的关系轮廓特征聚类：
如图12展示了四边形之间的空间关系，其中图12(a)两个四边形具有一组对边共线，且另一组对边也具有平行关系；图12(b)展示了两个四边形各边对应平行，同时面积存在差异；图12(c)展示了两个各边对应平行且面积近似相等的四边形；图12(d)中两个四边形共顶点且共顶点的边具有共线特征。对于四边形的空间关系讨论具体流程如下：如果两个u型两条边线段相同或者两个三角形共线段，组合为一个四边形，在识别出四边形q1,q2...的基础上，进一步识别出四边形之间的关系，具体步骤包括：
1)以当前四边形q1为基准，搜寻与当前四边形满足：
a)如图12(a)所示，四边形q1、q2一组对边共线(gf与bc，eh与ad)，另一组对边平行(gh与cd，ef与ab)，面积无重合；
b)如图12(b)所示，四边形q1、q2无公共的边或顶点，四条边分别对应平行，面积满足
c)如图12(c)所示，四边形q1、q2无公共的边或顶点，四条边分别对应平行，面积满足
d)如图12(d)所示，四边形q1、q2存在公共顶点，两条共顶点的边对应共线(ad与ef，cd与eh)，另外两条边对应平行(hg与bc，gf与ab)。
2)分类输出满足上述四类四边形组合，遍历所有四边形结构；
3)将满足a)类、b)类、c)类、d)类空间关系的四边形线段进行聚类合并。
步骤4，由局部轮廓特征再聚类组合为符合输电线路铁塔的塔头、塔身、塔腿的结构，具体步骤为：
一、铁塔塔身、塔脚的识别具体步骤包括：
图13为铁塔塔身面分解识别示意图。由步骤3识别出的四边形结构集合：q1,q2...，三角形结构集合:tr1,tr2...的基础上，识别出铁塔塔身面结构f1,f2...的步骤包括：
1)在巡检图像上搜索长的垂直线段，判断搜索到长的垂直线段是否符合梯形关系，最左边长线段角度符合正的70°～90°，最右边长线段角度符合负的负(-90°～-70°)的，其角度是图像像素坐标拟合出线段斜率的角度。如图13示意，将符合梯形关系的长线段作为铁塔塔身最外支架线段a、d；
2)依据塔身3d镂空结构，塔身面存在重叠遮挡，在塔身支架上包含若干个k形节点sk1，在塔身面上包含若干个典形的内部星形节点ss2。如图13(a)、(b)所示，从图像最左边支架a向右搜索，将满足面积无重合、一组上下对边共线的四边形，即步骤3二中输出的a)类结果，当满足条件的四边形数量大于2时，如图13(a)所示，具体如图13(b)所示四边形q1,q2,q3,q4，进一步搜索这些包含在四边形的线段属于内部星形节点ss2线段，同时属于k形节点sk1，从图像坐标下到上基于k形节点拟合出直线段。如拟合出两条直线段，设定为塔身内部支架线段，基于将这些四边形的外接多边形作为铁塔的面，图13(a)称为铁塔面f1，图13(b)称为铁塔面f2，铁塔面f1支架线段为a、b，铁塔面f2支架线段为a、c，a为重叠的最左边共线支架线段。
3)基于上述步骤1)、2)，从图像最右边支架线段d向左搜索，将共顶点连接的四边形如图13(c)所示q1,q2,q3，即步骤3二中满足d)类的四边形组，进一步搜索这些包含在四边形的线段属于内部星形节点ss2线段，同时属于k形节点sk2，从图像坐标下到上基于k形节点拟合出直线段。如拟合出两条直线段，设定为塔身内部支架线段，如拟合出的内部支架线段与步骤2)拟合出的内部支架线段重合，则识别出3d的塔身结构。将图13(c)称为铁塔面f3，图13(d)称为铁塔面f4，铁塔面f3支架线段为c、d，铁塔面f4支架线段为b、d，d为重叠的最右边共线支架线段。
4)分析塔支架直线上的三角形结构，则铁塔边界a、d端点处三角形tr1，tr2共边且重合呈现s1的形状，即满足步骤3一中c)类关系；塔身内部支架b、c端点三角形tr3、tr4共边不重合，即满足步骤3一中b)类关系，这些三角形区域代表了铁塔塔脚的底座点。
二、铁塔塔头的识别具体步骤包括：
对于塔头横担结构的识别如图14中(a)、(b)所示的两类局部结构约束关系，为了准确识别横担结构按如下规则操作：在步骤3识别的四边形结构集合:q1,q2...，三角形结构集合:tr1,tr2...，塔身面结构集合f1,f2...的基础上，识别出塔头横担结构cr1,cr2...，步骤包括：
1)步骤3一中满足a)类条件的三角形作为识别的基础，若满足相邻三角形构成梯形集合中含三个以上的三角形如图14(a)中tr1,tr2,tr3,tr4所示，则将该组三角形集合的外接多边形区域作为铁塔塔头横担cr1…；
2)将步骤3二中满足b)类关系的各边平行且面积不相等(通常相邻之间面积比值小于0.8)的四边形，如图14(b)中q1,q2,q3,q4所示，作为识别塔头与横担的输入，若满足条件的四边形数量大于3，将满足条件的四边形外接区域作为塔头横担区域cr1；
3)搜索线段与杆塔面f1,f2...边界共线的三角形，若三角形不在塔身面内，将其作为塔头横担区域cr2。通过验证cr1区域与cr2区域的重叠可靠检测出横担区域，作为增加可靠性识别的判断。
本发明能够有效识别架空输电线路铁塔结构，为了能区分建筑物与铁塔所在的不同区域，从铁塔与建筑物结构的线特征着手，将不同方向线段之间的共连区域作为人造对象(铁塔或建筑物)的连接特征点，对这些连接特征点进行分类，进而建立连接特征点之间线段的连接规则，从语义上识别人造对象的局部形状特征，进一步推理出局部形状特征之间的连接规则，进而识别出复杂人造对象铁塔的结构。该方法适合在检测不出完整的铁塔的轮廓及其结构之间存在遮挡的情况下识别铁塔的结构。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！