一种基于视觉的铁塔倾斜角度测量方法与流程

本发明涉及视觉检测领域，具体涉及一种基于视觉的铁塔倾斜角度测量方法。

背景技术：

为了保护电网设备，电力系统现有铁塔倾斜角度测量方法包括：

1.在铁塔上安装双轴角度传感器等类似角度传感器测量；

a.https://wenku.baidu.com/view/53f7ccfd04a1b0717fd5dd1a.html

b.公开号cn103162667b

2.使用北斗系统测量；

a.基于北斗系统的广域范围电力铁塔高精度形变监测方法(申请号：201611104114.6)

b.http://blog.sina.com.cn/s/blog_862741e10102whcp.html

3.地面使用经纬仪，三维激光扫描仪测量。

4.使用无人机测量铁塔上的认为设计的标志：

一种基于机器视觉系统的铁塔倾斜角度自动测量方法(申请号：201710625285.1)

方法1和方法2，采用铁塔上安装测量设备的方式，需要对设备进行部署、校准、通信等复杂操作，而且需要在铁塔正常使用中对设备进行多次维护，既消耗较大的人力又有比较大的风险。方法3，地面进行手动测量，仪器昂贵，操作繁琐，测量效率低。方法4，无人机方式效率较高，但需要先在铁塔上安装测量标识，无人机在飞行过程中有撞线风险综上，现有的基于机器视觉方法进行输电线杆倾斜检测的方法存在测量效率低、成本高以及操作繁琐等问题，随着人工智能技术的日益完善，计算机视觉技术作为人工智能的一个分支在近年也得到飞速的发展，智能化状态监测是现今电力系统中重要的一环，高效的监测保护电网设备在电力系统有着急迫的需求。

技术实现要素：

本发明的目的是为了解决现有方法测量效率低、成本高以及操作繁琐等问题，而提出一种基于视觉的铁塔倾斜角度测量方法。

一种基于视觉的铁塔倾斜角度测量方法，随着国民经济的发展，电力、通信网络的覆盖面积越来越广，电力输电线路和通信线路中大量使用了铁塔，如高压输电线铁塔、通信基站铁塔等。铁塔在电力输电线路与通信网络的覆盖中起到了桥梁架接的重要作用。但是，由于一些自然灾害(如雨雪、大风等)以及煤矿开采、工程施工、人为破坏等原因，造成塔体倾斜的情况时有发生。塔体倾斜经常会造成输电线路和通信网络中断，严重的将引起倒塔事件。这些都将对输电网的安全运行和通信网的正常工作造成极大威胁，给人民生命财产带来损失。因此对于铁塔倾斜角度的快速测量显得尤为重要。所述基于视觉的铁塔倾斜角度测量方法包括以下步骤：

步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值；其中，左右两幅图像是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像，并将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；沿着杆塔上电线的方向叫做顺线方向，与之垂直且与地面平行的方向叫做横线方向；

步骤2：使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点p1、p2、p3和p4；

步骤3：使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)、p4(x4,y4,z4)；

步骤301：以左图上pi点为中心，确定一个像素区域，所述i＝1,2,3,4；

步骤302：在与左图中点pi(u,v)同一行位置的右图上，使用ncc方法计算处与点pi(u,v)对应的匹配点qi(u-d,v)，并得点pi与点qi的视差d，点qi是点pi在右图中的对应点；其中，u表示用于ncc方法计算所设的左图中点pi的横坐标，v表示用于ncc方法计算所设的左图中点pi的纵坐标，ncc方法是图像匹配领域中常用的方法，指通过计算两个向量相似性表示图像相似性的图像匹配算法；

步骤303：计算点pi的深度zi＝(b*fx)/d，其中fx为相机的焦距，b为双目相机的基线长度；

步骤304：通过下式计算pi点的横坐标xi和纵坐标yi，xi＝zi*(u-cx)/fx，yi＝zi*(v-cy)/fy；其中，fx、fy、cx、cy是相机内参，fx、fy都为相机的焦距，cx,cy为主光轴点坐标，一般为图像的中心，通过双目标定确定；

步骤4：计算连接点p1和p2之间的中点p5(x5,y5,z5)，以及连接点p3和p4之间的中点p6(x6,y6,z6)；

步骤5：根据步骤4得到的点p5和p6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2：利用相机坐标系，计算中点p6与p5的y轴坐标差与z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在顺线方向的倾斜角α1：

α1＝arctan((y6-y5)/(z6-z5))

利用相机坐标系，计算中点p6与p5的x轴坐标差与z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在横线方向的倾斜角α2，计算公式为：

α2＝arctan((x6-x5)/(z6-z5))。

步骤6：使用步骤1记录的加速度计测量的三个轴的加速度测量值δx、δy、δz，在相机坐标系，计算加速度计在y轴的加速度测量与在z轴的加速度测量的比值，再将比值的反正切函数作为相机在顺线方向的倾斜角

在相机坐标系，计算加速度计在x轴的加速度测量与在z轴的加速度测量的比值，再将比值的反正切函数作为相机在横线方向的倾斜角θ：

θ＝arctan(-δx/δz)；

步骤7：根据步骤5和步骤6计算得到的值，将铁塔在顺线方向的倾斜角α1与相机在顺线方向的倾斜角的差值作为铁塔实际在顺序方向的倾斜角β1，计算公式为：

将铁塔在横线方向的倾斜角α2与相机在横线方向的倾斜角θ的和作为铁塔实际在横线方向的倾斜角β2，计算公式为：

β2＝α2+θ。

本发明的有益效果为：

本发明给出了一种基于视觉的铁塔倾斜角度测量方法，该方法基于双目立体视觉、深度学习目标检测和加速度计，本发明采用双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值后，使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点p1，p2，p3，p4；使用双目视觉立体匹配方法计算出四个连接点的三维坐标p1(x1,y1,z1),p2(x2,y2,z2),p3(x3,y3,z3),p4(x4,y4,z5)；计算p1和p2的中点p5(x5,y5,z5)，计算p3和p4的中点p6(x6,y6,z6)；根据p5和p6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2；使用记录的加速度计计算相机在顺线方向的倾斜角和横线方向的倾斜角θ；计算铁塔实际在顺序方向的倾斜角和横线方向的倾斜角β2＝α2+θ。

本发明实现了电力铁塔倾斜角度智能化检测，无需人工，提高了工作人员的操作安全性。本发明利用双目立体视觉、深度学习目标检测方法和加速度计，具有计算过程简单的优点，只需要采集一次铁塔图片即可计算铁塔倾斜角度，不仅降低了测量工作强度，同时提高了测量效率，降低了测量成本。

附图说明

图1为关键点示意图。图中1、2、3、4、5、6分别为连接点p1、p2、p3、p4、p5、p6，即关键点，7为绝缘子串，8为铁塔塔体；

图2为本发明的方法流程图。

具体实施方式

具体实施方式一：

本实施方式的一种基于视觉的铁塔倾斜角度测量方法，通过以下步骤实现：

步骤1：双目立体相机采集铁塔顺线方向的左右两幅图像，同时记录当前时刻的加速度计测量值；其中，左右两幅图像是指双目相机左相机拍摄的图像和双目相机右相机拍摄的图像，并将双目相机左相机拍摄的图像简称为左图，将双目相机右相机拍摄的图像简称为右图；沿着杆塔上电线的方向叫做顺线方向，与之垂直且与地面平行的方向叫做横线方向。

步骤2：使用深度学习目标检测方法检测出左图上铁塔(图中数字标号为8)与绝缘子串(图中数字标号为7)的四个连接点p1、p2、p3和p4；即图1中的四个关键点，数字标号分别为1、2、3、4；

步骤3：使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)、p4(x4,y4,z4)；在相机坐标系中，x为相机的左边，y为相机朝下的方向，z指向相机对准的方向；

步骤4：计算连接点p1和p2之间的中点p5(x5,y5,z5)(图中数字标号为5)，以及连接点p3和p4之间的中点p6(x6,y6,z6)(图中数字标号为6)：

x5＝(x1+x2)/2，y5＝(y1+y2)/2，z5＝(z1+z2)/2，

x6＝(x3+x4)/2，y6＝(y3+y4)/2，z6＝(z3+z4)/2。

步骤5：根据步骤4得到的点p5和p6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2，计算过程中使用相机坐标系；

步骤6：使用步骤1记录的加速度计测量值在相机坐标系中的坐标计算相机在顺线方向的倾斜角和横线方向的倾斜角θ，计算过程中使用相机坐标系；

步骤7：根据步骤5和步骤6计算铁塔实际在顺序方向的倾斜角β1和横线方向的倾斜角β2。

具体实施方式二：

本实施方式与具体实施方式一不同的是：所述步骤2中使用深度学习目标检测方法检测出左图上铁塔与绝缘子串的四个连接点p1、p2、p3和p4的具体过程为：

步骤201：采集铁塔图片数据；

步骤202：人为标记铁塔与绝缘子串的四个连接点；

步骤203：使用深度学习神经网络与标定数据训练生成最终的深度神经网络模型；其中，深度学习神经网络为ssd或yolo3；

步骤204：将左图输入步骤203生成的深度神经网络模型中，输出四个连接点p1、p2、p3和p4；连接点p1、p2、p3和p4即为中的四个关键点。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：

本实施方式与具体实施方式一或二不同的是：所述步骤3中使用双目视觉立体匹配方法计算出步骤2中四个连接点在相机坐标系中的三维坐标：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)、p4(x4,y4,z4)，的具体过程为：

步骤301：以左图上pi点为中心，确定一个像素区域，所述i＝1,2,3,4；所述的像素区域为21x21像素的窗口；

步骤302：在与左图中点pi(u,v)同一行位置的右图上，使用ncc方法计算处与点pi(u,v)对应的匹配点qi(u-d,v)，并得点pi与点qi的视差d，点qi是点pi在右图中的对应点；其中，u表示用于ncc方法计算所设的左图中点pi的横坐标，v表示用于ncc方法计算所设的左图中点pi的纵坐标，ncc方法是图像匹配领域中常用的方法，指通过计算两个向量相似性表示图像相似性的图像匹配算法；

步骤303：计算点pi的深度zi＝(b*fx)/d，其中fx为相机的焦距，b为双目相机的基线长度；

步骤304：通过下式计算pi点的横坐标xi和纵坐标yi：

xi＝zi*(u-cx)/fx，yi＝zi*(v-cy)/fy，

其中，fx、fy、cx、cy是相机内参，fx、fy都为相机的焦距，cx,cy为主光轴点坐标，一般为图像的中心，通过双目标定确定。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式与具体实施方式一至三之一不同的是：所述步骤5中根据步骤4得到的点p5和p6的三维坐标计算铁塔在顺线方向的倾斜角α1和横线方向的倾斜角α2，具体为：

利用相机坐标系，计算中点p6与p5的y轴坐标差与z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在顺线方向的倾斜角α1，计算公式为：

α1＝arctan((y6-y5)/(z6-z5))

利用相机坐标系，计算中点p6与p5的x轴坐标差与z轴坐标差的比值，再将二者比值的反正切函数作为铁塔在横线方向的倾斜角α2，计算公式为：

α2＝arctan((x6-x5)/(z6-z5))。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式与具体实施方式一至四之一不同的是：所述步骤6中使用步骤1记录的加速度计测量值在相机坐标系中的坐标计算相机在顺线方向的倾斜角和横线方向的倾斜角θ，具体为：

利用相机坐标系，计算加速度计在y轴的加速度测量与在z轴的加速度测量的比值，再将比值的反正切函数作为相机在顺线方向的倾斜角其中，δx、δy、δz是步骤1中双目立体相机采集铁塔顺线方向的左右两幅图像时记录的加速度计在三个轴的加速度测量值，计算公式为：

利用相机坐标系，计算加速度计在x轴的加速度测量与在z轴的加速度测量的比值，再将比值的反正切函数作为相机在横线方向的倾斜角θ，其中，δx、δy、δz是步骤1中双目立体相机采集铁塔顺线方向的左右两幅图像时记录的加速度计在三个轴的加速度测量值，计算公式为：

θ＝arctan(-δx/δz)。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：

本实施方式与具体实施方式一至五之一不同的是，所述步骤7中根据步骤5和步骤6计算铁塔实际在顺序方向的倾斜角β1和横线方向的倾斜角β2，具体为：

将铁塔在顺线方向的倾斜角α1与相机在顺线方向的倾斜角的差值作为铁塔实际在顺序方向的倾斜角β1，计算公式为：

将铁塔在横线方向的倾斜角α2与相机在横线方向的倾斜角θ的和作为铁塔实际在横线方向的倾斜角β2，计算公式为：

β2＝α2+θ。

其它步骤及参数与具体实施方式一至五之一相同。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。