一种无人机对电力杆塔的智能精准巡检方法及系统

本发明涉及无人机巡检技术领域，特别涉及一种无人机对电力杆塔的智能精准巡检方法及系统。

背景技术：

随着人工智能的不断进步，无人机在巡检领域的作用日益凸显，无人机巡检的目标主要针对的是一些人造目标，比如高压输电杆塔、光伏太阳能板、风力发电系统等。其中研究较多的是对高压输电杆塔的巡检，而且巡检方式都在不断实现自主化。针对电力杆塔的巡检问题，如何提高无人机巡检的质量，实现精准巡检一直是大家讨论和研究的问题。

最开始研究的方式是采用精度较高的激光雷达方式。严文涛,王玮,苏琦,刘荫,殷齐林,郭爽爽,刘越.基于输电线路三维信息的无人机智能巡检技术研究[j].中国高新科技,2018(19):76-78.提出先用三维激光雷达对杆塔进行三维空间点云重建，然后利用杆塔的三维建模空间信息计算各类部件相对于杆塔的挂点位置，最后通过挂点信息指导无人机巡检，该方案需要的前期工作量大，没有考虑巡检时的相机姿态，不能保证巡检时相机获取到高质量巡检图像。随着视觉技术的发展，相机以廉价的价格和可视范围大成为了无人机巡检中重要的设备，yue,liu,yuechen,yang,xiaobin,sun,etal.transmissionlinecomponentinspectionmethodbasedondeeplearningundervisualnavigation[j].iopconferenceseries:earthandenvironmentalscience,2019.11.提出基于人造目标绝缘子目标检测的视觉控制局部巡检的方案，但该方案描述的模型过于理想化，只粗略地描述了目标的三种大致摆放位置和对应三种无人机矫正方式。suchao,yangqiang.insulatorfront-endlocationbasedoncomputervisiondeeplearning[j].guangdongelectricpower,2019(9):33-40.采用ssd检测目标，然后进行云台调整拍照的思路来获取高质量目标巡检图像，该方法虽然采用了高鲁棒性的深度学习目标检测方案，但是只考虑了云台的偏航和俯仰角度的调整，并没考虑无人机与目标的距离控制。鉴于视觉信息缺失距离信息，而激光可以较为精准地测量出距离信息，杨磊,陈凤翔,陈科羽,刘胜南.基于多传感器的无人机避障方法研究及应用[j].计算机测量与控制,2019,27(01):280-283+287.采用多传感器融合的技术来进行无人机的控制进行巡检，该方案利用了视觉线索的丰富和雷达的精准测距的特点，但是需要较高的成本和较大的无人机负载。紧接着，跟踪技术也运用到了该领域，吴华,黎雅雅.电力巡检无人机跟拍电塔目标算法特性对比分析[c].第十二届中国智能机器人大会,2017.10.27-29,哈尔滨.提出了通过跟踪的方式来对杆塔上的人造目标进行跟踪拍摄来补偿相机的视角不足的问题，以获得高质量的图像。跟踪方案依赖第一步的目标检测结果，而文章中目标检测采用了底层的图像特征，具有敏感性高的问题，鲁棒性差，这也会导致跟踪模块的鲁棒性降低，从而影响最后的巡检拍摄。

上述的杆塔巡检方案都能实现一定程度上的自主性，但它们的工作模式都过于流程化，没有考虑一些自然环境等客观因素对巡检的影响，缺乏灵活性；在获取高质量巡检图像的问题上，没有充分考虑无人机在巡检电力杆塔局部部件的过程中的距离控制和相机角度调整的问题，易造成机载相机与待巡检组件存在角度差而产生透视畸变，从而造成巡检时拍摄的图片质量不高。

技术实现要素：

本发明针对上述现有技术中存在的问题，提出一种无人机对电力杆塔的智能精准巡检方法及系统，可以有效地解决无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量，更有利于后续图像缺陷诊断分析任务。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种无人机对电力杆塔的智能精准巡检方法，其包括：

s11：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；

s12：设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；

s13：利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；

s14：根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。

较佳地，所述s11进一步包括：

s21：采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；

s22：将原图片按照预设角度跨度值进行旋转，旋转后得到图片集img＝(i1,i2,....,in)，n表示旋转的角度取值总数；

s23：针对所述图片集img中的每张图片采用所述s21中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：box＝(b1,b2,....,bn)，其中任意一个检测框bi的属性描述为：(xl,yl,xr,yr)；

其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；

s24：针对每个检测框bi，利用公式：计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；

s25：取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。

较佳地，所述s12进一步包括：

s31：在第一线程a中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；

s32：在第二线程b中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；

s33：将所述角点定位信息以及角点深度信息表示为：pi(ui,vi,di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，di表示对应点位的深度距离值。

较佳地，所述s13进一步包括：

s41：设pi(i＝1,2,3,4)为现实中目标的四个角点pi(ui,vi,di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在pi和相机光心oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为那么f用像素表示为：

s42：对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量与相机坐标系中的zc轴的横向夹角的正切值为：向量与相机坐标系中的zc轴的纵向夹角的正切值为：其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述s41中计算得到了，那么在相机坐标系下，向量可以通过公式：计算得到；

s43：把所述s12中深度感知获取到的现实中四个目标角点的深度信息d1、d2、d3、d4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：计算相机中心与目标中心构成的向量那么公式：直接算出了相机中心与目标中心之间的距离；

s44：把3d目标进行平面化，计算相机坐标系下的向量和

最后用向量组来描述目标在相机坐标系下的位姿，其中向量描述了目标在相机坐标系下的位置和方向，向量和构成的平面则描述了在该方向和深度处3d目标待检测平面的姿态。

较佳地，所述s14进一步包括：

s51：无人机的距离矫正量计算以及距离矫正；

s52：无人机的云台角度矫正量计算以及云台角度矫正；其中，

所述s51进一步包括：

s511：根据所述s13中获得的向量组此时相机中心oc离目标中心p0点距离为设定最佳拍照距离为进行相机坐标系ocxcyczc沿zc轴移动向量分析，那么它与此时的d0存在如下关系：

如果以正负号表示沿zc轴移动的方向，那么相机沿zc轴移动向量为

s512：无人机的运动控制是控制机体运动，所以把所述s511获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：转化到机体坐标系下的向量为：

s513：最后控制无人机在机体坐标系下沿着向量的方向和大小移动即可进行无人机距离矫正；

所述s52进一步包括：

s521：通过分析向量和来计算云台角度矫正量，向量决定了俯仰角的调整量，而向量决定了偏航角和横滚角的调整量，为了简化公式表达，设和

s522：偏航矫正角度计算：偏航角度的矫正就是控制云台相机绕相机坐标系的yc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcoczc坐标系内得到分向量：云台调整的偏航角度大小要使得zc轴垂直向量根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：

s523：俯仰矫正角度计算：俯仰角度的矫正就是控制云台相机绕相机坐标系的xc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到ycoczc坐标系内得到分向量：云台调整的俯仰角度大小要使得zc轴垂直向量根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：

s524：横滚矫正角度计算：横滚角度的矫正就是控制云台相机绕相机坐标系的zc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcocyc坐标系内得到分向量：云台调整的横滚角度大小要使得xc轴与向量重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：

s525：最后控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。

本发明还提供一种无人机对电力杆塔的智能精准巡检系统，其包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元以及距离及云台角度矫正单元；其中，

所述斜框目标检测单元用于基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；

所述位置及深度信息获得单元用于设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；

所述位姿向量组获得单元用于利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；

所述距离及云台角度矫正单元用于根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。

较佳地，所述斜框目标检测单元进一步包括：目标检测网络模型训练单元、原图片旋转单元、目标检测单元、对角线距离计算单元以及斜框检测完成单元；其中，

所述目标检测网络模型训练单元用于采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；

所述原图片旋转单元用于将原图片按照预设角度跨度值进行旋转，旋转后得到图片集img＝(i1,i2,....,in)，n表示旋转的角度取值总数；

所述目标检测单元用于针对所述图片集img中的每张图片采用所述目标检测网络模型训练单元中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：box＝(b1,b2,....,bn)，其中任意一个检测框bi的属性描述为：(xl,yl,xr,yr)；

其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；

所述对角线距离计算单元用于针对每个检测框bi，利用公式：计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；

所述斜框检测完成单元用于取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。

较佳地，所述位置及深度信息获得单元进一步包括：第一线程单元、第二线程单元以及位置及深度信息表示单元；其中，

所述第一线程单元用于在第一线程a中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；

所述第二线程单元用于在第二线程b中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；

所述位置及深度信息表示单元用于将所述角点定位信息以及角点深度信息表示为：pi(ui,vi,di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，di表示对应点位的深度距离值。

较佳地，所述位姿向量组获得单元进一步包括：成像平面信息计算单元、相机中心到目标中心的向量计算单元、相机中心与目标中心之间的距离计算单元以及位姿向量组最终获得单元；其中。

所述成像平面信息计算单元用于设pi(i＝1,2,3,4)为现实中目标的四个角点pi(ui,vi,di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在pi和相机光心oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为那么f用像素表示为：

所述相机中心到目标中心的向量计算单元用于对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量与相机坐标系中的zc轴的横向夹角的正切值为：向量与相机坐标系中的zc轴的纵向夹角的正切值为：其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在所述成像平面信息计算单元中计算得到了，那么在相机坐标系下，向量可以通过公式：计算得到；

所述相机中心与目标中心之间的距离计算单元用于把所述位置及深度信息获得单元中深度感知获取到的现实中四个目标角点的深度信息d1、d2、d3、d4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：计算相机中心与目标中心构成的向量那么公式：直接算出了相机中心与目标中心之间的距离；

所述位姿向量组最终获得单元用于把3d目标进行平面化，计算相机坐标系下的向量和

最后用向量组来描述目标在相机坐标系下的位姿，其中向量描述了目标在相机坐标系下的位置和方向，向量和构成的平面则描述了在该方向和深度处3d目标待检测平面的姿态。

较佳地，所述距离及云台角度矫正单元进一步包括：距离矫正单元以及云台角度矫正单元；其中，

所述距离矫正单元进一步包括：相机沿zc轴移动向量获得单元、相机坐标系到机体坐标系转化单元以及距离最终矫正单元；其中，

所述相机沿zc轴移动向量获得单元用于根据所述位姿向量组获得单元中获得的向量组此时相机中心oc离目标中心p0点距离为设定最佳拍照距离为进行相机坐标系ocxcyczc沿zc轴移动向量分析，那么它与此时的d0存在如下关系：

如果以正负号表示沿zc轴移动的方向，那么相机沿zc轴移动向量为

所述相机坐标系到机体坐标系转化单元用于把所述相机沿zc轴移动向量获得单元获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：转化到机体坐标系下的向量为：

所述距离最终矫正单元用于控制无人机在机体坐标系下沿着向量的方向和大小移动即可进行无人机距离矫正；

所述云台角度矫正单元进一步包括：云台角度矫正量表示单元、偏航矫正角度计算单元、俯仰矫正角度计算单元、横滚矫正角度计算单元以及云台角度最终矫正单元；其中，

所述云台角度矫正量表示单元用于通过分析向量和来计算云台角度矫正量，向量决定了俯仰角的调整量，而向量决定了偏航角和横滚角的调整量，为了简化公式表达，设和

所述偏航矫正角度计算单元用于计算偏航矫正角度，偏航角度的矫正就是控制云台相机绕相机坐标系的yc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcoczc坐标系内得到分向量：云台调整的偏航角度大小要使得zc轴垂直向量根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：

所述俯仰矫正角度计算单元用于计算俯仰矫正角度，俯仰角度的矫正就是控制云台相机绕相机坐标系的xc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到ycoczc坐标系内得到分向量：云台调整的俯仰角度大小要使得zc轴垂直向量根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：

所述横滚矫正角度计算单元用于计算横滚矫正角度，横滚角度的矫正就是控制云台相机绕相机坐标系的zc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcocyc坐标系内得到分向量：云台调整的横滚角度大小要使得xc轴与向量重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：

所述云台角度最终矫正单元用于控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。

相较于现有技术，本发明具有以下优点：

(1)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，设计了斜框目标检测任务，在每个巡检点位悬停时采用设计的目标立体检测网络实现对待巡检目标的感知和位姿估计，基于位姿向量组进行无人机的矫正量计算并进行矫正来获取高质量的巡检图片；不仅能够全面、有效地获取高质量的杆塔巡检图像，而且对一些自然环境等客观因素对巡检造成影响时，也能更加灵活应对；

(2)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过在嵌入式平台上利用深度学习技术进行待巡检目标的三维感知，并将感知数据进行量化计算反馈给无人机控制层来进行位姿矫正任务，有效地解决了无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量，更有利于后续图像缺陷诊断分析任务；

(3)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过设了多线程并发的目标立体检测多任务网络，避免了两个网络的运行速度不一致问题，同时也增强了两个任务的并行能力，加速了嵌入式运算过程；

(4)本发明提供的无人机对电力杆塔的智能精准巡检方法及系统，通过结合斜框定位信息进行场景深度感知，只需计算四个角点深度信息，无需对整张图片逐像素进行视差图到深度图转换，进一步提高了网络的运行效率，加速了在嵌入式设备上的运行速度。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1a为一实施例的电力杆塔的结构示意图；

图1b为另一实施例的电力杆塔的结构示意图；

图1c为另一实施例的电力杆塔的结构示意图；

图2为本发明一实施例的无人机对电力杆塔的智能精准巡检方法的流程图；

图3为本发明一较佳实施例的动态感知调整步骤流程图；

图4为本发明一较佳实施例的针对特定杆塔巡检路线规划的三维示意图；

图5为本发明一较佳实施例的改进目标检测算法实现斜框检测的流程图；

图6为本发明一较佳实施例的目标立体检测网络多线程流程图；

图7为本发明一实施例的现实中四个角点在相机坐标系下成像示意图；

图8为本发明一实施例的单独一个点在相机坐标系下成像示意图；

图9为本发明一实施例的无人机进行距离和云台矫正后的效果图；

图10为本发明一实施例的目标的位姿向量在相机坐标系下成像示意图；

图11a为本发明一实施例的无人机进行云台角度矫正量调整分析示意图；

图11b为本发明一实施例的偏航矫正角度计算示意图；

图11c为本发明一实施例的俯仰矫正角度计算示意图；

图11d为本发明一实施例的横滚矫正角度计算示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1a-1c所示，给出了三种常见的电力杆塔结构，图1a是酒杯型杆塔，图1b是猫头型杆塔，图1c是干字型杆塔。不管哪种杆塔，其一般由塔头、塔身、塔基三大部分组成。巡检电力杆塔时主要是对塔头处进行巡检，塔头部分有很多杆塔部件。

如图2所示为本发明一实施例的无人机对电力杆塔的智能精准巡检方法的流程图

请参考图2，本实施例的无人机对电力杆塔的智能精准巡检方法包括：

s11：基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；

s12：设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；

s13：利用目标的位置信息以及深度信息计算出目标的位姿向量组；

s14：根据目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。

如图3所示描述了本发明一实施例的无人机智能巡检动态过程，分为两大任务，第一个任务是视觉感知任务，该任务利用目标立体检测网络实现对场景中特定待巡检目标的3d位姿感知；第二个任务则是无人机的位姿矫正任务，包括无人机与待巡检目标的距离调整和云台相机调整。

如图4所示，以干字型杆塔为例进行阐述：鉴于电力杆塔的特点，待巡检目标主要位于杆塔与导线的连接处区域，设计航迹规划时首先需要遍历同高度上的杆塔左右对称的两块区域，分别为图中的a、b、c、d、e、f区域，所以设计的巡检轨迹要实现对6个巡检区域遍历巡检。鉴于此，首先在纵向平面设计了“倒u”型轨迹来遍历6个巡检区域。在此基础上，为增加巡检的全面性，对杆塔上待巡检目标拍摄三个不同角度的图像，在纵向遍历的基础上加入横向的多角度感知。最后的航迹规划路线即如图4所示轨迹，该航迹规划方案实现了无人机对杆塔的全方位巡检目的。

前期飞手按照上述规划好的巡检路线人为控制无人机进行gps信息和云台相机姿态采集任务，在每个巡检点位悬停并采集该点位对应的无人机gps信息和云台相机姿态信息并存储到点位地图库中，表示为：map＝{p1,p2,....,pn}，n为巡检点位总数，任意一个巡检点位pi其属性描述为：(loni,lati,alti,αi,βi,γi)，i为点位序号，i＝1～n，loni为i点位时的经度值，lati为i点位时的纬度值，alti为i点位时的高度值，αi为i点位时无人机云台相机的横滚角角，βi为i点位时无人机云台相机的俯仰角角，γi为i点位时无人机云台相机的偏航角。因为后期需要对特定的杆塔进行不定期的巡检，而路线基本又是一致的，所以在后续多次巡检时只需要利用上述建立好的map导航重复上述巡检点位即可。而在遍历每一个巡检点位时，不断重复s11～s14四个步骤即可实现精准巡检拍照。

较佳实施例中，s11中目标检测算法所得到的检测框都是“正框”，鉴于此，改进目标检测算法，即把斜框目标检测问题转化为“目标检测+角度分类问题”，如图5所示，其进一步包括：

s21：采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；

s22：将原图片按照预设角度跨度值进行旋转，旋转后得到图片集img＝(i1,i2,....,in)，n表示旋转的角度取值总数；

s23：针对所述图片集img中的每张图片采用所述s21中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：box＝(b1,b2,....,bn)，其中任意一个检测框bi的属性描述为：(xl,yl,xr,yr)；

其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；

s24：针对每个检测框bi，利用公式：计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；

s25：取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。

较佳实施例中，s12中设计了目标立体检测网络，即融合目标斜框检测任务和深度估计网络，针对两个网络的运行速度不一致问题，同时也为了增强两个任务的并行能力、加速嵌入式运算，设计了多线程并发的目标立体检测多任务网络，以多线程方式在嵌入式设备上运行来提高时效性，获取目标的位置和深度信息，如图6所示，其进一步包括：

s31：在第一线程a中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，鉴于目标检测是基于回归的任务，比基于逐像素预测的深度感知网络速度更快，所以设计了一个fifo形式的图片缓冲序列来缓存斜框检测的图片；

s32：在第二线程b中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，目标立体检测网络在最后的输出进行融合改进，无需对整张图片逐像素进行视差图到深度图转换，而只需计算出目标四个角点深度信息，这也提高了网络的运行效率，加速了在嵌入式设备上的运行速度；

s33：将角点定位信息以及角点深度信息表示为：pi(ui,vi,di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，di表示对应点位的深度距离值，点pi(i＝1,2,3,4)对应了现实中目标的四个角点。

较佳实施例中，s13进一步包括：

s41：设pi(i＝1,2,3,4)为现实中目标的四个角点pi(ui,vi,di)(i＝1,2,3,4)在图像上的成像点，如图图7所示，在没有相机畸变的情况下，pi在pi和相机光心oc的连线上，如图8所示；设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为那么f用像素表示为：

s42：对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量与相机坐标系中的zc轴的横向夹角的正切值为：向量与相机坐标系中的zc轴的纵向夹角的正切值为：其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在s41中计算得到了，那么在相机坐标系下，向量可以通过公式：计算得到；

s43：把s12中深度感知获取到的现实中四个目标角点的深度信息d1、d2、d3、d4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：计算相机中心与目标中心构成的向量那么公式：直接算出了相机中心与目标中心之间的距离；

s44：把3d目标进行平面化，计算相机坐标系下的向量和

最后用向量组来描述目标在相机坐标系下的位姿，其中向量描述了目标在相机坐标系下的位置和方向，向量和构成的平面则描述了在该方向和深度处3d目标待检测平面的姿态。

较佳实施例中，如图9所示，在计算出矫正量后，矫正步骤首先是进行距离的调整来获取足够大的目标，接着通过对云台相机俯仰和偏航角的调整来消除透视畸变，最后通过调整横滚角来端正目标的待巡检面。s14进一步包括：

s51：无人机的距离矫正量计算以及距离矫正；

s52：无人机的云台角度矫正量计算以及云台角度矫正；其中，

s51进一步包括：

s511：如图10所示，根据s13中获得的向量组此时相机中心oc离目标中心p0点距离为根据以往经验设定最佳拍照距离为进行相机坐标系ocxcyczc沿zc轴移动向量分析，那么它与此时的d0存在如下关系：

如果以正负号表示沿zc轴移动的方向，那么相机沿zc轴移动向量为

s512：无人机的运动控制是控制机体运动，所以把所述s511获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：转化到机体坐标系下的向量为：

s513：最后控制无人机在机体坐标系下沿着向量的方向和大小移动即可进行无人机距离矫正；

s52进一步包括：

s521：如图10所示，通过分析向量和来计算云台角度矫正量，向量决定了俯仰角的调整量，而向量决定了偏航角和横滚角的调整量，为了简化公式表达，设和如图11a所示，把和移动到以相机坐标系原点为向量起点处，进行无人机云台姿态的调整分析。

s522：偏航矫正角度计算：偏航角度的矫正就是控制云台相机绕相机坐标系的yc轴旋转，如图11b所示，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcoczc坐标系内得到分向量：云台调整的偏航角度大小要使得zc轴垂直向量根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：

s523：俯仰矫正角度计算：俯仰角度的矫正就是控制云台相机绕相机坐标系的xc轴旋转，如图11c所示，把向量移动到以相机坐标系原点oc为向量起点处，并投影到ycoczc坐标系内得到分向量：云台调整的俯仰角度大小要使得zc轴垂直向量根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：

s524：横滚矫正角度计算：横滚角度的矫正就是控制云台相机绕相机坐标系的zc轴旋转，如图11d所示把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcocyc坐标系内得到分向量：云台调整的横滚角度大小要使得xc轴与向量重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：

s525：最后控制无人机的云台按照偏航角度∠γ和俯仰角度∠β进行调整来消除巡检拍摄照片时的透视畸变效果，接着进行横滚角∠α调整来进一步端正场景中拍摄的待巡检目标，经过上述的云台矫正可以得到高质量的巡检图像。

一实施例中，还提供一种无人机对电力杆塔的智能精准巡检系统，其包括：斜框目标检测单元、位置及深度信息获得单元、位姿向量组获得单元以及距离及云台角度矫正单元；其中，

斜框目标检测单元用于基于目标检测算法，设计并实现对目标的斜框检测来提取斜框目标物；

位置及深度信息获得单元用于设计目标立体检测网络，即融合目标斜框检测任务和深度估计网络，以多线程方式在嵌入式设备上运行，获取目标的位置信息以及深度信息；

位姿向量组获得单元用于利用所述目标的位置信息以及深度信息计算出目标的位姿向量组；

距离及云台角度矫正单元用于根据所述目标的位姿向量组，计算出无人机的距离矫正量以及云台角度矫正量，以使无人机矫正后进行巡检拍照。

较佳实施例中，斜框目标检测单元进一步包括：目标检测网络模型训练单元、原图片旋转单元、目标检测单元、对角线距离计算单元以及斜框检测完成单元；其中，

目标检测网络模型训练单元用于采集预设数量的包含待巡检目标的场景图片，利用目标检测网络进行数据集训练，得到预训练好的目标检测网络模型；

原图片旋转单元用于将原图片按照预设角度跨度值进行旋转，旋转后得到图片集img＝(i1,i2,....,in)，n表示旋转的角度取值总数；

目标检测单元用于针对所述图片集img中的每张图片采用目标检测网络模型训练单元中预训练好的目标检测网络模型进行目标检测，记录下每张图片上检测框的信息：box＝(b1,b2,....,bn)，其中任意一个检测框bi的属性描述为：(xl,yl,xr,yr)；

其中xl以及yl分别表示检测框左上角点的x轴像素坐标和y轴像素坐标；xr以及yr分别表示检测框右下角点的x轴像素坐标和y轴像素坐标；

对角线距离计算单元用于针对每个检测框bi，利用公式：计算出每个检测框的对角线距离dis＝(d1,d2,....,dn)；

斜框检测完成单元用于取所述对角线距离dis集合中的最小值dj，此时原图片所旋转的角度值即为图片中目标摆放所呈现的近似角度值，然后把检测框bj进行反向旋转，最后叠加到原图片上就实现了对原图像中待巡检目标的斜框检测任务。

较佳实施例中，位置及深度信息获得单元进一步包括：第一线程单元、第二线程单元以及位置及深度信息表示单元；其中，

第一线程单元用于在第一线程a中以单目图像作为输入进行目标斜框检测任务进行目标的角点定位，得到四个角点坐标，采用图片缓冲序列来缓存斜框检测的图片；

第二线程单元用于在第二线程b中以单目图像作为输入进行场景深度感知，结合缓冲序列图片中的角点定位信息，利用目标立体检测网络在最后的输出进行融合改进，计算出目标四个角点深度信息；

位置及深度信息表示单元用于将所述角点定位信息以及角点深度信息表示为：pi(ui,vi,di)(i＝1,2,3,4)，(ui,vi)表示点位的像素坐标，di表示对应点位的深度距离值。

较佳实施例中，位姿向量组获得单元进一步包括：成像平面信息计算单元、相机中心到目标中心的向量计算单元、相机中心与目标中心之间的距离计算单元以及位姿向量组最终获得单元；其中。

成像平面信息计算单元用于设pi(i＝1,2,3,4)为现实中目标的四个角点pi(ui,vi,di)(i＝1,2,3,4)在图像上的成像点，在没有相机畸变的情况下，pi在pi和相机光心oc的连线上，设r是相机光轴与成像平面的交点，设图像的尺寸是w*h，则点r在像素坐标系下的坐标为(w/2,h/2)；成像平面与相机光心oc的距离为f，也就是相机的焦距，如果相机的视场角为θ，而对角线长度为那么f用像素表示为：

相机中心到目标中心的向量计算单元用于对于成像平面上的点pi，假定其坐标为(ui,vi)，那么向量与相机坐标系中的zc轴的横向夹角的正切值为：向量与相机坐标系中的zc轴的纵向夹角的正切值为：其中的ui和vi是斜框目标检测中第i个角点的像素坐标，w和h已知，焦距f在成像平面信息计算单元中计算得到了，那么在相机坐标系下，向量可以通过公式：计算得到；

相机中心与目标中心之间的距离计算单元用于把所述位置及深度信息获得单元中深度感知获取到的现实中四个目标角点的深度信息d1、d2、d3、d4考虑进来，计算出目标上四个角点在相机坐标系下的实际向量：计算相机中心与目标中心构成的向量那么公式：直接算出了相机中心与目标中心之间的距离；

位姿向量组最终获得单元用于把3d目标进行平面化，计算相机坐标系下的向量和

最后用向量组来描述目标在相机坐标系下的位姿，其中向量描述了目标在相机坐标系下的位置和方向，向量和构成的平面则描述了在该方向和深度处3d目标待检测平面的姿态。

较佳实施例中，距离及云台角度矫正单元进一步包括：距离矫正单元以及云台角度矫正单元；其中，

距离矫正单元进一步包括：相机沿zc轴移动向量获得单元、相机坐标系到机体坐标系转化单元以及距离最终矫正单元；其中，

相机沿zc轴移动向量获得单元用于根据所述位姿向量组获得单元中获得的向量组此时相机中心oc离目标中心p0点距离为设定最佳拍照距离为进行相机坐标系ocxcyczc沿zc轴移动向量分析，那么它与此时的d0存在如下关系：

如果以正负号表示沿zc轴移动的方向，那么相机沿zc轴移动向量为

相机坐标系到机体坐标系转化单元用于把相机沿zc轴移动向量获得单元获得的移动向量接着转化到机体坐标下，因为相机和机体是刚体连接的，所以不用考虑平移向量，只考虑旋转矩阵,而相机坐标系到机体坐标系的旋转矩阵为：转化到机体坐标系下的向量为：

距离最终矫正单元用于控制无人机在机体坐标系下沿着向量的方向和大小移动即可进行无人机距离矫正；

云台角度矫正单元进一步包括：云台角度矫正量表示单元、偏航矫正角度计算单元、俯仰矫正角度计算单元、横滚矫正角度计算单元以及云台角度最终矫正单元；其中，

云台角度矫正量表示单元用于通过分析向量和来计算云台角度矫正量，向量决定了俯仰角的调整量，而向量决定了偏航角和横滚角的调整量，为了简化公式表达，设和

偏航矫正角度计算单元用于计算偏航矫正角度，偏航角度的矫正就是控制云台相机绕相机坐标系的yc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcoczc坐标系内得到分向量：云台调整的偏航角度大小要使得zc轴垂直向量根据无人机偏航方向默认右偏为正、左偏为负的原则，最后得到带符号的偏航角为：

俯仰矫正角度计算单元用于计算俯仰矫正角度，俯仰角度的矫正就是控制云台相机绕相机坐标系的xc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到ycoczc坐标系内得到分向量：云台调整的俯仰角度大小要使得zc轴垂直向量根据无人机俯仰方向默认仰角为正、俯角为负的原则，最后得到带符号的俯仰角为：

横滚矫正角度计算单元用于计算横滚矫正角度，横滚角度的矫正就是控制云台相机绕相机坐标系的zc轴旋转，把向量移动到以相机坐标系原点oc为向量起点处，并投影到xcocyc坐标系内得到分向量：云台调整的横滚角度大小要使得xc轴与向量重合；根据无人机横滚方向默认右横滚为正、左横滚为负的原则，最后得到带符号的横滚角为：

云台角度最终矫正单元用于控制无人机的云台按照偏航角度∠γ、俯仰角度∠β以及横滚角∠α来进行调整即可进行无人机云台角度矫正。

本发明上述实施例，可以有效地解决无人机巡检拍照时图像会产生透视畸变的问题，提高了巡检拍摄的图像质量。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。