一种基于无人机成像平台的通信单管塔倾斜检测方法与流程

本发明涉及一种基于无人机成像平台的通信单管塔倾斜检测方法，属于无人机和图像处理技术在通信铁塔倾斜度检测方面的应用领域。

背景技术：

高度信息化的今天，人们生活越来越离不开信息技术。这使得人们对通信质量、通信速度、信号覆盖等的要求越来越高。目前，移动通信网中信号的传输主要依靠于通信铁塔基站。借助通信铁塔实现对微波、超短波、无线网络信号的传输与发射。通信铁塔在为人们提供服务的同时，其本身大面积的扩张建设也为带来了问题，最常见的问题就是通信铁塔的倾斜该如何检测。容易发现，通信铁塔应用广泛且遍布各类地形，容易遭受到自然因素和人为因素的影响发生倾斜，如果一些细小变化得不到及时的发现和处理，问题会进一步扩大导致信号覆盖区域偏移、通信中断，更为严重的甚至铁塔倒塌运行安全。由此可见，通过有效的技术手段完成通信铁塔倾斜检测显得十分重要。

通信铁塔倾斜的传统检测方式是人工巡回检测，其中大多采用铅垂仪等垂直检测仪器进行简单判断。这种方式的缺点是十分低效，工作量较大，成本较高。而且，铁塔常搭建在一些偏远地区，由于人力、物力以及周围环境等因素的制约，难以对铁塔难实现全面检测。

为解决铁塔倾斜检测的问题，近年来我国涌现了一些新的检测方法。常见的有基于传感器技术和无线通信技术的在线监测方式，即利用倾角传感器对通信铁塔的倾斜度进行监测，通过无线网络将铁塔的倾斜数据实时上传至监控中心，同时监控中心可远程对监测前端进行各种参数的设置(赵猛.基于倾角传感器的移动通信铁塔形变预警系统设计[d].武汉理工大学,2014.)。这种方式做到了实时的信息获取，并且精确度也有了相应的提升。但是这种方式也存在着问题，比如传感器需要在常规温度下才能正常工作，否则检测精度会降低。受地形影响而维护难度大又是另一问题。

除了在线监测方式之外，部分地区还使用gps精密单点定位的方式检测通信铁塔的倾斜状态。主要利用卫星通信并结合坐标系统来进行状态检测和数据分析(龚佑兴.gps单点定位研究[d].长沙:中南大学,2004.)。但是这种方式定位精度较低，并且实现成本很高。以目前的技术发展来看并不适用于大规模应用。

近年来，受城市化进程影响，城市人口不断增多，面积不断扩大。为了尽可能的将通信信号覆盖到城市用户群，大量的通信基站需要集中建设在城市中。由于传统的角铁架信号塔体积庞大且不易于架设等问题，现阶段城市中主要是采用了单管信号塔(又称单管塔、独管塔)。单管信号塔具有制作方便、美观和易于批量生产等优点，所以渐渐取代传统角铁架信号塔而被广泛使用(屠海明,毛玥蕾,郁蔚.一体化基站通信单管塔简介[j].工程建设与设计,2011,6:036.)。鉴于当前单管信号塔的广泛应用，就需要一种能够实现其倾斜检测的更为有效的技术。

技术实现要素：

本发明所要解决的技术问题是提供一种基于无人机成像平台的通信单管塔倾斜检测方法，利用无人机的环绕飞行功能对目标铁塔从多个方向以水平视角进行拍摄，之后再利用图像处理技术检测传回的图片中铁塔的轴线，进而实现铁塔倾斜检测。本发明提供了一种精度更高、可行性更好的通信铁塔倾斜状态检测方式，涉及到数字图像处理技术和无人机技术，能够适应不同地理环境，可进行大规模应用。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于无人机成像平台的通信单管塔倾斜检测方法，包括以下具体步骤：

步骤1，无人机以目标通信单管塔为圆心、绕目标通信单管塔水平飞行一周，飞行过程中机载相机保持水平状态、在不同位置连续采集w张目标通信单管塔的图像；

步骤2，对步骤1中采集的w张目标通信单管塔图像进行逐一处理，得到每张目标通信单管塔图像中单管塔与水平面之间的夹角，具体为：

2.1，识别并确定采集到的第t张目标通信单管塔图像st中的单管塔区域，其中，t＝1,2,…,w；

2.2，确定采集到的第t张目标通信单管塔图像st中单管塔的轴线：

2.3，计算2.2中单管塔轴线与水平面之间的夹角，即为图像st中单管塔与水平面之间的夹角αt；

步骤3，判断步骤2得到的w个夹角是否均在安全范围内，若是则判定目标通信单管塔未倾斜，否则判定目标通信单管塔发生倾斜。

作为本发明的进一步技术方案，步骤1中通过机载三轴自稳云台使得机载相机保持水平状态拍摄到单管塔图像。

作为本发明的进一步技术方案，步骤2.1中通过人工交互方式或机器学习方法，识别并确定采集到的第t张目标通信单管塔图像st中的单管塔区域。

作为本发明的进一步技术方案，通过人工交互方式识别并确定采集到的第t张目标通信单管塔图像st中的单管塔区域，具体为：

1)任意选取图像st中单管塔上的n个像素点；

2)将图像st由rgb颜色空间转换到cielab颜色空间；

3)在cielab颜色空间，对1)中选取的n个像素点的色彩分量求取均值；

4)在cielab颜色空间，若图像st中任一像素点(x,y)的色彩分量同时满足条件：|l(x,y)-l|＜threshold、|a(x,y)-a|＜threshold和|b(x,y)-b|＜threshold，则将像素点(x,y)置为白色点，否则置为黑色点；遍历图像st的所有像素点，得到二值化图像label；其中，l(x,y)为像素点(x,y)的亮度值，l为n个像素点的亮度均值，a(x,y)为像素点(x,y)的红或绿颜色值，a为n个像素点的红或绿颜色均值，b(x,y)为像素点(x,y)的黄或蓝颜色值，b为n个像素点的黄或蓝颜色均值，threshold为设定的全局阈值；

5)对4)中得到的二值化图像label进行膨胀处理，得到单管塔的粗略区域。

作为本发明的进一步技术方案，步骤3)中对1)中选取的n个像素点的色彩分量求取均值为：

其中，(xi,yi)为第i个像素点的坐标，i＝1,2,...,n，l为n个像素点的亮度均值，l(xi,yi)为选取的第i个像素点的亮度值，a为n个像素点的红或绿颜色均值，a(xi,yi)为选取的第i个像素点的红或绿颜色值，b为n个像素点的黄或蓝颜色均值，b(xi,yi)为选取的第i个像素点的黄或蓝颜色值。

作为本发明的进一步技术方案，步骤2.2中确定采集到的第t张目标通信单管塔图像st中单管塔的轴线，具体为：

①将图像st转化为灰度图bw；

②对灰度图bw进行边缘检测，得到边缘图像f；

③对边缘图像f进行形态学去噪；

④采用hough变换对形态学去噪后的边缘图像f进行直线检测；

⑤判断④中检测得到的直线是否在2.1中确定的单管塔区域内，若是则保留，否则排除；

⑥在⑤中保留的直线中任选一条作为单管塔的轴线。

作为本发明的进一步技术方案，步骤②中利用canny算子或robert算子或prewitt算子或sobel算子对灰度图bw进行边缘检测。

作为本发明的进一步技术方案，步骤2.3中夹角αt的计算方法为：

ⅰ，若xpoint1＝xpoint2，则αt＝90°；

ii，若xpoint1≠xpoint2，则

其中，(xpoint1,ypoint1)和(xpoint2,ypoint2)为单管塔的轴线的两个端点的坐标。

作为本发明的进一步技术方案，步骤1中w的取值范围为[3,7]。

作为本发明的进一步技术方案，步骤3中的安全范围为[88°,90°]。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明以无人机机载三轴自稳云台为手段，得到相机以水平姿态下拍摄到的单管塔照片，利用相关数字图像处理技术检测单管塔的倾斜程度，方法简单，精确度高，对无人机及数字图像处理技术的扩展应用具有重要的指导意义。

附图说明

图1是三轴自稳云台结构图；

图2是图片数据采集阶段流程图；

图3是图像处理阶段流程图；

图4是待测单管塔照片；

图5是经过图像分割处理之后的二值图像；

图6是图5经过膨胀处理之后人工给出的单管塔的粗略区域；

图7是canny算子的边缘检测效果图；

图8是图7经过形态学去噪后的结果图；

图9是hough变换空间结果图；

图10是hough直线检测结果图；

图11是最终检测结果图。

具体实施方式

下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明：

本发明所公开的检测单管塔倾斜的方法将会使用到工业级无人机技术、三轴云台技术以及相机，其中，相机的分辨率不低于1200万像素。整个检测方法主要分为图片数据采集阶段和图像处理阶段。在图片数据采集阶段，将会利用无人机的环绕飞行功能、以目标通信单管塔对应的gps位置为圆心、200m距离为半径环绕通信单管塔飞行一圈，绕飞中在不同位置通过三轴自稳云台使得相机姿势保持水平状态连续拍摄w张照片。在图像处理阶段，将会利用canny边缘检测和hough变换作直线检测，并最后给出检测结果，即判断通信单管塔是否倾斜。

一、图片数据采集阶段：

这将会使用到多旋翼无人机、三轴自稳云台、相机。本检测方法中则使用的是工业级无人机，利用无人机的定点绕飞功能，使无人机在一定高度下环绕目标单管塔绕飞一周，期间连续以“水平姿态”下，绕飞过程中从不同位置拍摄w张通信铁塔的照片。之后，将照片信息保存在相机本地存储卡中由无人机带回或者4g等无线信号实时传回以待分析，图片数据采集阶段结束。

本发明的实施例中，从5个不同的方位拍摄图像的检测结果来最终判断单管塔是否倾斜，即w＝5。且，本发明的方案中不局限于5个图片，w的取值范围在[3,7]个图片范围内都为有效。

在图片数据采集期间可能会遇到两个问题：

1)如何使相机保持水平姿势？

2)如何避免无人机抖动对相机造成的影响？

关于第一个问题，本方法中将会采用机载三轴自稳云台来加以解决。三轴自稳云台采用由三个互相垂直的框组成的三轴结构，这三个框架依次嵌套，分别实现不同的作用。如附图1所示。

上述三轴体系中，外框轴为航向轴，与外框一起安装在无人机上。中框轴为俯仰轴，同中框一起安装在外框上，绕外框作俯仰运动。内框轴为横滚轴，与内框一起安装在中框上，用以测定承载台的滚动姿态。这三个轴分别负责承载台的航向、俯仰和滚转等三个方位的运动旋转补偿。当无人机飞行中姿态发生改变时，云台上的陀螺仪和加速度传感器传感器可及时测出旋转的角速度和角度，并将信息发送给控制器，由控制器驱动电机做运动反方向的旋转补偿以维持承载台的平衡，从而可以使相机始终保持水平。

关于第二个问题，要避免无人机抖动对相机造成的影响，主要通过三个途径：第一个是在云台减震板的上下板之间加装橡胶球，通过软连接以减弱震动的影响；第二个是通过在三轴云台实现无人机在机动时大的姿态动作补偿，使得画面稳定；第三种则是通过相机的快速曝光来减弱震动的影响。当相机的曝光时间减少，则能够避免由于无人机抖动而产生的拖影，采集到的图片信息的质量大大提高。

图片数据采集阶段的流程如图2所示：

首先是无人机的组装，无人机在飞行之前需要对其各部件进行组装：

(1)安装螺旋桨和智能飞行电池；

(2)展开遥控器上的移动设备支架，放置并使用数据线连接遥控器usb接口和移动设备；

(3)调整天线位置；

(4)校准指南针。

然后打开电源，进行飞行前检查：

(1)检查遥控器、智能飞行电池和移动设备的电量是否充足；

(2)检查三轴自稳云台是否运行正常；

(3)检查相机是否运行正常，确保microsd已插入，以及前视摄像头清洁；

(4)检查电机是否正常启动。

通过一系列检查并简单试飞之后，最后设置好飞行轨迹和飞行高度15m，便可以开始正式飞行。飞行过程中使无人机按照预定轨迹环绕单管塔飞行一周，同时保证相机镜头时刻对准单管塔方向，使得单管塔出现在照片中。飞行期间利用三轴自稳云台时刻保持相机姿势水平，即使相机所拍摄照片底边始终平行于地表。当连续拍摄w＝5张照片之后，则图片数据采集完毕，使无人机返航。

二、图像处理阶段：

对无人机传回的照片信息进行处理。处理的目的是为了获取照片中通信铁塔的轴线以作进一步的判断单管塔是否倾斜。这一阶段主要分为两步：第一步为单管塔识别，在该步中可以通过两种方式实现，一种是人工交互方式，一种是基于深度学习等的机器学习自动识别方式(本方案中以人工方式进行示例说明)；第二步为单管塔轴线的确定，进而判断其倾斜程度。

人机交互方式主要是通过人工交互来确定信号塔的粗略区域并进行后续处理。它的思路为人工点击待检测图片中的信号塔，从而提取单管塔的颜色特征，并确定出其粗略范围。具体为：选择待处理的图片并读入原始图像信息；将原始图像在显示器上显示出来，由人工准确选取图片中信号塔上的一个点，并获得该点的图像的横纵坐标将原始图像由rgb颜色空间转化到cielab颜色空间，选择固定阈值，将图像中各像素点的lab颜色空间各通道色彩分量与人工点选位置处的l、a、b颜色值进行比较，依据阈值确定颜色分布范围与人工点选像素相近的像素点为信号塔区域像素点；将处理过后的图像用大小为20像素的方型结构元素作膨胀处理，给出单管信号塔的粗略区域。

本实施例中，首先将无人机采集回来的待检测通信单管塔照片序列标记为st，其中，t＝1,2,...,5。选取并读入原始图像s1，依照如图3所示图像处理步骤进行处理，其余图像依照同样的步骤处理。

图像处理的具体可分为：

一)确定原始图像s1中单管塔的区域：

■单管塔特征提取

将原始图像s1在显示器上显示出来，如图4所示。在人机交互方式下，由人工准确点击选取原始图像s1上单管塔的n个点，其中，n的值越大即选取的点越多，最终提取到的单管塔的颜色信息就越准确。依次读取这n个像素点的坐标，记为(xi,yi)，其中，i＝1,2,...,n，关闭原始图像窗口。

■由rgb颜色空间转化到cielab颜色空间

将原始图像s1由rgb颜色空间转化到cielab颜色空间，获取原始图像s1上各像素点在lab颜色空间的色彩分量(l,a,b)，其中，l表示亮度，a表示红或绿的对应值，b表示黄或蓝的对应值，l、a、b均为8bit无符号整形。

■基于全局阈值的图像分割处理

设原始图像s1中像素点(x,y)在lab颜色空间中的色彩分量为l(x,y)、a(x,y)和b(x,y)。

首先，对(1)中提取到的n个单管塔像素点作进一步处理，根据如下公式：

其中，l为n个像素点的亮度均值，l(xi,yi)为选取的第i个像素点的亮度值，a为n个像素点的红或绿颜色均值，a(xi,yi)为选取的第i个像素点的红或绿颜色值，b为n个像素点的黄或蓝颜色均值，b(xi,yi)为选取的第i个像素点的黄或蓝颜色值。

然后，人工设置固定阈值threshold(本实施例中threshold＝10)，在cielab颜色空间，依次遍历s1上的每个像素点，按照如下标准分割图像：

若像素点同时满足：

|l(x,y)-l|＜threshold

|a(x,y)-a|＜threshold

|b(x,y)-b|＜threshold

则判定该点为单管塔像素点，置为白色点(值为1)。反之则不是单管塔像素点，置为黑色点(值为0)。

最终会得到除了单管塔部分为白色、其余部分均为黑色的如图5所示的二值化图像label。

■膨胀处理

如图5所示的二值化图像label中，由于存在本来应该标记为1的像素点(白色点)仍然标记为0(黑色点)，则产生了大量“空洞”，得到的并非完整的单管塔。因此，为了获得单管塔的粗略区域，则仍需要对该图像作膨胀处理，消除“空洞”。

膨胀处理是形态学处理的一种重要的方式，它利用结构元素来对图像补集进行填充，即扩大图像，使图像中的亮色特征变浓，暗色特征降低(gonzalezrs,wintzp.digitalimageprocessing[j].1977.)。

选择大小为20像素的方型结构元素，依次对label中的每一层二值图像进行膨胀处理，得到人工给出的单管塔的粗略区域，如图6所示。

二)确定单管塔的轴线

■将原始图像s1转化为灰度图bw。

■canny边缘检测

canny边缘检测算子是一种基于最优检测、最优定位和单边缘响应等准则而出现的算子，因为其检测精确度高、信噪比大和漏检率低等特点而被广泛使用。

对bw做canny边缘检测从而获取单管塔的边缘特征。设置阈值thresh为(0.093,0.095)，标准偏差值sigma(sigma＝2)，得到处理后的单管塔边缘图像f。边缘检测的结果如图7所示，得到的效果图f为二值图像。

本发明中，可利用canny算子对图像的边缘进行检测，但不局限于该算子，其它例如robert算子、prewitt算子和sobel算子等其它边缘检测算法同样适用。

■形态学去噪

如图7所示，经过canny算子检测到的效果图f上仍然存在噪声。为了避免噪声对最后结果产生影响，需要继续对效果图f做形态学去噪处理(曹海燕.数学形态学与变换域图像去噪算法及其并行化研究[d].成都:成都理工大学,2009.)。

先删除二值图f中面积小于scale(scale＝30)的噪声。为了填补删除噪声点后在图像中出现的“空洞”，还需要对二值图f继续做膨胀处理。选择长度为6像素，旋转角度为90°的垂直线性结构元素。依次对f中的每一层二值图像进行膨胀处理，得到去噪后的效果图f，如图8所示。

■hough变换

现已得到二值图f上点的集合，如果要找到位于图中一条直线上所有点的子集，其中一种方法就是先找到由每一对点决定的直线，然后找到属于这条特殊线的所有点的子集，这种方法在直角坐标系下往往由于计算量非常大并且时间复杂度高而极难实现(gonzalezrc,woodsre,eddinssl.digitalimageprocessingusingmatlab[m].2004.)。所以通常采用hough变换来实现对直线的检测。

hough变换利用点—线对偶性把图像空间中的检测问题转换到参数空间。通过简单的累加统计，在hough参数空间中寻找累加器峰值的方法检测直线。参数空间中直线的表示方式如下：

ρ＝xkcosθ+yksinθ

即将原本图像空间中用以表示经过点(xk,yk)的直线yk＝axk+b转化为用上述公式表示，其中ρ为直线到原点的距离，θ为该直线的垂线的倾斜角度。原图像上位于同一条直线上的所有点的子集拥有相同的(ρ,θ)，即可依此方式检测出二值图f中与单管塔相符合的直线，直线的倾斜角度即为单管塔的倾斜角度，进而检测出单管塔的倾斜角度。

首先设置ρ值的单位区间rhoresolution(rhoresolution＝0.5)，以及θ值的单位区间theta(theta＝0.5)，θ的单位为度。因为单管塔不可能过分倾斜，为了减少计算量，限定θ值的取值范围为(-10,10)。经过处理，得到hough变换的结果h，如图9所示。以及θ和ρ的一组值theta和rho。

■检测直线

检测直线的第一步是做hough变换峰值检测，旨在从hough变换的结果h中找到一组有意义的明显峰值。通过设置查找峰值数numpeaks(numpeaks＝3)，对h处理后得到一组峰值peak。

之后利用上一步骤hough变换中得到的θ和ρ的值theta和rho，以及峰值peak对二值图f进行hough直线检测，得到一组线段lines，其中线段的两个端点记为point1和point2，其坐标分别为(xpoint1,ypoint1)和(xpoint2,ypoint2)。可在二值图f中绘制并叠加这些线段，如图10所示。

■确定单管塔的轴线

现已得到hough直线检测的结果，首先判断其是否在一)中的单管塔粗略区域内，判断的标准如下：

若满足公式label(xpoint1,ypoint1)+label(xpoint2,ypoint2)＝2，则判定该线段两端点在图中单管塔粗略区域内，即该线段在单管塔的粗略区域内。如果不满足上述公式，则该线段不在图中单管塔上，排除该条直线段。从判定在单管塔粗略区域内的线段中任选一条，即认定为单管塔的轴线，如图11所示。

三)计算单管塔轴线与水平面之间的夹角

若：xpoint1＝xpoint2并且ypoint1≠ypoint2，则单管塔轴线与水平面之间的夹角α1为90°。

若：若xpoint1≠xpoint2并且ypoint1≠ypoint2，则依据如下公式可得到单管塔轴线与水平面之间的夹角α1：

三、根据步骤二可得到一组αt，其中，t＝1,2,...,5。若αt值均满足αt∈[88°,90°]，则可认为该单管塔垂直于地面(未倾斜)。否则，视该单管塔发生倾斜为危险状态。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。