一种基于视觉伺服的杆塔图像采集系统及其方法
【技术领域】
[0001] 本发明涉及数字图像处理领域，尤其涉及一种基于视觉伺服的杆塔图像采集系统 及其方法。
【背景技术】
[0002] 杆塔是架空输电线路的重要组成部分，其作用是支撑架空线路导线和架空地线， 并使导线与导线之间，导线和架空地线之间，导线与杆塔之间，以及导线对大地和交叉跨越 物之间有足够的安全距离。由于杆塔长期暴露在自然环境中，受到自然或者人为因素的影 响，存在螺丝松动、脱落，杆塔歪斜，塔基裸露等问题。如果不对这些存在问题的杆塔进行定 期的巡查和检修，将会影响到整个电网的正常运行甚至有可能引发重大安全事故。
[0003] 通过无人机搭载可见光、红外设备对杆塔进行巡检及图像信息采集，可以及时的 发现杆塔存在的问题而且有效地弥补了人工巡检存在的不足。但是目前基于无人机的杆塔 图像信息采集方式是，操控人员观察地面站返回的视频信息调整机载云台以完成杆塔的信 息采集，这要求操控人员要实时的观察地面站的反馈信息，劳动强度较大。如何利用杆塔识 别技术与视觉伺服技术自动完成杆塔信息采集显得尤为重要。
[0004] 现有的基于视觉伺服的系统中，山东省电科院提出的基于视觉伺服的输电线路无 人机巡检云台控制（专利号:CN 1029292880 A)虽然设计利用视觉伺服技术调整云台实现 输电线路的跟踪，但是这一专利仅仅是利用视觉伺服技术来实现线路的跟踪功能，对如何 针对杆塔获取高质量的图像这一关键技术没有进行描述。
【发明内容】
[0005] 为了解决现有技术的缺点，本发明提供一种基于视觉伺服的杆塔图像采集系统及 其方法。本发明利用杆塔识别技术识别定位出视频中的杆塔位置;然后通过视觉伺服技术 调整机载云台的位置，将高清相机定位到杆塔;最后进行拍照以完成对杆塔的信息采集，从 而提高杆塔信息采集的准确性和采集图像的质量。
[0006] 为实现上述目的，本发明采用以下技术方案：
[0007] -种基于视觉伺服的杆塔图像采集系统，包括：
[0008] 无人机，所述无人机上载有云台，云台上安装有相机和摄像机;所述摄像机用于获 取杆塔的视频信息；
[0009] 图像截取模块，其用于从获取杆塔的视频信息中截取一帧实时图像；
[0010]杆塔识别定位模块，其用于识别并定位杆塔在截取的实时图像中的位置；
[0011] 杆塔位置判断模块，其用于判断杆塔是否位于截取的实时图像的中央位置；
[0012] 云台控制模块，其用于当杆塔不位于截取的实时图像的中央位置时，采用基于图 像的视觉伺服的方式来控制云台转动，通过杆塔在图像中的位置确定云台的转动方向；
[0013] 图像采集模块，根据步骤三获得的偏差确定云台的转动量，当杆塔位于截取的实 时图像的中央位置时，从杆塔的某一角开始，以"S"型路径调整云台位置，同时采用云台上 的相机进行杆塔图像采集。
[0014] 所述相机与摄像机在云台上处于同轴的位置。
[0015] 所述相机为单目相机。
[0016] 所述杆塔识别定位模块，包括：
[0017] 直线检测模块，其用于利用LSD直线检测算法对获取的实时图像进行直线检测；
[0018] 杆塔定位模块，其用于将实时图像分割成若干个图像分块，统计每个图像分块中 的直线数量，进而判断是否存在杆塔以及确定杆塔的位置。
[0019] -种基于视觉伺服的杆塔图像采集系统的杆塔图像采集方法，包括：
[0020] 步骤(1):依据巡检要求，采用云台上的摄像机获取杆塔的视频信息并从视频中截 取一帧实时图像；
[0021] 步骤(2):识别并定位杆塔在截取的实时图像中的位置；
[0022]步骤(3):判断杆塔是否位于截取的实时图像的中央位置，若是，则进入步骤(5); 否则，确定杆塔相对于截取的实时图像的中央位置的偏差，并进入下一步；
[0023]步骤(4):采用基于图像的视觉伺服的方式来控制云台转动，通过杆塔在图像中的 位置确定云台的转动方向，然后根据步骤三获得的偏差确定云台的转动量;调整云台后，再 次获取当前位置处的杆塔实时图像，转入执行步骤(2);
[0024]步骤(5):从杆塔的某一角开始，以"S"型路径调整云台位置，同时采用云台上的相 机进行采集杆塔图像。
[0025]所述步骤(2)的具体过程为：
[0026] 首先，利用LSD直线检测算法进行直线检测获取的实时图像；
[0027] 然后，将实时图像分割成若干个图像分块，统计每个图像分块中的直线数量，进而 判断是否存在杆塔以及确定杆塔的位置。
[0028] 所述步骤(4)中采用基于图像的视觉伺服的方式来控制云台转动的具体过程为：
[0029] 步骤(4.1):定位到包含杆塔部件的右上角的图像分块，提取该图像分块的SURF特 征Fi;
[0030] 步骤(4.2):根据该图像分块的位置决定云台的转动方向，云台的转动方向为使得 杆塔向图像中心偏移的方向；然后将云台转动最小单位，获取当前位置处的杆塔图像，并提 取其SURF特征F 2;
[0031] 步骤(4.3):匹配特征^与内，并计算^与^的匹配点对在像素级别上的偏移量； [0032]步骤(4.4):根据特征偏移量与云台转动量之间的线性映射关系，得到云台转动 量。
[0033] 所述步骤(4.3)中，利用RANSAC随机采样来剔除误匹配的特征对，获取特征的匹配 矩阵H，由对应关系可得到两个特征的匹配方程为:内二册:。
[0034] 所述步骤(4.4)中，特征偏移量与云台转动量之间的线性映射矩阵为当前图像的 雅克比矩阵。
[0035]本发明的有益效果为：
[0036] (1)本发明实现了在无人机巡检过程中对杆塔图像的自动采集，大大的降低了巡 检人员的劳动强度，而且本发明采用基于图像的视觉伺服控制方式实现对云台控制，通过 计算雅克比矩阵来描述图像像素信息与云台控制量间的对应关系；
[0037] (2)本发明还根据杆塔的特性，设定"S"型路径拍照方式，保证了杆塔信息的完整 性；
[0038] (3)本发明的杆塔图像的获取是基于单目相机完成，对设备要求较低，整体系统简 单。
【附图说明】
[0039] 图1是本发明的基于视觉伺服的杆塔图像采集方法的流程图；
[0040] 图2是从获取杆塔的视频信息中截取一帧实时图像；
[0041] 图3是调整云台后获取的杆塔实时图像；
[0042]图4a)是本实施例采集的第一幅杆塔图像；
[0043]图4b)是本实施例采集的第二幅杆塔图像；
[0044]图4c)是本实施例采集的第三幅杆塔图像；
[0045]图4d)是本实施例采集的第四幅杆塔图像；
[0046] 图4e)是本实施例采集的第五幅杆塔图像；
[0047] 图4f)是本实施例采集的第六幅杆塔图像；
[0048] 图4g)是本实施例采集的第七幅杆塔图像；
[0049] 图4h)是本实施例采集的第八幅杆塔图像；
[0050] 图4i)是本实施例采集的第九幅杆塔图像。
【具体实施方式】
[0051] 下面结合附图与实施例对本发明做进一步说明：
[0052] 本发明的基于视觉伺服的杆塔图像采集系统，包括：
[0053]无人机，所述无人机上载有云台，云台上安装有相机和摄像机;所述摄像机用于获 取杆塔的视频信息；
[0054]图像截取模块，其用于从获取杆塔的视频信息中截取一帧实时图像；
[0055] 杆塔识别定位模块，其用于识别并定位杆塔在截取的实时图像中的位置；
[0056] 杆塔位置判断模块，其用于判断杆塔是否位于截取的实时图像的中央位置；
[0057]云台控制模块，其用于当杆塔不位于截取的实时图像的中央位置时，采用基于图 像的视觉伺服的方式来控制云台转动，通过杆塔在图像中的位置确定云台的转动方向； [0058]图像获取模块:根据步骤三获得的偏差确定云台的转动量；当杆塔位于截取的实 时图像的中央位置时，从杆塔的某一角开始，以"S"型路径调整云台位置，同时采用云台上 的相机进行采集杆塔图像。
[0059] 其中，相机与摄像机在云台上处于同轴的位置。
[0060] 相机可采用单目相机。
[0061 ]进一步地，杆塔识别定位模块，包括：
[0062]直线检测模块，其用于利用LSD直线检测算法进行直线检测获取的实时图像；
[0063]杆塔定位模块，其用于将实时图像分割成若干个图像分块，统计每个图像分块中 的直线数量，进而判断是否存在杆塔以及确定杆塔的位置。
[0064]在采用基于图像的视觉伺服的方式来控制云台转动时，采用eye-in-hand的方式 进行，云台有m个自由度，云台转动的角速度为q= [qi, ···，qP]，末端的线速度为r= [ri,…， rm]，两者具有如下关系：
[0065] r = Jr · q
[0067] 将云台的位置变换通过相机透视投影矩阵转换为图像参数的变化，从而获得图像 特征空间与云台末端位置空间的变换关系。
[0068] 假设当前图像的坐标为(x，y)，最终变换关系为：
[0071] u=[vx，Vy，vz, ωχ, ωγ, (02]1'^^，￥2分别表示