专利名称：基于视觉伺服的输电线路无人机巡检云台控制方法
技术领域：
本发明涉及一种视觉伺服控制方法，尤其涉及一种于基于视觉伺服的输电线路无人机巡检云台控制方法。
背景技术：
传统的有人直升机或无人直升机对输电线路以及高压杆塔巡检的过程中，都需手动控制搭载检测设备的云台或是吊舱，这使得检测人员必须注意力高度集中的观察视频， 并及时的调整云台或吊舱以便检测目标(即输电线路)能在检测设备的视角范围内。这对于有人直升机的飞行员来说具有严峻的考验，同时无人直升机地面工作站对云台的调整又受时间等因素的制约，无法满足无人直升机在电力巡检中的应用需求，因此，如何自动调整云台实现对输电线路的自动检测显得非常重要。
现有的基于视觉伺服的系统中，浙江省电力公司提出的基于视觉伺服的移动机器人精确定位云台系统(专利号ZL 201020685635. 7)，虽然涉及利用视觉伺服来精确定位云台的方法，来提高机器人整体性能，但这一专利只是从理论上进行分析可以实现通过图像信息来实现对云台的精确定位，但对如何实现通过图像信息到云台控制量的转化这一关键步骤并没有进行描述。发明内容
本发明的目的就是为了解决上述问题，提供一种基于视觉伺服的输电线路无人机巡检云台控制方法，它实现了无人机搭载云台根据检测目标实现视觉伺服的控制方法，有效解决无人机巡检过程中对目标的定位拍摄，提高巡检的效率与质量。
为了实现上述目的，本发明采用如下技术方案
一种基于视觉伺服的输电线路无人机巡检云台控制方法，具体步骤为
步骤I利用成像设备，获取视频信息，从视频信息中获取一帧实时图像；
步骤2将该帧实时图像与模板图像进行匹配，获取像素偏差；同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较，确定图像中心的偏差 P ；
步骤3判断P是否大于偏差门限；若否则表示正常，本次检测结束；若是，则转入下一步；
步骤4通过P决定转动方向,然后将云台转动最小单位d ；
步骤5再次获取当前位置的设备图像；
步骤6利用跟踪算法企图目标新位置；求取该新位置与模板图像的偏差P1 ;
步骤7根据云台转动与图像中像素偏移之间的线性关系J1(P)=Cl/ (P1-P);判断P 是否大于门限，如否，则表明调整后满足要求，本次检测结束；若是，则根据P1决定云台转动方向，将云台转动J1 (P)-P1，然后返回步骤5。
所述像素偏差是指图像空间二维像素偏差(px, py) i，其中，px，Py分别为X和y方4向上的偏差。
所述步骤2中所述的像素偏差与图像中心的偏差P的获取过程的具体步骤为
A.特征点检测建立积分图像，利用箱式滤波器建立尺度空间，Hessian极值点检测；
B. SURF特征点描述子的生成根据特征点周围的一个圆形区域，确定主方向；在这个选定的主方向上构造一个矩形区域并提取所需的描述信息；
C.特征点匹配在完成了图像的SURF特征提取后，为了获取当前图像与模板图像间的位置差异，通过计算两幅图像特征的匹配关系，并建立两视图间的单应关系矩阵H，恢复出两幅图像间的像素偏移关系；
D.像素偏差获取根据模板中标出的目标及位置，通过步骤C获取的H矩阵，得到当前图像中目标的位置，计算图像中目标的位置移动到中心处的像素偏差。
所述步骤A中具体步骤为
首先获得原始图像的积分图像，对原始图像I(x，y)进行积分，得到积分图像 I (X，y)；
然后，建立尺度空间，对图像进行预处理时，使用箱式滤波器对高斯核近似；
对于不同的尺度口，相应的正方形滤波器的尺寸S也做相应的调整，SURF算法使用箱式滤波器对高斯核函数近似，加权箱式滤波器在X，I和Xy方向上对高斯二阶偏导近似；
最后，进行快速Hessian特征检测，由Hessian矩阵来进行图像极值点的检测。
所述步骤B中具体方法为利用极值点的主方向即以极值点为中心选取某一半径的圆形区域，在此区域内计算哈尔小波在X和y方向上的相应值，记为hx，hy，计算出图像在 harr小波的x，y方向的响应值后，对两个值进行因子为σ = 2s的高斯加权，s是极值点所在的尺度，加权后的值分别表示在X和y方向上的方向分量，记为Wh^Why ;对Wh^Why用直方图进行统计；将以极值点为中心的圆形区域分割成多个大小相同的扇形区域，分别统计每个扇形区域内的Whx, Why记为％ = Σ 'Κ=ΣΚ唭中Ω为相应的扇形区域，同时计3&Ω3εΩ算该区域的梯度值，取最大值所在的方向，主方向的度数根据Wx，Wy的反正切值来求得；在选定主方向后，首先将坐标轴旋转到主方向，按照主方向选取连长为20s的正方形区域将该区域划分为4X4的子区域，在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应，记作dx，dy ;同时将高斯权值赋给响应值，增加其对几何变换的鲁棒性，减小局部误差；接下来将每个子区域的响应以及响应的绝对值相加形成Σ<·，Σ4，ΣΙ <· I ’ΣΚ I ’其中Φ为4Χ4的子区域，这样，每个子区域就有4维向量，一χεΦ λ·€Φ χ&ΦχεΦ个SURF特征就是一个64维的特征向量。
所述步骤C的具体步骤为首先使用欧式距离来计算匹配关系，然后通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差dx，dy进而计算整幅图像的偏差，对H矩阵的求解利用RANSAC随机采样的模型估计方法来获得，通过随机采样建立模型需要的最小的样本集合，找到与该集合匹配的模型，然后检测其余样本与该模型的一致性，如果没有显著的一致性，包含外点的模型会被排除掉；通过几次迭代就找到包含与足够多的样本一致的模型。
所述步骤D中具体步骤为根据模板中标出的目标及位置，通过步骤C获取的H矩阵，得到当前图像中目标的位置，计算图像中目标的位置移动到中心处的像素偏差；设模板图像中待识别目标位置为X，通过H矩阵得在待识别图像中的位置记为X’，则X’ = HX,由此得X’相对于图像中心的像素偏差Y ；
定义当前位置摄像机采集图像的特征为S，目标位置的图像特征为由于采用 Look-After-Move模式，定义s与云台转动量的映射关系为
s* = L(s) (px, Py)
其中，(px，Py)为(Vt1)时刻内的偏转量，由上文中的基于SURF特征匹配获得的单应矩阵给出的平移分量获得，L(s)为h时刻获取的关于(px，Py)的线性雅克比关系。
本发明的有益效果
I、本发明通过基于SURF特征匹配技术，通过雅可比矩阵实现图像信息到控制信息的转换，解决了无人机在拍摄过程中对待检测设备图像的精确采集。这对于无人机巡检系统中对电力设备监测自动化方面具有重要的作用，大大提高检测的效率。
2、本发明可通过图像信息实现对云台的控制，无需增加额外设备，系统简单、灵活、投资较小；
3、本发明的有益成果还可用于变电站巡检机器人系统中，将有助于提高机器人对设备图像的采集质量，有助于后续的基于图像信息的设备状态识别。
图I为高斯滤波器与正方形滤波器；
图2为x，y方向的harr小波基；
图3为基于图像的视觉伺服流程图4a为输电线路铁塔视觉伺服前图像；
图4b为输电线路铁塔视觉伺服后图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
图3中，本发明的视觉流程图
I)利用成像设备，获取视频信息，从视频信息中获取一帧实时图像；
2)将该帧实时图像与模板图像进行匹配，获取像素偏差；同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较，确定图像中心的偏差P;
3)判断P是否大于偏差门限；若否则表示正常，本次检测结束；若是，则转入下一I K少；
4)通过P决定转动方向,然后将云台转动最小单位d ；
5)再次获取当前位置的设备图像；
6)利用跟踪算法企图目标新位置；求取该新位置与模板图像的偏差P1 ;
7)根据云台转动与图像中像素偏移之间的线性关系J1(P)=Cl/ (P1-P);判断P是否大于门限，如否，则表明调整后满足要求，本次检测结束；若是，则根据P1决定云台转动方向，将云台转动J1 (P)-P1，然后返回步骤5)。
在本发明中，在基于图像的视觉伺服系统中，控制信息的获取来自于目标图像特征与模板图像特征之间的差异。其关键的问题是如何建立反映图像差异变化与云台位姿速度变化之间关系的图像雅可比矩阵。
云台机器人手有η关节的η自由度，伺服任务以m图像特征来定义，云台机器人工作空间中一点使用η维向量表不为q = Lq1, q2, . . . , qn]T ;机器人手臂末端在笛卡尔坐标系中位置的P维向量，:r = Qr1, r2, ···, rp]T ;图像特征空间一点的m维向量表示为f = [fi, f2.…，fm]T。
由云台操作手末端到工作空间的速度变换关系如下
r = Jr[q] · qdr' dr. dr, dr, dn θκ, drn drn drn ^
式中./,.(//)=[
(、!'Λ/., /, OCj2 eg,, . Cy, vq2 dq 云台操作手末端位置的改变导致图像参数的变化，通过摄像机透视投影映射关系，可获得图像特征空间与操作手末端位置空间的变换关系
f = Jr · r.m …UHvdrn，drt Qr2 drn， ，drx dr2 drn=J r * q ·其中，Jq = J r * J ,即 df2 . Bfp dfp
其中，Jr =di\ Br2
从而有 fJ —严I.Sf2 可 2q ! … Sq1vq2，Sq2Λ ,为图像调整空间变化量与机器人控制空间的变换关系，定义该式为图像雅克比矩阵。
由于摄像机在工作过程中需要变化焦距，因此无法直接使用标定的手段来直接获取变换矩阵Jq，且由于拍摄设备目标距离不确定，因此，无法直接根据目标的深度信息Z来计算变换矩阵Jq，且由于云台转动过程为加速_匀速-减速，无法得到均匀的速度模型，为了简化图像雅克比求解问题，假设局部范围内云台转动速度为匀速V，且与摄像机局部范围内转动图像空间特征变化映射关系为线性关系。基于方向性的试探动作，来获取图像雅克比初始值，在后续的伺服过程中，不断更信图像雅克比，保证整个伺服过程的收敛性。
获取当前图像与目标图像间的像素偏差(px，py);根据运动控制系统反馈的云台转动量，计算图像空间偏差与云台控制量的线性关系J1(P)。
图像特征提取与描述的具体方案如下
A特征点检测
首先获得原始图像的积分图像，对原始图像I (X，y)进行积分，得到积分图像 I Σ (X，y)，见下式i<x j<y
= X V/(X>0i=0 J^=Q
其中，I(x，y)为图像像素值，(x，y)为像素坐标。
然后，建立尺度空间，对图像进行预处理时，使用箱式滤波器对高斯核近似，由于其在计算卷积时的计算量与滤波器大小无关，因此可以极大的提高算法运行速度。
对于不同的尺度口，相应的正方形滤波器的尺寸S也做相应的调整，SURF算法使用箱式滤波器对高斯核函数近似，由于其在计算卷积时计算量与滤波器大小无关，因此可7以极大的提高算法的运行速度，加权箱式滤波器在X，I和xy方向上对高斯二阶偏导近似；
最后，进行快速Hessian特征检测。由Hessian矩阵来进行图像极值点的检测， 首先根据特征值计算出来的行列式的符号(如正或负)，然后根据行列式值的正或负判断该点是不是局部极值点；如果行列式是正的，那么特征值全为正或者全为负，该点都是极值点。快速Hessian算子通过操作积分图像来加速卷积，只使用Hessian矩阵的行列式同时来选择位置和尺度，在点X和尺度σ下，Hessian矩阵的定义如下「 ^ 「ΚΑσ), ΙΛΤ(Χ,σ)1
H ='[Lv(X,a), L}y{X,a)_
其中，Lxx (X，σ)是在点X的高斯二阶导数F琴(^)/议2与I (x，y)的卷积，其余三项的定义也如此类推，为了快速的计算高斯二阶导数，这里选用正方形滤波器。
如图I所示，从左至右y方向和xy方向的高斯滤波器，y方向和xy方向的正方形滤波器应用了正方形滤波器以后，Hessian矩阵的行列式表示在点X周围的区域的箱式滤波器的响应值。通过det (Hessian)进行极值点的检测，行列式的值可以近似为
h = Dxx · Dyy-(w · Dxy)2
其中Dxx，Dyy和Dxy分别是使用了正方形滤波器以后对Lxx，Lyy和Lxy的近似，w是权重系数，h是Hessian行列式的值，这样我们就得到了在尺度σ上的近似响应，并通过阈值来选择选择局部极值点作为特征点。
B SURF特征点描述子的生成
特征描述子过程中，生成主方向和描述子生成的具体步骤如下
求极值点的主方向是以极值点为中心选取某一半径的圆形区域，在此区域内计算哈尔小波在X和y方向上的相应值，记为hx，hy。
图2为harr小波滤波器在x，y方向的上的描述。计算出图像在harr小波的x，y 方向的响应值后，对两个值进行因子为σ = 2s的高斯加权值，s是极值点所在的尺度，加权后的值分别表不在X和y方向上的方向分量，记为Whx, Why。
对Whx，Why用直方图进行统计，将以极值点为中心的圆形区域分割成60度大小的区域，分别统计每个扇形区域内的whx，Why记为&，其中Ω为相应的扇形6εΩ区域，同时计算该区域的梯度值，取最大值所在的方向，主方向的度数根据wx，Wy的反正切值来求得，在选定主方向后，首先将坐标轴旋转到主方向，按照主方向选取连长为20s的正方形区域将该区域划分为4X 4的子区域，在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应,记作dx,dy。同时将高斯权值赋给响应值, 增加其对几何变换的鲁棒性，减小局部误差。接下来将每个子区域的响应以及响应的绝对值相加形成ΣΧ·，Σ冬，ΣΚΙ，ΣΚ，Ι，其中Φ为4X4的子区域，这样，每个子区域就有4χεΦ χεΦχ^Φ维向量，一个SURF特征就是一个64维的特征向量。
C特征点匹配
在图像匹配的过程中，利用当前特征点描述向量和模板图像特征点描述向量，通过匹配算法确定相似度，然后设定一定的阈值进行限制，当特征点对相似度大于阈值也就是相似度达到一定程度时，认为特征点对是同名点；本方法中使用欧式距离来计算匹配关系O
在确定了两幅图像间的特征点的匹配关系后，无法直接根据点的对应关系来计算整幅图像的偏差；本方法通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差 dx，dy。由于SURF特征点的匹配算法，只获得了稀疏点的匹配关系，且存在误匹配，对H矩阵的求解可以利用RANSAC随机采样的模型估计方法来获得。
两个成像平面上点与点的单应关系可以通过一个单应矩阵H来表示。在2维图像空间中，单应矩阵被定义成一个3 X 3的矩阵H
wp' = Hp
权利要求
1.一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，具体步骤为 步骤I利用成像设备，获取视频信息，从视频信息中获取一帧实时图像； 步骤2将该帧实时图像与模板图像进行匹配，获取像素偏差；同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较，确定图像中心的偏差P; 步骤3判断P是否大于偏差门限；若否则表示正常，本次检测结束；若是，则转入下一I K少； 步骤4通过P决定转动方向，然后将云台转动最小单位d ； 步骤5再次获取当前位置的设备图像； 步骤6利用跟踪算法企图目标新位置；求取该新位置与模板图像的偏差P1 ； 步骤7根据云台转动与图像中像素偏移之间的线性关系J1(P)=Cl/ (P1-P);判断P是否大于门限，如否，则表明调整后满足要求，本次检测结束；若是，则根据P1决定云台转动方向，将云台转动J1 (P)-P1，然后返回步骤5。
2.如权利要求I所述一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是所述像素偏差是指图像空间二维像素偏差(px, Py) i，其中，px，Py分别为X和y方向上的偏差。
3.如权利要求I所述一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，所述步骤2中所述的像素偏差与图像中心的偏差P的获取过程的具体步骤为 A.特征点检测建立积分图像，利用箱式滤波器建立尺度空间，Hessian极值点检测； B.SURF特征点描述子的生成根据特征点周围的一个圆形区域，确定主方向；在这个选定的主方向上构造一个矩形区域并提取所需的描述信息； C.特征点匹配在完成了图像的SURF特征提取后，为了获取当前图像与模板图像间的位置差异，通过计算两幅图像特征的匹配关系，并建立两视图间的单应关系矩阵H，恢复出两幅图像间的像素偏移关系； D.像素偏差获取根据模板中标出的目标及位置，通过步骤C获取的H矩阵，得到当前图像中目标的位置，计算图像中目标的位置移动到中心处的像素偏差。
4.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，所述步骤A中具体步骤为 首先获得原始图像的积分图像，对原始图像I(x，y)进行积分，得到积分图像I (X，y)； 然后，建立尺度空间，对图像进行预处理时，使用箱式滤波器对高斯核近似； 对于不同的尺度口，相应的正方形滤波器的尺寸S也做相应的调整，SURF算法使用箱式滤波器对高斯核函数近似，加权箱式滤波器在X，y和xy方向上对高斯二阶偏导近似；最后，进行快速Hessian特征检测，由Hessian矩阵来进行图像极值点的检测。
5.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，所述步骤B中具体方法为利用极值点的主方向即以极值点为中心选取某一半径的圆形区域，在此区域内计算哈尔小波在X和y方向上的相应值，记为hx，hy，计算出图像在harr小波的x，y方向的响应值后，对两个值进行因子为σ = 2s的高斯加权，s是极值点所在的尺度，加权后的值分别表示在X和y方向上的方向分量，记为Wh^Why ;对Wh^Why用直方图进行统计；将以极值点为中心的圆形区域分割成多个大小相同的扇形区域，分别统计每个扇形区域内的Whx, Why记为R 二 ΣΙ ,r =Σ% ’其中Ω为相应的扇形区域，同时计 算该区域的梯度值，取最大值所在的方向，主方向的度数根据wx，Wy的反正切值来求得；在选定主方向后，首先将坐标轴旋转到主方向，按照主方向选取连长为20s的正方形区域将该区域划分为4X4的子区域，在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应，记作dx，dy ;同时将高斯权值赋给响应值，增加其对几何变换的鲁棒性，减小局部误差；接下来将每个子区域的响应以及响应的绝对值相加形成TA ’ΣΚΙ ’ΣΚΙ’其中Φ为4X4的子区域，这样，每个子区域就有4维向量，一Λ€Φ λ*€Φ个SURF特征就是一个64维的特征向量。
6.如权利要求3所述一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，所述步骤C的具体步骤为首先使用欧式距离来计算匹配关系，然后通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差dx，dy进而计算整幅图像的偏差，对H矩阵的求解利用RANSAC随机采样的模型估计方法来获得，通过随机采样建立模型需要的最小的样本集合，找到与该集合匹配的模型，然后检测其余样本与该模型的一致性，如果没有显著的一致性，包含外点的模型会被排除掉；通过几次迭代就找到包含与足够多的样本一致的模型。
7.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法，其特征是，所述步骤D中具体步骤为根据模板中标出的目标及位置，通过步骤C获取的H矩阵，得到当前图像中目标的位置，计算图像中目标的位置移动到中心处的像素偏差；设模板图像中待识别目标位置为X，通过H矩阵得在待识别图像中的位置记为X’，则X’ = HX,由此得X'相对于图像中心的像素偏差Y ; 定义当前位置摄像机采集图像的特征为S，目标位置的图像特征为S'由于采用Look-After-Move模式，定义s与云台转动量的映射关系为 其中，(Px, Py)为UtTt1)时刻内的偏转量，由上文中的基于SURF特征匹配获得的单应矩阵给出的平移分量获得，L(s)为h时刻获取的关于(px，Py)的线性雅克比关系。
全文摘要
本发明公开了一种基于视觉伺服的输电线路无人机巡检云台控制方法，步骤为步骤1利用成像设备，获取视频信息；步骤2将该帧实时图像与模板图像进行匹配，获取像素偏差和确定图像中心的偏差P；步骤3判断P是否大于偏差门限；若否则表示正常，本次检测结束；若是，则转入下一步；步骤4通过P决定转动方向，然后将云台转动最小单位d；步骤5再次获取当前位置的设备图像；步骤6利用跟踪算法企图目标新位置；求取该新位置与模板图像的偏差P1；步骤7根据云台转动与图像中像素偏移之间的线性关系，判断P是否大于门限，如否，本次检测结束；若是，然后返回步骤5。它有效解决无人机巡检过程中对目标的定位拍摄，提高了巡检的效率与质量。
文档编号G06K9/40GK102929288SQ20121030242
公开日2013年2月13日 申请日期2012年8月23日 优先权日2012年8月23日
发明者王滨海, 王万国, 李丽, 王振利, 张晶晶, 王骞, 刘俍, 张嘉峰 申请人:山东电力集团公司电力科学研究院, 国家电网公司