本发明涉及自动控制领域，特别是涉及基于视觉反馈的巡视机器人云台调整方法。
背景技术：
名词解释：
roi：regionofinterest，感兴趣区域。
随着科学技术的步伐，电网的建设正由传统的有人值守人工检测向无人值守智能变电站方向发展。因此巡视机器人孕育而生，巡视机器人系统是集信息一体化技术、多传感器融合技术、自主导航技术、安防技术、高级图像处理技术、模式识别技术、高效无线传输技术于一体的复杂系统。巡视器人基于激光自主导航，实现巡检路线的最优规划，自动避障绕行，进行变电站设备的图像、音频、红外测温数据的采集，并通过无线网络传输至后台服务器，应用高级图像识别技术，音频分析技术，红外专家库等技术实现设备异常分析，开关分合识别、仪表读数，油位计油位识别，异物检查，设备测温等功能。因此可知，高清可见图像和红外测温图像的拍摄采集的过程在整个系统中尤为重要。但在实际机器人巡检过程中，有很多的客观因素制约着设备图像的采集工作。
通过实际变电站巡视机器人的试行中发现，通过高清摄像机和红外摄像机实时采集到的图像时常出现拍摄角度和视野的偏差，偶尔甚至会出现拍摄不到需要检测的设备的情况。因此如果拍摄姿态的重复性不高，将导致后面的图像识别工作将无法进行。通过分析和试验总结了导致图像采集出现误差的主要几个重要因素：
(1)设备模板图像是由操作员人工控制机器人云台及相机进行拍摄采集，一般情况下需要观察的设备区域位于图像的中央部分，并保存云台角度与相机倍率，聚焦等相关的参数，但是巡视机器人在执行巡检任务时无操作人员对其进行指引，机器人行进至每一设备观测预置位后，调用该设备模板图像的拍摄参数，进行云台转动控制及相机参数，进行自主采集实时设备状态图像，此过程缺乏对设备区域是否偏出图像视野范围作验证。
(2)巡视机器人在变电站中行驶的路面大多由沥青或水泥铺设，甚至有些还是水泥板拼接而成的。这类地势环境对于机器人的驱动轮来说难免会有一定的影响，这就导致了巡检过程中一路走来在预置位停车位置的重复性有一定的误差，此时机器人的航向角相对于模板图像采集时会有差别，这样的差别便导致了即使机器人准确的控制了云台姿态，也不能避免采集图像中设备区域的偏离误差。
(3)在一个普通的220kv变电站中，机器人执行巡检任务时需要观测的设备多达3千个以上，巡视机器人云台载重约5kg，经过一定时间的使用后，云台转动次数数以万计，云台的机械设备难免会出现磨损，如果一直使用相同的角度转动控制参数，云台的实际姿态可能会发生变化，即设备图像可能偏移出图像的视野范围。
(4)当云台转动控制的不再像初始时那样精确，需要对云台进行复位校正、调整云台转动控制参数，甚至当云台出现故障后需要进行云台更换，这些云台设备的维护措施导致了转动控制参数的更改，需要进行模板图像的重新采集以及云台参数的重设，耗时费力，但如果不采取措施，会产生更大的巡检采集图像的偏离。
(5)当机器人远距离采集如仪表此类的设备时，需要将高清摄像机倍率放大到30倍来进行观测，这时机器人姿态或云台控制中任何细微的差别都可能造成设备区域的偏出。
(6)当云台进行小角度运动时，由于运动距离较短，电机可能无法到达设定的速度，从而由于速度较低无法靠惯性运动到位，造成系统误差，这也可以导致采集的图像产生偏离。
技术实现要素：
为了解决上述的技术问题，本发明的目的是提供基于视觉反馈的巡视机器人云台调整方法。该方法通过图像场景信息的匹配反馈调整云台的姿态，实现云台控制的高精度闭环控制定位，有效的解决了巡视机器人实时采集图像产生的偏离误差问题，为图像处理打好了基础，同时提高了巡检的效率和质量。
本发明解决其技术问题所采用的技术方案是：
基于视觉反馈的巡视机器人云台调整方法，包括步骤：
s1，巡视机器人进行巡检，在巡检过程中从数据库中获取对应的云台姿态数据和相机参数后进行拍摄，并将实时拍摄采集的设备图像发送到服务器；
s2，服务器接收到实时采集的设备图像后，从数据库中调用对应待检设备的模版图像，采用基于形状的模版匹配方法，将实时采集的设备图像与数据库中保存的匹配模版进行匹配；
s3，计算实时采集到的设备图像与模版图像的位置偏移关系，以及两幅图像的匹配值；
s4，根据计算出的匹配值判断所采集的设备图像的完整性，当判断所采集的设备图像不完整时，对巡视机器人的云台姿态数据和相机工作参数进行调整，重新返回步骤s1，直到判断所采集的设备图像完整或调整次数达到预设次数阈值时，执行步骤s5；
s5，将采集的设备图像进行图像识别处理后进行存储，并发出控制指令控制巡检机器人进行下一个预设点的巡检工作。
进一步，所述步骤s1之前还包括步骤：
s0，将巡视机器人巡检路线中每一个预设点的待检设备的云台姿态数据、相机工作参数、模版图像和生成图像roi区域的参数文件与该待检设备进行关联后保存在数据库中。
进一步，所述步骤s0，包括步骤：
s01，控制巡视机器人依次行驶到巡检线路中的每个预设点位置，然后记录该预设点的地理位置信息并保存在数据库中；
s02，调节云台的旋转角度和俯仰角度，同时调整相机的工作参数，直到待检测设备被清晰拍摄并处于所拍摄图像的中心位置后，拍摄获得待检设备的模板图像并设定图像的roi区域；
s03，获取此时的云台姿态数据、相机工作参数、模版图像和生成图像roi区域的参数文件后，与该待检设备进行关联后保存在数据库中。
进一步，所述s1中从数据库中获取对应的云台姿态数据和相机参数后进行拍摄的步骤，其具体为：
从数据库中获取对应的云台姿态数据和相机参数，进而解析获得云台的旋转角度和俯仰角度后，控制云台进行相应的运动，进而根据相机参数调整相机后，对待检设备进行拍摄。
进一步，所述步骤s2，包括步骤：
s21，服务器接收到实时采集的设备图像后，从数据库中调用对应待检设备的模版图像，进而采用高斯光滑的拉普拉斯变化对模板图像进行边缘特征提取，提取模版图像的roi区域中的边缘特征；
s22，采用金字塔二次采样，将模版图像多次缩小一半，构成金字塔图像；
s23，对金字塔图像进行旋转平移变换后生成匹配模板；
s24，将设备图像与匹配模板进行匹配。
进一步，所述步骤s3，包括步骤：
s31，根据下式，计算实时采集到的设备图像与模版图像的位置偏移关系：
上式中，offset(pix)为像素偏移差，h代表水平方向，v代表垂直方向，ctemp表示模版图像中的特征点的位置；ccap表示设备图像中的特征点的位置，n表示特征点数量；
s32，根据下式，计算判断设备图像与模版图像的匹配值：
其中，ncc(r,c)表示匹配值，mt表示模版图像的平均灰度值，
进一步，所述s4中所述根据计算出的匹配值判断所采集的设备图像的完整性的步骤，具体为：判断计算出的匹配值是否处于预设匹配阈值范围内，若是，则表示所采集的设备图像完整，反之，表示所采集的设备图像不完整。
进一步，所述s4中所述当判断所采集的设备图像不完整时，对巡视机器人的云台姿态数据和相机工作参数进行调整的步骤，包括：
缩小相机的光学放大倍率后重新进行拍摄，获得调整前后拍摄的两幅设备图像在水平方向和垂直方向平移的距离，并在该距离大于最小阈值时，根据相机像距和焦距，计算获得模版图像与设备图像的偏转角度后，将其转换为对云台姿态数据的调整参数，进而将调整参数与原云台姿态数据叠加获得补偿后的云台姿态数据，最后将光学放大倍率放大到原倍率。
进一步，所述模版图像与设备图像的偏转角度是通过下式计算获得的：
其中，
上式中，offset(ang)表示模版图像与设备图像的偏转角度，offset表示像素偏移差，h代表水平方向，v代表垂直方向，solution表示相机的像距，f表示相机的焦距。
进一步，所述s5中所述将采集的设备图像进行图像识别处理后进行存储的步骤，其具体为：
根据前述设备图像与模板图像的匹配结果，获得设备图像中设备区域的坐标位置并裁剪获得待识别的设备区域子图像后，调用与该待检设备对应的图像处理函数，对该设备区域子图像进行设备工作状态的识别，并进行存储。
本发明的有益效果是：本发明的基于视觉反馈的巡视机器人云台调整方法，包括步骤：s1，巡视机器人进行巡检，在巡检过程中从数据库中获取对应的云台姿态数据和相机参数后进行拍摄，并将实时拍摄采集的设备图像发送到服务器；s2，服务器接收到实时采集的设备图像后，从数据库中调用对应待检设备的模版图像，采用基于形状的模版匹配方法，将实时采集的设备图像与数据库中保存的匹配模版进行匹配；s3，计算实时采集到的设备图像与模版图像的位置偏移关系，以及两幅图像的匹配值；s4，根据计算出的匹配值判断所采集的设备图像的完整性，当判断所采集的设备图像不完整时，对巡视机器人的云台姿态数据和相机工作参数进行调整，重新返回步骤s1，直到判断所采集的设备图像完整或调整次数达到预设次数阈值时，执行步骤s5；s5，将采集的设备图像进行图像识别处理后进行存储，并发出控制指令控制巡检机器人进行下一个预设点的巡检工作。本方法可以通过巡航机器人采集的待检设备的设备图像的反馈信息，实现云台的闭环控制，实现巡航机器人的云台自动控制调整，控制精度高，智能化程度高，操作便捷。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明的基于视觉反馈的巡视机器人云台调整方法的流程图。
具体实施方式
参照图1，本发明提供了一种基于视觉反馈的巡视机器人云台调整方法，包括步骤：
s1，巡视机器人进行巡检，在巡检过程中从数据库中获取对应的云台姿态数据和相机参数后进行拍摄，并将实时拍摄采集的设备图像发送到服务器；巡视机器人在接收到后台的巡检任务下发指令时，巡视机器人自动启动巡检模式，按照预设置的巡检路径顺序进行巡检，巡检过程中，到达预设位置即停车，调用数据库中该位置的云台姿态数据，即云台的俯仰角度和旋转角度，以及相机的参数，包括放大倍数和聚焦值等；
s2，服务器接收到实时采集的设备图像后，从数据库中调用对应待检设备的模版图像，采用基于形状的模版匹配方法，将实时采集的设备图像与数据库中保存的匹配模版进行匹配；
s3，计算实时采集到的设备图像与模版图像的位置偏移关系，以及两幅图像的匹配值；
s4，根据计算出的匹配值判断所采集的设备图像的完整性，当判断所采集的设备图像不完整时，对巡视机器人的云台姿态数据和相机工作参数进行调整，重新返回步骤s1，直到判断所采集的设备图像完整或调整次数达到预设次数阈值时，执行步骤s5；如果调整次数达到预设次数阈值，还未达到规定匹配值即表示相机仍未能拍摄采集到待检设备的完整的设备图像，则意味该预设点的检测任务失败，执行步骤5后，按照巡检顺序进行下一个预设点巡检；
s5，将采集的设备图像进行图像识别处理后进行存储，并发出控制指令控制巡检机器人进行下一个预设点的巡检工作。
在夜间或能见度不佳的天气条件下执行巡检任务时，巡航机器人可以使用携带的红外热像仪采集设备热能图像，计算红外图像的像素偏差计算云台误差完成角度补偿，实现机器人可以在24小时全天候下准确采集电力设备的可见光图像与红外热图像。至此，在任一预置位执行相应的“视觉反馈”后，机器人相机中呈现的画面与模板图像的误差已经很微，不必再做调整，采集实时的设备图像与模板图像匹配进行设备区域标定及设备工作状态识别。
进一步作为优选的实施方式，所述步骤s1之前还包括步骤：
s0，将巡视机器人巡检路线中每一个预设点的待检设备的云台姿态数据、相机工作参数、模版图像和生成图像roi区域的参数文件与该待检设备进行关联后保存在数据库中。
进一步作为优选的实施方式，所述步骤s0，包括步骤：
s01，控制巡视机器人依次行驶到巡检线路中的每个预设点位置，然后记录该预设点的地理位置信息并保存在数据库中；
s02，调节云台的旋转角度和俯仰角度，同时调整相机的工作参数，直到待检测设备被清晰拍摄并处于所拍摄图像的中心位置后，拍摄获得待检设备的模板图像并通过鼠标输入设定图像的roi区域；
s03，获取此时的云台姿态数据、相机工作参数、模版图像和生成图像roi区域的参数文件后，与该待检设备进行关联后保存在数据库中。云台姿态数据包括旋转角度和俯仰角度。
进一步作为优选的实施方式，所述s1中从数据库中获取对应的云台姿态数据和相机参数后进行拍摄的步骤，其具体为：
从数据库中获取对应的云台姿态数据和相机参数，进而解析获得云台的旋转角度和俯仰角度后，控制云台进行相应的运动，进而根据相机参数调整相机后，对待检设备进行拍摄。
进一步作为优选的实施方式，所述步骤s2，包括步骤：
s21，服务器接收到实时采集的设备图像后，从数据库中调用对应待检设备的模版图像，进而采用高斯光滑的拉普拉斯变化对模板图像进行边缘特征提取，提取模版图像的roi区域中的边缘特征；
高斯光滑滤波的计算公式如下：
上式中，g0(x,y)表示高斯光滑滤波结果，x表示横坐标，y表示纵坐标，a表示幅值，μ表示均值，σ表示标准差，μ和σ均包括x方向和y方向上的均值和标准差。
其中拉普拉斯变化是在图像的x，y方向上二阶偏导求和，计算公式如下：
s22，采用金字塔二次采样，将模版图像多次缩小一半，构成金字塔图像；基于金字塔分层搜索策略：由高层开始到底层搜索，在高层图像搜索到的模版实例追踪到图像金字塔的最底层，应用金字塔二次采样大大的加速了图像搜索效率。
s23，对金字塔图像进行旋转平移变换后生成匹配模板；
旋转平移变换矩阵如下：
δx，δy分别表示图像在x轴和y轴上平移的距离，θ分别表示图像绕中心位置的旋转角度。
s24，将设备图像与匹配模板进行匹配。
进一步作为优选的实施方式，所述步骤s3，包括步骤：
s31，根据下式，计算实时采集到的设备图像与模版图像的位置偏移关系：
上式中，offset(pix)为像素偏移差，h代表水平方向，v代表垂直方向，ctemp表示模版图像中的特征点的位置；ccap表示设备图像中的特征点的位置，n表示特征点数量；模版图像中的特征点是指前述步骤s21进行拉普拉斯变化后得到的边缘特征点；
s32，根据下式，计算判断设备图像与模版图像的匹配值：
其中，ncc(r,c)表示匹配值，是通过归一化相关系数来表达的，mt表示模版图像的平均灰度值，
以上计算得到ncc的范围值是-1≤ncc≤1，归一化相关系数的绝对值越大表示模版与待检测图像越相近。
进一步作为优选的实施方式，所述s4中所述根据计算出的匹配值判断所采集的设备图像的完整性的步骤，具体为：判断计算出的匹配值是否处于预设匹配阈值范围内，若是，则表示所采集的设备图像完整，反之，表示所采集的设备图像不完整。
进一步作为优选的实施方式，所述s4中所述当判断所采集的设备图像不完整时，对巡视机器人的云台姿态数据和相机工作参数进行调整的步骤，包括：
缩小相机的光学放大倍率后重新进行拍摄，获得调整前后拍摄的两幅设备图像在水平方向和垂直方向平移的距离，并在该距离大于最小阈值时，根据相机像距和焦距，计算获得模版图像与设备图像的偏转角度后，将其转换为对云台姿态数据的调整参数，进而将调整参数与原云台姿态数据叠加获得补偿后的云台姿态数据，最后将光学放大倍率放大到原倍率。这里，调整前后拍摄的两幅设备图像在水平方向和垂直方向平移的距离用于判断是否需要对云台进行调节，当该距离小于最小阈值时，表示云台不需要再进行调节，反之，需要进行调节，继续执行后面的调整参数计算等步骤。
进一步作为优选的实施方式，所述模版图像与设备图像的偏转角度是通过下式计算获得的：
其中，
上式中，offset(ang)表示模版图像与设备图像的偏转角度，offset表示像素偏移差，h代表水平方向，v代表垂直方向，solution表示相机的像距，f表示相机的焦距。
将偏转角度转换为对云台姿态数据的调整参数的计算方法如下：
其中，ptzctrloffset表示调整参数，ptzsolution表示云台转动单位角度的控制采样值，h代表水平方向，v代表垂直方向，offset(ang)表示前述的模版图像与设备图像的偏转角度。
将调整参数与原云台姿态数据叠加获得补偿后的云台姿态数据的过程如下：
其中，ptz表示补偿后的云台姿态数据，ptzcur为云台当前的云台姿态数据，ptzctrloffset表示调整参数，即表示对云台控制补偿的参数，-v表示由于当云台向上运动过度时，设备图像中的特征点位置相对于模版图像偏下，此时，前述计算的偏转角度符号为“+”时，调整参数的符号为“-”；水平方向的补偿则与补偿量的符号一致。
进一步作为优选的实施方式，所述s5中所述将采集的设备图像进行图像识别处理后进行存储的步骤，其具体为：
根据前述设备图像与模板图像的匹配结果，获得设备图像中设备区域的坐标位置并裁剪获得待识别的设备区域子图像后，调用与该待检设备对应的图像处理函数，对该设备区域子图像进行设备工作状态的识别，并进行存储。
本发明很大程度上提高了巡检任务中采集设备图像的准确性，通过巡检过程中云台视觉反馈的调整，图象采集的准确率高达99.3％以上。设置在最大放大倍率30倍的情况下，也能准确的将待检设备拍摄回来。本发明标志着巡视机器人能够通过视觉的反馈信息，与云台控制形成闭环，完成了“眼睛”(相机)和“头部”(云台)的自动协调控制，从而提高了巡视机器人的智能化程度，给工作人员带来了很大的便捷。
另外，巡视机器人携带的相机可以采用可见光及红外摄像机进行视觉反馈，在本发明实施之后实现了机器人在变电站24小时全天候的电力设备巡检任务，保障变电站设备安全运行。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。