一种基于多视觉系统的开关柜局部放电自动检测方法与流程

本发明涉及一种基于多视觉系统的开关柜局部放电自动检测方法。

背景技术：

随着科技进步和两个一流建设的不断发展，以“信息化、数字化、自动化、互动化”为特征的智能电网建设逐渐深入，变电站智能巡检机器人列入《国家电网公司第一批重点推广新技术目录》，变电站智能巡检机器人进入了推广应用阶段。2013年进行例行巡视、表计抄录并自动存储对比分析、恶劣天气巡视、红外精确测温、后台自动存档分析等功能，有效地提升了变电站巡检效率和效益，减轻了基层班组一线员工的工作负担。随着变电站巡检机器人持续深化应用，对机器人的应用又提出了一些更高的要求，主要表现在以下三方面：

第一，变电站智能巡检机器人功能受到了限制，机器人只能在室外执行巡检任务，而且功能局限于红外测温仪和可见光摄像机的检测，针对室内电气柜及开关柜设备的局放检测只能依靠人工巡检，还无法在机器人巡检中实现；

第二，现有变电站内的巡检机器人导航方式主要依靠磁导航和激光导航，这两种导航方式成本高，灵活性不足，对检测环境也有一定的要求；

第三，智能机器人携带机械臂进行作业，大多基于双目视觉的伺服系统指导机械臂工作。基于双目视觉伺服的机械臂系统由于受到设备定位精度、控制精度、机械误差的影响，导致最终机械臂末端停靠位置与实际检测位置产生误差，影响机械臂进行作业的质量。

技术实现要素：

本发明为了解决上述问题，提出了一种基于多视觉系统的开关柜局部放电自动检测方法，本发明通过单目视觉设备及铺设导航标志的方法实现了智能机器人在开关柜站内的自主运动，通过停靠标识的识别令机器人停靠在开关柜的正前方，利用双目视觉系统完成检测目标三维信息的计算，然后通过控制系统控制机械臂携带局放检测设备到达检测位置，再通过机械臂末端的单目视觉系统完成目标位置的精确定位，最后指导机械臂完成相关局放检测工作。

为了实现上述目的，本发明采用如下技术方案：

一种基于多视觉系统的开关柜局部放电自动检测方法，包括以下步骤：

(1)根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；

(2)根据双目视觉系统采集的目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；

(3)控制机械臂运动，使机器人机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端上设置的单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂位置校正；

(4)不断调整机器人机械臂末端位置，对开关柜进行不同方式的局部放电检测。

所述步骤(1)中，导航线铺设在开关柜一侧，与开关柜柜面平行，在开关柜前设置有停靠标识。

所述步骤(1)中，机器人进行导航的具体步骤包括：

(1-1)对进行导航的单目摄像机进行标定，确定其内参与外参，对图像进行校正，通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同构坐标转换，获得地平面到图像平面间的投影变换矩阵；

(1-2)根据投影变换矩阵将视觉导航摄像头拍摄的图像进行透视变换，得到导航图像的鸟瞰图，将鸟瞰图由RGB颜色模型转变为HSV颜色模型，将HSV颜色模型下的图像各通道分离；

(1-3)对分离得到的色调通道进行阈值分割，对得到的纯度通道进行连通区域检测，确定导航线区域，根据导航线区域中线确定机器人的偏移距离和偏向角，对机器人进行导航。

优选的，所述步骤(1-1)中，具体方法为：

基于张正友平面标定法利用黑白格标定板进行单目摄像机标定，得到该相机的内参和外参，根据标定的参数对图像进行校正，然后通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标，同时，在图像平面上提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换矩阵。

所述步骤(1-2)中，具体方法为：并将HSV颜色模型下的图像各通道分离，分别得到图像I的色调通道、纯度通道和明度通道。

所述步骤(1-2)中，将图像色调通道进行阈值分割，得到分割后的图像，对其进行连通区域检测，并计算检测到各连通区域的面积、长轴、短轴和/或连通区域偏向角θ信息，若这些参数信息满足预设值，则判断该连通区域为导航线候选区域，在候选区域中选择连通区域面积最大的一个作为导航线区域，该连通区域的中线作为导航线中线，计算该直线与图像下边缘的交点坐标，则导航线相对于机器人的偏移距离，该连通区域的偏向角θ即为导航线偏角。

所述步骤(1-2)中，根据得到的偏移距离和导航向偏角，计算机器人左右轮的差速，得到机器人左右轮的速度。

所述步骤(1-3)中，将分离后的图像纯度通道和图像明度通道相减，得到做差后的图像I_DIV，根据导航向偏角对图像I_DIV进行偏角角度的翻转计算，继而进行阈值分割，检测连通区域，确定停靠标识区域。

所述步骤(2)中，具体步骤包括：

(2-1)对左右两摄像机进行标定，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点建立两个摄像机之间的位置关系，同时建立了两个相机图像坐标与世界坐标的映射关系；

(2-2)根据标定结果对左右两幅图像进行图像校正，然后采用基于亮度的自适应的色彩饱和度调整方法对左右两幅图像进行图像增强操作，得到增强后的左右两幅图像；

(2-3)将左右两幅图像分离成R、G、B三个通道的图像，分别做差后进行阈值分割，利用Hough算法进行直线检测，保留满足设定条件的矩形框；

(2-4)对增强后的左右两幅图像根据矩形框顶点坐标信息进行剪裁，得到数字标识框区域，进行匹配，得到同一物点在左右两幅图像中对应的像点图像坐标；

(2-5)确定基准相机，确定数字标示矩形框中心点在基准相机图像坐标系下的坐标，继而得到世界坐标系下的三维坐标；

(2-6)根据得到的矩形框顶点坐标信息，在阈值分割后的图像中剪裁出数字标示框区域的二值图，利用印刷体数字识别算法对此图像中的数字进行识别，得到当前开关柜的标号。

所述步骤(2-3)中，具体方法为：在二值图像中利用Hough算法进行直线检测，保留倾角近似为0°和90°的直线线段，保留有效线段，4条线段即为矩形的4条边，该矩形即为开关柜中需要定位的数字标识框。

其中近似为本领域技术人员理解的相近角度，一般在[-10°,10°]。

所述步骤(2-4)中，具体方法为：根据得到的矩形框顶点坐标信息，对增强后的左右两幅图像进行剪裁得到数字标识框区域，并将此区域作为感兴趣区域进行Harris角点检测，然后对两幅图像提取出的角点采用不相似测度和相似测度来匹配角点，然后采用随机采样一致方法进行精确匹配，得到同一物点在左右两幅图像中对应的像点图像坐标。

所述步骤(3)中，机械臂末端携带三种不同局放检测设备对开关柜进行不同方式的局部放电检测，分别为地电波检测、特高频检测、超声波检测。

所述步骤(3)中，具体步骤包括：

(3-1)通过机械臂坐标系与世界坐标系之间的转化，确定数字标示矩形框中心点在机械臂坐标系下的坐标；

(3-2)根据开关柜柜号及柜面各目标区域对数字标示矩形框中心点的相对位置先验信息，计算地电波检测中心位置的三维坐标，通过机械臂控制系统使得机械臂末端携带检测仪器到达该中心位置，完成地电波局放检测任务；

(3-3)使机械臂末端携带检测仪器到达特高频检测区域的中心位置，拍摄图像，对拍摄的图像进行彩色图像分割得到二值图像，通过连通区域检测算法得到二值图像的连通区域，确定目标区域，确定目标区域和拍摄区域的偏差，进行调整。

所述步骤(3)中，机械臂携带超声波局放检测仪器进行局部放电检测的路径规划方法具体为：首先令机械臂末端到达超声波检测起始点位置，打开安装在机械臂末端的单目相机，拍摄得到图像I_c，对图像I_c采用sobel算子进行边缘检测。

进一步的，当机械臂末端沿x轴方向缝隙进行检测时，检测水平方向的边缘，得到柜体缝隙在图像中的竖直方向的坐标，根据其进行机械臂末端运动方向的调整；当机械臂末端沿y轴缝隙进行检测时，检测垂直方向的边缘，得到柜体缝隙在图像中水平方向的坐标，根据其进行机械臂末端运动方向的调整。

一种应用于上述方法的视觉系统，包括安装在机器人前端的单目视觉系统，实现机器人室内的视觉导航；安装在机器人侧部的双目视觉伺服系统，实现局放检测目标位置的三维坐标计算；安装在机械臂末端的单目视觉伺服系统，视角与机械臂末端连杆方向平行，该视觉系统实现局放检测目标位置的三维坐标精确计算。

本发明的有益效果为：

(1)本发明提出了一种基于多视觉系统的开关柜局部放电自动检测方法，取代人工检测方法，减轻了电力一线员工的工作负担；

(2)在室内铺设导航标识，采用视觉导航算法实现智能机器人在开关站内的自主运动，降低了智能机器人的成本；

(3)采用双目视觉系统与单目视觉系统结合的目标定位方法，实现局放检测目标的精确定位，减少单一视觉系统定位造成的误差。

附图说明

图1为本发明的算法流程图；

图2为一组待检测的开关柜图像；

图3为开关柜超声波检测机械臂末端运动规划路径示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种多视觉系统的开关柜局部放电自动检测方法，所需视觉系统设备为：

安装在机器人前端的单目视觉系统，安装高度40cm至50cm，俯角为40°至70°，该单目视觉系统实现机器人室内的视觉导航功能；安装在机器人侧部的双目视觉伺服系统，安装高度70cm至90cm，仰角为45°至60°，该视觉系统实现局放检测目标位置的三维坐标计算；安装在机械臂末端的单目视觉伺服系统，视角与机械臂末端连杆方向平行，该视觉系统实现局放检测目标位置的三维坐标精确计算。

一种多视觉系统的开关柜局部放电自动检测方法，步骤为：

步骤(1)：根据开关站室内铺设的导航标识，机器人沿导航线自主运动，当检测到停靠标识后，机器人停靠在待检测开关柜前；

步骤(2)：机器人停靠后，打开双目相机，根据图像中检测目标的形状特征完成目标定位，然后基于特征点匹配和视差原理完成图像中相关点的三维坐标计算；

步骤(3)：通过控制系统控制机械臂运动，使机械臂末端携带局放检测设备到达目标点位置，利用机械臂末端单目相机拍摄的图像计算目标区域的像素偏差，根据目标的坐标位置偏差进行机械臂末端校正；

所述步骤(1)中，导航线为铺设在开关柜一侧的黄色直线，导航线与开关柜柜面平行，宽度为10cm，导航线与开关柜之间的垂直距离为80cm，在开关柜前导航线上设置停靠标识，停靠标识为红色正方形，边长为10cm。视觉导航算法的具体步骤为：

步骤(1-1)：基于张正友平面标定法利用19×13的黑白格标定板进行单目摄像机标定，得到该相机的内参和外参，根据标定的参数对图像进行校正。然后通过在地平面上放置的标定板图像，获得地平面上棋盘格图像上四个顶点的坐标。同时，在图像平面上提取角点，并获得与地平面上四个点对应的角点在图像空间中的坐标值，通过四个坐标点间的对应关系，获得地平面到图像平面间的投影变换矩阵H；

步骤(1-2)：根据投影变换矩阵H将视觉导航摄像头拍摄的图像进行透视变换，得到导航图像的鸟瞰图I，从而消除导航线不在视野中线时的图像畸变误差；

步骤(1-3)：将图像I由RGB颜色模型转变为HSV颜色模型，并将HSV颜色模型下的图像各通道分离，分别得到图像I的色调通道I_H，纯度通道I_S，明度通道I_V；

步骤(1-4)：将图像I_H进行阈值分割，图像中像素值小于阈值60，大于阈值30的像素点值设为255，其余像素点值为0，得到分割后的图像I_Seg。对I_Seg进行连通区域检测，并计算检测到各连通区域的面积area、长轴major_length、短轴minjor_length、连通区域偏向角θ等信息，令长轴与短轴间的比例系数为bio_1，若满足bio_1>2，area>400，则判断该联通区域为导航线候选区域。最后在候选区域中选择连通区域面积最大的一个作为导航线区域，该连通区域的中线作为导航线中线，计算该直线与图像下边缘的交点坐标为(x_intersection，y_intersection)，则导航线相对于机器人的偏移距离s＝width/2-y_intersection，该连通区域的偏向角θ即为导航线偏角。

步骤(1-5)：根据步骤(1-4)中得到的s和θ，计算机器人左右轮的差速△v，计算公式为

Δv＝K_SS+K_θθ

这里K_S和K_θ为相对于偏移距离和偏向角的控制参数，两个参数通过实验获得，其中K_S＝0.037，K_θ＝0.215。根据差速△v计算得到机器人左右轮的速度，左轮速度v_left和右轮速度v_right分别为：

v_right＝V+Δv,v_left＝V-Δv

其中，V为基础速度，设为20cm/s。

步骤(1-6)：将步骤(1-3)中分离的图像通道I_S与I_V相减，得到做差后的图像I_DIV，根据步骤(1-4)的偏向角θ对图像I_DIV进行角度θ的翻转计算，导航线在该翻转图像中理论上应该是竖直方向。对该图像进行阈值分割，阈值设置为80，得到二值图像。对该二值图像进行连通区域检测，并计算检测出连通区域的面积area、长轴major_length、短轴minjor_length、连通区域质心(x_centroid，y_centroid)等信息。令长轴与短轴的比例系数为bio_2，若满足0.8≤bio_2≤1.2且100≤area≤500，则该区域即为停靠标识区域，机器人距离停靠点的像素距离为S_stop＝height-y_centroid，其中height为图像的像素高度。当S_stop<height/2时，控制系统发送指令使得机器人低速向前方运动0.3m后停止，此时机器人底盘中心位置在竖直方向正好对应于停靠标识中心。

所述步骤(2)中，检测机器人停靠在开关柜前，打开安装在机器人上的双目相机，获得左右目图像，双目相机定位算法的具体步骤为：

步骤(2-1)：采用张正友相机标定法分别对左右两摄像机进行标定，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点建立两个摄像机之间的位置关系，同时建立了两个相机图像坐标与世界坐标的映射关系；

步骤(2-2)：双目图像采集到的左右两幅图像均为RGB图像，根据步骤(2-1)中相机标定的结果对左右两幅图像进行图像校正，然后采用基于亮度的自适应的色彩饱和度调整方法对左右两幅图像进行图像增强操作，得到增强后的左右两幅图像I_left和I_right。

步骤(2-3)：将RGB图像分离成R、G、B三个通道的图像，分别记为I_R、I_G、I_B，取其中I_R和I_B进行做差运算，对于图像I_left和I_right操作分别得到做差后的图像I_DIV_LEFT和I_DIV_RIGHT。

步骤(2-4)：将图像I_DIV_LEFT和I_DIV_RIGHT分别进行阈值分割，得到分割后的图像I_SEG_LEFT和I_SEG_LEFT，分割算法中阈值设定为120，像素值大于120的像素点像素值设定为255，小于120的设定为0。在二值图像中利用Hough算法进行直线检测，保留倾角近似为0°和90°的直线线段，计算每个线段的长度，设定线段长度阈值20，去除噪声线段的影响。对于倾角近似为0°的线段，计算每两条线段间的距离dis_h，保留满足条件10≤dis_h≤90的线段，计算两线段之间中心点坐标(x_h,y_h)；对于倾角近似为90°的线段，计算每两条线段间的距离dis_v，保留满足条件20≤dis_v≤120的线段，计算两线段之间中心点坐标(x_v,y_v)。找到满足点(x_h,y_h)与(x_v,y_v)间欧式距离小于5的中心点，与其对应的4条线段即为矩形的4条边，该矩形即为开关柜中需要定位的数字标识框(图2中国的R4所示)，记录矩形4个顶点的图像坐标，分别为左上点A(x₁,y₁)、右上点B(x₂,y₂)、右下点C(x₃,y₃)、左下点D(x₄,y₄)。

步骤(2-5)：由步骤(2-4)得到的矩形框顶点坐标信息，对图像I_left和I_right进行剪裁得到数字标识框区域，并将此区域作为感兴趣区域进行Harris角点检测，然后对两幅图像提取出的角点采用不相似测度SSD(Sum of Square Differences)和相似测度NCC(Normalized Cross Correlation)来匹配角点，然后采用随机采样一致方法RANSAC(RANdom Sample Consensus)进行精确匹配，得到同一物点在左右两幅图像中对应的像点图像坐标。

步骤(2-6)：以左目相机为基准相机，利用步骤(2-5)匹配的角点信息和步骤(2-4)矩形框顶点的坐标信息，得到四个顶点的三维坐标分别为左上点A₃(x_A3,y_A3,z_A3)、右上点B₃(x_B3,y_B3,z_B3)、右下点C₃(x_C3,y_C3,z_C3)、左下点D₃(x_D3,y_D3,z_D3)。，计算数字标示矩形框中心点在左目图像坐标系下P_center坐标，最终得到P_center在世界坐标系下的三维坐标(X_P，Y_P，Z_P)，计算公式为：

$X_P=\frac{X_{A3}+X_{B3}+X_{C3}+X_{D3}}{4}$

$Y_P=\frac{Y_{A3}+Y_{B3}+Y_{C3}+Y_{D3}}{4}$

$Z_P=\frac{Z_{A3}+Z_{B3}+Z_{C3}+Z_{D3}}{4}$

步骤(2-7)：由步骤(2-4)得到的矩形框顶点坐标信息，在图像I_SEG_LEFT中剪裁出数字标示框区域的二值图像I_ROI，利用印刷体数字识别算法对此图像中的数字进行识别，得到当前开关柜的标号。

所述步骤(3)中机械臂末端携带三种不同局放检测设备对开关柜进行不同方式的局部放电检测，分别为地电波检测、特高频检测、超声波检测，其中地电波检测需将对应检测传感器放在开关柜区域R1处，特高频检测需将对应检测传感器放在开关柜区域R2处，超声波检测需机械臂末端携带对应检测传感器沿开关柜缝隙边缘移动检测R3。

根据单目视觉系统进行目标精确定位的具体步骤为：

步骤(3-1)：通过机械臂坐标系与世界坐标系之间的转化，确定P_center在机械臂坐标系下的坐标。

步骤(3-2)：根据步骤(2-7)识别的开关柜柜号及柜面各目标区域相对于点P_center的相对位置先验信息，计算得到区域R1中心位置P_w的三维坐标，通过机械臂控制系统使得机械臂末端携带检测仪器到达位置P_w，完成地电波局放检测任务，由于地电波检测方式对传感器放置位置精度要求不高，该项检测不需要通过随臂单目相机进行位置校正；

步骤(3-3)：利用P_center三维坐标和柜体先验信息计算区域R2中心位置P_u的三维坐标，通过机械臂控制系统使机械臂末端携带检测仪器到达位置P_u，打开安装在机械臂末端的单目相机，拍摄得到图像I_u，对图像I_u进行彩色图像分割得到二值图像，即三通道像素值全部小于阈值25的像素点灰度设置为255，其余点设置为0。通过连通区域检测算法得到二值图像的连通区域，并计算检测出每个连通区域的面积area_w、长轴和短轴之比bio_3、质心P_w的坐标(X_{P_w}，Y_{P_w})，当连通区域满足area≥200，1.2≤bio_3≤1.5时，该连通区域即为特高频局放检测仪检测的目标区域。通过计算(X_{P_w}，Y_{P_w})与R2区域中心在图像中理论坐标位置(X_{P_p}，Y_{P_p})的偏差，进行机械臂末端位置的精确调整。

步骤(3-4)：机械臂携带超声波局放检测仪器进行局部放电检测的路径规划如图3所示，首先令机械臂末端到达超声波检测起始点位置，打开安装在机械臂末端的单目相机，拍摄得到图像I_c，对图像I_c采用sobel算子进行边缘检测。当机械臂末端沿x轴方向缝隙进行检测时，检测水平方向的边缘，得到柜体缝隙在图像中的竖直方向的坐标y_edge，若满足220≤y_edge≤260，则保持机械臂末端沿当前竖直方向进行移动，若y_edge≥260，则控制机械臂末端在竖直方向进行向上微调，根据边缘位置实时反馈，直到满足220≤y_edge≤260。若y_edge≤240，则控制机械臂末端在竖直方向进行向下微调，根据边缘位置实时反馈，直到满足220≤y_edge≤260。当机械臂末端沿y轴缝隙进行检测时，检测垂直方向的边缘，得到柜体缝隙在图像中水平方向的坐标x_edge，若满足300≤x_edge≤340，则保持机械臂末端沿当前水平方向进行移动，若x_edge≥340，则控制机械臂末端在水平方向进行向右进行微调，根据图像中边缘位置的实时反馈，直到满足条件300≤x_edge≤340。若x_edge≤300，则控制机械臂末端在水平方向向左微调，根据图像中边缘位置的实时反馈，直到满足条件300≤x_edge≤340。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。