专利名称：绝缘子轮廓的快速图像识别方法
技术领域：
本发明涉及一种绝缘子轮廓的快速图像识别方法。
背景技术：
长期以来，由于受地理环境等因素的限制，输电线路巡线工作主 要靠人工目测观察，这种传统的工作方式只能发现一些地面、杆塔底 部的缺陷，以及玻璃绝缘子自爆等一些比较简单易见的缺陷，工作效 率较低。随着高电压、大功率、长距离输电线路的出现，输电线路穿 越的地理环境日趋复杂，给线路巡检带来很多困难，应用直升飞机或 机器人等方式自动巡检输电线路已成为电力发展的趋势。
直升机或机器人巡检一般记录红外图像和可见光图像，分别对应 热像巡视和可见光巡视。从空中观察具有范围大、视觉宽、效率高、 不受地域影响等优势，但受图像处理技术的限制，对缺陷的确认结果 不太理想。如果能对相关技术进行进一步研究和实践使之不断发展完 善，则应用直升飞机巡检线路就会发挥巨大的作用。
目前国内外对直升机巡检所获图像的处理主要是针对红外图像 的处理，利用机载的热成像巡线设备，发现线路上局部发热类型的缺 陷，如导线断股、接头接触不良等。
输电线路要将巨大的电流从发电厂送到远方用户，必须具有两个
基本条件， 一是为传输电流的导线提供机械支撑；二是防止电流对地形成通道接地，而绝缘子就具备这两种基本功能，所以绝缘子在输电 线路中占有重要地位。然而，绝缘子在高压输电线路中又是极易损坏 的一个重要元件。绝缘子破损的原因是多方面的， 一般主要从以下几
方面来分析(1)长期的机械负荷作用；(2)环境气候影响；(3)绝 缘子质量的影响；(4)绝缘子结构制约；(5)长期的强电场作用会使 介质性能下降，或由于工频电力的沿面都会对绝缘强度有一定的影 响；(6)人为破坏也是导致绝缘子损坏的一个重要因素，常造成绝缘 子大面积断裂。
在输电线路中一旦有绝缘子破损，就会丧失绝缘能力，导致供电 中断，严重时甚至造成电网解裂，给国民经济造成严重损失。因此必 须定期对架空线路绝缘子进行检测，保证线路运行状况得到及时反 馈。
计算机视觉技术可以采用图像处理的方法来对图像中的特定目 标进行提取实现目标的识别与诊断(通过特定目标在图像中的形状、 颜色、纹理等特征、
目前国内外对于绝缘子图像识别方法的研究均很少见，通过对图 像中绝缘子目标的特征综合分析，找出一种能够快速识别图像中绝缘 子目标的模式识别算法成为本发明的重点研究内容。
发明内容
为了解决上述问题，本发明的目的在于提供了一种绝缘子轮廓的 快速图像识别方法，本发明针对直升机或机器人对输电线路巡检的具 体要求，实现了绝缘子的实时精确提取，为实现后续摄像机的拉近拍摄和部件缺陷诊断提供了坚实的基础，有很好的理论和应用前景。
首先绝缘子在图像中的特征包括如下1)绝缘子在图像中绝大
多数情况下为椭圆形状；2)绝缘子椭圆的面积基本相同；3)绝缘子 在图像中表现为直线串；4)资质、玻璃等各类绝缘子依据型号的不 同往往具有特定的颜色及光谱特征；5)绝缘子的数目相对固定；6) 绝缘子之间的距离相对固定；7)两串绝缘子之间保持平行。 为达到上述的目的，本发明采用如下技术方案
一种绝缘子轮廓的快速图像识别方法，包括如下步骤
(1) 将拍取的彩色图像通过亮度计算转换为灰度图像并对图像 中边缘轮廓进行提取，提取后获得已知区域形状；
(2) 对已知区域的边缘^&廓进行椭圆拟合，利用哈夫变换,检测 到边界曲线，得到椭圆的长轴、短轴、中心点的各个参数；
(3) 轮廓面积阈值处理，采用统计边界内部，含边界上的点的像
数数目来计算轮廓面积，然后根据轮廓面积来设定合适的面积阈值；
(4) 椭圆中心的直线拟合，通过求取^/n,/)(。，用二维点集来拟合
直线，符合直线拟合要求的椭圆中心点将被识别为绝缘子目标，得出 椭圆中心、长短轴坐标；
(5) 在步骤(2)中检测出具有椭圆特征的像素，通过面积阈值 处理，椭圆中心的直线拟合判定步骤，最终排除非绝缘子像素的椭圆， 保留为最终的绝缘子目标，然后对该绝缘子像素进行标定与输出，对 图像中的绝缘子的具体位置进行显示和报告。
所述的步骤(1)中彩色图像通过亮度计算转换为灰度图像是指: 首先将彩色图像像素按红(R)、绿(G)、蓝(B)分成三分量,对于一个三分量为R、 G、 B的彩色图像像素，该点的亮度按以下公式计算 / = 0.35+ 0.59G +0.1 l及
按照上述公式将彩色图像转换为灰度图像。
所述的步骤(1)中图像雄缘轮廓的提取通过Sobei算子模板实现。
所述的Sobel算子模板在数字图像处理领域，梯度由差分代替微 分实现
力| =!/",力—/(x+1,力]2 + L/"",力—y+1)]2}
所述的步骤(2)中边缘轮廓的椭圆拟合的方法是指在边缘轮廓 的提取后得到已知区域形状，利用哈夫变换可以检测到边界曲线；建 立一个累加数组，数组的维数与曲线方程的未知参数个数相同。对于 椭圆而言，其一般方程为
(x-附)2 , (y-n)2 =1
此公式中有三个参数长轴a、短轴b、椭圆中心0(m，n)，所以 在参数空间中建立一个三维的累加数组A，其元素可以写成A(a， b， 0)。让a， b依次变化，并对A (a， b, 0)进行累加。其中的极值将 被记录，所对应的点则表达了椭圆的参数(a， b， 0)。
所述的步骤(3)中轮廓面积阈值处理是指绝缘子的外形近似椭 圆且面积大体相同，通过对轮廓面积的阈值设定可排除一些过大和过 小的椭圆形状干扰。考虑到算法应用的实时性，本发明对轮廓的面积 釆用统计边界内部(含边界上的点)的像素的数目。面积A的计算公 式为W-I W-l jc=0少-o
通过计算轮廓面积，设定合适的阈值，排除过大及过小轮廓的干扰。
所述的步骤(4)中椭圆中心的直线拟合是指绝缘子在图像中表 现为直线串，所检测到的椭圆轮廓的中心点应表现为直线；因此，对 椭圆的中心进行直线拟合，直线拟合通过求取犯m,M。 (r指检测点
与待拟合直线直接的距离)来实现，用二维点集来拟合直线。
所述的步骤(5)中绝缘子像素的标定与输出是指将最终检测到 的绝缘子以直角坐标方式存储并显示，存储类型为包含椭圆中心、长 短轴坐标的点阵序列，对图像中的绝缘子的具体位置进行显示和报
告o
本发明的有益效果是本发明专利针对目前直升机或机器人对输 电线路进行巡检时实现部件缺陷的自动检测功能而开发，在利用直升 机或机器人所拍摄的视频进行输电线路缺陷的自动检测时，包括两个 步骤
(1) 检测出输电线路部件的在图像中的具体位置和具体类型；
(2) 对检测出的输电线路部件进行缺陷诊断和报警。
本发明专利是实现缺陷诊断的第一部分——绝缘子部件的图像 识别算法。目前国内外对于绝缘子图像识别方法的研究均很少见。本 发明的研究内容是基于计算机视觉理论，主要针对直升机或机器人巡 检后对航拍所得到得绝缘子图像(可见光图像)进行状态检测，是对 图像中绝缘子进行准确定位的识别方法。因此，本发明技术是将目前计算机视觉、模式识别领域最新的研究成果引入电力系统直升机巡线 检测中，利用航拍视频中的视觉信息实现输电线路部件(绝缘子)的 智能识别，体现了多学科与多领域的交叉性。本发明将为基于直升机 航拍或机器人巡检视频的输电线路缺陷检测与诊断奠定关鍵性的理 论与应用基础，具有非常好的应用前景。
图1是本发明绝缘子图像识别方法流程图2是本发明控制台运行程序界面；
图3是本发明实施例1采集的源图像；
图4是本发明实施例1绝缘子边缘轮廓提取结果；
图5是本发明实施例2采集的源图像；
图6是本发明实施例2绝缘子边缘轮廓提取结果。
具体实施例方式
实施例1
本发明所提出的绝缘子图像识别方法依据上述绝缘子的图像特 征来开发，其算法的流程见图l。其中的详细内容如下 (1)图像的读入、灰度化及边缘轮廓提取
绝缘子的图像识别算法基于Visual 0++平台开发，图2为操控 台运行程序界面图，其中图像的封装基类为CImage。图像的读入及 处理利用Clmage中封装的函数实现。Clmage是由微软开发的DIB图 像封装类库，也是图像处理中经常使用的基类。实施例l采集的源图 像见图3所示。对于一个三分量为R、 G、 B的彩色图像像素，该点的由24位的RGB空间转换到8位的灰度空间，其计算过程就是依照K
亮度按以下公式计算
/ = 0.35+ 0.59G +0.1 l及 G)
按照公式(1)将彩色图像转换为灰度图像。图3是将彩色图像
l公
式/ = 0.35 + 0.59(7 + 0.117 分别将每个彩色图像像素点转换为灰度图像 像素点。图像的读入及处理利用CImage中封装的函数实现。 图像中边缘轮廓的提取通过Sobel算子模板实现。 图像的梯度对应于一阶导数，对于一个连续图像函数/(x,力，它 在点/Oc,力处的梯度是一个矢量，定义为
(2)
其中，Gx和Gy分别为沿x和y方向的梯度。梯度的幅度和方向 角分别为-
IV/(jc,力卜呵(V/(x,力)(Gx2 +G/)1/2 (3) -(x，力=arctan(G;; / Gx) ( 4 )
在数字图像处理领域，梯度由差分代替微分实现 IV/"力I = t/Xu) —/(i + l，力P +[/^，力—+ (5) Sobel算子采用以下两个模板做巻积，分别对应于Gx和Gy，利 用公式(5)即可计算出像素点的梯度。<formula>formula see original document page 12</formula>
通过对像素点的梯度的计算，可以提取绝缘子的边缘轮廓。见图
4所示，图4为绝缘子提取的边缘轮廓的结果。 (2)边缘轮廓的椭圆拟合 在已知区域形状的条件下，利用哈夫变换(Hough transform) 可以方便地检测到边界曲线。哈夫变换的主要优点是受噪声和曲线间 断的影响小。
在图像空间xy中，过点(x， y)的直线方程可以表示为y-ox + " 其中a、 b分别表示直线的斜率和截距。如果将直线方程改写为 6 = -^ + y,则它表示ab空间中斜率为-x，截距为y的一条直线，且 经过(a， b)点。对于图像中与(x， y)共线的另一点(xl， yl)， 它满足方程yl-oxl + "对应于参数空间中的斜率为-xl，截距为yl 的一条直线，也必然经过(a, b)点。因此，可以推知，图像中间的 同一条直线上的点对应于参数空间中相交于一点的一系列直线。
哈夫变换建立一个累加数组，数组的维数与曲线方程的未知参数 个数相同。对于椭圆而言，其一般方程为
<formula>formula see original document page 12</formula> (6)
此公式中^"三个参数长轴a、短轴b、椭圆中心0(m，n)，所以 在参数空间中建立一个三维的累加数组A，其元素可以写成A (a， b，0)。让a， b依次变化，并对A (a， b， 0)进行累加。其中的极值将 被记录，所对应的点则表达了椭圆的参数(a， b， 0)。椭圆检测的过 程与直线检测的过程类似，不过参数空间多了一维，复杂程度增加了。
(3) 轮廓面积阈值处理 绝缘子的外形近似椭圆且面积大体相同，通过对轮廓面积的阈值
设定可排除一些过大和过小的椭圆形状干扰。考虑到算法应用的实时 性，本发明对轮廓的面积采用统计边界内部(含边界上的点)的像素 的数目。面积A的计算公式为
通过计算轮廓面积，设定合适的阈值，排除过大及过小轮廓的干扰。
(4) 椭圆中心的直线拟合 绝缘子在图像中表现为直线串，因此，所检测到的椭圆轮廓的中
心点应表现为直线。因此，对椭圆的中心进行直线拟合。直线拟合通 过求取s"附^(r,)来实现，用二维点集来拟合直线。其中n是第/个点到 直线的距离，p(。为可选的距离函数，以下是以伪代码的形式表明在 算法程序中可以提供直线拟合算法参数的选择。包括
Dist—type=CV—DIST—L2，有p(r) = 一 / 2 ;
Dist—type=CV—DIST一L1 ，有々)=/ ;
Dist—type=CV—DIST—L12 (L1-L2)，有/ 0)-2.(a/i + ,2/2-1); Dist—type=CV—DIST—FAIR ， 有
p(r) = C2 [WC — log(l + r /C)], C = 1.3998 ;<formula>formula see original document page 14</formula>
C/2)r>C C-1.345 (5)绝缘子像素的标定与输出 最终检测到的绝缘子以直角坐标方式存储并显示，存储类型为包 含椭圆中心、长短轴坐标的点阵序列。算法本身封装为Win32平台下 的动态链接库(DLL)形式，可在后台运行，通过在后台执行程序， 将绝缘子在图像中的具体位置(极坐标或直角坐标)返回给主系统。 也可以单独应用，对图像中绝缘子的具体位置进行显示及报告等。算 法的处理时间平均大约为50毫秒。可以应用于视频的实时处理系统。
实施例2
本发明所提出的绝缘子图像识别方法依据上速绝缘子的图像特 征来开发，其算法的流程见图l。其中的详细内容如下 (1)图像的读入、灰度化及边缘轮廓提取
绝缘子的图像识别算法基于Visual 0++平台开发，图2为操控 台运行程序界面图，其中图像的封装基类为CImage。图像的读入及 处理利用CImage中封装的函数实现。CImage是由微软开发的DIB图 像封装类库，也是图像处理中经常使用的基类，实施例2采集的源图 像见图5所示。
对于一个三分量为R、 G、 B的彩色图像像素，该点的亮度按以下公式计算
<formula>formula see original document page 15</formula>
按照公式(1)将彩色图像转换为灰度图像。图3是将彩色图像 由24位的RGB空间转换到8位的灰度空间，其计算过程就是依照公 式/ = 0.35 + 0.59(7 + 0.11及分别将每个彩色图像像素点转换为灰度图像 像素点。图像的读入及处理利用CImage中封装的函数实现。 图像中边缘轮廓的提取通过Sobel算子模板实现。 图像的梯度对应于一阶导数，对于一个连续图像函数/(x，力，它 在点/(;c,力处的梯度是一个矢量，定义为
V/(;r，力；[G工耐
其中，Gx和Gy分别为沿x和y方向的梯度。梯度的幅度和方向 角分别为
，/(x，力l ==(Gx2 +G/)1/2 (3)
，力=arctan(qy / Gx) ( 4 )
在数字图像处理领域，梯度由差分代替微分实现
IV/"力卜||/(;<:,力_/(义+ 1，力]2 /(xj + l)2} (5)
Sobel算子采用以下两个模板做巻积，分别对应于Gx和Gy，利
用公式(5)即可计算出像素点的梯度。
复！
(2)-l01
-202
-l01
121
000
_1-2-l
通过对像素点的梯度的计算，可以提取绝缘子的边缘轮廓。见图
6所示，图6为实施例2的绝缘子提取的边缘轮廓的结果。 (2)边缘轮廓的椭圆拟合 在已知区域形状的条件下，利用哈夫变换(Hough transform) 可以方便地检测到边界曲线。哈夫变换的主要优点是受噪声和曲线间 断的影响小。
在图像空间xy中，过点(x， y)的直线方程可以表示为>> =似+ 6， 其中a、 b分别表示直线的斜率和截距。如果将直线方程改写为 6 = -^ + ^，则它表示ab空间中斜率为-x，截距为y的一条直线，且 经过(a， b)点。对于图像中与(x， y)共线的另一点(xl， yl)， 它满足方程^1 =似1 + 6，对应于参数空间中的斜率为-xl，截距为yl 的一条直线，也必然经过(a， b)点。因此，可以推知，图像中间的 同一条直线上的点对应于参数空间中相交于一点的一系列直线。
哈夫变换建立一个累加数组，数组的维数与曲线方程的未知参数 个数相同。对于椭圆而言，其一般方程为
"2+"2=1 (6)
此公式中有三个参数长轴a、短轴b、椭圆中心0(m，n)，所以 在参数空间中建立一个三维的累加数组A，其元素可以写成A(a， b，0)。让a， b依次变化，并对A (a， b， 0)进行累加。其中的极值将 被记录，所对应的点则表达了椭圆的参数(a， b， 0)。椭圆检测的过 程与直线检测的过程类似，不过参数空间多了一维，复杂程度增加了。
(3) 轮廓面积阈值处理 绝缘子的外形近似椭圆且面积大体相同，通过对轮廓面积的阈值
设定可排除一些过大和过小的椭圆形状干扰。考虑到算法应用的实时 性，本发明对轮廓的面积采用统计边界内部(含边界上的点)的像素 的数目。面积A的计算公式为
扣SZ/",力 (7)
;c=0 "0
通过计算轮廓面积，设定合适的阈值，排除过大及过小轮廓的干扰。
(4) 椭圆中心的直线拟合 绝缘子在图像中表现为直线串，因此，所检测到的椭圆轮廓的中
心点应表现为直线。因此，对椭圆的中心进行直线拟合。直线拟合通 过求取w附,p(r,)来实现，用二维点集来拟合直线。其中^是第/个点到 直线的距离，/^)为可选的距离函数，以下是以伪代码的形式表明在 算法程序中可以提供直线拟合算法参数的选择。包括
Dist—type=CV—DIS乙L2，有/ (。 = 一 /2 ; Dist—type《V—DIST—Ll，有p(。"；
Dist一type-CV一DIST一L12 (Ll-L2)，有p(r)-2.(Vl + 一/2-l); Dist—type=CV—DIST_FAIR ， 有
p(r) = C2 / C — log(l + r / C)l， C = 1.3998 ;<formula>formula see original document page 18</formula>(5)绝缘子像素的标定与输出
最终检测到的绝缘子以直角坐标方式存储并显示，存储类型为包
含椭圆中心、长短轴坐标的点阵序列。算法本身封装为Win32平台下
的动态链接库(DLL)形式，可在后台运行，通过在后台执行程序，
将绝缘子在图像中的具体位置(极坐标或直角坐标)返回给主系统。
也可以单独应用，对图像中绝缘子的具体位置进行显示及报告等。算
法的处理时间平均大约为50毫秒。可以应用于视频的实时处理系统。
权利要求
1、一种绝缘子轮廓的快速图像识别方法，其特征在于包括如下步骤(1)将拍取的彩色图像通过亮度计算转换为灰度图像并对图像中边缘轮廓进行提取，提取后获得已知区域形状；(2)对已知区域的边缘轮廓进行椭圆拟合，利用哈夫变换，检测到边界曲线，得到椭圆的长轴、短轴、中心点的各个参数；(3)轮廓面积阈值处理，采用统计边界内部，含边界上的点的像数数目来计算轮廓面积，然后根据轮廓面积来设定合适的面积阈值；(4)椭圆中心的直线拟合，通过求取sumiρ(ri)，用二维点集来拟合直线，符合直线拟合要求的椭圆中心点将被识别为绝缘子目标，得出椭圆中心、长短轴坐标；(5)绝缘子像素的标定与输出，对图像中的绝缘子的具体位置进行显示和报告。
2、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，其特 征在于所述的步骤(1)中彩色图像通过亮度计算转换为灰度图像 是指首先将彩色图像像素按红(R)、绿(G)、蓝(B)分成三分量， 对于一个三分量为R、 G、 B的彩色图像像素，该点的亮度按以下公式 i十算/ - 0.35 + 0.59G + 0.1 l及按照上述公式将彩色图像转换为灰度图像。
3、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，■征在于所述的步骤(1)中图像边缘轮廓的提取通过Sobel算子模板实现。
4、 如权利要求3所述的绝缘子轮廓的快速图像识别方法，其特 征在于所述的Sobel算子模板在数字图像处理领域，梯度由差分代替微分实现力|=t/"力—/a+1,力]2 + 力—y+1)]2}。
5、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，其特征在于所述的步骤(2)中边缘轮廓的椭圆拟合的方法是指在边缘轮廓的提取后得到已知区域形状，利用哈夫变换可以检测到边界曲线；建立一个累加数组，数组的维数与曲线方程的未知参数个数相同； 对于椭圆而言，其一般方程为此公式中有三个参数长轴a、短轴b、椭圆中心0(m，n)，所以 在参数空间中建立一个三维的累加数组A，其元素可以写成A(a， b， 0)。让a, b依次变化，并对A (a， b， 0)进行累加。其中的极值将 被记录，所对应的点则表达了椭圆的参数(a， b， 0)。
6、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，其特 征在于所述的步骤(3)中轮廓面积阈值处理是指绝缘子的外形近 似椭圆且面积大体相同，通过对轮廓面积的阈值设定可排除一些过大 和过小的椭圆形状干扰；本发明对轮廓的面积采用统计边界内部，含 边界上的点的像素的数目；面积A的计算公式为通过计算轮廓面积，设定合适的阈值，排除过大及过小轮廓的干扰。
7、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，其特征在于所述的步骤(4)中椭圆中心的直线拟合是指绝缘子在图像 中表现为直线串，所检测到的椭圆轮廓的中心点应表现为直线；因此， 对椭圆的中心进行直线拟合，直线拟合通过求取s"m,p(A",)来实现，用 二维点集来拟合直线。
8、 如权利要求1所述的绝缘子轮廓的快速图像识别方法，其特 征在于所述的步骤(5)中绝缘子像素的标定与输出是指将最终检 测到的绝缘子以直角坐标方式存储并显示，存储类型为包含椭圆中 心、长短轴坐标的点阵序列，对图像中的绝缘子的具体位置进行显示 和报告。
全文摘要
本发明公开了一种绝缘子轮廓的快速图像识别方法，包括如下步骤(1)将拍取的彩色图像通过亮度计算转换为灰度图像并对图像中边缘轮廓进行提取，提取后获知已知区域形状；(2)对已知区域的边缘轮廓进行椭圆拟合，利用哈夫变换，检测到边界曲线，得到椭圆的长轴、短轴、中心点的各个参数；(3)轮廓面积阈值处理，根据轮廓面积来设定合适的面积阈值；(4)椭圆中心的直线拟合，通过求取sum<sub>i</sub>ρ(r<sub>i</sub>)，用二维点集来拟合直线；(5)绝缘子像素的标定与输出。本发明针对直升机或机器人对输电线路巡检的具体要求，实现了绝缘子的实时精确提取，为实现后续摄像机的拉近拍摄和部件缺陷诊断提供了坚实的基础，有很好的理论和应用前景。
文档编号G06K9/00GK101620676SQ200910100170
公开日2010年1月6日 申请日期2009年7月2日 优先权日2009年7月2日
发明者亮 张, 弛 张, 雄 徐, 成剑英, 韦爱平, 黄宵宁 申请人:浙江省电力公司;绍兴电力局;南京工程学院