基于图像融合的保护压板运行状态辨识方法与流程

文档序号:22881526发布日期:2020-11-10 17:44阅读:来源:国知局

技术特征:

1.基于图像融合的保护压板运行状态辨识方法,其特征在于包括以下步骤:

步骤1、保护压板图像高光区域检测:

步骤1.1:智能机器人巡检继电保护压板,拍摄保护压板图像;

步骤1.2:将拍摄的保护压板图像输入至计算机图像处理系统中,对保护压板图像进行筛选,删去没有拍摄到完整区域的保护压板图像,对筛选后的保护压板图像进行压缩;

步骤1.3:对保护压板图像进行灰度化处理,扩大高光区域与背景区域差异;

步骤1.4:利用二维otsu算法,求得最佳阈值,将保护压板灰度化图像按最佳阈值进行分割,从而快速检测出图像中的高光区域;

步骤2、基于图像融合的高光区域去除:

步骤2.1、特征点检测:

利用sift算法对基准图和辅助图进行特征点检测,生成特征描述向量,并用最近邻法对基准图和辅助图进行特征匹配;

步骤2.2:基于改进ransac算法的透视变换:

通过得到的特征匹配点,求取透视变换矩阵,采用透视变换对辅助图进行视角、尺寸调整,使其与基准图一致;

步骤2.3、图像修复:

根据基准图中检测到的高光区域位置,用透视变换后的辅助图相对应区域位置,对其进行纹理填补修复,进而去除基准图中的高光;

步骤3、保护压板状态辨识:

步骤3.1:连通区域提取:

对高光去除后的基准图进行颜色区域筛选、二值化、形态学处理,并用8连通方式对连通区域进行提取;

步骤3.2:有效压板区域筛选:

依据形态特征进行面积、尺寸、形状分析,从连通区域中准确提取出有效压板区域;

步骤3.3:压板投退状态辨识:

对筛选出的有效压板区域进行辨识,识别出有效压板投退状态后,采用重心坐标对有效压板按照从左至右、从上到下顺序进行排序,最终得到一个只含有0、1的状态序列。

2.根据权利要求1所述基于图像融合的保护压板运行状态辨识方法,其特征在于:步骤2.2具体步骤包括以下步骤:

步骤一:对sift算法提取出的有效特征点,利用最近邻法进行初始匹配,初始所选欧式距离阈值为0.6;将图像等分成4个区域,判断当前所分4个区域特征匹配点对数是否均大于4,若是则进行下一步,否则将欧式距离阈值加0.1重新匹配;

步骤二:从4个区域中各筛选出欧式距离最小的4对匹配点,一共16对,将这16对匹配点4对一组进行组合,根据组合后4对匹配点的欧式距离和从小到大进行1、2、…、n排序,选取序号前50组;

步骤三:首先按照序号顺序取序号为1的4对匹配点计算变换矩阵h,利用矩阵h对图像中的所有匹配点对进行校验,判断局内点数所占匹配点对总数比例是否大于50%,若大于50%则当前所计算出的矩阵h为最佳变换矩阵,否则按照序号顺序选取下一组4对匹配点计算变换矩阵h。

3.基于图像融合的保护压板运行状态辨识方法,其特征在于,将一维otsu算法增加维度变为二维,包括如下步骤:

s1:设图像i(x,y)的灰度级为l级,那么图像i的领域平均灰度也为l级;

s2:设f(x,y)为像素点(x,y)的灰度值,g(x,y)为中心像素点(x,y)的k×k领域内的平均灰度值;令f(x,y)=i,g(x,y)=j,然后就形成了一个二元组(i,j);

s3:设二元组(i,j)出现的次数为fij,求出二元组对应的概率密度pij,pij=fij/n,i,j=1,2,…,l,其中,n为图像像素点总数;

s4:任意选取一个阈值向量(s,t),将图像的二维直方图划分成4个区域,b、c区域代表图像的前景和背景,a、d区域代表噪声点;

s5:设背景和前景出现的概率分别为ω1,ω2,对应的均值矢量为μ1,μ2,整幅图像所对应的均值矢量为μ,公式如下:

s6:利用离散测度矩阵s(s,t),求得图像的离散测度tr(s(s,t)),公式如下:

s(s,t)=ω1(μ1-μ)(μ1-μ)t+ω2(μ2-μ)(μ2-μ)t(6)

tr(s(s,t))=ω1[(μ1i-μi)2+(μ1j-μj)2]+ω2[(μ2i-μi)2+(μ2j-μj)2](7)

s7:离散测度越大,类间方差就越大,最大离散测度对应的即为最佳阈值(s*,t*);

(s*,t*)=argmax{tr(s(s,t))}(8)

通过以上步骤求得最佳阈值后,利用该阈值对0~255个亮度等级的灰度图像进行二值化处理,分离出前景区域和背景区域,此时的前景区域即为高光区域。

4.基于图像融合的保护压板运行状态辨识方法,其特征在于,利用sift算法对基准图和辅助图进行特征点检测,生成特征描述向量,包括如下步骤:

step1:输入图像i(x,y),对该图像进行不断降阶采样,得到一系列大小不一的图像,将这些图像由大到小、从下到上排序构成金字塔状模型,然后对每层图像利用连续变化尺度的二维高斯函数g(x,y,σ)与图像i(x,y)进行卷积,求出图像的尺度空间l(x,y,σ);

l(x,y,σ)=g(x,y,σ)*i(x,y)(9)

其中:*表示卷积运算,σ为尺度;

step2:令尺度空间内每层多张图像合称为一组,对同组相邻两层图像进行相减得到高斯差分图像,将同组除顶层和底层外的每层高斯差分图像的每个像素点与其同层8个以及上下邻层图像9×2个共26个像素点比较,当该点像素值为最大或者最小时,该像素点为极值点,高斯差分函数公式如下:

d(x,y,σ)=l(x,y,kσ)-l(x,y,σ)(11)

其中,k为固定的系数;

step3:对尺度空间高斯差分函数进行曲线拟合来重新计算极值点坐标,即利用taylor公式对尺度空间高斯差分函数进行展开:

其中,x=(x,y,σ)t,求导并让方程等于零,即可得到极值点的偏移量:

对应的极值点方程的值为:

利用原极值点坐标加上偏移量即为生成的极值点新坐标,将生成的新坐标像素值与所设定的对比度阈值进行比较,剔除对比度低的极值点,此时余下的极值点即为特征点;

step4:使用梯度法求取图像中特征点邻域内像素点的梯度模值和方向,梯度的模值m(x,y)和方向θ(x,y)公式如下:

θ(x,y)=tan-1((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))(16)

其中,l所用的尺度为每个特征点各自所在的尺度;然后利用二维直方图进行统计,并以直方图中幅值最高的方向作为该特征点的主方向,为增强匹配的鲁棒性,保留大于主方向幅值80%的幅值所在方向作为该特征点的辅方向;

step5:以特征点为中心取16×16个像素的窗口,并将窗口分成4×4的子域,用梯度方向直方图统计每个子域上8个方向的梯度累加幅值,此时每个子域都可以用一个8维的特征描述向量表示,最终对于每个特征点都有4×4×8=128维的特征向量对其描述;为了使其具有光照不变性,对这128维特征向量进行归一化处理并取一阈值对梯度幅值进行限制,即可有效降低光照不均对匹配结果的影响;

当基准图和辅助图的sift特征向量生成后,利用最近邻法对其匹配,即设置一比例阈值,若两个特征点描述向量的最近欧式距离除以次近欧式距离小于这个比例阈值,则认为这两个特征点匹配正确。

5.基于图像融合的保护压板运行状态辨识方法,其特征在于,包括基于改进ransac算法的透视变换,具体如下:

透视变换公式如下:

其中,(x',y')为基准图特征匹配点的坐标值,(u,v)为辅助图对应特征匹配点的坐标值,s为图像之间的变换系数,h为3×3的变换矩阵,即:

其中,可对图像进行旋转、缩放、扭曲变换,t2=[a13a23]t可对图像进行平移变换,t3=[a31a32]可产生图像透视变换;

由于利用sift算法已经求得基准图和辅助图特征匹配点的坐标,为此只需随机选取4对特征匹配点就可求得变换矩阵h,利用变换矩阵即可对辅助图进行透视变换;变换后的辅助图像素坐标(x,y)公式如下:

在计算变换矩阵h时只需4对匹配点,提出了一种改进的ransac算法,步骤如下:

步骤①:首先对sift算法提取出的有效特征点利用最近邻法进行初始匹配,初始所选欧式距离阈值为0.6;

步骤②:将图像等分成4个区域,判断当前所分4个区域特征匹配点对数是否均大于4,若是则进行下一步,否则将欧式距离阈值加0.1返回上一步重新匹配;

步骤③:从4个区域中各筛选出欧式距离最小的4对匹配点,一共16对;

步骤④:将这16对匹配点4对一组进行组合,根据组合后4对匹配点的欧式距离和从小到大进行1、2、…、n排序,选取序号前50组;

步骤⑤:首先按照序号顺序取序号为1的4对匹配点计算变换矩阵h;

步骤⑥:利用矩阵h对图像中的所有匹配点对进行校验,当局内点数所占匹配点对总数比例大于50%时,则认为当前所计算出的矩阵h为最佳变换矩阵,否则返回上一步按照序号顺序选取下一组4对匹配点计算变换矩阵h;

利用最佳变换矩阵对辅助图进行调整,将其相对应区域遮罩在基准图高光区域,得到高光去除的基准图。

6.基于图像融合的保护压板运行状态辨识方法,其特征在于包括以下步骤:

步骤ⅰ、压板图像连通区域提取:

步骤ⅰ-1:由于高光去除后的基准图为彩色图像,图中有效压板整体为红色和黄色,备用压板为驼色和红色,背景区域为白色,为此,通过设置一定rgb阈值筛选出红色和黄色区域;考虑图片上可能存在的其他元件、标识等干扰因素会导致筛选有误,通过大量实验可知,红色和黄色像素点在r、g、b三通道的值中最大值与最小值之差均不小于40,为此将图像中这部分不小于40的像素保留,然后将其余部分区域设为r、g、b等值即将其变为黑色;

步骤ⅰ-2:为了提高运算速度,对红黄区域筛选后的基准图进行灰度化处理,利用otsu算法求取二值化阈值,利用该阈值对灰度图像进行二值化处理;

步骤ⅰ-3:由于图像二值化后会产生一些不平滑边缘,并且压板连通处会存在孔洞,严重影响后续特征提取的效果;为此需要对二值图像进行形态学处理,利用膨胀和腐蚀操作对孔洞进行填充,并以8连通的方式对连通区域进行提取,将提取得到的n个连通区域编号为1、2、…、n;8连通的方式指的是:如果一个像素和其邻近像素在上、下、左、右、左上角、左下角、右上角或右下角相连接,则认为它们是连通的;

步骤ⅱ、有效压板区域筛选:

步骤ⅱ-1:面积分析,考虑连通区域提取后的图像中可能存在无效备用压板、标识等,通过观察可知该部分所在的连通区域面积较小,为此,通过设定一面积阈值varea-thre来去除干扰区域,公式如下:

其中,阈值varea-thre为二值图中像素面积大小排在前5位的像素区域面积平均值乘以0.3得到的,varea(i)为按照区域面积从大到小排列的第i个区域面积;

根据公式(20),判定连通区域像素面积大于阈值varea-thre的区域为备选有效压板区域,否则为干扰区域;

步骤ⅱ-2:尺寸分析,考虑连通区域提取后的图像中有效压板具有一定尺寸,在x、y方向上,有效压板区域边界长度与图像的像素大小有一定的比值;所以,利用x、y方向上的图像像素px、py对像素尺寸阈值xwidth-thre、ywidth-thre进行设定,公式如下:

根据公式(21),判定在x、y方向上,连通区域边界长度均大于对应阈值的区域为备选有效压板区域,否则为干扰区域;

步骤ⅱ-3:形状分析,考虑连通区域提取后的图像中有效压板具有一定形状,有效压板区域在图像中具有一定的等效长宽比值,同时为消除图像中存在的具有相似形状的其他干扰信息,将等效长宽比例阈值sratio-thre设定为2<sratio-thre<5,若连通区域等效长宽比值在该阈值内,则判定该区域为备选有效压板区域,否则为干扰区域;

步骤ⅱ-4:搜索图像中所有连通区域,重复步骤ⅱ-1~步骤ⅱ-3,直至第n区域搜索完毕,同时被判定为备选有效压板区域的为最终有效压板区域;

步骤ⅲ:压板投退状态识别:

利用压板投退状态时的方向角,即压板投入时方向角为±90°,退出时方向角为±45°,并设置±10°的裕度,判据式如下:

其中,投入状态标为1,退出状态标为0;识别出有效压板投退状态后,采用重心坐标对有效压板按照从左至右、从上到下顺序进行排序,最终得到一个只含有0、1的状态序列。


技术总结
基于图像融合的保护压板运行状态辨识方法,包括保护压板图像高光区域检测步骤;基于图像融合的高光区域去除步骤;保护压板状态辨识步骤。该方法利用基于改进的OTSU二维阈值分割方法快速检测图像中的高光干扰,然后引入改进的RANSAC算法完成多视角的图像特征匹配和求取最佳透视变换矩阵,利用辅助图像透视变换至主图像修复其中的高光区域,最后在图像修复的基础上通过对压板边缘检测的倾角来判断其运行状态。本发明能够更好地辅助智能巡检机器人对压板投退状态的核对,提高继电保护压板投退状态辨识准确率,降低巡检人员的劳动强度,减少电网操作中的误操作、避免经济损失,确保电网安全稳定运行。

技术研发人员:舒征宇;姚景岩;汪俊;许欣慧;高健;翟二杰;黄志鹏;李镇翰;张洋;李浩;马聚超
受保护的技术使用者:三峡大学
技术研发日:2020.07.03
技术公布日:2020.11.10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1