一种自适应环境的变电站仪表读数识别方法、设备和介质与流程

1.本发明涉及一种自适应环境的变电站仪表读数识别方法、设备和介质，属于电力仪表识别技术领域。


背景技术：

2.因仪表数量大，位置分散，目前仪表读数采集主要通过巡检机器人、无人机等巡检设备进行仪表图像的自动采集，再通过图像识别技术自动识别巡检图像中的仪表读数。
3.例如申请号为“201910319860.4”的发明专利公开了一种单指针式六氟化硫型仪表进行识别方法，使用基于深度学习的yolo模型进行检测，使用简单的增强、畸变处理和轮廓特征进行指针型仪表的识别；
4.申请号为“201710882172.x”的发明专利公开了一种变电站数字仪表的数字识别方法，采用hsv颜色特征进行数字分割，结合svm分类器进行数字识别；
5.上述现有技术中，现有方法能正常使用的前提条件是图像亮度均匀、对比度足够好，表盘拍摄清晰，在夜晚、雨雪雾等恶劣天气下无法正常工作。另外对仪表盘的定位采用yolo模型或者颜色特征也不够准确，yolo模型在旋转情况下可能出现特征框的偏移，颜色特征在亮度、对比度变化的情况下容易失效。


技术实现要素：

6.为了解决上述现有技术中存在的问题，本发明提出了一种自适应环境的变电站仪表读数识别方法，建立有环境识别模型和图像增强模型，自动识别仪表图像所处的环境类型，并根据环境类型对图像进行增强，能够在恶劣环境中使用，提高识别效果。
7.本发明的技术方案如下：
8.一种自适应环境的变电站仪表读数识别方法，包括以下步骤：
9.确定n种影响成像质量的环境类型，根据n种环境类型采集原始数据，并基于原始数据建立用于识别图像所处环境类型的环境识别模型、分别对处于各环境类型的图像进行增强的图像增强模型以及识别仪表表盘所在位置并识别仪表读数的仪表定位识别模型；
10.输入变电站仪表的原始图像至环境识别模型，识别原始图像中的环境类型；
11.将原始图像输入至图像增强模型，根据识别出的环境类型对原始图像进行图像增强，得到增强图像；
12.将增强图像输入至仪表定位识别模型，进行仪表区域定位，并识别仪表读数。
13.作为优选实施方式，建立所述环境识别模型的步骤具体为：
14.分别在n种环境类型下进行图像采集，并对采集到的图像添加环境类型标签，得到训练样本集；
15.构建神经网络，以训练样本集中的图像作为神经网络的输入，输出环境类型的预测值，基于所述输出环境类型的预测值与标签建立的偏差建立损失函数，计算损失函数的值并更新神经网络的参数，进行迭代训练；直到损失函数的值小于设定的阈值，迭代结束，
保存神经网络的参数得到所述环境识别模型。
16.作为优选实施方式，建立所述图像增强模型的步骤具体为：
17.在不影响成像质量的环境下采集若干仪表图像，作为标准图像集，分别根据不同环境类型对标准图像的影响对标准图像进行处理，得到对应各环境类型的n组对照图像集；
18.构建n个图像增强网络，分别以各环境类型的对照图像集作为各图像增强网络的输入，输出增强后的图像，基于增强后的图像与标准图像的偏差构建损失函数，计算损失函数的值并更新各图像增强网络的参数，进行迭代训练；直到损失函数的值小于设定的阈值，迭代结束，保存各图像增强网络的参数得到对应各环境类型的图像增强模型。
19.作为优选实施方式，所述图像增强网络包括：
20.若干个依次连接的卷积注意力模块，用于对输入的图像进行特征提取，分别得到若干个初始特征图；
21.与各卷积注意力模块一一对应的若干个特征图再编码模块，分别对各个初始特征图进行编码和解码，得到若干个进阶特征图；
22.注意力机制模块，用于评估各进阶特征图的重要性，并基于重要性赋予各进阶特征图不同的通道权重，根据各进阶特征图的通道权重对各进阶特征图进行通道组合；
23.卷积模块和激活函数，用于基于通道组合后的各进阶特征图输出增强后的图像。
24.作为优选实施方式，所述图像增强网络的损失函数为：
25.loss＝α(x，y)l2+β(x，y)l
ssim
+γ(x，y)l
perceptual
；
26.其中，l2为像素值的mse损失；l
ssim
为结构相似度损失；l
perceptual
为感知损失；α(x，y)、β(x，y)、γ(x，y)用于对每个像素点的不同损失设置不同的权重；
27.结构相似度损失l
ssim
定义为：
[0028][0029]
其中，μ
p1
和μ
p2
分别表示两幅图像p1、p2的均值，σ
p1
和σ
p2
是两幅图像的方差，σ
p1p2
是协方差，c1和c2为常数；
[0030]
感知损失l
perceptual
定义为：
[0031][0032]
其中，w、h、c分别为特征图宽、高、通道数，为特征映射。
[0033]
作为优选实施方式，所述仪表定位识别模型，包括仪表定位模块、纠偏模块以及读数识别模块；
[0034]
建立所述仪表定位模块的方法具体为：
[0035]
采集多张仪表图像，对每张仪表图像标注仪表表盘的位置数据，得到包括各仪表图像与对应的仪表表盘的位置数据的训练样本集，通过训练样本集对目标检测网络进行训练，得到用于预测仪表表盘所在区域的仪表定位模型；
[0036]
所述纠偏模块根据所述仪表定位模块输出的仪表表盘所在区域从图像中裁剪出表盘图像，并对表盘图像进行变换处理，将表盘图像变换标准表盘图像；
[0037]
所述读数识别模块根据标准表盘图像识别出仪表读数。
[0038]
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施例所述的仪表读数识别方法。
[0039]
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的仪表读数识别方法。
[0040]
本发明具有如下有益效果：
[0041]
1、本发明一种自适应环境的变电站仪表读数识别方法，建立有环境识别模型和图像增强模型，自动识别仪表图像所处的环境类型，使得仪表识别无论对于白天(光照条件好、成像质量高)还是夜间、雨雪雾霾天等(光照条件差、能见度很低)的天气情况，都能获得良好的识别效果。
[0042]
2、本发明一种自适应环境的变电站仪表读数识别方法，针对变电站仪表建立适用的图像增强模型，设计了独特的网络结构、损失函数，对应各个环境类型训练不同增强模型，能够有效增强仪表区域而抑制背景区域，有利于后续的仪表读数识别。
[0043]
3、本发明一种自适应环境的变电站仪表读数识别方法，在仪表定位识别模型中提出仪表区域的准确定位、变换矫正的算法，在稳定性方面也超过已有方法。
附图说明
[0044]
图1为本发明实施例一的流程图；
[0045]
图2为本发明实施例中图像增强模型的网络结构示意图；
[0046]
图3为本发明实施例中卷积注意力模块的结构示意图；
[0047]
图4为本发明实施例对指针型仪表进行读数识别的流程图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
[0050]
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0051]
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0052]
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0053]
实施例一：
[0054]
参见图1，一种自适应环境的变电站仪表读数识别方法，包括以下步骤：
[0055]
确定n种影响成像质量的环境类型，在本实施例中确定夜晚、雨、雪、雾霾四种影响
成像质量的环境类型，并将白天作为正常环境类型；
[0056]
在变电站内，分别在白天、夜晚、雨、雪、雾霾五种环境类型下拍摄若干仪表图像作为原始数据，五种环境类型的图像数量需要保持接近；基于原始数据建立用于识别图像所处环境类型的环境识别模型；
[0057]
建立分别对处于各环境类型的图像进行增强的图像增强模型以及识别仪表表盘所在位置并识别仪表读数的仪表定位识别模型；
[0058]
输入变电站仪表的原始图像至环境识别模型，识别原始图像中的环境类型；若识别出环境类型为白天，则不进行处理；
[0059]
若识别出环境类型为四种影像成像质量的环境类型之一，则将原始图像输入至图像增强模型，根据识别出的环境类型对原始图像进行图像增强，得到增强图像；
[0060]
将增强图像输入至仪表定位识别模型，进行仪表区域定位，并识别仪表读数。
[0061]
作为本实施例的优选实施方式，建立所述环境识别模型的步骤具体为：
[0062]
分别对在白天、夜晚、雨、雪、雾霾五种环境类型下拍摄若干仪表图像添加环境类型标签，得到五组训练样本集；
[0063]
选择imagenet上预训练的densenet图片分类网络，并将densenet图片分类网络的最后一层输出替换为上述白天、夜晚、雨、雪、雾霾五类，网络的输入大小为224*224，冻结图片分类网络网络的卷积层，微调全连接层；以各个训练样本集中的图像作为图片分类网络的输入，输出环境类型的预测值，基于所述输出环境类型的预测值与标签建立的偏差建立损失函数，损失函数采用交叉熵，计算损失函数的值并采用adam优化函数更新神经网络的参数，进行迭代训练；直到损失函数的值小于设定的阈值，迭代结束，保存图片分类网络的参数得到所述环境识别模型。
[0064]
识别输入图像的环境类型时，将采集到的图像缩放成224*224并输入到训练好的图片分类网络中，输出结果即为对应的环境类型。
[0065]
作为本实施例的优选实施方式，建立所述图像增强模型的步骤具体为：
[0066]
在白天环境下采集若干仪表图像，作为标准图像集；对标准图像集中的图像进行减弱亮度、对比度处理，生成针对夜间环境类型的对照图像集；以标准图像集中的图像作为背景，叠加雨、雪、雾霾前景，合成雨、雪、雾霾下的对照图像集；
[0067]
构建四个图像增强网络，分别以各环境类型的对照图像集作为各图像增强网络的输入，输出增强后的图像，基于增强后的图像与对应的标准图像的偏差构建损失函数，计算损失函数的值并更新各图像增强网络的参数，进行迭代训练；直到损失函数的值小于设定的阈值，迭代结束，保存各图像增强网络的参数得到对应各环境类型的夜间图像增强模型、雨天图像增强模型、雪天图像增强模型和雾霾天图像增强模型。
[0068]
作为本实施例的优选实施方式，所述图像增强网络包括：
[0069]
若干个依次连接的卷积注意力模块rescbam，用于对输入的图像进行特征提取，分别得到若干个初始特征图；具体参见图2，输入图像是尺寸为w*h*3的三通道图像，w、h分别为图像的宽和高。feati(i＝1，...，n)为经过不同层rescbam作用后提取的初始特征图，初始特征图的大小为w*h*ci。这里令不同层的特征图大小相同，避免了深度卷积后的特征丢失。
[0070]
与各卷积注意力模块一一对应的若干个特征图再编码模块unetblock，分别对各
个初始特征图进行编码和解码，得到若干个进阶特征图；采用unet的结构能够保证编码器和解码器不同层之间的特征连通，进一步保持细节信息。所有的unetblock同时训练但不共享参数。经过unetblock之后的进阶特征图为map1，map2，...，mapn，进阶特征图的大小为w*h。
[0071]
注意力机制模块seblock，用于评估各进阶特征图的重要性，并基于重要性赋予更重要的进阶特征图map更大的通道权重，根据各进阶特征图map的通道权重对各进阶特征图map进行通道组合；
[0072]
最后经过一层的卷积和激活函数(activation function)，输出增强后的图像。在本实施例中对于夜间、雨、雪三种环境类型，激活函数采用relu，网络输出为增强后的图像；对于雾霾环境类型，激活函数采用双边纠正线性单元，网络输出为大气透射率；通过大气透射率对图像进行增强：
[0073]
假设网络输出的大气透射率为t，大气光强为a(大气光强为图像中最亮的点)，原始雾霾图像为i，则利用大气透射率对图像进行增强的公式为：
[0074]
j＝[i-a*(1-t)]/t；
[0075]
其中，j为增强后的图像。
[0076]
双边纠正线性单元的公式为：
[0077]
f＝min(t
max
，max(t
min
，w*f
in
+b))
[0078]
其中，tmin，tmax分别为双边截断的最小值和最大值，f
in
是激活函数的输入，w和b分别是激活函数的权重和偏移量，f是激活函数的输出。
[0079]
卷积注意力模块rescbam的结构如图3所示，引入空间和通道注意力机制，通过与损失函数的配合，能够让不同层的特征图的权重都集中在比较重要的区域(仪表区域)，而抑制周围不重要的背景的干扰。
[0080]
作为本实施例的优选实施方式，所述图像增强网络的损失函数为：
[0081]
loss＝α(x，y)l2+β(x，y)l
ssim
+γ(x，y)l
perceptual
；
[0082]
其中，l2为像素值的mse损失，用于计算增强后的图像和标准图像的像素值差异，保证网络收敛；l
ssim
为结构相似度损失，用于抑制模糊和伪影；l
perceptual
为感知损失，使用在imagenet上预训练的vgg19网络，计算在不同特征层上的差异和，该损失函数项可以保证生成的图像具备良好的视觉特性。α(x，y)、β(x，y)、γ(x，y)用于对每个像素点的不同损失设置不同的权重；在本实施例中，在仪表区域，α(x，y)、β(x，y)、γ(x，y)取较大的值，而在仪表区域外部，α(x，y)、β(x，y)、γ(x，y)取较小的值，从而重点增强仪表区域，抑制背景区域，达到去除干扰因素的目的。
[0083]
结构相似度损失l
ssim
定义为：
[0084][0085]
其中，μ
p1
和μ
p2
分别表示两幅图像p1、p2的均值，σ
p1
和σ
p2
是两幅图像的方差，σ
p1p2
是协方差，c1和c2为常数；
[0086]
感知损失l
perceptual
定义为：
[0087][0088]
其中，w、h、c表示该层的特征图宽、高、通道数，表示在vgg网络该层的特征映射。
[0089]
本实施例针对夜间、雨、雪、雾霾四种影响成像质量的环境类型况，训练四种不同的图像增强模型；同样的，其他的不利环境类型，也可根据以上步骤进行模型训练和增强，本发明以夜间、雨、雪、雾霾为例，但不局限于此。
[0090]
作为本实施例的优选实施方式，本实施例针对指针型仪表提供一种仪表定位识别模型，包括仪表定位模块、纠偏模块以及读数识别模块；
[0091]
建立所述仪表定位模块的方法具体为：
[0092]
收集多张仪表图像{i1，i2，...，im}，对每张图像ii(i＝1，2，...，m)，标记仪表盘可见区域的的蒙版ri，于是得到{(i1，r1)，(i2，r2)，...，(im，rm)}形成的训练样本集，通过训练样本集对目标分割网络进行训练，本实施例目标分割网络采用maskrcnn网络，得到用于预测仪表表盘所在区域的仪表定位模型；同时拍摄一张正面仪表图像作为模版图像，模版图像的四边形四个顶点按逆时针顺序为分别为{(t
1x
，t
1y
)，(t
2x
，t
2y
)，(t
3x
，t
3y
)，(t
4x
，t
4y
)}，模版图像的指针中心为(c
x
，cy)，刻度为0时指针与水平线的夹角为满刻度时指针与水平线的夹角为量程为s。
[0093]
对增强后的图像ie，采用maskrcnn网络预测出表盘区域的蒙版re，根据蒙版re从蒙版ie中裁剪出表盘图像i
p
。由于上述图像增强模型重点增强了表盘区域，抑制了背景区域，因此提取出的蒙版会更加精确；同时保证即使表盘有偏移和错位，也能够准确定位该区域，因此适用于巡检机器人这种容易受外部干扰因素(如颠簸、定位偏差)的场合。
[0094]
所述纠偏模块对蒙版re采用3*3的sobel算子提取边缘，接着采用hough变换提取相交的四条直线，四条直线的交点按逆时针顺序为{(p1x，p1y)，(p2x，p2y)，(p3x，p3y)，(p4x，p4y)}。sobel算子定义为：
[0095][0096]
根据{(t1x，t1y)，(t2x，t2y)，(t3x，t3y)，(t4x，t4y)}和{(p1x，p1y)，(p2x，p2y)，(p3x，p3y)，(p4x，p4y)}计算出变换矩阵m，并根据变换矩阵m将表盘图像i
p
拉伸到正面得到标准表盘图像iw，使得表盘四个角和模版图像的四个角对应上；
[0097]
对标准表盘图像iw采用sobel算子和hough变换再一次提取直线，并判断直线是否经过模版指针中心(c
x
，cy)。若该直线经过指针中心，则为指针直线，假定该直线与水平线的夹角为，则当前读数d为：
[0098][0099]
图4展示了通过本实施例对指针型仪表进行读数识别的流程。
[0100]
实施例二：
[0101]
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如本发明任一实施
例所述的仪表读数识别方法。
[0102]
实施例三：
[0103]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任一实施例所述的仪表读数识别方法。
[0104]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。