基于偏振成像的深度学习指针仪表读数识别方法与流程

本发明属于仪表数据采集，具体涉及一种基于偏振成像的深度学习指针仪表读数识别方法。

背景技术：

1、指针仪表广泛用于变电站系统，例如指针式油位表计、油压表计等等。传统获取这些指针仪表读取方法为定期或非定期人工检查，然而这种方式不仅耗时耗力效率较低并且准确性较差。除此之外，有一些时候由于大量设备在高温、高压、高海拔地区，工作人员难以进入到相关设备进行读数读取，并且读取后再进行集中统计效率较低无法达到实时性。工人每天都要进行大量的抄表工作，这些仪表需要一定的计算，高精度仪表读取比较困难，而且记录数据需要大量工作人员手动完成，这很容易导致员工疲劳，从而造成一些数据读取不正确，一些数据记录不正确，并且当时无法立即发现。长远来看可能会造成严重的经济损失。因此使用自动化读取仪表读数很有必要。

2、目前主流方法为传统方法，张文杰等提出了一种基于视觉显著性区域检测先验知识来获得指针区域的方法，再通过旋转仪表对比指针投影最大值，获取指针与横轴的夹角；kim等提出了基于形态学的处理方法来进行指针仪表读数。传统方法都有一个前提，就是需要先把仪表的位置裁剪出来，再对仪表内指针进行读数，而裁剪的好坏将决定仪表读数的准确性，并且需要对图像进行裁剪预处理难以实现全自动化处理。随着人工智能技术的发展，基于深度学习的目标检测方法检测性能在大数据场景中展现出远超过传统方法的性能。然而由于环境高温，潮湿会导致指针仪表内有水雾，从而影响自动化读取的准确性，可能会造成严重的经济损失。而偏振图像能够很好的对水雾进行去除，目前并没有工作对指针仪表进行研究。

3、由于指针仪表周围的环境大多都是高温潮湿的环境，因此经常会出现仪表中有水雾的情况，现有方法在指针仪表中出现水雾情况下进行读数时会出现读数不准确，甚至无法读数，这就导致自动化系统无法准确记录读数，会带来潜在的经济损失。

技术实现思路

1、为了克服现有技术水雾情况下自动化获取指针仪表读数的缺陷，本发明提出了基于偏振成像的深度学习指针仪表读取识别方法，该方法使用两阶段来实现仪表读取，第一阶段采用深度学习的检测方法来获取表盘的位置，并将其裁剪出来作为第二阶段的输入，第二阶段采用基于偏振去水雾的方法对表盘进行预处理然后再进行表盘读数的获取，从而能够实现在有水雾情况下依旧高效的全自动化获取指针仪表读数。

2、本发明通过下述技术方案来实现，基于偏振成像的深度学习指针仪表读数识别方法，包括如下步骤：

3、步骤s1：通过摄像头采集获取指针仪表的若干第一图像；第一图像包括四个角度的偏振图像，四个角度的偏振图像均为灰度图像；

4、步骤s2：对第一图像中的指针仪表进行表盘位置标注，得到第二图像；

5、步骤s3：对标注好的第二图像进行随机数据扩增；

6、步骤s4：使用扩增后的第二图像对retinanet目标检测模型进行训练，得到训练后的retinanet目标检测模型；retinanet目标检测模型包括图像拼接模块、归一化模块、retinanet主干网络；

7、步骤s5：使用训练好的retinanet目标检测模型检测实时拍摄的偏振图像中是否包含表盘，并裁剪表盘图像；

8、步骤s6：对表盘图像进行去水雾处理；

9、步骤s7：表盘指针读数。

10、进一步优选，所述四个角度的偏振图像包括0°、45°、90°和135°的偏振图像。

11、进一步优选，第二图像也包括四个角度的偏振图像，图像拼接模块将四个角度的偏振图像直接在通道维度拼接在一起，得到w*h*4大小的拼接图像，w表示表盘宽度，h表示表盘高度；归一化模块将拼接图像归一化，归一化使用的通道均值根据retinanet主干网络使用的预训练模型选择。

12、进一步优选，retinanet主干网络包括resnet50网络、特征金字塔网络和头网络，将归一化处理后的拼接图像输入retinanet主干网络中，输入大小为w*h*4，然后通过一个3*3的卷积进行特征提取与通道整合，输出w*h*3大小的特征，然后通过resnet50网络、特征金字塔网络和头网络，头网络包括分类分支和回归分支，特征金字塔网络输出多层特征图，分类分支得到预测的各个类别的概率，回归分支得到预测的目标在图像中的位置。

13、进一步优选，步骤s6根据偏振暗通道先验去雾技术进行水雾去除，对在0°, 45°,90°与135°下的偏振图像进行去水雾处理，然后计算出线偏振度dolp图。

14、进一步优选，步骤s6中，stokes 矢量用来表征光偏振态有四个参量：

15、；

16、其中，s代表stokes 矢量，s0代表入射光的总光强，是偏振强度信息；s1、s2、s3分别是光在45°, 90°与135°角度方向上的强度之差，i表示光强信息，q表示线偏振的方向，u表示线偏振的强度，v表示圆偏振分量，i0、i45、i90、i135分别为0°, 45°, 90°与135°角度下光的强度， iright和ileft分别表示右旋圆偏振光与左旋圆偏振光；

17、线偏振度dolp计算方式为：

18、；

19、线偏振度dolp计算后得到线偏振度dolp图。

20、进一步优选，表盘指针读数过程为：将去水雾后的表盘图像进行同态滤波处理，在同态滤波处理后进行仪表的矫正，从而得到表盘正立图像，对表盘正立图像进行二值化操作和形态学处理，最后使用角度法获取表盘的读数值。

21、进一步优选，随机数据扩增方式包括：翻转、颜色空间变换、裁剪、旋转、锐化、模糊和混合。

22、本发明的有益效果：

23、本发明第一阶段使用retinanet目标检测模型将偏振图像进行检测，从而获取当前图像中的指针仪表的表盘位置，如果当前图像中未检测出表盘则不做后续的去水雾以及读数处理，如果当前图像中检测到了表盘则进行去水雾及读数处理。第二阶段进行去水雾和读数处理；

24、因为偏振图像先天就有去水雾以及识别不同材质的潜力，因此使用偏振图像作为retinanet目标检测模型的输入能够提升指针仪表的检测概率，从而提升检测性能。

25、本发明的retinanet目标检测模型与原始retinanet模型相比，在输入时增加了一个3*3的卷积来进行特征提取与通道整合，从而能够使用预训练的resnet50网络，其余部分均与原始retinanet模型一致。

26、本发明解决了在表盘中出现水雾时准确高效的进行指针仪表读取识别，这是现有方法的一个痛点，解决了该问题后为真正意义上的全自动化获取指针仪表读数提供了一个方案，具有潜在的经济价值。

技术特征：

1.基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，所述四个角度的偏振图像包括0°、45°、90°和135°的偏振图像。

3.根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，第二图像也包括四个角度的偏振图像，图像拼接模块将四个角度的偏振图像直接在通道维度拼接在一起，得到w*h*4大小的拼接图像，w表示表盘宽度，h表示表盘高度；归一化模块将拼接图像归一化，归一化使用的通道均值根据retinanet主干网络使用的预训练模型选择。

4.根据权利要求3所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，retinanet主干网络包括resnet50网络、特征金字塔网络和头网络，将归一化处理后的拼接图像输入retinanet主干网络中，输入大小为w*h*4，然后通过一个3*3的卷积进行特征提取与通道整合，输出w*h*3大小的特征，然后通过resnet50网络、特征金字塔网络和头网络，头网络包括分类分支和回归分支，特征金字塔网络输出多层特征图，分类分支得到预测的各个类别的概率，回归分支得到预测的目标在图像中的位置。

5.根据权利要求2所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，步骤s6根据偏振暗通道先验去雾技术进行水雾去除，对在0°, 45°, 90°与135°下的偏振图像进行去水雾处理，然后计算出线偏振度dolp图。

6.根据权利要求5所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，步骤s6中，stokes 矢量用来表征光偏振态有四个参量：

7.根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，表盘指针读数过程为：将去水雾后的表盘图像进行同态滤波处理，在同态滤波处理后进行仪表的矫正，从而得到表盘正立图像，对表盘正立图像进行二值化操作和形态学处理，最后使用角度法获取表盘的读数值。

8.根据权利要求1所述的基于偏振成像的深度学习指针仪表读数识别方法，其特征在于，随机数据扩增方式包括：翻转、颜色空间变换、裁剪、旋转、锐化、模糊和混合。

技术总结
本发明属于仪表数据采集技术领域，涉及基于偏振成像的深度学习指针仪表读数识别方法，通过无人机或者塔基摄像头采集获取指针仪表的若干第一图像；第一图像包括四个角度的偏振图像；对第一图像中的指针仪表进行表盘位置标注，得到第二图像；对标注好的第二图像进行随机数据扩增；使用扩增后的第二图像对RetinaNet目标检测模型进行训练，得到训练后的RetinaNet目标检测模型；使用训练好的RetinaNet目标检测模型检测巡检机器人实时拍摄的偏振图像中是否包含表盘，并裁剪表盘图像；对表盘图像进行去水雾处理，最后进行表盘指针读数。本发明能够实现在有水雾情况下依旧高效的全自动化获取指针仪表读数。

技术研发人员：徐波,支妍力,宋小欣,钟幼平,林谋,刘嘉,赖韵宇,刘家豪,杨鹤,杜欢欢
受保护的技术使用者：国网江西省电力有限公司超高压分公司
技术研发日：
技术公布日：2024/1/16