一种基于语义分割的指针式仪表自动读数方法与流程

本申请涉及智能巡检，更具体地，涉及一种基于语义分割的指针式仪表自动读数方法。

背景技术：

1、随着无人值守变电所的发展，指针式仪表的自动识别读数系统的研究是必要的。指针式仪表具有成本低、结构简单等优点被广泛应用于电力系统、交通工业和航空航天工业等许多领域，但由于没有数字接口，需要人为读取。而对于工业上的复杂环境，人为读取效率低下，且存在安全隐患，所以开发一套指针式仪表的自动识别读数系统是很重要的。

2、目前传统的图像处理算法鲁棒性较差，在面对亮度不均匀、图像模糊、遮挡以及远近比例等问题上，算法识别率较低，且目前所采用的角度法和距离法无法对不均匀刻度仪表进行读数。为了克服这些不足，本专利提出了基于deeplabv3语义分割的指针式仪表自动读数方法，能够在不同变电站、不同环境下准确稳定读数，对于均匀仪表和不均匀仪表都可以适用。

技术实现思路

1、针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于语义分割的指针式仪表自动读数方法，采用指向性的方法，使得角度计算具有唯一性，准确度较高。

2、为实现上述目的，按照本发明的第一个方面，提供了一种基于语义分割的指针式仪表自动读数方法，该方法包括：

3、获取仪表的原始图像；

4、构建deeplabv3语义分割模型，将原始图像输入至训练好的deeplabv3语义分割模型，得到分割的指针像素区域与刻度像素区域；

5、分别计算指针的角度与每条刻度的角度，根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间，获取指针读数。

6、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述deeplabv3语义分割模型包括深度卷积网络，所述深度卷积网络的上采样通道包括四层卷积核与池化层，其中一个卷积核的尺寸为1×1，其余卷积核的尺寸均为3×3；

7、将所述原始图像分别进行四层卷积操作和池化操作，将卷积操作后得到的特征图与池化操作后得到的特征图进行合并，再通过1×1的卷积核运算，得到上采样特征图。

8、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述深度卷积网络的下采样通道包括尺寸为1×1的卷积核；

9、将经过1×1的卷积核运算的下采样特征图与所述上采样特征图进行拼接，进行3×3的卷积核运算，并进行上采样操作后得到语义分割图像。

10、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，对所述语义分割图像的每个像素点的类别进行判断，得到每个像素点对应的类别。

11、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述deeplabv3语义分割模型的训练过程为：

12、获取若干份仪表的原始图像作为训练样本图像；

13、将所述样本图像输入至deeplabv3语义分割模型，得到样本图像的预测分类结果；

14、将预测分类结果与标签真值基于目标损失函数进行迭代训练，得到训练好的deeplabv3语义分割模型。

15、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，具体包括：

16、获取指针像素区域图像，并建立平面直角坐标系；

17、当指针被识别为矩形时，取矩形的两个较短边长的中点，分别记为p点与q点，其中，p点为靠近指针针头的端点，q点为靠近指针针尾的端点；

18、获取p点与q点的坐标，根据p点与q点的坐标计算q点指向p点的角度，以q点指向p点的角度作为指针的最终角度。

19、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，还包括：

20、当指针像被识别为三角形时，取三角形的一个较短边长的中点，分别记为q点，较短边长所对的端点为p点，其中，p点为靠近指针针头的端点，q点为靠近指针针尾的端点；

21、获取p点与q点的坐标，根据p点与q点的坐标计算q点指向p点的角度，以q点指向p点的角度作为指针的最终角度。

22、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，还包括：

23、当指针被识别为线段时，取线段的两个端点，分别记为p点与q点，其中，p点为靠近指针针头的端点，q点为靠近指针针尾的端点；

24、获取p点与q点的坐标，根据p点与q点的坐标计算q点指向p点的角度，以q点指向p点的角度作为指针的最终角度。

25、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述每条刻度的角度，还包括：

26、获取指针像素区域图像，并建立平面直角坐标系；

27、当刻度被识别为线段时，取线段的两个端点，分别记为p点与q点，其中，p点为远离图像中心的端点，q点为靠近图像中心的端点；

28、获取p点与q点的坐标，根据p点与q点的坐标计算q点指向p点的角度，以q点指向p点的角度作为刻度的角度。

29、进一步地，上述基于语义分割的指针式仪表自动读数方法，其中，所述根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间，获取指针读数，具体包括：

30、根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间；

31、计算指针与上一时刻的角度差与两个相邻刻度的角度差，根据上述两个角度差计算指针读书，如下式所示：

32、

33、其中，αi为前一个刻度的角度，αi+1为指针后一个刻度的角度，si为指针上一时刻的角度，si+1为指针当前时刻的角度。

34、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

35、(1)本发明提供的一种基于语义分割的指针式仪表自动读数方法，通过分别计算指针的角度与每条刻度的角度，根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间，获取指针读数，采用指向性的方法，使得角度计算具有唯一性，准确度较高。

36、(2)本发明提供的一种基于语义分割的指针式仪表自动读数方法，通过区间角度法将指针与刻度的角度转化为读数，不受其他条件约束，对于均匀刻度仪表与不均匀刻度仪表均能适用。

37、(3)本发明提供的一种基于语义分割的指针式仪表自动读数方法，使用大量数据集训练得到的deeplabv3语义分割模型预测权重，可以更加稳定的提取到指针和刻度的特征区域，鲁棒性更高。

技术特征：

1.一种基于语义分割的指针式仪表自动读数方法，其特征在于，包括：

2.如权利要求1所述的基于语义分割的指针式仪表自动读数方法，其中，所述deeplabv3语义分割模型包括深度卷积网络，所述深度卷积网络的上采样通道包括四层卷积核与池化层，其中一个卷积核的尺寸为1×1，其余卷积核的尺寸均为3×3；

3.如权利要求2所述的基于语义分割的指针式仪表自动读数方法，其中，所述深度卷积网络的下采样通道包括尺寸为1×1的卷积核；

4.如权利要求3所述的基于语义分割的指针式仪表自动读数方法，其中，对所述语义分割图像的每个像素点的类别进行判断，得到每个像素点对应的类别。

5.如权利要求1所述的基于语义分割的指针式仪表自动读数方法，其中，所述deeplabv3语义分割模型的训练过程为：

6.如权利要求1所述的基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，具体包括：

7.如权利要求6所述的基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，还包括：

8.如权利要求7所述的基于语义分割的指针式仪表自动读数方法，其中，所述计算指针的角度，还包括：

9.如权利要求8所述的基于语义分割的指针式仪表自动读数方法，其中，所述每条刻度的角度，还包括：

10.如权利要求9所述的基于语义分割的指针式仪表自动读数方法，其中，所述根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间，获取指针读数，具体包括：

技术总结
本申请公开了一种基于语义分割的指针式仪表自动读数方法，该方法包括：获取仪表的原始图像；构建DeepLabV3语义分割模型，将原始图像输入至训练好的DeepLabV3语义分割模型，得到分割的指针像素区域与刻度像素区域；分别计算指针的角度与每条刻度的角度，根据指针的角度与每条刻度的角度判断指针落在哪两条相邻刻度之间，获取指针读数。本发明提供的指针与刻度的角度计算方法采用指向性的方法，使得角度计算具有唯一性，准确度较高。

技术研发人员：王开康,叶飞,何斌,蔡力,温建民,张华志,龚孟荣,张海申,许梦希,吕意,许龙,黄辉,董智慧,李启星,祝愿博
受保护的技术使用者：中铁第四勘察设计院集团有限公司
技术研发日：
技术公布日：2024/1/12