一种基于深度学习和文字识别的指针式仪表自动读数方法与流程

本发明涉及一种基于深度学习和文字识别的指针式仪表自动读数方法，适用于单指针、刻度均匀的圆形指针式仪表，应用于电力、石化、冶金等工业领域。

背景技术：

1、指针式仪表因结构简单、读数方便、受外界电磁干扰影响小等优点而广泛应用于电力、冶金、石化等工业领域。工厂通常是安排值班人员定期巡视观察仪表设备的状态并记录结果。但厂区分布分散，人工巡检耗时长，无法实时监测指针式仪表，且部分工作环境危险或恶劣天气下导致人工巡检无法到达。另外通过人工巡检的方式受到巡检人员工作状态、工作水平等诸多因素制约，时常会造成误检、漏检等情况。

2、目前传统的指针式仪表读数识别的大多数算法只能在特定的环境或固定的位置运行，受强光和阴影等环境因素影响大，长期的可靠性、稳定性低。

3、例如：申请号为cn202010071489.7的发明专利申请公开了一种基于fasterr-cnn和u-net的指针式仪表读数自动识别方法，包括：s1)制作fasterr-cnn数据集；s2)建立fasterr-cnn网络模型，对fasterr-cnn网络模型分别进行训练和测试；s3)构建u-net网络模型，建立损失函数l，对u-net网络模型分别进行训练和测试；s4)利用刻度线分割结果拟合刻度线轮廓；s5)利用透视变换校准表盘图像；s6)利用fasterr-cnn网络模型对指针区域进行检测；s7)获取表盘校准图像的指针倾角以及最终结果。

4、申请号为cn202210956634.9的发明专利申请公开了一种巡检机器人本地部署的轻量化指针式仪表识别方法，包括：获取仪表识别训练集和指针、刻度线分割训练集；利用仪表识别训练集训练改进yolov5模型；利用指针、刻度线分割训练集训练改进deeplabv3+模型；对于巡检机器人采集到的指针式仪表图像，利用训练好的改进yolov5模型定位仪表图像中仪表所在的区域，根据得到的定位框的四个顶点坐标，对仪表定位框进行剪裁，得到仪表区域图像；将经剪裁后得到的仪表区域图像输入训练好的改进deeplabv3+模型中进行指针与刻度线的分割和提取；基于椭圆法对指针和刻度线二值化掩码图像进行透视变换，再根据指针的质心拟合出指针直线，最后根据角度法进行读数。

5、申请号为cn202110958619.3的发明专利申请公开了一种基于深度学习的指针式仪表自动读数方法，训练基于yolov4的目标检测模型，对表盘进行检测。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。训练基于unet的语义分割模型，分割指针。

6、如上所示的现有指针式仪表自动读数方法所训练出的模型，只能针对某类型的仪表，没有专门对仪表的刻度文字和量程进行识别，对于相同刻度不同量程的仪表没办法进行有效区分。

技术实现思路

1、本发明要解决的技术问题是：现有指针式仪表自动读数算法模型抗干扰能力差、通用性差。

2、为了解决上述技术问题，本发明的技术方案是提供了一种用于流程工业的生产过程设备调度优化方法，其特征在于，包括以下步骤：

3、步骤1、训练仪表盘目标检测模型：

4、仪表盘目标检测模型选择yolov7作为目标检测器，骨干网络采用elan-net；收集圆形指针式仪表的图像后制作仪表盘的数据集，对数据集中的仪表盘进行标注后，基于数据集构建训练集与测试集；利用训练集对仪表盘目标检测模型进行整体训练，仪表盘目标检测模型经过多轮训练后，通过测试集进行多模型测试，选择具有最优的识别效果的模型作为最终的仪表盘目标检测模型；

5、步骤2、训练语义分割模型：

6、语义分割模型采用deeplabv3p进行指针和刻度的分割，骨干网络选择resnet50-vd；收集圆形指针式仪表的仪表盘图像，制作语义分割的数据集，对数据集中的刻度和指针进行标注后，基于数据集构建训练集与测试集；利用训练集对语义分割模型进行整体训练，语义分割模型经过多轮训练后，通过测试集进行多模型测试，选择具有最优语义分割效果的模型作为最终的语义分割模型；

7、步骤3、目标检测：

8、使用步骤1训练好的仪表盘目标检测模型定位实时获得的仪表图像中仪表表盘所在的区域，获取到仪表表盘图像；

9、步骤4、图像矫正：

10、利用opencv中的透视矩阵和透视变换算法对步骤3获取到的仪表表盘图像进行矫正，使得仪表表盘图像中的表盘恢复为圆形且仪表刻度分布均匀；

11、步骤5、语义分割：

12、使用步骤2训练好的语义分割模型将步骤4矫正后的仪表表盘图像中的指针和刻度线分割出来，并对语义分割模型获得的预测类别图进行图像腐蚀操作，以达到刻度细分的目的；

13、步骤6、刻度计算：

14、以步骤5获得的图像中心为原点，以一定宽度进行扫描，将仪表盘的刻度和指针展开为矩形的图像，根据图像中类别信息生成一维的刻度数组和一维的指针数组；计算刻度数组的均值，用均值对刻度数组进行二值化操作，从而定位到指针在刻度盘中的相对位置；

15、步骤7、文字识别：

16、使用基于深度学习的场景文本端到端识别算法mask textspotter v3识别出仪表盘中的各刻度上的数字；

17、步骤8、量程匹配：

18、根据mask textspotter v3算法读取到的刻度数字，剔除无效字符后，按数值大小进行排序，并与已有的仪表量程规格进行匹配，根据量程规格匹配结果，选择置信度最高的量程规格作为当前仪表量程；

19、步骤9、计算读数：

20、将步骤6得到的指针在刻度盘中的相对位置与步骤8得到的仪表量程相乘计算出仪表盘的读数。

21、优选地，步骤1中，使用labelme对数据集中的仪表盘进行标注；步骤2中，使用labelme对数据集中的刻度和指针进行标注。

22、优选地，步骤1以及步骤2中，使用gpu对模型进行整体训练。

23、本发明将深度学习、机器视觉和文字识别等相关技术相结合，设计了一种基于深度学习和文字识别的指针式仪表自动读数方法，适用于单指针、刻度均匀的圆形指针式仪表，实现自然条件下对指针式仪表的表盘识别定位、指针和刻度线分割、以及量程刻度信息读取，进而获取仪表显示信息。与传统图像处理识别定位算法相比，本发明抗干扰能力强、适应性广，有效避免因人工操作带来的读取和记录错误，并且适用于多种不同量程规格的仪表，不再需要针对每一种量程规格的仪表训练一套模型，降低模型训练工作量，还可以在倾斜、光线、阴影等自然环境下工作，提高工作效率。

24、具体而言，本发明所公开的技术方案相比现有技术方案存在如下有益效果：

25、本专利的有益效果在于：

26、(1)采用基于yolov7的目标检测算法和基于透视矩阵和透视变换的图像矫正算法，对仪表表盘图像进行矫正，使得图像中的表盘恢复为圆形且仪表刻度分布均匀，提高算法在表盘图像倾斜环境下的适用性，提高后续语义分割和文字识别的精准度。

27、(2)采用基于mask textspotter v3文字识别算法读取表盘刻度上的数字，数据处理后进行与内置的仪表量程规格进行匹配，获取当前仪表的实际量程，使得该算法可以应用于各种不同规格量程的圆形指针式仪表，大大提高了该方法的适用性。本发明不再需要针对每一种量程规格的仪表训练一套模型，降低模型训练工作量。