一种指针式仪表读数识别方法

本发明属于计算机视觉的工业图像应用领域，具体涉及一种指针式仪表读数识别方法。

背景技术：

1、传统的指针式仪表读数识别方法通常依赖于人工观察和记录指针的位置来获取测量值。这个过程需要操作员仔细地观察仪表上的指针位置，并准确地记录下所指示的数值。人工方法不仅耗时，而且容易出错，业界正在逐步采用计算机视觉的方法来进行仪表读数。然而，现有的计算机视觉方法在对工业环境下的仪表进行读数时，也存在不足。

2、在工业环境中，由于仪表数量多，光照和环境因素会对图像质量产生显著的影响，这使得现有的计算机视觉方法无法充分地提取工业图像中的关键特征，进而影响识别效果。此外，现有的计算机视觉方法在实时性方面也达不到工业场景的要求。因此，在工业场景中，使用目前的基于深度学习的计算机视觉方法在对大规模仪表读数时存在读取效率低下及识别效果差的问题。

技术实现思路

1、为了克服读取效率低及识别效果差的不足，本发明提供了一种指针式仪表读数识别方法，包括如下步骤：

2、获取指针式仪表图像数据集；

3、基于u2-net神经网络架构及mpa注意力机制，将u2-net神经网络架构的编码层和解码层进行跳跃连接，得到跳跃连接权重；将相邻的解码层之间进行上采样，得到上采样权重；将所述跳跃连接权重和上采样权重分别输入mpa进行特征融合，得到融合后的权重；将所述跳跃连接权重或上采样权重与融合后的权重相乘后融合输出，得到神经网络分割模型；

4、将所述指针式仪表图像数据集输入神经网络分割模型，得到仪表刻度和指针分割数据；对所述仪表刻度和指针分割数据进行拟合，得到刻度圆和指针直线；

5、对所述刻度圆和指针直线进行相对角度计算，得到指针读数信息。

6、优选的，所述获取指针式仪表图像数据集，包括如下步骤：

7、在工业环境布设多个机位进行仪表图像数据集的采集，将仪表图像数据集按照所处环境进行归类，得到包含多类工业背景的图像；

8、使用yolo v7目标检测模型对包含多类工业背景的图像进行预处理，从多类工业背景中检测出多个表盘；

9、使用labelme软件对多个所述表盘进行标记，得到指针式仪表图像数据集。

10、优选的，还包括对神经网络分割模型进行训练，具体包括如下步骤：

11、将所述指针式仪表图像数据集的第n个表盘图像mn输入至第1个编码层encoder1，得到特征图enres1，其长宽变为输入的

12、当m＝2，3，4时，将特征图enresm-1作为第m级编码层encoderm的输入，并得到相应输出的特征图enresm，其长宽变为输入的2-m；

13、当m＝5时，经第5级编码层encoder5得到特征图enres5，其与enres4分别作为x5，g5送入第5层特征融合机制fusion5；

14、当m＝5时，将fusion5得到特征图fures5送入第5层解码层decoder5得到特征图deres5。

15、当m＝2，3，4时，fusionm将enresm作为gm，deresm+1作为xm进行特征融合得到furesm后送入decoderm-1，furesm长宽变为输入的2-m；

16、当m＝1时，fusion1融合enres1和deres2送入decoder1，得到deres1，长宽与输入相同；

17、建立反向传播损失函数l，使用反向传播损失函数对神经网络进行训练，当训练迭代次数达到预定的次数时训练停止，从而得到最优的神经网络分割模型：

18、优选的，所述反向传播损失函数的计算公式如下：

19、

20、其中，p为表盘图像的像素点数，表示pn的第i个像素点预测向量，表示对应的mn第i个像素点标签向量。

21、优选的，对所述仪表刻度和指针分割数据进行拟合，得到刻度圆和指针直线，包括如下步骤：

22、根据仪表刻度和指针分割数据得到对应像素点预测得分向量(scores,scorep)，其中，scores表示刻度预测得分，scorep表示指针预测得分，其值介于0至1之间；

23、对于scores和scorep低于0.5的目标，予以舍弃，保留scores和scorep为0.5及以上的目标区域的坐标信息，得到刻度和指针分割数据；

24、使用霍夫变换的几何法对刻度和指针分割数据进行拟合，将多数刻度置于一圆上，将指针多部位置于一直线上，得到刻度圆和指针直线。

25、优选的，神经网络分割模型包括编码层、解码层、融合模块以及输出模块。

26、优选的，所述编码层和解码层均为u型残差卷积块rsu，且数量均为5个，最后一个编码层与第一个解码层连接。

27、优选的，mpa注意力机制包含通道注意力和空间注意力，所述跳跃连接权重和上采样权重分别输入通道注意力和空间注意力进行特征融合。

28、优选的，所述输出模块由前三层解码层融合而成。

29、优选的，对所述刻度圆和指针直线进行相对角度计算，其计算公式为：

30、

31、式中，reading为计算读数，α为相对角度，β为满刻度相对角度，γ为指针直线相对角度，ω为参考仪表量程。

32、本发明提供的指针式仪表读数识别方法具有以下有益效果：

33、本申请通过将跳跃连接权重和上采样权重分别输入mpa进行特征融合，得到融合后的权重，再将跳跃连接权重或上采样权重与融合后的权重相乘后融合输出，能够使构建的神经网络分割模型有选择地关注图像中的重要特征，增强了模型捕捉相关细节的能力，同时抑制噪声和不相关信息，从而能够快速准确的对指针式仪表图像进行刻度和指针分割；再通过对仪表刻度和指针分割数据进行拟合并结合几何与代数测量算法，能够准确的读出指针式仪表读数，从而解决了工业环境大规模读表读取效率低及读数方法精度不够等缺点。

技术特征：

1.一种指针式仪表读数识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，所述获取指针式仪表图像数据集，包括如下步骤：

3.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，还包括对神经网络分割模型进行训练，具体包括如下步骤：

4.根据权利要求3所述的指针式仪表读数识别方法，其特征在于，所述反向传播损失函数的计算公式如下：

5.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，对所述仪表刻度和指针分割数据进行拟合，得到刻度圆和指针直线，包括如下步骤：

6.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，神经网络分割模型包括编码层、解码层、融合模块以及输出模块。

7.根据权利要求6所述的指针式仪表读数识别方法，其特征在于，所述编码层和解码层均为u型残差卷积块rsu，且数量均为5个，最后一个编码层与第一个解码层连接。

8.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，mpa注意力机制包含通道注意力和空间注意力，所述跳跃连接权重和上采样权重分别输入通道注意力和空间注意力进行特征融合。

9.根据权利要求6所述的指针式仪表读数识别方法，其特征在于，所述输出模块由前三层解码层融合而成。

10.根据权利要求1所述的指针式仪表读数识别方法，其特征在于，对所述刻度圆和指针直线进行相对角度计算，其计算公式为：

技术总结
本发明提供了一种指针式仪表读数识别方法，属于计算机视觉的工业图像应用领域，包括如下步骤：获取指针式仪表图像数据；基于U<supgt;2</supgt;‑Net神经网络架构及MPA注意力机制，将U<supgt;2</supgt;‑Net神经网络架构的编码层和解码层进行跳跃连接，得到跳跃连接权重；将相邻的解码层之间进行上采样，得到上采样权重；将跳跃连接权重和上采样权重分别输入MPA进行特征融合，得到融合后的权重；将跳跃连接权重或上采样权重与融合后的权重相乘后融合输出，得到神经网络分割模型；将指针式仪表图像数据输入神经网络分割模型，得到仪表刻度和指针分割数据；并对两者进行拟合，得到刻度圆和指针直线；对刻度圆和指针直线进行相对角度计算，得到指针读数信息。

技术研发人员：谭大禹,王劲龙,周晓平,戴益科,苏延森,郑春厚
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/3/4