一种基于辅助损失的仪表图像分割优化方法及系统与流程

本发明涉及仪表读数识别，尤其涉及一种基于辅助损失的仪表图像分割优化方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、指针式仪表广泛应用于机械、医疗、土木、化工等领域，如机车仪表，水电表、压力表等，能够实时指示系统的运行状态。由于指针式仪表缺乏对应的数据输出端口，往往需要耗费人力资源去进行仪表读数的监控，而且由于工作的繁琐与主观疲劳等因素，可能出现漏检或者错检的情况发生。

3、目前，随着神经网络技术的不断发展，通过图像处理算法结合神经网络进行指针式仪表读数的智能识别方法已经被广泛应用，但是，准确的预测分割出对应的指针以及刻度量程位置是智能识别方法的关键步骤，定位的准确度直接决定后处理后仪表读数的精确度。

4、实际应用中，表盘的图像受摄像机摆放位置和角度、光照、表盘遮挡等因素的影响，现有技术的方法往往存在适应性差、泛化能力不足以及识别准确率差等问题。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于辅助损失的仪表图像分割优化方法及系统，利用深度网络同时保留住仪表刻度以及刻度量程等的较为明显的浅层边缘纹理特征，分别对浅层与深层特征进行损失计算，从而使得识别结果更加准确。

2、在一些实施方式中，采用如下技术方案：

3、一种基于辅助损失的仪表图像分割优化方法，包括：

4、获取待识别仪表图像信息；

5、将所述仪表图像信息输入至训练好的图像分割神经网络模型，得到仪表图像分割结果；

6、其中，所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图，最后一层浅层特征图经过上采样后得到深层特征图；所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数，加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

7、作为进一步地方案，所述深层特征图经过分类器变换得到待识别仪表图像信息的预测掩模信息；通过预测掩模和标签掩模计算得到深层损失函数。

8、作为进一步地方案，待识别仪表图像经过第一层下采样后得到第一浅层特征图，第一浅层特征图通过分类器变换得到第一浅层特征图的预测掩模信息，然后经过上采样后得到对应深层特征图的预测掩模信息；通过预测掩模和标签掩模计算得到第一浅层损失函数；按照同样的方式计算第二浅层损失函数、第三浅层损失函数和第四浅层损失函数。

9、作为进一步地方案，所述图像分割神经网络模型的损失函数具体为：

10、loss＝loss+a*auxloss1+b*auxloss2+c*auxloss3+d*auxloss4

11、其中，loss为深层损失函数，auxloss1、auxloss2、auxloss3和auxloss4分别为第一浅层损失函数、第二浅层损失函数、第三浅层损失函数和第四浅层损失函数；a、b、c、d分别为各浅层损失函数的权重因子。

12、作为进一步地方案，还包括：基于所述仪表图像分割结果，对仪表的读数进行识别。

13、在另一些实施方式中，采用如下技术方案：

14、一种基于辅助损失的仪表图像分割优化系统，包括：

15、图像获取模块，用于获取待识别仪表图像信息；

16、图像分割模块，用于将所述仪表图像信息输入至训练好的图像分割神经网络模型，得到仪表图像分割结果；

17、其中，所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图，最后一层浅层特征图经过上采样后得到深层特征图；所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数，加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。

18、作为进一步地方案，还包括：

19、仪表读数识别模块，用于基于所述仪表图像分割结果，对仪表的读数进行识别。

20、作为进一步地方案，所述图像分割神经网络模型的损失函数具体为：

21、loss＝loss+a*auxloss1+b*auxloss2+c*auxloss3+d*auxloss4

22、其中，loss为深层损失函数，auxloss1、auxloss2、auxloss3和auxloss4分别为第一浅层损失函数、第二浅层损失函数、第三浅层损失函数和第四浅层损失函数；a、b、c、d分别为各浅层损失函数的权重因子。

23、在另一些实施方式中，采用如下技术方案：

24、一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的基于辅助损失的仪表图像分割优化方法。

25、在另一些实施方式中，采用如下技术方案：

26、一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于辅助损失的仪表图像分割优化方法。

27、与现有技术相比，本发明的有益效果是：

28、(1)本发明在图像分割模型的基础架构上，利用辅助损失的方式，将仪表图像的浅层边缘纹理特征信息与深度信息很好的进行了融合。在没有任何计算成本提升的同时，明显提升了仪表图像分割的精度以及泛化能力。

29、本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

技术特征：

1.一种基于辅助损失的仪表图像分割优化方法，其特征在于，包括：

2.如权利要求1所述的一种基于辅助损失的仪表图像分割优化方法，其特征在于，所述深层特征图经过分类器变换得到待识别仪表图像信息的预测掩模信息；通过预测掩模和标签掩模计算得到深层损失函数。

3.如权利要求1所述的一种基于辅助损失的仪表图像分割优化方法，其特征在于，待识别仪表图像经过第一层下采样后得到第一浅层特征图，第一浅层特征图通过分类器变换得到第一浅层特征图的预测掩模信息，然后经过上采样后得到对应深层特征图的预测掩模信息；通过预测掩模和标签掩模计算得到第一浅层损失函数；按照同样的方式计算第二浅层损失函数、第三浅层损失函数和第四浅层损失函数。

4.如权利要求1所述的一种基于辅助损失的仪表图像分割优化方法，其特征在于，所述图像分割神经网络模型的损失函数具体为：

5.如权利要求1所述的一种基于辅助损失的仪表图像分割优化方法，其特征在于，还包括：基于所述仪表图像分割结果，对仪表的读数进行识别。

6.一种基于辅助损失的仪表图像分割优化系统，其特征在于，包括：

7.如权利要求6所述的一种基于辅助损失的仪表图像分割优化系统，其特征在于，还包括：

8.如权利要求6所述的一种基于辅助损失的仪表图像分割优化系统，其特征在于，所述图像分割神经网络模型的损失函数具体为：

9.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-5任一项所述的基于辅助损失的仪表图像分割优化方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-5任一项所述的基于辅助损失的仪表图像分割优化方法。

技术总结
本发明公开了一种基于辅助损失的仪表图像分割优化方法及系统，包括：获取待识别仪表图像信息；将所述仪表图像信息输入至训练好的图像分割神经网络模型，得到仪表图像分割结果；其中，所述仪表图像信息经过图像分割神经网络模型的下采样后得到多层浅层特征图，最后一层浅层特征图经过上采样后得到深层特征图；所述图像分割神经网络模型的损失函数为对深层特征进行损失计算的深层损失函数，加上用于分别对各浅层特征进行损失计算的多个浅层损失函数的加权之和。本发明在图像分割模型的基础架构上，利用辅助损失的方式，将仪表图像的浅层边缘纹理特征信息与深度信息很好的进行了融合。提升了仪表图像分割的精度以及泛化能力。

技术研发人员：陈英鹏,张朝瑞,刘辰飞,许野平
受保护的技术使用者：神思电子技术股份有限公司
技术研发日：
技术公布日：2024/1/11