一种基于深度学习的字轮式水表读数的识别方法及装置

本发明涉及计算机视觉，尤其是指一种基于深度学习的字轮式水表读数的识别方法及装置。

背景技术：

1、在智能城市基础设施的建设中，与其他基础设施相比，城市供水系统智能化的进程是相对较慢的。世界各地城市供水系统的基础设施运营和维护成本每年已经在1000亿美元左右。城市供水系统的智能化能够提升供水系统的效率并且降低成本，同时能够在很大程度上减少水资源的浪费，例如，智能水表可以与噪音记录器相结合，根据远传数据来检测和粗略定位供水管网中的泄露，与自动化设备一起可以调节压力以减少水损失。然而，虽然现在智能水表技术已经十分成熟，可以实时提供十分精确的数据，但是由于智能水表价格高昂等原因，大部分用户的水表仍然是传统的字轮式水表，并且在可预见的未来难以实现更新换代。由于大部分字轮式水表的存在，水表的抄表工作变得十分繁琐复杂。一个城市大约还有上百万个传统水表在使用，需要大量的抄表工人去现场抄表记录，因此人工抄表会耗费大量的人力和物力。同时，每个抄表工人每天可能要记录成百上千个水表的读数，这很难保证数据的准确性，并且这种抄表方式存在着数据难复核，数据时效性差，数据难以利用等问题。传统水表的存在在很大程度上阻碍了城市供水基础设施的智能化进度，因此，迫切需要一种可靠的水表自动读数方法来解决上述问题。

2、对于传统水表读数的自动识别问题也有很多传统算法提出，例如模板匹配法，但是大多数传统算法的鲁棒性较差，很难在各种环境下的水表图像中取得较高的精度。在深度学习领域也有相关算法提出，但是大多数深度学习算法都是单个字符识别，需要在识别前对水表读数字符进行分割，这无疑在一定程度上增加了错误率，识别准确率较低。

技术实现思路

1、为此，本发明所要解决的技术问题在于提供一种基于深度学习的字轮式水表读数的识别方法及装置，以克服现有技术中检测水表读数时进行字符分割所造成的数据识别错误以及识别效率低的问题。

2、为解决上述技术问题，本发明提供了一种基于深度学习的字轮式水表读数的识别方法，包括如下步骤：获取字轮式水表图像，对所述字轮式水表图像进行预处理，并通过数字区域检测模型得到所述字轮式水表图像中的数字区域位置图像；将所述数字区域位置图像输入基于矫正分割算法的网络模型,对所述数字区域位置图像进行矫正和分割，得到目标区域的裁剪图像；将所述目标区域的裁剪图像通过仿射变换后输入数字识别模型，通过卷积层提取图像特征，全连接层利用提取出的图像特征进行数据分类，通过softmax激活函数产生一个列×行为10×q的矩阵作为数字识别模型的输出，每一行概率最高的数字被认为是识别值，得到q个读数作为字轮式水表读数识别的结果。

3、优选地，所述数字区域检测模型是基于unet深度学习网络提出的，用于提取图像显示的数字区域，其训练过程使用均方差损失函数，数学表达式为：

4、

5、其中，n是输出元素的个数，yi是第i个输出元素的真实值,是第i个输出元素的预测值。

6、优选地，将所述数字区域位置图像输入基于矫正分割算法的网络模型,对所述数字区域位置图像进行矫正和分割，具体步骤如下：

7、对所述数字区域位置图像进行边缘检测，得到数字区域位置的边缘点，同时获得所述边缘点的最小外接矩形及其四个顶点坐标；

8、利用矫正算法对所述最小外接矩形进行矫正，获得一个新的四边形区域；

9、其中，所述矫正算法的数学表达式为：

10、

11、

12、上式中，(xi,yi)((i＝1,2,…()是所述数字区域位置图像的边缘点坐标，为所述最小外接矩形四个顶点的坐标，sij(i＝1,2,…；j＝1,2,3,4)是第i个边缘点到第j个最小外接矩形框顶点的距离，dupi和ddowni(i＝1,2,…)是第i个边缘点到最小外接矩形上下边的距离，ω1和ω2是加权系数，ω1＝0.975，ω2＝1-ω1，cij是第i个边缘点到最小外接矩形的第j个顶点的加权距离。

13、按照所述新的四边形区域对所述数字区域位置图像进行裁剪分割，得到目标区域的裁剪图像；

14、其中，所述新的四边形区域的顶点坐标计算公式如下：

15、cmj＝mincij

16、上式中，cmj是第m个边缘点到最小外接矩形的第j个顶点的加权距离；

17、用(xm,ym)((i＝m()替代作为矫正后的四边形的一个顶点，直到矫正完四个顶点，构成新的四边形区域。

18、优选地，所述数字识别模型是基于卷积神经网络搭建的，网络包括三个结构相同的块，每个块包括两个使用3×3卷积核的卷积操作和一个最大池化操作，卷积核的数量递增。

19、优选地，所述数字识别模型，其训练过程的损失函数采用交叉熵损失函数，数学表达式为：

20、

21、其中，n表示样本数，m表示类别数，i表示第i个样本，c表示第c个类别，yic是一个符号函数，如果样本i的真实类别为c，则取1，否则取0，pic为观测样本i属于类别c的预测概率。

22、优选地，所述数字区域检测模型和所述数字识别模型的训练过程均采用adam优化器来更新网络权重。

23、优选地，所述全连接层利用提取出的特征信息进行数据分类，所述全连接层用到的激活函数为softmax，所述softmax激活函数的数学方程式如下：

24、

25、其中，k表示输出或类别的数量，z是输出向量，zj是z中第j个输出或类别的值，i表示当前需要评估的类别。

26、本发明还提供了一种基于深度学习的字轮式水表读数识别装置，包括：

27、数字区域检测模块，获取字轮式水表图像，对所述字轮式水表图像进行预处理，并通过数字区域检测模型得到所述字轮式水表图像中的数字区域位置图像；

28、数字区域矫正模块，将所述数字区域位置图像输入基于矫正分割算法的网络模型,对所述数字区域位置图像进行矫正和分割，得到目标区域的裁剪图像；

29、数字区域读数识别模块，将所述目标区域的裁剪图像通过仿射变换后输入数字识别模型，通过卷积层提取图像特征，全连接层利用提取出的图像特征进行数据分类，通过softmax激活函数产生一个列×行为10×q的矩阵作为数字识别模型的输出，每一行概率最高的数字被认为是识别值，得到q个读数作为字轮式水表读数识别的结果。

30、本发明的上述技术方案相比现有技术具有以下优点：

31、本发明所提供的一种基于深度学习的字轮式水表读数识别方法及装置，将字轮式水表的读数问题分为两部分，即水表数字区域检测和读数识别，基于深度学习网络提出一种数字区域检测模型，并提出一种基于矫正分割算法的网络模型对预测出的数字区域位置图像进行矫正和分割，从而得到目标区域的裁剪图像，提高了后续数字识别模型的识别效果；基于卷积神经网络搭建了一个用于水表数字识别的数字识别模型，实现了无需字符切割即可识别读数；同时，所述数字识别模型体积小，便于在嵌入式设备上部署，以实现传统水表的智能化，或是安装在移动设备上供抄表工人使用，或是部署在云端用于数据的读取和复核，因此该发明可以节省抄表过程中耗费的大量人力、物力，具有推动智慧城市水务管理基础设施发展的潜力。