基于全卷积递归神经网络的水表圆盘区域检测方法与流程

本发明涉及机器学习和计算机视觉领域，尤其涉及基于全卷积递归神经网络的水表圆盘区域检测方法。

背景技术：

近几年来，随着人工智能的发展，利用深度学习解决传统机器学习遇到的问题成为热点，基于计算机视觉的水表圆盘区域检测就是计算机视觉中的一个重要应用，它可以正确的识别一张图片中是否包含水表圆盘，为提高水表读数识别率打下了坚实的基础，进而自动识别水表，取代现有的人工水表读数方式。

水表圆盘区域检测首要解决的问题就是圆形区域的检测，目前主流的方法主要有霍夫变换和基于此方法的优化方法。然而这些方法并没有从根本上解决问题，对各种复杂场景下的光照、形变、遮挡等条件适应性不好。

技术实现要素：

为克服现有技术的不足，本发明提出基于全卷积递归神经网络的水表圆盘区域检测方法。

本发明的技术方案是这样实现的，基于全卷积递归神经网络的水表圆盘区域检测方法，包括步骤

S1：获取水表图像，标注所述水表图像上的水表圆盘区域外界矩形框，并获取所述水表圆盘区域外界矩形框的标注信息；

S2：构建全卷积递归神经网络，利用所述全卷积递归神经网络提取所述水表图像的多通道特征图；

S3：使用滑动窗口扫描所述多通道特征图，初步筛选出表盘区域候选窗；

S4：提取所述表盘区域候选窗位置的相应位置特征，获取最终目标检测结果；

S5：利用表盘区域候选窗损失及最终目标损失，更新所述全卷积递归神经网的参数。

进一步地，步骤S1包括步骤

S11：通过摄像头采集多个实际场景中的水表图像样本，所述水表图像样本包括多种光照条件下，不同视角，不同类型，不同受损程度，不同旋转角度的水表图像样本；

S12：对所述水表图像样本中水表圆盘的区域进行标注，包括水表圆盘区域外界矩形框四个顶点区域坐标位置(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。

进一步地，步骤S2包括步骤

S21：构建全卷积递归神经网络，所述全卷积递归神经网络包括多个卷积层和池化层的级联，输入为三通道RGB图像，输出为多通道的特征图；

S22：通过误差反向传播和随机梯度下降法，对所述全卷积递归神经网络的参数进行优化更新。

进一步地，步骤S3包括步骤

S31：对所述多通道特征图进行滑动窗口扫描，并将滑动窗口内多通道特征图进行特征融合；

S32：构建多个多层全连接神经网络，每个多层全连接神经网络分别负责不同尺度下目标的检测和定位。

进一步地，步骤S4包括步骤

根据所述表盘区域候选窗，在所述多通道特征图上提取相应位置的特征，并进行定尺寸的空间金字塔池化，得到特征向量，特征向量经过分类器和回归器计算后得到目标的显著性以及矩形框参数，对检测到的目标进行非极大化抑制，得到检测目标。

进一步地，步骤S5还包括步骤

S51：将步骤S1中的水表图像替换为待测试水表图像；

S52：重复步骤S2-S4，获取最终目标检测结果；

S53：对所述最终目标检测结果进行非最大化抑制，得到最终目标检测结果。

本发明的有益效果在于，与现有技术相比，本发明利用深度学习中的全卷积递归神经网络，自动提取水表圆盘特征，解决了复杂背景下水表圆盘区域检测的问题，将识别出圆盘的位置进一步作为水表读数识别的输入，大大提高了水表读数识别的识别率。

附图说明

图1是本发明基于全卷积递归神经网络的水表圆盘区域检测方法流程图；

图2是本发明的全卷积递归神经网络结构示意图；

图3是一个水表图像样本示意图；

图4是一个水表圆盘区域检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明基于全卷积递归神经网络的水表圆盘区域检测方法包括步骤

S1：获取水表图像以及水表圆盘区域外界矩形的标注信息，通过RGB摄像头采集大量实际场景中的水表图像样本(如图3所示)，包括各种光照条件下，不同视角，不同类型，不同受损程度，不同旋转角度的水表图像样本，以保证样本的多样性，提升水表区域检测性能，对获取的水表图像样本中的水表读数区域进行人为的标注，包括水表圆盘区域的矩形框四个顶点区域坐标位置(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)；

S2：利用全卷积递归神经网络提取多通道特征图，设计一个全卷积递归神经网络(如图2所示)，该卷积神经网络包括多个卷积层和池化层的级联，使得该深度卷积神经网络输入为三通道RGB图像，输出为多通道的特征图。其优化方法是利用损失函数所计算的误差计算误差的加权和：

L＝L_S3+λ×L_S4

通过误差反向传播和随机梯度下降法，对全卷积递归神经网络的参数进行优化更新。

S3：对所述多通道特征图进行滑动窗扫描，获得目标区域候选窗，具体实施步骤如下：

S31：对S2中图像样本通过全卷积递归神经网络计算后得到的多通道特征图进行滑动窗扫描，并将滑动窗内多通道特征图进行特征融合；

S32：以S31所得特征为输入，设计多个多层全连接神经网络，分别负责不同尺度下目标的检测和定位。

当Overlap＞0.7时，该分类器将该特征作为正样本特征，回归器以该外接水平矩形框的中心、长度和宽度作为回归目标；

当Overlap＜0.3时，该分类器将该特征作为负样本特征，回归器不计算误差；

当0.7≥Overlap≥0.3时，该分类器和回归器均不计算误差；

S33：采用的分类器输出为Sigmoid函数：

分类器损失函数为交叉熵损失函数：

采用的回归器损失函数为欧式距离损失函数：

S34：根据分类器输出的候选窗显著性，筛选出概率大于0.5的目标区域候选窗，并根据回归器输出的目标矩形框参数对所筛选出的候选框进行非极大化抑制，其具体做法如下：在重叠率大于0.5的目标框中只保留置信度最高的结果。

S4：依据目标区域候选窗位置提取相应位置特征并获得最终目标检测结果，具体实施步骤如下：

S41：依据S34所得目标候选窗，在多通道特征图上提取相应位置的特征，并进行定尺寸的空间金字塔池化，得到特征向量；

S42：特征向量经过分类器和回归器计算后得到目标的显著性以及矩形框，分类器和回归器损失函数与S33所述相同；

S43：对检测到的目标进行非极大化抑制，得到检测目标。

S5：利用候选窗损失及最终目标损失进行参数更新。

在进行水表图像测试时，将步骤S1的数据替换为测试数据，依次经过S2，S3，S4步骤后，对目标检测结果进行非最大化抑制得到最终目标检测结果(如图4所示)。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。