一种数显仪表读数的精确检测方法与流程

文档序号:16036793发布日期:2018-11-24 10:08阅读:391来源:国知局

本发明涉及模式识别与人工智能技术领域,具体的说,是涉及一种数显仪表读数的精确检测方法。

背景技术

仪表读数的提取在各种测量和监测系统中具有广泛的应用,例如水电气热的抄表计费应用中,需要定期读取仪表读数;在监测系统中,也需要定期或实时地读取仪表读数,以实现对系统的监测与控制。

仪表读数的提取目前主要有两种方式:一是采用人工读取的方式,例如人工抄表。这种方式费时费力,也不利于系统的自动化。二是采用对测量仪表进行数字化改造,可以直接输出数字化读数。这种方式往往需要较大的成本投入。例如对现有水表进行数字化改造,需要更换数字化水表,投入较大,也给使用带来不便。

基于计算机视觉的仪表读数提取,通过摄像头拍摄仪表图像,利用计算机视觉技术自动提取仪表读数。该方法具有即装即用,无需改造原有测量仪表,成本低廉等特点。但是目前基于计算机视觉的仪表读数提取方法,主要采用传统图像处理的方法,通过图像二值化、边缘检测、图像分割等分离模块,实现仪表读取区域的提取。该方法容易受到图像噪声的干扰,准确率不高;并且检测速度慢、实用性低。

上述缺陷,值得解决。



技术实现要素:

为了克服现有仪表读数提取方法的不足,充分利用深度网络模型的参数学习能力,基于深度网络模型的对抗式学习能力和反传残差的物理意义,通过学习数据样本的分布,提供一种数显仪表读数的精确检测方法,本发明具有实时性强、准确率高等特点,具有较好的实用价值。

本发明技术方案如下所述:

一种数显仪表读数的精确检测方法,其特征在于,包括以下步骤:

s1:数据获取:采用摄像设备拍摄包含读数区域的仪表图像;

s2:数据处理:对仪表读数值进行人工标注,并进行仪表图像的小角度随机旋转、以及小尺度的拉伸和平移变换;

s3:深度网络模型构建及训练:将仪表图像和相应标注数据输入到深度网络模型进行训练,训练过程中采用识别模型做弱监督参数学习;

s4:仪表读数检测:输入仪表图像,系统返回一张规范的仪表读数图像。

根据上述方案的本发明,其特征在于,在所述步骤s1中,在拍摄的仪表图像中,仪表表盘读数部分占据图像面积的三分之二以上。

根据上述方案的本发明,其特征在于,在所述步骤s2中,对拍摄的图像进行标注,标注内容为仪表读数,读数的每个数字之间使用“,”隔开。

根据上述方案的本发明,其特征在于,所述步骤s3具体包括:

s31:构建深度神经网络模型;

s32:网络模型训练参数设定;

s33:在随机初始化参数下进行深度神经网络的训练。

进一步的,所述步骤s32中的深度神经网络模型包括参数预测模块和重采样模块:所述参数预测模块从仪表图像中提取读数的位置特征信息,通过卷积神经网络得到高级特征图,并由高级特征图预测得到反映图像旋转、缩放和平移特性的参数;所述重采样模块根据预测的参数对图像进行旋转、缩放和平移,重新采样后得到一张规范的仪表图像。

进一步的,所述步骤s32中的网络模型训练参数包括迭代次数、优化器、学习率以及权重衰减系数。

更进一步的,所述迭代次数为1000000,所述优化器采用adadelta方法,所述学习率为1.0,所述权重衰减系数为0.0005。

进一步的,在所述步骤s33中,网络模型训练中采用残差回传算法,通过从最后一层计算传递残差,逐层传递,更新网络模型的所有参数。

进一步的,在所述步骤s33中,训练过程采用弱监督训练策略,步骤如下:

(1)利用采集的仪表图像和标注信息,训练一个通用的深度网络识别模型,当输入一张图像时,输出为图像中的字符序列,训练的损失函数为ctcloss函数;

(2)将精确检测网络模型与通用深度网络识别模型对接在一起,精确检测网络模型的输出为通用深度网络识别模型的输入;

(3)最后,继续使用上述仪表图像和标注信息进行训练,即将仪表图像输入到精确检测网络模型,根据通用深度网络识别模型的输出计算ctcloss,并进行梯度回传,进行精确检测网络模型的训练。

根据上述方案的本发明,其特征在于,所述步骤s4具体操作步骤为:输入一张仪表图像,深度网络模型对图像进行精确检测,并返回一张规范的表盘图像。

根据上述方案的本发明,其有益效果在于:

(1)本发明从图像数据中自动学习目标位置分布,学习得到的参数更能适应真实场景的图像特点,预测成功概率更高。

(2)网络训练中不需要严格的坐标标注,节省了大量的人力物力;通过弱监督方式,利用识别模型回传的具有物理意义的梯度信息,对参数预测模块进行有效指导,从而通过网络的自适应能力,找到一个最能降低识别难度的图像变换。实际应用中可以有效提高检测准确率,也有利于后续检测结果的准确识别。

(3)采用残差反传算法,自动调整卷积核参数,从而得到更鲁棒的滤波器,能够适应图像模糊、透视变换、光线变化等应用场景。

(4)相对人工方式,本发明可以自动完成读数区域的检测,可以节省人力物力。

(5)相对传统基于计算机视觉的检测方法,本发明无需进行显式的图像二值化及分割过程等,具有检测精度高、检测速度快。将仪表读数图像规范化后,更能适应图像旋转等应用场景。

附图说明

图1为本发明的整体流程图。

图2为本发明深度网络模型的结构框图。

图3为本发明的仪表精确检测结果实例的示意图。

具体实施方式

下面结合附图以及实施方式对本发明进行进一步的描述:

如图1所示,一种数显仪表读数的精确检测方法,包括数据获取、数据处理、深度网络模型构建及训练以及仪表读数检测等步骤。

一、数据获取:采用摄像设备拍摄包含读数区域的仪表图像,涵盖不同规格的待检测仪表。

采用手机、专用硬件等摄像设备拍摄仪表表盘图像。拍摄过程中,仪表表盘读数部分正对镜头,居中且占据图像面积的三分之二以上,仪表表盘允许一定程度倾斜,但读数区域需要拍摄完整。

所拍摄的仪表图像应涵盖不同规格的待检测仪表,仪表图像数量不少于100000张。

二、数据处理:对拍摄的图像进行标注,标注内容为仪表读数,读数的每个数字之间使用“,”隔开;然后,对拍摄的仪表图像进行小角度随机旋转,以及小尺度的拉伸和平移变换。

对于正在进位的读数位,标注格式为x.5,例如某读数位的值介于7和8之间,则需要标注为“7.5”。每位共有0-9即10个数字状态,加上进位状态,则每位共存在20类标注状态。标注内容无需包含任何坐标信息。

三、深度网络模型构建及训练:将仪表图像和相应标注数据输入到深度网络模型进行训练,训练过程中采用识别模型做弱监督参数学习。具体包含以下步骤:

1、构建深度神经网络模型

如图2所示,所构建的深度神经网络模型包括参数预测模块和重采样模块。参数预测模块从仪表图像中提取读数的位置特征信息,通过卷积神经网络得到高级特征图,并由高级特征图预测得到反映图像旋转、缩放和平移特性的6个参数;重采样模块根据预测的6个参数对图像进行旋转、缩放和平移,重新采样后得到一张规范的仪表图像。

在此规范图像中,仪表读数区域位于图像中央,方向水平且读数区域占据图像超过90%的面积,可以用于仪表读数的自动识别、仪表图像数据的搜索及数据图像的存储等。

参数预测模块的网络结构如下表所示:

参数预测模块中:卷积层的贴边操作为,在原特征图上下左右四边各贴上一行/列像素点,像素值为0;非线性层采用relu激活函数;池化层采用最大池化方式。

参数预测模块在结构上采用池化层优先的策略。如上表所示,在输入层之后即为池化层,池化层位于卷积层之前。这样可以有效地减少计算量,避免大量噪音的输入,提高模块鲁棒性。

参数预测模块的输入为仪表表盘图像,输出为用于重采样模块的6个参数。参数预测模块使用了深度网络模型,上表中的神经网络层为顺序连接的形式,使用残差回传算法更新神经网络中的参数。该模块通过弱监督的训练,学习得到接近准确的预测结果。

重采样模块采用stn(spatialtransformernetworks)网络结构,处理过程为:首先由stn网络进行重采样,得到规范的仪表读数图像;然后将规范的仪表读数图像送入识别模型,进行整体检测网络的弱监督参数训练。

其中,stn网络的采样过程如下式所示:

其中:θij,(i=1,2;j=1,2,3)共6个参数,为参数预测模块的输出。θ11,θ12,θ21,θ22将输入坐标点进行二维旋转和缩放,θ18,θ28将输入坐标点进行平移。在检测网络模型训练的开始阶段,将网络的全连接层偏置初始化为“1,0,0,0,1,0”,带入公式(1)中,则有stn网络输出的坐标与之前相同,为恒等变换。(xin,yin)为输入图像中像素点坐标,(xout,yout)为该像素点的重采样后坐标。

2、网络模型训练参数的设定:

迭代次数:1000000;

优化器:采用adadelta方法;

学习率:1.0(学习率更新策略:固定不变);

weightdecay(权重衰减系数):0.0005。

3、在随机初始化参数下进行深度神经网络的训练。网络模型训练中采用残差回传算法,通过从最后一层计算传递残差,逐层传递,更新网络模型的所有参数。训练过程采用弱监督训练策略,步骤如下:

(1)利用采集的仪表图像和标注信息,训练一个通用的深度网络识别模型,该识别模型一般由卷积层-长短时记忆单元组成。当输入一张图像时,输出为图像中的字符序列,训练的损失函数为ctcloss函数。

(2)将精确检测网络模型与该通用深度网络识别模型对接在一起,前者的输出为后者的输入。

(3)继续使用上述仪表图像和标注信息进行训练,即将仪表图像输入到精确检测网络模型,根据通用深度网络识别模型的输出计算ctcloss,并进行梯度回传,进行精确检测网络模型的训练。

由于在训练过程中不使用任何位置坐标信息,而是通过识别模型回传的具有位置信息物理意义的梯度,来监督精确检测网络模型的训练过程,是一个弱监督参数学习过程。当精确检测网络模型的预测接近正确时,识别网络模型的识别结果会更容易正确,置信度更高,从而在梯度回传时,正反馈于精确检测网络模型,提高检测精度。

四、仪表读数检测:输入一张仪表图像,深度网络模型对图像进行精确检测,并返回一张规范的仪表读数图像。

规范的仪表读数图像可以用于读数识别、仪表图像数据的搜索及数据图像的存储等。本发明可以自动完成读数区域的检测,无需进行显式的图像二值化及分割过程等

如图3所示,其显示了仪表读数图像的精确检测结果。本发明给出的模型在实际测试中,可以使得仪表读数区域占据检测得到图像超过90%的面积,检测精度高。其可以用于仪表读数的自动识别、仪表图像数据的搜索及数据图像的存储等。另外,本发明还具有检测速度快的特点,每张仪表图像检测时间不超过10毫秒,可以满足实时性应用的需要。

应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

上面结合附图对本发明专利进行了示例性的描述,显然本发明专利的实现并不受上述方式的限制,只要采用了本发明专利的方法构思和技术方案进行的各种改进,或未经改进将本发明专利的构思和技术方案直接应用于其它场合的,均在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1