一种指针式仪表数值智能识别方法及装置与流程

本发明属机器视觉领域，涉及一种指针式仪表数值智能识别方法及装置，尤其涉及一种采用对抗样本训练卷积神经网络识别模型并能进行自矫正的识别方法及装置。

背景技术：

指针式仪表由于其稳定可靠，维护方便，能反应被测量的变化趋势，在化工、电力、汽车等行业有着广泛的应用。然而目前指针式仪表的识别大都是依靠人眼完成，不仅费时费力而且效率不高，其读数受主观因素影响较大，因此开发一套指针式仪表数值自动识别装置是很有必要的。

目前针对指针式仪表的识别大都采用的是经过二值化、形态学变换、骨架提取等图像处理的手段对图像进行预处理，而后利用hough变换提取仪表指针，进而通过指针偏角计算仪表示数。该种方法存在诸多问题，例如表盘上其他特征(抗震油线等)对指针直线提取的干扰、指针转向的确定、倾斜图像的矫正、图像污染等等这些问题；同时针对指针式仪表数值的自动识别，人们都是将摄像机固定以保证摄像机的拍摄角度，但是在实际应用中，有些设备系统是间歇工作的，且仪表与摄像机的相对位置会发生变化，例如核电应急柴油机组只有在应急状态和定期试验时才会开启使用，这类设备的指针式仪表参数测量不适合采用固定的摄像机，一方面占用空间，识别装置大部分时间处于闲置状态，其二在使用过程中会由于设备检修等原因，导致摄像机与仪表的相对位置发生变化；同时我们注意到很多针对指针式仪表数值的自动识别方法都是针对单个仪表的识别，但是在实际应用中，设备上往往有许多指针式仪表参数是需要读取的，这些指针式仪表有同种类的也有不同种类的。

授权号为cn102521560b，专利名为《高鲁棒仪表指针图像识别方法》的中国专利提出了采用hough变换和中心投影法对指针式仪表数值的识别方法，该种方法需要人工调整摄像机的位置使其正对准仪表盘，而在实际使用过程中会由于对设备的检修使摄像机与仪表的相对位置发生变动，将无法提取到仪表位置进而识别，这使得该种方法可操作性不强，同时该种方法需要用鼠标选出指针中心区域和表盘外轮廓，在需要实时连续识别的场景中不适用。

申请号为201410855634.5的中国专利《一种指针式仪表的读数识别方法及装置》介绍了一种采用卷积神经网络对指针式仪表数值自动识别的方法，该方法将待识别的表盘分割为数个部分，采用卷积神经网络输出指针位于不同部分的概率，再根据最大概率部分在表盘中的位置得到指针的示数。该种方法在训练模型的过程中数据全部采用原始数据，一方面采集工作量大，其次模型泛化能力不强；同时该方法要求待识别表盘图像与样本表盘图像在进行图像分割时的分割起始位置及分割方向需要一致，这限制了其在实际中的使用。

技术实现要素：

针对现有方法存在的不足，本发明提供了一种采用卷积神经网络模型，基于对抗样本的模型训练方法，训练模型对指针式仪表数值进行智能识别，且具备摄像机拍摄角度自适应调节技术的识别方法及装置。本发明包括指针式仪表数值的识别装置和识别方法，下面分别展开叙述。

该套识别装置如附图1所示，由支架(1)、程控云台(2)、摄像机(3)、十字定位标(5)和计算机组成。首先将支架(1)放置在待识别表盘(4)前面，之后将与摄像机(3)固定连接的程控云台(2)固定在支架(1)上，仪表盘面上有左右两个十字定位标做标记，而后系统将通过程控云台(2)和摄像机分别调整摄像机(3)的拍摄角度和变倍倍数，使其达到拍摄的预设要求(具体预设要求在具体实施方式中说明，下同)。

该套识别装置特点如下：识别装置具备拍摄角度自适应功能，能够对拍摄角度进行自矫正，通过对仪表盘面上左右两个十字定位标的检测，来判断摄像机的拍摄角度和变倍倍数是否合适，当不能达到预设要求时，通过程控云台和摄像机分别调节拍摄角度和摄像机变倍倍数，使之达到拍摄要求；装置易于安装，该套装置相比于其它方法，不需要摄像机与仪表的位置完全固定，只需大致将摄像机对着仪表盘即可，随用随装，当不需要使用时可以收起来，同一套装置，可以应用于不同的场所。

本发明所提供的指针式仪表数值智能识别的方法采用生成的对抗样本训练卷积神经网络，利用训练得到的模型对指针式仪表进行数值识别，该方法的实现流程如附图2所示。其具体包括模型训练和模型识别两大部分。

所述模型采用对抗样本和原始数据进行训练，其实现流程如附图2左半部分所示，具体包括模型的构建、样本的采集、对抗样本的生成、模型的训练四部分。模型的构建是构建整个卷积神经网络的结构，包括有输入层、输出层、卷积层、池化层和全连接层；样本的采集是采集待识别表盘的原始图像，为下一步对抗样本的生成和模型的训练准备数据；对抗样本的生成是对采集到的原始图像进行仿射和透视变换、明暗变化、部分区域裁剪、添加噪声之一或几种处理手段得到大量的可用于模型训练的对抗样本；模型的训练是将采集的原始图像数据和生成的对抗样本数据输入预先构建好的卷积神经网络识别模型进行训练，通过调整模型各节点的参数得到可应用于指针式仪表数值识别的模型。

所述模型识别部分流程如附图2右半部分所示，其包括摄像机的自矫正、图像的预处理、图像输入训练好的模型、模型输出识别结果四部分。摄像机的自矫正是摄像机通过自矫正程序自动调整拍摄角度和变倍倍数以达到拍摄要求；图像的预处理是将摄像机采集的待识别的rgb图像转换为灰度图像，并提取出图像中的一个或多个仪表盘并进行标记；图像输入训练好的模型是将提取的一个或多个仪表盘图像输入之前训练好的卷积神经网络识别模型；模型输出结果是训练好的识别模型在输入待识别图像之后将输出对待识别图像的识别结果。

本发明与现有技术相比具备以下几个特点：

(1)该套装置具备拍摄角度自适应功能，能够对拍摄角度进行自矫正，使用前无需对其进行精确的调整。整套装置易于安装，这提高了系统的稳定性与装置的可移动性，使得一套装置可以应用于多种场景，大大增加了该种方法的可操作性与装置的重复使用；

(2)该种方法采用对抗样本训练卷积神经网络识别模型，大大减少了原始数据采集的工作量，该方法对光线、表盘污染、图像的偏转等都具有很好的抗干扰能力，实验证明该种方法具有很高的鲁棒性；

(3)该种方法对多仪表盘的提取与标记，可以同时对多种类仪表盘数值的识别，使得不需要采用多个摄像机单独进行拍摄，节约了成本；

(4)该种方法改变传统单独用cpu(centralprocessingunit)的计算的模式，结合了gpu(graphicprocessingunit)高速的并行运算能力进行处理，极大的提高了识别的效率，使得可以应用于实时识别上。

与现有技术相比，该种方法及装置具有高鲁棒性、高准确率、识别速度快、可操作性强、移植方便等特点。

附图说明

图1为一种指针式仪表数值智能识别装置图；1.支架2.程控云台3.摄像机4.待识别表盘5.十字定位标

图2为一种指针式仪表数值智能识别的方法流程图；

图3为一种卷积神经网络识别模型结构图；

图4为指针式仪表对抗样本生成流程图；

图5为生成的指针式仪表对抗样本图片；

(1)原始图片(2)从原始图片分离出的不含指针的仪表盘

(3)从原始图片分离出的指针；(4)、(5)、(6)生成的对抗样本图片

图6为指针式仪表数值模型识别流程图；

图7指针式仪表数值识别结果图；

图8指针式仪表数值在线识别结果图。

具体实施方式

本发明的目的在于提供一种可操作性强、识别准确度高、速度快、具有高鲁棒性的指针式仪表数值智能识别的方法及装置。

该识别装置的一大特点为具备拍摄角度自适应功能，可通过预制的十字定位标进行自矫正，不需要人工进行调整。该套装置如附图1所示，由支架(1)、程控云台(2)、摄像机(3)、十字定位标(5)和计算机组成。首先将支架(1)放置在待识别表盘(4)前面，之后将与摄像机(3)固定连接的程控云台(2)固定在支架(1)上，仪表盘面上有左右两个十字定位标做标记，而后摄像机拍摄图像检测两个十字定位标的位置，判断十字定位标在图像中上下、左右的位置与系统初设位置的偏离程度(用像素值来进行表示)，此后系统将通过程控云台(2)和摄像机分别调整摄像机(3)的拍摄角度和变倍倍数，使其偏离程度达到要求(初设的像素值)，此即为拍摄的预设要求。

本发明所提供的指针式仪表数值智能识别方法的特点在于采用生成的对抗样本训练卷积神经网络，用训练得到的模型进行识别，其具体包括模型训练和模型识别两大部分。

所述识别模型的一种结构如附图3所示，由输入层、输出层、5个卷积池化层(1-5层)，2个全连接层(6-7层)组成。输入层大小为128*128，对应着为待识别仪表盘的灰度图片的尺寸；第一层为卷积池化层，卷积核大小为5*5，设有48个卷积核，采用2*2最大池化，该层输出的张量大小为62*62*48，其中62*62为卷积后图片的尺寸，48为卷积核的个数；第2层至第4层也为卷积池化层，卷积核大小为3*3，卷积核个数分别为128、192、256，采用2*2最大池化；第5层为卷积层，卷积核大小为3*3，设有338个卷积核，没有进行池化操作，经过卷积池化层输出的张量大小为6*6*338，6*6为对应的图片尺寸，338为卷积核的个数；6、7层为两个全连接层，神经元个数分别为1024、512个，最后为输出层，大小为200，对应着为图片的分类种数，其数值代表输入的待识别图片属于每一类的概率值，我们选择概率最大值的那一类作为识别结果，而后根据其量程将其转换为实际数值。所述的识别模型结构为其中的一种，在实际应用中的识别模型结构可根据待识别仪表盘的种类、量程、识别精度等调整卷积池化层和全连接层的层数和模型参数，得到合适的识别模型结构。

所述对抗样本的生成过程如附图4所示，其包括以下几个步骤：

步骤400，采集一张或数张与待识别仪表盘同种类的仪表盘原始图像，将这些仪表盘的指针分离出来，生成不含有指针的仪表盘图片(如附图5的(2))和单独的指针图片(如附图5的(3))；

步骤401，在不含有指针的仪表盘图片上找到指针的旋转中心，根据仪表的量程和要求的识别精度确定生成的样本图片种类，即识别模型的输出层种类。例如在本实施例中，量程为0-10mpa，识别精度为0.05mpa，则分为200类；

步骤402，利用步骤401中分离出的指针和不含指针的仪表盘，将两张图片根据旋转中心叠加，在生成每张图片的过程中，对其同时进行随机的仿射变换和透视变换、随机剪裁部分区域、图像整体的随机明暗变化、随机添加噪声点等处理手段，得到200种类的仪表盘图像，包含标签文件，通过该种方法使每个种类的图片数在60张及以上。如图5的(4)、(5)、(6)图片所示，为生成的部分对抗样本图片；

步骤403，将原始图片和生成的对抗样本图片与其各自的标签生成训练识别模型用的数据集。

所述识别模型的训练过程为将步骤400-403中生成的图片数据集放入所述的预先构建好的卷积神经网络(80％的数据用于训练模型，20％的数据用来检测模型的准确度)，通过不断调整模型中各节点的参数，使之达到预定要求(准确度在70％及以上)，实验发现此准确度阈值下模型识别的平均误差在1％以内，识别模型训练成功。

所述模型识别流程如附图6所示，其包含以下几个步骤：

步骤600，将装置放在待识别仪表盘前面，使摄像机大致对着仪表位置，在仪表盘面上的预定位置(此预定位置需与自矫正程序中十字定位标的初设位置保持一致)固定左右两个十字定位标；

步骤601，启动系统，摄像机将检测图像中十字定位标的位置，通过程控云台的水平旋转、垂直旋转、摄像机的光学变倍使左右两个十字定位标在图像中的位置与初设位置偏离程度(用像素值表示)达到要求，若经过50次自矫正调整仍然失败，不能达到摄像机拍摄的预设要求(预设要求在前面已经进行讲述)，则系统自检报警；

步骤602，摄像机采集仪表盘图像，对采集到的图像进行灰度化处理，之后进行降维处理，通过概率hough圆变换提取图像中各个圆形仪表盘，并根据各圆的坐标对其进行标记，而后将圆形表盘的坐标换算到降维处理前的图像中，在降维处理前的图像上切分出带有标记的各个仪表盘的图像；

步骤603，将步骤602中从一张或多张图像中提取的一张或多张仪表盘图像输入所述预先训练好的卷积神经网络识别模型中进行计算。特别的，当图像采集的频率较高(大于10fps)，该步骤中识别模型在gpu上运行，采用并行运算处理可以大大提高识别速度；

步骤604，将步骤603中识别模型的输出结果根据待识别表盘的量程换算成实际的读数，然后根据步骤602中对应的标记进行保存，之后进行下一轮的识别。

识别效果

采用该种方法和装置进行了测试，测试1过程中采用50张指针式仪表图片进行测试，结果对比如附图7所示，实线为模型识别结果，虚线为人眼读取值，平均误差在1％之内；测试2过程中测试在线识别效果，仪表采用指针式温度计，将温度计由室温放至热水中，而后一边拍摄视频，一边进行识别，帧率30fps，温度计采用双金属温度计，精度等级1.5，结果如附图8所示，实线为模型识别结果，虚线为人眼读取值。

由于该种温度计精度不高，会存在卡顿的状况，且传热过程比较慢，采集频率高，因此在曲线图上会有阶梯状，通过人工肉眼比对，识别结果基本一致，平均误差在1％以内。

以上所述为本发明的具体实施步骤与装置结构图，配合各图予以说明。但是本发明并不局限于以上所述的具体实施步骤与装置结构图，任何基于上述所说的对于相关实施步骤的修改或替换，任何基于上述所说的对于相关实施步骤的局部调整，只要在本发明的精神领域范围内，均属于本发明。