一种基于机器视觉的仪表示数识别方法
【专利摘要】本发明公开了一种基于机器视觉的仪表示数识别方法，所述方法具体包括以下步骤：(1)对待识别示数的仪表图像，先通过级联姿态回归器(Cascaded Pose Regression)回归出该仪表图像与标准仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一化；(2)利用基于几何约束的数字识别方法对步骤(1)得到的姿态归一化的仪表图像进行数字示数识别；(3)利用基于HOG特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图像进行指针示数识别。本发明提出的数字示数和指针示数识别方法，解决了仪表示数识别中姿态和尺度问题，使数字示数识别的准确率和指针示数的示数识别的精度得到极大的提高。
【专利说明】
一种基于机器视觉的仪表示数识别方法
技术领域
[0001] 本发明属于数字图像处理和仪表示数识别领域，具体涉及一种基于机器视觉的仪 表示数识别方法。
【背景技术】
[0002] 化工厂、变电站、炼油厂等工业领域，安装大量的现场指示仪表，这些仪表不具有 远传功能，需要现场读数，用来监控工业现场运行状况。用人工巡检的方式记录现场仪表示 数费时费力低效，因此基于机器视觉的仪表示数自动识别技术具有广泛的应用前景。
[0003] 基于机器视觉的现场仪表示数识别问题，一般分为两种情况，一种是指针示数识 另IJ，另一种是数字示数识别。要识别仪表示数，首先需要检测出目标仪表在图像中的位置， 然后在相应的区域中去识别指针示数或者数字示数。
[0004] 现有研究中，常见的数字识别方法一般的处理步骤是将图像在水平和竖直区域投 影，接着根据直方图定位到数字区域，根据峰值分布定位出个数字所处位置，然后将定位到 的数字区域通过阈值二值化，最后转化为单个数字的识别。
[0005] 现有研究中，常见的指针示数识别方法有模板匹配，Hough变换，特征点匹配等方 法。戴亚文提出了一种基于多特征模板匹配方法来检测指针区域（Dai Y，Wang S，Wang X.The mol dplate-matching method based on the several characteristic parameters of the meter pointer gray[J].Electrical Measurement& Instrumentation，2004) DGellaboina提出利用Hough圆检测算法，来检测指针仪表的圆形 面板（Gellaboina M K，Swaminathan G，Venkoparao V.Analog dial gauge reader for handheld devices[C]//Industrial Electronics and Applications(ICIEA)，2013 8th IEEE Conference onIEEE，2013:1147-1150.)，Yang提出 了通过Hough直线检测检测图像中 仪表指针位置（Yang B，Lin G,Zhang ff.Auto-recognition Method for Pointer-type Meter Based on Binocular Vision[J] .Journal of Computers，2014，9(4) ?)〇这两种方 法分别检测出指针仪表的圆面板和指针，再根据几何关系进一步计算指针示数。Yang提出 了基于0RB特征匹配的图像配准方法（Yang Z，Niu W，Peng X，et al.An image-based intelligent system for pointer instrument reading[C]//Information Science and Technology(ICIST)，2014 4th IEEE International Conference onlEEE，2014:780-783.)，先将待识别图像配准到标准突现的姿态下，然后再在对应的区域通过背景作差法确 定指针位置，从而计算指针示数。房桦提出了基于SIFT特征匹配的指针示数识别方法（房 桦，明志强，周云峰，等.一种适用于变电站巡检机器人的仪表识别算法[J].自动化与仪表， 2013,28(5): 10-14.)，同样通过SIFT特征匹配的，将待识别图像配准到标准图像姿态下，然 后再去识别指针示数。
[0006]上述数字识别的方法在水平和竖直方向上投影，在仪表在图像中的姿态不处于水 平的时候无法准确定位数字区域。使用阈值二值化图像再通过找连通域的方法分割出单个 数字，该方法中图像二值化后，数字示数之间经常伴随粘连或者断裂的现象，导致后续数字 识别效果并不好。
[0007] 上述的指针示数识别方法中，使用模板匹配对仪表在图像中的姿态要求极高，而 且对光照和图像噪声敏感。使用Hough变换的方法，依赖于边缘检测算法，在复杂的工业现 场和不同的成像条件下，圆形仪表面板不一定是严格圆形，而且圆形面板和指针的边缘不 一定能够检测出来，因而一旦Hough圆检测或者直线检测失败，则无法进行后续的指针示数 识别。使用特征点匹配的的方法，在实际使用过程中，存在表盘部分遮挡问题，甚至有些表 盘面板图像的纹理特征比较少，本身就提取不到〇RB、SIFT之类的特征，导致正确匹配的特 征点对很少，还有可能由于复杂的图像背景干扰，在复杂背景上提取到对应的特征，造成大 量的误匹配，由于以上原因，特征点匹配的方法也比较容易失败。
[0008] 综上所述，现有的研究仪表示数识别方法对仪表图像在不同光照、姿态、尺度，部 分遮挡，成像模糊等工况条件十分敏感，难以满足实际使用要求。
【发明内容】
[0009] 针对现有技术存在的不足，本发明提出了一种基于机器视觉的仪表示数识别方 法，旨在使用机器学习的方法，解决仪表图像姿态、尺度、光照等工况条件对仪表示数识别 问题的影响。
[0010] 为了达到上述目的，本发明采用的技术方案如下：一种基于机器视觉的仪表示数 识别方法，所述方法具体包括以下步骤：
[0011] (1)对待识别示数的仪表图像，先通过级联姿态回归器回归出该仪表图像与标准 仪表图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态 下，实现仪表姿态的归一化；
[0012] (2)利用基于几何约束的数字识别方法对步骤（1)得到的姿态归一化的仪表图像 进行数字示数识别；
[0013] (3)利用基于H0G特征的指针示数识别方法对步骤(1)得到的姿态归一化的仪表图 像进行指针示数识别。
[0014] 进一步的，所述步骤(1)具体为：
[0015] (1.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图 像，在所有样本图像上标记4个以上重复出现的标记点；
[0016] (1.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩 阵，该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的shape-indexed-feature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器；
[0017] (1.3)由步骤（1.2)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图 像，通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该 仪表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。
[0018]进一步的，所述步骤(2)具体为：
[0019] (2.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图 像，在标准图像上，标记数字所在矩形区域;在所有样本图像上标记4个以上重复出现的标 记点；
[0020] (2.2)利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩 阵，将所有样本图像仿射变换到标准图像姿态下，然后采集数字〇到9的数字模板；
[0021] (2.3)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用 模板匹配的方法进行数字示数识别;此时待识别仪表图像上的数字区域图像记作R0I，若待 识别仪表图像上数字示数为n位，则将R0I区域水平均分为n份，记作心，其中i = l，2,…，n; 在均分后的区域中，用数字模板进行模板匹配，数字模板记作仏，其中j = 0，l，…，9;将0」与 心进行模板匹配，得到每个数字匹配的概率图，记作Gu(X，y):
[0023]其中（x，y)是在Ri上的坐标，Ri(x，y)表示为Ri上坐标为(x，y)处的灰度值；（X7，又'） 是Dj上的坐标，Dj(x/ )表示为Dj上坐标为(x人/ )处的灰度值；
[0024] (2.4)在Ri的(xi，yi)处匹配数字di，则有能量项Ei:
[0025] Ei = .max
[0026] (2.5)对n个数字，在Ri上匹配的坐标位置是一致的，对数字之间的几何约束能量 项为：
[0028] 其中M和ki为可调参数；
[0029] (2.6)对n个数字，则最终优化目标为：
[0030] max (Ea + / Ef) i>^i / - 1
[0031] 优化求解得到(^^^丄其中土为化的数字识别结果七^^为化上匹配识别结 果对的位置。
[0032]进一步的，所述步骤(3)具体为：
[0033] (3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图 像，在标准图像上，标记指针所在扇形区域；
[0034] (3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-0表 示，其中r是扇形区域的半径，0是角度;坐标系的原点即为仪表指针所在扇形区域的圆心； 将扇形区域通过双线性插值，转化到笛卡尔直角坐标系下的矩形图像；
[0035] (3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标 准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图（H0G)作为特 征描述，计算其H0G特征，记作xi;
[0036] (3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板 同样大小的窗口进行滑动，计算每个窗口的H0G特征，记作yi，计算yi和Xi指针模板的相关 性：
[0038]其中m为H0G特征的维数;选取相关系数最大的位置，即为识别出的指针所在位置， 该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。
[0039] 与现有技术相比，本发明具有的有益效果是：
[0040] 1、本发明在目标仪表检测问题的同时，将待识别图像配准到标准图像的姿态下， 使所有的图像都归一化到标准图像的姿态和尺度下。如此一来，只需要在固定的区域中去 识别与标准图像相同尺度和姿态的数字示数和指针示数，极大的降低了示数识别难度。
[0041] 2、本发明识别数字示数时，不用将数字区域图像二值化，在和标准图像相同尺度 和姿态的情况下，使用模板匹配的方法进行数字示数识别，简单有效，具有较强鲁棒性。 [0042] 3、本发明识别指针示数时，不依赖边缘检测算法和Hough圆或Hough直线检测算 法，而是将扇形区域通过双线性插值的方法转换为矩形图像。在变换后的矩形图像中指针 处于竖直状态，然后使用H0G特征描述检测出指针在矩形图像中的位置，最后通过指针位置 在矩形图像水平方向的比率乘以仪表量程的方法得到指针示数的读数，鲁棒性极强。
【附图说明】
[0043]图1是本发明的样本标记等准备过程；
[0044]图2是本发明中示数识别流程图；
[0045] 图3是本发明中基于几何约束的数字示数识别示意图；
[0046] 图4是本发明中基于H0G特征的指针示数识别示意图；
【具体实施方式】
[0047] 下面结合附图和实施方式对本发明进一步说明。
[0048] 如图1所示，本发明进行示数识别之前需要一些准备工作。首先在工业现场采集N 张目标仪表的样本图像，然后选取一张样本作为标准图像，每张样本图像上标记4个以上重 复出现的标记点，标记点数量一般取典型值8;将所有图像仿射变换到标准图像姿态下，采 集数字〇到9图像模板;同时记录标准图像上指针所在的扇形区域和数字所在的矩形区域； [0049]如图2所示，本发明对待识别示数的仪表图像：
[0050] (1)先通过级联姿态回归器回归出该仪表图像与标准仪表图像的仿射变换矩阵， 从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下，实现仪表姿态的归一 化；所述级联姿态回归器采用现有的回归器，该回归器记载在Dollar P，Welinder P， Perona P.Cascaded pose regression[C]//Computer Vision and Pattern Recognition (CVPR)，2010IEEE Conference on. IEEE,2010:1078-1085?中。
[0051] (2)再利用基于几何约束的数字识别方法对步骤（1)得到的姿态归一化的仪表图 像进行数字示数识别；
[0052] (3)再利用基于H0G特征的指针示数识别方法对步骤（1)得到的姿态归一化的仪表 图像进行指针示数识别。
[0053]进一步的，所述步骤(1)具体为：
[0054] (1.1)利用每张样本图像上的标记点，通过最小二乘法，计算所有样本图像与标准 图像的仿射变换矩阵，该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的 shape-indexed-f eature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器； [0055] (1.2)由步骤（1.1)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图 像，通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该 仪表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。
[0056] 进一步的，如图3所示，假设待识别数字示数的数字位数为3位，则所述步骤(2)具 体为：
[0057] (2.1)将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用 模板匹配的方法进行数字示数识别;此时待识别仪表图像上的数字区域图像记作R0I，待识 别仪表图像上数字示数为3位，则将R0I区域水平均分为3份，记作Ri，其中i = 1，2，3;在均分 后的区域中，用数字模板进行模板匹配，数字模板记作仏，其中j = 0，l，…，9;将仏与心进行 模板匹配，得到每个数字匹配的概率图，记作G^(X，y):
[0059] 其中（x，y)是在Ri上的坐标，Ri(x，y)表示为Ri上坐标为(x，y)处的灰度值；（X7，又'） 是Dj上的坐标，Dj(x/ )表示为Dj上坐标为(x人/ )处的灰度值；
[0060] (2.2)在化的匕#)处匹配数字(^，则有能量项￡1:
[0061]
[0062] (2.3)对3个数字，在Ri上匹配的坐标位置是一致的，对数字之间的几何约束能量 项为：
[0064] 其中M和ki为可调参数；
[0065] (2 ? 4)对3个数字，则最终优化目标为：
[0067]优化求解得到(Xi，yi，di)，其中i = 1、2、3，di为Ri的数字识别结果，（Xi，yi)为Ri上匹 配识别结果对的位置。该仪表图像的数字示数识别结果即为cUd2d3。
[0068] 进一步的，如图4所示，所述步骤(3)具体为：
[0069] (3.1)在工业现场采集N张目标仪表的样本图像，然后选取一张正面拍摄的样本作 为标准图像，在标准图像上，标记指针所在扇形区域；
[0070] (3.2)将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-0表 示，其中r是扇形区域的半径，0是角度;坐标系的原点即为仪表指针所在扇形区域的圆心； 将扇形区域通过双线性插值，转化到笛卡尔直角坐标系下的矩形图像；
[0071] (3.3)将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标 准图像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图（H0G)作为特 征描述，计算其H0G特征，记作xi;
[0072] (3.4)在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板 同样大小的窗口进行滑动，计算每个窗口的H0G特征，记作yi，计算yi和Xi指针模板的相关 性：
[0074] 其中m为HOG特征的维数;选取相关系数最大的位置，即为识别出的指针所在位置， 该位置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。
[0075] 上述【具体实施方式】用来解释说明本发明，而不是对本发明进行限制，在本发明的 精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范 围。
【主权项】
1. 一种基于机器视觉的仪表示数识别方法，其特征在于，所述方法具体包括以下步骤： (1) 对待识别示数的仪表图像，先通过级联姿态回归器回归出该仪表图像与标准仪表 图像的仿射变换矩阵，从而将待识别示数的仪表图像仿射变换到标准仪表图像的姿态下， 实现仪表姿态的归一化； (2) 利用基于几何约束的数字识别方法对步骤1得到的姿态归一化的仪表图像进行数 字示数识别； (3) 利用基于HOG特征的指针示数识别方法对步骤1得到的姿态归一化的仪表图像进行 指针示数识别。2. 根据权利要求1所述的基于机器视觉得到仪表示数识别方法，其特征在于，所述步骤 (1) 具体为： (1.1) 在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在 所有样本图像上标记4个以上重复出现的标记点； (1.2) 利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵， 该仿射变换矩阵作为级联姿态回归器中的回归值，同时样本图像的shape-indexed-feature作为级联姿态回归器的输入特征，由此训练一个级联姿态回归器； (1.3) 由步骤（1.2)训练得到级联姿态回归器后，对任意一张待识别示数的仪表图像， 通过该级联姿态回归器，回归出该仪表图像与标准图像之间的仿射变换矩阵，然后将该仪 表图像仿射变换到标准仪表图像的姿态下，从而实现仪表姿态的归一化。3. 根据权利要求1所述的基于机器视觉的仪表示数识别方法，其特征在于，所述步骤 (2) 具体为： (2.1) 在工业现场采集N张目标仪表的样本图像，然后选取一张样本作为标准图像，在 标准图像上，标记数字所在矩形区域;在所有样本图像上标记4个以上重复出现的标记点； (2.2) 利用标记点，通过最小二乘法，计算所有样本图像与标准图像的仿射变换矩阵， 将所有样本图像仿射变换到标准图像姿态下，然后采集数字〇到9的数字模板； (2.3) 将待识别仪表图像通过级联姿态回归器变换到标准图像的姿态下后，使用模板 匹配的方法进行数字示数识别;此时待识别仪表图像上的数字区域图像记作ROI，若待识别 仪表图像上数字示数为η位，则将ROI区域水平均分为η份，记作R i，其中i = 1，2，…，η;在均 分后的区域中，用数字模板进行模板匹配，数字模板记作Dp其中j = 0，l，~，9^D^R^ 行模板匹配，得到每个数字匹配的概率图，记作G^(X，y):其中（x，y)是在Ri上的坐标，Ri(x，y)表示为Ri上坐标为(x，y)处的灰度值；（X、/ )是Dj 上的坐标，Dj(x/ )表示为Dj上坐标为(X人/ )处的灰度值； (2.4) 在Ri的（xi，yi)处匹1撕今丄m丨丨古软'县·(2.5) 对η个数字，在Ri上匹配的坐标位置是一致的，对数字之间的几何约束能量项为： 其中λ?和ki为可调参数；(2.6)对η个数字，则最终优#曰优化求解得到(X1Jud1)，其中CUSR1的数字识别结果，（X 1^1)SR1上匹配识别结果对 的位置。4.根据权利要求1所述的基于机器视觉的仪表示数识别方法，其特征在于，所述步骤 (3)具体为： (3.1) 在工业现场采集N张目标仪表的样本图像，然后选取一张正面拍摄样本作为标准 图像，在标准图像上，标记指针所在扇形区域； (3.2) 将待识别仪表图像变换到标准图像的姿态下后，将扇形区域用极坐标r-θ表示， 其中r是扇形区域的半径，Θ是角度;坐标系的原点即为仪表指针所在扇形区域的圆心;将扇 形区域通过双线性插值算法，转化到笛卡尔直角坐标系下的矩形图像； (3.3) 将扇形区双线性变换为矩形图像后，指针的位置处于竖直方向；首先截取标准图 像中经过双线性变换后的指针图像作为指针模板，选取梯度方向直方图（HOG)作为特征描 述，计算其HOG特征，记作Xi; (3.4) 在待识别仪表图像经过双线性变换后的矩形图像中从左到右用与指针模板同样 大小的窗口进行滑动，计算每木窗π ?加彳+晳'，」*Xi指针模板的相关性： 其中m为HOG特征的维数;选取相关系数最大的位置，即为识别出的指针所在位置，该位 置横坐标除以矩形图像的长度再乘以指针量程即为识别出的指针示数。
【文档编号】G06K9/46GK105894002SQ201610256585
【公开日】2016年8月24日
【申请日】2016年4月22日
【发明人】熊蓉, 方立, 王军南
【申请人】浙江大学