个数，然后根据仪表在图像中的面积和形状特征，对每一个连通域R1计算面 积AjP长宽比WH1，得到具有唯一表示仪表特征的参数，如果A1G [min A max A]，那么就 认为R1有可能表示的是仪表区域，而在这个范围以外的连通域进行删除，其中，min A表示 最小面积阈值，max A表示最大面积阈值，具体取值根据仪表图像在整幅图像中所占比例而 定，在本发明实施实例中min A取8000, max A取20000。下面再通过长宽比进一步确定仪 表区域，对于正方形仪表来说，在无旋转的情况下它的长宽比为1，如果发生旋转，那么它的 长宽比有可能大于或小于1，所以，如果对于待选区域民的长宽比WH 1G [min WH max WH]， 其中，min WH表示较小长宽比阈值，max WH表示较大长宽比阈值，在本发明实施实例中min WH取0.8, max WH取1.2,那么就认为R1表示的是仪表区域，同时记录仪表区域的坐标，将 仪表图像I3从整幅图像I:中裁剪出来，至此，已经完成了仪表图像的自动定位和裁剪工作， 下面将对I 3进行校正。
[0024] 3、仪表图像自动校正
[0025] 如图4所示，由于图像13只含有仪表信息，而且仪表位置的变化，使得仪表在摄像 机图像中可能会发生各种旋转等变换，指针角度无法和模型中的角度信息对应，所以对仪 表图像进行透视校正是不可或缺的一步。在具体实施中，根据步骤2中记录的长宽比以及 仪表位置坐标信息，可以计算出仪表图像1 3和仪表校正图像I 4之间对应的变换矩阵H，最 后，再通过双线性插值即可得到仪表校正图，即I4= H · I 3，如图4所示。
[0026] 经过校正后的仪表图像基本处于同一个平面中，但是由于校正误差的存在，使得 仪表在同一个平面中会存在一定角度的旋转，即仪表发生面内旋转，所以要计算出面内旋 转的角度R〇tate_A，在最后的读数中给予消除。假定图像1 4的宽度为w，高度为h，先对图 像I4按照（2)式进行灰化处理，得到灰度图像I 5，
[0027] I5= 0· 299 · 14(:，：，1)+0. 587 · 14(:，：，2)+0. 114 · 14(:，：，3)
[0028] (2)
[0029] 再通过边缘检测canny算子对I5进行边缘检测处理，得到仪表边缘图像1 6，最后， 从图像I6的初始位置开始遍历直到h/2高度时结束，通过hough变换算法检测仪表水平方 向的直线，并求出最长直线以及最长直线的斜率，这样的斜率所对应的角度就是仪表发生 面内旋转的角度值R〇tate_A。
[0030] 4、仪表指针信息提取
[0031] 由步骤3可以得到仪表的校正图像14,14中含有仪表的刻度，指针，边框，类型等信 息，通过分析仪表特征，首先进行二值化处理，本发明选择利用大津法全局二值化方法，得 到二值化图像I 7，在17中，只有仪表的指针和边框信息比较明显，而且边框的像素数要远大 于指针的像素数，所以，通过提取最大连通域就可以将指针信息和边框信息分开，假设提取 最大连通域的图像为1 8,那么将图像17和I s进行差分算法，即可得到含有指针信息的图像 I9O
[0032] 5、计算仪表读数
[0033] 如图5所示，图像I9含有指针信息，而且指针所占的像素数较大，呈直线形状，本 发明先对图像I 9采用2*2方形结构体的形态学腐蚀运算，去除噪声点及干扰信息；然后再 进行细化处理，得到由单个像素组成的指针信息；最后，用hough变换算法进行直线检测， 通常最长的直线就是指针信息，通过直线的斜率就可以求出指针在仪表中的角度P〇int er_ A。由于Pointer_A是仪表指针的在水平方向的绝对角度，在最后读数计算时，需要求出的 是仪表指针的相对仪表边框的角度Angle，本发明通过步骤3已经求出仪表的面内旋转角 度Rotate_A，只需计算Pointer_A和Rotate_A的差值，就可以得到Angle，最后，将Angle 代入步骤1已建好的模型（1)中即可求出仪表的读数，由于hough变换在进行直线检测时 会有误差的出现，本发明通过多次平滑的方法将仪表读数进行修正，最终得到比较稳定的 读数结果。
[0034] 本发明公开了一种多视角的指针式仪表识别方法和装置，通过对仪表图像的校 正，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题。同 时，本发明不需要过多的仪表先验知识，简化了人工参与，提高了识别的自动化程度，而且 针对仪表表面出现破损，轻微反光，轻微抖动等都有很强的鲁棒性和较高的识别精度。
【主权项】
1. 一种多视角的指针式仪表识别方法，其特征是，包括如下几个步骤： 1) 图像获取：保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信息的高清 图像； 2) 图像预处理：对步骤1)获取的高清图像手动裁剪，得到仪表图像11;并根据仪表图 像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系； 3) 仪表自动定位裁剪：对步骤2)获取的仪表图像^进行二值化处理，得到轮廓状态的 二值化图像12，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自动截取二 值化图像12中的仪表图像13; 4) 仪表图像校正：通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像步骤3)得 到的仪表图像13进行校正，生成正面仪表图像I4; 5) 提取仪表指针信息：将正面仪表图像14通过数字图像处理技术自动获取仪表读数， 首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信息；然后通 过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换进行拟合， 求出指针位置； 6) 仪表读数自动生成：将步骤5)得到的指针位置所对应的角度值代入步骤2)中的刻 度模型，得到仪表的读数。2. 根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征是：所述步骤2) 中的刻度模型是，其中，S是刻度值，A是与S对应的角度值， SJPS2是待检测指针的相邻两个刻度值，而AJPA2是相邻两个刻度所对应的角度值。3. 根据权利要求1所述的一种多视角的指针式仪表识别方法，其特征是：所述步骤3) 的二值化处理包括以下步骤： 3-1)统计图像灰度级N以及每个灰度级个数Nmvi= 1，2,…，N; 3-2)分别对相邻两组Num数据求和，即得到其中k= 1，2，···，Ν，如果Suml/Sum2<α，即可求取阈值!\=k+2; 3-3)遍历图像L，将L中像素值小于等于Ti的值重新赋值255,否则重新赋值0,这样 就可以得到只有255和0的二值化图像12。4. 一种多视角的指针式仪表识别装置，其特征是：包括以下模块： 1) 图像获取模块：用于保持摄像机与仪表之间无位置旋转，用摄像机获取含有仪表信 息的尚清图像； 2) 图像预处理模块：用于对步骤1)获取的高清图像手动裁剪，得到仪表图像11;并根 据仪表图像显示的信息值拟合仪表指针刻度模型，得到指针位置角度和刻度之间关系； 3) 仪表自动定位裁剪模块：用于对步骤2)获取的仪表图像^进行二值化处理，得到轮 廓状态的二值化图像12，根据轮廓的面积和长宽比，自动得到仪表在图像中的位置，然后自 动截取二值化图像12中的仪表图像I3; 4) 仪表图像校正模块：用于通过依据仪表轮廓的长宽比，通过长宽比信息将仪表图像 步骤3)得到的仪表图像13进行校正，生成正面仪表图像I4; 5) 提取仪表指针信息模块：用于将正面仪表图像14通过数字图像处理技术自动获取 仪表读数，首先进行图像灰度及二值化处理，再运用形态学闭运算，得到仪表指针和边框信 息；然后通过轮廓的提取，得到只含有仪表指针信息的图像；最后对指针信息用hough变换 进行拟合，求出指针位置； 6) 仪表读数自动生成模块：用于将步骤5)得到的指针位置所对应的角度值代入步骤 2)中的刻度模型，得到仪表的读数。5.根据权利要求4所述的一种多视角的指针式仪表识别装置，其特征是：所述模块2) 中的刻度模型是，其中，S是刻度值，A是与S对应的角度值， SJPS2是待检测指针的相邻两个刻度值，而AJPA2是相邻两个刻度所对应的角度值。
【专利摘要】本发明公开了一种多视角的指针式仪表识别方法和装置，该方法通过图像获取、图像预处理、仪表自动定位裁剪、仪表图像校正、提取仪表指针信息、仪表读数自动生成等步骤实现。本发明通过对仪表图像的校正，克服了传统仪表识别方法中出现透视，平移，仿射等变换的情况下无法识别的问题。同时，本发明不需要过多的仪表先验知识，简化了人工参与，提高了识别的自动化程度，而且针对仪表表面出现破损，轻微反光，轻微抖动等都有很强的鲁棒性和较高的识别精度。
【IPC分类】G06K9/00
【公开号】CN105303168
【申请号】CN201510660751
【发明人】吴松野, 宋文, 张仑淏
【申请人】南京第五十五所技术开发有限公司
【公开日】2016年2月3日
【申请日】2015年10月14日