专利名称：一种数显仪表判读方法
技术领域：
本发明涉及工业计算机视觉领域，特别涉及一种数显仪表判读方法。
背景技术：
以下技术文献与本发明相关F. Correa Alegria and A. Cruz Serra, “Automaic Calibration of Analog and Digital Measuing Instruments Using Computer Vision, ” IEEE Transaction on Instrumentation and Measurement, VOL. 49， NO. 1， 2000， pp. 94-99.Huiying Shen and James Coughlan, "Reading LCD/LED Displays with a Camera Cell Phone, ” CVPRW06.Rakhi P. Ghugardare, Sandip P. Narote, P. Mukherji, and Prathamesh M. Kulkarni, “Optical Character Recognition System for Seven Segment Display Image of Measuring Instruments,，，TENCON 2009.尹传历等，基于视频图像的数字仪表读数自动识别.微计算机信息，2008，M卷 10-1 期:219-221.
文献[1]提出的基于计算机视觉的自动判读方法缺乏智能性，同时也要求LCD显示屏区域在图像中占据主要部分，对一些IXD显示屏区域相对较小的仪表而言，这一点实际上很难通过调整图像采集装置做到。文献[2]的方法存在的问题是，边缘检测和聚类不一定能得到很清晰的用于字符识别的边缘束，在受到光照或者阴影影响的图像中，字符边缘通常难以顺利提取。另外，一些仪表其表面有英文和数字字符，或者是一些标识、图案，它们的边缘会对后续的边缘束分类构成干扰。最后其用模板识别字符无法应对字体的变化和部分笔画的缺损的状况。文献[3]的方法的缺陷十分明显，首先处理的图像局限于IXD显示屏，这一点不足类似于文献[1]。其次方法的二值化过程十分粗糙，用的是传统的最大类间方差法，但在图像受到噪声、光照、阴影等多方面因素的影响下，图像的直方图通常不是双峰结构，不满足 Otsu方法使用条件，因此无法确保得到理想的二值化结果。文献W]的方法的主要问题是存在一个预处理过程，给通常的检定过程增加了一步，不符合传统的使用习惯。另外，考虑字符结构上的包含关系，比如“0”包含了 “1”，则必须积累足够多的帧间差异才能得到完整的字符串的精确边界，这给检定操作增加了负担。 同文献[3]，其二值化方法也存在缺陷。上述方法的鲁棒性和识别率均有待改进和提高。
发明内容
为了克服现有技术的不足，本发明提供了一种新的数显仪表判读方法。一种数显仪表判读方法，包括如下步骤
Al、分别提取数显仪表图像的水平边缘和竖直边缘，判断出显示屏区域的水平边缘和竖直边缘，进而提取出显示屏区域图像厶；
A2、用卷积模板对提取的显示屏区域图像Zi进行卷积和量化，并对量化结果进行二值
化处理，得到二值化显示屏图像iV ；
A3、提取二值化显示屏图像中的字符串，确定字符串的上下、左右边界后将每个字符分割出来；
A4、利用根据字符所处的矩形设定的直线与字符的相交次数和相交位置进行识别字符。优选地，在所述步骤Al中，分别用水平Sobel算子和竖直Sobel算子提取数显仪表图像的水平边缘和竖直边缘。优选地，所述步骤Al中，通过如下方法判断显示屏区域的水平边缘
在提取出来的数显仪表图像的水平边缘中，排除与图像边界粘连的连通域后，在水平方向上对剩余的水平边缘进行形态学的膨胀操作，再排除长度小于数显仪表图像宽度的一定比例的连通域，得到水平连通域将所述水平连通域图投影到竖直坐标上得到水平投影曲线，提取水平投影曲线中所有特定宽度以上的且两端均有非零值的零区间；
若所述零区间只有一个，则将所述零区间的两个端点对应到显示屏区域的两个水平边缘的竖直坐标；
若所述零区间多于一个，则将对称性最好的一对连通域对应的零区间的两个端点对应到显示屏区域的两个水平边缘的竖直坐标。优选地，通过如下步骤找出对称性最好的一对连通域
对于每个零区间相应的一对连通域，计算该对连通域的左端点之间的差的绝对值，与该对连通域的右端点之间的差的绝对值之和，并将该和最小的一对连通域判断为对称性最好的一对连通域。优选地，所述步骤Al中，通过如下方法判断显示屏区域的竖直边缘
在经过竖直Sobel算子提取竖直边缘的数显仪表图像中，利用显示屏区域的水平边缘分割出第一感兴趣区域；
排除第一感兴趣区域中长度小于一定阈值的连通域，将剩下的竖直边缘投影到水平坐标上，分别将离投影区域竖直方向的对称线两边的第一个零点的水平坐标作为显示屏区域两个竖直边缘的水平坐标。优选地，采用如下算法对显示屏区域图像4进行卷积和量化 Ic = cH11 *M1)-max(/x ^M2J1 *M3))；
其中，4为卷积量化结果，C为以确保4的最大值在255以内的常数，M1、M2和Ai3 是卷积模板，
权利要求
1.一种数显仪表判读方法，其特征是，包括如下步骤Al、分别提取数显仪表图像的水平边缘和竖直边缘，判断出显示屏区域的水平边缘和竖直边缘，进而提取出显示屏区域图像厶；A2、用卷积模板对提取的显示屏区域图像4进行卷积和量化，并对量化结果进行二值化处理，得到二值化显示屏图像八；A3、提取二值化显示屏图像/F中的字符串，确定字符串的上下、左右边界后再将每个字符分割出来；A4、利用根据字符所处的矩形设定的直线与字符的相交次数和相交位置进行识别字符。
2.如权利要求1所述的数显仪表判读方法，其特征是，所述步骤Al中，通过如下方法判断显示屏区域的水平边缘在提取出来的数显仪表图像的水平边缘中，排除与图像边界粘连的连通域后，在水平方向上对剩余的水平边缘进行形态学的膨胀操作，再排除长度小于数显仪表图像宽度的一定比例的连通域，得到水平连通域图；将所述水平连通域图投影到竖直坐标上得到水平投影曲线，提取水平投影曲线中所有特定宽度以上的且两端均有非零值的零区间；若所述零区间只有一个，则将所述零区间的两个端点对应到显示屏区域的两个水平边缘的竖直坐标；若所述零区间多于一个，则将对称性最好的一对连通域对应的零区间的两个端点对应到显示屏区域的两个水平边缘的竖直坐标。
3.如权利要求2所述的数显仪表判读方法，其特征是，通过如下步骤找出对称性最好的一对连通域对于每个零区间相应的一对连通域，计算该对连通域的左端点之间的差的绝对值，与该对连通域的右端点之间的差的绝对值之和，并将该和最小的一对连通域判断为对称性最好的一对连通域。
4.如权利要求2所述的数显仪表判读方法，其特征是，所述步骤Al中，数显仪表图像的水平边缘和竖直边缘分别用水平Sobel算子和竖直Sobel算子提取，并通过如下方法判断显示屏区域的竖直边缘在经过竖直Sobel算子提取竖直边缘的数显仪表图像中，利用显示屏区域的水平边缘分割出第一感兴趣区域；排除第一感兴趣区域中长度小于一定阈值的连通域，将剩下的竖直边缘投影到水平坐标上，分别将离投影区域竖直方向的对称线两边的第一个零点的水平坐标作为显示屏区域两个竖直边缘的水平坐标。
5.如权利要求1所述的数显仪表判读方法，其特征是，采用如下算法对显示屏区域图像厶进行卷积和量化Ic = CiiIl * M1)-TnaxiIl * M2r I1 *M3))；其中，4为卷积量化结果力以确保4的最大值在255以内的常数，M1、M2和Μ , 是卷积模板，
6.如权利要求5所述的数显仪表判读方法，其特征是尺度因子巧通过以下步骤进行动态调整若字符串中面积最大的笔画连通域的平均宽度小于第一设定值，则增大P,,若大于第二设定值，则减小巧；若对r的增大或减小操作次数超出设定阈值，则停止对巧的调整。
7.如权利要求5所述的数显仪表判读方法，其特征是，在所述步骤A2中，在经过二值化处理后，得到二值化显示屏图像4之前，还包括如下步骤用卷积模板对经过二值化处理的显示屏区域图像进行卷积，得到包含字符串的竖直笔画的竖直笔画图像；用卷积模板的转置对经过二值化处理的显示屏区域图像进行卷积，得到包含字符串的水平笔画的水平笔画图像；对所述竖直笔画图像和水平笔画图像进行叠加后，再进行二值化处理。
8.如权利要求1所述的数显仪表判读方法，其特征是，通过如下步骤确定字符串的上下边界A3. 1、用特定长度和水平倾角的直线作为开运算模板对所述二值化显示屏图像~进行开运算后，投影到竖直坐标上；A3. 2、将竖直坐标相隔小于一定值的相邻的非零区间当成连续的非零区间； A3. 3、将竖直坐标宽度最大的非零区间的两个端点对应的竖直坐标作为字符串的上下边界的基准。
9.如权利要求1所述的数显仪表判读方法，其特征是，通过如下步骤确定字符串的左边界A3. 4、在所述二值化显示屏图像“中，利用字符串的上下边界分割出第二感兴趣区域^ ；A3. 5、将所述第二感兴趣区域咎的一定高度以下部分的像素置零，并进行竖直投影到水平坐标；A3. 6、找出水平宽度大于一定值的非零区间，将此非零区间的左端点的水平坐标作为对应字符串的左边界。
10.如权利要求9所述的数显仪表判读方法，其特征是，通过如下步骤确定字符串的右边界A3. 7、将第二感兴趣区域4·进行竖直投影到水平坐标上，形成一系列非零区间沪，非零区间^的左端点和右端点分别为Γ和一，其中η为自然数，η表示f是第η个非零区间； 八3.8、将广-/ 小于一定值的非零区间严剔除，或者将非零区间f内最大纵坐标值小于一定值的非零区间f剔除；A3. 9、将最右端的非零区间的右端点坐标作为字符串的右边界坐标。
11.如权利要求10所述的数显仪表判读方法，其特征是在步骤A3. 7之前还包括将所述第二感兴趣区域4·中特定高度以下部分的像素置零后形成图像4 ；所述步骤A3.7为对所述图像#进行竖直投影到水平坐标上，形成一系列非零区间厂，非零区间的左端点和右端点分别为Γ和其中η为自然数，η表示广是第η个非零区间。
12.如权利要求11所述的数显仪表判读方法，其特征是在步骤A3.8与A3. 9之间，若不存在的值大于特定值，则在所述显示屏区域图像中，利用字符串的上下边界分割出第三感兴趣区域/1 ； 计算所述第三感兴趣区域4的特定高度之间、非零区间^的端点Γ和广之间的图像的灰度均值；在第三感兴趣区域/i中，计算⑶所有像素点对应点的灰度均值,其中，CW^表示图像4中水平方向从Γ到沪的范围内的所有连通域中的第 个连通域，i为自然数；若对于所有i使得膽^乏Mm xO.5 ,则将对应的非零区间f置零；若存在对应的i使<Meanx x0.5 ,则不对对应的非零区间严进行置零操作。
13.如权利要求10所述的数显仪表判读方法，其特征是，在步骤A3.7之前还包括以下步骤在所述第三感兴趣区域/i的设定高度之间，分割出第四感兴趣区域g ；计算所述第四感兴趣区域邛的灰度期望值，在所述第四感兴趣区域辽内，将灰度值小于所述灰度期望值的像素置为1，将灰度值大于所述灰度期望值的像素置为0，得到反二值化图像并进行竖直投影到水平坐标上；判断反二值化图像的投影曲线中特定位置往右是否存在零点，若存在，则将该特定位置往右的第一个零点的坐标减去特定值作为字符串的右边界初始坐标，并在所述图像 rF中将右边界初始坐标右边部分置零。
14.如权利要求1所述的数显仪表判读方法，其特征是，通过以下步骤分割字符串的字符用字符串的上下、左右边界在显示屏区域图像A中分割出图像Ce ； 用字符串的上下、左右边界在二值化显示屏图像4中分割出图像Cjfr ； 对图像05『进行排除非笔画连通域的精细化处理；对经过精细化处理的图像Cipr进行竖直投影；将间隔小于特定值的相邻的非零区间当作成连续的非零区间；剔除宽度小于特定值的非零区间或者区间内最大的纵坐标值小于一定值的非零区间；利用每个非零区间分割对应的字符。
15.如权利要求14所述的数显仪表判读方法，其特征是，所述精细化处理包括如下步骤在图像C13和C^pf的特定高度之间分别取出图像Rq和图像及·； 在图像S,的特定高度之间取出图像思》-；对图像i^r进行如下处理在图像S^r中剔除面积小于特定值的连通域或者高度小于一定值的连通域，在及·中的非零点中，若在&中的对应点的灰度值低于设定阈值，则在召·中该点灰度值保持为1，否则在图像Si中将改点的灰度值置为0 ；用图像AW替换经过处理的图像Sar中的相应部分，并用特定长度的水平直线作为形态学运算模板，对经过替换的图像及經进行膨胀。
16.如权利要求1所述的数显仪表判读方法，其特征是，所述步骤A4中在矩形高度的l/4h处作水平直线，穿越笔画的区间法，区间塔的左端点和右端点分别为珞和g，其中U表示区间珞处于矩形高度的l/4h处，η表示区间嗒是第η个区间，η为1或2，h表示矩形的高度；在矩形高度的3/4h处作水平直线，穿越笔画的区间巧，区间$的左端点和右端点分别为^和《，其中D表示区间$处于矩形高度的3/4h处，m表示区间^是第m个区间，m为 1或2 ；在矩形宽度的1在l/2w处作竖直直线，穿越笔画的区间盗，区间4的左端点和右端点分别为《和^ ,其中M表示区间 处于矩形宽度的1/ 处，N表示区间‘是第N个区间，N为自然数，w表示矩形的水平宽度；若n=2且m=2且N>2，则将对应字符判决为8 ；若n=l且m=2，则将对应字符判决为6。
17.如权利要求16所述的数显仪表判读方法，其特征是当n=2且m=2且N=L', t'H > 2h / 3 ,则将对应字符判决为0，否则判决为8 ；当n=2且m=2且N=I，将对应的字符判决为0 ；当n=2且m=l，若‘ <8 ,则将对应字符判决为9，否则判决为4 ；当n=l且m=l且丨珞-iil + k丨-rl阵w ,若4 < w/3,则将对应字符判决为2，否则判决为5;当！^且！！^且丨硌-名丨+丨嗞-^卜沖且凡-^，若硌^，将对应字符判决为？，否则判决为1 ；当n=l且m=2且丨路-41丨+ |4-4丨<评且凡>似3,若硌>11且名>11,将对应字符判决为3，否则判决为1 ；其中·) 是步骤A3中经过提取字符串后的图像的左边第一列像素中从下往上的第一个非零像素点的水平坐标。
全文摘要
本发明公开了一种数显仪表判读方法，包括如下步骤分别提取数显仪表图像的水平边缘和竖直边缘，判断出显示屏区域的水平边缘和竖直边缘，进而提取出显示屏区域图像；用卷积模板对提取的显示屏区域图像进行卷积和量化，并对量化结果进行二值化处理，得到二值化显示屏图像；提取二值化显示屏图像中的字符串，确定字符串的上下、左右边界后再将每个字符分割出来；利用根据字符所处的矩形设定的直线与字符的相交次数和相交位置进行识别字符。本发明有很好的鲁棒性和很高的识别准确率。
文档编号G06K9/00GK102254159SQ201110189650
公开日2011年11月23日 申请日期2011年7月7日 优先权日2011年7月7日
发明者傅翼, 廖庆敏, 杨文明, 梁超 申请人:清华大学深圳研究生院