专利名称：通过合并背景和字符的模型自动识别纹理背景上的字符的制作方法
技术领域：
本发明涉及自动识别印刷在任何媒体上的字符的过程，即使背景呈现为高反差纹理，因此会对字符结构形成相当严重的干扰。
绝大部分已知的系统都用有时是非常精巧和复杂的门限试图将字符与背景分开解决问题的。不幸的是，在背景纹理反差相当可观时，特别是在字符相对所述背景纹理的位置可能有变动的情况下，这种技术往往失败。因为字符的图像有时会含有背景中的一些超过门限的纹理，有时会因为字符的一部分没有超过门限而残缺不全。例如银行票据，上面的序号是与其他分开(往往是最后)印刷的，而且通常用的是另一台印刷机。因此，对准不可能完美无缺，结果是序号相对背景有所“移动”。如果序号印刷在票据的图案区，那么就会相对背景图案有所移动。而且，在上述情况下，甚至是对字符的搜索和划分都可能由于有这样的背景纹理而失败。
确实，虽然有大量的变型，但提取和识别过程几乎都包括以下这些阶段·获取文件，广义地说是含有需识别的字符的对象，的图像。这是用电子摄像机实现的，通常还接着执行一些旨在改善反差和降低噪声的运算·搜索图像(这里是指电子搜索)，找到需识别的字符的位置。这种搜索通常是根据对灰度的突然变化情况(例如从白转黑)的分析，特别是它们的空间分布·将所识别的区域划分成一系列子区，每个子区只含有一个字符。划分例如可以通过对在一个与字符基线平行的线段上黑密度的摄影进行分析来实现密度最小之处与字符间的空白相应·将这样分离出来的每个字符与所有的字母和／或数字的原样(模型)进行比较，确定重合程度(所谓“模板匹配”技术)，或者诸如竖、横、斜线型等一系列特征结构的一致性(所谓“特征提取”或结构分析技术)在任何情况下，显然，如果作为字符划分出来的图像部分含有不属于实际字符形状的纹理(例如属于背景纹理的线)，那么与所述原样比较出错的风险就相当高。对于由于在字符／背景分离阶段门限过高而导致字符纹理部分缺损的情况，也可能出现这样的风险。
这就是现有的这些方法不足以胜任自动识别印刷在具有高反差的高纹理背景上的字符的原因。
按照本发明，印有需识别字符的对象用分辨力满足所需要求的众所周知的光电装置，例如CCD摄像机(逐行或矩阵型，黑白型或彩色型)，进行分析，产生需识别的字符的电子图像。下面，所谓“图像”是指电子图像，具体地说，是指一组离散的密度值，通常排列成一个矩阵。矩阵的元称为像元，反映对象相应部位反射的光的密度。对于彩色图像来说，通常用与各像素的红、绿、蓝分量相应的三个矩阵来描述。为了简明起见，下面的说明只是针对黑白情况，如果对三个矩阵重复同样的操作，就可扩展到彩色情况。本发明的目的是在电子图像中自动识别印在反差甚至可与字符纹理可比的高纹理背景上的字符，如
图1c所示。按照本发明，过程的第一个步骤是产生一个背景模型。这个模型可以通过获取一个或多个只有背景图索而没有任何字符的样本(例如见图1b)得出。
具体地说，可以用一些所谓样本的图像的平均作为模型在黑白图像的情况下将只有一个平均矩阵，而在彩色图像的情况下将有三个平均矩阵，例如红、绿、蓝短阵。然后，相继产生一系列需识别的符号(例如各字母和／或数字)的模型，或者是通过获取印刷在白背景上一组字符的一些图像得出，或者就用当今市售的大多数“字体”的计算机文件型电子图像。在前一种情况下，每个需识别的符号的模型通过对印刷在白背景上的这个符号的一定数量的样本取平均得出。
一旦得出了各符号的模型和背景模型，这个过程的可以确切地称为“学习阶段”的第一阶段就结束了。
在识别阶段期间，所执行的步骤如下·获取需识别样本的图像，它含有印刷在背景上的未知字符，字符位置本身也是未知的(例如图2a)·利用任何已知图像配准技术，如最大相关法，将背景模型与获取的图像配准·从获取的图像中减去(配准的)模型，所得到的差图像中背景将几乎全都消除，清晰地显示各字符的位置(图2b，所示为图像与配准背景模型之差)·在差图像中搜索每个字符的位置。这个操作可用任何众所周知的字符定位和划分技术实现，例如分析黑／白型的密度突然转换。对于每个字符位置因此可以分离出一个子图像，其大小与符号模型大小相同(图3b，所示为一些经字符划分得到的子图像)·从与每个未知字符相应的背景子图像中提取配准背景的模型·对于每个字符位置，将各符号模型与相应背景模型的子图像合并(图3c)。由于背景模型与含有需识别的字符的图像的背景配准，在背景模型和数字和／或字母模型合并后的子图像中，相对字符／背景位置与未知图像中的相同。在合成期间，因此为每个字符位置产生了具有与未知图像中相同的背景的各符号(字母和／或数字)的新原样(合并模型)。在后面的优选实施例的说明中将揭示一种新开发的合并技术，但是也可采用任何由其他作者提出的方法·将每个未知字符与所有在先前的步骤中合并得出的模型相比较。通过与相同位置具有相同背景的符号的模型进行比较实现带背景的字符的识别。也可以采用任何众所周知的识别技术，例如模板匹配或特征提取法等在本说明的附图中图1示出了一个印刷在高反差的高纹理背景上的一些字符的例子，其中a为一个印刷在白背景上的字符序列，b为背景图案，而c为序列a印刷到背景b上的结果；图2a与图1c相同，图2b示出了从印刷好的票据的图像中减去配准的背景模型所得到的结果；图3a示出了前几个图例的票据中含有需识别的字符的部分，图3b示出了划分所得出的各个与字符位置相应的子图，图3c示出了对于每个字符位置将对准的背景的子图像与所有可能符号的模型相应合并的结果，而图3d示出了这个例子用图3c所示各合并模型比较而不是用印刷在白背景上的符号模型比较可以更有效地识别图3b所示需处理的字符的结果；以及图4示出了本文中所揭示的识别系统的典型配置。
下面，将说明与自动识别印刷在银行票据上的序号有关的优选实施例之一，作为本发明的一个非限制性的例子。确实，在许多类型的票据中，序号部分或全部印刷在票据的图案上。特别是银行票据是用多种不同技术，通常至少有胶版和铜版技术，混合印刷的。特别是铜版，通常使票据呈现一些带有大量反差非常高的线条的区域。在序号印刷在这样一个区域内时，用传统的技术将字符从背景中分离出来加以识别是相当困难的。此外，序号通常是在胶版和铜版印刷后的最后印刷阶段在不同的印刷机上印刷的。即使是采用非常复杂的配准系统，序号与背景图案之间的相对定位总有些改变，通常可能会“移动”少许毫米。
图4示出了识别银行票据上序号的系统的配置，其中逐行型CCD摄像机1连同它的透镜2和照明系统3用来获取票据4的图像。票据4由传送带5传送，它的序号需加以判读。
摄像机扫描的各行相继存入图像运算子系统6的第一缓存电路，从而产生每张票据的图像。
图像运算子系统6可以是基于专用硬件，或者诸如DSP(数字信号处理器)、高速PC机之类的可编程计算机，在学习阶段(形成背景模型和字符模型)和识别阶段期间执行各种运算和操作。
在背景模型学习阶段期间，所执行的是·获取选作“背景学习集”(BLS)的各未编号票据图像，存入一个适当的存储器
·从BLS中自动选择(例如选BLS中的第一个)或由操作员通过操作员接口7的控制台选择一个“基准”图像用于配准通过首先标识每个图像相对基准图像的水平位移Δx和垂直位移Δy再应用-Δx和-Δy偏移未配准BLS的所有图像。在这个实施例中，位移用最大相关法测量将基准图像的中心由例如操作员选在座标x0，y0处的一个小矩形部分s0(配准核)与BLS的图像的中心逐步位移一个像元的同样大小的部分s1进行比较，得出相关系数为最大(相当于两个图像最佳重合)的位置x1，y1。于是，位移由下式给出Δx=x1-x0，Δy=y1-y0按照这个实施例，背景的模型Mb为与基准图像配准的BLS各图像的算术平均。
在符号模型学习阶段期间，图像运算子系统6所执行的是·获取一组票据的图像，这些票据在白背景上已知位置各印有所有在序号中要用到的数字和字母(字符学习集CLS)·相继将CLS各图像划分为一些各含有单个字符的子图像。按照这个实施例，划分用在字符印刷在白背景上时非常有效的分析黑／白转变的标准技术实现，以及·产生每个符号(数字或字母)的模型Ms，表示为与例如CLS的第一张票据作为基准配准的每个位置的子图的CLS平均。配准和平均的情况与在背景的情况下相同，只是配准核为整个字符子图像通常，银行票据的序号使用单一字体的字母和数字字符，因此每个符号在CLS票据上的一个位置通常就足够了(单个A，单个B，等)。否则，通常要提供每个符号有与所用字体同样多的位置(例如A NewYork，A Counrier，A Geneva等)。
在识别阶段期间，按照本发明的这个实施例，图像运算子系统6在图像获取后所执行的是·首先用与学习阶段所用的相同的配整核和相同的相关技术将需读出的票据的背景图像与背景模型配准·产生(经配准的)完整票据减去背景模型所得的差图像后，再搜索各字符位置，所用的技术是基于已提到的对转变的分析。通常，搜索可以限制在票据的某个区域，因为所印的序号相对背景图案移动只有少许毫米·为差图像上每个配准的字符位置提取背景模拟的相应子图像配准后，所述子图像就是背景在印刷了未知字符的这个部分·对于每个字符位置，将(配准的)背景模型的相应子图像Mb与每个符号的模型Ms合并新的模型，即字符加背景模型，也将对于每个字符位置用与在需读取的票据上相同的相对位置得出。在本发明的这个实施例中，所述合并模型Mc在背景首先印刷而后再是字符的情况下逐像元按下式得出Mc=K0MbMs+Kl(1-Ms)-----(1)]]>否则为Mc=K0MbMs+Kl(1-Mb)-----(2)]]>无论是哪种情况，K0和K1都是表征所用油墨和纸张的常数。在式[1]和[2]中，第一项(乘积K0MbMs)考虑了所用油墨的透射率和纸张的反射率，而第二项与最后印刷的油墨的表面的反射率有关。
·对于每个字符位置，计算票据的相应子图像与所有的新模型(字符加背景)之间的相关系数，将所处理的字符识别为与所述相关系数的最大值相应的合并模型所代表的字符，以及·按照本发明的这个实施例，还将所述相关系数的最大值与一个门限相比较，以检验与每个字符位置相应的子图像的字符和背景的印刷质量。如果质量好(所处理的子图像与合并模型几乎一致)，这系数就很接近于1，而很差的图像质量会产生接近于零的相关系数。
其他优选实施方式包括a)应用于识别印刷在银行票据以外的诸如信件、明信片、标签、银行支票或邮购定单之类文件上的字符b)用适合大尺寸件的传送装置，例如印刷机中的滚筒或按参考文献(4)所列专利揭示的装置，代替传送带系统
c)用矩阵型摄像机代替逐行型摄像机d)用BLS的各图像的平均图像作为背景配准的基准图像e)自动提取背景配准用的配准核，例如按参考文献(1)中所提出的技术f)用其他处理过程而不是平均来构成背景模型，例如按参考文献(2)中所指出的技术
权利要求
1．一种利用一个获取图像的光电装置和一个图像运算系统以电子方式自动识别印刷在任何媒体上的字符的过程，即使是背景呈现为高反差的纹理，所述过程包括下列步骤a)学习a．1)通过获取一个或多个上面只有背景的样本的图像产生一个背景模型a．2)通过获取含有每个符号至少一个字符的一组印刷在白背景上的字符的图像产生各字符(符号，字母和／或数字)模型b)识别b．1)获取需识别的样本的图像，其中含有印刷在背景上的未知字符b．2)将背景模型与所获取的图像的背景配准b．3)从与未知字符相应的背景的子图像中提取配准的背景模型b．4)对于每个字符位置，将各字母和／或数字模型与相应背景的子图像合并，得到各合并模型b．5)将未知字符与所有与本字符位置相应的合并模型相比较b．6)按照“模板匹配”技术将每个未知字符识别为与之重合得最好的合并模型相应的符号。
2．如在权利要求1中所提出的过程，其中所述背景模型是BLS(在正文中字义的背景学习集)的图像之一。
3．如在权利要求1中所提出的过程，其中所述背景模型是相互配准的BLS各图像的平均图像。
4．如在权利要求1中所提出的过程，其中所述背景模型利用一组合有背景或字符的样本按照诸如参考文献(2)中所提出的之类的任何众所周知的字符／背景分离技术得出。
5．如在权利要求1、2、3、4中所提出的过程，其中所述需识别的各符号的模型通过对CLS(在正文中所定义的)的相应图像进行平均得出。
6．如在权利要求1、2、3、4中所提出的过程，其中所需识别的各符号的模型由计算机文件得出。
7．如在权利要求1、2、3、4、5、6中所提出的过程，但是采用任何一种众所周知的识别技术而不是这种板模匹配技术。
8．如在权利要求1、2、3、4、5、6、7、中所提出的过程，但是采用一个彩色图像获取系统，识别利用其中给出最佳重合的那个彩色信道。
9．如在权利要求1、2、3、4、5、6、7中所提出的过程，但是采用一个彩色图像获取系统，识别是根据各彩色信道的合并结果进行的，其中包括按参考文献(3)的合并。
10．一种对于每个需处理的图像通过减去配准背景的模型从背景中分离出各未知字符的过程，所述过程按权利要求1、2、3、4、8、9构成，如在正文中所给定的。
11．如在权利要求1、2、3、4、5、6、7、8、9中所提出的过程，其中所述背景和符号模型的合并是按正文中所列出的式[1]和[2]进行的。
12．如在权利要求1、2、3、4、5、6、7、8、9中所提出的过程，其中所述背景和符号模型的合并是按任何其他已知技术进行的。
13．如在权利要求1、2、3、4、5、6、7、8、9、10、11、12中所提出的过程，所述过程还包括通过将每个字符位置的子图像与识别选定的相应合并模型之间的相关系数值与一个门限相比较来检验印刷质量。
全文摘要
本发明与以电子方式自动识别即使是印刷在高对比度纹理背景图案上的字符的过程有关。这种过程首先通过电子摄像机获取一些只有背景的样本的图像产生一个背景模型,再通过获取一组印刷在白背景上的字符的图像,或者用市售的所选字体的字符的计算机文件,产生需识别的各符号的模型。在识别时,首先测量每个需识别的字符相对印刷背景图案的位置。然后将每个需识别的字符与各符号模型与具有同样相对本未知字符位置的背景模型合并得到的相应模型相比较。
文档编号G06K9/62GK1282070SQ00118660
公开日2001年1月31日 申请日期2000年6月20日 优先权日1999年6月21日
发明者卢奇·斯特林格 申请人:吉奥里大街公司