专利名称：图像处理设备的制作方法
技术领域：
本发明涉及一种图像处理设备。
背景技术：
近年来，使用非接触型图像输入设备(OHR间接读取器(OverHead Reader))的文件表格与文件识别技术已经受到广泛关注。
图1示出了一个OHR的外形图。
图1中所示的非接触型图像输入设备(OHR)是一个立式图像输入设备，使用一个线图形或面型的CCD作为图像拾取装置。与接触型图像输入设备如传统的图像扫描器相比，使用OHR能够使用户能自如地在诸如输入图像的同时输入文件表格或文件、在查看文件表格或文件的同时输入图像等。
然而，与通过扫描器获取的图像(扫描器图像)相比，通过OHR获取的图像(OHR图像)在图像质量上出现下降，如密度不均匀、有阴影、图像失真等。
图2示出了一个灰度级扫描器图像的状态，而图3示出了一个灰度级OHR图像的状态。从图3所示的OHR图像可知，虽然不存在阴影，但密度不均的程度稍高，且字符线更模糊。
图4示出了带有阴影的OHR图像的状态。如该图所示，该OHR图像有阴影。因此，对于使用OHR而言，能够克服密度不均、阴影等问题的二值化(binarization)技术是必不可少的。
为实现对OHR图像的高精度的识别处理，由于阴影/密度不均，就需要用于获得稳定的线图形(line pattern)的二值化方法。使用预定阈值的二值化是不够的，必须采用局部二值化，如Niblack二值化等。欲了解Niblack二值化，可参见下面的文献。
关于图形分析与机器智能的IEEE学报，1995年第12期，第17卷1191-1201页上的，φ.D.Trier，A.K.Jain的“二值化方法的面向目标的评估”(“Goal-Directed Evaluation of Binarization Methods”)。
Niblack局部二值化是一种通过把每个像素的阈值定义为T＝E+Kσ(E和σ分别为在一个目标像素周围的密度平均值和标准误差，而K是一个约为-0.4至0.4的常数)，对每个像素执行二值化的方法。在一个目标像素的周围使用一个以该目标像素为中心的N×N像素的方形区域(经常使用N约等于7)。
还有，如果使用的Niblack局部二值化是不变的，由于一个目标像素周围所有的像素具有均匀的密度这一现象，在背景区就会出现点状的黑-白干扰。图5举例说明了一个OHR图像，而图6示出了通过对图5所示的OHR图像执行Niblack局部二值化所获得的一个二值图像。
正如从图6所知，在背景区中出现了点状的黑-白干扰(如果N＝7，并且K＝0.1)。
因此，通过确定二值图像的黑色像素的4连部分是背景干扰，该4连部分具有等于或小于一个预定值的轮廓像素的平均边缘亮度，并且通过消除该连接部分，就可消除点状的黑-白背景干扰。黑色像素的该4连部分是一个最大黑色像素集，是通过顺序连接邻近的左右上下的黑色像素获得的。此外，还有一个包含该4连部分的8连部分。这是通过顺序连接包括左右上下的四个对角线方向的邻近的黑色像素获得的一个最大黑色像素值。这里，该8连部分也可以使用。如果后面出现简单术语“连接部分”，则是指一个4连或8连部分。一个连接部分的轮廓像素是包含于该连接部分中的黑色像素。而作为背景的白色像素存在于每个黑色像素的上与下或左与右的任何一侧中。轮廓像素的平均边缘亮度是该轮廓像素的边缘亮度的平均值。轮廓像素的边缘亮度是利用Sobel边缘过滤器等获得的边缘亮度。
图7A与图7B对Niblack局部二值化进行了解释。
例如，如图7A中所示，以从一个彩色或黑白图像获得的灰度级图像的每个像素为中心的一个7×7像素的方形区域被作为一个处理目标来识别。假定该方形区域中的黑色像素的密度平均值为E，而该方形区域中的像素的密度平均值E的标准误差是σ。用于判定将被二值化的一个像素是黑色的还是白色的阈值T是通过公式T＝E+Kσ获得的。再假定将被二值化的该像素的密度是g。如果g≤T则这一个像素被定为黑色，如果g＞T则该像素被定为白色。根据该判断结果，通过提供在被二值化之后作为目标像素的密度数据的黑色或白色数据，就能连续获得二值图像(图7B)。
图8是表示Niblack局部二值化处理流程的流程图。首先，在步骤S1，选择一个将被处理的像素。在步骤S2，获得以所选的该像素为中心的一个方形区域内的像素的密度。在步骤S3，计算该方形区域内的像素的密度平均值E，以及标准误差σ。在步骤S4，通过公式T＝E+Kσ(K通常是一个-0.4至0.4之间的一个值)获得阈值T。然后，在步骤S5，判断所选的该像素的密度是否等于或大于阈值T。如果在步骤S5中所作的判断的结果为“是”，则所选的该像素被定为黑色。如果在步骤S5中所作的判断的结果是“否”，所选的该像素被定为白色。在步骤S8，判断将被二值化的图像的所有像素是否均被处理。如果留有尚待处理的像素，该处理返回步骤S1并且后续的操作被重复。如果断定所有的像素均已被处理，则该处理结束。
图9对一个Sobel边缘过滤器与边缘亮度进行解释。
如果图9(1)中所示的连接部分存在，则一个阴影部分与轮廓像素对应。对这些轮廓像素，采用3×3像素的方形区域，该区域如在(4)中所示以一个将被处理的像素为中心，并对该方形区域与在图9的(2)与(3)中所示的过滤器内的像素的密度作乘法与加法。假定由(2)中的过滤器生成的一个分矢量是Sx，而由(3)中的过滤器生成的一个分矢量是Sy。在这种情况下，可获得如在(4)中所示的方形区域的中心像素的矢量S＝(Sx，Sy)。该矢量的长度，即 即为该目标像素的Sobel边缘亮度。
平均边缘亮度是通过获取(1)中的连接部分的所有轮廓像素的这种边缘亮度，并通过对所获得的边缘亮度进行平均而得到的一个亮度。
图10示出了通过去掉平均边缘亮度等于或小于4的4连部分来消除背景干扰的效果。
如上所述，利用传统的技术能够从图5中所示的具有较高对比度的图像获得一个较高质量的二值图像。
对于具有良好对比度的一个字符而言，传统的技术所用的背景干扰消除法能稳定而正常地工作，然而对于在背景与字符间具有较差对比度的图像，即包括一个如图11所示的非常模糊的字符的图像而言则不能。
图12中示出了对图11的灰度级图像执行Niblack局部二值化(K＝0.1)的效果。
如果在平均边缘亮度为4或者更小些的情况下以与在图10中的情况相似的方式执行背景干扰消除，虽然背景干扰能被消除，但是非常模糊的字符串也会一起被去掉。
如果在消除背景干扰时将平均边缘亮度置为2或更小以便保留非常模糊的字符串的线图形，则将导致背景干扰不能从二值图像中完全消除。
如上所述，利用采用局部二值化和平均边缘亮度的消除背景干扰的传统的技术存在一个问题，不能令人满意地将非常模糊的字符串分离出来，而不包括背景干扰。
发明内容
本发明的一个目的是提供一种图像处理设备，从具有较差对比度的输入图像检测出线图形，并执行二值化处理。
根据本发明的一种图像处理设备是这样的一种图像处理设备，包括诸如字符、划线、图形等之类的线图形的一个图像输入到该设备中，该设备则输出一个相应的二值图像。该设备包括一个稍显模糊的二值图像生成单元，用于生成虽然形状模糊但包括几乎完整的线图形的第一图像；一个形状被保留的二值图像生成单元，用于生成包括几乎完整的线图形并且在背景区域中而不是在该线图形周围干扰的第二图像；和一个图像组合单元，对于每个像素，对第一与第二图像进行组合，并生成一个包括几乎完整的线图形同时保留了其形状并且不包括背景区域中的干扰的令人满意的二值图像。
本发明能够提供一种图像处理设备，在消除背景区域中的干扰的同时，能够对每个像素通过组合具有不同特点的图像(第一与第二图像。特别是，这些图像为二值图像)来确保捕获一个线图形的形状(特别是，对每个像素的“与”组合)。利用传统的技术，如果试图确保捕获一个线图形的形状，它就会变得稍显模糊，或者是，如果试图使一个线图形的形状清楚，就会在背景区域中出现点状的黑-白干扰。这里，具体讲，第一图像是一个线图形的形状稍显模糊的二值图像，而第二图像是一个线图形的形状不模糊但在背景区域中出现点状的黑-白干扰的二值图像。
根据本发明的一个优选实施例，在第一与第二图像的背景区域被检测，并且执行了背景干扰消除之后，再对第一与第二图像进行组合。结果，通过组合图像而获得的图像质量更优。
根据本发明的另一个优选实施例，对组合第一与第二图像的结果进行后处理，借以改进最终图像的质量。
图1是一个OHR的外观图；图2给出了一个灰度级扫描图像的状态；图3给出了一个灰度级OHR图像的状态；图4给出了带有一个阴影的一个OHR图像的状态；图5举例说明了一个OHR图像；图6给出了通过对一个OHR图像进行Niblack局部二值化所获得的一个二值图像；图7A与7B对Niblack局部二值化的基本概念进行了解释；
图8表示Niblack局部二值化处理流程的一个流程图；图9对Sobel边缘过滤器与边缘亮度进行了解释；图10显示了通过去掉平均边缘亮度等于或小于4的四连部分来消除背景干扰的一个结果；图11举例说明了包括一个非常模糊的字符串的灰度级图像；图12显示了在不进行干扰消除的情况下执行Niblack局部二值化的状态；图13显示了对图11的图像进行Niblack局部二值化，借以把平均边缘亮度等于或小于4.0的像素去掉所获得的一个二值图像；图14显示了对图11的图像进行Niblack局部二值化，借以把平均边缘亮度等于或小于2.0的像素去掉所获得的一个二值图像；图15举例说明了根据本发明的一个优选实施例的图像处理设备的第一配置；图16示出了从图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个稍显模糊的二值图像；图17示出了从图11中所示灰度级图像获得的并且包括图11中所示的非常模糊的字符串的一个形状被保留的二值图像；图18示出了通过对于每个像素对稍显模糊的二值图像与形状被保留的二值图像进行“与”操作所获得的一个经过组合的二值图像；图19举例说明了根据本发明的一个优选实施例的图像处理设备的第二配置；图20示出了一个带有背景干扰的稍显模糊的二值图像，该图像是从图11中所示的并且包括非常模糊的字符串的灰度级图像获得的；图21示出了从图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个稍显模糊的二值图像；图22示出了一个带有周围干扰的形状被保留的二值图像，该图像是从图11中所示的并且包括非常模糊的字符串的灰度级图像获得的；图23示出了从图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个形状被保留的二值图像；图24示出了通过对于每个像素对稍显模糊的二值图像与形状被保留的二值图像进行“与”操作而获得的一个组合二值图像；图25A与25B表示一个线图形的黑色像素数量对平均边缘亮度的图；图26说明了根据本发明的优选实施例的一个更为具体的例子；图27示出了一个带有背影干扰的稍显模糊的二值图像，该图像是从示于图11中的并且包括非常模糊的字符串的灰度级图像获得的；图28表示一个具有背景干扰的稍显模糊的二值图像的4连部分的特征值，即连接部分的黑色像素的数量对平均边缘亮度的分布；图29示出了一个从在图11中所示的并包括非常模糊的字符串的灰度级图像获得的一个稍显模糊的二值图像；图30示出了一个具有周围干扰的形状被保留的二值图像，该图像是从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的；图31表示一个具有周围干扰的形状被保留的二值图像的4连部分的特性值，即连接部分的黑色像素的数量对平均边缘亮度的分布；图32示出了从在图11中所示的并包括非常模糊的字符串的灰度级图像获得的一个形状被保留的二值图像；图33示出了通过对每一个像素对稍显模糊的二值图像与形状被保留的二值图像进行“与”操作而获得的一个组合二值图像；图34是表示一个背景干扰消除处理的流程图；图35显示了当由一个程序来实现本发明的优选实施例时所需要的一个信息处理设备的配置；图36对程序数据的使用方式进行了解释。
具体实施例方式
根据本发明的优选实施例，利用这样一个特性，即一个线图形的连接部分的黑色像素的数量对平均边缘亮度的分布(当以连接部分的黑色像素的数量与平均边缘亮度为轴绘制图时连接部分的一个分布)，以及关于保留了诸如字符、划线、图形等之类的线图形的形状并且是由局部二值化产生的一个二值图像的背景干扰重叠的连接部分的分布，生成一个虽然形状模糊却几乎包括一个完整图形的稍显模糊的二值图像，以及一个包括该线图形同时保留了其形状并且还包括背景干扰而不是该线图形的周围干扰的形状被保留的二值图像。而这些分布对于线图形的稍显模糊并且是由局部二值化产生的一个二值图像而言是独立的，并且这些二值化图像被进行“与”操作，于是生成一个令人满意的图像，该图像几乎包括该完整的线图形并保留了其形状而且不包括背景区域中的干扰。
图15举例说明了根据本发明的一个优选实施例的一个图像处理设备的第一配置。
具有该举例说明的配置的，包括诸如字符、划线、图形等之类的线图形的一个单色多层图像(包括由彩色图像变换成的一个图像)输入其中的该图像处理设备包括稍显模糊的二值图像生成单元、形状被保留的二值图像生成单元11和二值图像组合单元12。当通过从一个线图形提取黑色像素所获得的一个二值图像被输出时，稍显模糊的二值图像生成单元10生成一个稍显模糊的二值图像，虽然其形状是模糊的，但是该二值图像几乎包括该完整的线图形，并且不包含背景区中的干扰；形状被保留的二值图像生成单元11生成一个形状被保留的二值图像，该图像在保留了其形状的同时几乎包括该完整的线图形，并且还包括背景区域中的而不是该线图形周围的干扰，并且二值图像组合单元12对稍显模糊的二值图像与形状被保留的二值图像进行组合。结果，几乎包括该完整的线图形同时保留了其形状的，并且不包括背景中的干扰的一个令人满意的二值图像被生成并输出。
图16示出了从在图11中所示并且包括非常模糊的字符串的灰度级图像获得的一个稍显模糊的二值图像。
虽然其形状是模糊的，但该二值图像几乎包括该完整的线图形，并且不包括背景区域中的干扰。
图17示出了从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个形状被保留的二值图像。
该二值图像在保留了其形状的同时几乎包括该完整的线图形，并且还包括背景区域中的而不是该线图形的周围的干扰。
图18示出了对于每个像素通过对稍显模糊的二值图像与形状被保留的二值图像进行“与”操作所获得的一个组合二值图像。该二值图像是一个令人满意的二值图像，在保留了其形状的同时几乎包括该完整的线图形，并且不包括背景区中的干扰。从该优选实施例可以证明，一个非常模糊的字符串能够被令人满意地提取出来。
在上面描述的以及下面的优选实施例中，在Niblack局部二值化处理中，通过把σ的值置成一个大的正数值可以获得一个稍显模糊的二值图像，而通过把σ的配置成一个负的或者一个较小的值可以获得一个形状被保留的二值图像。
因此，在图15中所示的，由稍显模糊的二值图像生成单元10与形状被保留的二值图像生成单元11执行的处理的算法是相同的，均为Niblack局部二值化处理，仅有的差别在于这些算法的二值化阈值。
图19举例说明了根据本发明的一个优选实施例的图像处理设备的第二配置。
具有该举例说明的配置的，包括诸如字符、划线、图形等之类的线图形的一个多层图像被输入其中的该图像处理设备包括一个稍显模糊的二值图像生成单元10a、一个形状被保留的二值图像生成单元11a和一个二值图像组合单元12。当通过从一个线图形提取黑色像素所获得的一个二值图像被输出时，稍显模糊的二值图像生成单元10a生成一个稍显模糊的二值图像，虽然其形状是模糊的，但是该二值图像几乎包括该完整的线图形，并且不包含背景区域中的干扰；形状被保留的二值图像生成单元11a生成一个图像，在保留了其形状的同时该图像几乎包括该完整的线图形，并且还包括背景区域中的而不是该线图形的周围的干扰；而二值图像组合单元12对稍显模糊的二值图像与形状被保留的二值图像进行组合。结果，在保留了其形状的同时几乎包括该完整的线图形，并且不包括背景区域中的干扰的一个令人满意的二值图像被生成并输出。
稍显模糊的二值图像生成单元10a包括一个稍显模糊的二值化单元13和一个背景干扰消除单元15。稍显模糊的二值化单元13从一个输入的多层图像生成一个具有背景干扰的稍显模糊的二值图像，虽然其形状是模糊的并且还包括背景区中的干扰，但是该二值图像几乎包括一个完整的线图形；而背景干扰消除单元15从具有背景干扰的稍显模糊的二值图像生成一个不包括背景干扰的稍显模糊的二值图像。形状被保留的二值图像生成单元11a包括一个形状被保留的二值化单元14，和一个背景干扰消除单元15。形状被保留的二值化单元14从一个输入的多层图像生成一个带有周围干扰的形状被保留的二值图像，该二值图像在保留了其形状的同时几乎包括一个完整的线图形并且还包括在含有该线图形的周围的背景区中的干扰。背景干扰消除单元15通过从具有周围干扰的形状被保留的二值图像消除背景干扰生成一个形状被保留的二值图像，该二值图像在保留了其形状的同时几乎包括该完整的线图形并且还包括在含有该线图形的周围的背景区中的干扰。
注意，背景干扰消除单元15的同一算法能够用于稍显模糊的二值图像生成单元10a和形状被保留的二值图像生成单元。一个具体的背景干扰消除方法将在稍后描述。
图20示出了从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的具有背景干扰的一个稍显模糊的二值图像。
虽然其形状模糊，但该二值图像几乎包括完整的线图形，并且还包括背景区中的干扰。
图21示出了从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个稍显模糊的二值图像。
该二值图像具有一个特性，即虽然其形状是模糊的，但几乎包括该完整的光谱图像，并且不包括背景区中的干扰。为何能生成这样的一个二值图像，原因在于包括具有背景干扰的一个稍显模糊的二值图像的线图形的黑色像素连接部分的黑色像素的数量对平均边缘亮度的分布与只包括该图像的背景干扰的连接部分的分布是分开的。
图22示出了一个具有周围干扰的形状被保留的二值图像，该图像是从在图11中所示的并包括非常模糊的字符串的灰度级图像获得的。
该二值图像在保留了其形状的同时几乎包括完整的线图形，并且还包括含有该线图形的周围的背景中的干扰。
图23示出了从在图11中所示的并包括非常模糊的字符串的灰度级图像获得的一个形状被保留的二值图像。
该二值图像具有一个特性，即在保留了其形状的同时几乎包括完整的线图形，并且包括背景区中的而不是该线图形的周围干扰。为何还包括背景区中的干扰，其原因在于包括具有周围干扰的形状被保留的二值图像的线图形的黑色像素连接部分的黑色像素的数量对平均边缘亮度的分布与只包括背景干扰的连接部分的分布不是分开的。结果，当在消除背景干扰而防止线图形被错误消除的同时，在分布重叠的区域中的背景干扰不可能被消除。
图24示出了通过对于每个像素，对稍显模糊的二值图像与形状被保留的二值图像进行组合操作所获得的一个组合二值图像。
该二值图像是一个令人满意的二值图像，在保留了其形状的同时几乎包括该完整的线图形，并且不包括背景区中的干扰。从该优选实施例可以证明，一个非常模糊的字符串能被令人满意地提取出来。
对于通过局部二值化产生的一个二值图像而言，如果通过改变该二值化的阈值，在形状被保留的二值图像的分布(图25A)与稍显模糊的二值图像的分布(图25B)之间作一比较，即可得知，上述配置中的任何一个配置均使用了这样一个特性，即包括线图形的连接部分的黑色像素的数量对平均边缘亮度的分布背景干扰的连接部分的那一个分布是分开的，如图25A和25B所示的表示线图形的黑色像素对平均边缘亮度的图示。虽然其形状模糊但却包括几乎完整的线图形并且包括背景区干扰的一个稍显模糊的二值图像，和一个在保留了其形状的同时包括几乎完整的线图形并且也包括背景区中的而不是线图形的周围的干扰的形状被保留的二值图像被生成，并且所生成的二值图像被施以“与”操作，由此，在保留了其形状的同时包括几乎完整的线图形并且在背景区不包括干扰的一个令人满意的二值图像被生成。
如在图18或24中所示，通过有效地利用在图25A与图25B中所示的连接部分的特性分布中的变化，该优选实施例能使一个非常模糊的字符串在不包括背景干扰的情况下被令人满意的提取出来，这是利用传统的技术所不能完成的，并且能够克服由传统的技术引起的问题。
图26举例说明了根据本发明的优选实施例的一个更为具体的配置。
图26所示的，包括一个线图形如一个字符，一条划线，一个图形等的一个多层图像输入其中的图像处理设备包括一个稍显模糊的二值图像生成单元10a、一个形状被保留的二值图像生成单元11a和一个二值图像组合单元12。该设备输出一个通过从一个线图形提取黑色像素所获得的二值图像。稍显模糊的二值图像生成单元10a生成一个稍显模糊的二值图像，虽然其形状模糊但包括几乎完整的线图形，并且不包括在背景区中的干扰；形状被保留的二值图像生成单元11a生成一个形状被保留的二值图像，在保留了其形状的同时包括该几乎完整的光谱图，并且还包括背景区中的而不是该线图形的周围的干扰；而且二值图像组合单元12对稍显模糊的二值图像与形状被保留的二值图像进行组合。结果，在保留了其形状的同时包括几乎完整的该线图形并且不包括背景区中的干扰的一个令人满意的二值图像被生成与输出。
稍显模糊的二值图像生成单元10a包括一个稍显模糊的二值化单元13和一个背景干扰消除单元15。稍显模糊的二值化单元13利用Niblack局部二值化，通过把以一个目标像素为中心的7×7像素的区域中的像素的密度平均值定义为E，把标准误差定义为σ，并且通过把T＝E+0.3σ定为每个像素的一个二值化阈值的方式获得一个二值图像。如果在等式T＝E+Kσ中K的值是一个约为0.3的大值，就能够从一个输入的多层图像中生成一个具有背景干扰的稍显模糊的二值图像，虽然其形状模糊但包括一个几乎完整的线图形并且还包括背景区中的干扰。
形状被保留的二值图像生成单元11a包括一个形状被保留的二值化单元14和一个背景干扰消除单元15。形状被保留的二值化单元14利用Niblack局部二值化，通过把以目标像素为中心的7×7像素的区域中的像素的平均密度定义为E，把标准误差定义为σ，并且通过把T＝E+0.1σ定为每个像素的一个二值化阈值的方式获得一个二值图像。如果在等式T＝E+Kσ中K的值是一个约为0.1的小值，就能够从一个输入的多层图像生成一个具有周围干扰的形状被保留的二值图像，在保留了其形状的同时该图像包括一个几乎完整的线图形并且还包括背景区中的而不是在该线图形的周围的干扰。
背景干扰消除单元15通过消除背景干扰从具有背景干扰的稍显模糊的二值图像以及具有周围干扰的形状被保留的二值图像生成一个二值图像。
在该优选实施例中，背景干扰消除单元通过下面的用图解释的方法实现。
图27示出了一个具有背景干扰的稍显模糊的二值图像，该图像是从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的。
虽然其形状模糊，但是该二值图像包括了几乎完整的线图形并且还包括背景区中的干扰。
图28是表示一个具有背景干扰的稍显模糊的二值图像的4连部分的一个特性值，即连接部分的黑色像素的数量对轮廓像素的平均边缘亮度的分布图。背景干扰的连接部分的分布与包括线图形的连接部分的分布显然是分开的。原因在于，由于该图像模糊，线图形周围的背景干扰与该线图形连接。于是，背景干扰消除单元把属于区域A的连接部分去掉，因此只有包括该线图形的连接部分能被提取。在该优选实施例中属于区域A的条件是黑色像素的数量等于或小于13，或者平均边缘亮度等于或小于2.2，或者该平均边缘亮度等于或小于(3.2-(黑色像素的数量-15)/65)。
背景干扰消除单元通过利用满足属于区域A的条件从具有背景干扰的稍显模糊的二值图像消除背景干扰，因此，就能够生成虽然其形状模糊但包括几乎完整的线图形并且在背景区中不包括干扰的稍显模糊的二值图像。
图29示出了从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的稍显模糊的一个二值图像。
该二值图像具有一个特性，即虽然其形状模糊，便却包括几乎完整的线图形，并且不包括在背景区中的干扰。能够生成这样的一个二值图像，原因在于包括具有背景干扰的一个稍显模糊的二值图像的线图形的连接部分的黑色像素的数量对黑色像素的平均边缘亮度的一个特性值与只包括背景干扰的连接部分的黑色像素的数量对平均边缘亮度的一个分布是分开的。
形状被保留的二值图像生成单元包括一个形状被保留的二值化单元，和一个背景干扰消除单元。形状被保留的二值化单元利用Niblack局部二值化，通过把以一个目标像素为中心的7×7像素的一个区域内的像素的密度平均值定义为E，并把标准误差定义为σ，并通过把T＝E+0.1σ定为每个像素的二值化阈值的方式获得一个二值化图像。如果在等式T＝E+Kσ中K的值是一个约为0.1的小值，就能从一个输入的多层图像生成一个具有周围干扰的形状被保留的二值图像，该图像在保留了其形状的同时包括一个几乎完整的线图形，并且还包括含有该线图形的周围的一个背景区域中的干扰。
图30示出了一个具有周围干扰的形状被保留的二值图像，该图像是从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的。
该二值图像在保留了其形状的同时还包括几乎完整的线图形，并且还包括背景区中的而不是该线图形的周围的干扰。
图31是表示具有周围干扰的一个形状被保留的二值图像的4连部分的一个特性值，即连接部分的黑色像素的数量对周围像素的平均边缘亮度的一个分布图。
背景干扰的连接部分的一个分布与包括该线图形的连接部分的一个分布存在部分重叠。原因是，由于该图像并不模糊，因此该线图形的周围的背景干扰不与该线图形连接。于是，背景干扰消除单元去掉属于一个区域B的连接部分，因此能够生成一个形状被保留的二值图像，该图像在保留了其形状的同时包括该几乎完整的线图形，并且还包括背景区中的而不是该线图形的周围的干扰。在该优选实施例中属于区域B的一个条件是黑色像素的数量等于或小于12并且平均边缘亮度等于或小于4，或者是黑色像素的数量等于或小于60并且平均边缘亮度等于或小于2.8。
背景干扰消除单元通过利用满足属于区域B的上述条件从具有周围干扰的形状被保留的二值图像消除背景干扰，因此能够生成一个形状被保留的二值图像，该图像在保留了其形状的同时包括几乎完整的线图形，并且还包括背景区中的而不是该线图形的周围的干扰。
图32示出了从在图11中所示的并且包括非常模糊的字符串的灰度级图像获得的一个形状被保留的二值图像。
该二值图像具有一个特性，在保留了其形状的同时，该二值图像包括几乎完整的线图形，并且还包括背景区中的而不是该光谱图像的周围的干扰。在包括背景区中的干扰的原因在于，当从具有周围干扰的形状被保留的二值图像中去掉背景干扰的连接部分时，在包括线图形的连接部分的黑色像素的数目对平均边缘亮度的分布的区域中的背景干扰以及背景干扰的部分重叠不可能被消除。
图33示出了对于每个像素通过对稍显模糊的二值图像与形状被保留的二值图像进行“与”操作所获得的一个组合二值图像。
该二值图像是一个令人满意的二值图像，在保留了其形状的同时该二值图像包括几乎完整的线图形并且在不包括背景区中的干扰。从该优选实施例可以证明，一个非常模糊的字符串能够被令人满意地提取。
通过利用下述这样一个特性，生成了一个稍显模糊的二值图像，虽然其形状模糊但该二值图像包括几乎完整的线图形并且在不包括背景区中的干扰，和一个形状被保留的二值图像，在保留了其形状的同时该二值图像包括几乎完整的线图形并且还包括背景区中的而不是该线图形的连接部分的黑色像素的数量对平均边缘亮度的一个分布，以及有关通过局部二值化产生的一个二值图像的背景干扰部分重叠的连接部分的那个分布，其中，线图形的形状被保留，而包括线图形的连接部分的黑色像素的数量对平均边缘亮度的分布与有关从局部二值化产生的一个二值图像的背景干扰的连接部分的分布是分开的，其中，线图形的形状是模糊的。对于每个像素，对所生成的二值图像进行“与”操作，于是生成一个令人满意的二值图像，在保留了其形状的同时该二值图像包括几乎完整的线图形并且不包括在背景区中的干扰。
图34是显示上述的背景干扰消除处理的一个流程图。
首先，在步骤10，获得每个连接部分的黑色像素的数量与平均边缘亮度。然后，在步骤11，一个连接部分的黑色像素的数量与平均边缘亮度被选为将被处理的连接部分。在步骤12，判断黑色像素的数量是否在一个预定的范围内。如果判断结果是“否”，处理转至步骤15。如果判断结果为“是”，还要在步骤13中判断平均边缘亮度是否在一个预定的范围内。如果步骤13中的判断结果为“否”，处理转至步骤15。如果步骤13中的判断结果为“是”，在步骤14中把将处理的连接部分去掉。然后处理转至步骤15。在步骤15，判断是否所有的连接部分均已被处理。如果还有将被处理的连接部分，则处理返回步骤11。如果断定所有的连接部分均已被处理，则处理结束。
上述的这个例子指的是由根据本发明的该优选实施例为消除背景干扰而引入的方法。但是其他方法，如Yanowitz与Bruckstein的方法等，也是可用的。或者，例如，由在本申请的先前申请的日本专利申请No.11-335495叙述的方法就可以使用。该申请叙述了一个背景消除法，利用这种方法，如果目标像素周围区域内的像素密度的标准误差σ小于阈值σmin，该目标像素即被判定为背景，或者当定义平均密度差Δg＝{一个周围区域内的白色像素的平均密度-该周围区域内的黑色像素的平均密度}时，如果平均密度差Δg小于预定阈值Δgmin，该目标像素被判定为背景。利用这一方法，一个被判断定为背景的像素被修正为白色，于是，点状的黑-白干扰被消除。这里，平均密度差是在用一个目标像素的二值化阈值对该目标像素的周围像素进行初步二值化的情况下白色像素集的平均密度与黑色像素集的平均密度之间的差。
此外，如在上述的优选实施例中，还可以对一个图像进行后处理，以降低在对一个稍显模糊的二值图像和一个形状被保留的二值图像进行“与”操作后的干扰。即，图26中所示的背景干扰消除单元15，如在图28与31中所示，通过判断一个连接部分是否在由黑色像素的数量与一个平均边缘亮度所确定的一个预定范围之内，来确定该连接部分是否为将被消除的背景干扰。然而，对于所有的情况而言，这是不够的。也就是说，即使在“与”处理之后，也不能还留有背景干扰。
因此，如上所述，由日本专利No.11-225495叙述的方法，或者是也可以用作背景干扰消除单元的Yanowitz和Bruckstein的后处理，被用于经过“与”操作之后一个二值图像。尤其是Yanowitz和Bruckstein的后处理作为后处理步骤在上面的文件中进行了描述。
如上所述，通过使用前面的申请的方法，或者是Yanowitz和Bruckstein的处理与由本优选实施例的“与”处理实现的一个二值图像的质量改进相结合，可以获得一个高质量的二值图像。
图35示出了通过一个程序来实现根据本发明的任何一个优选实施例时所需要的一个信息处理设备的配置。
在该信息处理设备中，CPU 21通过诸如硬盘之类的外部存储设备25、或者从便携式存储介质29(如CD-ROM、软盘、DVD等)读取信息的介质驱动设备26把一个程序拷贝到内存储器22中，CPU21用一条总线28连接，并执行该程序。
输入设备23配置了键盘、鼠标器、书写板、OHR等，供该信息处理设备的用户用于向CPU 21发出命令、或者采集一个图像。例如，也可以在Niblack二值化处理中设置σ的值，或者是在背景干扰消除处理中规定黑色像素的数量或平均边缘亮度的范围。输出设备24配置了显示器、打印机等，用于向用户提供处理结果，或者打印二值图像。
同时配置了一个网络连接设备27用于通过网络交换数据，并可用于除了从该信息处理设备之外从OHR读取图像，或者下载一个程序以执行这些优选实施例的处理。
图36对程序数据的使用方式进行了解释。
根据本优选实施例的一个程序被存储于信息处理设备31的存储器35中，诸如RAM、硬盘等，并被使用。但是，存储在CD-ROM、软盘32等上的程序也可以加载并使用。反之，可以通过连线33从程序提供器30下载程序数据，并在信息处理设备31中使用。或者，程序提供器30拥有的程序可以在网络环境下运行而无需下载。
如上所述，根据本发明，连接部分的特性分布中的变化被有效地利用，由此，多层图像中的非常模糊的字符串能够被提取出来而不包括背景干扰。
权利要求
1.一种图像处理设备，该设备输入诸如字符、划线、图形等之类的线图形的图像，输出一个相应的二值图像，该设备包括稍显模糊的二值图像生成单元，用于生成第一图像，虽然形状模糊，但该图像几乎包括一个线图形的完整的形状；形状被保留的二值图像生成单元，用于生成第二图像，该图像几乎包括该线图形的完整的形状并且还包括背景区的而不是该线图形的周围的干扰；图像组合单元，对于每个像素，对第一与第二图像进行组合，并生成一个令人满意的二值图像，在保留了该形状的同时该图像几乎包括该线图形的完整形状并且不包括背景区中的干扰。
2.根据权利要求1的图像处理设备，还包括一个背景干扰消除单元，用于从第一和第二图像中消除背景区中的干扰。
3.根据权利要求2的图像处理设备，其中所述背景干扰消除单元通过根据作为输入的第一或第二图像的一个二值图像的黑色像素的4连或8连部分的黑色像素的数目对平均边缘亮度的分布，把连接部分分为包括一个线图形的连接部分和是背景干扰的连接部分，并通过去掉被确定为背景干扰的连接部分，消除背景干扰。
4.根据权利要求2的图像处理设备，其中如果输入的第一或第二图像的某一像素的周围像素的密度的标准误差成平均密度差在预定范围之内，则所述的背景干扰消除单元则判定这一像素为一个背景像素。
5.根据权利要求1的图像处理设备，其中第一与第二图像是通过对一个输入图像执行Niblack局部二值化方法而生成的。
6.根据权利要求1的图像处理设备，其中对所述图像组合单元的一个输出执行Yanowitz和Bruckstein的后处理。
7.一种图像处理方法，用于输入包括诸如字符、划线、图形等的线图形的图像，并输出一个相应的二值图像，该方法包括生成第一图像，虽然其形状模糊，但该图像几乎包括一个线图形的完整的形状；生成第二图像，该图像几乎包括该线图形的完整形状并且还包括背景区中的而不是在该线图形的周围的干扰；对于每个像素，对第一与第二图像进行组合，并生成一个令人满意的二值图像，在保留了该形状的同时该二值图像几乎包括该线图形的完整形状，并且不包括背景区中的干扰。
8.一个程序，用以使一个信息处理设备执行输入一个包括诸如字符、划线、图形等的线图形的图像，并输出一个相应的二值图像的图像处理方法，该方法包括生成第一图像，该图像几乎包括一个线图形的完整形状，虽然该形状模糊；生成第二图像，该图像几乎包括该线图形的完整形状并且还包括背景区中的而不是在该线图形的周围的干扰；对于每个像素，对第一与第二图像进行组合，并生成一个令人满意的第二值图像，该二值图像在保留了该形状的同时几乎包括该线图形的完整的形状，并且不包括背景区中的干扰。
9.一种可由一个信息处理设备读取的存储介质，上面记录有一个程序，用于使该信息处理设备执行输入包括线图形诸如字符、划线、图形等的图像，并输出一个相应的二值图像的图像处理方法，该方法包括生成几乎包括一个线图形的完整形状的第一图像，虽然该形状是模糊的；生成第二图像，该图像几乎包括该线图形的完整形状的并且还包括在背景区的而不是在该线图形的周围的干扰；对于每个像素，对第一与第二图像进行组合，并生成一个令人满意的二值图像，在保留了该形状的同时该二值图像几乎包括该线图形的完整形状，并且不包括背景区中的干扰。
全文摘要
由彩色或黑白图像转换成的多层图像被输入,并且稍显模糊的二值图像生成单元生成包括稍显模糊的线图形和不包括背景干扰的稍显模糊的二值图像。而且,形状被保留的二值图像生成单元生成保留了线图形的形状并且包括背景干扰的二值图像。对于每个像素,这些图像被施以“与”操作,使得保留了该线图形的形状并且不包括背景干扰的二值图像被生成。
文档编号H04N1/387GK1374623SQ0114330
公开日2002年10月16日 申请日期2001年12月18日 优先权日2001年3月14日
发明者藤本克仁, 小原敦子, 直井聪 申请人:富士通株式会社