专利名称：提高数字图像质量的方法和装置的制作方法
技术领域：
本发明涉及一种提高数字图像质量的方法和装置，更具体的，涉及这样一种提高数字图像质量的方法和装置通过该方法和装置将由扫描一包含文本和图像的组合的文件而获得的文件图像分割成一个文本区、一个背景区、一个半色调图像区和一个连续色调图像区，然后适当提高每一个区域的图像质量以获得一个改善的图像质量显示。
背景技术：
一般而言，人们对仅仅使用黑和白二元信息来有效地表示一个原始文件的技术的兴趣随着复印机，传真或多功能外围设备的进步而增长。该技术可主要分为一种利用图像文件的空间黑白分布将实际连续亮度表示为伪亮度的高频振荡技术(dithering technique)，和一种将文本文件适当的分割成文本及背景以便从文本文件中容易的读取文本的双层分割技术。
然而，这些技术对于包含文本和图像组合的文件并不有效。换句话说，在双层分割技术中，图像中会产生诸如假轮廓的问题，而在高频振荡技术中，伪亮度将图像的边缘变得平滑，其使文本部分的读取变得糟糕。为了解决这些问题，正在进行关于提高包含文本和图像的文件的图像质量的各种研究。
图1是一个用于说明提高一包含有文本和图像的组合的文件的图像质量的传统方法的流程图，该方法在标题为“用于自动识别文本和图像的文件成像系统(Document Imaging System for Autodiscrimination of Text an Images)”的美国专利No.6,175,425中公开，该专利在2001年1月16日被授权给Ramin Khorram。参看图1，该方法包括在操作100中，从扫描仪或其它输入设备中接收一多值信号，来表示一个文件图像的输入；在操作102中，使用一个高通滤波器(HPF)来创建一个模板，其在一个文件中定义了一个高对比区；在操作104中，把文件图像分割成一个文本区和一个图像区；在操作106，通过在文本区中使用HPF来提高文本区中图像的质量；在操作108中，通过在图像区使用一个低通滤波器(LPF)来提高图像区中图像的质量；在操作110中，通过将文本区中的图像和图像区中的图像相连来创建将被显示的图像；在操作112中，半色调处理将被显示的图像；并且在操作114中，显示一个半色调图像。
在如上所述的方法中，把输入的文件图像分割成块，然后在每一个块中使用HPF把块分为包含有大量高频分量的文本区和包含有少量高频分量的图像区。这样，如果两个相邻的块属于不同的区域，则一个块就可以从另一个可块中分离出来。而且，一个块变得非常小，从而在块中的所有像素属于相同的区域。然而，由于块很小，用频率分量进行特征提取变得困难，从而导致了难于确定块的适当大小。
在标题为“用于把图像数据划分为联合色调(contone)、文本和半色分类的方法和装置(Method and Apparatus for Segmenting Image Data into Contone，Text，and Halftone Classifications)”并于2000年6月20日授权给Yee Seung Ng的美国专利No.6,078,697中，在输入文件图像的所有像素周围设置预定大小的窗口然后计算在相应窗口中的像素的梯度。根据模糊规则利用计算出的梯度的大小和方向来计算模糊概率，该模糊概率用于表示中心像素将属于文本区、半色调图像区或联合色调区域的概率。比较三个模糊概率值，把具有最大模糊概率值的区域确定为中心像素类，并且把错误分类的像素重新分类来调整(确定)中心像素类。用这种方法，由于仅仅用相邻的信息来确定中心像素类，将会产生很多错误。另外，当相邻的像素属于不同的类时，应当对相邻的像素使用不同的图像质量改进方法。这样，对于观察者的眼睛来说最后的显示可能是不舒服的。
在标题为“文件分割系统(Document Segmentation System)”并在1999年9月21日授权给Hakan Ancin的美国专利No.5,956,468中，将输入的文件图像转换成一个低分辨率图像，从低分辨率图像中找出宽文本和图像区，从低分辨率图像的剩余区域中找出一明亮背景上的暗文本区来执行图像质量提高处理，以提高暗文本区域的可读性。用这种方法，仅仅加重了明亮背景上的暗文本区，而图像区则几乎没有加重。
发明内容
本发明提供了一种提高文件图像的数字图像质量的方法，该文件图像是通过扫描一包含文本和图像的组合的文件而获得的，并把文件图像分类为文本区、背景区、半色调图像区、和一个连续色调图像区，通过在每个区上使用一适当的图像质量提高处理来获得一个改善的图像质量的显示。
本发明还提供一种执行上述方法的装置。
根据本发明的一个方面，提供了一种改善文件图像的质量的数字图像质量提高方法，该文件图像包括具有一预定分辨率的像素并且通过扫描一包含有背景、文本和图像的组合的原本而获得。该方法包括根据相关像素的像素类型，利用所述相关像素的前一历史信息来更新历史信息；利用相关像素的像素类型以及所述更新的历史信息来确定该相关像素的块特征类型；根据相关像素的左方向上的第一相邻像素所属的第二区域的第二类型、相关像素上面一行的第二相邻像素所属的第三区域的第三类型、相关像素的像素类型以及确定的块特征类型来确定所述相关像素所属区域的类型；以及根据所述确定的区域类型执行不同的相关像素的图像质量提高处理。
根据本发明的另一个方面，提供一种用来改善文件图像的质量的数字图像质量改善装置，所述文件图像是通过扫描一包括背景、文本和图像的组合的原本而获得的，并包含有具有预定分辨率的像素。所述装置包括一历史信息更新单元、一块特征类型检测单元、一区域类型确定单元以及一图像质量提高单元。历史信息更新单元根据相关像素的像素类型，利用该相关像素的前一历史信息来更新历史信息。块特征类型检测单元利用相关像素的像素类型和更新的历史信息确定相关像素的块特征类型。区域类型确定单元根据在相关像素的左方向上的第一相邻像素所属的第二区域的第二类型、相关像素的像素类型、在该相关像素的上面一行中的第二相邻像素所属的第三区域的第三类型、以及由块特征类型检测单元提供的相关像素的块特征类型来确定相关像素所属区域的类型。图像质量提高单元根据由区域类型确定单元确定的区域类型将相关像素的图像质量提高至不同程度。
通过参考图对示范性实施例进行详细描述，本发明的上述和其它特征以及优点将变得更加显而易见，其中图1是用于说明提高一包含文本和图像的组合的文件的图像质量的传统方法的流程图；图2是用于说明根据本发明的实施例提高数字图像质量的方法的流程图；图3A到3C是用于说明在图2的块特征类型检测中的具有图像和背景块特征的相关像素的视图；图4是用于说明按照本发明的一个方面的图2中的历史信息更新的流程图；图5是用于说明图4中的双峰计算的流程图；图6是用于说明按照本发明的一个方面的获得连接分量值以确定图2中的像素类型确定中半色调像素的方法的流程图；图7是用于说明按照本发明的一个方面，取决于图5中的相关像素的二元值来获取连接分量值的方法的流程图；图8是用于说明按照本发明的另一个方面，取决于图5中的相关像素的二元值获取连接分量值的方法的视图；图9是用于说明按照本发明的一个方面的图2中的区域类型确定的视图；以及图10是按照本发明的一个方面用来提高数字图像质量的装置的方框图。
具体实施例方式
现在将参照本发明的实施例进行详细说明，其中的实施例将结合附图中进行描述，其中通篇中使用相同的参考数字表示相同的元件。为了解释本发明，下面将参照附图描述实施例。
图2是用于说明根据本发明的一个方面来提高数字图像质量的方法的流程图。该方法包括在操作410中，选择一个像素作为一图像的相关像素；在操作210中，转换该相关像素的色彩数据；在操作220中，根据该相关像素的像素类型更新历史信息；在操作230中，确定该相关像素的块特征类型；在操作240中，确定该相关像素所属区域的类型；在操作250中，提高每个区域的图像质量的；以及在操作460中，执行最终的像素确定的操作。
参照图2，在像素选择操作410中，从第一个像素开始执行像素选择。这样，在初始像素位置值的设定操作411中，初始像素的位置值I设置为零。在初始位置值增加操作412中，该初始像素的位置值I加1。然后，在色彩数据转换210中，将该相关像素的RGB色彩数据转换为具有亮度、饱和度和色彩分量的色彩数据。这里，使用YIQ色彩模型、YCbCr色彩模型等。
在YIQ色模型中，Y表示亮度分量，I和Q表示色彩分量。如果给定R、G和B值，则可通过下面的公式1表示Y、I和Q值Y＝0.29900R+0.58700G+0.11400BI＝0.59600R-0.27500G-0.32100BQ＝0.21200R-0.52300G+0.31100B…(1)如果用YIQ色彩模型转换RGB色彩数据，则可能将亮度分量采纳为Y分量，并从I和Q分量的绝对值的和或者I和Q分量的均方根(RMS)获得饱和度分量。色彩分量可以通过 获得。
在YCbCr色彩模型中，Y表示亮度，Cb和Cr分别表示蓝色饱和度和红色饱和度。如果给定R、G和B值，则可通过下面的公式2表示Y、Cb和Cr值Y＝0.29900R+0.58700G+0.11400BCb＝-0.16874R-0.33126G+0.50000BCr＝0.50000R-0.41869G-0.08131B…(2)如果用YCbCr色彩模型转换RGB色彩数据，则可能将亮度分量采纳为Y分量，并从Cb和Cr分量的绝对值的和或者Cb和Cr分量的RMS获得色彩分量。该色彩分量可以通过 获得。
历史信息更新操作220包括像素预处理操作221、像素类型确定操作222以及第一和第二历史信息更新/存储操作223。这里，像素预处理操作221是可选择的。在这种情况下，把从色彩数据转换操作210提供的色彩数据提供给像素类型确定操作222。
在像素预处理操作221中，相关像素被低通滤波或不被处理，然后按照该相关像素的双峰值的量值输出。
在像素类型确定操作222中，在当前行中的每一个被低通滤波的或未被处理的相关像素的亮度分量和饱和度分量分别与亮度阈值和饱和度阈值相比较。然后，根据该比较结果确定该相关像素是背景像素还是图像像素。如果该相关像素的饱和度分量小于饱和度阈值S0，并且亮度分量大于一高亮度阈值B1，则相关像素被分类为背景像素。不满足背景像素的必要条件的像素成为非背景像素。如果相关像素是非背景像素，并且该相关像素的饱和度分量大于饱和度阈值S0或亮度分量大于低亮度阈值B2，则该相关像素被分类为图像像素。这里，饱和度阈值S0为例如15，高亮度阈值B1为例如接近于白色的250，以及低亮度阈值B2为例如接近于黑色的100。
为了确定相关像素是否是一半色调像素，确定在相关像素周围的3×N窗口，例如3×3窗口中的像素的四向连接分量值是否是一预定值，优选的是2或者更大。如果四向的连接分量值是2或者更大，则确定在3×3窗口中像素的亮度分量的最大值和最小值之间的差值是否大于亮度差阈值，优选的为30或者更大。
在第一和第二历史信息更新/存储操作223中，取决于在像素类型确定操作222中的确定结果来更新和存储相关像素的第一或第二历史信息。这里，为了确定背景块特征的类型，第一历史信息具有一个表示在相关像素之上有多少连续的背景像素的值，并且为了确定图像块特征的类型，第二历史信息具有一个表示在相关像素之上有多少连续的背景像素的值。
如果在像素类型确定操作222中，相关像素被分类为背景像素，则将在相关像素之上的连续的背景像素的数目和该相关像素存储为关于该相关像素的第一历史信息。优选的，如果在相关像素之上的连续的背景像素的数目是一预定的数m或更多，则把数m存储为该像素的第一历史信息。如果在相关像素之上的连续的背景像素的数目小于数m，则把相应的数字存储为该相关像素的第一历史信息。优选的，在每英寸600点(dpi)的分辨率下，m可以设置为3。在这种情况下，第一存储器可用于在一[log2m+1]位的单元中存储用作第一历史信息的背景像素，其中的[]表示一高斯符号(不超过括弧内的整数值(最大值)的作为结果的整数值(函数))。如果m是3，则背景像素需要2位。
如果在像素类型确定操作222中把相关像素分类为图像像素，则将相关像素之上的连续的图像像素的数目存储为该相关像素的第二历史信息。最好的，如果相关像素上的图像像素和该相关像素的数目是一预定的数p或更多，则把数p存储为该相关像素的第二历史信息。如果在相关像素之上的图像像素的数目小于数p，则将相应的数存储为该相关像素的第二历史信息。最好的，在600dpi的分辨率下，p可以设置为7。在这种情况下，第二存储器可用于在一[log2p+1]位的单元中存储用作第二历史信息的图像像素。如果p是7，则图像像素需要3位。
因此，可以用一个整体的存储器存储一行中(每一行的像素的数目×5位)有关每个像素的第一和第二历史信息，这样大大降低了实现硬件的成本。
在块特征类型检测操作230中，用第一或第二历史信息检测背景块特征类型和图像块特征类型。当m个存储的背景像素在相关像素的左方向和/或在右方向上从相邻于相关行的前一行的像素连续出现n次或更多次时，所述相关行包括是背景像素的相关像素，则如图3A所示根据第一历史信息检测背景块特征类型。优选的，在600dpi的分辨率下，m和n可分别设置为3和5。当p个存储的图像像素在相关像素的左方向和/或在右方向上从邻近于相关行的前一行的像素连续地出现q次或更多次时，所述相关行包括是图像像素的相关像素，则如图3B所示根据第二历史信息检测图像块特征类型。优选的，在600dpi的分辨率下，p和q可以分别设置为7和20。如图3C所示，还可以当非背景像素在包括是图像像素的相关像素的左方向上连续地出现r次或更多次时，检测图像块特征类型。优选的，在600dpi分辨率下，r可以设置为200。
当相关像素是一半色调像素，并且相关像素和半色调像素存在于左方向上的标准的半色调距离的范围之内，优选的，在半色调范围11内时，或者邻近于相关像素的上面一行的一个像素属于半色调图像区域内时，检测半色调块特征类型。
在区域类型确定操作240中，根据在相关像素的左边的前一像素所属的第二区域、在前一行中紧邻相关像素的一个像素所属的第三区域、在像素类型确定操作222中的像素类型以及在块特征类型检测操作230中的块特征类型来确定一个相关像素所属的区域的类型。
当在区域类型确定操作240中确定了相关像素所属区域的类型时，在图像质量提高操作250中将各区域的图像质量提高到不同的程度。这里，在图像质量提高操作250期间将钝化遮蔽(unsharpen masking)用做重点技术。根据钝化遮蔽，通过公式3得到将被加强的像素的亮度Le＝L5+k(L5-Lavg) …(3)在上述公式3中，L5表示将被加强的像素的原始亮度，Lavg表示在设定窗口中亮度的平均值，Le表示已加强的亮度值，以及k是加强系数。
如果把相关像素分类为文本区，为了将文本区和图像区之间的差值最大化，将相关像素的亮度分类为高、中和低亮度等级，也就是三个亮度等级。接着，如果相关像素的亮度属于高亮度等级，则当输出具有256色的彩色图像时，将R，G和B的每一个被设置为255，以使用白色来填充相关像素。如果相关像素的亮度属于低亮度等级，则将R，G，和B的每一个设置为零，以使用黑色来填充相关像素。如果相关像素的亮度属于大部分出现在文本区和图像区之间的边界上的中亮度等级，则执行钝化遮蔽来加强文本区的边界。可利用相邻于相关像素的3×3像素的平均亮度来计算在钝化遮蔽期间使用的加强系数。优选的，平均亮度和加强系数沿连接像素(100，6)和像素(250，1)的直线变化。如果把相关像素分类为背景区域，则输出一个原始图像。
如果把相关像素分类为连续色调图像区域，则执行钝化遮蔽以加强连续色调图像区域的边界。可利用相邻于相关像素的3×3像素的平均亮度来计算在钝化遮蔽期间使用的加强系数。优选的，平均明亮度和加强系数沿连接像素(0，6)和像素(255，1)的直线变化。
如果相关像素被分类为半色调图像区域，则输出原始图像，使用LPF来防止出现令观察者的眼睛不舒服的图案，或者利用使用非常小的加强系数最好是1或者更小的钝化遮蔽。
图4是用于说明图2中的历史信息更新操作220的一个方面的流程图。历史信息更新操作220包括一像素预处理操作420，一像素类型确定操作430，一第一历史信息更新操作440，以及一第二历史信息更新操作450。这里，像素预处理操作420是可选择的。
参照图4，在像素预处理操作420的双峰计算操作421中，计算在相关像素的周围的3×N窗口(其中N是3或者更大)如3×3窗口中的像素的双峰。在双峰值比较操作422中，将双峰计算操作21中的双峰和预定的双峰阈值作比较，然后确定该双峰是否大于预定双峰阈值。这里，预定的双峰阈值最好设置为50。
如果在双峰值比较操作422中双峰大于预定双峰阈值，则不对相关像素进行额外处理，并随后执行像素类型确定操作430。如果双峰小于预定双峰阈值，则在相关像素的低通滤波操作423中对该相关像素进行低通滤波，并随后执行像素类型确定操作430。这里，双峰大于预定双峰阈值表示该相关像素是一个位于文本区边界周围的或属于半色调图像区域的像素。双峰小于预定双峰阈值表示该相关像素是一个属于背景区或连续色调图像区域的像素。
在像素类型确定操作430的第I个像素类型确定操作431中，确定第I个像素的饱和度分量是否小于饱和度阈值S0，以及第I个像素的亮度分量是否大于高亮度阈值B1。如果第I个像素的饱和度分量小于饱和度阈值S0并且亮度分量大于高亮度阈值B1，则第I个像素被确定为背景像素。如果在第I个像素类型确定操作431中将第I个像素确定为非背景像素，则在第I个像素类型确定操作432中确定第I个像素是否是图像像素。这里，如果第I个像素的饱和度分量大于饱和度阈值S0，或者亮度分量大于低亮度阈值B2而小于高亮度阈值B1，则将第I个像素分类为图像像素。
如果在第I个像素类型确定操作431中，将第I个像素确定为背景像素，则在第一历史信息更新操作440的第I个像素图像历史设定操作441中，将第I个像素的图像历史设定为零。在背景历史值确定操作442中，确定已存的背景历史是否小于一预定数m，如3。如果在背景历史值确定操作442中，背景历史等于或大于数m，则背景历史保持为数m。如果背景历史小于数m，则背景历史加1。
如果在第I个像素类型确定操作432中，第I个像素既不是背景像素也不是图像像素，则在第二历史信息更新操作450的第I个像素背景历史设定操作451中，将第I个像素的背景历史设定为零。如果在第I个像素类型确定操作432中将第I个像素确定为图像像素，则在第I个像素背景历史设定操作452中，将第I个像素的背景历史设定为零。在图像历史值确定操作453中，确定已存储的图像历史是否小于一预定数p，如7。如果图像历史等于或大于数p，则背景历史保持为数p。如果图像历史小于数p，则图像历史加1。
下面将参照图5对图4的像素预处理操作420的双峰计算操作421中计算双峰的方法进行说明。
参照图5，双峰计算方法包括窗口设定操作511、平均亮度分量计算操作513、分组操作515以及双峰确定操作517和519。
在窗口设定操作511中，在相关像素的周围设定3×3窗口。在平均亮度分量计算操作513中，计算该3×3窗口中的所有像素的亮度分量的平均值。
在分组操作515中，将平均亮度分量计算操作513中的平均数与3×3窗口中的所有像素的亮度分量的每一个进行比较，以把像素分组为具有比平均数高的亮度分量的第一像素组和具有比平均数低的亮度分量的第二像素组。
在双峰确定操作517中，计算属于第一像素组的像素的亮度分量的第一子平均数和属于第二像素组的像素的亮度分量的第二子平均数。在双峰确定操作519中，计算在双峰确定操作517中的第一和第二像素组的亮度分量的第一和第二子平均数之间的差值，以确定作为相应相关像素的双峰的差值。
下面将参照图6至8对为了确定在图2的像素类型确定操作221中的半色调像素，而计算在3×3窗口中的像素的连接分量值CC的方法进行说明。
参照图6，连接分量值计算方法包括窗口设定操作611、平均亮度分量计算操作613、二值化操作615以及连接分量值确定操作617。
在窗口设定操作611中，在相关像素的周围设定3×3窗口。在操作613中，计算3×3窗口中的所有像素的亮度分量的平均值。
在二值化操作615中，将平均亮度分量计算操作613的另一个平均值与3×3窗口中的所有像素的亮度分量的每一个相比较，然后根据比较结果将亮度分量的每一个指定为“1”或“0”以执行二值化。例如，如果一相应像素的亮度分量小于另一个平均数，则将“1”分配给相应的亮度分量，而如果相应像素的亮度分量大于另一个平均数，则将“0”分配给相应的亮度分量。
在连接分量值确定操作617中，为了使所需存储器的数量(容量)减到最小，通过利用逻辑电路代替查找表，根据相关像素的二元值，按照不同的计算方法确定连接分量值CC。将参照图7和8对此进行更详细的说明。
参照图7，在二值化确定操作711中，确定诸如像素B5的相关像素的二元值是否为“1”。
如果在二值化确定操作711中确定相关像素的二元值是“0”，则计算从像素B1开始沿着顺时针方向80连续出现的具有二元值“0”和“1”的连续块的数目，以确定作为连接分量值确定操作712中的连接分量值CC的连续块的数目。例如，如图8所示，如果像素B1、B3、B4和B8包括具有0值的相关像素B5，则连接分量值CC变为3。
如果在二值化确定操作711中确定像素B5的二元值是“1”，则像素B2、B4、B6和B8的二元值之和被定义为连接等级，并随后根据连接等级定义操作713中的连接等级，按照不同的方法确定连接分量值CC。如果连接等级具有二元值“0”，则将通过给像素B1、B3、B7和B9的二元值之和加“1”而得到的值确定为连接分量确定操作715中的连接分量值CC。如果在二元连接等级值确定操作714中的连接等级具有非零值，则在连接等级确定操作716中确定连接等级是否具有值“1”。如果连接等级具有值“1”，则在连接分量值确定操作717中计算沿顺时针方向80连续出现的值“1”的数目，以确定作为连接分量值CC的值“1”的数目。
如果在连接等级确定操作716中的连接等级不具有值“1”，则在连接等级确定操作718中确定连接等级是否具有值“3”或“4”。如果连接等级具有值“3”或“4”，那么在连接分量值确定操作719中确定连接分量值CC为1。如果在连接等级确定718中确定连接等级具有值“2”，那么在二元值确定操作720中确定像素B2和B8的每一个是否有一个二元值“1”或像素B4和B6的每一个是否具有二元值“1”。如果像素B2和B8的每一个具有二元值“1”或像素B4和B6的每一个具有二元值“1”，则在连接分量确定操作721中把连接分量值CC确定为1。
如果在二元值确定操作720中像素B2或B8不具有二元值“1”，并且像素B4或B6不具有二元值“1”，那么在二元值确定操作722中确定像素B2是否具有二元值“1”。如果像素B2具有二元值“1”，那么在二元确定操作723中确定像素B4是否具有一个二元值“1”。如果像素B4具有二元值“1”，则在连接分量确定操作721中将连接分量值CC确定为通过对像素B9的二元值加1得到的值。如果在二元值确定723中像素B4不具有二元值“1”，则随后在连接分量值确定操作725中将连接分量值CC确定为通过对像素B7的二元值加1得到的值。
如果在二元值确定操作722中像素B2不具有二元值“1”，那么在二元值确定操作726中确定像素B4是否具有二元值“1”。如果像素B4具有二元值“1”，则在连接分量值确定操作727中将连接分量值CC确定为通过对像素B3的二元值加1得到的值。如果在二元值确定操作726中像素B4不具有二元值“1”，那么在连接分量值确定操作728中将连接分量值CC确定为通过对像素B1的二元值加“1”得到的值。
图9说明了图2中的区域类型确定操作240的一个方面。在说明区域类型确定操作240之前，将描述不能在区域类型确定操作240中确定连续色调图像区域的图像标记存储器。
图像标记存储器是一个具有1位宽度的线路存储器，其中当由于图像块特征类型的检测而把相关像素分类为连续色调图像区域时，把在相关像素的左方向上并紧邻最后从其中检测出背景块特征类型的位置的位置设置为1。结果，从图像标记存储器设置为1的下一行的一个位置开始对连续色调区域进行分段。
参照图9，如果在状态911前一像素属于背景区域，并且在状态913相关像素是非背景像素，则将相关像素分类为文本区。如果在状态912相关像素是背景像素，则相关像素仍然属于背景区。当使用图像标记存储器时，在状态911前一像素属于背景区，并在状态921将图像标记存储器设置为1，将相关像素分类为连续色调图像区域。
如果在状态914前一像素属于文本区，并且在状态916从相关像素中检测到背景块特征类型，则将相关像素分类为背景区。如果在状态917从相关像素中检测到图像块特征类型，或者将图像标记存储器设置为1，则把相关像素分类为连续色调图像区域。即使在状态917紧邻相关像素的上面一行中的一个像素为连续色调图像区域。即使在状态917紧邻相关像素的上面一行中的一个像素属于连续色调图像区域或半色调图像区域，也将相关像素分类为连续色调图像区域。如果在状态915相关像素不满足这些必要条件，则相关像素仍然属于文本区。
如果在状态918前一像素属于连续色调图像区域，并且在状态920从相关像素中检测到背景块特征类型，则将相关像素分类为背景区。如果在状态922从相关像素中检测到半色调块特征类型，则将相关像素分类为半色调图像区。如果在状态919相关像素不满足这些必要条件，则相关像素仍然属于连续色调图像区。
如果在状态923前一像素属于半色调图像区，并且相关像素满足用于确定半色调像素的两个必要条件中的一个，也就是，四向连接分量值应该为2或更大并且相关像素周围的3×3窗口中的像素的亮度分量的最大值和最小值之间的差值应该大于一亮度差异阈值，那么在状态924将相关像素分类为半色调图像区域。如果相关像素不满足上述的两个必要条件，那么在状态925将相关像素分类为连续色调图像区域。
图10是根据本发明的一个方面的数字图像质量提高装置的方框图。数字图像质量提高装置包括像素输入单元1011、历史信息更新单元1012、背景块特征检测单元1013、图像块特征检测单元1014、半色调块特征检测单元1015、上行(upper line)信息存储单元1016、区域类型确定单元1017、图像质量提高单元1019以及存储单元1020。这里，存储单元1020在数字图像质量提高装置中是可选的。
像素输入单元1011一个像素接着一个像素地输入像素的已被转换到YIQ或YcrCb色彩空间的色彩数据，并随后从相关像素的色彩数据中获得亮度、饱和度和色彩分量。
历史信息更新单元1012根据由像素输入单元1011提供的相关像素的类型，利用相关像素的前一历史信息来更新历史信息。为此，按照相关像素的双峰的值对相关像素进行低通滤波或不进行处理，然后输出。接着，将经过低通滤波或未处理后输出的当前行中的每一个相关像素的亮度分量和饱和度分量分别与亮度阈值和饱和度阈值做比较。其后，根据比较结果确定每一个相关像素是背景像素还是图像像素。
在相关像素的左方向上，如果m个存储的像素的第一数量后连续出现了n个像素的第二数量，其中将从m个像素检测背景块特征类型，从n个像素检测背景块特征类型，则背景块特征检测单元1013根据历史信息将相关像素分类为具有背景块特征类型的像素。这里，m和n分别可以是3和5。
在相关像素的左方向上，如果p个存储的像素的第一数量后连续出现了q个像素的第二数量，其中将从p个像素检测图像块特征类型，从q个像素检测图像块特征，则图像块特征检测单元1014根据历史信息把相关像素分类为具有图像块特征类型的像素。这里，p和q可以分别是7和20。
半色调块特征检测单元1015利用相关像素的像素类型、相关像素左例的像素的像素类型、以及相关像素的上面相邻的像素所属的区域类型将相关像素分类为具有半色调块特征类型的像素。
上行区域信息存储单元1016存储关于区域类型的信息，相关像素的上面一行中的相邻像素属于所述区域。
存储单元1020是一个具有线路存储器的图像标记存储器，所述线路存储器具有1位宽度，其中当图像块特征检测单元1014从相关像素中检测图像块特征类型时，将相关像素左侧紧邻着从其中最终检测出背景块特征类型的位置的位置设置为1。
区域类型确定单元1017根据记录在内部存储器(未显示)1018中的相关像素左侧的第一相邻像素所属的第二区域的第二类型、从历史信息更新单元1012提供的相关像素的像素类型、从上行区域信息存储单元1016中提供的相关像素的上面一行中的第二相邻像素的第二类型、从背景、图像和半色调块特征检测单元1013、1014和1015提供的背景、图像和半色调块特征类型、以及在存储单元1020中的图像标记存储器中存储的信息来确定相关像素所属区域的类型。
图像质量提高单元1019取决于由区域类型确定单元1017确定的区域类型将相关像素的图像质量提高至不同程度。
如上所述，按照本发明，通过扫描包含有文本和图像的组合的文件而获得的文件图像可分割成文本区、背景区、半色调图像区以及连续色调图像区。接着，可以执行适合于文本区、背景区、半色调图像区、和连续色调图像区的每一个的图像质量提高处理，以获得大大改善了的图像质量显示。
此外，第一和第二历史信息可用于检测背景和图像块特征，并且逻辑电路可用于确定连接分量值。结果，可以将所需存储器的数量(容量)最小化，其导致了在用于实现硬件方面的费用的大大缩减。
而且，当更新第一和第二历史信息时，将相关像素的双峰与预定阈值进行比较，然后根据比较结果确定是否执行了诸如低通滤波等的预处理。这样就实现了文本区和半色调图像区的精确分割。同样，用于检测半色调块特征类型的信息量的缩减可以减少线路存储器的数量。
本发明的上述实施例可写成能够在计算机上执行并且能够在通用数字计算机上实现的程序，该通用数字计算机利用计算机可读记录介质执行该程序。计算机可读记录介质包括诸如ROM、软盘、硬盘等的磁性存储介质，诸如CD-ROMs、DVDs等的光可读媒介，以及利用经由因特传输的载波的存储介质。
尽管已经对本发明的一些实施例进行了说明和描述，本领域的技术人员应当明白可以不脱离本发明的原则和精神而对这些实施例进行改变，其范围在附加的权利要求书及他们的等价物中被定义。
权利要求
1.一种用于改善包含有具有预定分辨率的像素的文件图像质量的数字图像质量提高方法，所述文件图像是通过扫描包括背景、文本和图像的组合的原本而获得的，该方法包括根据相关像素的像素类型，利用所述相关像素的前一历史信息来更新历史信息；利用相关像素的像素类型以及所述更新的历史信息来确定该相关像素的块特征类型；根据相关像素的左方向上的第一相邻像素所属的第二区域的第二类型、相关像素上面一行的第二相邻像素所属的第三区域的第三类型、相关像素的像素类型以及确定的块特征类型来确定所述相关像素所属区域的类型；以及根据所述确定的区域类型执行不同的相关像素的图像质量提高处理。
2.如权利要求1所述的数字图像质量提高方法，其中所述历史信息的更新包括根据相关像素的双峰的值，低通滤波(预处理)所述相关像素。
3.如权利要求2所述的数字图像质量提高方法，其中所述相关像素的预处理包括计算相关像素的双峰；把所述双峰和一预定阈值进行比较；以及在双峰比较中当所述双峰小于所述预定阈值时，执行所述低通滤波。
4.如权利要求3所述的数字图像质量提高方法，其中所述计算双峰包括计算在相关像素周围的预定大小的窗口中的所有像素的亮度分量的平均值；将窗口中的像素分成具有比平均值高的亮度分量的第一像素组和具有比平均值低的亮度分量的第二像素组；以及确定属于第一像素组的像素的亮度分量的第一子平均值和属于第二像素组的像素的亮度分量的第二子平均值之间的差值，作为所述相关像素的双峰。
5.如权利要求1所述的数字图像质量提高方法，其中所述历史信息的更新包括利用相关像素的亮度和饱和度分量确定该相关像素是背景像素还是图像像素，以及利用所述亮度分量和连接分量确定该相关像素是否是一个半色调像素；当相关像素被确定为背景像素时，通过将该相关像素和在该相关像素的上方连续出现的背景像素的数量存储为该相关像素的第一历史信息，来更新第一历史信息；以及当相关像素被确定为图像像素时，通过将该相关像素和在该相关像素的上方连续出现的图像像素的数量存储为该相关像素的第二历史信息，来更新第二历史信息。
6.如权利要求5所述的数字图像质量提高方法，其中所述像素类型的确定包括当相关像素的所述亮度分量大于高亮度阈值并且相关像素的所述饱和度分量小于饱和度阈值时，将该相关像素分类为背景像素；当相关像素的所述亮度分量大于低亮度阈值并且小于所述高亮度阈值或相关像素的所述饱和度分量大于所述饱和度阈值时，将该相关像素分类为图像像素；以及获得相关像素周围一预定大小的窗口中的所述连接分量和所述亮度分量之间的差值，并且利用所述连接分量、所述亮度分量和获得的连接分量和亮度分量之间的差值把所述相关像素分类为半色调像素。
7.如权利要求6所述的数字图像质量提高方法，其中将所述相关像素分类为半色调像素包括获得一窗口中的像素的所述连接分量；将所述窗口中的像素的亮度分量的最大值和最小值之间的差值与一亮度差异阈值相比较；以及当所述连接分量大于一预定值，并且所述差值大于所述亮度差异阈值时，确定所述相关像素为半色调像素。
8.如权利要求7所述的数字图像质量提高方法，其中获得连接分量包括利用所述亮度分量二值化所述窗口中的像素；以及根据分配给所述相关像素作为二值化结果的二元值，按照不同的方法获得所述连接分量。
9.如权利要求8所述的数字图像质量提高方法，其中所述二值化像素包括计算所述窗口中的所有像素的亮度分量的平均值；以及将所述平均值和所述所有像素的亮度分量的每一个进行比较，以根据比较结果来执行所述二值化。
10.如权利要求9所述的数字图像质量提高方法，其中所述连接分量的获得包括当相关像素的所述亮度分量大于所述平均值时，计算包含顺时针连续出现的元素的块的数量，以将计算出的数量确定为所述连接分量，所述顺时针连续出现的元素具有与所述相关元素的二元值不同的二元值。
11.如权利要求10所述的数字图像质量提高方法，其中所述连接分量的获得包括当相关像素的所述亮度分量小于所述平均值时，根据位于该相关像素四个方向上的像素的二元值之和的大小，按照不同的方法确定所述连接分量。
12.如权利要求5所述的数字图像质量提高方法，其中所述第一历史信息的更新包括当在相关像素的上方连续出现的所述背景像素的数目大于第一数量m时，设定用于确定所述背景块特征的第一数量m；将第一数量m存储为所述第一历史信息；以及当所述背景像素的数目小于第一数量m，将相应的背景像素的数目存储为所述第一历史信息。
1 3.如权利要求5所述的数字图像质量提高方法，其中所述第二历史信息的更新包括当在相关像素的上方连续出现的所述图像像素的数目大于第一数量p时，设定用于确定所述图像块特征的第一数量p；将第一数量p存储为所述第二历史信息；以及当所述图像像素的数目小于第一数量p，将相应的图像像素的数目存储为所述第二历史信息。
14.如权利要求1所述的数字图像质量提高方法，其中所述块特征类型的确定包括在相关像素的左和右方向上，当第一数量m个像素之后连续出现了第二数量n个像素时，其中从m个像素中检测背景块特征类型，从n个像素中检测背景块特征类型，则根据历史信息把所述相关像素分类为一个具有背景块特征类型的像素；在相关像素的左和右方向上，当第三数量p个像素之后连续出现了第四数量q个像素，其中从p个像素中检测图像块特征类型，从q个像素中检测图像块特征类型，则把所述相关像素分类为一个具有图像块特征类型的像素；以及利用所述相关像素的像素类型、在该相关像素的左方向上的像素的像素类型、以及在该相关像素上方的相邻像素所属的第三区域的第三类型，把该相关像素分类为一个具有半色调块特征类型的像素。
15.如权利要求14所述的数字图像质量提高方法，其中把相关像素分类为一个具有半色调块特征类型的像素包括当相关像素是一个半色调像素时，确定该半色调像素是否位于所述相关像素的左方向上的半色调距离阈值内；当相关像素是所述半色调像素时，确定在所述相关像素上方的第二相邻像素所属的第三区域是否是半色调图像区域；和当相关像素满足上述两个确定的必要条件之一时，把所述相关像素分类为一个具有半色调块特征的像素。
16.如权利要求14所述的数字图像质量提高方法，其中所述块特征类型的确定进一步包括当在将相关像素分类为具有图像块特征的像素时从相关像素检测出图像块特征类型时，在图像标记存储器中把在相关像素的左方向上并紧邻最后从其中检测出背景块特征类型的第二位置的第一位置设置为1。
17.如权利要求1所述的数字图像质量提高方法，其中所述区域类型的确定包括当相关像素的左方向上的第一相邻像素所属的第二区域是一背景区时，根据该相关像素的像素类型，确定该相关像素所属的区域为文本区和背景区中的一个；当相关像素的左方向上的第一相邻像素所属的第二区域是一文本区时，根据该相关像素的块特征类型和在该相关像素上方的第二相邻像素所属的第三区域的第三类型，确定该相关像素所属的区域为背景区、连续色调图像区域和文本区中的一个；当相关像素的左方向上的第一相邻像素所属的第二区域是连续色调图像区时，根据该相关像素的块特征类型，确定该相关像素所属的区域为背景区、半色调图像区和连续色调图像区中的一个；以及当相关像素的左方向上的第一相邻像素所属的第二区域是半色调图像区时，根据该相关像素的像素类型，确定该相关像素所属的区域为半色调图像区和连续色调图像区中的一个。
18.如权利要求17所述的数字图像质量提高方法，其中确定相关像素作为文本区和背景区其中之一包括当相关像素是背景像素时，确定该相关像素是否是背景像素；确定所述相关像素所属的区域为背景区；以及当相关像素不是背景像素时，确定该相关像素所属的区域为文本区。
19.如权利要求17所述的数字图像质量提高方法，其中确定所述相关像素的区域为背景区、连续色调图像区和文本区其中之一包括当相关像素具有背景块特征时，将该相关像素分入背景区；当相关像素具有图像块特征或对于前一行的图像标记存储器被设置为1时，将该相关像素分入连续色调图像区；当相关像素上方的相邻像素所属的区域是连续色调图像区和半色调图像区其中之一时，将该相关像素分入连续色调图像区；以及当相关像素不满足上述用于确定所述相关像素所属的区域的类型的必要条件中的任何一条时，确定所述相关像素所属的区域为文本区。
20.如权利要求17所述的数字图像质量提高方法，其中确定所述相关像素的区域为背景区、半色调图像区和连续色调图像区其中之一包括当相关像素具有背景块特征时，将该相关像素分类为背景区；当相关像素具有半色调块特征时，将该相关像素分类为半色调图像区；以及当相关像素既不具有背景块特征也不具有半色调块特征时，确定所述相关像素所属的区域为连续色调图像区。
21.如权利要求17所述的数字图像质量提高方法，其中确定所述相关像素的区域为半色调图像区和连续色调图像区其中之一包括当相关像素是半色调像素时，确定该相关像素是否是半色调像素；确定相关像素所属的区域为半色调图像区；以及当相关像素不是半色调像素时，确定该相关像素所属的区域为连续色调图像区。
22.如权利要求1所述的数字图像质量提高方法，其中执行不同的图像提高处理包括当在相关像素的区域类型确定中将所述相关像素所属的区域确定为文本区时，利用所述相关像素的第一加强系数按照所述相关像素的亮度分量的大小执行白色填充、黑色填充和钝化遮蔽中的一种；当在相关像素的区域类型确定中将所述相关像素所属的区域确定为连续色调图像区时，利用所述相关像素的第二加强系数执行钝化遮蔽；当在相关像素的区域类型确定中把所述相关像素所属的区域确定为半色调图像区时，利用所述相关像素的第三加强系数执行不处理、低通滤波和钝化遮蔽中的一种；和当在相关像素的区域类型确定中把所述相关像素所属的区域确定为背景区时，输出所述相关像素。
23.如权利要求22所述的数字图像质量提高方法，其中利用包括所述相关像素的预定窗口中的像素的平均亮度来计算第一和第二加强系数。
24.一种计算机可读记录介质，其上编入了计算机可读数据以执行一种改善文件图像的质量的方法，所述文件图像通过扫描一包括背景、文本和图像的组合的原本而获得，并包含有具有预定分辨率的像素，所述图像质量改善方法包括利用一相关像素的前一历史信息更新关于色彩数据和所述相关像素的像素类型的历史信息；利用所述相关像素的像素类型以及更新的历史信息来确定所述相关像素的块特征类型；根据所述相关像素的左方向上的第一相邻像素所属的第二区域的第二类型、所述相关像素上面一行的第二相邻像素所属的第三区域的第三类型、所述相关像素的像素类型以及所确定的块特征类型来确定所述相关像素所属区域的类型；以及根据所述确定的区域类型执行不同的所述相关像素的图像质量提高处理。
25.一种用来改善文件图像的质量的数字图像质量改善装置，所述文件图像是通过扫描一包括背景、文本和图像的组合的原本而获得的，并包含有具有预定分辨率的像素，所述装置包括一历史信息更新单元，其根据相关像素的像素类型，利用该相关像素的前一历史信息来更新历史信息；一块特征类型检测单元，其利用所述相关像素的像素类型和更新的历史信息确定所述相关像素的块特征类型；一区域类型确定单元，其根据在所述相关像素左方向上的相邻像素所属的区域的类型、所述相关像素的像素类型、在相关像素的上面一行中的相邻像素所属的区域类型、和由所述块特征类型检测单元提供的所述相关像素的块特征类型来确定所述相关像素所属区域的类型；以及一图像质量提高单元，其根据由区域类型确定单元确定的区域类型，将所述相关像素的图像质量提高至不同程度。
26.如权利要求25所述的数字图像质量提高装置，进一步包括一存储单元，该存储单元包括一具有一位宽度的线存储器，并且当所述块特征类型检测单元从所述相关像素检测到图像块特征时，将在所述相关像素左方向上并紧邻最后从其中检测到背景块特征的位置的下一位置设置为1，并且在所述线存储器中存储值1，其中所述区域类型确定单元利用所述线存储器的值作为确定区域类型的信息。
27.如权利要求25所述的数字图像质量提高装置，其中所述块特征类型检测单元包括一背景块特征检测单元，当在所述相关像素的左和上方向中的第一大小的块包含背景像素时，根据所述历史信息将所述相关像素分类为一个具有背景块特征的像素；一图像块特征检测单元，当在所述相关像素的左和上方向中的第二大小的块包括图像像素时，根据所述历史信息把所述相关像素分类为一个具有图像块特征的像素；一个半色调块特征检测单元，利用所述相关像素的像素类型、所述相关像素的左方向上的像素的像素类型、以及在所述相关像素上方的相邻像素所属区域的类型将所述相关像素分类为一个具有半色调块特征的像素。
28.一种提高包含有具有预定分辨率的像素的文件图像的数字图像质量的方法，该方法包括转换一相关像素的色彩数据；根据所述相关像素的像素类型更新历史信息；确定所述相关像素的块特征类型；确定所述相关像素所属区域的类型；以及提高每一个确定了类型的区域的图像质量。
29.如权利要求28所述的方法，其中通过利用所述相关像素的前一历史信息，根据所述像素类型来执行历史信息的更新。
30.如权利要求28所述的方法，其中利用相关像素的类型和更新的历史信息来执行块特征类型的确定。
31.如权利要求28所述的方法，其中根据在所述相关像素左方向上的相邻像素所属区域的类型、在所述相关像素的上面一行中的相邻像素所属区域的类型、所述相关像素的像素类型、以及确定的块特征类型来执行相关像素所属区域的类型的确定。
32.如权利要求29所述的方法，其中所述历史信息的更新包括根据所述相关像素的双峰的值低通滤波(预处理)所述相关像素。
33.一种用来改善文件图像的质量的数字图像质量改善装置，所述文件图像是通过扫描一包括背景、文本和图像的组合的原本而获得的并包含有具有预定分辨率的像素，所述装置包括一历史信息更新单元，其根据一相关像素的像素类型更新历史信息；一块特征类型检测单元，其确定所述相关像素的块特征类型；一区域类型确定单元，其确定所述相关像素所属区域的类型；以及一图像质量提高单元，其根据由所述区域类型确定单元确定的区域类型，将所述相关像素的图像质量提高至不同程度。
34.如权利要求33所述的装置，其中所述历史信息更新单元利用所述相关像素的前一历史信息更新关于所述相关像素的色彩数据和像素类型的历史信息。
35.如权利要求33所述的装置，其中所述块特征类型检测单元利用所述相关像素的像素类型和更新的历史信息确定所述相关像素的块特征类型。
36.如权利要求33所述的装置，其中所述区域类型确定单元根据所述相关像素左方向上的相邻像素所属区域的类型、所述相关像素的像素类型、在所述相关像素的上面一行中的相邻像素所属区域的类型、以及由所述块特征类型检测单元提供的所述相关像素的块特征类型来确定所述相关像素所属区域的类型。
37.如权利要求33所述的装置，其中所述图像质量提高单元根据由所述区域类型确定单元确定的区域类型将所述相关像素的图像质量提高至不同程度。
38.如权利要求33所述的数字图像质量提高装置，进一步包括一存储单元，该存储单元包括一具有一位宽度的线存储器，并且当所述块特征类型检测单元从所述相关像素检测到图像块特征时，将在所述相关像素左方向上并紧邻最后从其中检测到背景块特征的位置的下一位置设置为1，并且在所述线存储器中存储值1，其中所述区域类型确定单元利用所述线存储器的值作为确定区域类型的信息。
39.如权利要求33所述的数字图像质量提高装置，其中所述块特征类型检测单元包括一背景块特征检测单元，当在所述相关像素的左和上方向中的第一大小的块包括背景像素时，根据所述历史信息将所述相关像素分类为一个具有背景块特征的像素；一图像块特征检测单元，当在所述相关像素的左和上方向中的第二大小的块包括图像像素时，根据所述历史信息把所述相关像素分类为一个具有图像块特征的像素；一个半色调块特征检测单元，利用所述相关像素的像素类型、所述相关像素的左方向上的像素的像素类型、以及所述相关像素上方的相邻像素所属区域的类型把所述相关像素分类为一个具有半色调块特征的像素。
40.一种记录介质，其上编入了计算机可读数据以执行一种改善文件图像的质量的方法，所述文件图像通过扫描一包括背景、文本和图像的组合的原本而获得，并包含有具有预定分辨率的像素，所述图像质量改善方法包括转换一相关像素的色彩数据；根据所述相关像素的像素类型更新历史信息；确定所述相关像素的块特征类型；确定所述相关像素所属区域的类型；和提高每一个确定了类型的区域的图像质量。
41.一个数字图像质量改善装置，包括一确定单元，其逐个像素地重新分类一图像的相关像素的像素类型、块特征类型和区域类型；以及一图像质量提高单元，根据所述像素类型、块特征类型和区域类型执行不同处理中的一个。
42.如权利要求41所述的装置，其中所述确定单元根据所述相关像素的第一相邻像素、所述相关像素的第二相邻像素以及所述相关像素的块特征类型确定所述相关像素的区域类型。
43.如权利要求41所述的装置，其中所述第一相邻像素放置在所述相关像素的一个方向上。
44.如权利要求41所述的装置，其中所述第二相邻像素放置在所述相关像素的上方。
45.如权利要求41所述的装置，其中所述相关像素的块特征类型包括背景块特征类型、图像块特征类型和半色调块特征其中之一。
46.如权利要求41所述的装置，其中所述数字图像被逐个像素地重新分类和提高。
47.一种数字图像质量改善装置，包括一确定单元，其重新分类一图像的相关像素的像素类型、块特征类型和区域类型；一图像质量提高单元，根据所述像素类型、块特征类型和区域类型执行不同处理中的一个；以及一增量单元，连续的将所述相关像素增量到图像的下一个像素，从而对图像的每个像素都进行重新分类和提高。
全文摘要
一种数字图像质量提高方法，其提高包含有具有预定分辨率的像素的文件图像的质量，该文件图像是通过扫描包括背景、文本和图像的组合的原本(script)而获得的。该方法包括按照相关像素的像素类型，利用相关像素的前一历史信息来更新历史信息；利用相关像素的像素类型和更新的历史信息确定相关像素的块特征类型；根据相关像素左侧第一相邻像素所属第二区域的第二类型、相关像素的上面一行中的第二相邻像素所属第三区域的第三类型、相关像素的像素类型和确定的块特征类型，确定相关像素所属区域的类型；并且根据确定的区域类型执行不同的图像质量提高处理。
文档编号H04N1/40GK1496099SQ0312554
公开日2004年5月12日 申请日期2003年8月22日 优先权日2002年8月22日
发明者李钟贤 申请人:三星电子株式会社