专利名称：多分辨率分割和填充的制作方法
技术领域：
本发明涉及图像处理领域，更具体地，本发明涉及图像的分割(segmentation)和数据填充(filling)。
背景技术：
JPM、JPEG 2000部分6是一种混合光栅内容(MRC)文件格式。MRC是一种用于压缩包含二进制文本和连续色调图像的复合图像的方法。MRC使用多层成像模式来表示多压缩算法的结果，所述多压缩算法包括具体对于文本和图像开发的算法。在JPM中，通过将图像分解为层来压缩图像，所述层与掩蔽复合。利用例如JPEG、JPEG 2000、JBIG、MMR的适当标准化的图像压缩器来压缩分解后的图像和掩蔽。关于JPM和MRC文件格式的更多信息，请参考“Information Technology-JPEG 2000 Image Coding Standard-Part 6Compound Image File Format，”ISO/IEC FDIS 15444-6；Boliek & Wu，“JPEG2000-like Access Using the JPM Compound Document File Format，”ICME 2003Proceedings，2003 Intemational Conference on Multimedia and Expo，Vol.1，6-9July 2003；de Queiroz，Buckley & Xu，“Mixed Raster Content(MRC)Model forCompound Image Compression，”Proc.IS&T/SPIE Symp.On Electronic Imaging.Visual Communications and Image Processing，San Jose，CA，SPIE Vol.3653，pp.1106-1117，Feb.1999。
JPM文件可以具有任意数量的复合层。JPM编码器生成根据JPM文件格式存储的数据。这种编码器通常包括用于压缩对应于背景(background)和前景(foreground)图像的连续色调图像的连续色调压缩器以及用于压缩掩蔽(mask)的二进制图像压缩器。
在现有技术中，图像的二进制化被执行为用于光字符识别(OCR)的预处理操作。例如，请参考“Comparison of Some Thresholding Algorithms forText/Background Segmentation in Difficult Document Images，ICDAR 2003Proceedings of International Conference on Document Analysis and Recognition，Vol.2，pp.859-863，2003，Leedham等人”。
JPM编码器的两个重要功能未被标准化。这包括分割和数据填充。分割是指如何将图像分解为前景和背景层并且生成掩蔽，而数据填充是指如何将值分配给前景和背景图像中的“不关心(don’t care)”像素(当使用掩蔽复合最后图像时未使用层的像素)，从而前景和背景图像压缩良好。
现有技术中存在大量分割和数据填充技术。例如，现有的许多分割方法使用在空间域中的K-方式分簇(K-means clustering)用以图像处理，现有的许多方法也基于块。K-方式分簇使用每种颜色出现的次数，而不是颜色的空间关系。页面(page)分割是基于形态变换在比例(scale)空间中进行的。例如，请参考D.P.Mukherjee and S.T.Acton，“Document page segmentation usingmultiscale clustering，”Proc.IEEE Int.Conf.On Image Processing，Kobe，Japan，Oct.25-29，1999。
美国专利No.6633670公开了对两个不同尺寸的块进行前景/背景分割，并且使用根据分簇、而不是迭代k-方式的最大梯度的值。
现有技术包括对于分割的多级方法，其不涉及多分辨率变换，例如对于分组像素使用不同块大小和使用跨级的马尔可夫链(Markov chain)计算概率。例如，在“A New Wavelet-Based Document Image Segmentation Scheme”(ZhaoJian等人，Journal of Systems Engineering and Electronics，vol.13，no.3，2002，pp.86-90)中，使用了多块尺寸，并且使用了临界取样(非冗余)Haar变换的单个变换级。
基于边缘(edge)和灰度形态(grayscale morphology)的自适应过滤(filtering)、扩散(diffusion)是公知的。存在用于混合文档的非-MRC压缩方法。例如，“Compound Image Compression Using Adaptive Wavelet Transform”(Guo等人，Journal of the Institute of Image Electronics Engineers of Japan，vol.30，no.2，pp.138-50)公开了使用基于分割的自适应小波变换(adaptive wavelettransform)(基于二进制数据的变换的5，3小波和提升)。
DjVu是指一种AT&T和Lizard Tech.联合研发的产品。在DjVu中，对变化尺寸的块使用K方式分簇的加权平均值执行前景/背景分割。使用压缩(临界取样(critically sampled)，比Haar更长的过滤器)小波系统通过迭代来执行填充。更多信息请参考“High Quality Document Image Compression with DjVu”(Bottou等人，Journal of Electronic Imaging，vol.7，no.3，pp.410-425，SPIE，1998)。
这些范围内的一些现有技术方法被设计来捕获诸如半色调(halftone)噪声的精密标度细节。Xerox已经使用了MRC。例如，对于彩色版画的图像，K方式分割与自适应基于区域的限制(thresholding)的组合之后是假象物清除(artifact cleaning)。更多信息请参考“Encoding and Processing of ColorEngravings(Using MRC)”(Misic，Buckley & Parker，2002 IEEE InternationalConference on Image Processing，Rochester，New York，Sept.22-25，2002)。一种公开的方法是使用初始掩蔽和最后掩蔽的多步骤方法，其目标是保持掩蔽中打印处理(例如半色调噪声)的结构，并且不抑制它。
在一个现有技术参考中，公开了一种基于块的分割方法，其中对于每一块选择阈值，以便分离背景和前景。更多信息请参考“Optimizing block-thresholding segmentation for MRC compression”(de Queiroz，Fan&Tran，Proc.IEEE Intl.Conf.on Image Processing，ICIP，Vancouver，Canada，Vol.II，pp.597-600，Sept.2000)。对于灰度和N×N块，存在至多N2个可能的阈值。对于8×8块，诸如由JPEG使用的那些，可以搜索至多64个阈值来发现最佳阈值。例如，请参考美国专利No.6373981。而且，美国专利No.6400844公开了对于前景/背景分割使用关于块的简单阈值，并且具有其他分类方法来决定是否对块进行前景/背景分割。
存在一些已在现有技术中利用的填充方法。例如，一种这样的填充技术包括通过平均形成多通(multiple pass)中四个邻近区域的非不关心像素来执行填充，直到所有不关心像素被填充。请参考“On data-filling algorithms forMRC layers”(de Queiroz，Proc.IEEE Intl.Conf.on Image Processing，ICIP，Vancouver，Canada，Vol.II，pp.586-589，Sept.2000)。另一现有技术的填充方法包括使用低通过滤器(filter)和放大不是“不关心”的位置的系数来进行填充。又一种现有技术填充的方法包括使用DCT通过迭代来填充。存在几个相关美国专利。例如，请参考美国专利Nos.6334001、6272255和6275620。
在“JPEG2000-Matched MRC Compression of Compound Documents”(Mukherjee等人，2002 IEEE International Conference on Image Processing，Rochester，New York，Sept.22-25，2002)中，公开了一种分割和填充方法。在所公开的方法中，以条形(stripe)执行处理，并且对块进行分割并且在一次通过(one pass)时发生。高对比度的块用K-方式、按亮度分割为背景(较亮)和(较暗)前景。根据相邻块来分配低对比度的块。
LuraDocument是一种根据LuraTech(http//www.luratech.com/，Algo VisionLuraTech GmbH)的、执行前景/背景分割和填充的JPM相关产品，其类似于JPM但未被标准化，这在EPO专利第EP 1104916A1号(德国)中被描述了；Thierschmann等人，“A Scalable DSP Architecture For High-Speed ColorDocument Compression，”Document Recognition and Retrieval VIII；和Kantor等人，编辑，Proceeding of SPIE Vol.4307(2001)，San Jose，CA，2001年1月。LuraDocument生成二进制化的自适应阈值。对于75dpi的减少的分辨率，应用3×3最小和3×3最大过滤器，并且计算它们的差。如果所述差小于固定参数，则所述阈值初始为“不关心”；否则，所述阈值初始为最小值和最大值的平均值。不是“不关心”的初始阈值被3×3平均过滤器过滤，并且随后被5×5平均过滤器传播。使用平均不是“不关心”的所有值的7×7过滤器来分配“不关心”阈值。利用双线性内插将阈值插入满图像分辨率(full image resolution)。随后将所述阈值与初始图像进行比较以便生成二进制图像。
LuraDocument根据文档分辨率通过在限制内的二进制图像的大小中发现连接的成分进行文本检测。对于每个连接的成分，如果它的内方差在阈值以下并且具有坚固的边缘，则根据Soble和Laplace过滤器将其分类为文本。文本连接的成分被设定为掩蔽中的前景，并且其他位置被设定为背景。
LuraDocument生成在每一维度中其分辨率减少了系数3的前景图像。按一个像素使掩蔽变细，以便选择非边界前景像素相对“不关心”像素。对于每一3×3块，平均不是“不关心”的像素，并且将具有9个“不关心”像素的3×3块标记为“不关心”。使用5×5平均过滤器来传播不关心值的平均值。使用另一5×5平均过滤器来抑制非文本区域中的前景颜色变成灰色。以类似的方式计算背景。
在检查图像压缩中已经使用了填充和分割操作。例如，在“Check imagecompression using a layered coding method”中(Huang等人，Journal of ElectronicImaging，7(3)，pp.426-442，1998年7月)中描述了一种用于检查的完整系统(在银行业中使用)，其中所述系统使用灰度形态结束作为分割的关键操作。所述系统确定独立于小块的构造元素的大小(比例/分辨率)，执行独立像素的移动，并且使用平均值来执行填充。
发明内容
公开了一种多分辨率分割和填充的方法和装置。在一个实施例中，所述方法包括使用多分辨率的图像数据生成多个层；生成描述多个层组成的掩蔽，以便获得图像；和在多个层中的每一层中填充像素，在所述层中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
从下列给出的详细描述和本发明的各个实施例的附图中，将会更全面理解本发明，然而，不应当将本发明限制为具体实施例，而只是用于解释和理解。
图1是编码器的方框图；图2是可被用来执行多分辨率分割和填充技术的分割器和填充器的一个实施例的方框图；图3是用于执行多分辨率分割和填充的处理的流程图；图4是用于执行多分辨率前景/背景分析的处理的一个实施例的流程图；图5是用于将低通系数分配给前景、背景或未确定(undecided)值的处理的一个实施例的流程图；图6是用于根据原始图像以及初步背景和前景图像、通过分类初步掩蔽中的每个像素位置而生成空间初步掩蔽的处理的一个实施例的流程图；图7是用于执行多分辨率前景和背景生成的处理的一个实施例的流程图；图8是用于计算相应于前景的低通系数的相反值的处理的一个实施例的流程图；图9是用于计算相应于背景的低通系数的相反值的处理的一个实施例的流程图；图10是用于传播前景分类值的处理的一个实施例的流程图；图11是用于传播背景分类值的处理的一个实施例的流程图；图12是在最后掩蔽生成操作中使用的12像素相邻范围；图13是用于生成最后掩蔽的处理的一个实施例的流程图；图14示出了3变换级的输入和低通系数；图15图解说明了示例性的12像素的相邻范围(neighborhood)；
图16示出了1-维信号的数值示例；图17示出了继续重复选择的操作的示例；图18图解说明了前景的一个操作；图19图解说明了背景的一个操作；图20图解说明了2D有损(lossy)的边缘；图21图解说明了1D有损的边缘；图22是可以执行此处所描述的一个或多个操作的示例性计算机系统的方框图；和图23图解说明了具有在有损的边缘填充中使用的中间值的示例性加权。
具体实施例方式
公开了一种多分辨率前景和背景分割和填充技术。在一个实施例中，这些技术被组合在一起作为图像处理过程的部分(例如，生成JPM文件)。在一个实施例中，前景和背景分割和填充技术使用一个输入图像，并且生成前景图像、背景图像和二进制掩蔽图像。分割技术确定二进制掩蔽图像的值，而填充算法确定两个图像层中的每一图像层中的被填充(“不关心”)像素的值。在一个实施例中，在二进制掩蔽是1的像素位置处，前景图像具有与原始图像相同的值，并且背景是必须被填充的“不关心”值，并且在二进制掩蔽是0的像素位置处，背景图像具有与原始图像相同的值，并且前景是必须被填充的“不关心”值。如果前景、背景和掩蔽图像未被量化，则能通过使用掩蔽组合前景和背景图像来无损地恢复初始图像。
此处所描述的分割是以多分辨率方式执行的。在一个实施例中，通过对图像数据和系数应用小波变换(例如冗余Haar小波变换)来实现多分辨率分割。
此处所描述的分割和填充技术与现有技术的分割和填充技术存在许多不同之处。例如，在现有技术中没有发现利用基于线性过滤/冗余小波变换的方法的分类(掩蔽的生成)以及冗余小波数据流和用于组合不同相位的平均方法的使用。而且，执行扫描的半调色忽略半调色噪声(scanned halftoned ignoringhalftone noise)的前景和背景分割的能力是对于现有技术方法的贡献。
在下面的说明中，阐述了许多细节。然而，对于本领域的普通技术人员明显的是，本发明可以在没有这些具体细节的情况下实现。例如，为了避免使本发明不清楚，以方框的形式、而不是详细地示出了公知结构和设备。
以下的一部分详细描述是对于在计算机存储器内的数据位操作的算法和符号表示。这些算法描述和表示是数据处理领域的技术人员使用来向本领域的其他技术人员最有效地传递它们的工作的实质方式。此处，算法通常被认为是产生期望结果的首尾一致顺序的步骤。所述步骤需要物理数量的物理操纵。通常，尽管不是必需的，但是这些数量采取电或磁数据的形式，能够被存储、传送、合并、比较或者其他方式被操纵。参考诸如位、值、元素、符号、字符、术语、数字等，主要由于共同使用而证明是方便的。
然而，应当记住，所有这些和类似条件与适当的物理数量相关联并且仅仅是适用于这些数量的方便的标签。除非从下列讨论中明显的特别陈述的其他方面，应当理解，整个描述中，利用诸如“处理”或者“计算”或“计算”或“确定”或“显示”等术语的讨论是指计算机系统或者类似电子计算设备的动作和处理，它们操纵和变换计算机系统的寄存器和存储器内表示为物理(电子)数量的数据为类似表示为计算机系统存储器或寄存器或者其他这种信息存储器、传输或显示设备内的物理数量的其他数据。
本发明也涉及用于执行此处的操作的装置。该装置可被特别构造用于所需目的，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可被存储在计算机可读存储介质中，例如但不限于任何类型的盘，包括软盘、光盘、CD-ROM和磁光盘、只读存储器(ROM)、随机存储存储器(RAM)、EPROM、EEPROM、磁或光学卡、或者适合存储电子指令的任意类型媒体，并且它们都耦合到计算机系统总线。
此处阐述的算法和显示器并不特别涉及任意特定计算机或其他装置。根据此处的示教，可以使用具有程序的各种通用系统，或者可以证明便于构造更专业的装置来执行所需的方法步骤。从下面的描述中各种这些系统的所需结构将是明显的。另外，并未参考任意特定编程语言来描述本发明。应当理解，可以使用各种编程语言来实现此处所描述的本发明的示教。
机器可读介质包括用于存储或传送机器(例如计算机)可读形式的信息任意机构。例如，机器可读介质包括只读存储器(“ROM”)；随机存取存储器(“RAM”)；磁盘存储媒体；光存储媒体；闪存设备；电、光、声或其他形式的传播信号(例如载波、红外信号、数字信号等)等等。
图1是编码器的方框图。参考图1，具有分割器和填充器的、基于JPM的系统的示例将原始图像分解为一个背景图像、一个前景图像和一个掩蔽。然后可以压缩它们中的每一个。使用连续色调压缩器(例如，JPEG 2000压缩器)来压缩背景和前景图像，而使用二进制图像压缩器(例如，JBIG或JBIG2压缩器)来压缩掩蔽。通过组合技术(art)的连续色调和二进制图像压缩器，JPM能够对复合文档图像提供比只有的当前连续色调或二进制图像压缩方法更好的压缩性能。
图2是可被用来执行此处多分辨率分割和填充技术的分割器和填充器的一个实施例的方框图。在一个实施例中，可以使用冗余Haar小波变换来执行分割和填充。在一个实施例中，所述方法使用具有多分辨率变换的三个操作，所述多分辨率变换具有与冗余Haar小波变换相同的存储器存取模式。
参考图2，多分辨率前景/背景分析处理单元201对输入图像210执行与多分辨率前景/背景分析相关联的操作(这里称作步骤I)，空间初步掩蔽处理单元202执行与空间初步掩蔽的生成相关联的操作(这里称作步骤II)，多分辨率前景和背景处理单元203执行与多分辨率前景/背景生成相关联的操作(这里称作步骤III)，空间最后掩蔽处理单元204执行与空间最后掩蔽的生成相关联的操作(这里称作步骤IV)，并且多分辨率填充处理单元205执行与执行多分辨率填充操作相关的操作(这里称作步骤V)。多分辨率填充单元的输入是掩蔽以及前景和背景图像。
一些多分辨率操作(步骤I、III和V)具有“正向”部分(子步骤Ia、IIIa、Va)和“反向”部分(子步骤Ib、IIIb和Vb)。步骤IV也具有几个子操作。这些操作的描述如下。
图3是用于执行多分辨率分割和填充的处理的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图3，处理逻辑首先执行多分辨率前景/背景分析(处理块301)。多分辨率前景/背景分析根据低分辨率图像数据生成初步前景和背景图像。在一个实施例中，低分辨率数据来自多于一个原始图像的更低的分辨率版本。
接着，处理逻辑生成空间初步掩蔽(处理块302)。在一个实施例中，通过将掩蔽中像素位置划分为前景、背景或此处称作未确定的其它类别来执行生成空间初步掩蔽。
在生成空间初步掩蔽之后，处理逻辑执行多分辨率前景和背景生成(处理块303)。在一个实施例中，处理逻辑将前景像素传播到相邻区域(neighbor)，并且使用远离任意前景像素的位置的原始图像的黑、白或平滑版本(version)。通过将背景像素传播到相邻区域并使用远离任意背景像素位置的原始图像的黑、白或平滑版本，可以将用于前景生成的处理用于背景生成。这一操作的结果是初步背景和前景图像的生成。
在多分辨率前景和背景图像生成之后，处理逻辑生成空间最后掩蔽(处理块304)。在一个实施例中，处理逻辑通过基于原始图像与在处理块303(步骤III)中生成的背景和前景图像的比较而生成最后掩蔽并且使用减少掩蔽中的噪声的处理来产生空间最后掩蔽。在一个实施例中，处理逻辑也确保了前景和背景使用掩蔽精确复合成原始图像。
在生成最后空间掩蔽之后，处理逻辑执行多分辨率填充操作(处理块305)。在一个实施例中，处理逻辑通过分别传播前景和背景值、通过在最后前景和背景图像中的“不关心”位置(复合中未使用的像素)的前景和背景图像中填充像素来执行多分辨率填充操作。
多分辨率前景/背景分析(步骤I)在一个实施例中，多分辨率前景/背景分析包括多个操作。多分辨率前景/背景分析的第一部分——此处称作子步骤Ia——计算正向变换。在一个实施例中，所述变换包括冗余Haar正向小波变换。然而。也可以使用其他变换，例如，可以使用冗余或临界取样小波变换。除了Haar以外，可以使用更长的小波过滤器(filter)，例如在JPEG 2000中使用的5、3或者9、7过滤器、或者Daubechies或者样条(spline)小波。可以使用利用Gausian的Laplacian锥形变换或其他低通过滤器。
在一个实施例中，使用正向小波变换来获得三个分解级别。在这种情况下，计算3个变换级的低通系数。在一个实施例中，存储了所有级别的低通系数，并且在多分辨率前景/背景分析的第二(反向)部分期间必要时计算高通系数(或者关于它们的信息)。
多分辨率前景/背景分析的第二操作(此处称作子步骤Ib)检查低通系数，并且从较低分辨率开始将低通系数分配给前景和背景，并且处理较高分辨率。也就是，使用较低分辨率低通系数(例如来自第三级小波变换的低通系数)，尝试将它们分配给部分背景或前景。
当以较低分辨率级进行分配时，通过其他较高分辨率级进行传播。在一个实施例中，对于较高分辨率通过将高通系数设定为零(到四个子系数)而将分配传播到其他较高分辨率级，并且使用冗余Haar反向变换来获得平滑的结果。父系数是在一个分辨率级m处的系数。该系数包括来自原始图像中的特定局部区域的信息。(父的子系数是在下一较高分辨率级m-1处的系数，它们一起覆盖了与在级别m处的父系数相同的空间区域)。冗余Haar反向变换通过平均四个相位的结果来获得平滑的结果。在另一实施例中，如果使用了临界取样变换，则仅存在一个相位，并且不执行平均。
在最低分析分辨率处并且对于未通过传播设定的较高分辨率，得到在2×2区域中最亮和最暗的低通系数。如果它们的差在阈值之上，则将最亮低通系数作为背景值分配给初步背景图像，并且将最暗系数作为前景值分配给初步前景图像。如果它们的差在阈值以下，则对于初步前景和背景图像使用来自下一较高分辨率的低通系数。
在一个实施例中，对于0...255数据，级2与较高级低通系数之间的差的阈值是32N，并且对于级1系数之间的差的阈值是80N，其中N是组分(component)的数量(例如，对于RGB数据，为3)。在一个实施例中，不考虑原始像素值(级0)之间的差。在一个实施例中，使用L1范数来计算所述差。
多分辨率前景/背景分析的输出是初步前景图像和初步背景图像。
图4是用于执行多分辨率前景/背景分析的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图4，处理逻辑使用正向变换来生成多变换级的系数(处理块401)。在一个实施例中，仅使用低通系数；因此，仅存储低通系数。在一个实施例中，所述变换是冗余Haar变换。
可以执行任意数量的变换级。在一个实施例中，处理逻辑生成三个变换级的系数。变换级的数量可被选择为足以消除下面生成的初步掩蔽中的半色调噪声的数量。所述变换级消除了初步前景和背景中的噪声，从而噪声在下一步骤中不再进入初步掩蔽。
在使用正向变换生成多变换级的系数之后，处理逻辑将低通系数分配给前景、背景、或表示一种状态的值，在该状态中在前景或背景之间在它的分配时处理逻辑是未确定的(处理块402)。
图5是用于将低通系数分配给前景、背景或未确定值的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。参考图5，所述处理以处理逻辑将当前分辨率设定为最低分辨率并且对于每个区域将标志设定为“未在较低分辨率处分配”来开始(处理块511)。
处理逻辑比较当前分辨率中每个区域中的最亮低通系数和最暗低通系数，其中当且仅当这些系数相差大于阈值时，所述比较为真(处理块512)。在一个实施例中，根据亮度或色差度量，最亮系数是最接近白色的系数。类似地，最暗系数最接近黑色。在可替换的实施例中，处理逻辑比较第一较低分辨率版本中、每个区域中的两个具有最大色差的低通系数。所述色差可以以ΔE单位来度量。在一个实施例中，处理逻辑使用长度度量(例如L1、L2、L∞范数)来比较最亮和最暗低通系数。
在比较之后，对于每个区域，如果比较为真并且这一区域的标记为“未在较低分辨率处分配”，则处理逻辑将最亮低通系数作为背景值分配(处理块513)，并且对于每个区域，如果比较为真并且这一区域的标记为“未在较低分辨率处分配”，则处理逻辑将最暗低通系数作为前景值分配(处理块514)。
对于每个区域，如果比较为假并且这一区域的标记为“未在较低分辨率处分配”，则处理逻辑将来自第二较低分辨率版本(为对于当前较低分辨率版本的下一较高分辨率版本)的低通系数作为前景值和背景值分配(处理块515)。或者，所述分配可以以类似于结合此处所描述的多分辨率前景和背景生成描述的前景/背景生成的方式为不关心值。
接着，对于每个区域，如果这一区域的标记为“在较低分辨率处分配”，则处理逻辑用设定为零的高通系数计算反向小波变换(处理块516)。
接着，对于每个区域，如果比较为真并且这一区域的标记为“未在较低分辨率处分配”，则处理逻辑设定这一区域的标记为“在较低分辨率处分配”(处理块517)。
最后，如果当前分辨率不是第二最高分辨率，则处理逻辑将当前分辨率设定为比当前分辨率高的一个分辨率(处理块518)，并且重复处理块512-518。
因此，分配低通系数通过检查图像的多个较低分辨率版本中的第一个中的低通系数而开始，并且随后继续到至少具有比第一较低分辨率版本高分辨率的第二较低分辨率版本。
因此，根据与原始图像的多个较低分辨率版本有关的低分辨率图像数据来生成初步前景和背景图像。
在另一替换实施例中，代替发现最亮和最暗低通系数，可以使用具有最大L1色差或者其他色差对(pair)，或者最大Haar小波系数可以与阈值进行比较。
重复来说，可以使用Haar以外的其他小波变换。
空间初步掩蔽生成(步骤II)在步骤II，根据原始图像以及在多分辨率前景/背景分析期间生成的初步前景和背景图像来生成初步掩蔽(步骤I)。在一个实施例中，初步掩蔽中的每个像素位置具有称作前景、背景和未确定值的三个值之一。如果在特定像素位置处的初步前景和背景图像不相差一个阈值(例如，64N)，则在掩蔽的相应像素位置处的掩蔽值为未确定。否则，将该像素的原始图像值与在前景图像、背景图像中对应位置处的值以及在前景和背景图像中对应位置处的值之间的预定值比较。在一个实施例中，预定值是前景和背景图像中相应位置处的值之间的中间值(即，前景和背景值的平均值)。在另一实施例中，该预定值可以充分接近于该中间值(halfway)。所述值可以取决于分割数据(例如，半色调的文本、特定灰度值的半色调特性)。其他选择包括诸如在自适应阈值技术中使用的局部平均的统计度量。
如果所述值更接近于前景或背景值，则将其分类为前景或背景。如果它更接近于预定值(例如，平均值)，则掩蔽值被分类为未确定。与“中间(halfway)”值的比较的使用生成了前景和背景确定区域之间的“死区(dead zone)”。
图6是用于根据原始图像以及初步背景和前景图像、通过分类初步掩蔽中的每个像素位置而生成空间初步掩蔽的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图6，处理逻辑将图像中的每个像素位置的值与前景和背景图像中的相应像素位置的值以及在前景和背景图像中相应像素位置处的值之间的预定值(例如中间值)进行比较(处理块601)。如果前景和背景之间的差小于阈值，则像素被分类为未确定(处理块602)。如果它的值更接近于在前景图像中的对应像素位置处的像素值，则处理逻辑将像素位置分类为前景(处理块603)。如果它的值更接近于在背景图像中的对应像素位置处的像素值，则处理逻辑将像素位置分类为背景(处理块604)。如果它的值更接近于预定值(例如，中间值)，则处理逻辑将像素位置分类为未确定(处理块605)。
多分辨率前景/背景生成(步骤III)在步骤III，分别以非前景和非背景值为代价，基于掩蔽(和掩蔽传播到低分辨率)，在各个前景和背景图像中扩展前景和背景分类值的空间范围。扩展空间范围以对前景分类值和背景分类值应用正向变换来开始。在一个实施例中，使用三个变换级。注意，多分辨率前景/背景生成操作的第一部分，子步骤IIIa，类似于下述的冗余Haar正向变换的应用，除了过滤器系数取决于初步掩蔽。在一个实施例中，仅计算和存储低通系数。
更具体地，考虑对前景执行变换。如果所有四个输入值在被先分类为空间初步掩蔽中的前景，则正常计算低通系数并且将其分类为前景。如果四个输入值中没有一个被分类为前景(即，它们是背景或未确定)，则正常计算低通系数并将其分类为“不关心”。(“不关心”系数是在反向变换中没有贡献的系数。如下所讨论的，这些是被加权值0相乘的系数。在某些情况下，这些“不关心”系数可用于边界处理而不是镜像。通常，“不关心”系数具有对应于“不关心”像素的支持——它们都处于“不关心”位置。)如果不是所有的四个输入值被在先分类为前景并且至少一个输入值被分类为前景，则平均被分类为前景的1到3个输入值，以便生成低通系数(这不是正常的Haar系数)，并且该系数被分类为前景。对于具有分类背景和“不关心”(其中现在在“不关心”中包含前景)的背景，可以使用相同的处理。
注意，在一些情况下，系数与先前计算的系数相同，并且如果系数可从存储器获得，则不必再次计算。
多分辨率前景/背景生成操作的第二部分，步骤IIIb，将前景和背景分类值传播到背景和前景图像的更低分辨率版本。在前景的情况下，例如，当所有四个输入值被分类为前景，则使用反向冗余Haar小波平滑重建，其中所有高通系数被设定为0。如果1到3个输入被分类为前景，则使用它们的平均值作为相反的变换值(而不是相反的正常Haar)。(如果使用了Haar以外的过滤器，则可以用过滤器的适当缩短和标准化版本来代替平均)。如果没有输入被分类为前景，则新值可被分类为黑、白或相应的正常Haar低通系数(或对于级0的初始取样)。对于被分类为背景的输入可应用相同的处理。当从Haar低通值到白色的距离(例如L1范数)小于信号的动态范围的3/8(例如，96N)，则对于前景选择黑色。类似地，当从Haar低通值到黑色的距离小于动态范围的3/8，则对于背景选择白色。注意，3/8阈值的使用使得前景和背景具有类似大约50％阈值的值，这将减少分割假象物的可见性。
图7示出了用于执行多分辨率前景和背景生成的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图7，处理逻辑最初计算多个变换级的前景分类值与背景分类值的低通系数(处理块701)。
在计算多个变换级的低通系数之后，处理逻辑基于先前被分类为前景、背景和未确定的初步掩蔽中像素组中像素的数量，计算对应于前景和背景的低通系数的相反值(处理块702)。
图8是用于计算对应于前景的低通系数的相反值的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图8，如果对应于每组中的低通系数的所有像素值被分类为初步掩蔽中的前景，则处理逻辑计算每组低通系数的相反值作为通常的小波变换值(处理块801)。如果对应于所述每组中的低通系数的像素没有被分类为在初步掩蔽中的前景，则处理逻辑指定每组低通系数的相反值为不关心值(处理块802)。如果少于对应于所述每组中的低通系数的所有像素值被分类为初始掩蔽中的前景，则处理逻辑计算每组低通系数的相反值作为低通系数的平均值，该低通系数对应于被分类为所述初步掩蔽中的前景的像素值(处理块803)。
图9是用于计算对应于背景的低通系数的相反值的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。参考图9，如果对应于每个组中的低通系数的所有像素值被分类为初步掩蔽中的背景，则处理逻辑将该组低通系数的相反值作为背景进行计算(处理块901)。如果在对应于那个组中的低通系数的像素值没有被分类为初步掩蔽中的背景，则处理逻辑指定该组低通系数的相反值为不关心值(处理块902)。如果小于对应于每组中的低通系数的所有像素值被分类为初始掩蔽中的背景，则处理逻辑计算该组低通系数的相反值作为对应于在该组中被分类为在初步掩蔽中的背景的像素值的低通系数的平均值(处理块903)。
返回参考图7，在分类之后，处理逻辑将前景和背景分类值传播到前景和背景图像的较低分辨率版本(处理块702)。图10是用于传播前景分类值的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。参考图10，当所有四个输入值被分类为前景时，处理逻辑使用执行反向冗余Haar小波平滑重建产生的值，其中所有高通系数被设定为0(处理块t001)，如果仅一个到三个输入值被分类为前景，则处理逻辑使用为被分类为前景的输入值的平均值的值作为反向变换值(处理块1002)，并且如果没有输入值被分类为前景，则处理逻辑使用一个新值(处理块1003)。在一个实施例中，从黑色、白色或对应正常Haar低通系数构成的组中选择新值。在一个实施例中，当表示从Haar低通值到白色的距离的距离度量小于从对应于黑色的值变化到对应于白色的值的信号的动态范围的3/8时，新值是前景的黑色。
图11是用于传播背景分类值的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。参考图11，当所有四个输入值被分类为背景时，处理逻辑使用执行反向冗余Haar小波平滑重建生成的值，其中所有高通系数被设定为0(处理块1101)，如果仅一个至三个输入值被分类为背景，则处理逻辑使用为被分类为背景的输入值的平均值的值作为反向变换值(处理块1102)，并且如果没有输入值被分类为背景，则处理逻辑使用新值(处理块1103)。该新值是从由黑色、白色或对应正常Haar低通系数构成的组中选择的一个。在一个实施例中，当表示从Haar低通值到黑色的距离的距离度量小于从对应于黑色的值变化到对应于白色的值的信号的动态范围的3/8时，该新值是背景的白色。
最后掩蔽生成(步骤IV)在一个实施例中，最后掩蔽生成操作具有三个部分。最后掩蔽生成操作的第一部分——此处称作子步骤IVa“生成”——生成具有前景、背景或未确定值的掩蔽。在一个实施例中，生成具有前景、背景或未确定值的掩蔽包括计算初始像素值与其相应背景和前景像素之间的距离以及这些背景与前景像素之间的距离。如果前景距离与背景距离之间的绝对差在阈值(例如，32N)之下，则所述值被分类为未确定；否则，根据所述两个距离中哪一个较小将所述值分类为前景或背景。
图12是在最后掩蔽生成使用的12像素相邻范围(步骤IVb)。在最后掩蔽生成操作的第二部分——此处称作子步骤IVb“相邻范围”中，掩蔽值的相邻范围被用来将值重新分配给前景或背景。在一个实施例中，使用了掩蔽值的12像素相邻范围，如图12所示。否则，如果至少6个相邻是前景和背景，则将未确定值重新分配给前景。将与相邻范围相关的一个像素改变为相邻范围多数(majority)值。对于多分辨率前景/背景分析操作中未分配前景和背景的位置，将不匹配至少相邻的阈值数(例如，5)的值改变为相邻范围多数值。
在最后掩蔽生成操作中的第二部分使用的操作涉及对于中间过滤的面积比算法和扩展，这在“Check image compression using a layered coding method”中(Huang，Y.Wang和E.Wong，Journal of Electronic Imaging，7(3)，pp.426-442，1998年7月)中讨论了。
12像素相邻范围的一个动机是保持非常小的字体的字母“i”上的点，所述字体使用与字母的其他部分相隔一个像素的单个像素点。
注意，窗口的形状可以取决于附加信息(例如，来自OCR的字符的边界(bounding)框)。
最后掩蔽生成操作的第三部分——此处称作子步骤IVc“更新”——更新来自先前操作的前景和背景图像，从而使用掩蔽的复合生成无损耗图像。在一个实施例中，这是通过将被分类为前景或背景的像素分别设定为前景和背景图像中的像素的初始图像值而实现的。
图13是用于生成最后掩蔽的处理的一个实施例的流程图。通过可以包括硬件(例如，电路、专用逻辑电路等)、软件(诸如在通用计算机系统或专用机器上运行的)、或者两者组合的处理逻辑来执行所述处理。
参考图13，处理逻辑通过计算图像中像素值与前景和背景图像中对应像素位置的值之间的距离(处理块1301A)、和如果前景和背景图像中的值之间的差在阈值之下则将中间掩蔽中的每个像素值分类为未确定(处理块1301B)来生成中间掩蔽(处理块1301)。
如果初始像素值与前景和背景图像的每一个中的值之间的差在阈值之上，则处理逻辑也将每个像素值分类为前景或背景(处理块1302)。在一个实施例中，如果图像与前景图像中的每个像素之间的距离小于图像与背景图像中的每个像素之间距离，则每个像素值被设定为前景；如果图像与背景图像中的每个像素之间的距离小于图像与前景图像中的每个像素之间的距离，则每个像素值被设定为背景。
处理逻辑根据作为输出的最后掩蔽中的大量相邻像素值的集分别是前景还是背景，将未确定值重新分配给中间掩蔽中的前景或背景(处理块1303)。这生成了最后掩蔽。
随后，如果在最后掩蔽中被分别分类为前景和背景，则处理逻辑设定前景和背景图像中的值为图像中的值(处理块1304)。
因此，处理逻辑将原始图像与使用第一图像的多分辨率图像数据生成的背景和前景图像进行比较，其中使用所述掩蔽从而前景和背景图像复合成第一图像。
多分辨率填充(步骤V)多分辨率填充操作类似于多分辨率前景/背景生成操作。所述两个操作之间的不同之处仅仅如下。这一操作使生成前景和背景图像最终化。在一个实施例中，使用五个变换级。使用最后掩蔽来代替初步掩蔽。在第二部分，子步骤Vb，如果没有被分类为前景的输入，则新的值是来自正常反向Haar变换的值。所述输出为最后前景和背景图像。
对于1-维信号的技术的数学描述下面以用于1-维信号和标量(灰度)输入的数学符号来解释上述技术。为了数学描述，假设输入为范围0...255中的整数。
子步骤Ia图14示出了3级(J＝3)的输入(x)和低通系数(c)，多分辨率前景/背景分析的正向部分(子步骤Ia)。
处于级j(j＝1，...，J)和位置i的低通Haar小波系数c是cij=cij-1+ci+2j-1j-12---(1)]]>其中，输入信号被用来代替级0的低通系数ci0=xi---(2)]]>并且其中被需要，可以使用在对于0≤i＜I定义信号的边界处的镜像(mirroring)c-1j=c0j]]>和cij=ci-1j---(3)]]>处于级j和位置i的高通Haar小波系数d为dij=cij-1-ci+2j-1j-1---(4)]]>(注意，计算了冗余或完全(over-complete)变换，因此对于所有级i＝1，2，3，...。等式(1)和(4)的变换也可以使用分母1、 或2来代替2和1进行计算。在一个实施例中，逆变换具有确保正向和反向一起具有增益1的分母。)子步骤Ib多分辨率前景/背景分析的反向部分，步骤Ib，在级j＝J，...，1上循环。
首先，考虑系数之间的差。使用级相关阈值εj(j是索引，不是指数)。εj的值的一个选择为对于j＝1是80，对于j＞1是32。如果|cij-ci+2jj|>ϵj---(5)]]>并且这对于前一级(＞j)的位置i或i-2j+1不为真，则cb,ij=max(cij,ci+2jj)]]>cf,ij=min(cij,ci+2jj)---(6)]]>db,ik=0]]>df,ik=0]]>其中k＝1，...，j。否则cb,ij=cij]]>cf,ij=cij]]>db,ik=dik]]>df,ik=dik]]>(7)
对于k＝1，...，j其次，应用反向Haar小波变换。下面给出前景的变换。以相同的方式计算背景的变换。该变换可被描述为cf,ij-1=cf,i-2j-1j-12df,i-2j-1j+cf,ij+12df,ij2---(8)]]>但是对于等式6的情况，它可被简化为cf,ij-1=cf,i-2j-1j+cf,ij2---(9)]]>并且对于等式7的条件，它可被简化为cf,ij-1=cij-1.---(10)]]>级j＝1的结果是初步前景图像xf和初步背景图像xb。因此，对于背景图像使用相同的变换计算。
步骤II在一个实施例中，步骤II使用三个距离Df＝|x-xf|Db＝|x-xb|(11)Dx=|x-(xf+xb2)|]]>生成初步掩蔽 其中m~i=1]]>是背景，m~i=-1]]>是前景，m~i=0]]>是未确定，并且例如，t＝64。
子步骤IIIa在一个实施例中，对于级j(j＝1，...，J)的前景和背景wf，ij和wb，ij的加权计算如下
(13)其中i′是范围0，...，2j-1-1中的任意值，并且，例如J＝3。
在一个实施例中，对于前景，假设sf,ij=wf,ij+wf,i+2j-1j.]]>如果sf,ij>0,]]>则cf,i′j=wf,ij·cf,i′j-1+wf,i+2j-1j·cf,i+2j-1′j-1sf,ij---(14)]]>其中cf,i′0=xf,i---(15)]]>否则，cf，i′j值是“不关心”(因为最终它将乘以加权0或者仅作为边界条件值使用)。如果期望某一值，则可以使用普通正向Haar变换，cf,i′j=cij.]]>以相同的方式计算背景。
子步骤IIIb在一个实施例中，对于前景，对于级j=J，...，1如下计算子步骤IIIb。设更新加权为 (16)其中 是范围0，...，2j-1中的任意值。
设s^f,ij=w^f,i-2j-1j+w^f,ij---(17)]]>条件1如果s^f,ij>0,]]>则
c^f,i′J-1=w^f,i-2J-1J·cf,i-2J-1′J+w^f,iJ·cf,i′Jsf,iJ---(18)]]>条件2否则 对于背景使用稍微不同的函数 其中，例如，∈w＝160和∈b＝96。
条件3对于级j＜Jc^f,i′j-1=(c^f,i-2j-1′j+c^f,i′j2---(21)]]>以相同的方式计算背景。在一个实施例中，前景和背景结果如下xf,i′=c^f,i′0]]>xb,i′=c^b,i′0]]>(22)子步骤IVa在一个实施例中，计算下列距离Dfb′＝|xf′-xb′|Df′＝|xf′-x| (23)Db′＝|xb′-x|在一个实施例中，如下生成具有-1＝前景、1＝背景和0＝未确定的掩蔽mi′
其中，例如∈fb＝32。
子步骤IVb在一个实施例中，计算加权 (25)在一个实施例中，在相邻范围N(i)′上相加加权。
sf,i′=Σn∈N′(i)wf,n′]]>sb,i′=Σn∈N′(i)wb,n′]]>(26)例如，对于1D，而不是图12中2D相邻范围，对于N(i)′使用下列12像素相邻区域，所以，n取做如图15中所示的值i-6，...，j-1和i+1，...，i+6生成没有未确定值的二进制掩蔽m″ 其中m″＝1是前景，m″＝0是背景，例如，∈m1＝6。
在一个实施例中，如下计算所更新的加权
(29)在一个实施例中，在相邻范围N(j)′上相加加权。
s^f,i′=Σn∈N′a,(i)w^f,i′+Σn∈Nb,(i)′wf,i′]]>s^b,i′=Σn∈N′a,(i)w^b,i′+Σn∈Nb,(i)′wb,i′]]>(30)其中Na，(i)′和Nb，(i)′是被划分为原因(即n＜i)和非因果(即，n＞i)区域的N(i)′。
在一个实施例中，最后掩蔽m是 其中，例如，如果xf，i＝xb，i(对于j＝1，子步骤Ib条件1和2)，则∈m2，i＝5，并且如果xf，i≠xb，i(对于j＝1，子步骤Ib条件3)，则∈m2，i＝1。
子步骤IVc在一个实施例中，给定最后掩蔽，则如下更新前景和背景图像。
(32)子步骤Va计算新的低通系数。在一个实施例中，对于级j，j＝1，...，J的前景和背景wf，i″j和wb，i″j的加权计算如下
(33)其中i′是范围0，...，2j-1-1中的任意值，并且，例如J＝5。
对于前景，假设sf,i′′j=wf,i′′j+wf,i+2j-1.′′j]]>如果s′′f,ij>0,]]>则cf,i′′j=wf,i′′j·cf,i′′j-1+wf,i+2j-1′′j·cf,i+2j-1′′j-1sf,i′′j---(34)]]>其中cf,i′′0=xf,i′′---(35)]]>否则，可以使用通常的正向Haar变换(其可在前一步骤中已被计算)，cf,i′′j=cf,i′′j-1+cf,i+2j-1′′j-12---(36)]]>以相同的方式计算背景。
子步骤Vb在一个实施例中，对于前景，对于级j＝J...1如下计算子步骤Vb。
条件1如果wf,i′′j-1=1,]]>则cf,i′′j-1=cf,i′′j-1]]>未变化。否则，在一个实施例中，如下计算所更新的加权， (37)其中 是范围∑k＝1J-j-2J-1-k，...，2J-1中的任意值
s^f,i′′j=w^f,i-2j-1′′j+w^f,i′′j---(38)]]>条件2a如果s^f,i′′j>0]]>则c^f,i′′j-1=w^f,i-2j-1′′j·cf,i-2j-1′′j+w^f,i′′j·cf,i′′js^f,i′′j---(39)]]>条件2b否则，c^f,i′′j-1=cf,i-2j-1′′j+cf,i′′j2---(40)]]>以相同的方式计算背景。在一个实施例中，最后前景和背景结果如下x^f,i=c^f,i′′0]]>x^b,i=c^b,i′′0]]>(41)数字的1-维示例图16示出了对于1-维信号x的步骤I到IIIa数字示例。对于子步骤Ib，如果差|cij-ci+2jj|超过阈值∈j，则对差|cij-ci+2jj|下划线，如果前一级的对应差超过阈值，则不计算差|cij-ci+2jj|(在表中示出为“---”)。对于步骤II，如果差|xf，i-xb，i|超过阈值t，则对差|xf，i-xb，i|下划线。对于步骤IIIa，“不关心”值所示为“---”。
图17通过重复子步骤IIIa和示出步骤IIIb到IV来继续示例。
图18和19分别示出了前景和背景的步骤V。“不关心”值所示为“---”。在子步骤Va和子步骤Vb的第一级中，第一次位置(索引i)所示为下划线，所述位置(索引i)是先前分配的“不关心”值。对于子步骤Vb中的剩余级，未改变值的情况所示为下划线。
扩展到2-维和颜色对以上给出的1-维的数学描述的几个扩展允许处理图像数据、颜色数据和其他更高维的数据。当处理颜色数据而不是灰度数据(或者更通常为矢量数据而不是标量数据)时，用于距离的绝对值可以被诸如L1、L2、L∞的范数代替或者被诸如ΔE的色差度量代替。在分割和填充之前可以对颜色数据应用诸如RGB到YUV的颜色变换。应当将阈值调节为与范数或色差度量一致，例如，当使用L1度量时可以将阈值与颜色分量的数量相乘。
从1-维信号到2-维信号的扩展、例如图像或者诸如音量(volume)数据的更高维信号可以在这些更高维数中使用Haar变换。通常，上述等式中的索引i可被每个维的索引代替。对于2-维，计算i和i±2j可被在i，l；i±2j-，l；i，l±2j；和i±2j，l±2j代替。
替换或者改进可以仅对区域中的文本和/或线条使用一种使用页面分割或文档布局分析来发现文本和/或艺术线条区域的方法。如果使用页面分割，则利用每个具有前景图像、背景图像和掩蔽的多个区域可以生成JPM图像。在JPM文件中，背景图像将是自身掩蔽图像对象，并且掩蔽将是前景图像相同的对象。
使实心背景与图像分离将在某些情况下提高主观质量。
在步骤1、3和5中的分辨率级J可以取决于附加的可用分类数据(例如半色调比非半色调分类)。
基于掩蔽修改过滤器系数的替换方法使用上述等式中的符号，可以描述大量的替换实现。在一个实施例中，步骤IIIa中的等式13用下列两种替换方法来代替以计算wf，ij和wb，ij。在一个实施例中，在步骤IIIb中对于 和 在步骤Va中对于wf，i″j和wb，i″j、以及在步骤Vb中对于 和 进行类似的改变。这些改变过滤器系数的方式会受到不同掩蔽影响。对于这些操作中的每一个，可以独立选择三个替换(等式13、42或43)中的任一个。
wf,ij=Σk=1i+i′1-m~i+i′2]]>wb,ij=Σk=1i+i′1-m~i+i′2]]>(42) (43)有损的压缩尽管多分辨率分割和填充技术有助于无损耗压缩，但是它可用于有损耗压缩或者这两者。例如，附加的处理步骤可应用于前景/背景图像(例如，噪声消除，这会导致有损耗的压缩)。
如上所述，对于无损耗压缩(或者无损耗和有损耗压缩)，前景和背景通过掩蔽匹配对于被分别选作前景和背景的像素的原始图像，并且前景、背景和掩蔽被无损耗压缩。仅对于有损耗压缩、可以缓解前景和背景匹配原始图像的要求，尤其在非常高的压缩率。这对于有损耗压缩可以给出更好的失真率。
在一个实施例中，前景和/或背景图像被定标为较低分辨率。(前景和背景图像匹配于在由掩蔽选择的原始图像的较低分辨率版本中的它们对应的部分)。对于打印分辨率图像(例如，300、400、600、800、1200DPI或更高)，前景(和背景)可被定标为诸如75、100、150或200DPI的较低分辨率。另外，高分辨率图像在应用此处所描述的技术之前可被定标为较低分辨率，这降低了前景、背景和掩蔽的分辨率。
在另一实施例中，替代匹配精确的匹配需要，前景(背景)区域匹配，而不要求在边缘进行匹配。对应于边缘的区域可以根据成像系统诸如相邻的不同分类的像素的像素或者根据DPI(分辨率、对比度和人类视觉系统对比灵敏性函数)来定义。区域的非边缘部分是“内部”。与“严格”填充相比，这将被称作“有损耗边缘”填充。有损耗边缘填充可以利用人类视觉系统视觉掩蔽属性，其是粗边缘在这些边缘位置减少了其他较低幅度压缩后假象物的可见性。当生成前景(和背景)时，如果·(普通条件)对于前景(背景)掩蔽没有选择它们或者如果·(有损耗边缘情况)对于前景(背景)，掩蔽选择了它们，掩蔽没有选择相邻位置，并且至少一个相邻范围具有它的所有被选领域范围，位置被认为是“不关心”相邻位置可以是4-连接的、8-连接的或者由一些其他形态学结构元素定义的。所述条件的“至少一个相邻范围具有它的所有被选相邻范围”部分防止了前景(背景)区域比来自整个“不关心”的领域范围更小。(在掩蔽的生成中，可能期望最小化、或者至少减少小区域的生成，或者确保从未生成小区域。如果从未生成小于相邻范围大小的区域，则简化了有损耗边缘填充)。在图20中图解了示例。这类似于形态扩大(morhpological dilation)，但是避免了消除小于结构元素的区域。在替换实施例中，代替将边缘处的位置作为“不关心”，在等式(33)中使用加权来计算被填充的值(例如w”f，i和w”b，i)，从而靠近边缘的位置具有宽度诸如0.25或0.5而不是0(“不关心”)或1(无损耗)的中间值。这避免必须使区域小于相邻范围或者使用复杂的变细算法(参考图23)。使边缘“有损耗”通常具有使边缘更锋利的期望效果。在图21中图解了一个示例。这尤其值得用于扫描文本。有损耗边缘情况是对比灵敏性函数，其可被应用于前景和背景图像以便执行视觉掩蔽。
示例性计算机系统图22是可以执行此处所描述的一个或多个操作的示例性计算机系统的方框图。参考图22，计算机系统2200可以包括示例性客户端或服务器端计算机系统。计算机系统2200包括用于传送信息的通信机构或总线2211、和与总线2211耦合的用于处理信息的处理器2212。处理器2212包括微处理器，例如PentiumTM、PowerPCTM、AlphaTM，但是不限于微处理器。
系统2200还包括耦合到总线2211的随机存取存储器(RAM)、或其他动态存储设备2204(称作主存储器)，用于存储将被处理器2212执行的信息和指令。主存储器2204也可被用来在处理器2212执行指令期间存储临时变量或其他中间信息。
计算机系统2200也包括耦合到总线2211的只读存储器(ROM)和/或其他静态存储设备2206，用于存储处理器2212的静态信息和指令；和数据存储设备2207，例如磁盘或光盘及其相应的盘驱动器。数据存储设备2207耦合到总线2211，用于存储信息和指令。
计算机系统2200还可以耦合到与总线2211耦合的诸如阴极射线管(CRT)或液晶显示器(LCD)的显示设备2221，用于向计算机用户显示信息。包括字母与数字和其他按键的字母与数字输入设备2222也可以耦合到总线2211，用于向处理器2212通信信息和命令选择。附加的用户输入设备是耦合到总线2211的诸如鼠标、轨迹球、轨迹板、记录笔或光标方向键的光标控制设备2223，用于向处理器2212传送方向信息和命令选择，并且用于控制显示器2221上光标运动。
可耦合到总线2211的另一设备是硬拷贝设备2224，其可用于在诸如纸张、胶片或相似类型介质的介质上打印指令、数据或其他信息。而且，诸如扬声器和/或麦克风等的声音记录和播放设备可选地耦合到总线2211，以便与计算机系统2200进行音频连接。可耦合到总线2211的另一设备是无线/有线通信接口2225，用于与电话或手持掌中设备进行通信。
注意，在本发明中可以使用系统2200的任意或所有组件和相关硬件。然而，可以理解，其他配置的计算机系统可以包括一些或全部所述设备。
尽管对于阅读了上述描述之后的本领域的普通技术人员来说，本发明的许多变化和修改将毫无疑问地变得明显，但是应当理解，通过举例示出和描述的任何特定实施例决不能被认为是限制。因此，对各种实施例的细节的参考不会限制所附权利要求的范围，在所述权利要求中仅阐述了被认为对本发明重要的那些特征。
权利要求
1.一种方法，包括使用多分辨率的图像数据生成多个层；生成描述多个层组成的掩蔽，以便获得图像；和在多个层中的每一层中填充像素，其中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
2.如权利要求1定义的方法，还包括压缩层图像和掩蔽。
3.如权利要求1定义的方法，其中，多个层包括背景图像和前景图像。
4.如权利要求3定义的方法，还包括压缩层图像和掩蔽，其包括使用连续色调压缩器压缩包含在多个层中的背景图像和前景图像；和使用二进制压缩器压缩掩蔽。
5.如权利要求3定义的方法，还包括根据与多个较低分辨率版本的图像相关的低分辨率图像数据而生成初步前景图像和初步背景图像。
6.如权利要求5定义的方法，还包括使用正向变换生成多个变换级的系数；将低通系数分配给前景或背景。
7.如权利要求6定义的方法，其中分配低通系数包括比较多个较低分辨率版本的第一个中的多个区域的每一个中的最亮低通系数和最暗低通系数；如果最亮与最暗低通系数之间的差在第一分解级的阈值之上，则对于多个区域中的每一个，分配最亮低通系数为背景值或前景值中的一个；和如果最亮与最暗低通系数之间的差在所述阈值之上，则对于多个区域中的每一个，分配最暗低通系数为背景值或前景值中的另一个。
8.一种具有一个或多个其上存储了指令的可记录媒体的产品，当所述指令被系统执行时，使得该系统执行一种方法，所述方法包括使用多分辨率的图像数据生成多个层；生成描述多个层组成的掩蔽，以便获得图像；和在多个层中的每一层中填充像素，其中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
9.如权利要求8定义的产品，其中所述方法还包括压缩层图像和掩蔽。
10.如权利要求9定义的产品，其中，多个层包括背景图像和前景图像。
11.如权利要求9定义的产品，其中，压缩层图像和掩蔽包括使用连续色调压缩器压缩背景图像和前景图像；和使用二进制压缩器压缩掩蔽。
12.如权利要求8定义的产品，其中，所述方法还包括根据与多个较低分辨率版本的图像相关的低分辨率图像数据而生成初步前景图像和初步背景图像。
13.如权利要求12定义的产品，其中所述方法还包括使用正向变换生成多个变换级的系数；将低通系数分配给前景或背景。
14.如权利要求13定义的产品，其中分配低通系数以检查图像的多个较低分辨率版本的第一个中的低通系数开始，并且随后处理到至少具有高于第一较低分辨率版本的分辨率的第二较低分辨率版本，并且包括比较多个较低分辨率版本的第一个中的多个区域中每一个的最亮低通系数和最暗低通系数；如果最亮与最暗低通系数之间的差在第一分解级的阈值之上，则对于多个区域中的每一个，分配最亮低通系数为背景值或前景值中的一个；和如果最亮与最暗低通系数之间的差在阈值之上，则对于多个区域中的每一个，分配最暗低通系数为背景值或前景值中的另一个。
15.一种装置，包括第一单元，用于使用多分辨率的图像数据生成多个层；第二单元，用于生成描述多个层组成的掩蔽，以便获得图像；和第三单元，用于在多个层中的每一层中填充像素，其中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
16.如权利要求15定义的装置，还包括用于压缩层图像和掩蔽的压缩器。
17.如权利要求16定义的装置，其中，多个层包括背景图像和前景图像。
18.如权利要求17定义的装置，其中，压缩器包括用于压缩背景图像和前景图像的连续色调压缩器；和用于压缩掩蔽的二进制压缩器。
19.如权利要求15定义的装置，其中，所述第一单元根据与多个较低分辨率版本的图像相关的低分辨率图像数据而生成初步前景图像和初步背景图像。
20.如权利要求19定义的装置，其中，所述第二单元通过从图像以及初步背景和前景图像生成初步掩蔽而部分生成掩蔽。
21.如权利要求15定义的装置，其中，第二单元计算多个变换级的前景和背景分类值的低通系数；和根据在先前被分类为前景、背景和未确定的初步掩蔽中的像素组中像素的数量，计算对应于前景和背景的低通系数的相反值。
22.如权利要求15定义的装置，其中，所述第二单元将第一图像与使用来自多分辨率的第一图像的图像数据生成的背景和前景图像进行比较，所述掩蔽是这样的掩蔽，使用所述掩蔽，从而前景和背景图像复合成第一图像。
23.如权利要求22定义的装置，其中，所述第二单元通过下列步骤生成中间掩蔽计算图像中的像素值与前景和背景图像中相应像素位置的值之间的距离，如果前景和背景图像中的值之间的差在阈值之下，则将中间掩蔽中的每个像素值分类为未确定；如果前景和背景图像中的值之间的差在阈值之上，则将所述每个像素值分类为前景或背景，如果图像和前景图像中的所述每个像素之间的距离小于图像与背景图像中所述每个像素之间的距离，则所述每个像素值被设定为前景，如果图像和背景图像中的所述每个像素之间的距离小于图像与前景图像中所述每个像素之间的距离，则所述每个像素值被设定为背景；根据中间掩蔽中的大量相邻像素值集是否分别为前景或背景，将未确定值重新分配给中间掩蔽中的前景或背景；和如果在中间掩蔽中分别被分类为前景和背景，则设定前景和背景图像中的值为图像中的值。
24.一种装置，包括用于使用多分辨率的图像数据生成多个层的部件；用于生成描述多个层组成的掩蔽以便获得图像的部件；和用于在多个层中的每一层中填充像素的部件，其中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
全文摘要
公开了一种多分辨率分割和填充技术。在一个实施例中，所述方法包括使用多分辨率的图像数据生成多个层；生成描述多个层组成的掩蔽，以便获得图像；和在多个层中的每一层中填充像素，其中被填充的像素是当复合多个层时对图像没有贡献的那些像素。
文档编号G06T5/00GK1744657SQ20051009660
公开日2006年3月8日 申请日期2005年8月25日 优先权日2004年8月25日
发明者爱德华·L·施瓦茨, 凯瑟琳·伯克纳 申请人:株式会社理光