为图像处理目的用滤波器应用卷积的快速数值逼近的制作方法
【专利摘要】一种计算机实现的方法，用于用滤波器f应用由级l的分层信号al表示的图像I的卷积的数值逼近，所述方法包括步骤：通过对于每一层级l应用al和内核hI之间的卷积以及通过对卷积的al和hI的结果进行向下采样，生成正变换；通过对于每一层级l应用内核h2和向上采样的正变换之间的卷积以及将该结果与a1和内核g的卷积组合，生成逆变换；以及将正变换和逆变换组合来产生为a和f之间的卷积的逼近的其中，内核hI,hI和g是滤波器f的优化内核。
【专利说明】为图像处理目的用滤波器应用卷积的快速数值逼近
【技术领域】
[0001]本发明涉及图像处理，以及更具体地说，涉及在图像处理中用滤波器应用卷积的快速数值逼近。
【背景技术】
[0002]计算机图形和图像处理中的许多任务涉及将大型线性平移不变(LTI)滤波器应用于图像。共同的例子包括图像的低通和高通滤波，以及响应于各种滤波器组而测量图像。在图1中示出了使用大型LTI滤波器也能实现的一些不太显然的任务:图10示出通过积分它们的梯度场IOA来重构图像IOB ;图20示出拟合平滑膜20B来内插一组边界值20A ;以及图30示出散开数据内插，30A作为输入以及30B作为输出。
[0003]尽管卷积是将LTI滤波器应用于图像的最直接方式，但它带来高的计算成本:要求0(n2)运算来卷积具有相当大小的内核的η像素图像。快速傅立叶变换(FFT)为周期域提供更有效的O(nlogn)替代方案。已经提出了用于某些特定情形的其他快速方法。例如，一种诸如自组算法描述了多尺度方法，能在分层二次采样位置，O (η)次逼近具有大的高斯内核的卷积。
[0004]除卷积的直接0(η2)实现外，还有能更有效地计算的某些情况。在周期域，能将每一卷积算子表示为由傅立叶基础对角线化的循环Topelitz矩阵。因此，使用快速傅立叶变换，可以O(nlogn)次执行周期域上的大内核卷积。
[0005]通过首先执行ID水平卷积，接着在垂直方向中执行(或反之亦然)，能加速具有可以表示为两个ID内核的外积的可分的2D内核的卷积。因此,成本是O(kn)，其中，k是ID内核的长度。使用各个顺序的内核B样条滤波器的SVD分解，通过可分内核，可以逼近不可分内核，以及使用重复积分或广义积分图像，每一像素以恒定时间可以估计尺度。
[0006]因为它们的重要作用，已经专门开发了许多方法来逼近具有高斯内核的卷积。与该工作特别有关的是所提出的分层离散相关方案。该多尺度方案0(n)次逼近高斯金字塔。由于通过高斯带的卷积限制信号，将粗糙级内插回精细级提供对具有0(n)的大型高斯内核的卷积的逼近。然而，该逼近仅对某些宽度的高斯精确。
[0007]上述想法在拉普拉斯金字塔中达到顶点，并且后来与小波关联。更具体地说，拉普拉斯金字塔可以视作高密度小波变换。这些想法还被效仿，其中，O(nlogn)次构建多尺度双边滤波器金字塔。拉普拉斯金字塔以及各种其他小波变换将信号分解成表明对各种分析和合成任务有用的低频和高频。特别地，可以逼近大内核的卷积的效果。然而，即使这些方案依赖于重复卷积(通常具有小内核)，但它们不是平移不变的，即，如果平移输入，最终分析和合成将不仅仅区别于平移。这是由于这些方案使用二次采样运算，用于实现它们的快速O (η)性能。
[0008]在过去数十年认为相当重要的一种情况是从其卷积形式恢复信号，例如，从其梯度场恢复图像。这产生诸如泊松方程的线性方程的平移不变系统。相应的矩阵再次是Topelitz矩阵,在周期域上使用FFT,能O(nlogn)次倒置。然而，存在用于在周期和非周期域上处理特定类型的这样方程的甚至更快O (η)的解算器。多重网格方法和基于分层的预处理通过以多尺度操作实现线性性能。描述了用于大梯度域问题的现有技术的多重网格解算器，以及描述了用于较小问题的GPU实现。由于这些线性系统中的矩阵是循环行列式(或接近循环行列式，由域而定)，它们的互逆也是循环卷积矩阵。因此，原则上，通过卷积具有内核的右手侧，例如，在无限泊松方程的情况下的格林函数，能获得(或逼近)解决方案。我们的方法使得能够精确地逼近具有这些内核的卷积，因此，提供更有效以及更容易的实现用于求解这种方程的替代方案。
[0009]梯度域技术还广泛用于无缝克隆和拼接，产生类似的线性系统，但具有不同(Dirichlet)边界条件，通常在不规则形状域上求解。在这种情况下，求解通常归结为计算内插一组指定边界值的平滑膜来描述用于这些系统的基于专用四叉树的解算器，同时通过使用平均值内插，避免求解线性系统。
[0010]当将内插许多数据点时或当需要内插函数的密集估计时，该方法也能用在更常见的散开数据内插情形中。因此，在使用将信息传播到整个域的大卷积滤波器很重要的情况下，对散开数据内插提供有效的逼近将是有利的。
【发明内容】
[0011]本发明在其实施例中为图像处理目的用大支撑滤波器提供卷积的快速数值逼近的方法。在此所提出的方法包括在小波变换后形成的多尺度方案，其线性实时计算逼近。假定专用大目标滤波器逼近，首先使用数值优化来设计一组小内核，其然后用来执行所提出的多尺度变换的分析和合成步骤。在完成优化时，将最终变换线性实时地应用于任何信号。将在此证实所提出的方法非常适用于诸如梯度场积分、无缝图像克隆和散开数据内插的任务，优于现有技术的方法。
[0012]本发明的实施例针对通过降低复杂度，通用化逼近卷积的算法。在此提出了多尺度框架，不限于逼近特定内核，而是能被协调来再现多个有用大LTI滤波器的效果，同时O (η)次操作。特别地，在下文中，将证实所提出的框架对横跨泊松方程的解的格林函数、互逆距离加权内核和用于散开数据内插的广泛支持的高斯内核的适用性。
[0013]本发明在其实施例中提供多尺度方案，类似拉普拉斯金字塔，以及某些小波变换。然而，不同于这些更通用目的的变换，所提出的方法是定制设计该变换来直接逼近指定LTI算子的效果。换句话说，尽管现有技术的多尺度结构通常用于将该问题变换成能更好求解的空间，但在所提出的方法中，变换本身直接产生所需的解。
[0014]例如，本发明的非限制性实施例重复地执行具有三个小的固定宽度内核的卷积，同时对图像向下采样和向上采样，以便在所有尺度上操作。数值优化这些内核的每一个的加权，使得变换的整体动作通过某个目标滤波器最逼近卷积运算。对每一目标滤波器，优化仅需要完成一次，然后可以将最终多尺度变换应用于任何输入信号0(η)次。该设计后的动机将是避免处理由非理想的小的有限滤波器引起的分析难题，另一方面，尝试对其他实现最有效线性计算预算。
[0015]紧密地逼近具有自由空间格林函数的卷积的本发明的实施例的足以允许反转泊松方程的某些变量。在此将证实对该方程，所建议的方法快于现有技术的解算器，诸如基于多重网格方法的解算器，对相当大量的方程提供提高的精度和更高实现便利。【专利附图】
【附图说明】
[0016]为更好理解本发明的实施例以及示出如何实施，现在将仅通过例子参考附图，其中，相同的数字始终表示相应的元件或部件。
[0017]在附图中，
[0018]图1示出图示本发明的若干方面的若干图像处理应用；
[0019]图2是图示根据本发明的一些实施例的方面的高级框图；
[0020]图3A-3G示出说明本发明的方面的若干图像；
[0021]图4A-4F示出说明本发明的方面的若干图像；
[0022]图5A-5E示出说明本发明的方面的若干图像；
[0023]图6A-6F不出说明本发明的方面的若干图像和图；以及
[0024]图7A-7I不出说明本发明的方面的若干图像和图；
[0025]附图结合下述的详细描述对本领域的技术人员如何实际上具体化本发明将变得显而易见。
【具体实施方式】
[0026]现在参考详细地具体参考附图，强调所示的细节仅是示例性的和为本发明的优选实施例的说明性讨论目的，为提供认为最有用和最容易理解本发明的原理和概念方面而呈现。关于这一点，不尝试比本发明的基本理解所需更详细地示出本发明的结构细节，结合附图所做的描述使本领域的技术人员如何实际上具体化本发明的若干形式显而易见。
[0027]在详细地解释本发明的至少一个实施例之前，应理解本发明在其应用方面不限于在下述描述中阐述或在附图中所图示的部件的结构和排列的细节。本发明可应用于其他实施例或以各种方式实施或执行。同时，应理解在此所采用的措辞或术语是为了描述目的而不应被视作限制。
[0028]接下来是所提出的框架的一般描述以及由发明人所做的一些示例性设计决策的动机。稍后将论述使框架适应计算机图形学中的若干重要具体问题。
[0029]在用于尺度分离的计算机图形学和图像处理中，广泛地使用线性平移不变滤波。实际上，许多图像分析和操作算法在没有适当结构化的多尺度(子带)分解的情况下不能成功。在大多数应用中，当提取特定带时所需的频谱精度与带水平成比例:通常通过在频域中实现低定位的小型滤波器，提取高频分量，而低频通常需要以较高频谱精度，因此，使用大的低通滤波器。
[0030]诸如小波变换和拉普拉斯金字塔的子带体系结构依赖于频谱“分治”策略，其中，在每个尺度，经滤波划分频谱，然后进一步递归地拆分无大量数据丢失的情况下二次采样的频谱的低端。二次采样步骤允许使用小的固定长度的滤波器渐进地提取低频，因为由于使用二次采样，域本身缩小以及远点变得更近。该方法导致信号的高效线性时间处理，并且能达最大空间尺度地隔离低频模式(图像的DC分量)。
[0031]尽管对一些应用来说不是主要障碍，但这些分解遇到两个主要缺点。首先，最终变换的坐标，因此使用这些坐标执行的运算，对平移来说是不变量。
[0032]因此，不同于卷积，位移输入图像可以比仅空间偏移更大地改变结果。其次，为实现0(n)运行时间，有必要使用有限脉冲响应滤波器。这些滤波器能实现一些空间和频谱定位，但不提供频谱的理想划分。如在此所说明的，这些属性对一些应用(诸如求解泊松方程)和对特定形状内核的设计很关键。事实上，这两个缺点支配下述的新方案的设计，其目的是在O (η)的计算成本预算下，实现某些平移不变算子的最佳逼近。
[0033]图2图示可以实现在此公开的多尺度滤波方案的非限制性示例系统(100)。应注意到可以通过使用在数字信号处理(DSP)处理器或通用计算机上运行的软件，或在专用集成电路(ASIC)中，实现系统(100)。在所提出的多尺度滤波方案中，通过分析滤波器4(104)对信号a° (102)卷积，以及使用二次采样器(106)以因子2 二次采样该结果，执行正变换。然后，在二次采样数据(112 )上重复该过程。此外，在每一级保持该信号的未滤波和未采样副本。形式上，在层次的每一级，执行下述计算:
[0034]Ct10=Ct1 (I)
[0035]α 1+1= j Qi1* α χ) (2)
[0036]其中，下标I表示层次中的级，以及Jtl是在每一级保持的未滤波数据，以及丨表示二次采样算子。通过设定a° = a，启动变换，其中，a是将滤波的输入信号。
[0037]逆变换(合成)包括使用向上采样器(116)，通过在每两个采样之间插入O来向上采样，接着通过另一滤波器匕(118)卷积。通过合成器(120)，将内插信号与在通过第三滤波器g (108)卷积后的那一级存储的信号合成，SP:
[0038]
【权利要求】
1.一种计算机实现的方法，用于用滤波器f应用由级I的分层信号a1表示的图像I的卷积的数值逼近，所述方法包括: 通过对于每一层级I应用a1和内核Ill之间的卷积以及通过对卷积的a1和Ill的结果进行向下采样，生成正变换； 通过对于每一层级I应用内核h2和向上采样的正变换之间的卷积以及将结果与a1和内核g的卷积组合，生成逆变换；以及 将正变换和逆变换组合来产生为a和f之间的卷积的逼近的#， 其中，内核h” hi和g是滤波器f的优化内核。
2.根据权利要求1所述的方法，进一步包括:根据特定图像处理应用需求，确定层级I。
3.根据权利要求1和2中的任何一个所述的方法，其中，滤波器f是线性平移不变(LTI)滤波器。
4.根据权利要求1至3中的任何一个所述的方法，其中，通过选择最小化1? minF dV -/*α||2的集合 F = Ui1, h2, g},实现最佳内核。
5.根据权利要求1至4中的任何一个所述的方法，其中，以比率2来向下采样。
6.根据权利要求1至5中的任何一个所述的方法，其中，通过以比率2补零来向上采样。
7.根据权利要求1至6中的任何一个所述的方法，其中，拟合内核来获得不同尺度的高斯滤波器。
8.根据权利要求1至6中的任何一个所述的方法，其中，图像I和滤波器f之间的卷积结果导致梯度场积分。
9.根据权利要求1至6中的任何一个所述的方法，其中，图像I和滤波器f之间的卷积结果导致无缝图像克隆。
10.根据权利要求1至6中的任何一个所述的方法，其中，图像I和滤波器f之间的卷积结果导致散开数据内插。
11.一种系统，被配置成执行根据权利要求1至10中的任何一个所述的方法。
12.—种计算机程序产品，包括计算机程序代码，用于当在计算机上运行所述程序时执行根据权利要求1至10中的任何一个所述的方法。
【文档编号】G06T5/00GK103907109SQ201280031391
【公开日】2014年7月2日 申请日期:2012年6月27日 优先权日:2011年6月27日
【发明者】丹尼尔·利斯钦斯基, 拉阿南·法塔尔, 泽埃夫·法布曼 申请人:耶路撒冷希伯来大学伊萨姆研究发展有限公司