专利名称：使用过完备小波编码和循环预测映射进行视频处理的系统及方法
本申请涉及一种用于分形视频编码的系统、方法、信号和计算机程序产品。作为一种可选择的视频编码技术，基于迭代函数系统(IFS)的分形压缩已经是公知的。分形图像压缩的基本意图是找到一个收缩映射，其唯一吸引子(attractor)逼近源图像。在解码器中，将该映射迭代地应用于任意图像以重构该吸引子。如果可以使用少于源图像的位来表示该映射，则得到一个编码增益。
更具体来说，分形图像压缩技术是基于收缩映射定理和拼贴定理。收缩映射定理确保每个收缩映射f具有唯一的吸引子(固定点)xf，以使得f(xf)＝xf。
此外，f可以被迭代地应用于任意点y，以通过limn→∞fn(y)=xf]]>来得到吸引子xf。
在图像编码中，如果编码器发现一个其唯一吸引子是源图像的收缩映射，则该映射就可被连续应用于任意图像以在解码器中重构源图像。
作为一种有损编码技术，分形编码器试图找出其拼贴f(x)接近于源图像x的收缩映射f。然后所述拼贴定理提供编码器处的拼贴误差‖x-f(x)‖与解码器处的吸引子误差‖x-xf‖之间的关系，该关系由下式给出||x-xf||≤11-s||x-f(x)||]]>此处，s为f的收缩率因子。这意味着如果拼贴f(x)接近源图像x，则解码的吸引子xf接近源图像x。因此，分形编码就是为了找到良好地逼近原始图像x并且具有小收缩率因子以加速收敛速度的收缩映射f(x)。
在开发出用于静止图像分形编码的第一自动算法之后，已经对分形静止图像编码技术以及视频编码进行了大量研究。使用一种被称作“循环预测映射”(CPM)的方法，将分形序列编码器同已知的运动估计/运动补偿技术相结合。在CPM中，将n个帧编码为一组，并且每个范围块通过其大小与所述范围块相同的n循环的前一帧中的域块而被运动补偿。通过在域-范围映射中选择适合的参数，所述CPM成为收缩映射。在解码器中，将CPM迭代地应用于任意n个帧以重构吸引子帧。
图1描述了一个CPM处理，其中通过n循环的前一帧F[k-1]n中的域块Da(i)(图1中的“A”块)对在第k帧Fk中每个范围块Ri(图1中的“B”块)进行逼近，所述域块同范围块具有相同的大小。Ri的逼近值由下式给出Ri≅R^i=si·O(Da(i))+oi·C]]>此处，a(i)指示最优域块的位置，si、oi分别为实系数。C是一个其所有像素值为1的恒定块，O为正交化算子。该算子从Da(i)中去除了DC分量，使得O(Da(i))和C彼此正交。在正交化之后，通过分别将Ri投影到span{O(Da(i))}上和span{C}上，可以直接得到si、oi的最优系数值。应当注意，si系数确定了该映射中的对比度缩放(scaling)，而oi系数代表范围块Ri的DC值。
域-范围映射可以作为一种运动补偿技术而被插值。在CPM中，仅通过平移来描述运动，因此a(i)为传统的运动矢量。除了运动估计之外，分别通过系数si、oi来补偿块的对比度和总体亮度的变化。通过在编码器处设置将被量化在-1至1之间的缩放因子si，CPM的迭代应用最终将是收缩性的，因此提供了分形编码方案。在CPM中，域块大小与范围块大小相同，因此与域块大小大于范围块大小的情况相比，收缩率因子不够好。CPM处理试图在解码器处通过增加迭代次数来补偿这些缺陷。
因此，在本技术领域需要一种系统、方法、信号和计算机程序产品，其能够更加迅速、更加有效的进行基于CPM的分形视频编码。
各个优选实施例包括了一种基于过完备小波域中的循环预测映射(CMP)的用于分形视频编码的系统、方法以及计算机程序产品。根据所公开的处理，通过循环地前一帧中的域块对每个范围块进行逼近。所述域块的大小大于使用完备-过完备变换的范围块的大小，与使用相同域块大小的传统CPM算法相比，这样做提供了更快的收敛速度。然而，由于通过移位原始图像产生了扩展参考(extendedreference)并因此保留了与范围块的高度时间相关性，因而充分地利用了相邻帧之间的高度时间相关性。此外，所述优选实施例还提供了空间可缩放性。
前面所述的内容已经相当广泛地概括出本发明的特征和技术优势，使得本领域的技术人员可以更好地理解下面对本发明的详细描述。下文中将描述构成本发明权利要求主题的本发明的附加特征和优势。本领域技术人员应当理解的是，他们可以很容易地使用所公开的概念和特定实施例作为基础来修改或者设计其它结构，以便实现与本发明相同的目标。本领域技术人员也应当认识到，这种等效结构在最广义的形式上并没有背离本发明的精神和范围。
在进行详细描述之前，阐明贯穿本专利文献使用的某些词语和短语的定义是非常有利的术语“包含”和“包括”以及其派生词的意思是没有限制的包括；术语“或者”包括和/或；短语“相关”和“与其相关”以及其派生词的意思可以是包括、包括在内、与...互连、包含、包含在内、连接到或与...连接、耦合到或与...耦合、可与...通信、与...协作、交织、并置、近似于、被绑定到或与...绑定以及具有...特性等；术语“控制器”的意思是控制至少一种操作的任何装置、系统或者其部件，这种装置可以以硬件、固件或者软件实现，或者是以硬件、固件或者软件的至少两种的某种组合实现。应当注意的是，任何特定控制器的相关功能可以被集中或者被分布，无论是局部地还是远程地。特别地，控制器可以包括一个或者多个数据处理器以及相关输入/输出装置和存储器，它们执行一个或者多个应用程序和/或操作系统程序。在本专利文献中通篇给出了特定词语和短语的定义，本领域技术人员应当理解，在许多实例中(如果不是在大多数实例中)，这种定义适用于如此定义的词语和短语的当前使用和将来使用。
为了更加完全地理解本发明及其优势，现在将结合附图进行下面的描述，其中相同的附图标记表示相同的对象，其中图1描述了循环预测映射处理；图2描述了根据本发明一个实施例从小波系数的过完备展开中产生用于运动估计的扩展参考帧；图3描述了根据本发明一个实施例的在小波域中的循环预测映射处理的结构；以及图4描述了根据本发明一个实施例的处理的流程图。
下面讨论的图1至4以及在本专利文献中用于描述本发明原理的各种实施例仅仅是为了举例说明，无论如何不能认为是对于本发明范围的限制。本领域技术人员应当理解的是，本发明的原理可以在任何适当安排的装置中实施。下面将特别参考本发明的优选实施例对本申请的许多创新性教导进行描述。
3-D小波结构是一种有效的视频编码工具。在这种小波架构中，使用小波滤波将每个视频帧空间分解成多个带，并且使用运动估计消除每个带的时间相关性。通过在预测中考虑奇相位的小波系数，过完备小波(OW)架构克服了在小波域中运动估计效率低的问题。得到奇相位系数的一种方便方法是已公知的“带移”方法，通常称其为完备-过完备变换。由于在解码器处还可得到已解码的前一帧，因此从过完备展开中进行预测并不需要任何附加开销。
本优选实施例对于每个带使用一个自适应高阶内插滤波器以使运动估计性能最佳化。对参考帧的高阶滤波是通过增大过完备小波系数而进行的。例如，为了在HH带中实现用于运动估计的高阶内插，通过将较低带移位(1，0)、(0，1)和(1，1)的数量从原始小波系数产生三个其它的小波系数相位，如图2中所描绘出的帧202/204/206/208中所示。此处，原始小波系数被示为(0，0)帧202和扩展参考帧210中的圆形。在扩展参考帧210中，(1，0)相移的系数被示为正方形，(0，1)相移的系数被示为三角形，(1，1)相移的系数被示为六边形。
然后，增大并组合四个相位的小波系数以产生如图2中的右侧帧所示出的扩展参考帧。如本领域技术人员所知，一个内插器从该扩展参考中产生用于运动估计的分形像素(诸如1/2、1/4、1/8、1/16象素)。
应该注意，在过完备小波编码算法中产生扩展参考与分形编码文献中已知的域池(domain pool)的产生非常相似，此处域块通常是范围块的四倍大。
根据该实施例，n个帧被编码为一个帧组(GOF)，首先使用小波变换来分解所述帧，如图3所示。如本领域技术人员所知的那样执行原始分解，例如在2002年10月17日公布的美国专利公开US2002/0150164中所描述的那样，其内容包含在此以作为参考。
然后，从n循环的先前参考帧逐块地预测每个带，所述带在产生扩展参考带的完备-过完备变换之后变成原来的四倍大。更具体地说，如图3所示，第k帧处的带Aji(k)被划分为各范围块，并且通过在扩展参考中的域块Aji([k-1]n)对每个范围块进行预测或逼近，此处[k]n表示k模n。
为了加速收敛速度并降低解码器处的迭代次数，可以使用1/4、1/8、1/16精确度的内插来产生大得多的扩展参考帧。
由于在本实施例中域块的大小大于范围块的大小，因此同传统CPM算法相比，极大地提高了收敛速度。此外，由于基于原始图像的不同移位产生了扩展参考帧，从而存在大的时间冗余，因此即使域块大小大于范围块大小，还是更有可能存在良好的域-范围映射。
通过对一个任意序列迭代地应用CPM可以重构吸引子序列。通常，收敛速度取决于域块大小与范围块大小的比值。同范围块相比，域块越大，解码序列的收敛越快。因此，同传统CPM算法相比，本优选实施例提供了快得多的收敛。
重复解码迭代，直到来自连续迭代的输出之间的差值变小。这种做法提供了固有的解码复杂度可伸缩性，此处使用更多的解码迭代可以得到更好的视频品质，但是如果解码器并不具有足够的计算资源，则可以停止解码迭代以满足计算的预算。
为了使空间可缩放性成为可能，修改关于图3描述的处理以使分辨率较低的图像不需要较高的频带信息。通过修改产生扩展参考帧的处理可以做到这一点。例如，在图3中，并不对A20应用完备-过完备变换，而是使用传统CPM算法，然而对于所有其它带使用过完备小波域中的新CPM算法进行编码。通过对此进行修改，可以实现空间可缩放性。在该算法的另一实施例中，使用传统运动预测DCT技术或者运动补偿时间滤波对空间分解的LL带进行编码，而对其它更高分辨率的带则使用所公开的CPM处理进行编码。
在上面所描述的处理的各种实施例中，将传统MC-DCT编码技术应用于小波分解的子带的一个子集(诸如LLLL)，以允许对传统视频编码标准(诸如MPEG)具有向后兼容性。同样，在一些实施例中，在解码器处使用了部分子带以满足不同显示大小的设置，从而增强了空间可伸缩性。此外，在一些实施例中，由解码器确定迭代次数以满足解码器的复杂度约束条件。
图4描述了根据本发明一个优选实施例的处理的流程图。根据该处理，系统首先将接收一个包括一系列图像帧的图像信号(步骤405)。然后使用小波滤波将每个帧分解成多个带，并且消除空间冗余(步骤410)。应用完备-过完备内插滤波，并对所得到的经相移的小波系数进行组合以产生一个显著大于原始帧的扩展参考帧(步骤415)。
接着，使用小波变换将n个帧分解(步骤420)，并将其编码为一个帧组(GOF，步骤425)。然后，每个带被划分为多个范围块和域块，并从n循环的先前参考帧逐块地预测这些块，其在产生扩展参考帧的完备-过完备变换之后显著变大(步骤430)。虽然本实施例示出了原始帧的四倍大的扩展参考帧，但是根据所执行的分解可以改变参考帧的大小。因此，在任意特定帧处，每个带被划分成各范围块，并从循环的前一扩展帧域块预测每个范围块。
然后在步骤415重复该处理，直到得到期望的精确度。
注意，图4中每个块还对应于用于执行所述步骤的视频解码控制器中的一个装置。特别地，一个实施例提供了一种包括一个视频解码控制器的视频处理系统，所述控制器用于接收一系列的图像帧，将每个帧分解成多个带；对每个图像帧进行滤波以产生与每个图像帧相对应的扩展参考帧，所述扩展参考帧一起构成一个帧组，所述帧组被布置在一个循环参考结构中；以及将每个扩展参考帧的每个带划分为多个范围块和域块，通过所述帧组中的循环的前一扩展参考帧的域块对每个范围块进行预测。
在上述处理中，MC-DCT编码也可应用于小波分解的多个带中的子带的一个子集，以允许对传统视频编码标准具有向后兼容性。
本领域技术人员将认识到，为了简明和清晰起见，在这里并没有描述或者说明适用于本发明的所有视频处理系统的完整结构和操作。相反，仅描述和说明了对于本发明来说是唯一的或者是理解本发明所必须的那部分视频处理系统。视频处理系统的其余结构和操作可以符合任何一种本技术领域已知的当前实现方式和实践。
重要的是需要注意到，虽然已经在完整功能系统的情况下描述了本发明，但本领域技术人员应当理解的是，本发明的至少部分机制能够以机器可用介质(多种形式中的任一形式)中所包含的指令的形式被分布，并且不管用于实际执行所述分布的指令或信号承载介质的特别类型，本发明都同样可以应用。机器可用介质的实例包括非易失性的硬编码(hard coded)型介质，诸如只读存储器(ROM)或可擦写电可编程只读存储器(EEPROM)；用户可记录型介质，诸如软盘、硬盘驱动和光盘只读存储器(CD-ROM)或数字通用盘(DVD)；以及传输型介质，诸如数字和模拟通信链路。
尽管已经详细描述了本发明的示例性实施例，但是本领域技术人员应当理解的是，在并不背离本发明最广泛的精神和范围的情况下，可以对本发明进行各种改变、替换、变化以及改进。
本申请的说明书中的任何一处都不应该被错误地理解成包含有这样的暗示任何特定元件、步骤和功能是必须包括在权利要求范围内的必要元素。相反，所要求专利主题的保护范围仅由权利要求书限定。此外，除非“用于...的装置(means for)”后跟有一个分词，否则这些权利要求中没有一个权利要求援引35 USC§112第六段的精神。
权利要求
1.一种用于处理视频信号的方法，包括接收(405)一系列的图像帧(Fn)；将每个帧分解(410)成多个带；对每个图像帧进行滤波(415)以产生与每个图像帧(202，204，206，208)相对应的扩展参考帧(210)，所述扩展参考帧一起构成一个帧组，所述帧组被布置在一个循环参考结构中；和将每个扩展参考帧(210)的每个带划分(430)成多个范围块和域块Aji，通过所述帧组中的循环的前一扩展参考帧的域块对每个范围块进行预测。
2.根据权利要求1所述的方法，其中所述滤波为完备-过完备内插滤波。
3.根据权利要求1所述的方法，其中每个域块(A)大于相应的范围块(B)。
4.根据权利要求1所述的方法，其中每个域块(A)至少是相应范围块(B)的四倍大。
5.根据权利要求1所述的方法，其中重复所述处理。
6.根据权利要求1所述的方法，其中每个扩展参考帧(210)包括相应图像帧(204，206，208)的经相移的系数。
7.根据权利要求1所述的方法，还包括对于所述小波分解的多个带中的子带的一个子集应用MC-DCT编码，以允许对传统视频编码标准具有向后兼容性。
8.根据权利要求1所述的方法，其中使用所述多个带中的部分子带以满足不同的显示大小的设置。
9.根据权利要求1所述的方法，其中所述迭代次数由解码器确定以满足该解码器的复杂度约束条件。
10.一种视频处理系统，包括一个视频解码控制器，所述控制器用于接收(405)一系列图像帧(Fn)，将每个帧分解(410)成多个带；对每个图像帧进行滤波(415)以产生与每个图像帧(202，204，206，208)相对应的扩展参考帧(210)，所述扩展参考帧一起构成了一个帧组，所述帧组被布置在一个循环参考结构中；以及将每个扩展参考帧(210)的每个带划分(430)为多个范围块和域块Aji，通过所述帧组中的循环的前一扩展参考帧的域块来预测每个范围块。
11.根据权利要求10所述的视频处理系统，其中所述滤波为完备-过完备内插滤波。
12.根据权利要求10所述的视频处理系统，其中每个域块(A)大于相应的范围块(B)。
13.根据权利要求10所述的视频处理系统，其中每个域块(A)是相应范围块(B)的四倍大。
14.根据权利要求10所述的视频处理系统，其中所述控制器迭代地执行所述功能。
15.根据权利要求10所述的视频处理系统，其中每个扩展参考帧(210)包括相应图像帧(204，206，208)的经相移的系数。
16.根据权利要求10所述的视频处理系统，其中所述控制器还对所述小波分解的多个带中的子带的一个子集应用MC-DCT编码，以允许对传统视频编码标准具有向后兼容性。
17.根据权利要求10所述的视频处理系统，其中使用所述多个带的部分子带以满足不同的显示大小的设置。
18.根据权利要求10所述的视频处理系统，其中所述迭代次数由所述控制器确定以满足该控制器的复杂度约束条件。
19.一种具体包含在计算机可读介质中的计算机程序产品，包括用于接收(405)一系列图像帧(Fn)的指令；用于将每个帧分解(410)成多个带的指令；用于对每个图像帧进行滤波(415)以产生与每个图像帧(202，204，206，208)对应的扩展参考帧(210)的指令，所述扩展参考帧一起构成一个帧组，所述帧组被布置在一个循环参考结构中；和用于将每个扩展参考帧(210)的每个带划分(430)成多个范围块和域块Aji的指令，通过所述帧组中的循环的前一扩展参考帧的域块对每个范围块进行预测。
20.根据权利要求19所述的计算机程序产品，其中所述滤波为完备-过完备内插滤波。
21.根据权利要求19所述的计算机程序产品，其中每个域块(A)大于相应的范围块(B)。
22.根据权利要求19所述的计算机程序产品，其中每个域块(A)是相应范围块(B)的四倍大。
23.根据权利要求19所述的计算机程序产品，其中重复所述处理。
24.根据权利要求19所述的计算机程序产品，其中每个扩展参考帧(210)包括相应图像帧(204，206，208)的经相移的系数。
25.根据权利要求19所述的计算机程序产品，还包括用于对所述小波分解的多个带中的子带的一个子集应用MC-DCT编码的指令，以允许对传统视频编码标准具有向后兼容性。
26.根据权利要求19所述的计算机程序产品，其中使用所述多个带的部分子带以满足不同的显示大小的设置。
27.根据权利要求19所述的计算机程序产品，其中所述迭代次数由解码器确定以满足该解码器的复杂度约束条件。
全文摘要
基于过完备小波域中的循环预测映射(CPM)的一种用于分形视频编码的系统、方法及计算机程序产品。根据所公开的处理，通过循环的前一帧[F
文档编号G06T9/00GK1813269SQ200480018489
公开日2006年8月2日 申请日期2004年6月28日 优先权日2003年6月30日
发明者J·C·叶, M·范德沙尔 申请人:皇家飞利浦电子股份有限公司