专利名称：减少空间可缩放视频编码中的混叠的制作方法
减少空间可缩放视频编码中的混叠优先权本申请要求由Siih-Ta Hsiang于2009年2月19日提交的美国临时专利申请序列号61/153，955和2010年2月12日提交的美国申请序列号12/705, 266的优先权，它们均通过引用全文结合于此。
背景技术：
空间可缩放编码允许从单个可缩放码流中以若干种不同的空间分辨率有效恢复编码的图像或视频信号。空间可缩放编码对于多种环境中的不同视频应用已经变得越来越有用。诸如MPEG-2/4、H. 263+和新兴的H. ^4/AVC的可缩放视频编码(SVC)的视频编码标准采用了锥形方法来进行空间可缩放编码。然而，为了构建完全的图像锥形表示，源像素采样的数量增加了 33. 3%，这能够固有地降低压缩效率。可替换地，当前使用子带/小波编码的编码器已经被证明对于图像压缩是高效的。子带/小波编码也已经在国际标准JPEG 2000中被用于行业中的图像和视频(运动 JPEG 2000格式)编码应用。由于子带/小波变换的高性能压缩，这些当前的编码器能够实现卓越的压缩性能而没有传统的与块变换相关联的块状失真。更重要的是，当前的编码器能够轻易适应期望的空间可缩放编码功能而在压缩效率方面几乎没有损失，原因在于子带/小波分解本质上是分辨率可缩放的。然而，由于子带/小波分析低通滤波器并不是理想的半带滤波器，所以在所产生的低分辨率信号中引入了混叠失真，对于视频编码应用这可能尤其的麻烦。
发明内容
这里所公开的是一种空间可缩放子带/小波编码的系统，其在解码的低分辨率视频中具有减少的混叠。该系统包括第一组子带/小波滤波器组、第二组子带/小波滤波器组、低分辨率基本编码器和高分辨率增强编码器。第一组子带/小波滤波器组对全分辨率源视频帧执行子带/小波分析以生成由低通子带和多个高通子带所构成的子带表示。第二组滤波器组将低通子带分解为混叠子带分量和无混叠子带分量。低分辨率编码器对无混叠子带分量进行编码以生成具有最小混叠子带分量或没有混叠子带分量的编码视频信号。来自第一组滤波器组的高通子带以及混叠子带分量和无混叠子带分量的可选的改进被高分辨率增强编码器进行编码以提供用于以全分辨率恢复视频的进一步的信息。这里还公开了一种用于减少解码的低分辨率视频中的混叠的方法。在该方法中， 在第一组子带/小波分析滤波器组接收输入视频序列中的全分辨率源视频帧。对全分辨率源视频帧执行子带/小波分析以生成由低通子带和多个高通子带所构成的子带表示。使用第二组子带/小波分析滤波器组将低通子带分解为无混叠子带分量和混叠子带分量。使用低分辨率编码器对无混叠子带分量进行编码以生成基本层比特流。根据实施例，还公开了一种计算机可读存储介质，其上含有一个或多个计算机程序，用于实施上面公开的减少解码的低分辨率视频中的混叠的方法。
本发明的实施例提供了一种子带/小波空间可缩放编码的系统和方法，该系统和方法在恢复的低分辨率视频中具有减少的混叠失真。因此，与传统的子带/小波编码系统相比，本系统和方法在保持全分辨率的整体性能的同时在以较低分辨率进行解码的压缩效率和视觉质量方面提供了改进的性能。本发明的实施例被应用于单个视频帧，并且也可以被应用于空间可缩放子带/小波图像编码。
通过以下参考附图所进行的描述，本发明的特征对于本领域技术人员将是显而易见的，其中图1示出了根据本发明实施例的用于减少低分辨率的空间可缩放子带/小波编码中的混叠的系统的简化框图；图2示出了根据本发明实施例的可分离的子带/小波滤波器组的简化框图；图3示出了根据本发明实施例的对于分解的帧的子带划分；图4A示出了根据本发明实施例的由子带滤波器进行滤波的高频混叠子带分量；图4B示出了根据本发明另一个实施例的由子带滤波器进行滤波的高频混叠子带分量；图5示出了根据本发明实施例的具有减少的混叠的空间可缩放子带/小波编码系统的框图；图6示出了根据本发明实施例的具有减少的混叠的空间可缩放子带/小波编码方法的流程图；以及图7示出了根据本发明实施例的用于减少编码中的混叠的方法的流程图。
具体实施例方式出于简要和说明的目的，通过主要参考其示范性实施例对本发明进行描述。多个实施例可以彼此结合使用。在以下描述中，给出多个具体细节以提供对本发明的全面理解。 然而，对于本领域普通技术人员显而易见的是，本发明可以在不局限于这些具体细节的情况下进行实践。在其他情况下，对已知的方法和结构没有进行详细描述以避免对本发明造成不必要的混淆。图1示出了根据本发明实施例的用于减少低分辨率的空间可缩放子带/小波编码中的混叠的系统的简化框图。如这里所使用的编码可以包括编码和/或解码。图1示出了以处理低通子带信号分量为重点的视频信号编码。总体而言，系统100包括第一组子带分析滤波器组和第二组子带分析滤波器组108。第一组子带分析滤波器组包括子带分析低通滤波器OT(ω)) 104和下采样器106。与传统的子带/小波编码系统类似，输入视频序列 103首先被子带滤波器组分解为子带表示。为了生成低通子带，子带分析低通滤波器104被配置为对输入视频序列103进行低通滤波以形成低通滤波信号105，并且下采样器106被配置为对低通滤波信号105进行下采样以形成低通子带信号107。第二组子带滤波器组108 将低通子带信号107进一步分解为混叠子带分量109和无混叠子带分量110。应当理解的是，在不背离系统100的范围的情况下，图1所描绘的系统100可以包括额外组件并且这里所描述的一些组件可以被移除和/或修改。
现在对系统100的细节进行描述。如图1所示，输入视频序列103表示全分辨率视频信号。对系统100的每个阶段中所生成的每个信号示出一个空间维度的能量谱。例如， 输入视频序列103的能量谱103a包括跨0和π之间的整个频率范围的频率分量。为了生成低通子带，输入视频序列103首先被输入到子带分析低通滤波器104，生成低通滤波信号105。随后使用下采样器106对低通滤波信号105进行下采样(例如，通过在每个空间维度中的因数2的下采样)以生成低通子带信号107。由于子带分析低通滤波器104并不是完美的半带滤波器，所以在低通子带信号107中引入了混叠子带分量113， 这在低通子带信号107的能量谱107a中示出。注意，混叠子带分量113分布在高频范围附近。低通子带信号107接着由第二组子带分析滤波器组108进一步进行处理。第二组子带滤波器组108将低频无混叠子带分量110与高频混叠子带分量109分离开。如111 所示，接着对无混叠子带分量进行编码以生成低分辨率编码的视频信号，其可以被用作SVC 信号的基本信号或层0信号。其余的混叠子带分量109与下一个更高分辨率的子带(未示出)相结合，并如112所示在诸如SVC信号的层1的下一个更高分辨率层进行编码。根据示例，图1所示的第二组子带滤波器组108可以由一阶离散小波变换(DWT) 和与之级联的对每个高通子带进一步执行的H. 264/AVC 4X4离散余弦变换(DCT)所构成， 提供更好的子带划分以及改进的频率选择性。使用该子带滤波器组108所产生的子带划分 400在图4A中示出。第二组子带滤波器组108的输出混叠子带分量109对应于图4A中由斜线区域所指示的混叠子带分量405。如图1所示，这些是如混叠子带分量113的频谱所指示的低通子带信号的高频分量。根据另一个示例，第二组子带滤波器组108可以由一阶DWT和与之级联的对每个高通子带执行的另一个一阶DWT所构成，在所产生的无混叠子带分量110的频谱中产生大小约为η/4的盲区。使用第二组子带滤波器组108所产生的子带划分410在图4Β中示出。 第二组子带滤波器组108的输出混叠子带分量109对应于图4Β中由斜线区域所指示的混叠子带分量406。然后表示以低分辨率分解的源信号的无混叠分量110由低分辨率编码器(未示出)进行低分辨率编码111以形成如关于图1所描述的编码的无混叠信号。然而，与下一组更高分辨率子带组合的混叠子带分量109在下一个更高分辨率层(未示出)进行高分辨率编码112。下一个更高分辨率层和编码的无混叠信号随后可以被多路复用以形成可缩放视频。图2是示出根据实施例的可分离的第二组子带/小波滤波器组108(图1)的框图。输入视频帧首先分别由低通分析滤波器(h0[n])和高通分析滤波器(hi [η])进行处理，随后为沿垂直方向的下采样操作，生成中间信号210。中间信号210接着分别由低通分析滤波器和高通分析滤波器进行处理，随后为沿水平方向的下采样操作，以特定分辨率对视频帧版本生成四个子带(LL 211、HL 222、LH 223和HH 224)。该处理通常被称作小波/ 子带分解。子带滤波器组106中所使用的滤波器可以属于小波滤波器族或者正交镜像滤波器(QMF)族。图1中的子带分解操作可以递归地应用于来自之前分解阶段的低通子带LL 以形成多分辨率的表示。在SVC系统中，用于表示当前分辨率等级的每组子带可以被合成以形成下一个更高分辨率级的LL子带。
图3示出了包括每个分解级中的子带的SVC信号表示的不同层。这方面由图3示出，其中最高分辨率层的子带由后缀-1所指示，并且基本或最低层为LL-2。H和W分别代表全分辨率视频帧的高度和宽度。高度和宽度分别以从0至H-I和0至W-I来度量。针对帧内子带/小波视频编码，当前系统可以与H. 264/AVC国际标准的附件G中所定义的H. 264/AVC SVC系统进行集成。这样，当前系统可以通过重复使用许多现有的标准编码工具而有效地实施。图5是示出利用H. 264/AVC SVC工具进行帧内视频编码的当前系统500的实施例的框图。如图5所示，系统500包括DWT 502、子带滤波器组503、基本层纹理编码器504、第一增强层编码器505、第二增强层编码器506和多路复用器(muX)509。系统500由此提供了性能提高的空间可缩放编码。针对三个层的空间可缩放编码对系统500 进行说明，其中去除了在第二分辨率层中的混叠失真。应当理解的是，在不背离系统500的范围的情况下，图5所描绘的系统500可以包括额外组件并且这里所描述的一些组件可以被移除和/或修改。根据实施例，如图5所示，输入视频信号501由DWT 502使用二阶前向离散小波变换进行分解。接着，依据当前的H. 264/AVC可缩放扩展，使用例如基本层纹理编码器504的低分辨率编码器将所产生的最低频率子带编码为兼容H. 264/AVC的比特流。以下一个更高分辨率，子带滤波器组503将每个高通子带进一步分解为无混叠子带分量507和混叠子带分量508。接着使用第一 H. 264/AVC SVC增强层编码器505在第一增强层(未示出)对无混叠子带分量507进行编码。混叠子带分量308与最高频率子带相结合，并且在例如第二 H. 264/AVC SVC增强层编码器的高分辨率增强编码器被编码进第二增强层(三层可缩放视频中的全分辨率层)。低分辨率编码器和高分辨率增强编码器包括H. 264/MPEG AVC标准中所定义的片内编码工具。将会显而易见的是，在不背离系统100和500的范围的情况下，系统100和500可以包括没有示出的额外部件并且这里所描述的一些部件可以被去除、替换和/或修改。还应当显而易见的是，图1和5的实施例中所描述的一个或多个部件可以是可选的。现在将关于以下图6-7中所描绘的方法600-700的流程图对可以采用系统100和 500来减少编码中的混叠的方法示例进行描述。对本领域普通技术人员将会显而易见的是， 方法600-700表示一般性说明，并且在不背离方法600-700的范围的情况下可以增加其它步骤或者可以去除、修改或重新排列现有步骤。而且，关于系统100和500对方法600-700 进行描述是作为示例而非限制，并且方法600-700可以在其它系统中使用。方法600-700中所给出的一些或所有操作可以被包含为存储在任意期望的计算机可读介质中并且由计算机系统上的处理器所执行的一个或多个计算机程序。可以被用来存储可操作以实施本发明的软件的示例性计算机可读介质包括但不限于传统计算机系统的RAM、ROM、EPROM、EEPR0M、硬盘或其它数据存储设备。在步骤601，第一组子带滤波器组在输入视频序列103中接收全分辨率源视频帧。 第一组子带分析滤波器组包括子带分析低通滤波器104和下采样器106。输入视频序列103 可以由多个源视频帧所构成。随后，在步骤602，第一组子带滤波器组对全分辨率源视频帧执行子带/小波变换以生成全分辨率源视频帧的子带表示。子带表示包括低通子带和多个高通子带。在步骤603，第二组子带滤波器组108将以上步骤602中所生成的低通子带分解为混叠子带分量和无混叠子带分量。根据实施例，第二组子带滤波器组108可以形成诸如系统500的与H. ^4/AVC SVC 扩展相集成的系统的一部分。第二组子带滤波器组108可以对低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带。第二组子带滤波器组108可以对下一个分解级的三个高通子带中的每一个执行4X4DCT。第二组子带滤波器组108可以使用如图 4B所示的滤波器对低分辨率信号107进行滤波。根据另一个实施例，第二组子带滤波器组108对低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带。随后，第二组子带滤波器组108对下一个分解级的三个高通子带中的每一个执行一阶DWT。该实例中的子带滤波器组108可以对如图 4A所示的低分辨率信号107进行滤波。在步骤604，使用低分辨率编码器对无混叠子带分量110进行编码以形成基本层比特流(未示出)。在步骤605，可以将混叠子带分量与下一个更高分辨率子带进行组合以形成高分辨率增强信号。例如，如关于图4所描述的，混叠子带分量可以与子带LH-1、HL-I和HH-I 进行组合。此后，在步骤608，经组合的混叠子带可以在下一个更高分辨率层进行编码以形成高分辨率增强信号。在步骤606，可以对高分辨率增强信号进行编码以形成增强层比特流(未示出)。
在步骤606，例如可以使用图5中的mux 509将增强层比特流和基本层比特流与编码的无混叠信号进行多路复用以形成可缩放的视频比特流(未示出)。方法700提供了对编码的无混叠信号进行解码以形成低分辨率视频或低分辨率帧的过程。在步骤701，低分辨率解码器(未示出)接收基本层比特流。例如，如图5所示的系统500可以在多路复用之后发送可缩放视频比特流。可以在对可缩放视频比特流进行解多路复用之后接收基本层比特流。基本层比特流包括无混叠子带分量和未编码的子带。在步骤702，低分辨率解码器将未编码的子带中的系数设置为零。在步骤703，低分辨率解码器对编码的无混叠子带分量进行解码以形成解码的子带。此后，在步骤704，低分辨率解码器对解码的子带执行子带合成以恢复低分辨率视频帧。 该低分辨率视频帧可以具有最小混叠子带分量或者没有混叠子带分量。本发明的实施例提供了在恢复的低分辨率视频中具有减小的混叠失真的子带/ 小波空间可缩放编码系统和方法。因此，当与传统的子带/小波编码系统相比时，本系统和方法在保持全分辨率的整体性能的同时在较低分辨率解码的压缩效率和视觉质量方面提供了提高的性能。虽然贯穿当前公开的全文进行了特定的描述，但是本发明的代表性实施例具有宽范围的应用性，并且以上讨论并非意在也不应当被理解为限制，而是作为本发明各方面的说明性讨论而给出。这里已经描述和说明了本发明的实施例及其一些变化形式。这里所使用的术语、 描述和示图仅作为说明而给出并非表示限制。本领域技术人员将会认识到，在本发明的精神和范围之内可以进行多种变化，其中本发明意在由权利要求及其等同形式所限定，在权利要求中除非另外指示，否则所有术语都表示其最为宽泛的合理含义。
权利要求
1.一种用于在解码的低分辨率视频中具有减少的混叠的空间可缩放子带编码的系统， 所述系统包括第一组子带分析滤波器组，被配置为 在输入视频序列中接收全分辨率源视频帧，并且对所述全分辨率源视频帧执行子带分析，生成低通子带和多个高通子带； 第二组子带分析滤波器组，被配置为将所述低通子带分解为无混叠子带分量和混叠子带分量；以及低分辨率编码器，被配置为对所述无混叠子带分量进行编码并且生成基本层比特流。
2.如权利要求1所述的系统，进一步包括 高分辨率增强编码器，被配置为将所述混叠子带分量和无混叠子带分量的可选的改进与所述多个高通子带组合以形成组合的高分辨率增强信号；并且对所述组合的高分辨率增强信号进行编码以生成增强层比特流。
3.如权利要求1所述的系统，进一步被配置为通过将来自之前阶段的低分辨率无混叠信号递归地作为权利要求1的所述输入视频序列中的所述全分辨率源视频帧进行处理而将所述低分辨率视频分解为更低分辨率的层。
4.如权利要求1所述的系统，其中所述第二组子带滤波器组包括一阶离散小波变换(DWT)，对所述低通子带执行所述一阶离散小波变换以形成下一个分解级的低通子带和三个高通子带；以及4X4离散余弦变换(DCT)，对所述下一个分解级的所述三个高通子带中的每一个执行所述4X4离散余弦变换。
5.如权利要求1所述的系统，其中所述第二组子带滤波器组包括对所述低通子带执行的一阶DWT以形成下一个分解级的低通子带和三个高通子带；以及对所述下一个分解级的所述三个高通子带中的每一个执行的一阶DWT。
6.如权利要求2所述的系统，其中所述低分辨率编码器和所述高分辨率增强编码器包括H. 264/MPEG4 AVC标准中所定义的片内编码工具。
7.如权利要求1所述的系统，进一步包括 低分辨率解码器，被配置为接收所述基本层比特流； 将未编码的子带中的所有系数设置为零； 对所述编码的无混叠子带信号分量进行解码；并且执行子带合成以恢复低分辨率视频帧。
8.一种用于在解码的低分辨率视频中具有减少的混叠的空间可缩放子带编码的方法， 所述方法包括在第一组子带分析滤波器组接收输入视频序列中的全分辨率源视频帧； 对所述全分辨率源视频帧执行子带分析以生成低通子带和多个高通子带； 使用第二组子带分析滤波器组将所述低通子带分解为无混叠子带分量和混叠子带分量；以及使用低分辨率编码器对所述无混叠子带分量进行编码以生成基本层比特流。
9.如权利要求8所述的方法，进一步包括将所述混叠子带分量和无混叠子带分量的可选的改进与所述多个高通子带进行组合以形成组合的高分辨率增强信号；并且对所述组合的高分辨率增强信号进行编码以生成增强层比特流。
10.如权利要求8所述的方法，进一步包括通过将来自之前阶段的所述低分辨率无混叠信号递归地作为权利要求8的所述输入视频序列中的所述全分辨率源视频帧进行处理而将所述低分辨率视频分解为更低分辨率的层。
11.如权利要求8所述的方法，其中进一步分解所述低通子带包括对所述低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带；以及对所述下一个分解级的所述三个高通子带中的每一个执行4X4DCT。
12.如权利要求8所述的方法，其中进一步分解所述低通子带包括对所述低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带；以及对所述下一个分解级的所述三个高通子带中的每一个执行一阶DWT。
13.如权利要求8所述的方法，在低分辨率解码器接收所述基本层比特流； 将未编码的子带中的所有系数设置为零； 对所述编码的无混叠子带信号分量进行解码；并且执行子带合成以恢复低分辨率视频帧。
14.一种在其上含有一个或多个计算机程序的计算机可读存储设备，当由计算机系统执行时，所述一个或多个计算机程序实现一种用于减少解码的低分辨率视频中的混叠的方法，所述一个或多个计算机程序包括一组指令用于使用第一组子带分析滤波器组接收输入视频序列中的全分辨率源视频帧； 对所述全分辨率源视频帧执行子带分析以生成低通子带和多个高通子带； 使用第二组子带分析滤波器组将所述低通子带进一步分解为无混叠子带分量和混叠子带分量；以及使用低分辨率编码器对所述无混叠子带分量进行编码以生成基本层比特流。
15.如权利要求14所述的计算机可读存储设备，进一步包括指令以用于将所述混叠子带分量和无混叠子带分量的可选的改进与所述多个高通子带进行组合以形成组合的高分辨率增强信号；并且对所述组合的高分辨率增强信号进行编码以生成增强层比特流。
16.如权利要求14所述的计算机可读存储设备，进一步包括指令以用于通过将来自之前阶段的所述低分辨率无混叠信号递归地作为权利要求8的所述输入视频序列中的所述全分辨率源视频帧进行处理而将所述低分辨率视频分解为更低分辨率的层。
17.如权利要求14所述的计算机可读存储设备，其中进一步分解所述低通子带包括对所述低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带；以及对所述下一个分解级的所述三个高通子带中的每一个执行4X4DCT。
18.如权利要求14所述的计算机可读存储设备，其中进一步分解所述低通子带包括 对所述低通子带执行一阶DWT以形成下一个分解级的DWT低通子带和三个高通子带；以及对所述下一个分解级的所述三个高通子带中的每一个执行一阶DWT。
19.如权利要求14所述的计算机可读存储设备，进一步包括指令以用于 在低分辨率解码器接收所述基本层比特流；将未编码的子带中的所有系数设置为零； 对所述编码的无混叠子带信号分量进行解码；并且执行子带合成以恢复低分辨率视频帧。
全文摘要
一种系统包括第一组子带滤波器组、第二组子带滤波器组、低分辨率基本编码器和高分辨率增强编码器。第一组子带滤波器组对全分辨率源视频帧执行子带分析以生成由低通子带和多个高通子带所构成的子带表示。第二组滤波器组将低通子带分解为混叠子带分量和无混叠子带分量。低分辨率编码器对无混叠子带分量进行编码以生成具有最小混叠子带分量或没有混叠子带分量的编码的视频信号。来自第一组滤波器组的高通子带、混叠子带分量以及无混叠子带分量的可选的改进被高分辨率增强编码器进行编码以提供用于以全分辨率恢复视频的进一步信息。
文档编号H04N7/12GK102396218SQ201080008633
公开日2012年3月28日 申请日期2010年2月17日 优先权日2009年2月19日
发明者S-T·向 申请人:摩托罗拉移动公司