专利名称：分级编码和解码方法
技术领域：
本发明涉及一种在水平和/或垂直方向上、以不同于2的因子对不同的非比例格式或比例格式的视频图像的分级编码和解码方法，更具体地，一种通过利用小波变换或DWT(离散小波变换的缩写)的空间分析的编码方法。例如，这涉及以SD(标准清晰度)格式和以高清晰度HD格式对数字电视信号的编码。
背景技术：
本发明的范围在于基于空间和/或时间可缩放图(还已知为“可缩放(scalable)”)的视频压缩。这涉及诸如2D+t小波编码，包括运动补偿时间滤波。分级编码实现了要相对于低分辨率格式获得的底层、以及与更高分辨率格式相对应的上层。
具有空间可缩放的视频编码器处于已知的领域中。由视频编码器所产生的数据流具有分级结构，使所需编码数据能够以单个的解码格式被传送或提取。这些编码器所涉及的视频格式是高分辨率的维数对应于低分辨率的维数的2的倍数的视频格式，这实现了二进分解。因此，通过包括高通和低通滤波和两个滤波后的图像的子采样的空间分解来获得具有176×144的维数和具有352×288的CIF格式的与QCIF格式(四相兼容中间格式)兼容的编码方法、或者与维数为704×576的CIF格式和4 CIF格式兼容的编码方法。
图1示出了根据现有技术的视频编码器的图。如同大多数2D+t子带编码图，例如MC-EZBC(运动补偿嵌入零块上下文的缩写)，编码系统的第一步骤在于在利用图像内的空间冗余之前利用连续图像之间的时间冗余。
将视频信号传送到时间分析电路1。运动估计电路2与该第一电路相连以估计两个图像之间的运动。将运动信息传送到电路1和编码电路6，例如，以运动矢量场的形式。电路1的输出被发送到空间分析电路3，该电路3执行DWT小波编码以便在每一子带提供数据。然后，由编码器4根据熵编码方法对该数据进行量化和编码。该编码方法可以是VLC型的(可变长度编码的缩写)或算术型的。
将编码信息和运动信息发送到打包电路或打包器5，其将视频数据以视频分组的形式进行发送以构成视频数据流。
打包电路的功能是根据其空间和时间频率、以及根据其尺寸(例如，其在比特平面编码方法中的权重)将分别来自熵编码电路和运动场编码电路的纹理和运动信息切割为一致的子集。因此，所获得的二进制流是可缩放的，独立于分辨率、场频率和保真度。
估计运动场对应于源的分辨率或不同时间分解等级的分辨率。
图2在总结的方式示出了由时间分析电路1执行的、还已知为MCTF(运动补偿时间滤波的缩写)的运动补偿时间滤波操作。在该示例中，针对来自包括粗线所示的16个图像的Group Of Picture和Group OfFrames的还被称为GOP或GOF的图像组执行4个等级的分解。
针对每一个分解等级更新的高频和低频滤波在第一时间分解等级分别产生了8个高时间频率图像(t-H)和8个低时间频率(t-L)图像。然后，再次根据相同的方法对低时间频率图像进行分解。这些图像的高通滤波在更高的时间分解等级处提供了4个高时间频率图像t-LH，而低通滤波提供了4个新的低时间频率图像t-LL。针对其他等级，依此类推。因此，该分解通过产生具有低时间频率t-LLLL的有用图像，实现了新的能量分布，这表示图像组的集合的平均，并且其中集中了能量、以及低能量高时间频率图像的四个等级的图像，即5个频带。这些图像被发送到空间分析电路以空间分解为子带。
在一个实施例中，作为利用采用了较长长度的线性滤波器的复杂滤波操作的替代，这里，对16个图像组执行滤波，实现了已知为“提升”的滤波。该滤波方法涉及按照已知的方式通过利用有限长度的滤波器(例如，如果选择使用涉及5个连续采样的滑动窗对采样进行滤波，则为5/3型的滤波器)，对滤波进行“因子分解”。
该缩放能够产生比特流，可以从中提取适合于诸如流、空间分解、时间频率等的数据集合的二进制子流。特别地，从在给定空间分辨率处实现的编码阈值中，空间缩放能够从得到的比特流中提取与更低空间分辨率相对应的二进制子流。例如，如果从720×480像素分辨率视频序列中生成原始缩放比特流，可以在从该比特流中提取适当的数据之后，获得自身可缩放的例如360×240像素分辨率的子流。该子比特流的解码将产生尺寸为360×240像素的视频。
从通过小波变换来执行子带切割的空间分析电路3获得空间缩放性。例如，在信号4 CIF的单个等级处的子带分解提供了与CIF格式相对应的较低频率信号LL。然而，如果高分辨率格式并不通过二进变换来与低分辨率格式相关，则高分频率格式或低分辨率格式下的图像部分并不用于编码。
发明内容
本发明的一个目的是克服上述缺点。
本发明的目的是提出一种根据不同的格式对视频源图像的分级编码方法，所述格式包括至少一个第一高分辨率图像格式和非比例或以不同于2的因子成比例的第二低分辨率图像格式，所述方法包括基于小波的空间分析步骤，包含对高分辨率格式处的图像的滤波操作、以及对滤波图像的水平和/或垂直抽取操作以提供子带信号，其特征在于抽取操作是根据不同于偶数值的因子执行的，并且对应于第一和第二格式的水平或垂直维数的商，从而使相对于低频子带信号获得的低频图像对应于第二格式。
根据特定的实施方式，该方法的特征在于其包括源图像的初始时间分析步骤，对源图像进行初始时间分析以提供高和低时间频率的图像，并对所述时间频率图像执行空间分析步骤。
根据特定的实施方式，该方法的特征在于高分辨率格式图像和/或低分辨率格式图像是根据源图像的二进小波变换获得的低频图像。
根据特定的实施方式，第一图像格式对应于Y行X像素，而第二格式对应于V行U像素，该方法的特征在于根据值为X/(X-U)的轴Xs或根据值为Y/(Y-V)的轴Ys执行抽取操作以提供高频子带信号(16，17，18)。
本发明还涉及一种根据与第一高分辨率图像格式和非比例或以不同于2的因子成比例的第二低分辨率格式相关的图像的子带信息来解码视频源图像的方法，所述方法包括基于小波的空间分析步骤，包含对从子带信号获得的低分辨率图像的水平和/或垂直过采样操作、以及对过采样图像的滤波以提供高分辨率图像，其特征在于过采样操作是根据不同于偶数值的因子执行的，且对应于第一和第二格式的水平和垂直维数的商。
根据特定的实施方式，该方法的特征在于低分辨率图像对应于高分辨率图像的低频子带信号。
根据特定的实施方式，该方法的特征在于从与该图像相关的低频和高频子带信号中通过空间合成来获得低分辨率图像。
由于特定的子采样因子以及在编码期间各向异性滤波为小波，所获得的子图像适合于可缩放的编码格式，即使这些格式不能够通过二进变换彼此互推。
在图像的轻微变换的互换时，对高分辨率图像的所有信息进行编码，并因而用于非类似维数的更低分辨率图像的显示。
从以下描述中其他特定特征和优点将清楚地出现，该描述被作为非限定性示例而提供且对附图进行参考，其中图1是根据现有技术的缩放编码图；图2是图像组的时间分解；图3是根据本发明的空间分析。
具体实施例方式
利用图3来描述根据本发明的空间分析电路3。通过图像的高通和低通滤波来获得不同的子带信号。使用滤波器来首先对行上的图像然后是列上的图像进行滤波。在每一个滤波操作之后对结果进行亚采样。在该示例中，实现了单个等级的子带分解，对应于在给出了两个滤波图像的行上的高通和低通滤波操作、以及在针对每一个滤波图像的列上的高通和低通滤波操作。由编码器传送的图像格式是诸如HD格式和SD格式。
以小波来分解处于1280个像素的720行的HD标准中、且与时间分解等级的高频图像(t-H、t-LH、t-LLH、t-LLLH)之一或来自时间分析电路1的最后等级的时间分解的低频图像(t-LLLL)相对应的高分辨率图像7。因此，在该图像7上执行高通水平滤波和低通水平滤波，以分别提供第一和第二滤波图像8和9。
然后，通过因子1280/720来水平对滤波图像9进行抽取，以提供720像素的720行的图像11。
通过因子1280/720来水平对滤波图像8进行抽取，以提供560像素的720行的图像10。
对该图像11执行高通垂直滤波和低通垂直滤波操作以分别提供第一和第二滤波图像14和15。
然后，通过因子720/240来垂直对滤波图像14进行抽取，以提供720像素的240行的图像18。
通过因子720/240来垂直对滤波图像15进行抽取，以提供720像素的480行的图像19。
对该图像10执行高通垂直滤波和低通垂直滤波操作以分别提供第一和第二滤波图像13和12。
然后，通过因子240/720来垂直对滤波图像13进行抽取，以提供560像素的240行的图像17。
另外，通过因子480/720来垂直对滤波图像12进行抽取，以提供560像素的480行的图像16。
图像20表示与所获得的子图像的组相对应的不同子带信号。
因此，根据要编码的缩放图像格式对小波分解方法进行适配。从最高分辨率的图像格式开始，空间分析方法对通过与最高分辨率格式的水平维数与最低分辨率格式的水平维数的比值相对应的因子的水平低通滤波所获得的图像进行水平抽取。因而获得的子带图像接下来经过了与最高分辨率格式的垂直维数与最低分辨率格式的垂直维数的比值相对应的因子的垂直低通滤波。该水平和垂直滤波次序可以反转。
这涉及各向异性滤波、具有不同的水平和垂直抽取比值的抽取操作。
更一般地，考虑将源图像编码为第一高分辨率格式和维数为Y行X像素，以及编码为至少一个第二低分辨率格式和维数为U行V像素，H和/或V分别低于X和/或Y。
各向异性滤波在滤波的不同步骤期间计算子带信息，然后进行抽取，从而与对应于低分辨率格式的子带低频率相关的子图像具有该格式的维数。能够获得编码的上层分辨率等级的补充高频子图像具有与获得该高分辨率格式的低频子图像的互补的维数。
因此，以根据低通滤波进行滤波的第一格式对图像进行因子为X/U的第一水平抽取，而对如此抽取且经过了第二低通滤波的图像进行因子Y/V的第二垂直抽取。因而获得的低频子图像具有与第二格式相对应的U列V行的维数。
自然地，第一格式可以为源图像的格式、或者在源图像的一个或多个二进小波变换之后所获得的格式。对于低分辨率格式的图像也是同样的。
通过应用附加抽取来获得附加到新频率子带信息的子带信息。
通过对第一格式的图像应用低通水平滤波、因子X/U的水平抽取、高通垂直滤波和因子Y/(V)垂直抽取滤波，来获得第一高频子带图像。
通过对第一格式的图像应用高通水平滤波、因子X(X-U)的水平抽取、低通垂直滤波和因子Y/(Y-V)的垂直抽取滤波，来获得第二高频子带图像。
通过对第一格式的图像应用低通水平滤波、因子X(X-U)的水平抽取、高通垂直滤波和因子Y/(Y-V)的垂直抽取滤波，来获得第三高频子带图像。
本发明还涉及一种空间合成方法、以及一种操作实现了该方法的空间合成电路的解码设备。
该方法从在与要解码的格式相对应的数据流中所选的子带或子图像信号中以反转次序来产生编码操作的阶段。
通过采用以上示例并通过假定解码涉及HD格式，处理的子带信号是与SD格式相对应的子图像LL、以及附加子图像LH、HL和LL。
利用与在相应子采样或抽取操作期间进行编码所用的因子相同的因子来执行过采样操作。
对LL信号执行因子720/480的垂直过采样以提供720行720像素的子带图像。对LH信号执行因子720/240的垂直过采样以提供720行720像素的子带图像。
然后，将垂直低通和高通滤波分别应用于两个过采样的图像LL和LH，以提供720行720像素的合成图像。以因子1280/720对图像进行水平过采样以提供720行1280像素的高频图像。
同样，对HL信号执行因子720/480的垂直过采样以提供720行560像素的子带图像。对HH信号执行因子720/240的垂直过采样以提供720行560像素的子带图像。
然后，将垂直低通和高通滤波分别应用于这两个过采样的图像HL和HH，以提供720行560像素的合成图像。以因子1280/720对图像进行水平过采样以提供720行1280像素的高频图像。
将720行1280像素的高频和低频图像分别应用于高通合成滤波器和低通合成滤波器以提供720行1280像素的高分辨率图像。
如上所述，该方法可以普及到低分辨率低频子带图像以获取更高分辨率的解码图像，过采样因子是先前针对抽取计算出的因子，以反转的次序来执行滤波和过采样操作以返回更高分辨率图像，符合上述示例。
该低分辨率图像对应于与高分辨率图像相关的低频子带信号。在存在一个或多个分辨率等级的情况下，如果低分辨率图像被认为并非最低分辨率图像，则根据与最低分辨率图像相关的子带信号、以及中间等级(如果存在)的高频子带信号，重新构造低分辨率图像，从整体上构造为针对该低分辨率图像的低频子带信号。
如上所述的编码和解码过程涉及两种格式。自然，在不脱离本发明的范围的情况下，可以设想将不同的滤波和抽取步骤应用于不由二进变换关联的多种图像格式，从而使针对不同等级的子带分解的低频子带信号对应于具有这些格式的子带。
根据时间分解1对高频和低频图像执行空间分析。自然地，可以设想直接对源图像或任意类型的时间分析之后所获得的图像采用空间分析方法。
权利要求
1.一种根据不同的格式对视频源图像的分级编码方法，所述格式包括至少一个第一高分辨率图像格式(7)和非比例或以不同于2的因子成比例的第二低分辨率图像格式，所述方法包括基于小波的空间分析步骤(3)，包含对高分辨率格式的图像的滤波操作、以及对滤波图像(8，9，12，13，14，15)的水平和/或垂直抽取操作以提供子带信号(16，17，18，19)，其特征在于抽取操作是根据不同于偶数值的因子执行的，并且对应于第一和第二格式的水平或垂直维数的商，从而使相对于低频子带信号如此获得的低频图像对应于第二格式。
2.根据权利要求1所述的方法，包括源图像的初始时间分析步骤(1)，对源图像进行初始时间分析以提供高和低时间频率的图像，其中对所述时间频率图像执行空间分析步骤(3)。
3.根据权利要求1所述的方法，其特征在于高分辨率格式图像和/或低分辨率格式图像是根据源图像的二进小波变换获得的低频图像。
4.根据权利要求1所述的方法，第一图像格式对应于Y行X像素，而第二格式对应于V行U像素，其特征在于根据值为X/(X-U)的轴Xs或根据值为Y/(Y-V)的轴Ys执行抽取操作以提供高频子带信号(16，17，18)。
5.一种根据与第一高分辨率图像格式和非比例或以不同于2的因子成比例的第二低分辨率格式相关的图像的子带信息来解码视频源图像的方法，所述方法包括基于小波的空间分析步骤，包含对从子带信号获得的低分辨率图像的水平和/或垂直过采样操作、以及对过采样图像的滤波以提供高分辨率图像，其特征在于过采样操作是根据不同于偶数值的因子执行的，且对应于第一和第二格式的水平和垂直维数的商。
6.根据权利要求5所述的解码方法，其特征在于低分辨率图像对应于高分辨率图像的低频子带信号。
7.根据权利要求5所述的解码方法，其特征在于通过空间合成，从与该图像相关的低频和高频子带信号获得低分辨率图像。
全文摘要
本方法包括基于小波的空间分析步骤(3)，包含对高分辨率格式处的图像的滤波操作、以及对滤波图像(8，9，12，13，14，15)的水平和/或垂直抽取操作以提供子带信号(16，17，18，19)，其特征在于抽取操作是根据不同于偶数值的因子执行的，并且对应于第一和第二格式的水平或垂直维数的商，从而使相对于低频子带信号获得(19)的低频图像对应于第二格式。本申请涉及可缩放编码。
文档编号G06T9/00GK1885945SQ200610092580
公开日2006年12月27日 申请日期2006年6月16日 优先权日2005年6月23日
发明者格温奈尔·马康, 纪尧姆·布瓦松, 热罗姆·维耶龙 申请人:汤姆森许可贸易公司