专利名称：把视频图像序列编码为不同空间分辨率的分波段系数的方法和装置的制作方法
技术领域：
本发明涉及把一个视频图像序列编码为各种不同的空间分辨率的分波段系数的方法和装置。
本发明还涉及相关的译码方法和装置。
更确切地说，本发明属于使用动态补偿的和一些通过变换为离散子波的时间变换的一个数字图像序列的编码范畴。
数字图像序列的编码范畴里的某些算法提出了多种解决方案以连接两个图像之间的点。
这些算法使用通过离散地分解成子波动态补偿时间滤波。这些算法首先通过视频图像序列的图像之间的子波进行一种时间变换，然后空间地分解那些合成的时间分波段。更确切地说，视频图像序列被分解成两个图像组偶数图像和奇数图像，当进行子波时间变换时，一个运动场在每个偶数图像和(或)被使用的最近的奇数图像之间被估计。那些偶数图像和奇数图像以重复的方式彼此动态地补偿以便获得一些时间分波段。可以重复进行组的创建和动态补偿的这个过程以便产生子波分解的不同级。时间图像然后借助子波分析滤波器在空间上被滤波。
获得对时间-空间分波段的整体分解的结果。运动场和那些时间空间分波段最终以对应于目标分辨率的级的恢复级被编码并被传送。
根据这些算法，量化和平均信息量的编码的阶段在分解之后进行。不直接用在所要求的恢复级的分辨率的空间的或时间的高频分波段的系数被取消。
当视频图像序列的各种不同图像之间的运动是一种移动或转动型的运动时，属于一个比恢复级的分辨率更高的分辨率的高频系数可能被忽略，而没有赝象出现，当视频图像序列重建时。
当视频图像序列的各种不同图像之间的运动是一种膨胀或收缩型的运动时，本发明的发明者们注意当图像序列重建时，属于一个比恢复级的分辨率更高的一个分辨率的一些高频系数的取消创建一些赝象。
本发明的目的是通过提出一种视频图像序列的编码和译码的方法和装置来克服现有技术的缺陷，所述的方法和装置当视频图像序列的图像之间存在收缩或膨胀运动时来改善视频图像序列重建。
为此目的，根据一个第一方面，本发明提出使一种视频图像序列编码成为各种不同的空间分辨率的分波段系数的方法，所述编码方法形成由至少一个恢复级构成的至少一个数据流，此恢复级包含其空间分辨率等于恢复级的空间分辨率的一些分波段系数。其特征在于此方法具有在至少一个恢复级里空间分辨率高于恢复级的空间分辨率的分波段系数的插入阶段。
相关地，本发明涉及把一个视频图像序列编码为各种不同空间分辨率的分波段系数的装置，此编码装置形成由至少一个恢复级构成的至少一个数据流，此恢复级包含其空间分辨率等于恢复级的空间分辨率的分波段系数。其特征在于此装置包括一些在至少一个恢复级里空间分辨率高于恢复级的空间分辨率的分波段系数的插入设备。
因此，视频图像序列的重建被改善，这甚至在收缩或膨胀运动存在于视频图像序列的图像之间时。
根据本发明的另一方面，分辨率高于恢复级的空间分辨率的分波段系数在一个恢复级里的插入事前地做好之后，对分波段的每个系数来说，获得一个有效空间分辨率，把每个有效地空间分辨率与恢复级的空间分辨率相比较，而在恢复级里插入的分波段系数是一些其有效空间分辨率低于恢复级的空间分辨率的系数。
因此，可能从有效的空间分辨率出发确定那些应该被插入的系数和因此减小传送的或存储的数据量。
根据本发明的另一个方面，通过确定分波段的每个系数的一个准分辨率和通过一个系数所属的分波段的空间分辨率除以系数的准分辨率来获得一个系数的有效空间分辨率。
因此，对于分辨率水平来说，系数的有效贡献被正确地估计了。
根据本发明的另一个方面，针对每个系数来确定准分辨率，通过在每一个图像和至少视频图像序列的图像附近的一个图像之间估计一个运动场。同时针对视频图像序列的每个图像的每个信息块，在图像的信息块和在至少一个邻近图像中对应的信息块之间确定至少一个膨胀系数。给一个信息块的准分辨率赋值为1，如果信息块的膨胀系数等于1，或者使一个信息块的准分辨率有下列值的最大值值1，图像的信息块和在至少一个邻近的图像里对应的信息块之间膨胀系数的值。
根据本发明的另一方面，确定一个信息块的膨胀系数通过把信息块与多个三角形关联，同时针对每个三角形，在信息块里的三角形的各个顶点和在邻近图像里对应的三角形的各顶点之间确定一个仿射变换，对每个三角形来说确定三角形的膨胀系数，通过计算三角形的仿射变换的行列式和从与信息块关联的三角形的膨胀系数出发确定信息块的膨胀系数。
因此，可能简单地检测膨胀或收缩运动并考虑这些运动。
根据本发明的另一个方面，把视频图像序列编码为各种不同空间分辨率的分波段系数通过离散地分解成子波和时间滤波进行的，而数据流是由多个恢复级构成的一个可分级的数据流。
因此，可以以分级方式传送被编码的视频图像序列。
根据本发明的另一方面，视频图像序列事前已被编码在一个数据集合里，这个数据集合包括各种不同空间分辨率的分波段的系数，形成多个数据流，这些数据流由一个恢复级构成并包括一些分波段系数，这些系数的空间分辨率等于恢复级的一个空间分辨率，以及包括一些大于恢复级的空间分辨率的空间分辨率的分波段系数。
因此，可能进行被编码的一个视频图像序列的代码转换和提供给顾客们一个适合他们需要的数据流。
根据本发明的另一个方面，把被插入到一个恢复级里的分波段的每个系数的空间分辨率插入到数据流中。
本发明还涉及用时间滤波和离散地分解成子波的方法获得的一个数据流的一种译码方法，此数据流由至少一个恢复级构成，此恢复级包括一些分波段系数，这些分波段的空间分辨率等于恢复级的一个空间分辨率，其特征在于此译码方法包括以下阶段-在至少一个恢复级里，大于恢复级的空间分辨率的空间分辨率的分波段系数的获得，-其空间分辨率等于恢复级的一个空间分辨率的分波段系数和大于恢复级的空间分辨率的空间分辨率的一些分波段系数的合成。
相关地，本发明涉及用时间滤波和离散地分解成子波的方法获得的数据流的一个译码装置，此数据流由至少一个恢复级构成，此恢复级包括其空间分辨率等于恢复级的一个空间分辨率的一些分波段系数，其特征在于此装置包括-在至少一个恢复组里获得大于恢复级的空间分辨率的空间分辨率的分波段系数的设备，-其空间分辨率等于恢复组的一个空间分辨率的分波段系数和空间分辨率大于恢复级的空间分辨率的分波段系数的合成设备。
根据本发明的另一方面，分辨率大于恢复级的空间分辨率的分波段系数的事前合成后，对于分波段每个系数来说，获得一个有效的空间分辨率。把每个有效空间分辨率与恢复级的空间分辨率相比较，而合成后的分波段系数是一些其有效空间分辨率小于恢复级的空间分辨率的系数。
因此，联系着收缩或膨胀运动的那些赝象减少了。
根据本发明的另一方面，分波段的每个系数的有效空间分辨率是通过在数据流里读它而获得。
因此，译码器不需要计算有效空间分辨率。
本发明还涉及一个信号，所述信号包括一个被编码成为各种不同空间分辨率的分波段系数的视频图像序列。此信号形成由至少一个恢复级构成的至少一个数据流。恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，其特征在于这个信号在至少一个恢复级里包括一些其空间分辨率大于恢复级的空间分辨率的分波段的系数。
本发明还涉及一个信号的一种存储方法或一种传输方法，此信号包括被编成为各种不同空间分辨率的分波段系数的一个视频图像序列。信号形成由至少一个恢复级构成的至少一个数据流。此恢复级包括一些其空间分辨率等于恢复级的一个分辨率的分波段系数，而其中，信号在至少一个恢复级中具有一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
译码方法和装置的优点与编码方法和装置的优点相同，它们将不被重新回顾了。
本发明还涉及存储在一信息介质上的计算机程序。上述的程序包括一些指令，当这些被一个信息系统装载和执行时，能实施前面已描述的那些方法。
上述提及的本发明的特点以及其它特点，在阅读对一个实施例的下面的描述时将更清楚地显现出来。上述描述是与那些附图联系在一起进行的，在这些图中-
图1表示根据本发明的用动态地补偿时间滤波和离散地分解成子波的一个视频编码器的方框图；-图2表示能够按照参考图3和图8描述的算法执行编码和译码算法的一个信息的和(或)远程通信的装置的方框图；-图3表示用根据本发明的离散地分解成子波获得的系数适当选择算法；-图4表示用根据本发明的动态地补偿滤波和离散地分解成子波的方法获得的图像的一个例子；-图5a和图5b表示一个图像的一个信息块与多个三角形的联合；-图6是被分解成空间分波段的一个时间分波段的描述，而在这些空间分波段中各种不同的有效空间分辨率是根据本发明被确定的；-图7表示根据本发明的用动态补偿时间滤波和离散地分解成子波的一个视频译码器的方框图；-图8表示根据本发明编码的一个数据流的译码算法。
图1表示用根据本发明的动态补偿时间滤波和离散地分解成子波的一个视频编码器的方框图。
动态补偿时间滤波和离散地分解成子波的视频编码器(10)能够把一个视频图像序列(15)编码成一个可分级的数据流(18)。一个可分级的数据流是一种流量在它当中那些数据是以可能传送一种描述的方式被安排的。这种描述根据接收数据的使用类型在图像的分辨率和(或)质量方面是可变的。包括在这个可分级的数据流里的那些数据被编码以便保证以可分级的或以英语术语“scalable”方式传输视频图像序列，无论是在质量方面还是在分辨率方面，而这不需要进行视频图像序列的各种不同的编码。因此可能只存储在一个数据介质上和(或)只传输对应于一个恢复级的可分级的数据流(18)的一部分朝向一个远程通信终端，当远程通信网的流量小的时候和(或)当远程通信终端不需要高质量和(或)高的分辨率时候。当远程通信网的流量大和当远程通信终端需要高质量和(或)高分辨率的时候，也可能把可分级的数据流(18)的整体存储在一个数据介质上和(或)朝着一个远程通信终端传输，而这是从同样的可分级数据流(18)出发的。
根据本发明，视频编码器(10)包括一个动态补偿时间滤波模块(13)。此模块把N个图像的一组变成两个图像组，例如一个低频(N+1)/2图像组和一个高频N/2图像组并从由视频编码器(10)的一个运动估计模块(11)进行的运动估计出发改变这些图像。在图4上表示的一个视频图像序列，它是由图像Im1，Pa1，Im2和Pa2构成的。这个视频图像序列被分成一个包括图像Im1和Im2的奇数图像组和一个包括图像Pa1和Pa2的偶数图像组。
运动估计模块(11)在每个奇数图像和视频图像序列的那些邻近的图像之间进行运动估计。动态补偿时间滤波模块(13)动态地补偿偶数图像以便时间滤波是尽可能有效的。实际上，在一个图像的一个预测和图像之间的差别越小，它将越有效地被压缩，也就是说，以流量和图像畸变之间有一个好的折衷方案或者等价地说，压缩率对重建质量有一良好比例。
这里应该注意到作为变型，当Haar滤波器被用于离散地分解成子波时，运动估计是按照图像和邻近的一个图像之间的一个唯一方向进行的。
运动估计模块(11)对每个图像来说计算例如在一个图像和邻近图像之间的一个运动场，并以非限制性的方式通过从一个奇数图像的信息块朝那些偶数图像建立对应关系。这项技术是以英语术语“信息决匹配”而著名的。当然，其它的技术可以被使用例如用点阵结构的运动估计技术。在用信息块估计的特殊情况下，信息块的运动值可以被分配到一个图像的信息块的每个象素。作为变型，信息块的加权的运动矢量以及邻近信息块的加权的运动矢量根据以OBMC(Overlapped Block Motion Compensation)(重叠信息块运动补偿)命名的著名技术被分配到信息块的每个象素。
动态补偿时间滤波模块(13)在图像之间进行一离散地分解成子波以便把视频图像序列分解成多个时间分波段，分布在一个或多个分辨率水平上。离散地分解成子波自动循环地在时间分波段的低时间分波段上作用，只要所希望的分散水平没有达到。因此，根据图4的例子，和在使用Haar滤波器的情况下，图像Im1和Pa1被分解以便形成标记为T-L1的一个低的时间分波段和标记为T-H1的一个高的时间分波段。同样，图像Im2和Pa2也被分解以便形成标记为T-L2的一个低的时间分波段和标记为T-H2的一个高的时间分波段。第二个离散地分解成子波在时间分波段T-L1和T-L2上作用以便形成标记为T-LL的低时间分波段和标记为T-LH的高时间分波段。
通过动态补偿时间滤波模块(13)获得的那些各种不同的时间分波段被转移到一个离散地分解成子波的模块(14)上，此模块进行这些时间分波段的一个空间分散。因此，根据图4的例子，时间分波段T-H1被分解成一个低频分波段T-Hs-LL和三个高频分波段J-Hs-LH，T-Hs-HL和T-Hs-HH。时间分波段T-LH被分解成一个低频分波段T-LHs-LL的三个高频分波段T-LHs-LH，T-LHs-HL和T-LHs-HH而分波段T-LHs-LL再一次被分解成一个低频分波段T-LHs-LLLL和三个高频分波段T-LHs-LLLH，T-LHs-LLHL和T-LHs-LLHH。时间分波段T-LL被分解成一个低频分波段T-LLs-LL和三个高频分波段T-LLs-LH，T-LLs-HL和T-LLs-HH而分波段T-LLs-LL被再一次分解成一个低频分波段T-LLs-LLLL和三个高频分波段T-LLs-LLLH，T-LLs-LLHL和T-LLs-LLHH。
时间分波段T-H2被分解成一个低频分波段T-H’s-LL和三个高频分波段T-H’s-LH，T-H’s-HL和T-H’s-HH。这些分波段没有被表示在图1上。
分波段T-Hs-LL再一次被分解成一个低频分波段和三个高频分波段T-Hs-LLLH，T-Hs-LLHL和T-Hs-LLHH。这些分波段没有被表示在图1上。
分波段T-H’s-LL再一次被分解成一个低频分波段T-H’s-LLLL和三个高频分波段T-H’s-LLLH，T-H’s-LLHL和T-H’s-LLHH。这些分波段没有被表示在图1中。
视频编码器(10)也包括一个准分辨率计算模块(12)。这个准分辨率计算模块(12)把被运动预测模块(11)确定的一个图像的每个信息块与四个三角形相关联。从一个例如在图5a上表示的信息块和它邻近的信息块出发，准分辨率计算模块(12)形成在图5b上的四个标记为51，52，53和54的三角形。
从由运动场估计模块(11)确定的和已经与连接那些三角形的信息块相关联的运动矢量出发，准分辨率计算模块(12)为每个三角形确定一个膨胀系数。一个三角形的膨胀系数Pt通过用作用在一个图像的一个三角形上的一个仿射变换表示两个邻近图像之间的一个三角形的运动获得，以便获得三角形在邻近图像里的一个投影。一个仿射变换可以表示可能在两个图像之间出现的运动，这些运动是平移，转动和比例变化。
仿射变换在这里以一个矩阵3*3的形式被表示并能够从根据下列公式在图像里顶点的坐标(x，y)出发在附近图像里获得三角形的每个顶点的从标(x’，y’)x′y′1=m00m01m02m10m11m12001xy1]]>一个三角形的膨胀系数通过计算矩阵的行列式获得ρt=(detm00m01m10m11)1/2]]>信息决的膨胀系数ρ然后从与这个信息块关联的三角形的膨胀系数出发，由准分辨率计算模块(12)来确定。信息块的膨胀系数ρ例如通过计算三角形的膨胀系数ρt的平均值或作为变型通过把三角形的膨胀系数ρt的最大值派作膨胀系数ρ用。也应该注意在另一个变型里，信息块的每个象素可以与一个膨胀系数相关联，这个膨胀系数根据膨胀系数ρt的值确定，这些膨胀系数ρt分别由分开与信息块相关联每个三角形的象素距离的倒数加权。
准分辨率计算模块(12)对于图像的每个信息块和对于视频图像序列(15)的每一个图像进行这些操作。
膨胀系数ρ被确定后，准分辨率计算模块(12)确定一个标记为PR的准分辨率从这个膨胀系数出发。如果膨胀系数ρ等于1，运动就被认为是一个平移或一个转动，准分辨率PR被赋值为1。如果膨胀系数ρ不是1，准分辨率等于下面值的最大值数目1；在正在处理的图像和信息决和视频图像序列(15)里的前面的图像中对应的信息块之间的膨胀系数的值；在正在处理的图像的信息块和视频图像序列(15)里下一个图像里对应的信息块之间的膨胀系数的值。
这里应该指出例如当一些时间分散滤波器必须有一个数目更大的图像被动态补偿时间滤波模块(13)使用时或当时间变换在多个分散水平上进行时，准分辨率也可能在时间上被合成，通过使运动保持在更重大的时间接近。
这里也应该注意例如当一些Haar时间分解滤波器被动态补偿的时间滤波模块(13)使用时，准分辨率PR等于下列值中的最大值数目1；在正在处理的图像的信息块和在视频图像序列(15)里的前面的图像里对应的信息块之间的膨胀系数的值。
准分辨率计算模块(12)对视频图像序列的每一个图像的每个信息块确定一个准分辨率PR。
动态补偿的时间滤波和离散分解成子波的视频编码器(10)也包括一个有效空间分辨率计算模块(16)，这个模块(16)为了用离散地分解成子波模块(14)分散的每个空间分波段的标记为c的每个系数来说确定一个标记为rse(c)的有效空间分辨率。有效空间分辨率计算模块(16)把空间地对应于系数的空间坐标的信息块的准分辨率连接到每个系数c。这个准分辨率被标记为pr(c)。
一个系数的有效空间分辨率通过用与系数c关联的准分辨率除系数数c的空间分辨率pr(c)来确定。这个有效空间分辨率被标记为rse(c)。
我们用一个系数的空间分辨率表示这个系数所属的分波段的空间分辨率。因此，根据图4的例子，分波段T-Hs-LH，T-Hs-HL，T-Hs-HH，T-LHs-HH，T-LHs-LH，T-LHs-HL，T-LLs-HH，T-LLs-LH和T-LLs-HL的系数有一个等于1的空间分辨率。分波段T-Hs-LL，T-LHs-LL的系数然后再被分解，T-LLs-LL然后再被分解，而T-LHs-LLHH，T-LHs-LLLH，T-LHs-LLHL，T-LLs-LLHH，T-LLs-LLLH和T-LLs-LLHL都有一个等于二分之一的空间分辨率。分波段T-LHs-LLLL和T-LLs-LLLL的系数有一个等于四分之一的空间分辨率。对于一个分解的分波段的每个系数来说，有效空间分辨率的确定在图6上作为参考更详细的被阐述。
图6是被分解成空间分波段的一个时间分波段的描述，而在这些空间分波段中各种不同的有效空间分辨率是根据本发明被确定的。
图6的时间分波段(600)是例如图4的时间分波段T-LL。时间分波段(600)被分解成一个空间分辨率为1的分波段T-LLs-LH610a，一个空间分辨率为1的分波段T-LLs-HH610b，一个空间分辨率为1的分波段T-LLs-HL610c和一个空间分辨率为二分之一的分波段T-LLs-LL610d。分波段T-LLs-LL610d被分解成一个空间分辨率为二分之一的分波段T-LLs-LLLH620a，一个空间分辨率为二分之一的分波段T-LLs-LLHH620b，一个空间分辨率为二分之一的分波段T-LLs-LLHL620c和一个空间分辨率为四分之一的分波段T-LLs-LLLL630。
时间分波段(600)的那些区(612)，(622)和(632)对应于时间分波段(600)的对应的一个图像的一个区。对此，准分辨率的确定模块(12)确定了一个准分辨率为2。时间分波段(600)的区(615)，(625)和(635)对应于时间分波段(600)的对应的一个图像的一个区，对此，准分辨率的确定模块(12)确定了一个为4的准分辨率。
包括在区612a，612b和612c里的系数的有效空间分辨率等于二分之一，包括在区域615a，615b，615c里的系数的有效空间分辨率等于四分之一的，包括在区域622a，622b和622c里的系数的有效空间分辨率等于四分之一，包括在区域625a，625b和625c里的系数的有效空间分辨率等于八分之一，包括在区域632里的系数的有效空间分辨率等于八分之一，而包括在区域635里的系数的有效空间分辨率等于十六分之一。
包括在分波段610a，610b，610c里的系数，除去包括在区域612和615里的系数之外，都有一个为1的有效空间分辨率对应于它们的空间分辨率。
包含在620a，620b，620c里的系数，除去包含在区域622和655的系数之外，都有一个与它们的空间分辨率相对应的等于二分之一的有效空间分辨率。
包括在分波段630里的那些系数，除了包括在区域632和635里的系数之外，都有一个四分之一的有效空间分辨率，对应于它们的空间分辨率。
动态补偿的时间滤波和离散地分解成子波的视频编码器(10)也包括一个判定模块(17)。这个判定模块(17)，从为了每个系数计算的有效空间分辨率出发和从目标恢复分辨率出发(为此可分级数据流(18)由渐进流量生成模块(19)形成)，对于恢复级或正在处理的分辨率级来说，决定高频的那些系数应该被引入可分级的数据流(18)里。
传统地，根据图4的例子，可分级的数据流(18)是由分辨率的三级构成的。标记为Niv N的第一恢复级包括那些低频分波段T-LLs-LLLL，T-LHs-LLLL，T-Hs-LLLL和T-H’s-LLLL。这个恢复级对应于视频图像序列的恢复的最低分辨率，在恢复的分辨率为四分之一的情况下。标记为Niv N-1的恢复的第二级包括高频的那些分波段T-Hs-LLHL，T-Hs-LLLH，T-Hs-LLHH，T-H’s-LLHL，T-H’s-LLLH，T-H’s-LLHH，和高频分波段T-LHs-LLLH，T-LHs-LLHL，T-LHs-LLHH，T-LLs-LLLH，T-LLs-LLHL和T-LLs-LLHH。这个恢复级对应于视频图像序列(18)的一个居中的分辨率，在分辨率为二分之一的情况下。标记为Niv N-2的第三恢复级包括图4的用参量Niv N-2指示的所有其它的分波段。这个恢复级对应于视频图像序列(18)的一个最大分辨率在分辨率为一的情况下。
根据本发明，判定模块(17)插入到一个恢复级里，除了传统地包括在恢复级的空间分辨率级里的分波段之外的其它高频分波段的高频系数。为此，判定模块(17)对每个分波段的每个系数来说，把系数的有效空间分辨率与恢复级的空间分辨率进行比较。如果系数的有效空间分辨率大于恢复级的空间分辨率，系数就不被包括在恢复级里。如果相反，系数的有效空间分辨率小于或等于恢复级的空间分辨率，系数就被包括在恢复级里，如果它先前没有被包括在一个恢复级里。
因此，根据图6的例子，当恢复级是N级时，即分辨率为四分之一，包括在标记为622a，622b，622c，625a，625b，625c，615a，615b，et615c的区域里的那些系数被插入到在这个恢复级上的可分级的数据流(18)里，除了图4上标记为Niv N的频率分波段的系数之外。
当恢复级是N-1级，即分辨率为二分之一时，包括在标记为612a，612b，612c区域里的系数被插入到在这个恢复级上的可分级的数据流里，除了图4上标记为Niv N-1的分波段的系数之外。这里应该注意包括在标记为615a，615b和615c的区域里的系数不被插入到这个恢复级上，因为它们已经在前面的一个恢复级上。
判定模块(17)把所希望的一个恢复级的形成所必须的各种不同的分解分波段的系数以及如同应该被插入转移到渐进流量生成模块(19)到所希望的恢复级里所确定的系数。
渐进流量生成模块(19)形成一个可分级的数据流，从判定模块(17)接收的数据出发和由估计模块(11)转移的运动场出发。
在一个实施变型中，渐进流量生成模块(19)把如同应该被插入到一个恢复级里所确定的每个系数的有效空间分辨率插入到可分级的数据流里。
渐进流量生成模决(19)把可分级的数据流(18)编码通过使用一个流量-图像畸变最优化算法如同在文件里所描述的编码器所使用的算法。此文件为“High Performance Scalability Image Compression withEBCOT(用EBCOT高性能标量性图像压缩)”David Taubman IEEETransactions on Image Processing，Vol 9，1，July，2000。
传统地，一个这们的编码器改变一个系数组的量化以便使一个最大的图像畸变约束下的流量减到最小。这个优化由拉格朗日公式表现出来min{θs}R({θs})+λD({θs})其中，R为流量，D表示图像畸变而θs是对一个分波段的编码参数公差。
根据本发明的一个特殊方面，当流量-图像畸变之间达到优化时，每个系数的准分辨率就被保持，渐近流量生成模块(19)给可分级的数据流(18)编码，通过进行如下一个优化min{θs}R({θs})+f(c)λD({θs})其中，f(c)是加权因子，能给系数c的图像畸变加权。加权因子的值越高，在系数上的图像畸变就越减弱。
优先地，f(c)＝(pr(c))2如果系数的有效空间分辨率小于或等于恢复级的空间分辨率。
在一个实施变型中，系数的选择和编码被融合通过假定f(c)＝0如果系数的有效空间分辨率大于恢复级的空间分辨率。
图2表示能够按照在参考图3和图8上描述的算法执行编码和译码算法的一个信息和(或)远程通信的装置的方框图。
这个信息和(或)远程通信装置(20)适合从一个软件出发进行在一图像序列上的动态补偿的时间滤波，以便形成一些时间分波段，并能够进行一时间分波段的空间分散，以便形成一些具有一些系数的高频和低频空间分波段。装置(20)能够形成一个可分级的数据流，在此数据流中，空间分波段的一些高频系数被插入到至少一个恢复级里，其分辨率与传统上包括在恢复级里的分波段的分辨率不同。
装置(20)也能够从一个软件出发进行反向的动态补偿的时间滤波在一可分级的数据流上，并能够处理包括在一个恢复级中的高频系数，其分辨率与包括在恢复级里的分波段的分辨率不同，以便形成一个视频图像序列。装置(20)也能够确定插入到可分级的数据流(18)里的每个系数的空间分辨率。
作为变型装置(20)能够对某些高频系数来说在可分级的数据流(18)里检测系数的一个有效空间分辨率的有代表性的一些信息，以便形成空间分波段的一个视频图像序列(15)从时间分波段空间分波段出发，并检测一些系数，其有效空间分辨率被安插到可分级的数据流(18)里。
装置(20)例如是一个微机。它也可以被纳入到视频图像序列一个显像设备里例如一个电视机或其它任何信息集生成装置目的是例如电视，手机这样的一些终端接收器。
装置(20)包括一个通信总线(201)在它上面连接着一个处理器(200)，一个只读存储器(202)，一个随机存取存储器(203)，一个屏幕(204)，一个键盘(205)，一个硬盘(208)，一个数字视频盘读录器或DVD(209)一个远程通信接口(206)。
硬盘(208)存储执行本发明的程序以及存储能根据本发明编码和(或)译码的那些数据。
以更普通的方式，根据本发明的那些程序被存储到一个存储设备里。这个存储设备可以被一个计算机或一个微处理器(200)阅读。这个存储设备被纳入到或不被纳入到装置里，并且是可以拆卸的。
当装置(20)带电时，根据本发明的那些程序被转移到随机存取存储器(203)里，这时此存储器(203)包含着本发明的可执行的编码以及执行本发明所必需的数据。
装置(20)能够读通信接口(206)收接到的视频图像序列，并能够以符合本发明的一个可分级的数据流的形式给这个序列编码。
装置(20)能够读通信接口(206)接收到的或借助DVD阅读器(209)从DVD盘阅读的可分级数据流，并能给此数据流译码，以符合本发明的视频图像序列的方式。
图3表示根据本发明用离散地分解成子波的方法获得的系数的适当的选择算法。
编码和(或)译码装置(20)的处理器(200)根据以术语“lifting”(面部去皱纹手术)而著名的技术进行时间滤波和分解成分波段。
在E300阶段上，装置(20)的处理器(200)对视频图像序列的每个图像计算在一个图像和它的邻近图像之间的一个运动估计。这个运动估计例如是通过从一个图像的信息块朝邻近的每一个图像建立联系的运动估计。处理器是以用图1上描述的编码器的估计模块(11)进行的方式相同的方式进行一次运动估计。
在下一个阶段E301上，处理器进行动态补偿的时间滤波。处理器(200)在图像序列的那些图像之间进行离散的分解成子波，以便把视频图像序列分解成好几个分布在一个或好几个分辨率级上的时间分波段。处理器(200)以用与图1的动态补偿的时间滤波模块(13)进行的方式同样的方式进行动态补偿时间滤波。
在下一阶段E302上，处理器(200)进行在E301阶段上获得的时间分波段的空间分解，以便形成一些低频和高频分波段。这个空间分解是以图1的用离散地分解成子波模块(14)进行的方式相同的方式进行的。
在下一阶段E303上，处理器(200)把用运动预言模块确定的每个信息块连接在四个三角形上以与通过图1的编码器(10)的准分辨率计算模块(12)进行的方式同样的方式。
在下一阶段E304上，处理器(200)为每个三角形确定一个膨胀系数ρt以与通过图1的编码器(10)的准分辨率计算模块(12)进行的方式相同的方式。
在下一阶段E305上，处理器(200)确定正在处理的信息块的膨胀系数ρ，从与此信息决连接的三角形的膨胀系数出发，以与通过图1的编码器(10)的准分辨率计算模块(12)进行的方式相同的方式。
在下一阶段E306上，处理器(200)从在阶段E305上被确定的膨胀系数ρ出发计算正在处理的图像的每一个信息块的标记为PR的准分辨率。标记为PR的准分辨率的计算是以与用图1的准分辨率计算模块(12)进行的方式相同的方式进行的。
处理器(200)对正在处理的图像的每一个信息块，对每一个时间分解级和对每一个时间图像进行E303至E306的阶段。
在下一阶段E307上，处理器(200)阅读在E302阶段上分解的高频分波段并在E308阶段上，在每个高频空间分波段的每个系数c上连接空间地对应于系数的空间坐标的信息块的准分辨率pr(c)。
在下一阶段E309上，处理器(200)对每一个高频分波段的每个系数通过用系数的准分辨率除系数的空间分辨率来计算每个系数c的标记为rse(c)的有效空间分辨率。
在下一个阶段E310，处理器(200)在高频分波段的系数中间确定应该被插入到可分级的数据流里的高频分波段的系数。处理器(200)在一个恢复级里以与用图1的判定模块(17)进行的方式相同的方式插入除了传统地包括在恢复级里的那些高分波段以外的其它高分波段的高频系数。
在下一阶段E311上，处理器(200)分配一个加权系数f(c)给每个系数c。这个加权系数f(c)能使每个系数c的畸变加权。分配给每个系数c的加权系数f(c)与图1上作为参考描述的加权系数是相同的。它将不被过多地描述了。
在阶段E312上，处理器(200)进行通常的恢复级的平均信息量的编码以便形成一个可分级数据流(18)，从对应于所希望的恢复级的各种不同分波段的系数出发，形成在阶段E310上确定的一些系数和在阶段E300上估计的一些运动场。
在阶段E313上，处理器(200)检验可分级数据流的一个另外的恢复级是否应该被编码。在肯定的情况下，处理器(200)重复由阶段E310至E313构成的循环，只要所有的分辨率级没有被处理。在否定的情况下，处理器(200)停止本算法。
图7表示根据本发明用动态补偿的时间滤波和离散地分解成子波的一个视频译码器的方框图。
用动态补偿的时间滤波和离散地分散成子波的视频译码器(70)能够阅读一个可分级数据流(18)并把这个数据流译码成一种符合本发明的视频图像序列(115)的形式。
用动态补偿时间滤波和离散地分散成子波的方法的视频译码器(70)或译码器(70)包括一个流量分析模块(708)。这个流量分析模块(708)进行可分级数据流(18)的平均信息量的译码并从这样译码的可分级数据流提取包括在可分级数据流(18)里的各种不同的运动场，以便把它们转移到准分辨率计算模块(702)和运动场的存储模块(701)。流量分析模块(708)从译码的可分级数据流提取包括在可分级数据流里的各种不同分波段的系数，以及已被编码器(10)插入到符合本发明的通常的恢复级的系数。流量分析模块(708)转移那些提取的系数到合成模块(704)上。这里应该注意在一个实施变型中，流量分析模块(708)也提取那些与每个系数关联的和被编码器(10)插入到符合本发明的通常的恢复级的有效空间分辨率并把它们转移到判定模块(707)。
准分辨率计算模块(702)使四个三角形与正在处理的图像的每个信息决关联以与用图1的准分辨率计算模块(12)进行的方式同样的方式进行。从运动场出发，对于一个图像的每个信息块来说，运动场是由在正在处理的图像和它前面的邻近的图像之间的运动矢量以及在图像和它后面邻近的图像之间的运动矢量组成的，准分辨率计算模块(12)能够在通常的图像里和在邻近的那些图像里确定三角形顶点的位置，并以与编码器(10)的准分辨率模块(12)相同的方式计算每个三角形的膨胀系数ρt。准分辨率计算模块(702)计算每个信息块的膨胀系数ρ以与编码器(10)的准分辨率模块(12)同样的方式。
准分辨率计算模块(702)从一个信息块的膨胀系数ρ出发，以与编码器(10)的准分辨率模块(12)同样的方式确定信息块的准分辨率PR。
译码器(70)也包括一个有效空间分辨率计算模块(706)。这个模块(706)为了从流量分析模块(708)收到的每个高频空间分波段的每个系数c确定一个标记为res(c)的有效空间分辨率。有效空间分辨率计算模块(706)把空间地对应于系数的坐标的信息块的准分辨率与每个系数关联。有效空间分辨率计算是与由图1的编码器(10)的有效空间分辨率模块(16)进行的计算相同的。每个系数的有效空间分辨率被有效空间分辨率计算模块(706)转移到判定模块(707)。
译码器(70)为正在处理的图像的每个信息块为每个时间分解级，为每个时间图像进行膨胀系数计算，准分辨率计算和有效准分辨率计算。
判定模块(707)，从为每个系数计算的有效空间分辨率出发，和从正在处理的可分级数据流量(18)的恢复分辨率出发，确定什么样的高频系数应该被离散子波合成模块合成。为此，判定模块(707)为每个分波段的每个系数把系数的有效空间分辨率跟正在处理的恢复级的空间分辨率比较。如果系数的有效空间分辨率大于恢复级的空间分辨率，系数就不被转移到离散子波合成模块(704)。如果，相反，系数的有效空间分辨率小于或等于恢复级的空间分辨率，系数就被转移到离散子波合成模块(704)上。
因此，根据图6的例子，当恢复级是N级时，假设分辨率为四分之一，包括在标记为622a，622b，622c，625a，625b，625c，615a，615b和615c的区域里的系数被判定模块(707)转移到离散子波合成模块(704)上。
离散子波合成模决(704)合成被流量分析模块(708)传送的各种不同分波段的系数以及由判定模块(707)传送的系数。
根据图6的例子，和当恢复级是N级时，离散子波合成模块(704)合成从流量分析模块(708)收到的分波段T-LLs-LLLL，跟一个包括那些被包含在区域622a和625a里的系数而其它系数为零的高的分波段。一个包括那些被包括在区域622b和625b里的系数而其它系数为零的高的分波段，和一个包括那些被包括在区域622c和625c里的系数而其它系数为零的高的分波段一起，以便形成一个与分波段630等效的分波段。离散子波合成模决(704)把先前形成的分波段，此高频分波段包括那些包含在区域615a里的系数而其它的系数为零的高的分波段，一个包括那些包含在区域615b里的系数而其它的系数为零的高的分波段，和一个包括那些包含在区域615c里的系数而其它的系数为零的高的分波段合成在一起以便形成一个超分辨率的时间分波段，也就是说一个其空间分辨率大于所要求的空间分辨率的分波段。
优选地，这些超分辨率的时间分波段被转移到动态补偿反向时间滤波模块(703)上。此模块(703)进行根据“脸部去皱纹手术”的技术的时间滤波，以便重建用本发明的编码器编码的视频图像序列的各种不同的图像。动态补偿反向时间滤波模块(703)从高频时间分波段出发，从低频时间分波段和在存储模块(701)里存储的运动估计出发形成一个视频图像序列。
作为变型，超分辨率的时间分波段，事先地转移到动态补偿反向时间滤波模块(703)上，被粗采样，以便这些分波段有跟所要求的空间分辨率同样的空间分辨率。被插入的空间高频因此被重新整合到那些图像里当在译码器处实现精细采样时。
这样形成的视频图像序列然后被转移为了这个序列的显像。
这里应该注意在一个实施例子里，当那些有效空间分辨率的各种值被传送到可分级的数据流中时，译码器(70)可以不拥有准分辨率计算模块(702)和有效空间分辨率计算模块(706)。
图8表示根据本发明的一个第一实施方式根据本发明被编码的一个数据流的译码算法。
编码和(或)译码装置(20)的处理器(200)根据以术语“lifting”(脸部去皱纹手术)而著名的技术进行反向时间滤波和离散子波合成。
处理器(200)能够读出根据本发明事先被编码的可分级数据流(18)，并能够给这个数据流译码以符合本发明的一个视频图像序列的形式。
在E800阶段上，处理器(200)确定恢复级的空间分辨率并进行可分级数据流(18)的一个平均信息量的译码。
在E801阶段上，处理器(200)从被这样译码的可分级数据流里提取包括在可分级数据流里的各种不同的低的分波段的系数。
在E802阶段上，处理器(200)从被这样译码的可分级数据流里提取那些包括在可分级数据流里的各种不同的高频分波段的系数以及那些符合本发明的被编码器(10)插入到通常的恢复级的系数。
在E803阶段上，处理器(200)从这样译码的可分级的数据流里提取包括在此数据流里的各种不同的运动场。
这里应该注意在一个实施变型中，流量分析模块(708)也提取那些与每个系数关联的有效空间分辨率，它们被编码器(10)插入到符合本发明的通常的恢复级。
在E804阶段，处理器(200)为高分波段的每个系数计算系数的有效空间分辨率的值。系数的有效空间分辨率的计算以与用准分辨率计算模块(702)和有效空间分辨率计算模块(706)进行的同样方式被进行。
在E805阶段，处理器(200)进行高频系数的一次预先选择。这种预选在于确定那些高频系数，它们应该被离散子波合成来合成。为此，处理器(200)为了每个分波段的每个系数把系数的有效空间分辨率跟正在处理的恢复级的空间分辨率相比较。如果系数的有效空间分辨率大于恢复级的空间分辨率，系数就不被保留为了被合成。如果相反，系数的有效空间分辨率小于或等于恢复级的空间分辨率，系数就被预先选择为了被合成。
在E806阶段上，处理器(200)在预选的那些系数中间选择将被合成的那些系数。这种选择是例如按照装置(20)的特点进行的。
在E807阶段上，处理器(200)进行一个离散的子波合成并合成在阶段E801和E802上读到的各种不同的分波段以及在阶段E806上所选择的系数。离散子波合成是与为了译码器(70)的离散子波合成模块(704)所描述的合成同样的。在离散子波合成完成后，一些超分辨率的时间分波段被形成。
根据一种更优选的方式，在下一阶段E808上，处理器(200)进行一个动态补偿的反向时间滤波。处理器(200)进行一个根据“lifting”(脸部去皱纹手术)的技术的时间滤波以便重建由本发明的编码器编码的视频图像序列的各种不同的图像。处理器(200)从超分辨率的高频时间分波段低频时间分波段和在E803阶段上读到的运动估计出发，形成一个视频图像序列。
作为变型，超分辨率的时间分波段是事先在E808阶段上，以这些分波段有与所要求的空间分辨率同样空间分辨率的方式被粗采样的。当在译码器那里实现精细采样时，被插入的空间高频率因此重新整合到图像里。
这样形成的视频图像序列然后为了这个序列的显像而被转移。
在一个实施变型中，本发明的编码器不处理视频图像序列，但处理视频图像序列的具有代表性的数据集。数据集包括各种不同空间分辨率的分波段的系数。编码器确定包括在数据集里的每个系数的有效空间分辨率，以与前面描述过的方式同样的方式。编码器形成多个的数据流。每个数据流都由一个恢复级构成，这个恢复级包括其空间分辨率等于恢复级的一个空间分辨率的一些分波段系数和一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
编码器把其有效空间分辨率小于恢复级的空间分辨率的那些系数插入到至少一个分辨率级里。
当然，本发明并不局限在此所述的实施方式，而与之相反包含涉及本领域普通技术人员可以想到的任何变型。
权利要求
1.把视频图像序列编码为各种不同空间分辨率分波段系数的方法，此编码方法形成由至少一个恢复级构成的至少一个数据流，此恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，其特征在于，该方法包括插入到至少一个恢复级里的一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
2.根据权利要求1的方法，其特征在于，事先把一些其分辨率大于恢复级的空间分辨率的分波段系数插入到一个恢复级里，此方法包括以下各阶段-针对对每个分波段系数，获得一个有效空间分辨率；-每个有效空间分辨率与恢复级的空间分辨率的比较，并且，那些被插入到恢复级里的分波段系数是一些其有效空间分辨率小于恢复级的空间分辨率的系数。
3.根据权利要求2的方法，其特征在于，一个系数的有效空间分辨率的获得阶段划分为下列阶段-对每个分波段系数确定一个准分辨率，-用系数的准分辨率除分波段的系数的空间分辨率。
4.根据权利要求3的方法，其特征在于，对于准分辨率的每个系数的确定阶段被分成下列阶段-在每个图像和视频图像序列的图像的至少一个邻近图像之间，估计一个运动场，-对于视频图像序列的每个图像的每个信息块，在图像信息块和在至少一个邻近的图像里对应的信息块之间确定至少一个膨胀系数，-如果信息块的膨胀系数等于1，一个信息块的准分辨率被定值为1，-一个信息块的准分辨率被定值为下列各值的最大值数值1，在图像信息块和在至少一个邻近的图像里对应的信息块之间的膨胀系数的值。
5.根据权利要求4的方法，其特征在于，一个信息块的膨胀系数的确定阶段分成为以下阶段-信息块与多个三角形的关联，-对于每个三角形，在信息块里的三角形的那些顶点和在从运动场出发的邻近图像里对应的三角形的顶点之间一个仿射变换的确定，-对于每个三角形，通过计算三角形的仿射变换的行列式，三角形的膨胀系数的确定，-从与信息块关联的三角形的膨胀系数出发，信息块的膨胀系数的确定。
6.根据权利要求1至5中任一项的方法，其特征在于，把视频图像序列编码成为各种不同空间分辨率分波段的系数是用离散的分解成子波和时间滤波的方法进行的，并且数据流是一个可分级的由多个恢复级构成的数据流。
7.根据权利要求1至5中任一项的方法，其特征在于，视频图像序列事先被编码到一个数据集里，此数据集包括各种不同空间分辨率的分波段的系数，其中所述方法形成由一个恢复级构成的，并包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，以及一些其空间分辨率大于恢复级的空间分辨率的分波段系数的多个的数据流。
8.根据权利要求2至7中任何一项的方法，其特征在于，该方法还包括一个插入阶段，在此阶段，被插入在一个恢复级里的分波段的每个系数的有效空间分辨率被插入到数据中。
9.用时间滤波和离散地分解成子波的方法获得的一个数据流的译码方法，此数据流由至少一个恢复级构成，此恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，其特征在于，该方法包括下列阶段-在至少一个恢复级里，其空间分辨率大于恢复级的空间分辨率的分波段系数的获得，-一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数和一些其空间分辨率大于恢复级的分辨率的分波段系数的合成。
10.根据权利要求9的方法，其特征在于，事先在其分辨率大于恢复级的空间分辨率的分波段系数的合成阶段，所述方法包括下列阶段-为分波段的每个系数，一个有效空间分辨率的获得，-每个有效空间分辨率与恢复级的空间分辨率相比较，并且那些被合成的分波段系数是一些其有效空间分辨率小于恢复级的空间分辨率的系数。
11.根据权利要求10的方法，其特征在于，分波段的每个系数的有效空间分辨率是通过读出在数据流里的有效空间分辨率而获得的。
12.根据权利要求10的方法，其特征在于，一个系数的有效空间分辨率的获得阶段分成下列阶段-对分波段的每个系数的一个准分辨率的确定，-一个系数所归属的分波段的空间分辨率被系数的准分辨率除。
13.根据权利要求12的方法，其特征在于，对每个系数确定准分辨率的阶段，它可分成下列阶段-从数据流里读出在每个图像和视频图像序列的图像的至少一个邻近的图像之间的运动场，-对视频图像序列的每个图像的每个信息块，确定在信息块和在至少一个邻近的图像里对应的信息块之间的至少一个膨胀系数，-如果信息块的膨胀系数等于1，一个信息块的准分辨率被定值为1，-一个信息块的准分辨率被定为下列值的最大值数值1，在图像的信息块和在至少一个邻近图像里对应的信息块之间的膨胀系数的值。
14.根据权利要求13的方法，其特征在于，一个信息块的膨胀系数的确定阶段分成下列阶段-信息块与多个三角形关联，-对每个三角形，从运动场出发在信息块里三角形的顶点和在邻近图像里对应的三角形的顶点之间的一个仿射变换的确定，-对每个三角形，通过计算三角形的仿射变换的行列式三角形膨胀系数的确定，-从与信息块关联的三角形的膨胀系数出发，信息块的膨胀系数的确定。
15.编码装置，用于把视频图像序列编码成为各种不同空间分辨率的分波段系数，所述编码装置形成由至少一个恢复级构成的至少一个数据流，此恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，其特征在于此装置包括一些插入设备，这些设置在至少一个恢复级里插入一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
16.译码装置，用于通过时间滤波和离散分解成子波的方法获得的一个数据流的译码，所述数据流由至少一个恢复级构成，恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，其特征在于，所述装置包括-在至少一个恢复级里，获得其空间分辨率大于恢复级的空间分辨率的分波段系数的设备，-一些其空间分辨率等于恢复级的空间分辨率的分波段系数，和一些其空间分辨率大于恢复级的空间分辨率的分波段系数的合成设备。
17.存储在信息介质上的计算机程序，上述程序包括一些当它们被一个信息系统装载和执行时能够实施根据权利要求1至8中任何一项的方法的指令。
18.在一个信息介质上存储的计算机程序，上述程序包括一些当它们被一个信息系统装载和执行时能够实施根据权利要求9至14中任何一项的方法的指令。
19.包括视频图像序列的信号，该序列被编码成为各种不同空间分辨率的分波段系数，所述信号形成由至少一个恢复级构成的至少一个数据流，此恢复级包括一些其空间分辨率等于恢复级的空间分辨率的分波段系数，其特征在于，在至少一个恢复级里，此信号包括一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
20.信号的传送方法，所述信号包括被编码成为各种不同的空间分辨率的分波段系数的视频图像序列，此信号形成由至少一个恢复级构成的至少一个数据流，此恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，并且其中此信号在至少一个恢复级里包括一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
21.包含视频图像序列信号的存储方法，所述视频图像序列被编码成为各种不同空间分辨率的分波段系数，此信号形成由至少一个恢复级构成的至少一个数据流，此恢复级包括一些其空间分辨率等于恢复级的一个空间分辨率的分波段系数，并且其中，此信号在至少一个恢复级里包括一些其空间分辨率大于恢复级的空间分辨率的分波段系数。
全文摘要
本发明涉及把一个视频图像序列编码为各种不同空间分辨率的分波段系数的方法，其中，形成由至少一个恢复级(N－2级，N－1级，N级)构成的至少一个数据流(18)，此恢复级包括一些分波段系数，其空间分辨率等于恢复级的一个空间分辨率，其特征在于在至少一个恢复级里插入一些空间分辨率高于恢复级的空间分辨率的分波段系数。本发明还涉及相关的装置。
文档编号H04N7/26GK101032171SQ200580023519
公开日2007年9月5日 申请日期2005年6月28日 优先权日2004年7月13日
发明者S·帕特尤克斯, I·阿默诺, S·克瓦德克 申请人:法国电讯公司