专利名称：用于视频序列压缩的编码方法
发明的领域本发明首先涉及一种用于压缩包括以帧组构成的连续帧的视频序列的编码方法，每一帧以三维(3D)小波变换的方式分解，从而引起给定数量的连续分辨率级，所述的编码方法依赖于被称为“分层树中的局部设定”(SPIHT)的分层子带编码处理并且将每一帧组图像元素(像素)的原始设定转换成利用二进制格式编码的小波变换系数并且形成了一锥状的层级结构，所述的系数(i，j)构成了一个空间暂态方向树，其根部为由3D小波变换产生的低频频率(或者近似子带)，并且由高频子带中的产物完成，所述树的系数排列成有关像素的局部设定并且与各自的有效级相应，所述的设定由量级测试的形式定义，这导致了有效信息在三个序列列表中的分类，这三个列表被分别称为无效设定列表(LIS)，无效象素列表(LIP)以及有效象素列表(LSP)，执行所述的测试从而将所述的原始像素设定依据分解过程分解成所述的局部设定，直至每一有效系数被编码成所述的二进制表示，并且所述的空间暂态方向树在所述的锥状层级结构中定义了空间暂态关系。
本发明也涉及一种包括以帧组构成的连续帧的视频序列的压缩编码方法，每一帧以三维(3D)小波变换的方式分解，从而引起给定数量的连续分辨率级，所述的编码方法依赖于分层子带编码处理并且将每一帧组的图像元素(像素)的原始设定转换成小波变换系数以形成一锥状的层级结构，一个空间暂态方向树-其根部由3D小波变换获得的近似子带像素值构成，这些像素中的每一个像素的支系由相应于图像容量的高级子带的像素构成，图像容量是由这些根象素定义-在所述锥形层级树中定义了空间暂态关系，所述的子带被按照在所述的空间暂态树中形成的衍生关系的顺序逐个扫描，“开/关”的标记被加入到所述空间暂态树的每一个系数(i，j)中，考虑到系数的最高有效位的逐级传输并且按照这种方式，即它们中至少其中的一个描述一套像素的状态，并且至少另一个描述一个单个的象素的状态。
发明的背景近来随着多媒体应用的发展，使得可伸缩性变成视频压缩方案中的最重要的功能。可伸缩性允许在嵌入的比特流中根据不同的需求和编码能力向接收机传输多级质量或者空间分辨率/帧速率。目前的标准象MPEG-4已经通过附加高成本层在帧结构的预测DCT中实现了可伸缩性。近来，随着空间暂态树的分层编码方法，许多基于三维小波分解的更有效的解决方法，像分层树中的局部设定法则(SPIHT)已经被建议作为静止图像编码方法的延伸(原始的SPIHT法则在“一种在层级树中基于局部设定的新的快速的有效的图像编码解码器”，A，Said，以及W.A.Pearlman，IEEE视频技术的电路以及系统学报，第6卷，n°3，1996，6，第243-250页中有所描述，以及将这种法则延伸到3D的情况，在“在层级树中使用三维局部设定(SPIHT)的嵌入小波视频编码器”，B.J.Kim，以及W.A.Pearlman，数字压缩会议记录，3月25-27，1997，Snowbird，Utah，USA，251-260页)。3D小波分解提供了一个自然的空间分辨率以及帧速率的可伸缩性，而在层级树中获得的系数的深入扫描以及位面编码导致了具有高压缩率的指定质量的可伸缩性。
SPIHT法则基于一个关键的概念根据减少的数量级将系数进行局部分类，以及利用自然图象中固有的自相似性通过小波分解的等级来预测有效信息的存在。这意味着在如果在小波分解的低级别中系数是无效的，那么在其他的级别中相应于同样区域的系数非常可能也是无效的。基本上，SPIHT是一种反复的计算法则，它利用被称为“有效级”的值，从在空间暂态分解树中的最大有效级别向下直到0，以不同的分辨率反复比较相应于同一图像位置的一组像素。对于一个指定的级别，或位面，要执行两个步骤分类步骤，在该步中寻找零树或者子树，并将无效与有效系数分类，以及精制步骤，它将有效系数的精确比特送出。SPIHT法则从分解的最高级别检查小波系数直至最低的级别。这相应于首先考虑位于最低级别子带的最重要的细节的系数，随着分辨率的增加，检查最小系数，该最小系数相应于精致的细节。这表明该法则的“分层”设计是正确的比特通过降低他们所代表的细节的重要性被发送，这样就形成了一个逐级的比特流。
一种树的结构，被称为空间方向树(在3D情况下或称为空间暂态)，定义了在小波系数的分层锥状树中的空间(或者空间暂态)关系。树的根部由低分辨率级的近似子带像素构成(“根”子带)，而相应于图像区域(在3D情况下为图像容量)的高层子带像素是由根像素定义的，并形成了该像素的衍生。在SPIHT法则的3D版本中，除了叶以外的每一子带的像素都具有8个子像素，而每一像素只有一个上级节点。在该法则中有一个例外在根部，在8个之外有一个像素没有子像素。接下来的符号表明了之间的衍生关系，在
图1中给出了它们之间的关系(三维情况下)，这里符号如下所示TF＝暂态帧，TAS＝暂态邻近子带，CFTS＝空间暂态邻近子带中的系数(或者根系数)，TDS.LRL＝分解中的最后分辨率级别上的暂态细节子带，以及TDS.HR＝高分辨率级别上的暂态细节子带O(x，y，z)节点(x，y，z)的直接子节点的坐标组；D(x，y，z)节点(x，y，z)的所有衍生节点的坐标组；H(x，y，z)所有空间暂态方向树的根节点的坐标(在锥状结构的高层级的节点空间暂态邻近子带)；L(x，y，z)＝D(x，y，z)-O(x，y，z)。
SPIHT计算法则利用了三个列表LIS(无效节点列表)，LIP(无效象素列表)，LSP(有效象素列表)。在这三个列表中，每一个输入都由坐标(x，y，z)来识别。在LIP与LIS中(x，y，z)代表一个单独的系数，而在LIS中它代表一个系数组为D(x，y，z)或者L(x，y，z)，其为空间暂态树的子级数。为了区分二者，如果它代表的是D(x，y，z)，则LIS的输入为类型A，如果它代表的是L(x，y，z)，贝LIS的输入为类型B。在第一步骤(分类步骤中)，LIP中的所有的像素都被检测，那些有效像素被移到LSP列表当中。同样的，在LIS中的有效象素也从列表LIS中被移出，分解成子集，放在LIS的末端，然后被依次检测。LSP包括将被“精制”的有效象素列表如果级别n中的象素为有效的，则系数的第n比特将被发送。
SPIHT方法被设计成提供与高的压缩比率相联系的可伸缩性的图像质量。但是，时间或者空间分辨率的可伸缩性在这种编码方法不发生变化的情况下无法获得。为了提高视频编码系统整个的压缩率，通常建议在零树编码模块中加入一个数学编码器。
为了使数学编码器有效，获得所有的对当前的像素有影响的信息是非常重要的，尤其是要获得与邻近像素有关的信息。这一信息在前后环境中表示。当扫描零树时执行的深入的搜索并没有利用子带中的冗余，并且增加了数学编码中相关上下文判断的难度。由一套逻辑条件管理的LIS，LIP，LSP列表的操作使得象素扫描的顺序难以预测。属于同一3D子级树但是来自于不同的空间暂态子带的像素被编码并被逐个放在列表当中，其具有将不同子带的像素合起来的作用。但是，却忽略了同一子带的像素之间的地理上的互相依存的关系。而且，由于空间暂态子带来自于空间或者暂态滤波，帧沿特许轴的方向被滤波，从而给出了细节的定向。这一定向相关在应用SPIHT法则时也被忽略了，因为扫描并不是按照地理顺序进行的。
在在先的于2000.5.3提交的欧洲专利申请，申请号为00401216.7(PHFR000044)中已经建议了一种用于编码空间暂态小波系数的新的方法，该方法源自于3D-SPIHT，但是它允许在编码方案中获得空间或者暂态分辨率可伸缩，还允许在上下文中有一个更好的选择。根据所述的先前的专利申请，建议的方法按照在空间暂态树中形成的衍生关系的顺序逐个扫描子带，并且标记开/关被加到空间暂态树的每一系数当中，为了构成一个实际的大小顺序的列表LIS，LIP，LSP要考虑系数的最高有效位的逐级传输。三个标记中至少一个表示象素组的状态，至少另一个表示单个像素的状态。
通过使用这种技术，保持了3D小波变换的最初的子带结构，加入到每一个系数的标记表示该系数属于LIS，LIP，LSP中的哪一个列表。但是，当使用所述的改进的SPIHT法则时，大部分的计算时间是花在一组像素的有效级的判断上所有的空间暂态树或者其子级树实际上都被检测了与相关的给定有效级别相比其为无效的次数，并且在每一级别中同样的操作重复了多次。
发明的概要本发明的目的是提供一种具有减少了的计算时间，并且成本较低的编码方法为此，本发明与在描述的介绍部分定义的方法有关，其特征在于，根据附录A中描述的计算法则(a)以最高子带的像素开始，以属于最低级子带的像素结束，在操作的初始化步骤中执行了所有的子带检测，并且在根像素中的所述树的每一子树的设定有效级SSL被计算并且存储，根据下述的程序如果系数(i，j)没有子节点，SSL(i，j)＝1；否则，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子节点相应于系数(i，j)，PSL是由下式给出的像素有效级PSL(i，j)＝floor(log2x(i，j))，(b)在分类步骤中，在SSL(i，j)以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求如果SSL(i，j)＜n，根为(i，j)的子树相对于n无效的，否则，子树为有效的。
在本发明的具有细微差别的另一实施例中，本发明与在介绍部分定义的方法有关，其特征在于，根据附录B中表示的计算法则(a)以最高子带的像素开始，以属于最低级子带的像素结束，在操作的初始化步骤中执行了所有的子带检测，并且在根像素中的所述树的每一子树的设定有效级SSL被计算，并且标记用于存储相应于设定有效级SSL的每一系数的值，根据下述的程序如果系数(i，j)没有子节点，SSL(i，j)＝1；否贝，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子节点相应于系数(i，j)，PSL是由下式给出的像素有效级PSL(i，j)＝floor(log2|x(i，j)|)，(b)在分类步骤中，在SSL(i，j)以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求如果SS(i，j)＜n，根为(i，j)的子树相对于n无效的，否则，子树为有效的。
无论如何执行，这种改进的方法都可以应用到基于零树判断的任何类型的编码法则，这大大降低了计算法则的主循环的计算时间。这需要提高存储器的大小，但是相对而言还是较小的。
附图的简要说明下面将参照附图描述本发明附图1表明了在3D情况下空间暂态树的衍生关系的实施例；附图2表明了2D情况下设定有效级别的计算实施例。
本发明的详细描述根据SPIHT计算法则，也依照在上文中提及的欧洲专利申请中描述的编码方法，在这里，LIS，LIP，LSP列表的扫描被子带扫描和标记说明所取代，在初始化的整个子带检测过程中要判断最高有效级别。这里建议利用整个过程计算并存储根像素中的每一子树的有效级别。
根据在先引用的文件中定义的衍生关系，在引用的欧洲专利申请中提供的标记用于存储相应的设定有效级别，在下面被称为SSL，的值。以最高子带的像素开始，以属于最低级子带的像素结束(该顺序代表衍生关系)，操作如下的进行如果系数(i，j)没有子节点，SSL(i，j)＝1；否贝，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子节点相应于系数(i，j)，PSL是由下式给出的像素有效级PSL(i，j)＝floor(log2|x(i，j)|)，floor(.)表明低于括号内表明的值的最近的整数值)。存储在每一系数中的SSL的计算的例子示出在图2的2D的情况下。
在原始SPIHT计算法则的核心循环中或者在欧洲专利申请描述的编码方法中，在SSL(i，j)以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求如果SSL(i，j)＜n，n级的根为(i，j)的子树为无效的，否则，子树为有效的。
作为示例，附录A以及附录B分别表明了原始SPIHT以及基于标记的计算法则的改进。但是，SSL的这种判断和存储并不限于这两种方法，可以应用到使用子树有效编码小波系数的广泛的方法当中。
由于根据一种简单的比较对一系列有效级进行判断，这种方法大大地降低了原始SPIHT计算法则和基于标记的方法的主循环的计算时间。由于SSL的判断是用于计算最大有效级别，所以花费在初始化过程中的计算时间不会增加。注意到这需要提高用于SSL保存的存储器的大小，但是相对而言存储器还是较小的。
附录A包括SSL比较的3D SPIHT计算法则1.初始化在整个空间暂态树中计算SSL。
输出n＝max{PSL(x，y，z)，SSL(x，y，z)，(x，y，z)∈H}。
设定LSP作为输入列表，将坐标(x，y，z)∈H加入到LIP，只有具有子节点的点也加入到LIS，作为类型A输入。
2.分类步骤2.1在LIP中对于每一个输入(x，y，z)· 如果(PSL(x，y，z)≥n)，输出1；将(x，y，z)移到LSP；输出sign(x，y，z)；· 否则，输出0；2.2在LIS中对于每一个输入(x，y，z)2.2.1如果输入是类型A，则· 如果(SSL(x，y，z)≥n)输出1；
对于每一个(x’，y’，z’)∈O(x，y，z)，如果(SSL(x’，y’，z’)≥n)，输出1；将(x’，y’，z’)移到LSP的末尾；输出sign(x’，y’，z’)；否则，输出0；· 否则，输出0 将(x’，y’，z’)移到LIP末尾；如果L(x，y，z)≠Φ，则将(x，y，z)移到LIS的末尾，作为类型B的输入，并且到步骤2.2.2，否则从LIS中除去输入；2.2.2如果输入为类型B，则·如果(max{SSL(x’，y’，z’)，(x’，y’，z’)∈O(x，y，z)}≥n)，输出1；将每个(x’，y’，z’)∈O(x，y，z)加入到LIS的结尾，作为类型A的输入；从LIS中除去(x，y，z)。
·否则输出0；3.精制步骤对于每一个在LIP中的输入(x，y，z)，除了包含在最后分类步骤中的那些(即，具有同样的n)，输出C(x，y，z)的第n最高有效位；4.量化步骤·n减1；·到步骤2。
附录B包括SSL比较的3D标记方法1.初始化在整个空间暂态树中计算SSL。
输出Sig-level-max＝max{PSL(x，y，z)，SSL(x，y，z)，(x，y，z)∈H}。
将标记FP4加在所有坐标(x，y，z)∈H，并将标记FS1加入到具有子节点的点。
2.主循环从位面n＝sig-level-max向下到位面n＝0
从最低到最高子带分辨率，以预定并固定的扫描顺序(在欧洲专利申请号为00401216.7(PHFR000044)中定义的)a)设定有效级1)如果标记FS1为开，则如果(SSL(x，y，z)≥n)，则-输出1；-对于每一个(x’，y’，z’)∈O(x，y，z)，放置标记FP4；-从(x，y，z)中移走标记FS1；-如果L(x，y，z)≠Φ，则放置标记FS2。
否则输出0。
2)如果标记FS2为开，则如果(max{SSL(x’，y’，z’)，(x’，y’，z’)∈O(x，y，z)}≥n)，-输出1；-对于每一个(x’，y’，z’)∈O(x，y，z)，放置标记FS1；-从(x，y，z)中移走标记FS2；否则输出0；b)象素有效1)如果标记FP3为开，则输出＝(x，y，z)的第n位比特。
2)如果标记FP4为开，则如果(PSL(x，y，z)≥n)，则-输出1；-将FP3设置为开；-输出sign(x，y，z)；-移走标记FP4。
否则输出0。
权利要求
1.一种包括以帧组构成的连续帧的视频序列的压缩编码方法，每一帧以三维(3D)小波变换的方式分解，从而引起给定数量的连续分辨率级，所述的编码方法依赖于被称为“分层树中的局部设定”(SPIHT)的分层子带编码处理并且将每一帧组的图像元素(像素)的原始设定转换成利用二进制格式编码的小波变换系数并且形成了一锥状的层级结构，所述的系数(i，j)构成了一个空间暂态方向树，其根部为3D小波变换低频频率(或者近似子带)，并且由高频子带中的衍生完成，所述树的系数排列成有关像素的局部设定并且与各自的有效级相应，所述的设定被定义成量级测试的形式，这导致了有效信息在三个序列列表中的分类，这三个列表被分别称为无效设定列表(LIS)，无效象素列表(LIP)以及有效象素列表(LSP)，执行所述的测试从而将所述的原始像素设定依据分解过程分解成所述的局部设定，直至每一有效系数被编码成所述的二进制表示，并且所述的空间暂态方向树在所述的锥状层级结构中定义了空间暂态关系，所述的方法进一步其特征在于，根据附录A所示的计算法则(a)以最高子带的像素开始，以属于最的低级子带的像素结束，在操作的初始化步骤中执行了所有的子带检测，并且在根像素中的所述树的每一子树的设定有效级SSL被计算并且存储，根据下述的程序如果系数(i，j)没有子节点，SSL(i，j)＝1；否贝，SSL(i，j)＝max{PSL(k，l),SSL(k，l)}；(k，l∈O(i，j)，子节点相应于系数(i，j)，PSL是由下式给出的像素有效级PSL(i，j)＝floor(log2x(i，j))，(b)在分类步骤中，在SSL(i，j)以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求如果SSL(i，j)＜n，n级的根为(i，j)的子树为无效的，否则，子树为有效的。
2.一种包括以帧组构成的连续帧的视频序列的压缩编码方法，每一帧以三维(3D)小波变换的方式分解，从而引起给定数量的连续分辨率级，所述的编码方法依赖于分层子带编码处理并且将每一帧组的图像元素(像素)的原始设定转换成小波变换系数以形成了一锥状的层级结构，一个空间暂态方向树-其根部由3D小波变换获得的近似子带像素值构成，这些像素中的每一个像素的支系由相应于图像容量的高级子带的像素构成，图像容量由这些根象素确定-由在所述锥形层级树中的空间暂态关系定义，所述的子带被按照在所述的空间暂态树中形成的衍生关系的顺序逐个扫描，“开/关”的标记被加入到所述空间暂态树的每一个系数(i，j)中，考虑到系数的最高有效位的逐级传输并且按照这种方式，即它们中至少其中的一个描述一套像素的状态，并且至少另一个描述一个单个的象素的状态，所述的方法其特征在于，根据附录B描述的计算法则(a)以最高子带的像素开始，以属于最低级子带的像素结束，在操作的初始化步骤中执行了所有的子带检测，并且在根像素中的所述树的每一子树的设定有效级SSL被计算，并且标记用于存储相应于设定有效级SSL的每一系数的值，根据下述的程序如果系数(i，j)没有子节点，SSL(i，j)＝1；否则，SSL(i，j)＝max{PSL(k，l)，SSL(k，l)}；(k，l∈O(i，j)，子节点相应于系数(i，j)，PSL是由下式给出的像素有效级PSL(i，j)＝floor(log2x(i，j))，(b)在分类步骤中，在SSL(i，j)以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求如果SSL(i，j)＜n，根为(i，j)的子树相对于n为无效的，否则，子树为有效的。
全文摘要
本发明涉及一种包括以帧组构成的连续帧的视频序列的压缩编码方法。每一帧以三维小波变换的方式分解,从而引起给定数量的连续分辨率级。所述的编码方法依赖于被称为SPIHT的分层子带编码处理并且将每一帧组的图像元素(像素)的原始设定转换成利用二进制格式编码的小波变换系数并且形成了一锥状的层级结构,其中空间暂态方向树定义了空间暂态关系,其根部为3D小波变换的近似子带像素,这些像素中的每一个像素的支系由相应于由根像素定义的图像容量的高级子带的像素构成。根据本发明,子带的整个检测过程在程序的初始化步骤中完成,根像素中的每一子树的设定的有效级别被计算并存储。在程序的分类步骤中,所述设定的有效级以及当前有效级别n之间的比较取代了计算与n相关的树的有效级的函数的请求。
文档编号G06T9/00GK1381142SQ01801298
公开日2002年11月20日 申请日期2001年5月8日 优先权日2000年5月18日
发明者B·菲尔茨 申请人:皇家菲利浦电子有限公司