专利名称：视频编码方法和装置的制作方法
技术领域：
本发明涉及视频压缩领域，并且更特别地，涉及用于与已经被分成连续帧组(GOF)的原始视频序列相对应的位流的压缩的三维(3D)视频编码方法，该帧组的大小为N＝2n，其中n为整数，这些GOF本身再分成连续的帧对(COF)，所述编码方法包括应用到该序列的每个连续GOF的下述步骤a)时空分析步骤，以最多等于n的给定数量的层次执行并且导致将当前GOF时空多分辨率分解为低频和高频时间子频带，所述步骤自身包括-运动估计子步骤；-对当前GOF的2n-1个COF中的每一个执行的基于所述运动估计的运动补偿时间滤波子步骤；-对从所述时间滤波子步骤得到的子频带执行的空间分析子步骤；b)编码步骤，所述步骤自身包括-对从时空分析步骤得到的所述低频和高频时间子频带和对通过所述运动估计步骤获得的运动向量执行的熵编码子步骤；-应用到如此获得的编码序列并且得出所嵌入的编码位流的算术编码子步骤。
本发明还涉及能够实现所述编码方法的相应视频编码装置。
背景技术：
第一个标准视频压缩方案基于所谓的混合解决方案混合视频编码器使用预测方案，其中输入视频序列的每个当前帧根据给定参考帧在时间上预测，并且这样由所述当前帧及其预测之间的差异得到的预测误差被空间变换(该变换为例如二维DCT变换)，以便获益于空间冗余度。称为3D(或2D+t)子频带分析的更新的解决途径在于按照三维结构对一组帧(GOF)进行处理并且对其进行时空滤波以压缩低频能量。
在这样的3D子频带分解方案中引入运动补偿步骤允许提高整体编码效率并且由于子频带树产生了视频信号的时空多分辨率(分级)表示。如例如表示这样一种具有运动补偿的3D小波分解的图1中所示，首先对在图示的情况下包括八个帧F1到F8的输入视频序列的每个GOF进行运动补偿(MC)以便处理具有大运动的序列，然后使用哈夫(Haar)小波进行时间滤波(TF)(虚线箭头对应于高通时间滤波，而非虚线箭头对应于低通时间滤波)。示出了分解的三个阶段(L和H＝第一阶段；LL和LH＝第二阶段；LLL和LLH＝第三阶段)，在每个时间分解层次上产生一组运动向量场(分别为MV4、MV3、MV2)。然后通过小波滤波器对每个层次(在上面的例子中为H、LH和LLH)的高频时间子频带和最深层次(LLL)的低频时间子频带进行空间分析，然后熵编码器允许对由这一时空分解得到的小波系数进行编码。对输入视频序列的连续GOF相似地应用所有这些操作。
在可以用来对由这种子频带分解得到的3D小波系数进行编码的不同的熵编码技术当中，例如在文献“Low bit-rate scalable videocoding with 3D set partitioning in hierarchical trees(3D-SPIHT)(采用3D集合划分为等级树(3D-SPIHT)的低位速率可调视频编码)”(K.Z.Xiong和W.A.Pearlman，IEEE Transactions on Circuits andSystems for Video Technology，卷10，第8期，第1374-1387页，2000年12月)中描述的所谓的3D-SPIHT算法是最有效的方法之一(并且在“A fully scalable 3D subband video codec(完全可调整3D子频带视频编解码器)”(V.Bottreau、M.Bénetière、B.Pesquet-Popescu和B.Felts，Proceedings of IEEE InternationalConference on Image Processing，ICIP 2001，卷2，第1017-1020页，希腊，萨洛尼卡，2001年10月7-10日)中介绍了其支持可调整性的扩展)。
在图2中展示了这种3D-SPIHT算法，图2表示从子频带分解得到的时空方向树中观察到的父代-子代相关性(图2中的符号如下TF＝时间帧，TAS＝时间近似子频带LL，CFTS＝时空近似子频带中的系数或根系数，TDS.LRL＝在分解的最后分辨率层次下的时间细节子频带LH，而TDS.HR＝较高分辨率下的时间细节子频带H)。所述算法基于这样一个关键概念通过利用自然图像所固有的自相似性，通过连续等级的小波分解预测不存在重要信息(即，如果在最低等级的分解下，一个系数按照给定标准是不重要的，那么在所述分解的其它等级下，相应于同一区域的系数很可能也是不重要的)。3D-SPIHT算法利用了树状结构(时空方向树)，该树状结构自然地定义了小波系数的等级金字塔内部的空间和时间关系(树的根部由最低分辨率下的近似子频带(或根子频带)的像素组成，并且模式的直接子孙代(或子代)对应于金字塔的下一个更精细层次内相同体积和方向的像素)，并且寻找小波子频带中的零树，以减小它们之间的冗余度。最终按照小波系数的性质可能的零树根部(或非重要集合)、非重要像素和重要像素来对它们进行编码。
在现有文献中，当使用3D-SPIHT时，时间分解可能会在将得到单独一个低频时间子频带的最后的(可能)分解步骤之前停止(见图3，相比于图1中所示的完全分解的情况)。然后将小波系数之间的第一个时间相关性应用于两个近似子频带LL之间。这些系数的意义是一致的，因为它们是同一分级层次上的近似小波系数，但是所述系数是高度去相关的，因为它们包含来自序列的非常不同的部分的信息LL0实际上是由GOF的前四个输入帧求算出来的，而LL1是由同一GOF的后四个帧求算出来的。
发明内容
本发明的目的是提出一种更为有效的编码方法，采用这种方法，消除了对SPIHT方法的效率不起主要作用的这种深的时间分解层次上的相关性(利用子频带间相关性的有益效果主要出现在分解的前几步)。
为此，本发明涉及诸如说明书的前言部分中定义的那种编码方法，并且其特征还在于，当所述时间滤波子步骤包括(n-1)个分解层次以致漏失了本将得到单独一个低频子频带的最终时间分解层次时，按照下述规则执行时空分析和编码步骤a)将每个当前输入GOF分割成两个大小为原始大小的一半并且具有一半数量的COF的新的GOF，所述新的GOF是独立的并且分别包括所述原始输入GOF的前面2n-1个帧和后面2n-1个帧；b)在这两个新的GOF中的每一个中，向下执行具有(n-1)个层次的完整的时空多分辨率分解到最后一个低频时间子频带以便对所述新的GOF中的每一个得到仅仅一个最终的近似子频带；
c)相继并且独立地对这两个新的GOF应用经过修改的3D-SPIHT扫描，相对于按传统方式对原始GOF执行的时空分解，由所述SPIHT扫描用来定义小波系数的等级金字塔内部的时空关系的时空方向树现在包括原始数量的子频带的一半。
本发明还涉及一种能够实现所述方法的视频编码装置。
为此，本发明涉及这样一种装置，该装置包括a)时空分析装置，以最多等于n的给定数量的层次应用到序列的每个连续GOF，并且导致将当前GOF的时空多分辨率分解为低频和高频时间子频带，所述分析装置执行-运动估计子步骤；-对当前GOF的2n-1个COF中的每一个执行的基于所述运动估计的运动补偿时间滤波子步骤；-对从所述时间滤波子步骤得到的子频带执行的空间分析子步骤；b)编码装置，它们自身包括-熵编码装置，被应用到从时空分析步骤得到的所述低频和高频时间子频带和通过所述运动估计子步骤获得的运动向量；-算术编码装置，被应用到如此获得的编码序列并且得出所嵌入的编码位流；所述视频编码装置的特征还在于，当所述时间滤波子步骤包括(n-1)个分解层次以及漏失了本将得到单独一个低频子频带的最终时间分解层次时，时空分析和编码装置采用下述规则a)将每个当前输入GOF分割成两个大小为原始大小的一半并且具有一半数量的COF的新的GOF，所述新的GOF是独立的并且分别包括所述原始输入GOF的前面2n-1个帧和后面2n-1个帧；b)在这两个新的GOF中的每一个中，向下执行具有(n-1)个层次的完整的时空多分辨率分解到最后一个低频时间子频带以便致针对所述新的GOFs中的每一个得到仅仅一个最终的近似子频带；c)相继并且独立地对这两个新的GOF应用经过修改的3D-SPIHT扫描，相对于按传统方式对原始GOF执行的时空分解，由所述SPIHT扫描用来定义小波系数的等级金字塔内部的时空关系的时空方向树现在包括原始数量的子频带的一半。
现在将参照附图，通过举例，对本发明加以介绍，其中图1表示应用到输入视频序列的GOF的具有运动补偿的3D小波分解；图2表示在从所述子频带分解得到的时空方向树中观察到的父代-子代相关性；图3表示在先前应用3D-SPIHT算法的解决方案中执行的具有运动补偿的不完整的时间多分辨率分析的情况，所述分解在得到单独一个低频时间子频带的最终分解步骤之前即终止；图4表示按照本发明原理执行的时间分解；图5表示当按照本发明的所述原理执行时间分解时在时空方向树中观察到的新的父代-子代相关性。
具体实施例方式
为了消除图3的不完整的时间分解的两个近似子频带LL0和LL1之间的相关性，首先提出了将当前输入GOF分割成两个具有一半原始大小的独立的新GOF。然后对每个独立的GOF执行时间分解，所述时间分解是完整的(即，向下执行到最后的低时间子频带)，以便对于每个新的GOF得到了仅仅一个最终的近似子频带。
图4中示出了这一新的时间分解，其中垂直虚线表示对GOF结构的新划分。每个新的GOF(相对于原始的GOF，具有原始GOF的大小的一半)可以看作是独立的，并且分别对应于这两个GOF(称为“GOF 0”和“GOF 1”)中的每一个的所有信息是独立发送的。首先发送“GOF 0”的所有信息(运动向量和子频带)，子频带发送的自然顺序是LL0、LH0、H0并且最后是H1，然后发送“GOF 1”的所有信息，子频带发送的自然顺序类似地为LL1、LH1、H2并且最后是H3。
起源于这种新的时间分解，图2的原始SPIHT扫描被修改，以便摒弃了来自不同GOF的子频带之间的相关性。对(在所给出的例子中有四帧的)这两个新的GOF相继应用这种新的扫描，并且使用图5中所示的不同的父代-子代相关性组(其中TDS.HR具有与图2中相同的意义，LDLS.1代表针对GOF的第一部分的最后一个分解层次子频带，即LL0和LH0，而LDLS.2代表针对GOF的第二部分的最后一个分解层次子频带，即LL1和LH1)来消除两个近似子频带LL0和LL1之间的相关性，并且因此消除了两个新的GOF之间的相关性。
如此提出的技术解决方案将对于给定分解层次数的每GOF的帧数量减少了一半。在与原始解决方案比较时，这可以看作主要的改进之处，因为它将编码端和解码端两端的存储需求减少了一半。而且，这种方法不会对编码效率造成任何不良影响，因为经过修改的相关性仅仅影响可以看作不相关的时间近似子频带。
可以注意到，图5中所示的新的SPIHT扫描可以成功地与图3所示的原始GOF大小关联起来在那种情况下，可以交替地进行子频带发送，以便首先发送最重要的信息(发送顺序于是可以是原始的发送顺序LL0、LL1、LH0、LH1、H0、H1、H2、H3)。不过，即使已消除了近似子频带之间的相关性，GOF大小也是原始的GOF大小，并且丢失了存储空间需求方面的益处。
权利要求
1.一种用于与已经被分成连续帧组(GOF)的原始视频序列相对应的位流的压缩的三维(3D)视频编码方法，该帧组的大小为N＝2n，其中n是整数，这些GOF自身再分为连续的帧对(COF)，所述编码方法包括应用于所述序列的每个连续GOF的下述步骤a)时空分析步骤，以最多等于n的给定数量层次执行，并且导致将当前GOF时空多分辨率分解为低频和高频时间子频带，所述步骤自身包括-运动估计子步骤；-对当前GOF的2n-1个COF中的每一个执行的基于所述运动估计的运动补偿时间滤波子步骤；-对从所述时间滤波子步骤得到的子频带执行的空间分析子步骤；b)编码步骤，所述步骤自身包括-对所述从时空分析步骤得到的低频和高频时间子频带和对通过所述运动估计步骤获得的运动向量执行的熵编码子步骤；-应用到如此获得的编码序列并且得出所嵌入的编码位流的算术编码子步骤；所述编码方法的特征还在于，当所述时间滤波子步骤包括(n-1)个分解层次以致漏失了本将得到单独一个低频子频带的最终时间分解层次时，按照下述规则执行时空分析和编码步骤a)将每个当前输入GOF分割成两个大小为原始大小的一半并且具有一半数量的COF的新的GOF，所述新的GOF是独立的并且分别包括所述原始输入GOF的前面2n-1个帧和后面2n-1个帧；b)在这两个新的GOF中的每一个中，向下执行具有(n-1)个层次的完整的时空多分辨率分解到最后一个低频时间子频带，以便针对所述新的GOF中的每一个得到仅仅一个最终的近似子频带；c)相继并且独立地对这两个新的GOF应用经过修改的3D-SPIHT扫描，相对于按传统方式对原始GOF执行的时空间分解，由所述SPIHT扫描用来定义小波系数的等级金字塔内部的时空关系的时空方向树现在包括原始数量的子频带的一半。
2.一种用于实现按照权利要求1的三维视频编码方法的视频编码装置，所述装置包括a)时空分析装置，以最多等于n的给定数量的层次应用到所述序列的每个连续GOF，并且导致将当前GOF的时空多分辨率分解为低频和高频时间子频带，所述分析装置执行-运动估计子步骤；-对当前GOF的2n-1个COF中的每一个执行的基于所述运动估计的运动补偿时间滤波子步骤；-对从所述时间滤波子步骤得到的子频带执行的空间分析子步骤；b)编码装置，它们自身包括-熵编码装置，被应用到从时空分析步骤得到的低频和高频时间子频带和通过所述运动估计子步骤获得的运动向量；-算术编码装置，被应用到如此获得的编码序列并且得出所嵌入的编码位流；所述视频编码装置的特征还在于，当所述时间滤波子步骤包括(n-1)个分解层次以致漏失了本将得到单独一个低频子频带的最终时间分解层次时，该时空分析和编码装置采用下述规则a)将每个当前输入GOF分割成两个大小为原始大小的一半并且具有一半数量的COF的新的GOF，所述新的GOF是独立的并且分别包括所述原始输入GOF的前面2n-1个帧和后面2n-1个帧；b)在这两个新的GOF中的每一个中，向下执行具有(n-1)个层次的完整的时空多分辨率分解到最后一个低频时间子频带，以便针对所述新的GoFs中的每一个得到仅仅一个最终的近似子频带；c)相继并且独立地对这两个新的GOF应用经过修改的3D-SPIHT扫描，相对于按传统方式对原始GOF执行的时空分解，由所述SPIHT扫描用来定义小波系数的等级金字塔内部的时空关系的时空方向树现在包括原始数量的子频带的一半。
全文摘要
本发明总地来说涉及一种用于与已经被分成连续帧组(GOFs)的原始视频序列相对应的位流的压缩的三维(3D)视频编码方法，其中帧组的大小为N＝文档编号H04N7/26GK1720744SQ200380105103
公开日2006年1月11日 申请日期2003年11月27日 优先权日2002年12月4日
发明者E·巴劳, A·布格, V·博特雷奥 申请人:皇家飞利浦电子股份有限公司