专利名称：对使用层间预测编码的视频信号进行解码的方法
技术领域：
本发明涉及一种对使用层间预测编码的视频信号进行解码的方法。
背景技术：
可调整视频编解码(SVC)将视频编码成具有最高图像质量的图像序列，同时确保 能对所编码的图像序列的一部分(尤其是从整个帧序列中间断地选择的帧序列的一部分) 进行解码并以低图像质量呈现视频。运动补偿时间滤波(MCTF)是建议在可调整视频编解 码中使用的一种编码方案。 尽管可通过接收和处理根据可调整MCTF方案编码的图像序列的一部分而呈现低 图像质量视频，然而仍然存在的问题在于如果位速率降低则图像质量明显降低。该问题的 一个解决方案是提供一种低的位速率的辅助图像序列，例如具有小的屏幕尺寸和/或低的 帧速率的图像序列。 辅助图像序列被称为基层，而主帧序列被称为增强层或强化层。由于使同一视频 信号源编码为两层，因此基层和增强层的视频信号具有冗余。如图IA所示，为了增加增 强层的编码效率，一种方法使用基层图像中时间上与增强层图像重合的相应块的运动矢 量的信息来对关于增强层图像中的宏块的运动矢量的信息进行编码(S10和S12)。另一 种方法基于基层中时间上重合的视频帧对增强层的视频帧中的宏块进行编码并发送关于 编码类型的信息(S15和S18)。具体地说，当增强层中的当前块是内部模式块时，则发送 标志"intra—base—flag" (S15)，它表示是否已使当前宏块编码为对应于当前宏块的基层 中的内部模式块的图像数据的差数据。当增强层中的当前块为模式间块时，则发送标志 "residual—predictioruflag" (S18)，它表示是否已使当前块的残余数据编码为基层中相 应块的残余数据的残差数据。 编码器根据图1A所示的程序对视频信号的每个宏块进行编码，并设置和发送片 标头中的标志"base」cLplusl"，由此允许解码器根据图1A的程序使用基层的预测信息对 帧的每个宏块进行解码。 另一方面，当基层中不存在时间上与当前帧重合的编码用帧时，编码器根据图IB 所示的程序对当前帧中的每个宏块进行编码，其中编码器为当前帧的每个宏块确定适宜的 块模式(S21)，根据确定的块模式形成宏块的预测信息(S22)，并将宏块数据编码为冗余数 据(S23)。当执行图IB的程序时，重置标志"base」cLplusl"并写入到片标头中。这通知 解码器尚未执行层间预估，由此允许解码器根据图IB的解码程序而不是图1A的解码程序 对相应片段的每个宏块进行解码。 如上所述，当基层中不存在与增强层的当前帧时间上重合的帧时，则不进行层间 预估并且不发送任何关于层间预测的信息，例如标志BLflag、 QreFlag以及intra_base_flag。在这种情形下，重置和发送标志"base_id_plusl"，因此解码器不参照关于层间预测 的信息并同样不执行逆层间预测。 然而，尽管在时间上不重合但彼此之间的时间间隔短的增强层帧和基层帧由于在 时间上彼此相邻，它们可在宏块运动估算中彼此关联。这表示即使对于时间上不重合于基 层帧的增强层帧，由于时间上相邻的增强层帧和基层帧可能具有相同的运动矢量，也可用 时间上相邻于增强层帧的基层帧的运动矢量来增加编码效率。 鉴于这些情形，已提出即使对于时间上不重合于基层帧的增强层帧也能进行层间 预测的方法。 一个例子是一种层间预测方法，在该方法中，在时间上相邻的基层帧中(该基 层帧的时间不重合于增强层帧但时间上与之相邻)，通过与当前宏块对应的、位于同一位置 的块的运动矢量来预测增强层帧中的当前宏块的运动矢量。具体地说，以增强层中图像的 分辨率对基层中图像的分辨率的比值来縮放基层帧中的同一位置的块的运动矢量，并通过
将縮放的矢量乘以一适宜的比值(例如增强层中诸帧之间的时间间隔对基层中诸帧之间 的时间间隔的比值)而推导出当前宏块的运动矢量。 如图1A和1B所示，必须设置和发送标志"base」cLplusl"以使解码器通过逆层 间预测重构具有一些块的一增强层帧，已经通过基于不与增强层帧时间上重合并且与之时 间上相邻的基层帧的预测对这些块进行编码。当设置并发送标志"base」cLplusl"时，解 码器根据图1A的程序对所接收的帧进行解码。因此，当设置并发送标志"base」cLplusl" 时，必须对内部模式块发送标志"intraj3ase—flag"并对模式间块发送标志"residual_ prediction_f lag，，。 然而，两个标志"intraj3ase—flag，，禾口"residual—prediction—flag，，(作为基于 时间上与当前帧重合的帧的预测用的标志)不用于基于与当前帧在时间上相邻的帧的预 测。因此，对于通过基于时间上相邻的帧的预测而编码的块发送这两个标志会不必要地增 加所发送的信息量。因此，理想的是编码器不发送这两个标志。 然而，当编码器不对通过基于时间上相邻的帧预测而编码的块发送两个标志 "intra_base_flag，，禾口 "residual_prediction_f lag"时，当前的解码方法无法对块进行解 码。如果采用其中不发送两标志"intraj3ase—flag，，禾口"residual—prediction—flag，，的 编码方法，则对于通过时间上重合的帧的预测而编码的块发送两标志中的一个，而对于通 过时间上相邻的帧的预测而编码的块不发送这两个标志中的任何一个。然而，当前解码方 法无法区别通过时间上重合的帧的预测而编码的块和通过时间上相邻的帧的预测而编码 的块，由此造成解码错误。业内人士可构想出一种编码器，它在片标头中插入一新的标志， 该标志使解码器能够判断是否已对片段中的数据块发送两个标志之一。然而，这需要编码 器发送关于新标志的附加信息。
发明内容
因此，鉴于上述问题而构成了本发明，而本发明的一个目的是提供一种用来对视 频信号进行解码的方法，该方法能区别基于时间上重合的帧的层间预测和基于时间上相 邻的帧的层间预测，由此消除编码器对基于时间上相邻帧的层间预测发送不必要信息的需要。 根据本发明，可通过提供一种方法来实现上述和其它的目的，该方法用于接收第一层的编码位流和第二层的编码位流并将它们解码为视频信号，该方法包括下列步骤a) 判断是执行还是跳过用于检查指示已从与第一层图像中的目标块在时间上不重合的第二 层图像中的块的运动信息中预测出该目标块的信息的操作，并根据判断结果执行用于检查 指示已从运动信息预测出目标块的信息的操作，以及b)确定第二层位流中是否存在与目 标块在时间上重合的块，并跳过用于检查与该目标块有关的信息的操作，如果在第二层的 位流中不存在与目标块在时间上重合的块，则指示是否已基于与目标块对应的不同层中的 块数据而预测该目标块。 在本发明的一个实施例中，如果在第二层中不存在时间上与目标块重合的相应块 并且在时间上相邻于目标块的第二层的图像中对应于目标块的同一位置的块尚未以内部 模式编码，则确定执行用于检查指示已从运动信息预测出目标块的信息的操作。
通过下面结合附图的详细说明，将更易理解本发明的上述和其它的目的、特征和 其它优点，其中 图1A是示出当采用层间预测时如何对宏块进行解码的流程图； 图IB是示出当不采用层间预测时如何对宏块进行解码的流程图； 图2是执行根据本发明的解码方法的解码装置的方框图； 图3示出图2所示的执行根据本发明的解码方法的MCTF解码器的主要部件； 图4是示出根据本发明的如何对宏块进行解码的流程图； 图5示出根据本发明如何计算用于确定是否检查标志的位置差"DiffPoC"。
具体实施例方式
下面将参照附图对本发明诸较佳实施例进行详细说明。 图2是用来对所编码的数据流进行解码的装置的方框图。图2的解码装置包括多 路分解器(或去多路复用器)200、纹理解码单元210、运动解码单元220、 MCTF解码器230 以及基层(BL)解码器240。多路分解器200将接收到的数据流分成压縮的运动矢量流、压 縮的宏块信息流和基层流。纹理解码单元210将压縮的宏块信息流重构至其初始的未压縮 状态。运动解码单元220将压縮的运动矢量流重构至其原始的未压縮状态。MTCF解码器 230是根据MCTF方案将未压縮的宏块信息流和未压縮的运动矢量流转回到原始视频信号 的增强层(EL)解码器。BL解码器240根据规定方案，例如根据MPEG-4或H. 264标准，对基 层流进行解码。BL解码器240不仅对输入基层流进行解码还向送往EL解码器230的数据 流提供标头，以使EL解码器230使用标头中所含的基层的必要编码信息，例如运动矢量关 联信息。BL解码器240还向MCTF解码器230提供每个编码的基层图像的残余纹理数据。
MCTF解码器230是在接收多个层的流时使用的EL解码器的简单例子。MCTF解码 器230包括图3的部件，这些部件执行时间分解程序，以从输入流重建原始视频帧序列。将 在下面描述的、根据本发明的解码方法不仅可应用于MCTF方案，而且也可应用于使用层间 预测的任何其它编码/解码方案。 图3的部件包括逆更新器231、逆预测器232、以及运动矢量解码器235。逆更新器 231有选择地从之前接收和存储在存储器239中的L个图像减去接收和存储在存储器239中的H个图像的像素的差值(残数)。逆预测器232基于已从中减去H个图像的图像差的 上述L个图像将接收和存储在存储器239中的H个图像重构为具有原始图像的L个图像。 运动矢量解码器235将输入运动矢量流解码为H个图像中的块的运动矢量信息并将运动矢 量信息提供给逆预测器232。逆更新器231和逆预测器232可在通过同时和并行分割单个 帧而获得的多个片段上进行工作，而不是在视频帧上进行工作。在本发明的说明中，术语 "图像"广义地包括帧或片段，假若用术语"帧"或"片段"替换术语"图像"在技术上是等同 的。 逆预测器232执行根据本发明的图4所示程序，这段程序是将接收和存储的H个 图像重构为具有原始图像的图像的解码程序的一部分。下面是图4程序的详细说明。
当图像(或片段)的标头中的basejcLplusl标志为非零时，逆预测器232在每 个接收和存储的图像(或片段)上执行图4的程序。在检查关于当前H图像中每个宏块的 运动矢量的信息前，逆预测器232确定当前H图像和基层中在时间上最靠近当前H图像的 图像之间的位置差"DiffPoC" (S40)。位置差"DiffPoc"是当前H图像和基层图像之间的 时间差并如图5所示那样以正值或负值表示，并且可从提供自BL解码器240的标头信息确 定基层中每个图像的时间信息。 当位置差"DiffPoc"为零时，S卩如果存在时间上与当前H图像重合的基层图像，则 逆预测器232如传统方法那样检查标志"BLFlag"(S41)。如果标志"BLFlag"为l，则逆预测 器232通过以增强层中的图像分辨率对基层中图像的分辨率的比值来縮放基层中与当前H 图像在时间上重合的H图像中的相应块的运动矢量mvBL而获得縮放的运动矢量EjwBL， 即，通过将运动矢量mvBL的x和y分量放大到200 % 。随后，逆预测器232将縮放后的运动 矢量EjwBL(或者乘以层间帧间隔比之后的縮放运动矢量EjwBL)认为是当前宏块的运动 矢量并用縮放后的运动矢量EjwBL规定当前宏块的基准块。这里，术语"层间帧间隔比"指 增强层中诸帧之间的时间间隔与基层中诸帧之间的时间间隔的比。如果标志"BLF1 ag "为 零，则逆预测器232判断基层的分辨率是否不同于增强层的分辨率并且相应块是否为非内 部模式块(S42)。如果在步骤S42的判断为是(即基层的分辨率不同于增强层的分辨率并 且相应块为非内部模式块)，则逆预测器232检查标志"QrefFlag" (S43)，否则它根据已知 方法确定当前宏块的运动矢量并基于所确定的运动矢量规定当前宏块的基准块(S44)。
如果检查的标志"QrefFlag"为1，则逆预测器232检查从运动矢量解码器235提 供的当前宏块的矢量微调信息，并根据包含在检查的矢量微调信息中的x和y微调值确 定补偿(或微调)矢量。逆预测器232通过将确定的补偿矢量加上縮放后的运动矢量E— mvBL(或加上乘以层间帧间隔比后的縮放后的运动矢量EjwBL)而获得当前宏块的实际运 动矢量，并用所获得的实际运动矢量规定当前宏块的基准块。如果标志"QrefFlag"为零， 则逆预测器232根据已知方法确定当前宏块的运动矢量，并用所确定的运动矢量规定当前 宏块的基准块(S44)。 即使在步骤S40确定的位置差"DiffPoC"为非零，如果基层中与当前宏块对应的 块是非内部模式块，则逆预测器232执行使用基层的运动矢量信息的步骤S41、S42和S43。 当基层中不存在时间上重合的图像时，相应块为基层中时间上最接近的图像中与当前宏块 处于同一位置的块。在本发明下面的说明中，术语"相应块"不仅包括与当前图像在时间上 重合的基层图像中的相应块，还包括与之在时间上最接近的基层图像中的同一位置的块。在该程序中，以如上所述相同方式使用时间上最靠近基层图像的，而不是时间上与基层图 像重合的，处于同一位置的块的运动矢量信息。这允许编码器用基层运动矢量对预测信息 进行编码，而不管基层中是否存在与当前图像在时间上重合的图像，并随后将编码的预测 信息发送至解码器。 另一方面，如果在步骤S40确定的位置差"DiffPoC"为非零，并且基层中与当前宏 块对应的块为内部模式块，则无法使用基层中相应块的运动矢量信息，并因此逆预测器232 前进至下一步骤系列以确定是否参照纹理数据的预测数据。 逆预测器232检查在步骤S40已确定的位置差"DiffPoC" (S45)。如果位置差 "DiffPoC"为零，S卩如果基层中存在时间上重合的图像，则逆预测器232如传统方法那样确 定当前宏块是否为内部模式块(S46)。如果当前宏块为内部模式块，则逆预测器232检查 标志"intraj3ase—flag"，该标志指示是否已基于与当前宏块时间上重合的相应块的图像 对当前宏块进行了编码(S47)。根据标志"intra—base—flag"的检查值，逆预测器232基 于相应块的重构图像或基于靠近当前宏块的像素值重构当前宏块的预编码数据。如果在步 骤S46处判定当前宏块不是内部模式块，则逆预测器232跳过步骤S47，这是因为当已对相 应块进行过内部编码时执行检查使增强层中的当前宏块使用基层中相应块的标志"intra— baSe_flag"的步骤S47是没有意义的。 如果在步骤S45判定位置差"DiffPoC"为非零，则逆预测器232也跳过步骤S47， 不管是否已对当前宏块进行过内部编码，这是因为已对当相应块进行过内部编码时执行 检查使增强层中的当前宏块使用基层中与当前宏块时间上重合的相应块的标志"intra— base_flag"的步骤S47是没有意义的。即，如果由于编码器在不采用运动估计的宏块上进 行内部模式编码而位置差"DiffPoC"为非零，则预测器232跳过步骤232，并且如果基层中 不存在时间上重合的图像，则不执行基于基层图像的宏块上的预测编码。在这种情形下，由 于逆预测器232跳过基于位置差"DiffPoC"检查标志"intra_base_flag"的步骤，即使在 设置和发送标志"base_id_plusl"时编码器也无需发送标志"intra_base_f lag"。
接着，逆预测器232再次检查已在步骤S40确定的位置差"DiffPoC"(S49)。如果位 置差"DiffPoC"为零，即如果基层中存在时间上重合的图像，则逆预测器232如传统方法那 样确定当前宏块是否为内部模式块(S50)。如果当前宏块不是内部模式块，则逆预测器232 检查标志"residual—prediction—flag"，该标志指示是否已基于与当前宏块时间上重合的 相应块的残余数据将当前宏块的残余数据编码成残差数据(S51)。根据标志"residua1— prediction—flag"的检查值，逆预测器232通过将相应块的残余数据加上当前宏块的数据 重构当前宏块的原始残余数据或基于用之前确定的运动矢量规定的基准块将接收的当前 宏块的残余数据解码为预编码图像数据。 如果在步骤S50判定当前宏块是内部模式块，则逆预测器232跳过步骤S51，这是 因为执行检查指示在增强层中以层间模式编码的当前模块的残余数据是否已基于基层中 相应块的残余数据被编码成残差数据的标志"residual—prediction—flag"的步骤S51是 无意义的。 当在步骤S49判定位置差"DiffPoC"为非零时，即如果基层中不存在时间上重合 的图像，由于执行检查指示在增强层中以层间模式编码的当前宏块的残余数据是否已基于 与当前宏块时间上重合的基层中相应块的残余数据被编码成残差数据的标志"residua1—
7prediction—flag"的步骤S51是无意义的，逆预测器232也跳过步骤51，不管是否已对当前宏块进行过内部编码。即，如果位置差"DifffoC"为非零，由于如果基层中不存在时间上重合的图像，编码器在运动估计的宏块上执行层间模式编码而不基于基层中相应块的残余数据对编码的宏块的残余数据执行残差编码，逆预测器232跳过检查标志"residua1—prediction—flag"的步骤S51。在这种情形下，由于逆预测器232跳过基于位置差"DiffPoC"检查标志"residual—prediction—flag"的步骤，因此即使当设置和发送标志"base_id_plusl"时编码器也不需要发送标志"residual_prediction_f lag"。
逆预测器232对当前H图像的所有宏块执行图4的程序以将当前的H图像重构为L帧(或最终视频帧)。 上述的解码装置可包含在移动通信终端、媒体播放器等设备中。 如从上面的说明清楚看见的那样，本发明提供一种对视频信号进行解码的方法，
在该方法中，可基于时间上相邻的帧的层间预测而不降低编码效率。因此，根据本发明的方
法使基于时间上相邻的帧的层间预估的作用最大化，从而提高编码效率。 尽管已示例性地公开了本发明的若干较佳实施例，然而本领域内技术人员应当理
解可不脱离所附权利要求书中公开的本发明的范围和精神而作出各种可行的修改、添加和替换。
权利要求
一种对视频信号进行解码的方法，包括接收增强层的位流，所述增强层的位流用来自基层的位流的信息可调整地编码；从所述增强层的位流中获取层间预测标志；基于所述层间预测标志获取当前块的宏块类型，所述当前块在所述增强层中；基于所述当前块的宏块类型获取残余预测标志；基于所述残余预测标志解码所述当前块的残余数据。
2. 如权利要求1所述的方法，其中所述层间预测标志指示层间预测是否被用于解码所 述当前块。
3. 如权利要求1所述的方法，其中所述残余预测标志指示是否通过使用相应块的残余 数据来预测所述当前块的残余数据，所述相应块在所述基层中。
4. 如权利要求3所述的方法，其中所述相应块在所述基层中并且与所述当前块在时间 上重合。
5. 如权利要求1所述的方法，其中当所述层间预测标志指示所述层间预测标志被用于 解码所述当前块时，获取当前块的所述宏块类型。
6. 如权利要求1所述的方法，其中当当前块的所述宏块类型是以层间模式编码时，获 取所述残余预测标志。
7. 如权利要求1所述的方法，其中当残余预测标志指示所述当前块的所述残余数据是 通过使用所述相应块的所述残余数据被预测时，通过向所述当前块的残差数据添加所述相 应块的残余数据来解码所述当前块的所述残余数据。
全文摘要
本发明涉及一种对使用层间预测编码的视频信号进行解码的方法。提供了一种接收第一层的编码位流和第二层的编码位流并将其解码为视频信号的方法。判断在第二层的位流中是否存在与第一层的一图像中的目标块在时间上重合的块。如果在第二层的位流中不存在与目标块在时间上重合的块，则跳过检查指示是否已基于与目标块对应的不同层中的块的数据预测目标块的信息(intra_base_flag和residual_prediction_flag)的操作。该方法消除了当用时间上相邻帧进行层间预测时编码器发送不必要信息(intra_base_flag和residual_prediction_flag)的需要。
文档编号H04N7/26GK101771873SQ200910266848
公开日2010年7月7日 申请日期2006年3月17日 优先权日2005年3月17日
发明者全柄文, 朴志皓, 朴胜煜 申请人:Lg电子株式会社