用于构造残差数据流的方法和装置及用于重构图像块的方法和装置的制作方法

专利名称：用于构造残差数据流的方法和装置及用于重构图像块的方法和装置的制作方法
技术领域：
本发明涉及用于以信噪比(SNR)可縮放方式来编码视频信号及解码已编 码数据的技术。
2.
背景技术：
可缩放视频编解码器(SVC)方案是一种编码最高图像质量的视频信号、 并且即使解码并使用从最高图像质量编码所得的图像序列中的一部分(从整个 图像序列中间歇地选择的帧序列)也能表示低图像质量的图像的视频编码方 案。
一种用于以可縮放方式来编码视频信号的装置对于所接收到的视频信号 的每一帧，对使用运动估计及预测运动编码的数据执行例如离散余弦变换 (DCT)等变换编码及量化。在量化的过程中，丢失了信息。因此，如

图1A 中所示的编码装置中使用的信号编码单元通过对已编码数据执行反量化11和 反变换12并从原始数据中减去己编码数据来获得原始数据与已编码数据之间 的差值。编码器随后通过对该差值执行DCT变换及量化而在DCT域中生成 SNR增强层数据DIO。通过如上所述提供SNR增强层数据来改善SNR，随着 SNR增强层数据的解码级别增加，图像质量被逐渐提高。这被称为精细粒度可 縮放性(FGS)。此外，图1A的FGS编码器13对SNR增强层数据执行编码 以将该数据转换及解析成数据流。该编码是用彼此不同的有效数据路径(下文 被称为"有效路径")及细化数据路径(下文被称为"细化路径")来执行的。 在有效路径中，SNR增强层数据与SNR基本层中具有O值的同址(co-located) 数据一起根据第一方案来编码；而在细化路径中，SNR增强层数据与SNR基 本层中具有除0以外的值的同址数据一起根据第二方案来编码。
图1B示出了其中有效路径编码单元13a在有效路径上编码数据的过程。 对于SNR增强层像素数据，在每一周期中，执行一获取数据流(有效数据103a)的过程，该过程在以图1B中所示的选择序列101选择4X4的块的同时，列出 沿着一预定锯齿形扫描路径102的不包括细化数据的数据。该数据流使用其中 指定了 O行程的数量的方法，例如S3码来编码。除O以外的数据使用一种单 独的方法来编码。
图1C示出了一过程作为一具体示例，其中在每一周期中，有效路径编码 单元13a在选择每一块的同时执行编码。如在图1C中作为例子示出的块中的 数据值1并非代表实际值，而是在离散余弦变换系数有非零值的情况下代表除 0以外的值的简化指示。以下所描述的块中的数据值的记法是一样的。
以下简略地描述在图1C中作为例子示出的过程。有效路径编码单元13a 通过以图1B所示的块选择序列选择相应的块的同时顺序地列出关于0的数据 (121。(由于具有除O以外的值的细化数据不是目标数据，所以排除了细化 数据)，来对每一块执行第一周期，其中关于O的数据沿着一预定锯齿形扫描 路径读出直到遇到1。有效路径编码单元13a通过在顺序地选择各块并且从第 一周期的最后一个位置的下一位置开始沿着该扫描路径执行扫描直到遇到具 有l的位置的同时顺序地列出关于O的数据(1212)，来为每一块执行第二周 期。该过程对其它周期重复，直到数据被编码完。有效路径编码单元13a随后 通过对当前图像中的所有数据重复执行同一过程的同时以该周期序列列出数 据，来生成数据流120。该数据流可伴随如上所提到的另一编码过程。
在上述编码中，在该周期序列中首先被编码的数据首先被发送。同时，在 传输信道的带宽太窄的情况下，SNR增强层数据(下文中縮写为"FGS数据") 流可在传输期间被切割掉。在这种情况下，涉及影响视频质量的提高的数据1 且距离DC分量更近的大量数据被切割掉。
3.发明公开内容
本发明涉及一种重构第一图像层中的图像块的方法。 本发明还涉及一种构造残差视频数据流的方法。
在一实施例中，该方法包括为多个数据块确定参考块，以及基于该参考块 和该多个数据块来生成残差数据块序列。来自该残差数据块序列的数据在逐个 周期的基础上被解析成数据流，使得如果较靠近DC分量的数据存在于该序列中较后的残差数据块中，则在一周期期间在该序列中较早的至少一残差数据块 被跳过。
本发明还涉及用于重构第一图像层中的图像块的装置，以及构造残差视频 数据流的装置。
4.附图简述
本发明的以上及其它目的、特征及优点将从以下结合附图所作的详细描述
中被更清楚地理解，附图中 '
图1A是以FGS数据编码为重点的示意性地示出了一种用于编码视频信号
的常规装置的简图1B是示出编码具有FGS数据的图像的常规过程的例子的简图1C是示出将FGS数据编码成数据流的常规方法的简图2A是以FGS数据编码为重点的示意性地示出根据本发明一实施例的编
码视频信号的装置的简图2B是示出由图2A的装置执行的图像预测的操作的简图3是示出根据本发明一实施例的在扫描块的同时编码图像中相应的块
的方法的流程图4是示出根据作为例子的图3的方法的扫描或跳过相应块的过程的简
图5是示出与常规方法的过程作比较的、根据图3的方法将靠近DC分量 的数据排列在已编码数据流的前面部分中的过程的简图6是示意性地示出用于解码由图2A的装置所编码的数据流的装置的简
图7示出了根据本发明一实施例的精细地调整参考帧的.FGS增强层的图 像中的当前帧的FGS基本层的运动矢量以预测当前帧的FGS增强层的过程；
图8示出了根据本发明另一实施例的为当前帧中的任意块独立于该任意 块的FGS基本层的运动矢量在参考帧的FGS增强层图像中搜索一 FGS增强层 参考块的过程。
图9是示出可向其应用本发明的编码视频信号的装置的框图；以及图IO是示出可向其应用本发明的解码己编码数据流的装置的框图。 5.实现本发明的方式
将对附图进行参考，其中贯穿不同的附图使用了相同的参考标号来指示相 同的组件。
图2A示出根据本发明一实施例的用于执行一编码方法的编码装置。图2A 中所示的编码器210编码输入信号，从而生成SNR基本层数据及SNR增强层 数据(FGS数据)。与增强层所代表的图像相比，基本层代表了较低质量的图 像。由于SNR基本层数据的生成与本发明无关且是众所周知的，所以出于简 明的目的在此省略了其描述。FGS数据的生成如下所述地执行。
编码器210通过对先前已编码的SNR基本层数据执行反量化11及反变换 12 (如果有必要，放大反变换后的数据)，并获得该数据与原始基本层数据之' 间的差值，来从已编码数据中获取一差值(用于补偿编码时发生的误差的数据) (与先前在背景中所述的相同)。如图2B中所示，对于用上述方式所获得的 帧的每一宏块241，找到参考块241a，并获得到参考块241的运动矢量241b。 在找到参考块241a时，编码器210将参考块241a中的数据与当前宏块241中 的数据之间的差值数据(残差数据)编码为残差当前块。此外，对所获得的运 动矢量241b执行合适的编码。当用上述方式将帧编码为残差数据时，通过对 己编码的残差帧顺序地执行DCT变换及量化来生成DCT域中的FGS数据， 且结果是被应用于随后的FGS编码器230的FGS数据。以下将关于图7—10 更详细描述用于生成残差数据块的更详细实施例;其中FGS增强层参考块241a 将被称为参考块Re'。
为执行将在随后描述的FGS编码方法，FGS编码器230的有效路径编码 单元23管理一变量扫描标识符scanidx 23a来跟踪块上的扫描路径的位置。该 变量scanidx仅是数据块上的位置变量的名称(下文缩写为"位置变量")的 一个例子，且因此可使用任意其它的名称。
对在图2A的装置中编码的SNR基本数据也执行一适当的编码过程。该 过程与本发明没有直接的关系，且因此为了清晰起见在此省略了其说明及描 述。图2A的有效路径编码单元23以图1B所示的方式顺序地为单个图像(可 以是帧、片等)选择4X4的块，并根据将在以下描述的图3中所示的流程图 来编码相应块中的数据。如下所述，该过程将来自数据块的数据解析成数据流。 当然，由于甚至在选择块的顺序是以除图1B所示的方式以外的方式来进行的 情况下以下所述的方法也可应用于相应的块，所以本发明并不局限于选择块的 特定顺序。'
在步骤S31处，有效路径编码单元23首先初始化位置变量23a (例如， =1)。以指定的序列(例如，按照设计选择或标准)来选择相应的块。在步 骤S32处，对每一所选择的块，沿着一锯齿形扫描路径(看图1C为例)编码 一数据段，直到遇到数据l (被称为"有效数据")。在步骤S33处，将对每 一块所编码的数据段的最后一个位置，即存在数据1的位置处的值，作为已编 码位置变量sbidx (也可称为编码结束数据位置指示符或其它适当的名称)来 存储。如可以回想起的，块中的数据值l并不代表实际值，而是在离散余弦变
换系数具有非零值的情况下代表除o以外的值的简化指示。当第一周期完成时，
在步骤S34处，将位置变量23a增加l。根据已执行的周期的数量，位置变量 23a的值增加，因此位置变量23a指示了周期的数量，且也可被称为周期指示 符。
接着，从指定序列中的第一个块作为所选择的块开始执行第二周期。在步 骤S35处，通过将所选择的块的编码结束位置指示符sbidx与周期指示符 scanidx 23a进行比较，来确定当前由位置变量scanidx 23a所指示的位置是否是 之前已编码的位置。§卩，如果所选择的块的编码结束位置指示符sbidx大于或 等于周期指示符scanidx，则所选择的块中由变量scanidx所指示的位置已被编 码。应该记住，该位置是沿着图1B的锯齿形路径的位置，其中位置"0"是左 上角，且沿着该锯齿形路径的每一位置值是一加上该锯齿形路径上的前一位置 的位置号。这在图4中示出，其示出了被应用于块选择序列中的两个块N和 N+l的图3的过程的例子。图4还示出了为每一块N和N+l编码数据的顺序 和其间发生编码的周期及被跳过的周期。在图4的例子中，标记A表示块N+1 上的数据段，其在第二周期中被编码。在图4的例子中，块N的位置"2"存 在于第一周期中被编码的段中，且因此块N在第二周期中被跳过。回到步骤S35，如果该位置是之前已编码的位置，则当前块被跳过，且在
步骤S38处，如果跳过的块不是当前图像中的最后一个块，则该过程前进到下 一步骤S39。如果当前由位置变量23a所指示的位置不是已编码的位置，则在 步骤S36处，对从之前已编码位置(由变量sbidx所指示的位置)到存在数据 1的位置的数据段执行编码。当然，在编码完成时，在步骤S37处更新该块的 已编码位置变量sbidx。在步骤S38处，如果当前被编码的块不是最后一个块， 则在步骤S39处该过程前进到下一块。
有效路径编码单元23重复执行上述步骤S34到S39,直到在步骤S40处 所有有效数据都被编码。
回到图4的例子，块N在第二周期(标记B)后的第三和第四周期中被 跳过，且在扫描路径上直到在位置7处的有效数据的数据段在第五周期中被编 码。
在根据本发明的另一实施例中，可为每一块创建一临时矩阵，且该临时矩 阵的相应位置可对己编码数据标记为编码完成(例如，设为1)，而非存储之 前已编码的位置。在本实施例中，当在步骤S35处确定由位置变量23a所指示 的当前位置是否是已编码位置时，通过检査临时矩阵中对应于该位置变量的位 置处的值是否被标记为编码完成来执行该确定。
在上述过程中，由于在前面周期中已编码的数据被排列在数据流的前面部 分中，因此则极有可能的是，当块被相互比较时，不管其频率如何，位于扫描 路径上前面位置的有效数据将首先被编码和发送。为进一步阐明这点，图5示 出了与基于发明背景一节中所描述的常规编码方法的数据流作相比，为图4的 示例中示出的两个块N及N+1编码的数据流。
如图5的例子中所示，从已编码数据流的起始点开始的相同段中的有效数 据的数量与基于常规编码方法的数量相比几乎是相同的。然而，鉴于有效数据 的属性，与常规方法相比(例如，见图5中的501)，在根据本发明的编码中， 位于块的扫描路径的前面位置的有效数据被定位在己编码数据流的前面部分 中。由于数据位于块的扫描路径上的前面位置(在图5中，在相应块的右上部 分中的值指示了路径上的顺序位置)，则该数据比后面的数据DCT系数更靠 近DC分量。因此，在传输被中断的情况下，与常规方法相比，本发明平均发送了更多靠近DC分量的有效数据。例如，数据块序列中的数据在逐个周期的 基础上被解析成数据流，使得如果较靠近DC分量的数据存在于该序列中较后 的数据块中，则在一周期中在该序列中较早的至少一个数据块被跳过。
在本发明的另一实施例中，在步骤S35处可确定用于确定由位置变量23a 所指示的位置是否是己编码的位置的另一值。例如，根据位置变量23a的值来 确定一变换值。可以使用矢量作为用于变换位置变量值的函数。即，在预先指 定矢量
的值后，在步骤S35处的确定步骤中确定由对应于位置变量23a 的当前值的元素"矢量[scanidx]"的值所指示的位置是否是已编码位置。如果 矢量"矢量[]"的元素被设为单调递增的值，如在(0， 1， 2， 3， 4， 5， 6， 7， 8， 9， 10， 11， 12， 13， 14， 15}中那样，则该过程变成与图3的实施例的过 程相同。然而，如果设了一矢量使得不小于位置变量scanidx值的值被指定为 设置了矢量"矢量[]"的元素的变换值，例如，{3， 3， 3， 3， 7， 7， 7， 7， 11， 11， 11， 11， 15， 15， 15， 15}，则在其中通过经由位置变量的变换所获 得的值"矢量[scanidx]"大于相应块的已编码位置变量sbidx的情况下，即使 由位置变量23a所指定的当前位置已经在每一周期中被编码了，也将为该块编 码从该已编码位置到下一数据1的数据段。
因此，通过适当地设置变换矢量"矢量[]"的值，与常规方法相比，可调 节位于扫描路径的前面部分中的有效数据被定位在已编码流的前面部分的范 围。
如上所述指定的矢量的元素并不被直接发送到解码器，而是可作为模式信 息来发送。例如，如果模式是0，则它指示所使用的矢量是{0， 1， 2， 3， 4， 5， 6, 7， 8， 9， 10， 11， 12， 13， 14， 15}。如果模式是l，则另外地使用一 分组值且指定所使用的矢量的元素。当分组值是4时，则为每4个元素的组指 定相同的值。更详细而言，如果模式是1且分组值是4则使用矢量{3， 3， 3， 3， 7， 7， 7, 7, 11， 11, 11， 11， 15， 15， 15， 15}时，且该模式和分组信 息被发送到解码器。此外，如果模式是2，则另外地使用其各自被指定了相同 值的各元素组的最后一个位置处的值。例如，当模式是2且另外使用的值的集 合是(5， 10， 15}时，它指示所使用的矢量是{5， 5， 5， 5， 5， 5， 10， 10， 10， 10， 10， 15， 15， 15， 15， 15}。下面描述一种在接收如上所述编码的数据流的解码装置中解码数据的方法。
图6是示出一用于解码由图2A的装置所编码并发送的数据流的装置的实
施例的框图。图6的装置所接收到的数据流是已经经历过适当的解码过程，且 因此已经被预先解压过的数据。当接收到用上述的方式编码的FGS数据流时， FGS解码器610的有效路径解码单元611解码有效数据流且构造每一图像。同 时，细化路径解码单元612解码细化数据流且用该数据补充每一图像，从而完 成该图像。由于细化数据的解码与本发明没有直接关系，因此为了清晰起见， 本文省略了其描述。
在解码有效数据流时，有效路径解码单元611执行图3的过程。g卩，它执 行图3的流程图中的过程，其中编码过程用解码过程来替换。在这个过程中， 有效数据流被解码或解析成数据块序列。即，所接收到的已编码FGS数据的 有效数据流被划分为到数据1的数据段，即，"0..001"的单元，且该数据块 序列用每一块上的沿着锯齿形扫描路径的数据段来填充。当块用这些数据填充 后，在其中SNR基本层中的相应位置处的值不是O(即，块中将被填充的位置 对应于细化数据)的情况下，则该位置未用这些数据填充而是被跳过。该被跳 过的位置由细化路径解码单元612用数据来填充。在以下的描述中，用数据填 充块指的是在跳过将用细化数据来填充的位置的同时用数据填充该块。
在歩骤S31处，有效路径解码单元611初始化位置变量dscanidx61a (例 如，=1)。显而易见的是，该变量也可被称为周期指示符且指示当前周期。 在步骤S32处，对指定序列中的每一块，有效路径解码单元611用有效数据流 中直到数据1的数据，例如"0..001",沿着一锯齿形扫描路径来填充所选择 的块。在步骤S33处，每一相应块中被数据填充的最后一个位置，即记录数据 1的位置的值被存储在己解码位置变量dsbidx中。变量dsbidx也可被称为填充 结束数据位置指示符。在步骤S34处，在第一周期完成后，位置变量61a增加 1。此后，进行在从第一个块开始顺序地选择相应块(步骤S34)的同时执行 第二周期的过程。在步骤S35处，通过将所选择块的填充结束数据位置指示符 sbidx与周期指示符61a进行比较来确定由变量61a所指示的位置是否是已填 充了数据的位置。即，如果填充结束数据位置指示符dsbidx大于或等于周期指示符dscanidx，则由位置变量dscanidx所指示的位置包含已解码数据。如果该 位置是己填充了数据的位置，则跳过当前块。在步骤S38处，如果该跳过的块 不是当前图像中的最后一个块，则在步骤S39处，该过程前进到下一块。如果 由位置变量61a所指示的位置不是填充了数据的位置，则在步骤S36处，读取 有效数据流中自前一已填充位置(由dsbidx所指定的位置)到数据1的数据段， 且执行填充。当然，在该步骤完成时，在步骤S37处更新该块的已解码位置变 量，-即填充了数据的最后一个位置的sbidx值。同时，在步骤S38处，如果当 前已解码块不是最后一个块，则在步骤S39处，该过程前进到下一块。
如果该块是最后一个块，则该过程返回到步骤S34，在那里递增位置变量 dscanidx，且另一周期开始。
有效路径解码单元611对当前图像重复执行上述步骤S34到S39，直到在 步骤S40处填充了最后一个有效数据，从而解码一图像。随后的有效数据流被 用来解码随后的图像。如将了解的，该方法在逐个周期的基础上将来自数据流 的数据解析成数据块序列，使得如果在该序列中较后的数据块包括一比在较早 数据块中更靠近DC分量的空数据位置，则在一周期中在该序列中较早的至少 一个数据块被跳过。
在根据本发明的另一实施例中，可为每一块创建一临时矩阵且该临时矩阵 中的相应位置可对已编码数据标记为解码完成(例如，设为l)，而非存储先 前已编码的位置(填充了数据的位置)。在本实施例中，当在步骤S35处确定 由位置变量61a所指示的当前位置是否是已解码位置时，通过检查临时矩阵的 对应于该位置变量的位置处的值是否被标记为解码完成来执行该确定。
当在步骤S35处根据编码过程中所描述的另一实施例来确定填充了数据 的位置时，可确定由元素值"矢量[scanidx]"所指示的位置是否是已填充了数 据的位置，该元素值"矢量[scanidx]"是通过用位置变量61a的值代替之前所 指定的变换矢量"矢量[]"，而非位置变量61a的值来获得的。代替先前所指 定的变换矢量，基于从编码装置所接收到的模式值(在上述例子中，为0、 1 或2)来构造一变换矢量，且使用伴随该模式值(在模式值为1或2的情况下) 的信息。
通过上述过程，FGS数据流(有效数据及细化数据两者)被完全恢复成DCT域中的图像且被发送到随后的解码器620。为解码每一SNR增强帧，解 码器620首先执行反量化和反变换，且随后如图2B中所示，对于当前帧的宏 块，通过将由运动矢量所指定且被预先解码的参考块的数据加到该宏块的残差 数据来恢复当前宏块的视频数据。
上述解码装置可被安装在移动通信终端或用于播放记录媒体的装置中。 经由有限的实施例详细描述的本发明更有可能允许涉及影响视频质量的 改进的数据且更靠近DC分量的更多数据被发送到解码装置，且因此不管传输 信道的改变都将平均提供高质量的视频信号。
接着，将详细描述本发明的进一步的示例实施例。
在本发明的一实施例中，在编码过程期间，精细地调整精细粒度可縮放性 (FGS)基本层的同址块Xb的运动矢量mv(Xb)以提高逐行FGS (PFGS)的 编码效率。
艮P，该实施例获得FGS增强层块X的FGS增强层帧，以被编码为时间上 与和FGS增强层块X同址的基本层块Xb的基本层参考帧重合的FGS增强层 帧。在该实施例中，该基本层参考帧将在同址块Xb的参考图像索引中指示； 然而，本领域的技术人员通常将该参考帧称为由运动矢量所指向的帧。给定增 强层参考帧，则从该FGS增强层参考帧重构图像的一区域(例如， 一部分区 域)。该区域包括由基本层同址块Xb的运动矢量mv(Xb)所指示的块。搜索该 区域以获得具有与块X的最小图像差值的块，即块Re'，使得绝对差值的和 (SAD)被最小化。SAD是该两个块中相应的像素之间的绝对差值的和。然后， 计算从块X到所选择的块的运动矢量mv(X)。
在这种情况下，为了减少搜索的负担，搜索范围可被限于在由运动矢量 mv(Xb)所指示的块周围的水平和垂直方向中包括了预定像素的区域。例如，该 搜索可仅对于在每一方向上延伸了1像素的区域来执行。
此外，搜索分辨率，即移动块X以找到具有最小SAD的块的单位，可以 是1像素、1/2像素(半像素)、或l/4像素(四分之一像素)。
具体而言，当仅对于在每一方向上延伸l像素的区域执行搜索，且在像素 的基础上执行时，则从9个候选位置中选择SAD被最小化的位置，如图7所 示。如果通过这种方式来限制搜索范围，则如图7所示，所计算出的运动矢量
mv(X)与运动矢量mv(Xb)之间的差值矢量mvd一ref一fgs在FGS增强层中发送。 与所获得的运动矢量mv(x)相关联的FGS增强层参考块即是增强层参考块Re' (同样参见图2B)。 '
在本发明的另一实施例中，为了获得块X的FGS增强层的最优运动矢量 nw一fgs，即为了生成块X的FGS增强层的最优预测图像，则独立于对应于块 X的FGS基本层同址块Xb的运动矢量mv(Xb)来执行运动估计/预测操作，如 图8中所示。
在这种情况下，可在由运动矢量mv(Xb)所指示的(即，由块Xb的参考 图像索引所指示的)参考帧中搜索块X的FGS增强层预测图像(FGS增强层 参考块)，或可在另一帧中搜索块X的参考块。如图7的实施例一样，所获得 的与运动矢量mv(X)相关联的FGS增强层参考块即是增强层参考块Re'。
在前一种情况下，存在优点，即将在其中搜索块X的FGS增强层参考块 的帧被限于由运动矢量mv(Xb)所指示的参考帧，因此减少了编码负担，且不 需要发送包括该参考块的块X的参考索引。
在后一种情况下，存在缺点，即将在其中搜索参考块的帧的数量增加，因 此增加了编码负担，且该帧的参考索引，包括所找到的参考块，都必须被另外 发送。但是，也存在优点，即可生成块X的FGS增强层的最优预测图像。
当不改变地编码运动矢量时，需要大量比特。由于相邻块的运动矢量具有 高度相关的趋势，因此相应的运动矢量可从之前已被编码的周围块(紧邻左侧、 紧邻上侧及紧邻右上侧的块)的运动矢量来预测。
在编码当前运动矢量mv时， 一般而言，编码并发送当前运动矢量mv与 从周围块的运动矢量所预测的运动矢量mvp之间的差值mvd。
因此，通过mvd_fgs = mv_fgs - mvp一fgs来编码通过独立运动预测操作所 获得的块X的FGS增强层的运动矢量mv—fgs。在这种情况下，从周围块所预 测及获得的运动矢量mvp—fgs可使用运动矢量mvp来实现，或使用从运动矢量 mvp导出的运动矢量(例如，mvp = mv(Xb)的已縮放版本)来实现，其中运 动矢量mvp是在编码FGS基本层同址块Xb的运动矢量mv(Xb)时不改变地获 得的(例如，mvp = mv(Xb))。如果对应于块X的FGS基本层同址块Xb的运动矢量的数量是二，艮P， 如果使用两个参考帧来预测块Xb，则获得与块X的FGS增强层的运动矢量的 编码有关的两个数据。例如，在第一实施例中，这两个数据是 mvd—ref—fgs一10/11，而在第二实施例中，这两个数据是mvd_fgs—10/11。
在以上的实施例中，宏块(或比宏块小的图像块)的运动矢量是相对于 FGS增强层来计算的，且计算出的运动矢量被包含在FGS增强层中的宏块层 中且被发送到解码器。然而，在常规的FGS增强层中，相关信息是基于片级 来定义的，而非基于宏块级、子宏块级、或子块级来定义。
因此，在本发明中，为了在FGS增强层中定义与基于宏块(或比宏块小 的图像块)所计算出的运动矢量有关的数据，新定义了定义宏块层和/或比宏块 层小的图像块层所需要的句法，例如， pregressive—refinement—macroblock—layer—in—scalable—extension()(可缩方文扩展 中的逐行细化宏块层)及pregressive—refmement一mb (和/或sub—mb ) _pred—in—scalable_extension()(可縮放扩展中的逐行细化宏块(和/或子宏块) 预测，且计算出的运动矢量用该新定义的句法来记录且随后被发送。
同时，FGS增强层的生成类似于用帧内基本预测模式在具有不同空间分辨 率的基本层和增强层之间执行预测、以及生成作为图像差值的残差数据的过 程。
例如，如果假定增强层的块是X并且对应于块X的基本层的块是Xb，则 通过帧内基本预测获得的残差块是R-X-Xb。在这种情况下，X可对应于将 被编码的质量增强层的块，Xb可对应于质量基本层的块，且R-X-Xb可对 应于将在块X的FGS增强层中编码的残差数据。
在本发明的另一实施例中，将帧内模式预测方法应用于残差块R以减少 将在FGS增强层中编码的残差数据的量。为了对残差块R执行帧内模式预测， 使用了关于在对应于块X的基本层同址块Xb中使用的帧内模式的相同模式信 息。
通过将块Xb中所使用的模式信息应用于残差块R来获得具有残差数据的 差值的块Rd。对所获得的块Rd执行离散余弦变换(DCT)，且使用一量化步 长来量化DCT结果，该量化步长被设为小于在生成块Xb的FGS基本层数据时所使用的量化步长，从而生成块X的FGS增强层数据。
在又一实施例中，生成一等于FGS增强层参考块Re'的块X的经自适应的 参考块Ra'。此外，将在块X的FGS增强层中编码的残差数据R被设为R^X -Ra，因此将帧内模式预测方法应用于该残差块R。将了解，在该实施例中， 增强层参考块Re'，以及因此的经自适应的参考块Ra'，是重构的图像，且并非 是在变换系数级。这是在图2B中所图示的实施例。
在这种情况下，应用于残差块R的帧内模式是基于块R中的相应像素的 平均值的DC模式。此外，如果通过根据本发明的实施例的方法来生成块Re'， 则关于解码器中生成块Re'所需要的运动的信息被包含在块X的FGS增强层数 据中。
图9是编码视频信号且可向其应用本发明的装置的框图。 图4的视频信号编码装置包括基本层(BL.)编码器110，用于使用预定的 方法对作为帧序列输入的图像信号执行运动预测；对运动预测结果执行DCT; 使用预定的量化步长来量化DCT变换结果；以及生成基本层数据。FGS增强 层(FGS一EL)编码器122使用该运动信息、由BL编码器110所提供的基本 层数据、以及作为当前帧的运动预测的参考的帧(例如，前一帧)的FGS增 强层数据来生成当前帧的FGS增强层。FGS增强层编码器122可包括，例如， 图2A中所示的各元件。由于以下详细描述了有效单元23的操作，因此在图9 的描述中将不再重复。多路复用器130使用预定的方法来多路复用BL编码器 110的输出数据以及FGS一EL编码器122的输出数据，且输出多路复用后的数 据。
FGS_EL编码器122从由BL编码器110所提供的基本层数据来重构参考 帧的质量基本层(也被称为FGS基本层图像)，该参考帧是当前帧的运动预 测的参考，且使用参考帧的FGS增强层数据及参考帧的已重构的质量基本层 来重构该参考帧的FGS增强层图像。
在这种情况下，该参考帧可以是由对应于当前帧中的块X的FGS基本层 同址块Xb的运动矢量mv(Xb)所指示的帧。
当参考帧是当前帧的前一帧时，则该参考帧的FGS增强层图像可能已经 预先被存储在一缓冲器中。此后，FGS一EL编码器122在已重构的参考帧的FGS增强层图像中搜索 块X的FGS增强层参考图像，S卩，其中关于块X的SAD被最小化的参考块或 预测块Re'，且随后计算从块X到所找到的参考块Re'的运动矢量mv(X)。
FGS_EL编码器122对块X与所找到的参考块Re'之间的差值执行DCT， 且使用一被设为小于预定的量化步长(当BL编码器110生成块Xb的FGS基 本层数据时所使用的量化步长)的量化步长来量化DCT结果，从而生成块X 的FGS增强层数据。
在预测参考块时，FGS_EL编码器122可将搜索范围限于由运动矢量 mv(Xb)所指示的块周围在水平和垂直方向上包括预定像素的区域，以减少搜索 的负担，正如本发明第一实施例中那样。在这种情况下，FGS—EL编码器122 在与块X相关联的FGS增强层中记录所计算出的运动矢量mv(X)与运动矢量 mv(Xb)之间的差值mvd_ref—fgs 。
此外，如在本发明的上述第二实施例的情况中那样，FGS一EL编码器122 可独立于运动矢量mv(Xb)来执行运动估计操作，以获得块X的FGS增强层的 最优运动矢量mv一fgs;从而搜索具有关于块X的最小SAD的参考块Re'，且 计算从块X到所找到的参考块Re的运动矢量nw—fgs。
在这种情况下，可在由运动矢量mv(Xb)所指示的参考帧中搜索块X的 FGS增强层参考块，或可在除该参考帧以外的帧中搜索块X的参考块。
FGS一EL编码器122对块X和所找到的参考块Re'之间的差值执行DCT， 且使用一被设为小于预定的量化步长的量化步长来量化该DCT结果；从而生 成块X的FGS增强层数据。
此外，FGS—EL编码器122在与块X相关联的FGS增强层中记录所计算 出的运动矢量nw—fgs与从周围的块中所预测并获得的运动矢量mvp—fgs之间 的差值mvd一fgs。即，FGS一EL编码器122在FGS增强层中记录用于定义关于 基于块(宏块或比宏块小的图像块)所计算出的运动矢量的信息的句法。
当在除由运动矢量mv(Xb)所指示的参考帧以外的帧中搜索块X的参考块 Re'时，关于该运动矢量的信息还可包括包含了所找到的参考块Re'的帧的参考 索引。
已编码数据流以有线或无线的方式被发送到解码装置，或通过记录介质来传送。
图10是解码已编码数据流且可向其应用本发明的装置的框图。图5的解 码装置包括用于将接收到的数据流分为基本层流和增强层流的多路分解器
215;用于使用预设方法来解码输入基本层流的基本层(BL)解码器220;以 及用于使用运动信息、由BL解码器220所提供的重构的质量基本层(或FGS 基本层数据)、以及FGS增强层流来生成当前帧的FGS增强层图像的FGS_EL 解码器235。 FGS一EL解码器235可包括，例如图6中所示的各元件。由于有 效单元611的操作己经在前面详细描述，因此将不在图IO的描述中重复。
FGS_EL解码器230检查FGS增强层流关于当前帧中的块X的信息，艮P， 关于用于块X的运动预测的运动矢量的信息。
当i)当前帧中的块X的FGS增强层是基于另一帧的FGS增强层图像来 编码，以及ii)是使用除由对应于块X的块Xb (即当前帧的FGS基本层块) 的运动矢量mv(Xb)所指示的块以外的其它块作为预测块或参考块来编码的时 候，用于指示该其它块的运动信息被包含在当前帧的FGS增强层数据中。
艮P，在以上的描述中，FGS增强层包括用于定义关于基于块(宏块或比宏 块小的图像块)所计算出的运动矢量的信息的句法。关于运动矢量的信息还可 包括在其中找到块X的FGS增强层参考块的参考帧的索引(该参考帧包括该 参考块)。 '
当关于当前帧中的块X的运动信息存在于当前帧的FGS增强层中时， FGS_EL解码器235使用参考帧的质量基本层以及该参考帧的FGS增强层数据 来生成该参考帧的FGS增强层图像(由BL解码器220所重构的FGS基本层 图像可从由BL解码器220所提供的FGS基本层数据来提供或重构)，该参考 帧是当前帧的运动预测。在这种情况下，该参考帧可以是由块Xb的运动矢量 mv(Xb)所指示的帧。
此外，可使用一不同帧的FGS增强层图像来编码参考帧的FGS增强层。 在这种情况下，使用从该不同帧所重构的图像来重构该参考帧。此外，当该参 考帧是当前帧的前一帧时，该FGS增强层图像可能己经被预先生成且被存储 在一缓冲器中。
此外，FGS EL解码器235使用关于块X的运动信息从参考帧的FGS增强层图像来获得块X的FGS增强层参考块Re'。
在本发明上述的第一实施例中，从块X到参考块Re'的运动矢量nw(X)作 为包含在块X的FGS增强层流中的运动信息mv一ref一fgs与块Xb的运动矢量 mv(Xb)之和来获得。
此外，在本发明的第二实施例中，运动矢量mv(X)作为包含在块X的FGS 增强层流中的运动信息mvd—fgs与从周围块所预测和获得的运动矢量mvp—fgs 之和来获得。在这种情况下，运动矢量mvp—fgs可使用在计算FGS基本层同 址块Xb的运动矢量mv(Xb)时不改变地获得的运动矢量mvp、或使用从运动矢 量nwp所导出的运动矢量来实现。
此后，FGS一EL解码器235对块X的FGS增强层数据执行反量化及反DCT， 并将反量化及反DCT的结果加到所获得的参考块Re'，从而生成块X的FGS 增强层图像。
上述的解码装置可安装在移动通信终端、或用于复制记录媒体的设备中。 如上所述，本发明具有优点，即它可在FGS增强层被编码或解码时对FGS
增强层图像有效地执行运动估计/预测操作，且可有效地发送重构FGS增强层
图像所需要的运动信息。
虽然出于说明性的目的公开了本发明的示例实施例，但本领域的技术人员
将了解，各种修改、增加、及减少都是可能的，而不背离本发明的范围和精神。
权利要求
1.一种重构第一图像层中的图像块的方法，包括在逐个周期的基础上将来自所述第一图像层的数据流的数据解析成一数据块序列，使得如果在所述序列中较后的数据块包括一比在较早数据块中更靠近DC分量的空数据位置，则在一周期中跳过在所述序列中较早的至少一个数据块；基于第二图像层中的块的运动矢量信息以及与所述数据块相关联的运动矢量差值信息来生成指向所述数据块中的至少一个的参考块的运动矢量，与所述第一图像层所代表的图像相比，所述第二图像层代表较低质量的图像，且所述第二图像层的所述块在时间上与所述第一图像层中的所述数据块相关联；以及基于所述数据块及所述参考块来重构所述图像块。
2. 如权利要求l所述的方法，其特征在于，每一数据块包括多个数据位置，且所述数据位置的顺序遵循从所述数据块 左上角开始的锯齿形路径；所述解析步骤在第一周期中包括在所述序列的第一数据块中沿着所述锯齿形路径填充第一数据段，从所述 开始数据位置开始并沿着所述锯齿形路径在第一数据位置处结束的所述第一 数据段用对应于一非零数据值的数据来填充；以及对所述序列中的每一后续块重复所述填充步骤。
3. 如权利要求2所述的方法，其特征在于，所述数据块序列代表与视频数据基本层相关联的视频数据增强层，所述视 频数据增强层用于增强由所述视频数据基本层所代表的视频；以及如果所述视频数据基本层中的数据位置包括非零数据值，则一数据块的相 应数据位置对应于非零数据值。
4. 如权利要求2所述的方法，其特征在于，所述解析步骤在每一后续周 期中包括-确定所述序列中的哪些数据块具有最靠近DC分量的空数据位置； 填充每一确定的数据块中沿着所述锯齿形路径的下一数据段，所述下一数 据段开始于之前已填充的数据段的填充结束数据位置之后的下一数据位置，且 结束于沿着所述锯齿形路径的用对应于非零数据值的数据所填充的下一数据 位置；在当前周期中跳过不是己确定的数据块的数据块的填充。
5. 如权利要求4所述的方法，其特征在于，所述数据块序列代表与视频数据基本层相关联的视频数据增强层，所述视频数据增强层用于增强由所述视频数据基本层所代表的视频；以及如果所述视频数据基本层中的数据位置包括非零数据值，则一数据块的相 应数据位置对应于非零数据值。
6. 如权利要求4所述的方法，其特征在于，所述解析步骤在每一后续周 期中包括对所述序列中的每一数据块，将所述数据块的填充结束数据位置指示符与一周期指示符进行比较，所述 填充结束数据位置指示符指示所述数据块中沿着所述锯齿形路径的最后一个已填充数据位置，、且所述周期指示符指示当前周期；如果所述比较步骤指示所述填充结束数据位置指示符小于所述周期指示 符，则填充所述数据块中沿着所述锯齿形路径的下一数据段，所述下一数据段 开始于之前已填充的数据段的填充结束数据位置之后的下一数据位置，且结束 于沿着所述锯齿形路径的用对应于非零数据值的数据所填充的下一数据位置； 以及如果所述填充结束数据位置指示符大于或等于所述周期指示符，则在当前 周期中跳过所述数据块的填充。
7. 如权利要求6所述的方法，其特征在于，所述数据块序列代表与视频数据基本层相关联的视频数据增强层，所述视频数据增强层用于增强由所述视频数据基本层所代表的视频；以及如果所述视频数据基本层中的数据位置包括非零数据值，则一数据块的相 应数据位置对应于非零数据值。
8. 如权利要求4所述的方法，其特征在于，所述解析步骤在每一后续周期中包括对所述序列中的每一数据块，确定所述数据块中对应于当前周期的数据位置是否己被填充； 如果所述数据块中对应于当前周期的数据位置未被填充，则填充所述数据 块中沿着所述锯齿形路径的下一数据段，所述下一数据段开始于之前已填充的 数据段的填充结束数据位置之后的下一数据位置，且结束于沿着所述锯齿形路 径的用对应于非零数据值的数据所填充的下一数据位置；以及如果所述数据块中对应于当前周期的数据位置已被填充，则在当前周期中 跳过所述数据块的填充。
9. 如权利要求8所述的方法，其特征在于，所述数据块序列代表与视频数据基本层相关联的视频数据增强层，所述视 频数据增强层用于增强由所述视频数据基本层所代表的视频；以及如果所述视频数据基本层中的数据位置包括非零数据值，则一数据块的相 应数据位置对应于非零数据值。
10. 如权利要求2所述的方法，其特征在于，所述数据代表变换系数信息。
11. 如权利要求l所述的方法，其特征在于，还包括基于所述第二图像层中的块的参考图像索引来确定包括所述参考块的第 一图像层中的图像。
12. 如权利要求l所述的方法，其特征在于，还包括从所述第二图像层获得所述第二图像层中的块的运动矢量信息；以及从所述第一图像层获得所述运动矢量差值信息。
13. 如权利要求l所述的方法，其特征在于，所述运动矢量信息包括与所述第二图像层的块相关联的运动矢量。
14. 如权利要求l所述的方法，其特征在于，所述生成步骤包括基于所获得的运动矢量信息来确定运动矢量预测；以及 基于所述运动矢量预测及所述运动矢量差值信息来生成与所述第一图像 层中的当前块相关联的运动矢量。
15. 如权利要求14所述的方法，其特征在于，所述运动矢量信息包括与所述第二图像层的块相关联的运动矢量；以及 所述确定运动矢量预测的步骤确定等于与所述第二图像层的块相关联的 运动矢量的运动矢量预测。
16. 如权利要求14所述的方法，其特征在于，所述生成步骤生成等于所 述运动矢量预测加上由所述运动矢量差值信息所指示的运动矢量差值的当前 块的运动矢量。
17. 如权利要求16所述的方法，其特征在于，所述运动矢量信息包括与所述第二图像层的块相关联的运动矢量；以及 所述确定运动矢量预测的步骤确定等于与所述第二图像层的块相关联的 运动矢量的运动矢量预测。
18. 如权利要求1所述的方法，其特征在于，所述参考块在一参考图像中， 且所述参考图像是所述第一图像层中的图像。
19. 如权利要求18所述的方法，其特征在于，所述数据块的参考图像在 时间上与所述第二图像层中的一参考图像相关联，所述第二图像层中的所述参 考图像是所述第二图像层中的块的参考图像。
20. 如权利要求l所述的方法，其特征在于，所述重构步骤组合由所述运动矢量所指向的参考块和所述数据块以重构所述图像块。
21. 如权利要求20所述的方法，其特征在于，所述重构步骤组合所述参 考块和所述参考块之后的数据块，且所述数据块己经经历了反量化和反变换。
22. —种构造残差视频数据流的方法，包括 为多个数据块确定参考块；基于所述参考块及所述多个数据块来生成一残差数据块序列；以及 在逐个周期的基础上将来自所述残差数据块序列的数据解析成数据流，使得如果更靠近DC分量的数据存在于所述序列中较后的残差数据中，则在一周期中跳过在所述序列中较早的至少一个残差数据块。
23. 如权利要求22所述的方法，其特征在于，还包括 为所述多个数据块的每一个确定运动矢量，每一运动矢量指向所述多个数据块中相关联的一个的参考块；以及 -将关于所述运动矢量的信息插入到所述数据流中。
24. —种用于重构第一图像层中的图像块的装置，包括 第一解码器，其包括第一解码单元和第二解码单元， 所述第一解码单元在逐个周期的基础上将来自所述第一图像层的数据流的数据解析成一数据块序列，使得如果在所述序列中较后的数据块包括一比在 较早数据块中更靠近DC分量的空数据位置，则在一周期中跳过所述序列中较 早的至少一个数据块，且所述第二解码单元基于第二图像层中的块的运动矢量信息及与所述数据块相关联的运动矢量差值信息来生成指向所述数据块中的至少一个的参考块 的运动矢量，与所述第一图像层所代表的图像相比，所述第二图像层代表较低 质量图像，且所述第二图像层的所述块在时间上与所述第一图像层中的所述数 据块相关联，且所述第二解码单元基于所述参考块及所述数据块来重构所述图像块；以及 第二解码器，其从所述第二图像层获得所述运动矢量信息并将所述运动矢量信息发送给所述第一解码器。
25. —种用于构造残差视频数据流的装置，包括第一编码单元，用于生成为多个数据块确定参考块，且基于所述参考块及所述多个数据块来生成一残差数据块序列；以及第二编码单元，用于在逐个周期的基础上将来自所述残差数据块序列的数 据解析成数据流，使得如果更靠近DC分量的数据存在于所述序列中较后的残 差数据块中，则在一周期中跳过在所述序列中较早的至少一个残差数据块。
全文摘要
在一实施例中，该方法包括在逐个周期的基础上将来自第一图像层的数据流的数据解析成一数据块序列，使得如果在该序列中较后的数据块包括了一比在较早数据块中更靠近DC分量的空数据位置，则在一周期中跳过在该序列中较早的至少一个数据块。基于第二图像层中的块的运动矢量信息及与该数据块相关联的运动矢量差值信息来生成指向至少一个数据块的参考块的运动矢量。与第一图像层所代表的图像相比，第二图像层代表了较低质量的图像，且第二图像层的块在时间上与第一图像层中的数据块相关联。基于该数据块及参考块来重构一图像块。
文档编号H04N7/24GK101283601SQ200680037121
公开日2008年10月8日 申请日期2006年10月4日 优先权日2005年10月5日
发明者严圣铉, 全柄文, 朴志皓, 朴胜煜, 金东奭 申请人:Lg电子株式会社