专利名称：用于编码、传送及解码视频信号的方法和装置的制作方法
技术领域：
本发明涉及用于根据可分级方案编码和传送视频信号的方法和装 置，用于解码该编码的数据流的方法和装置，以及该编码的数据流。
背景技术：
可分级视频编解码器(SVC)是将视频编码成具有最高图像质量
的图像序列的方法，同时还保证编码的图像序列部分(特别地，从全 部帧序列中间隔选出的部分帧序列)可以被解码以代表具有较低图像
质量的视频。运动补偿时域滤波(MCTF)是一种推荐用于可分级视频 编解码器中的编码方案。
尽管能够如上所述通过接收并处理在可分级MCTF编码方案中编 码的图像的部分序列以代表低图像质量视频。如果比特率被降低，则 还存在图像质量较大的降低的问题。解决该问题的一个途径是为低比 特率分层并且额外地提供辅助图像序列，例如，具有小屏幕尺寸和/或 低帧速率的图像序列。 一个示例是编码并传送4CIF (4倍通用中间格 式)、CIF以及QCIF (四分之一 CIF)视频信号图像序列至图1所示 的解码装置。
由于同样的视频信号源被编码成序列，该图像序列具有冗余。为 了增加每个序列的编码效率， 一个方法要求通过与较高序列中视频帧 在时间上一致的较低序列中视频帧，对较高序列中视频帧进行序列间 预测，以降低较高序列中的编码信息量，如图1所示。也就是说，较 低序列的初始或基层可以被用于预测编码较高序列的初始或基层。
在图2所示的编码装置中，每个序列的编码器20K(其中K=l至3)
对通过运动估计和预测操作编码的数据执行例如离散余弦变换(DCT) 的变换/编码以及量化。该得到的编码序列被称为基或初始层。量化引
起基或初始层的信息损耗。因此，每个序列的编码器20k執行反量化 201k和反変換202k，用以在DCT和量化之前重构该序列。由此得到了 先于DCT和量化的实际序列与重构后的序列之间的差异。该差异代表 在DCT和量化过程中的数据损失。该差异然后被变换/编码例如DCT 和量化，以产生剩余序列层数据或SNR增强层数据。该剩余序列层数 据可以经历同样的处理以产生更高层的SNR增强层数据，并且该更髙 层的SNR增强层数据也可以经历同样的处理以得到更高层的剩余序列 层数据。为了简便，各种级别的SNR增强层数据可以被统称为SNR增 强层数据或剩余序列层数据。提供该SNR增强层数据，使得通过增加 SNR增强层数据的解码层使得图像质量逐步提高，这被称为精细分级。 也就是说，解码并增加至关联基层的剩余序列层数据的级别越多，得 到的图像质量越高。因为SNR增强层数据的级别数是可控制或可选择 的，因而质量的精细改进是可分级的；因此被称为精细分级或FGS。
如图1所示编码的全部序列不被传送到解码装置。而是，析取器 22传送根据传输信道带宽和解码装置当前要求的序列类型选择的流。 例如，如图3所示，当解码装置当前要求CIF序列并且传输信道带宽 允许，QCIF序列的SNR基层的数据301、 CIF序列的SNR基层的数据 302、QCIF序列的SNR增强层的数据303以及CIF序列的SNR增强层 的数据304以命名的顺序从存储单元21中的特定单元中被析取，并且 发送包括该析取数据的数据流。也就是说，在每个传送流段310中， 序列的增强层在序列的全部基层被传送后传送，并且每一层的序列按 照其传送速率的递增顺序传送。如果传输信道带宽在传送过程中减小， 则析取器22仅传送可传送的比特，因此不能传送每个传送段310中的 子序列比特流。例如，在图3的情况下，数据比特流的部分，起始于 CIF序列的SNR增强层的高预测误差补偿数据部分(即，误差补偿数 据的LSB)，没有被传送。
上述方法，以其传送速率增加的顺序依次传送序列，会因为传送 解码装置不使用的不必要数据而不必要地占用传输信道。例如，在图3 的例子中，当解码装置仅解码CIF序列来向用户显示视频时，QCIF序
列的SNR增强层数据被传送，尽管该SNR增强层数据不被使用，而在 CIF序列的SNR基层帧的预测中使用QCIF序列的SNR基层数据。
此外，当传输信道带宽被减小，QCIF序列的SNR增强层数据被 传送，但是其对改进图像质量实际没有作出贡献，而CIF序列增强层 的传送数据量被减小但是其对改进图像质量有直接的贡献。
发明内容
本发明涉及编码、传送和解码视频信号的方法和装置。
在解码视频信号的方法的一个实施例中，如果视频信号中的指示 符表示层间预测编码，则第一图像序列层的至少一部分图像基于第二 图像序列层被解码。
例如，第二图像序列层可以具有比第一图像序列层低的帧速率， 可以具有比第一图像序列层小的比特率，可以具有比第一图像序列层 小的图像分辨率，并且/或可以具有比第一帧序列小的图像显示尺寸。
在一个实施例中，第一图像序列层中的图像是基图像，其中基图 像具有第一图像序列层的基本质量级别。这里，解码步骤可以包括使
用与基图像关联的增强层图像信息改进解码的基图像的质量级别。
在另一个实施例中，大于零的指示符值表示对基图像的层间预测 编码。
在解码视频信号的方法的另一个实施例中，根据由视频信号中指 示符代表的质量级别，基于第二图像序列层中第二图像序列层基图像
的至少一部分和与第二图像序列层基图像关联的增强层图像信息，解 码第一图像序列层中的至少一部分图像。该第二图像序列层基图像具 有第二图像序列层的基本质量级别，并且与第二图像序列层基图像关 联的增强层图像信息提供信息来提高第二图像序列层基图像的质量级 别。
例如，根据指示符代表的质量级别，可以基于增强层图像信息解 码第二图像序列层基图像，以产生增强的图像，并且第一图像序列层 的部分图像可以基于增强的图像被解码。
根据用于解码视频信号的装置的实施例，如果视频信号中的指示 符表示层间预测编码，则解码器基于第二图像序列层解码第一图像序 列层中的至少一部分图像。
根据编码视频信号的方法的实施例，基于第二图像序列层编码第 一图像序列层中至少一部分图像，并且在视频信号中设置指示符，以 表示在第 一 图像序列层中的图像的层间预测编码。
在用于解码视频信号的装置的实施例中，编码器基于第二图像序 列层编码第一图像序列层中的至少一部分图像，并且在视频信号中设 置指示符，以表示在第一图像序列层中的图像的层间预测编码。
根据另一实施例，代表视频信号的比特流具有数据结构，包括代 表基于第二图像序列层编码的第一图像序列层图像的至少一部分的第 一流部分，并且包括表示在第一图像序列层中的图像的层间预测编码 的指示符。
提供了对本发明的进一步理解，示出了本发明的优选实 施例，与说明书一起用于解释本发明的原理。
图1示出了具有通过序列间预测将视频信号编码成具有不同屏幕 尺寸和/或不同帧速率的序列的示例；
图2示出了用于将视频信号编码成如图1所示的序列并将该序列 传送的装置的框图3示出了图2的编码装置提取并在从解码器接收到CIF序列传 输请求时发送的数据的传输格式；
图4示出了根据本发明的实施例，通过视频信号序列间预测将视 频信号编码成具有不同屏幕尺寸和/或不同帧速率的序列的装置的框 图5示出了根据本发明的实施例，由图4的装置编码的序列以及 图4的装置从编码序列中析取并传送的数据的传输格式；
图6示出了根据本发明的另一实施例从编码的序列中析取的数据 的传输格式；以及
图7是用于解码由图4的装置编码的数据流的装置的框图。
在不同的图中用相同的数字代表的发明中的特征、部件和方面代 表一个或多个实施例中相同、等价或类似的特征、部件或方面。
具体实施例方式
下面将参考附图详细说明本发明的示例性实施例。
图4是应用根据本发明的编码和传输方法的视频信号编码装置的 框图。
图4的视频信号编码装置在结构上类似于图2的装置。然而，图4 的装置中序列编码器40k和析取器42具有与图2的装置不同的特征。 现在将详细说明图4的视频信号编码装置，重点说明序列编码器40K 和析取器42。
具有不同的图像或显示尺寸(例如，不同的分辨率)和/或不同帧 速率的较低图像序列的编码器402和403中的每一个不仅为较高图像序
列的编码器40,和402中对应的一个提供SNR基层的数据还提供SNR 增强层的数据。如图5所示，较高序列的编码器40,和402中的每一个 在对由每个编码器40,和402产生的序列中的视频帧执行序列间预测 时，使用由较低级序列的SNR基层数据和关联的SNR增强层数据重构 的视频帧(S500)。这里，用于视频重构的SNR增强层数据的级别基 于条件被确定并设置在每个编码器40K中，例如被提供的图像质量和安 全传输信道容量。该级别然后通过插入字段或者标志 predication—SNR一level表示，该标志插在编码的SNR基层数据流的报
头(例如，片段或图像报头)，使得级别值被传送到解码器。该 predication—SNRJevel值表示级别值。
predication—SNRJevel还被设置在图4的编码装置的析取器42中。 析取器42从存储单元41中存储的编码数据流501中析取并传送解码 装置当前请求的图像序列的数据。图5示出了在解码装置请求CIF序 列并且传输信道要求的带宽可用的时候传送的每个数据流段的数据单 元的安排。
对于CIF序列传输，析取器42首先安排其较低(即，QCIF)序 列的SNR基层的数据单元aa，随后从QCIF序列的SNR增强层的数据 单元ab至af中安排数据单元ab、 ac、 ad、 ae和af直到设置的 predication_SNR—level。析取器42随后安排CIF序列的SNR基层的数 据单元ba，以及CIF序列的SNR增强层的数据单元bb至bh中的数据 单元bb、 bc、 bd、 be禾Qbf，直到设置的predication—SNRJevel。最后， 析取器42安排QCIF序列的SNR增强层的剩余的数据单元ag和ah， 在数据单元bb至bf后，还安排CIF序列的SNR增强层的剩余的数据 单元bg和bh，在剩余的数据单元ag和ah后，然后发送安排好的数据 流。
QCIF序列的SNR增强层的剩余数据单元ag和ah在CIF序列的 视频被显示时不被使用。当传输信道带宽允许时，在预测操作中不使 用的QCIF序列的SNR增强层的剩余单元ag和ah被安排并在数据流 中传送，因为用户可以使用具有低解码能力的设备例如移动电话，在 存储从析取器42中传送来的数据后观看QCIF序列的视频。
可选的，在CIF序列的SNR增强层的数据单元bb至bf直到设置 的predication_SNR—level之后，析取器42可以安排CIF序列的SNR 增强层的剩余数据单元bg和bh。然后，析取器42可以在数据流的最 后安排QCIF序列的SNR增强层的剩余数据单元ag和ah，并传送该安 排好的数据流。
在如图5所示的传送方法中，当传输速率由于传输信道条件退化 而降低时，不传输数据流的一部分，该部分起始于QCIF序列的SNR 增强层数据并对改善当前解码的视频的图像质量没有贡献。如果信道 条件进一步退化，根据略微增加视频SNR的数据到显著增加视频SNR 的数据的顺序，不传送部分数据流。也就是说，相对于传统的传送方 法，解码的视频图像的质量抵抗信道条件的变化。
如果predication—SNR—level被设置为零，较低序列的SNR增强层 数据不用于较高序列的帧的预测，则较低序列的SNR增强层数据不被 传送。因此，predication—SNRJevel的非零值代表出现层间预测，而零 值代表没有层间预测。当足够的传输信道带宽可用时，当前选择的序 列的SNR增强层的数据被安排并且在传送段中传送，较低序列的SNR 增强层的数据随后被安排并在传送段中传送。
图6中示出的这种情况的例子，其中CIF序列被选择使得QCIF 序列的SNR增强层的数据不在数据流中传送。即使QCIF序列的SNR 增强层的数据被传送，其也在数据流的最后安排并传送(601)。
图7是解码由图4的装置编码并且传送的数据流的装置的实施例 的框图。图7的解码装置接收多个序列并将较高的序列解码为视频信
号，还包括多路分解器(或多路分解器)70、主解码器71及次解码器 72。该多路分解器70将接收到的数据流分离成主序列的数据流和子序 列的数据流。该主解码器71将分离出来的主序列的数据流(例如，CIF 序列)根据MCIF方案转换成初始视频信号。次解码器72将分离出来 的子序列的数据流(例如，QCIF序列)根据特定的方案解码，例如， 根据MPEG4或H.264标准。
该主解码器71从输入数据流的报头中读出上述 predication—SNR—level并且通知次解码器72该predication—SNRJevel。 解码器之间的predication—SNR—level的通知在predication—SNR—level
被记录并被在每个序列中传送的实施例中不是必须的。
当解码接收到的子序列的数据流时，次解码器72解码可能与SNR 增强层一起被包括在接收到的数据流中的SNR基层数据。然后，该次 解码器72为主解码器71提供帧，这些帧被解码，以在接收到的子序 列的数据流中包括的SNR增强层数据中利用直到通知的 predication—SNRJevel的数据来改善视频的图像质量。
根据从次解码器72提供的帧预测的图像，或者，如果需要的话， 根据从这些帧的分级形式预测的图像，主解码器71将接收到的主序列 中的帧解码为初始的视频信号，子序列中的帧被用作主序列中帧的预
测图像。
上述解码装置可以被结合在移动通信终端、媒体播放器或其他类 似物中。
如上述说明中显示的，根据本发明的编码和解码视频信号的装置 和方法，通过额外使用误差补偿数据(例如，SNR增强层数据或剩余
序列层数据)重构视频帧来执行序列间预测，由此相对编码的数据量 改善图像质量。该装置和方法还顺序地安排并传送起始于显著影响当 前需要解码的序列的图像质量的数据单元的编码数据单元，由此使图 像质量对信道条件的变化较小敏感。同时，传输速率可以被降低以更 有效地分配传输信道。
尽管为了说明的目的已经详细公开了本发明的示例性实施例，但 是本领域技术人员能够认识到在不背离本发明的范围和精神的前提 下，可能进行各种修改增加和代替。
权利要求
1.一种解码视频信号的方法，包括如果视频信号中的指示符表示层间预测编码，则基于第二图像序列层解码第一图像序列层中的至少一部分图像。
2. 如权利要求l的所述方法，其中所述第二图像序列层具有比所 述第一图像序列层低的帧速率。
3. 如权利要求l的所述方法，其中代表所述第二图像序列层的比 特流的比特率比代表所述第一图像序列层的比特流的比特率小。
4. 如权利要求l的所述方法，其中所述第二图像序列层中的图像 分辨率比所述第一图像序列层中的图像分辨率小。
5. 如权利要求l的所述方法，其中所述第二图像序列层中的图像显示尺寸比所述第一图像序列层中的图像显示尺寸小。
6. 如权利要求l的所述方法，其中所述第一图像序列层中的所述 图像是基图像，该基图像具有所述第一图像序列层的基本质量级别。
7. 如权利要求6的所述方法，其中该解码步骤包括使用与所述基 图像关联的增强层图像信息来提高解码的基图像的质量级别。
8. 如权利要求6的所述方法，进一步包括 从所述基图像的报头片获取所述指示符。
9. 如权利要求6的所述方法，其中大于零的指示符的值表示对所 述基图像的层间预测编码。
10. 如权利要求9的所述方法，进一步包括 从所述基图像的报头片获取指示符。
11. 如权利要求6的所述方法，其中指示符的值为零表示没有层 间预测编码。
12. 如权利要求11的所述方法，进一步包括 从所述基图像的报头片获取指示符。
13. 如权利要求1的所述方法，其中大于零的指示符的值表示层 间预测编码。
14. 如权利要求13的所述方法，进一步包括 从所述视频信号的报头片获取指示符。
15. 如权利要求13的所述方法，其中指示符的零值表示没有层间预测编码。
16. 如权利要求15的所述方法，进一步包括从所述视频信号的报头片获取指示符。
17. 如权利要求1的所述方法，其中该指示符的零值表示没有层间预测编码。
18. 如权利要求17的所述方法，进一步包括从所述视频信号的报头片获取指示符。
19. 如权利要求l的所述方法，进一步包括从所述视频信号的报头片获取指示符。
20. 如权利要求1的所述方法，其中所述解码步骤根据由指示符 代表的质量级别，基于第二图像序列层基图像的至少一部分和与第二 图像序列层基图像关联的增强层图像信息，解码第一图像序列层中的 所述部分图像，该第二图像序列层基图像具有所述第二图像序列层的 基本质量级别，并且与所述第二图像序列层基图像关联的增强层图像 信息提供信息以提高所述第二图像序列层基图像的质量级别。
21. 如权利要求20所述的方法，其中所述解码步骤根据指示符代表的质量级别，基于增强层图像信息，解码所述第二图像序列层基图 像，以产生增强的图像，并且基于所述增强的图像解码所述第一图像 序列层的所述部分图像。
22. 如权利要求21所述的方法，其中所述增强的图像具有比所述 第二图像序列层基图像更好的质量。
23. 如权利要求21所述的方法，其中所述第一图像序列层中的图 像是具有所述第一图像序列层的基本质量级别的第一图像序列层基图 像。
24. 如权利要求20的所述方法，其中所述第一图像序列层中的图 像是具有所述第一图像序列层的基本质量级别的第一图像序列层基图像。
25. —种解码视频信号的方法，包括根据由所述视频信号中的指示符代表的质量级别，基于第二图像 序列层中第二图像序列层基图像的至少一部分和与所述第二图像序列 层基图像关联的增强层图像信息，解码第一图像序列层中的至少一部 分图像，该第二图像序列层基图像具有所述第二图像序列层的基本质 量级别，并且与所述第二图像序列层基图像关联的所述增强层图像信 息提供信息，以提高所述第二图像序列层基图像的质量级别。
26. 如权利要求25的所述方法，其中所述解码步骤根据指示符代表的质量级别，基于所述增强层图像信息解码所述第二图像序列层基 图像，以产生增强的图像，并且基于所述增强的图像解码所述第一图 像序列层的所述部分图像。
27. 如权利要求26的所述方法，其中所述增强的图像具有比所述 第二图像序列层基图像更好的质量。
28. 如权利要求26的所述方法，其中所述第一图像序列层中的图 像是具有所述第一图像序列层的基本质量级别的第一图像序列层基图像。
29. 如权利要求25的所述方法，其中所述第一图像序列层中的图 像是具有所述第一图像序列层的基本质量级别的第一图像序列层基图 像。
30. 如权利要求25的所述方法，进一步包括 从所述视频信号的报头片中获取指示符。
31. —种用于解码视频信号的装置，包括解码器，如果所述视频信号中的指示符表示层间预测编码，则基 于第二图像序列层，解码所述第一图像序列层中的至少一部分图像。
32. —种编码视频信号的方法，包括基于第二图像序列层编码第一图像序列层中的至少一部分图像， 并且在所述视频信号中设置指示符，以指示在所述第一图像序列层中 的图像的层间预测编码。
33. —种用于编码视频信号的装置，包括编码器，基于第二图像序列层编码第一图像序列层中的至少一部 分图像，并且在所述视频信号中设置指示符，以指示在所述第一图像 序列层中的图像的层间预领lj编码。
34. —种代表具有数据结构的视频信号的比特流，包括 第一流部分，其代表基于第二图像序列层编码的第一图像序列层图像的至少一部分图像，并且包括指示在所述第一图像序列层中的图像的层间预测编码的指示符。
全文摘要
在解码视频信号的方法的实施例中，如果视频信号中的指示符表示层间预测编码，则基于第二图像序列层解码第一图像序列层的至少一部分图像。
文档编号H04N7/32GK101103633SQ200580041787
公开日2008年1月9日 申请日期2005年12月6日 优先权日2004年12月6日
发明者全柄文, 朴志晧, 朴胜煜 申请人:Lg电子株式会社