图像块的编码和解码方法、对应的设备和数据流的制作方法
【技术领域】
[0001] 公开根据特殊的重构的参考图像对图像块进行解码的方法。还公开对应的编码方 法以及对应的编码和解码设备。
【背景技术】
[0002] 在视频流传输期间，可用的带宽可能随着时间而变化。因此，需要调整流传输应用 的输出比特率以实时地适应可用带宽，从而避免拥塞。使得能够进行实时比特率调整的一 种方式是使用实时编码器，但是需要针对每个客户端分配一个编码系统，这在例如关于V0D 服务的许多客户端的情况下可能是不可接受的。使得能够进行实时比特率调整的另一种方 式是使用可伸缩视频编码（scalablevideocoding)。在可伸缩编码中，视频源被编码成若 干层。在传送期间，为了调整输出比特率，服务器选择要发送的层（模式"推送"）或者解码 器请求要发送的层（模式"拉取"）。该方法适合于异构信道上的流传输，但是与单一层视 频编码相比，可伸缩视频编码降低总的压缩效率并且增加编码器和解码器两者的计算复杂 度。实现比特率调整的简单方法是对相同的视频序列的多个版本进行编码。这些版本具有 不同的分辨率和/或质量级别，并且因此具有不同的比特率。在流传输期间，当需要调整输 出比特率时，要传送的流可以从一个版本动态地切换到其他版本，以便适应带宽需求或用 户的能力，如图1所示。这种解决方案被称作"流切换"。然而，在间编码（inter-coded)图 像（P或B图像）处的流之间的直接切换可能造成重构的参考图像的失配并且导致错误的 图像重构。重构的视频的质量可能显著降低。解决该问题的一种方法是使用比特流中的随 机访问点（RandomAccessPoints，RAP)(典型地，I图像或IDR图像或CRA图像）。IDR是 "瞬时解码器刷新（InstantaneousDecoderRefresh)"的英文首字母缩写，CRA是"干净随 机访问（CleanRandomAccess)"的英文首字母缩写。因为切换只能够在这些RAP处发生， 所以需要在比特流中频繁地分配RAP，以便实现迅速的流切换。然而，对这样的I/IDR图像 进行编码引入大量的比特率开销。另外，使用位于RAP之前的重构的参考图像的RAP之后 的图像被跳过或者未被正确地编码，因为它们使用与在编码中所使用的那些不同的重构的 参考图像，如图2所示。在图2中，Ic从重构的参考图像II和12重构，但是它根据重构的 参考图像il和i2被编码。
[0003] 在AVC中，设计了特殊图像类型（SI/SP)，其允许对来自另外的流的图像的相同的 重构，从而便于进行流切换。于是，视频图像在切换点处被编码成SP图像，而不是内编码 (intra-coded)图像，如图3所不。SP图像的编码效率尚于内编码图像的编码效率，但是与 常规的P图像相比，它们仍然是不太高效的。因此，如果分配许多切换点，则总的编码效率 仍然降低。
[0004]在来自Zhou等人的标题为"EfficientbitstreamswitchingofH. 264coded video"并且发表于SPIE会议录第5909卷（2005年）的文献中，公开了一种解决方案，使得 能够在任何时间进行切换，而没有大量的比特率开销。该解决方案仅提供用于IPPPG0P结 构。除了不同比特率的相同视频序列的多个版本之外，还对出现切换的当前图像的重构的 参考图像的DIFF图像进行编码，如图4所示。DIFF图像是当前图像的重构的参考图像与其 他流中的在时间上对应的图像的差分。差分图像被传送给解码器以补偿失配。因为如在文 献的第5页上所提及的那样，DIFF图像仅在切换发生时被传送，所以由以上方案所引入的 比特率开销很小。另一方面，该解决方案仅对从单个重构的参考图像预测出的P图像起作 用。另外，该解决方案要求编码次序和显示次序相同。
【发明内容】
[0005] 公开一种对图像块进行解码的方法。该解码方法包括：
[0006] _将至少一个流S_diff解码成解码数据和用于标识解码器图像缓冲器中的重构 的参考图像的一条信息；
[0007] _从至少所标识的重构的参考图像并且从解码数据重构特殊参考图像；
[0008] -在解码器图像缓冲器中，用特殊参考图像替换一个重构的参考图像；以及
[0009] _从至少特殊参考图像重构图像块。
[0010] 根据具体特征，在解码器图像缓冲器中替换的一个重构的参考图像是所标识的重 构的参考图像。
[0011] 有利地，解码方法还包括：对表示在解码器图像缓冲器中用特殊参考图像替换一 个重构的参考图像的时刻的信息进行解码。
[0012] 根据本发明的另一方面，解码方法还包括：对指示是否显示特殊参考图像的标记 进行解码。
[0013] 根据具体特征，所标识的重构的参考图像从分层的流的基础层解码。
[0014] 有利地，解码数据和标识解码器图像缓冲器中的重构的参考图像的信息从分层的 流的增强层解码。
[0015] 还公开一种对图像块进行编码的方法。该编码方法包括：
[0016] -从至少一个重构的参考图像对图像块进行编码；以及
[0017] -从另外的重构的参考图像和用于标识解码器图像缓冲器中的另外的重构的参考 图像的信息，将至少一个重构的参考图像编码为特殊参考图像，其中在被重构时特殊参考 图像替换解码器图像缓冲器中的一个重构的参考图像。
[0018] 根据具体特征，在解码器图像缓冲器中的所替换的一个重构的参考图像是所标识 的另外的重构的参考图像。
[0019] 有利地，该编码方法还包括：对表示在解码器图像缓冲器中用特殊参考图像替换 一个重构的参考图像的时刻的信息进行编码。
[0020] 根据本发明的另一方面，该编码方法还包括：对指示是否显示特殊参考图像的标 记进行编码。
[0021] 根据具体特征，标识的重构的参考图像被编码在分层的流的基础层中。
[0022] 有利地，至少一个重构的参考图像和用于标识解码器图像缓冲器中的另外的重构 的参考图像的信息被编码在分层的流的增强层中。
[0023] 还公开一种对图像块进行解码的解码设备。该解码设备包括：
[0024] -用于将至少一个流S_diff解码成解码数据和用于标识解码器图像缓冲器中的 重构的参考图像的一条信息的部件；
[0025] _用于从至少所标识的重构的参考图像并且从解码数据重构特殊参考图像的部 件；
[0026]-用于在解码器图像缓冲器中用特殊参考图像替换一个重构的参考图像的部件； 以及
[0027]-用于从至少特殊参考图像重构图像块的部件。
[0028] 该解码设备被配置为执行所述解码方法的步骤。
[0029] 公开一种对图像块进行编码的编码设备。该编码设备包括：
[0030] -用于从至少一个重构的参考图像对图像块进行编码的部件；以及
[0031]-用于从另外的重构的参考图像和用于标识解码器图像缓冲器中的另外的重构的 参考图像的信息，将至少一个重构的参考图像编码为特殊参考图像的部件，其中在被重构 时特殊参考图像替换解码器图像缓冲器中的一个重构的参考图像。
[0032] 该编码设备被配置为执行编码的步骤。
[0033] 最后，公开一种数据流，该数据流包括被编码在其中的用于标识解码器图像缓冲 器中的重构的参考图像的一条信息和允许从所标识的重构的参考图像重构特殊参考图像 的数据，所述特殊参考图像用于替换解码器图像缓冲器中的重构的参考图像。
【附图说明】
[0034] 通过下面对本发明的一些实施例的描述，将呈现本发明的其他特征和优点，该描 述结合附图一起进行，附图中：
[0035] -图1和图2例示流切换的一般原理；
[0036]-图3例示根据技术现状的使用SI/SP图像的流切换的原理；
[0037]-图4例示根据技术现状的使用DIFF图像的流切换的原理；
[0038]-图5图示根据本发明的解码方法的流程图；
[0039]-图6图示根据本发明的编码方法的流程图；
[0040]-图7图示根据本发明的单层（mono-layer)视频解码器；
[0041] -图8图示根据本发明的单层视频编码器；
[0042]-图9例示根据本发明的使用SRP图像的流切换的原理；
[0043]-图10例示根据本发明的解码方法的另外的实施例；
[0044]-图11图示根据本发明的多层视频解码器；
[0045] -图12图示根据本发明的多层视频编码器；以及
[0046]-图13表示根据本发明的多分层的流。
【具体实施方式】
[0047] 本发明涉及对像素的图像块进行解码的方法以及对这样的图像块进行编码的方 法。图像块属于图像序列的图像。每个图像包括像素或像点（picturepoint)，其每个与至 少一项图像数据相关联。一项图像数据例如是一项亮度数据或一项色度数据。在下文中， 参照图像块来描述编码和解码方法。显然，这些方法可以应用于图像的若干图像块以及序 列的若干图像（着眼于分别编码和解码一个或多个图像）。图像块是任何形式的像素的集 合。其可以是方形、矩形。但是，本发明并不局限于这样的形式。在下面的部分中，将单词 块（block)用于图像块。在HEVC中，块指代编码单元（CodingUnit，⑶）。
[0048] "预测因子（predictor)"项指用于预测其他数据的数据。预测因子用于预测图像 块。预测因子或预测块从与其预测（空间预测或图像内预测）的块所属图像相同的图像的 一个或若干重构的参考样本获得，或者从重构的参考图像的一个（单向预测）或若干参考 块（双向预测或双预测）（时间预测或图像间预测）获得。参考块用运动矢量在重构的参 考图像中标识。还可以对预测进行加权以考虑照度变