专利名称：在图像编解码中控制误差漂移的方法及装置的制作方法
技术领域：
本发明涉及图像处理技术，尤其涉及在图像编解码中控制误差漂移的方法 及装置。
背景技术：
在当前的视频编码标准中，运动补偿是在一个封闭的预测环路中进行，预 测之后原始信号和预测信号的差值将进行基于块的变换。变换系数通过量化和 编码形成输出码流。在解码端，量化系数经过反变换，然后和当前的预测信号 相加形成重构帧，同时用来作为后继序列的预测信号。可伸缩视频编码(或称可分层视频编码)SVC ( Scalable Video Coding)是 一项十分具有吸引力的"^支术，它能够通过一个编码之后的处理来实现;f见频码流 任意的裁减。质量可伸缩性可以通过增强层的使用实现，增强层指编码原始信 号和基本层重构信号之间的差。这种分层编码可以在基本层预测环路内使用加 权增强层作为参考帧，从而提高编码效果。如图1所示，可以用基本质量层和每个增强层的独立预测编码环路来表示。 在每个编码环路中，通过运动补偿各自层的以前编码的和重建的图像来形成预 测信号。通过从输入信号减去到各个基本层或增强层的预测信号来产生编入码 流的信号。相应的，最终的完整码流包含基本层码流和一个或多个增强层位流 的联合。在SVC中为了限制在截断FGS增强层发生漂移，通过使用一个泄漏 因子a来削弱增强层运动补偿残差来实现泄漏预测。泄漏因子a可以在从1 到0的范围内变化。取0值意味着增强层环路不可用，结果采用全Intra-FGS 编码，不产生漂移。oX)对应于SVC中的自适应参考帧精细粒度可伸缩AR-FGS (Adaptive Reference-Fine Granularity Scalability )，这时提升了增强层的编码效
率，但导致了截断FGS层的漂移。图2所示的编解码结构中去除了额外的增强层预测环路，使用FGS内编 码增强层。去除增强层环路能够降低复杂度，如杲解码端能够获得增强层数据， 仍然可以得到很高的编码性能。从图1、图2可知，现有的SVC技术存在以下不足1、 基本层采用的参考帧仅仅来自于基本层，形成的是较粗糙的重构帧， 因而这样的系统其编码性能明显低于比单层编码。2、 在解码端，如果增强层信号没有完全接收到，如增强层被截断或者发 生了丢包，解码器就不能产生同样的重构数据。由于编码器和解码器所采用的 预测信号可能不一样，此时使用增强层作为参考帧来预测基本层的帧可能会导 致较大的误差漂移。发明内容本发明提供一种在图像编解码中控制误差漂移的方法及装置，用以控制基 本层误差漂移，在编码码流被截断后仍能使解码端的预测信号接近编码端的预 测信号。一种在图像编解码中控制误差漂移的方法，包括步骤 才艮据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中 块的特性；以及根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧 的权重形成基本层预测帧。较佳的，所述局部信息为已经处理的图像块的变换量化系数的个数、位置 和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经 编码的图像块量化步长的大小。优选的，所述局部信息为运动参数信息；所述运动参数信息包括当前编码
块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项 信息。优选的，所述编码为可伸缩视频编码svc。一种在图像编解码中控制误差漂移的方法，包括步骤发送端根据当前帧中的局部信息确定泄漏因子，按该泄漏因子确定基本层 参考帧和增强层参考帧的权重并形成基本层预测帧，其中，所述局部信息反映 所述当前帧中权重的特性；所述编码端将所述泄漏因子编码到码流中发送给接收端；所述接收端从所述码流中获取所述泄漏因子，并根据该泄漏因子确定基本 层参考帧和增强层参考帧的权重并形成基本层预测帧。优选的，所述局部信息为已经处理的图像块的变换量化系数的个数、位置 和幅值信息中的一项或多项信息；或者，所述局部信息为当前编码块或/和已经 编码的图像块量化步长的大小。优选的，所述局部信息为运动参数信息；所述运动参数信息包括当前编码 块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或多项化息。优选的，所述编码为可伸缩視频编码svc。一种误差漂移控制装置，包括输入模块，用于获取当前帧中的局部信息，所述局部信息反映所述当前帧 中块的特性；确定模块，用于根据所述局部信息确定泄漏因子； 输出模块，用于输出所述泄漏因子。 一种图像编码器，包括误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局 部信息反映所述当前帧中块的特性；
构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧。编码装置，用于根据所述基本层预测帧对输入的原始图像帧进行编码。一种解码器，包括误差漂移控制装置，用于4艮据当前帧中的局部信息确定泄漏因子，所述局 部信息反映所述当前帧中块的特性；构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧；解码装置，用于根据所述基本层预测帧对已编码的码流进行解码。一种解码器，包括提取装置，用于从已编码的码流中提取泄漏因子；构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧；解码装置，用于根据所述基本层预测帧对输入的已编码码流进行解码。 本发明有益效杲如下1、 本发明通过动态的确定泄漏因子，根据该泄漏因子确定增强层和基本 层的参考帧的权重构成基本层的预测帧，并利用该预测帧对基本层进行编码， 因而能够限制由于增强层截断或丟失带来的误差漂移。2、 本发明结合Intra-FGS编码技术，在进行质量可伸缩低延时编码具有和 AR-FGS编码相近的编码性能。由于省略了 AR-FGS编码时的运动步长增强层 环路，大大降低了算法的复杂度。
图1为现有SVC技术中具有多预测环路的编解码结构示意图；图2为现有SVC技术中仅有基本层预测环路的编解码结构示意图3为本发明实施例的SVC技术中具有多预测环路的编解码结构示意图； 图4为本发明实施例的SVC技术中仅有基本层预测环路的编解码结构示 意图；图5为本发明实施例中漂移控制装置的结构示意图；图6为本发明实施例中编码端形成基本层的预测帧的流程图。
具体实施方式
在视频编解码系统中，对于可伸缩视频编码(或称可分层视频编码)SVC (Scalable Video Coding),由于在比特流裁减过程中，增强层数据可以被全部 或部分地删除，因此，解码端基本层环路得到的信号不同于编码端信号，导致 编解码端失配。由于解码端环路具有递归结构，编解码端失配会扩散到解下来 的多个解码图像中，产生累计误差，导致解码视频图像质量的严重下降，产生 所谓的"误差漂移"现象。本实施例通过估计在编解码端能够得到的全部信息中的局部信息确定泄 露因子Y的大小，所述局部信息能够反映当前帧中块的特性；然后在编解码端 都使用一个泄漏因子Y来削弱基本层编码环路中来自增强层的预测信号，使解 码端的误差漂移得到控制。图3给出了本实施例中具有多预测环路(基本层和增强层)的视频编解码 系统，图4给出了本实施例中仅具有基本层预测环路的视频编解码系统。图3 和图4所示的视频编解码系统在现有编解码系统的基本层增加了用于确定泄漏因子Y的误差漂移控制装置，以及根据泄漏因子Y按权重处理基本层的参考帧 和增强层的参考帧的处理装置。与图3相比，图4所示的视频编解码系统去除 了额外的增强层预测环路，使用FGS内编码增强层，能够大大降低复杂度。图3和图4所示的^L频编解码系统在基本层预测环路的处理完全相同，以 下以图4所示的视频编解码系统为例进行说明。 参阅图4所示，在编码器中，基本层预测环路包括计算模块400、转换模 块401、量化模块402、反量化模块403、逆转换模块404、计算装置411、去 除块效应模块405、权重处理模块406-1、 406-2、计算装置407、帧緩存模块 408、运动补偿模块409和误差漂移控制装置410。计算模块400将输入信息送去基本层的预测信息产生编入码流的信息；转 换模块401对需要编入码流的信息进行时域到频域的转换；量化模块402对转 换后的信号进行量化处理，并输出到解码侧；反量化模块403对量化后的信号 进行反量化处理；逆转换模块404对反量化处理后的信号进行频域到时域的转 换；计算模块411将逆转换后的信号与基本层预测信号求和；去除块效应模块 405对求和后的信号进行去除块效应处理；误差漂移控制装置410从量化后的信号、量化参数值QP和运动参数中提取局部信息导出泄漏因子y;权重处理 模块406-1以泄漏因子Y为权重提取增强层的参考信号，权重处理模块406-2 以"It"为权重提取基本层的参考信号；计算模块407对增强层和基本层的 参考信号求和；帧緩存模块408緩存求和后的信号，用来运动补偿后形成预测 帧；运动补偿模块409根据运动参数对帧緩存模块408输出的信息进行补偿处 理，形成基本层预测帧，并提供给计算模块400和计算模块411。在解码器中，基本层预测环路包括反量化模块453、逆转换模块454、计 算装置461、去除块效应模块455、权重处理模块456-1、 456-2、计算装置457、 帧緩存模块458、运动补偿模块459和误差漂移控制装置460。其中，反量化 模块453对输入的基本层编码信号进行反量化处理，其他模块对信号的处理与 编码器中基本层预测环路相对应的模块对信号的处理相同，只是去除块效应后 的信号即为解码后的信号，其余处理不再赘述。上述编码器和解码器结构中，编码器中的误差漂移控制装置410和解码器 中的误差漂移控制装置460从相同的输入信息中获取相同的局部信息，并利用 相同的规则或算法导出泄漏因子y。
在另一种可选的实现方式中，在编码器中将误差漂移控制装置410导出的 泄漏因子y编码进码流中，解码器中的误差漂移控制装置460直接从码流中提 取泄漏因子y，因此，误差漂移控制装置460可以只具提取泄漏因子y的功能。采用这种实现方式时，建议最好采用熵编码方法编码泄漏因子y，否则可能导 致码率上升而影响压缩性能。本实施例中， 一种误差漂移控制装置的结构如图5所示，包括输入模块 500、确定模块501和输出模块502。其中，输入模块500用于接收基本层预测 环路中量化后的信号、量化参数值qp和运动参数；确定模块501从这些信息 中提取局部信息，并按预定的规则导出泄漏因子y;确定模块502将泄漏因子 y输出到权重确定模块。误差漂移控制装置导出的泄漏因子Y的局部特性取决于实际的编码结构， 首选配置的，对应于最小运动补偿和变换块的大小，在svc可伸缩编码系统 中体现为4 x 4或8 x 8结构。泄漏因子y取值等于或大于o并且小于1。当0<7<1时，编码端产生一个 次优的预测信号，虽然可能会牺牲一定的编码效率，而解码端的误差漂移就能 够按照因子y在每个环路循环中得到减弱。由于在编解码端采用了相同的消弱 过程，如果在解码端参考增强层比特流没有改变，则两端的基本层环路具有相 同的操作。当y = 0时，来自增强层对基本层的预测被关闭，避免了任何预测 误差漂移的产生，但也会导致编码效率下降。较佳的，误差漂移控制装置提取的局部信息可以是已经编码图像块的变换 量化系数的个数、位置和幅值信息中的一项信息，也可以是其中的多项信息或 全部信息，即综合这些信息得到泄漏因子y。较佳的，误差漂移控制装置提取的局部信息可以是当前编码块或/和已经编 码的图像块量化步长的大小(量化参数值，qp)。较佳的，误差漂移控制装置提取的局部信息可以是运动参数信息中的信 息，如当前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息 得到泄漏因子中的一项或多项。误差漂移控制装置在得到局部信息后，可以用一个非常简单的规则来导出泄漏因子。如，可以根据avc跳过宏块编码模式选择泄漏因子y,例如规定当 前宏块的编码模式是跳过模式时，泄漏因子y取2/3。当然，根据实际需要， 也可以采用较为复杂的规则或算法导出泄漏因子。参阅图6所示，在编码端，基本层预测环路产生基本层预测帧的流程如下 步骤600、误差漂移控制装置410根据从当前帧中输入的量化后的信号、 量化参数值qp和运动参数中提取指定的信息(如，当前帧中已经编码图像块 的变换量化系数的个数和位置)，按预定的规则确定出泄漏因子y。 步骤601 、反量化装置403对所述量化后的信号进行反量化处理。 步骤602、逆变换装置404对量化后的信号进行频域到时域的转换处理。 步骤603、将逆变换后的信号与前一基本层的预测帧信号求和。 步骤604、对求和信号进行去除块效应处理。步骤605、以泄漏因子y作为增强层参考帧的权重提取增强层参考帧的信 号，以1- "1"y"作为基本层参考帧的权重提取基本层参考帧的信号(即去除 块效应后的信号)，并对提取的信号求和。步骤606、緩存步骤605求和后的信号。步骤607、根据运动参数对緩存的信号进行运动补偿，形成基本层的预测帧。在上述流程中，误差漂移控制装置410确定出泄漏因子y可以在步骤604 之前的任一步骤完成。根据对编码器中产生基本层预测帧的描述，本领域的普通技术人员可以结 构前述对系统的描述得到在解码器中产生基本层预测帧的处理过程。从上可知，本发明通过在编解码端都使用一个泄漏因子y来削弱基本层编
码环路中来自增强层的预测信号，改进的时域预测对基本层进行编码，能够限制由于增强层截断或丟失带来的误差漂移。结合Intra-FGS编码技术，本发明 方法在进行质量可伸缩4氐延时编码具有和AR-FGS编码相近的编码性能，同时 由于省略了 AR-FGS编码时的质量增强层环路，使得算法复杂度大大降低了。 通过局部适配基本层泄漏因子，该发明限制了由于增强层被截断或丢失所产生 的误差漂移。使解码端误差漂移能够得到控制。上述的误差漂移控制装置可以用在编码和解码系统的基本层编解码阶段， 同样，可以用在视频编解码系统中的一个或多个视频增强层编码阶段。本发明 所体现的可分层视频编码系统是对H.264/AVC视频编码标准的可分层扩展。明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种在图像编解码中控制误差漂移的方法，其特征在于，包括步骤根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中块的特性；以及根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。
2、 如权利要求1所述的方法，其特征在于，所述局部信息为已经处理的 图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者， 所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。
3、 如权利要求1所述的方法，其特征在于，所述局部信息为运动参数信自
4、 如权利要求3所述的方法，其特征在于，所述运动参数信息包括当前 编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项或 多项信息。
5、 如权利要求1至4任一项所述的方法，其特征在于，编码端进一步将 确定的泄漏因子编码到码流中输出。
6、 如权利要求1所述的方法，其特征在于，所述编码为可伸缩视频编码svc。
7、 一种在图像编解码中控制误差漂移的方法，其特征在于，包括步骤 发送端根据当前帧中的局部信息确定泄漏因子，按该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧，其中，所述局部信息反映所述当前帧中块的特性；所述编码端将所述泄漏因子编码到码流中发送给接收端； 所述接收端从所述码流中获取所述泄漏因子，并根据该泄漏因子确定基本层参考帧和增强层参考帧的权重并形成基本层预测帧。
8、 如;f又利要求7所述的方法，其特征在于，所述局部信息为已经处理的 图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者， 所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。
9、 如权利要求7所述的方法，其特征在于，所述局部信息为运动参数信息。
10、 如权利要求9所述的方法，其特征在于，所述运动参数信息包括当前 编码块或临近块的宏块分割信息、宏块编码;漠式、运动矢量集信息中的一项或 多项信息。
11、 如权利要求7至IO任一项所述的方法，其特征在于，所述编码为可 伸缩视频编码SVC。
12、 一种误差漂移控制装置，其特征在于，包括输入模块，用于获取当前帧中的局部信息，所述局部信息反映所述当前帧 中块的特性；确定模块，用于根据所述局部信息确定泄漏因子； 输出模块，用于输出所述泄漏因子。
13、 如权利要求12所迷的装置，其特征在于，所述局部信息为已经处理 的图像块的变换量化系数的个数、位置和幅值信息中的一项或多项信息；或者， 所述局部信息为当前编码块或/和已经编码的图像块量化步长的大小。
14、 如权利要求12所述的装置，其特征在于，所述局部信息为运动参数 信息。
15、 如权利要求14所述的装置，其特征在于，所述运动参数信息包括当 前编码块或临近块的宏块分割信息、宏块编码模式、运动矢量集信息中的一项 或多项信息。
16、 一种图像编码器，其特征在于，包括误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局 部信息反映所述当前帧中权重的特性；构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧。编码装置，用于根据所述基本层预测帧对输入的原始图像帧进行编码。
17、 如权利要求16所述的图像编码器，其特征在于，所述编码装置进一 步将确定的泄漏因子编码到码流中。
18、 一种解码器，其特征在于，包括误差漂移控制装置，用于根据当前帧中的局部信息确定泄漏因子，所述局 部信息反映所述当前帧中权重的特性；构造装置，用于才艮据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧；解码装置，用于根据所述基本层预测帧对已编码的码流进行解码。
19、 一种解码器，其特征在于，包括 提取装置，用于从已编码的码流中提取泄漏因子；构造装置，用于根据所述泄漏因子确定基本层参考帧和增强层参考帧的权 重，并按参考帧的权重形成基本层预测帧；解码装置，用于根据所述基本层预测帧对输入的已编码码流进行解码。
全文摘要
本发明公开了一种在图像编解码中控制误差漂移的方法及装置，用以控制基本层误差漂移，在编码码流被截断后仍能使解码端的预测信号接近编码端的预测信号；该方法为根据当前帧中的局部信息确定泄漏因子，所述局部信息反映所述当前帧中权重的特性；以及根据所述泄漏因子确定基本层参考帧和增强层参考帧的权重，并按参考帧的权重形成基本层预测帧。
文档编号H04N7/64GK101166281SQ20061013705
公开日2008年4月23日 申请日期2006年10月18日 优先权日2006年10月18日
发明者史蒂芬·坎普, 熊联欢, 马休斯·韦恩 申请人:华为技术有限公司