专利名称：视频编码的误差控制系统和方法
技术领域：
本发明涉及视频编码领域，尤其涉及一种视频编码的误差控制系统和方法。
背景技术：
FGS(Fine Granularity Scalability，精细粒度可伸缩)视频编码作为H.264和MPEG-4标准的视频流化框架中的关键技术，能够通过编码后的处理实现视频码流任意的裁减，其产生的码流能适应网络带宽的波动。
在FGS视频编码中，运动补偿作为一种提高编码效率，降低带宽需求的技术，首先从当前帧中减去之前传输的帧，使得只有差值或剩余值才被编码传输，而帧中没有变化的内容就不被编码传输，从而通过对于前帧的内容的移动进行估计，并补偿该运动值来实现更高的压缩比。所述运动补偿是在一个封闭的预测环路中进行，在编码端，预测之后原始信号和预测信号的差值将进行基于块的变换，变换系数通过量化和编码形成输出码流；在解码器，量化系数经过反变换，然后和当前的预测信号相加形成重构帧，同时用来作为后继序列的预测信号。
FGS视频编码的码流包括一个基本层和一个以上的增强层。在增强层的编码中采用了由部分增强层构成的高质量的参考图像，从而提高了编码效率。当网络波动造成不足以传输该部分增强层码流时，解码器将可能部分或全部丢掉高质量的参考图像，这种编码器和解码器之间的高质量图像的差异必然导致误差的传递和积累，从而影响解码图像的质量。为了克服上述缺陷，在增强层中，引入泄漏因子，对高质量的重构图像再进行一次运动补偿。在重构高质量的参考图像时，首先对前一帧的高质量的预测图像和重构的基本层相减的系数进行α衰减，衰减后的系数再与重构的基本层相加，构成运动补偿的高质量参考图像。因此，可以选取不同的α值来控制参考图像的质量，从而使重建帧的质量在网络带宽允许的情况下尽可能的好，并且使编码端和解码端的图像之间的差异尽可能少。然而，在现有技术中，都是假定基于整个图像序列，来取得全局最优的α，没有利用局部自适应的泄漏因子α。
针对上述问题，现有技术提出了一套泄漏预测的实现方案，在每个片头信息中编码泄漏因子，根据局部的信息改变泄漏量的概率。但该种方法只能在以下几种特殊情况下应用一种是泄漏预测只在基本层没有要编码的变换系数时采用，比如，预测误差很小情况下，这时预测已经具有很好的质量；一种是在基本层只有很少量的重要性变换系数时，在增强层泄漏预测中对应的系数将会排除在外，通过计算在预测环路中的每一个变换和反变换来实现的，并且在变换域有选择性的使用泄漏预测；另一种是在基本层的重要性变换系数比较多时，泄漏预测完全关闭。因此，使该方法不能普遍适用。
现有技术的泄漏预测算法都是在避免预测漂移和压缩效率之间采取的折中方案。原理上来讲，除非存在漂移，泄漏因子α的值应该越接近1越好。然而，漂移的大小很大程度上依赖于局部的内容，所以α值的全局设置通常并不是最好的选择，而需要局部设置，但在局部设置时，预测实际漂移量大小的方法是根据当前帧系数的配置而不是前一帧的配置，而实际的漂移可能是产生在前一帧；并且需要引入附加的变换和反变换，需要增加计算复杂度。
发明内容
本发明要解决的问题是提供一种视频编码的误差控制系统和方法，以克服现有技术无法兼顾避免误差漂移和压缩效率的缺陷。
为了解决上述问题，本发明提供了一种视频编码的误差控制系统，包括编码器和解码器，其中，编码器包括基本层编码装置和至少一个增强层编码装置，解码器包括基本层解码装置和至少一个增强层解码装置，编码器还包括编码器漂移控制装置，解码器还包括解码器漂移控制装置；
所述编码器漂移控制装置，用于根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子；所述解码器漂移控制装置，用于根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子。
所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
本发明还提供了一种视频编码的误差控制系统中的编码器，包括基本层编码装置和至少一个增强层编码装置，编码器还包括编码器漂移控制装置；所述编码器漂移控制装置，用于根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子值。
所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；
基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
本发明还提供了一种视频编码的误差控制系统中的解码器，包括基本层解码装置和至少一个增强层解码装置，解码器还包括解码器漂移控制装置；所述解码器漂移控制装置，用于根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子值。
所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
本发明还提供了一种视频编码的误差控制方法，包括以下步骤A、确定编解码器的局部误差漂移量；B、根据所述局部误差漂移量调节泄漏因子。
根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部误差漂移量。
所述局部信息包括基本层信息、和/或增强层信息、和/或基于像素或块的基本层和增强层帧缓存间的差值。
基本层信息包括输入视频数据在基本层编码后的信息、和/或移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、和/或移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
所述泄漏因子由前帧中对应块中非零系数的个数确定。
所述运动参数包括宏块划分和运动矢量群。
与现有技术相比，本发明具有以下优点本发明通过增加移动漂移控制装置，根据局部信息控制泄漏因子的大小，进而调节对增强层的码流的裁减程度，可以得到最优的压缩效率；并且由于漂移控制装置采集的预测信号在编解码器都可用，因此，编码端和解码器的同步，能够控制漂移并能够根据码流被截断的可能性在一定的比例上使得编码端和解码器的预测信号十分接近，避免了解码器误差漂移。
另外，当增强层在解码器不完全时由于编码端和解码器的不匹配误差漂移发生时，由于减少了解码器的误差漂移，在低码率点处提高了码率失真曲线(Rate Distortion)性能，即图像的性能(因为图像客观质量是用码率和失真率的综合性能来衡量的，RD越好，图像客观质量越好)，使在一定的传输率限制的条件下，取得最好的图像质量。
图1是本发明视频编码的误差控制系统结构图；图2是本发明视频编码的误差控制系统中的编码器结构图；图3是本发明视频编码的误差控制系统中的解码器结构图；图4是本发明视频编码的误差控制方法流程图。
具体实施例方式
下面结合附图对本发明的具体实施例进行说明本发明一种视频编码的误差控制系统包括编码器和解码器，其中，编码器包括基本层编码装置和增强层编码装置，解码器包括基本层解码装置和增强层解码装置，在实际编码器和解码器中增强层可以为多个，本实施例仅以一个增强层为例说明。该系统具体结构如图1所示，在基本层编码装置中包括第一编码器减法装置101；第一编码器变换装置102与第一编码器量化装置103组成的第一编码器输出处理装置；第一编码器逆量化装置104、第一编码器逆变换装置105、第一编码器加法装置106、第一编码器去块效应装置107、第一编码器帧存储装置108和第一编码器移动补偿装置109组成的第一编码器反馈装置。在增强层编码装置中包括第二编码器减法装置121；第二编码器变换装置122与第二编码器量化装置123组成的第二编码器输出处理装置；第二编码器逆量化装置124、第二编码器逆变换装置125、第二编码器加法装置126、第二编码器去块效应装置127、第二编码器帧存储装置128、第二编码器移动补偿装置129、第三编码器减法装置130、泄漏因子装置131和第三编码器加法装置132组成的第二编码器反馈装置。
其中，外部数字信号经过第一编码器变换装置102进行变换，再经过第一编码器量化装置103进行量化，产生第一已编码数字信号，变换装置可以采用多种变换形式，例如，离散余弦变换(DCT)，把一块像素值(或剩余帧值)变换到一系列时域系数中、量化装置降低了每个系数的准确性，这样近似于0的值就被置0，而且只有一些非0值留下来了；该第一已编码数字信号一分成两路，一路输出至解码器，另一路到第一编码器逆量化装置104反向量化，然后由第一编码器逆变换装置105进行逆变换，并在第一编码器加法装置106处与移动补偿后的信号相加后，输入到第一编码器去块效应装置107滤除块效应，然后存储到第一编码器帧存储装置108，第一编码器移动补偿装置109对该调用该存储信息进行移动补偿，并反馈到第一编码器减法装置101和第一编码器加法装置106。
同时，外部数字信号经过第二编码器变换装置122进行变换，再经过第二编码器量化装置123进行量化，产生第二已编码数字信号；该第一已编码数字信号一分成两路，一路输出至解码器，另一路到第二编码器逆量化装置124反向量化，然后由第二编码器逆变换装置125进行逆变换，并在第二编码器加法装置126处与移动补偿后的信号和第一编码器去块效应装置107输出的信号相加后，输入到第二编码器去块效应装置127滤除块效应，然后存储到第二编码器帧存储装置128，第二编码器移动补偿装置129对存储在其中的重建帧信息进行移动补偿，并与来自第一编码器移动补偿装置109的信号在第三编码器减法装置130处组合后，由编码器泄漏因子装置131进行衰减，然后在第三编码器加法装置132处组合，反馈到第二编码器加法装置126和第二编码器减法装置121。
编码器漂移控制装置140根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子。漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定泄漏因子值。其中，局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
在基本层解码装置中包括由第一解码器逆量化装置201、第一解码器逆变换装置202、第一解码器加法装置203、第一解码器去块效应装置204、第一解码器帧存储装置205和第一解码器移动补偿装置206组成的第一解码器数据再生装置。第一解码器逆量化装置201对第一已编码数字信号进行反向量化，然后通过第一解码器逆变换装置202逆变换，再经过第一解码器去块效应装置204，产生基本层解码数字信号，一路输出，一路存储到第一解码器帧存储装置205中，第一解码器移动补偿装置206将该信号移动补偿，反馈到第一解码器加法装置203与逆变换信号组合。
增强层解码装置进一步包括第二解码器逆量化装置221、第二解码器逆变换装置222、第二解码器加法装置223、第二解码器去块效应装置224、第二解码器帧存储装置225、第二解码器移动补偿装置226、第一解码器减法装置227、解码器泄漏因子装置228和第三解码器加法装置229。增强层外部数字信号经过第二解码器逆量化装置221反向量化，然后由第二解码器逆变换装置222进行逆变换，并在第二解码器加法装置223处与移动补偿后的信号和第一解码器去块效应装置204输出的信号相加后，输入到第二解码器去块效应装置224滤除块效应，然后一路输出，一路存储到第二解码器帧存储装置225，第二解码器移动补偿装置226对该调用该存储信息进行移动补偿，并与来自第一解码器移动补偿装置206的信号在第三解码器减法装置227处组合后，由解码器泄漏因子装置228进行衰减，然后在第三解码器加法装置229处组合，反馈到第二解码器加法装置223。
解码器漂移控制装置240根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子。漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定泄漏因子值。其中，局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
本发明还提供了一种视频编码的误差控制系统中的编码器，如图2所示，包括基本层编码装置和至少一个增强层编码装置，编码器还包括编码器漂移控制装置；所述编码器漂移控制装置，用于根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子值。
漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定泄漏因子值。其中，局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
本发明还包含一种视频编码的误差控制系统中的解码器，如图3所示，包括基本层解码装置和至少一个增强层解码装置，其特征在于解码器还包括解码器漂移控制装置；所述解码器漂移控制装置，用于根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子值。
漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定泄漏因子值。其中，局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
本发明还提供一种视频编码的误差控制方法，如图4所示，包括以下步骤步骤s101，确定编解码器的局部误差漂移量。
误差控制设备可以部分根据对应块或以前编码层的其他块、及所述块的联合的量化变换系数的数量、和/或位置、和/或幅度来设计泄漏因子，例如，α能线性地决定于以前层中对应块中的非零系数的个数，当然，α也能非线性地决定于以前层中对应块中的非零系数的个数；误差控制设备可以部分根据对应的块或当前的或以前层的其它块的联合的量化步长尺寸来设计泄漏因子；误差控制设备可以部分根据当前增强层块在削弱前的运动补偿预测信号，或以前编码层的消弱前后的对应块的运动补偿预测信号、及所述信号的联合来设计泄漏因子；上述信号可以包括预测信号的平均或者计算增强层和基本层块的差值，例如，在实现中，当前增强层和以前层间的预测信号的信号能量差值作为误差漂移出现的指示器，当取决于当前块QP值的阈值超过时裁减预测信号到允许范围；误差控制设备可以部分根据运动参数如宏块划分和当前或临近块的运动矢量群来设计泄漏因子。
其中，量化步长尺寸可以用量化参数(QP)表示，其反映了空间细节压缩情况，如QP小，大部分的细节都会被保留；QP增大，一些细节丢失，码率降低，但图像失真加强和质量下降；也就是说，QP和比特率成反比的关系，而且随着视频源复杂度的提高，这种反比关系会更明显。根据对源复杂度估计、解码缓冲的大小及网络带宽估计动态调整QP，得到符合要求的码率。
多宏块划分模式估计在H.264的预测模式中，一个宏块(MB)可划分成7种不同模式的尺寸，多模式的灵活、细微的宏块划分，更切合图像中的实际运动物体的形状，于是，在每个宏块中可包含有1、2、4、8或16个运动矢量。
步骤s102，根据所述局部误差漂移量调节泄漏因子。可以预先设置参考列表，当通过上述局部信息的线性或非线性组合后的数据对应列表中某个值时，就根据该值对应的泄漏因子值进行调节。
根据现有的SVC标准，假设语法元素max_diff_ref_scale_for_zero_base_block为缩放差分参考信号的最大缩放因子，其范围从0-31；相应的，泄漏因子的最大值可以用alphaMax＝1或alphaMax＝(max_diff_ref_scale_for_zero_base_block+1)/32。同时，假设当前转换块的泄漏因子值alphaCurr受基本层转换块的量化转换系数的个数nCB控制，其中的阈值是系数个数nCTrs和缩放因子sF，如nCTrs＝4，sF＝4。如果0＜nCB＜＝nCTrs，则当前转换块的泄漏因子值alphaCurr＝alphaMax*(1-SF*nCB)；否则，当前转换块的泄漏因子值alphaCurr＝0。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种视频编码的误差控制系统，包括编码器和解码器，其中，编码器包括基本层编码装置和至少一个增强层编码装置，解码器包括基本层解码装置和至少一个增强层解码装置，其特征在于编码器还包括编码器漂移控制装置，解码器还包括解码器漂移控制装置；所述编码器漂移控制装置，用于根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子；所述解码器漂移控制装置，用于根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子。
2.如权利要求1所述视频编码的误差控制系统，其特征在于，所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
3.如权利要求2所述视频编码的误差控制系统，其特征在于，基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
4.如权利要求1、2或3所述视频编码的误差控制系统，其特征在于，所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
5.一种视频编码的误差控制系统中的编码器，包括基本层编码装置和至少一个增强层编码装置，其特征在于编码器还包括编码器漂移控制装置；所述编码器漂移控制装置，用于根据基本层编码装置和增强层编码装置的局部信息确定编码器局部的误差漂移量；并根据该误差漂移量控制编码器泄漏因子值。
6.如权利要求5所述视频编码的误差控制系统中的编码器，其特征在于，所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
7.如权利要求6所述视频编码的误差控制系统中的编码器，其特征在于，基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
8.如权利要求5、6或7所述视频编码的误差控制系统中的编码器，其特征在于，所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
9.一种视频编码的误差控制系统中的解码器，包括基本层解码装置和至少一个增强层解码装置，其特征在于解码器还包括解码器漂移控制装置；所述解码器漂移控制装置，用于根据基本层解码装置和增强层解码装置的局部信息确定解码器局部的误差漂移量；并根据该误差漂移量控制解码器泄漏因子值。
10.如权利要求9所述视频编码的误差控制系统中的解码器，其特征在于，所述局部信息包括基本层信息、增强层信息和基于像素或块的基本层和增强层帧缓存间的差值。
11.如权利要求10所述视频编码的误差控制系统中的解码器，其特征在于，基本层信息包括输入视频数据在基本层编码后的信息、移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
12.如权利要求9、10或11所述视频编码的误差控制系统中的解码器，其特征在于，所述漂移控制装置根据线性组合或非线性组合局部信息，并与预先设定值比较，确定局部的误差漂移量。
13.一种视频编码的误差控制方法，其特征在于，包括以下步骤A、确定编解码器的局部误差漂移量；B、根据所述局部误差漂移量调节泄漏因子。
14.如权利要求13所述视频编码的误差控制方法，其特征在于，根据线性组合或非线性组合局部信息，并与预先设定值比较，确定所述局部误差漂移量。
15.如权利要求13所述视频编码的误差控制方法，其特征在于，所述局部信息包括基本层信息、和/或增强层信息、和/或基于像素或块的基本层和增强层帧缓存间的差值。
16.如权利要求15所述视频编码的误差控制方法，其特征在于，基本层信息包括输入视频数据在基本层编码后的信息、和/或移动补偿后的信息；增强层信息包括输入视频数据在增强层编码后的信息、和/或移动补偿后的信息；基于像素或块的基本层和增强层帧缓存间的差值包括局部信息量化变换系数的数量、和/或位置、和/或幅度、和/或量化步长和/或运动参数。
17.如权利要求16所述视频编码的误差控制方法，其特征在于，所述泄漏因子由前帧中对应块中非零系数的个数确定。
18.如权利要求16所述视频编码的误差控制方法，其特征在于，所述运动参数包括宏块划分和运动矢量群。
全文摘要
本发明提供了一种视频编码的误差控制系统、方法及其中的编码器和解码器，通过增加移动漂移控制装置，根据局部信息控制泄漏因子的大小，进而调节对增强层的码流的裁减程度，使编解码器尽可能同步，以得到最优压缩性能；并且由于漂移控制装置采集的预测信号在编解码器都可用，因此，编码端和解码器的同步，能够控制漂移并能够根据码流被截断的可能性在一定的比例上使得编码端和解码器的预测信号十分接近，避免了解码器误差漂移。
文档编号H04N7/26GK101043619SQ20061007342
公开日2007年9月26日 申请日期2006年3月24日 优先权日2006年3月24日
发明者史蒂芬卡普, 马蒂尔斯韦恩, 熊联欢 申请人:华为技术有限公司