用于无损视频编码的率失真优化方法及编码方法
【专利摘要】本发明公开了一种无损视频编码的率失真优化方法及相应的编码方法，所述优化方法包括：对于一个视频帧的未编码的CU，若其左边、上边和左上边都不存在相邻的已编码的CU，则对该未编码的CU进行粗略RDO的参数α和β进行赋值，否则根据其左边、上边和左上边的至少一个已编码的CU来计算该未编码的CU进行粗略RDO的参数α和β，其中Rresidue＝αDrough+β，参数α和β基于已编码CU的候选模式的Drough、RpredInf和Rtotal数据，通过最小二乘回归算法获得。本发明充分利用了HEVC既有的编码结构，保持了原有标准中的语义和语法结构，在编码复杂度上和HEVC原有技术几乎一样，在RA-Main、LDB-Main和LDP-Main三种编码环境下比特率平均降低了1.0-1.3％。
【专利说明】用于无损视频编码的率失真优化方法及编码方法
【技术领域】
[0001] 本发明涉及视频编码领域，特别涉及一种无损视频编码的率失真优化方法及相应 的编码方法。
【背景技术】
[0002] 近年来，在医学图像和遥感视频等诸多要求无损传输或保存视频的领域，无损视 频压缩技术正越来越重要。为了满足这些需求，已经有一系列编码压缩技术被提出。其 中，HEVC(High Efficiency Video Coding)视频编码标准的无损技术，不管在性能和复杂 度上表现都尤为出色。ffiVC，即高性能视频标准，是由视频编码标准化组织JCT-VC(Joint Collaborative Team on Video Coding)于2013年1月正式发布的最新一代视频编码国际 标准，在相同视频主观质量下，其比特率大约为上一代视频编码标准H. 264/AVC的50%。
[0003] HEVC的编码基本框架和先前的H. 264/AVC标准类似，依然采用混合编码模式。整 个编码过程主要分为：预测、变换、量化、熵编码四步。预测部分分为帧内预测和帧间预测。 帧内预测利用当前帧已重建像素作为参考像素进行初步预测，帧间预测利用前面或后面帧 重建的像素值作为参考。然后将所得的预测值与当前块相减，进而得到残差，残差经过变换 量化得到变换系数，最后将变换系数经过熵编码而得到最后的码流。不管是帧间预测，还是 帧内预测都需要用到重建图像的信息，因而在编码过程中，还需要将残差图像进行反变换 量化，再将该残差图像与预测值相加，最后经过一个环路滤波滤除视频图像中的噪声，同时 可避免块效应等视频图像劣化影响。
[0004] 在HEVC标准中，存在有损压缩和无损压缩两大类编码模式。对于互联网中传输的 大部分视频，进行适当地有损失压缩可以很好地降低比特率，从而提高传输的效率。而对于 医学视频、遥感视频、指纹等领域，无损压缩也存在很大的应用。当前的ffiVC标准的设计 中，有损模式为其默认模式，而无损模式是作为该标准的一个拓展部分，可以对整个帧或者 某个编码单元（coding)设定其是否采用无损编码模式。不同于有损模式，无损模式的重建 视频与原始之间不存在失真。对于HEVC标准，其主要由预测、变换、量化、熵编码和环路滤 波器组成。而变换和量化都会带来失真，另外，由于重建视频中不存在噪声，因而环路滤波 器也不需要。因此，在ffiVC无损模式中，变换、量化以及环路滤波都被跳过。通过这种方 法，HEVC只需要在有损模式上进行极少的变化即可以实现无损模式。此时，无损模式下，仅 有预测和熵编码两个部分决定，因而，预测效果的优劣将大大影响最终编码性能的优劣。 [0005] 为了提高编码性能，HEVC采用了更加弹性的编码结构，其采用大小不同的编码单 元（CU)、预测单元（PU)以及变换单元（TU)。此外，帧内预测模式有多达35个预测模式，而 帧间模式也采用更复杂的预测单元大小划分和更精确的运动估计。为了从众多模式中选择 当前块的最优预测模式，HEVC采用了率失真优化（Rate-Distortion Optimization, RD0) 技术。在率失真优化技术中，具有最小率失真代价（Rate-Distortion cost，RD cost)的模 式将被采用，J(RD cost)的计算如公式（1)所示
[0006] J = D+AR (1)
[0007] 其中J表示率失真代价，D表示重建图像块与原始图像块的失真度，一般用误差平 方和（sum of square errors, SSE)表示，R表示在所预测的模式下编码该图像块所需的比 特率（包括编码残差和编码预测模式所需的比特率）。
[0008] 如公式（1)所示，率失真优化是为了找到编码比特率和重建视频质量的最优组 合。而A为拉格朗日乘数，用于权衡比特率在该RD cost中的权重，其表示减少一个比特 率将产生的编码失真。由于编码的失真主要是由量化带来的，因而拉格朗日乘数A通过量 化参数QP(quantization parameter)决定，可通过计算公式（2)获得。
[0009] A = QpfactorX2(QM2)/3 (2)
[0010] 其中，Qpfactor为量化系数，在该公式中为一常数，由帧类型等编码情况决定。
[0011] 图1给出了计算公式（1)中的R和D所需流程。从图1可知，为了计算R，除了获 得当前预测值外，还需要经过变换、量化、熵编码三个部分，而为了获得D，还需要进行反量 化、反变换以及必要的滤波过程。因而，为了计算某一个模式的率失真代价J，已经需要很长 的计算时间，而ffiVC有众多的模式，如果每个模式都按照图1所示的流程一一计算，其编码 复杂度将是非常惊人的。
[0012] 为了解决上述问题，另外一种粗略率失真代价1。#被用于从众多的模式中选择几 个可能成为最优模式的候选模式，该过程我们称之为粗略RD0。其计算公式如（3)所示。
[0013] Jr〇Ugh = Dr〇ugh+入 Rpred (3)
[0014] 其中，Drough表示原始像素值和预测像素值之间的差值，而Rpral代表编码除了残差 信息外的其他预测信息。由于这两个参数的获得不需要经过复杂的重建和残差熵编码过 程，因而，相比精确RD0,虽然通过粗略RD0选取最佳模式会带来一定的性能损失，但所需的 计算时间却大大降低。
[0015] 综合考虑编码性能和计算复杂度，这两种准则均被HEVC所采用。具体地，先采用 粗略RD0从众多模式中选择最有可能成为最优模式的几个候选模式，再通过精确RD0从这 几个候选模式中选择RD cost最小的模式作为最优模式。
[0016] 在当前的许多应用中，对视频进行无损压缩的需求越来越大，由于HEVC的无损编 码模式可以提供较高的压缩率，其在视频无损压缩编码的应用也将越来越广泛。在ffiVC标 准的主流应用中，如机顶盒、视频监控等，要求很高的编码效率，因而不得不以产生一些失 真作为代价，也就是说，主流应用多为有损压缩。然而，在ffiVC有损压缩标准之上，再开发 一套全新的编码工具来获得尽可能好的无损编码效率显然不切实际。因此，在进行HEVC无 损编码方案设计时，应遵循这样的设计原则：尽可能地利用已有的ffiVC有损编码结构，提 出的无损编码方案对原始的有损编码结构改动尽可能小，同时考虑编码效率和复杂度的平 衡。
[0017] 如上文提到的，无损压缩中，重建视频和原始视频是完全一样的，即不存在编码失 真。因而，无损压缩只有最小化编码所需的比特率这一个目标。在无损模式中，公式（1)中 的D等于零，且A为正，因而最小化公式（1)中的J与最小化R是完全等价的。因而，有损 模式的精确RD0也适用于无损模式。但是，公式（3)中的D MUgh为预测值与原始值的差值， 不为零，因而，JMUgh的值将随着A的变化而变化，而由量化参数决定的A将不适用于无损 模式。具体的，公式（3)中的D MUgh表示为原始像素与预测像素的差值函数，即
[0018] Drough = f (Porg-Ppred) (4)
[0019]其中，POTg为原始像素值，Pp,ed为预测像素值。而原始像素值由重建残差、失真以 及预测值组成，则公式（4)可重写为
[0020] Drough = f (Presi+Pdst+Ppred-Ppred) = f(Presi+Pdst)(5)
[0021] 其中，PMsi为重建残差值，Pdst为失真，在无损模式中为零。因而无损模式中D MUgh 仅仅与残差的特性有关，而有损模式中，Pdst不为零，则DMUgh还与失真有关。这就是在粗略 RD0时由QP决定的A在有损模式中有效，而在无损模式中却不适用的主要原因。
[0022] 在有损压缩时，可以通过调节QP获得不同质量和不同比特率的码流，以满足不同 应用场景的需求。这是因为，一方面，调整QP可以获得不同A，从而调节RD cost中，比特 率和重建图像质量之间的权衡关系。另一方面，也是最重要的一方面，QP越小，量化误差就 越小，解码重建的视频图像质量就越好，但是编码产生的码流比特率就越高。所以，在有损 压缩中，若其他编码条件一样，比特率随着QP的增加而降低，而视频图像解码重建质量随 着QP的增加而降低。但是，在无损压缩中，已经不存在量化，除了调节入，QP其实已经没有 其他作用。因而对于无损压缩，通过公式（2)、（3)来获得最佳候选模式的方法已经不再合 适。
【发明内容】
[0023] 有鉴于此，本发明的目的是提供一种无损视频编码的率失真优化方法，以重新调 整编码预测过程中的率失真优化技术，最大程度地降低无损压缩比特率。
[0024] 为了实现上述目的，本发明提供了一种无损视频编码的率失真优化方法，包括以 下步骤：
[0025] S1、对于一个视频巾贞的未编码的⑶，若其左边、上边和左上边都不存在相邻的已编 码的CU，则对该未编码的CU进行粗略RD0的参数a和0进行赋值，否则根据其左边、上 边和左上边的至少一个已编码的⑶来计算该未编码⑶进行粗略RD0的参数a和0，其 中R? site = a DMUgh+P，DMUgh表示在某个预测模式下进行粗略RD0时原始像素值和预测像 素值之间的差值，R Msidm表示在某个预测模式下编码残差所需比特率；
[0026]S2、对于所述未编码的⑶，利用所述步骤S1获得的参数a和0，先采用粗略RD0 从众多预测模式中选择最有可能成为最优预测模式的几个候选模式，再通过精确RD0从这 几个候选模式中选择率失真代价最小的预测模式作为最优预测模式。
[0027] 根据本发明的一种【具体实施方式】，如果所述未编码的⑶的左边、上边和左上边都 不存在相邻的已编码的CU，且当前预测模式为帧内预测模式，则a和0分别设置为CiCT 和汉：'"，所述取值范围为[0. 0,0. 5]，所述取值范围为[_0. 5,0. 5]。
[0028] 根据本发明的一种【具体实施方式】，在所述步骤S1中，如果所述未编码的CU的左 边、上边和左上边都不存在相邻的已编码的⑶，且当前预测模式为帧间预测模式，则a 和3分别设置为和Cf，所述<7取值范围为[1.0,3.0]，所述々：'取值范围为 [-0? 5,0? 5]。
[0029] 根据本发明的一种【具体实施方式】，在所述步骤S1中，如果该⑶左边、上边和左上 边仅存在一个相邻的已编码的⑶，例如某一帧边缘位置的⑶，则选择这个唯一相邻已编码 ⑶计算出的拟合参数a 和0 作为所述未编码⑶进行粗略RD0的参数。
[0030] 根据本发明的一种【具体实施方式】，所述选择唯一相邻已编码CU计算出的拟合参 数a 和0 作为所述未编码⑶进行粗略RD0的参数的步骤为：
[0031] 将所述唯一相邻已编码⑶的经过精确RD0的所有模式的Rtotal、Drough、R predInf作为 回归数据，基于最小二乘回归方法获得拟合参数和分别作为公式（8)中的参数 a和旦：
[0032] Rtotal_RpredInf 一 Q Drough+ ^ ⑶，
[0033] 其中Rt(rtal为某个模式所需的最终比特率，RpredInf编码预测模式信息所需比特率。
[0034] 根据本发明的一种【具体实施方式】，在所述步骤S1中，如果当前未编码CU的左边、 上边和左上边均存在相邻的已编码的⑶，则该未编码⑶进行粗略RD0的参数a通过式（9) 获得，当参数a采用某一位置的已编码⑶的拟合参数a 时，则该未编码⑶的参数@也 采用该位置的已编码⑶的拟合参数0 :
【权利要求】
1. 一种无损视频编码的率失真优化方法，包括以下步骤： 51、 对于一个视频帧的未编码的⑶，若其左边、上边和左上边都不存在相邻的已编码的 ⑶，则对该未编码的⑶进行粗略RDO的参数α和β进行赋值，否则根据其左边、上边和左 上边的至少一个已编码的⑶来计算该未编码⑶进行粗略RDO的参数α和β，其中R_idue =aDMUgh+i3，Drough表示在某个预测模式下进行粗略RDO时原始像素值和预测像素值之间 的差值，RMsidm表示在某个预测模式下编码残差所需比特率； 52、 对于所述未编码的CU，利用所述步骤Sl获得的参数α和β，先采用粗略RDO从众 多预测模式中选择最有可能成为最优预测模式的几个候选模式，再通过精确RDO从这几个 候选模式中选择率失真代价最小的预测模式作为最优预测模式。
2. 根据权利要求1所述的率失真优化方法，其特征在于，在所述步骤Sl中，如果所述未 编码的CU的左边、上边和左上边都不存在相邻的已编码的CU，且当前预测模式为帧内预测 模式，则α和β分别设置为和所述取值范围为[0. 0,0. 5]，所述及=取 值范围为[_〇. 5,0. 5]。
3. 根据权利要求1所述的率失真优化方法，其特征在于，在所述步骤Sl中，如果所述未 编码的⑶的左边、上边和左上边都不存在相邻的已编码的⑶，且当前预测模式为帧间预测 模式，则α和β分别设置为cC'和，所述cC'取值范围为[1.0,3.0]，所述#="'取 值范围为[_〇. 5,0. 5]。
4. 根据权利要求1所述的率失真优化方法，其特征在于，在所述步骤Sl中，如果该CU 左边、上边和左上边仅存在一个相邻的已编码的⑶，则选择这个唯一相邻已编码⑶计算出 的拟合参数a和β 作为所述未编码⑶进行粗略RDO的参数。
5. 根据权利要求4所述的率失真优化方法，其特征在于，所述选择唯一相邻已编码CU 计算出的拟合参数a和β作为所述未编码CU进行粗略RDO的参数的步骤为： 将所述唯一相邻已编码⑶的经过精确RDO的所有模式的Rt(rtal、Drough、Rlffedlnf作为回归 数据，基于最小二乘回归方法获得拟合参数和分别作为公式（8)中的参数α和 β： Rtotal RpredInf ^ ^rough~^~ ^ (8) ' 其中Rtrtal为某个模式所需的最终比特率，Rprallnf为编码除残差信息外的其他预测模式?目息所需比特率。
6. 根据权利要求1所述的率失真优化方法，其特征在于，在所述步骤Sl中，如果当前未 编码⑶的左边、上边和左上边均存在相邻的已编码的⑶，则该未编码⑶进行粗略RDO的参 数α通过式（9)获得，当参数α采用某一位置的已编码CU的拟合参数Cireg时，则该未编 码⑶的参数β也采用该位置的已编码⑶的拟合参数β:
在公式（9)中，表示当前未编码⑶进行粗略RDO的参数a，L、U和C分别 代表当前未编码⑶的左边、上边以及左上边的已编码的⑶经过最小二乘回归算法获得的 拟合参数areg，即(从獅A)、Cer(7V,腳也)和a;Tr/iri(7V,wo^)，其中，mode表 示中贞内预测或巾贞间预测的模式，left表示左边，upper表示上面，upperleft表示左上边，current表示当前，median(L，U，C)表示L、U、C三个数的中位数。
7. 根据权利要求6所述的率失真优化方法，其特征在于，当前未编码CU的左边、上边和 左上边均存在相邻的已编码的⑶时，计算某一已编码⑶拟合参数a,eg和β,eg的步骤为： 将某一已编码⑶经过精确RDO的所有模式的Rtotal、Drough、Rprallnf作为回归数据，基于最 小二乘回归方法获得拟合参数aMg和β^，分别作为公式（8)中的参数α和β: Rtotal RpredInf ^ ^rough~^~ ^ (8) ' 其中Rtrtal为某个模式所需的最终比特率，Rprallnf为编码除残差信息外的其他预测模式?目息所需比特率。
8. 根据权利要求1所述的率失真优化方法，其特征在于，在所述步骤S2中，选取具有最 小式（10)中的粗略率失真代价Jraugh的若干模式作为候选模式， Jrough 〇Dr〇Ugh+ β +Rpredinf (1〇) ? 其中Rprallnf代表编码除残差信息外的其他预测模式信息所需比特率。
9. 一种无损视频编码方法，包括权利要求1-8中任一项所述的无损视频编码的率失真 优化方法。
【文档编号】H04N19/103GK104320660SQ201410606849
【公开日】2015年1月28日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】李厚强, 陈方栋 申请人:中国科学技术大学