专利名称：率失真优化量化的加速技术的制作方法
技术领域：
本公开涉及数字视频编码，尤其涉及视频信号的量化。更特别地，本公开涉及用于率失真优化量化和编码模式判定的加速技术。
背景技术：
视频编码系统被广泛用于降低再现、存储和发送数字视频信号所需的带宽。通常使用的视频编码系统包括基于块的视频编码系统，基于区域的视频编码系统以及基于小波的视频编码系统等等。基于块的视频编码系统是一种被广泛采用的视频编码系统，其用于压缩数字视频信号。这种编码系统的例子包括诸如MPEG1/2/4、H. 264的国际视频编码标准(请参见参考文献I)、VC-I (请参见参考文献2)标准、根据诸如VP-6、VP-7和VP-8的0n2技术的编码系统、Dirac编解码器以及Theora视频编解码器等。图I示出基于块的通用视频编码系统的方块图。输入视频信号(102)被逐块处理。通常使用的视频块单位由NXM个像素构成，通常N=M=16(通常还被称为宏块)。对于每个输入视频块，可以执行空间预测(160)和/或者时间预测(162)。空间预测利用同一个视频帧/片段中已经编码的相邻块来预测当前视频块。空间预测通常还被称为“帧内预测(intraprediction)”。可以利用各种大小的视频块或者视频区域执行空间预测；例如，H. 264/AVC允许4X4、8X8和16X16像素的块大小用于视频信号的亮度分量的空间预测。另一方面，时间预测利用来自先前编码的、通常相邻的视频帧/片段的信息来预测当前视频块。时间预测通常还被称为“帧间预测”和/或者“运动预测”。与空间预测类似，时间预测也可以对各种大小或者形状的视频块或者区域来进行；例如，对于亮度分量，H. 264/AVC可以利用诸如16X16、16X8、8X16、8X8、8X4、4X8和4X4的块大小进行基于块的帧间预测。还可以考虑其中有多个参考可以被用于预测并且可以被进一步线性或者非线性组合的多参考预测和多假设预测。预测之后，在求和器(116)中把预测块从原始视频块中减去。残差块在变换单元
(104)中被变换并且在量化单元(106)中被量化。然后，经量化的残差块变换系数被送到熵编码单元(108)以被执行熵编码，从而进一步降低位速率。可以采用各种熵编码方法或者模式。例如，H. 264/AVC允许两种熵编码模式，即，上下文自适应可变长编码(CAVLC)模式和上下文自适应二进制算术编码(CABAC)模式。然后，经熵编码残差系数被打包，以形成输出视频位流(120)的一部分。经量化的变换系数在反量化单元(110)中被反量化，并且在反变换单元(112)中被反变换，以获得重构的残差块。然后，在求和器(126)中该重构的残差块与预测视频块相力口，以形成重构视频块。可以在环路滤波单元(166)中对该重构的视频块进行附加滤波，以减小特定编码赝象。例如，与在a 264/AVC中一样，环内去块滤波器是在单元(166)执行的用于去除或者减小视觉上令人不舒服的成块赝象的环路滤波的例子。环路滤波之后，重构的视频块被存储在参考画面存储器(164)中，用作该视频帧/片段和/或者未来(根据编码顺序)视频帧/片段中的其它视频块的预测。图I所示的编码器使用模式判定和通用编码器控制逻辑单元(180)，以通常根据特定预定判据选择当前 视频块的最佳编码模式，例如，根据拉格朗日(Lagrangian)率失真成本J(A) = D(r)+ A r(I)其中r是编码该视频块所需的位速率或者位数，D是重构视频块与原始视频块之间的失真(例如，SSE或者方差和，SAD或者绝对差值和等)，以及\是拉格朗日\因数(请参见参考文献3)。还可以考虑采用速率和失真之外的诸如功率消耗、实现复杂性和/或者实现成本的多个其它参数的联合优化。速率r可以是编码要求的真实速率，但是也可以是估计的速率；失真D可以基于失真模型的变化，其中一些还可能对主观质量感知和人的视觉系统产生影响。模式判定之后，编码模式(帧间编码或者帧内编码)、预测信息(如果是帧内编码，则是空间预测模式和转换类型；如果是帧间编码，则是运动划分、双向预测或者单向预测运动补偿预测)以及其它运动信息(参考帧索引、运动矢量、照明变化参数等)被发送到熵编码单元(108)进行进一步压缩，以降低位速率。熵编码模式和运动信息也被打包，从而形成视频位流的一部分(120)。变换和量化组合可以降低与编码预测残差块相关的位速率。被变换的残差系数的量化导致视频质量损失。量化程度由量化参数(QP)的值控制，并且它直接反应质量损失程度。即，较大的QP值通常与较大的主动量化相关并由此与糟糕的重构视频质量相关；较低的QP值意味着较小的主动量化，因此，通常具有较好的重构视频质量。某些视频编码系统(例如，H. 264/AVC视频编码标准)允许宏块级QP变化。对于这种系统，根据输入视频块的特性，编码器可以选择进行较大或者较小的量化来获得较高压缩的或者视觉质量较好的视频信号。具体地说，量化给定的输入视频块采用的QP值可以由编码器选择，从而优化等式(I)给出的速率一失真成本函数或者任何其它预测判据；以及编码器选择的最佳QP值可以被送到解码器，作为视频位流的一部分(120)。此外，在量化单元(106)中，在量化变换系数时，编码器可以应用更复杂的量化处理(诸如JPEG2000系统中采用的网格量化处理(请参见参考文献4和11))，代替简单的标量量化处理，从而实现较好的编码性能。作为量化处理的一部分采用的其它工具还包括量化矩阵和量化偏移。给定的量化矩阵规定编码器和解码器希望在块内的每个系数应用的量化比例系数(量化程度)。例如，对于4X4残差块，对应的量化矩阵可能是4X4矩阵，其中每个矩阵元规定量化比例系数，用于该块内的每个相应系数。下面给出可以对照明分量的帧间编码4X4残差块采用的示例量化矩阵。不同的量化矩阵可以用于其它类型的残差块，诸如4X4色度残差块，8X8亮度残差块(luma residual block)、8X8色度残差块等，因为这些残差块的特性可能不同。被帧内编码的块和被帧间编码的块也可以采用不同的量化矩阵。除了量化矩阵，还可以考虑对应于不同系数位置的量化偏移它们可以被看作仅是编码处理的一部分，并且/或者通过将这种信息发送到解码器并且在重构时考虑到这些参数，它们还可以被看作解码处理的一部分。
权利要求
1.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括 选择初始量化参数和所述初始量化参数的最佳编码模式； 根据编码模式转移状态机估计后续量化参数的编码模式，所述编码模式转移状态机包括编码模式状态和在编码模式状态之间的转移，其中所述编码模式转移状态机的每种状态对应于编码模式，并且对在一对编码模式状态之间的转移赋予模式转移似然得分；以及 在估计的编码模式和量化参数中选择最佳编码模式和最佳量化参数。
2.根据权利要求I所述的方法，其中如果编码模式之间的转移的可能性较大，则所述模式转移似然得分较高，而如果编码模式状态之间的所述转移可能性较小，则所述模式转移似然得分较低。
3.根据权利要求I所述的方法，其中根据所述图像编码单位的特性，赋予所述模式转移似然得分。
4.根据权利要求3所述的方法，其中在图像编码之前，利用图像预分析来分析和确定所述图像的特性。
5.根据权利要求I所述的方法，其中根据编码模式之间的转移类型，赋予所述模式转移似然得分。
6.根据权利要求I所述的方法，其中编码模式状态之间的转移次数是可控的。
7.根据权利要求6所述的方法，其中根据要编码的所述图像编码单位的重要性，选择编码模式状态之间的转移次数，以对较重要图像编码单位选择较多的转移次数。
8.根据权利要求6所述的方法，其中根据转移似然阈值，选择编码模式状态之间的转移次数，以仅允许在转移似然得分高于所述转移似然阈值的编码模式之间进行转移。
9.根据权利要求8所述的方法，其中非基准图像编码单位的转移似然阈值高于基准图像编码单位的似然阈值。
10.根据权利要求8所述的方法，其中较不重要图像编码单位的转移似然阈值高于较重要图像编码单位的转移似然阈值。
11.根据权利要求I所述的方法，其中根据要编码的所述图像编码单位的类型，选择编码模式状态之间存在或者不存在转移。
12.根据权利要求I所述的方法，其中根据所述图像编码单位是基准图像编码单位还是非基准图像编码单位，选择编码模式状态之间存在还是不存在转移。
13.根据权利要求I所述的方法，其中根据图像编码应用和与所述图像编码应用相关联的可用复杂性预算，选择编码模式状态之间存在还是不存在转移。
14.根据权利要求I所述的方法，其中所述模式转移状态机是动态可调模式转移状态机。
15.根据权利要求14所述的方法，其中所述编码模式转移状态机中允许的转移的次数取决于所估计的量化参数的数量。
16.根据权利要求15所述的方法，其中估计了特定数量的量化参数后，仅允许自转移。
17.根据权利要求16所述的方法，其中对于所确定的量化参数，在所述所确定的量化参数之前的多个量化参数的最佳编码模式没有发生变化的情况下，仅允许所述所确定的量化参数的自转移。
18.根据权利要求14所述的方法，其中调节所述模式转移状态机取决于已经编码的相邻图像编码单位。
19.根据权利要求18所述的方法，其中如果给定图像编码单位的已经编码的相邻图像编码单位采用较宽松的模式转移状态机，则对该给定图像编码单位应用较宽松的编码模式转移状态机，而如果给定图像编码单位的已经编码的相邻图像编码单位采用较不宽松的模式转移状态机，则对该给定图像编码单位应用较不宽松的编码模式转移状态机。
20.根据权利要求19所述的方法，其中应用于给定图像编码单位的特定模式转移状态机是较宽松的还是较不宽松的取决于已经编码的相邻图像编码单位之间的相似度。
21.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括 在估计M个可能编码模式时，执行第一量化处理； 基于所述第一量化处理，根据预定编码判据，选择M1个最佳编码模式，其中M>Mi ^ I ； 对所述M1个最佳编码模式执行第二量化处理；以及 基于所述第一量化处理和所述第二量化处理的结果，选择最佳编码模式。
22.根据权利要求21所述的方法，其中所述第一量化处理是较快类型的量化，并且所述第二量化处理是较慢类型的量化。
23.根据权利要求21所述的方法，其中对每个量化参数，重复所述第一量化处理和所述第二量化处理。
24.根据权利要求23所述的方法，其中在后续量化参数的量化处理中，采用与一个或多个量化参数的量化变换系数的位置和幅值有关的信息。
25.根据权利要求21所述的方法，其中仅对M个可能编码模式中的一个最佳编码模式，或者等同于M1 = 1，应用所述第二量化处理。
26.根据权利要求21所述的方法，其中通过以下操作来选择最佳结果 将i)经所述第一量化处理量化的残差的预定编码判据的值与ii)经所述第二量化处理量化的残差的预定编码判据的值进行比较；以及 选择提供所述预定编码判据的较好值的残差。
27.根据权利要求21所述的方法，还包括在初始编码处理后，在选择所述最佳编码模式后，再编码所述图像编码单位。
28.根据权利要求27所述的方法，其中在执行所述图像编码单位的再编码时，执行所述第二量化处理。
29.根据权利要求28所述的方法，其中所述再编码包括估计最佳预测模式。
30.根据权利要求29所述的方法，其中在再编码处理时，估计预测模式的子集。
31.根据权利要求30所述的方法，其中根据在所述初始编码处理之后选择的所述最佳预测模式，来选择在进行再编码处理时估计的预测模式的子集。
32.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括 选择初始量化参数和所述初始量化参数的最佳编码模式； 对于后续量化参数，估计编码模式， 其中对量化参数的编码模式的估计包括在多个变换中选择最佳变换，以编码所述图像编码单位。
33.根据权利要求32所述的方法，其中选择最佳变换包括根据每个量化参数的预定编码判据，在所述多个变换中选择变换数目不增加的变换子集，直到对于所确定的量化参数，仅选择了一个最佳变换，然后，对于所述所确定的量化参数之后的所有后续量化参数，保持所述最佳变换。
34.根据权利要求33所述的方法，其中对于所述初始量化参数，仅选择一个最佳变换，然后对于所有后续量化参数保持所述最佳变换。
35.根据权利要求32所述的方法，其中在所述多个变换中的一个变换的量化处理中，采用与另一变换的量化变换系数的位置和幅值有关的信息。
36.一种用于在图像编码处理中对要被编码和量化的图像编码单位在多个编码模式中选择编码模式和在多个量化参数中选择量化参数的方法，包括 跳过对所述多个量化参数的子集的估计， 其中如果先前估计的量化参数中的最佳量化参数与全O残差块相关联，并且如果当前量化参数值大于最佳量化参数值，则跳过对当前量化参数的估计。
37.一种用于在图像编码处理中对要被编码和量化的图像编码单位在多个编码模式中选择编码模式和在多个量化参数中选择量化参数的方法，包括 跳过对所述多个量化参数的子集的估计， 其中如果在估计当前量化参数集时，获得预选编码判据的持续改善的值，则跳过对量化参数的补集的估计。
38.根据权利要求36或者37所述的方法，其中所述当前编码单位的初始量化参数的值的是可调的。
39.根据权利要求36或者37所述的方法，其中根据已经编码的相邻图像编码单位的量化参数值，预测所述当前编码单位的初始量化参数的值。
40.一种用于在图像编码处理中对要被编码和量化的图像编码单位选择编码模式和量化参数的方法，包括 选择初始量化参数和所述初始量化参数的最佳编码模式；以及 估计后续量化参数的编码模式， 其中 对量化参数的编码模式的估计包括执行运动搜索，以及 对所述初始量化参数执行较全面的运动搜索，而对所述后续量化参数执行有限的运动搜索，其中所述有限的运动搜索基于所述初始量化参数的较全面的运动搜索的结果。
41.一种用于按照权利要求1、21、32、36、37或者40所述的方法中的一个或者多个方法编码视频信号的编码器。
42.—种用于按照权利要求1、21、32、36、37或者40所述的方法中的一个或者多个方法编码视频信号的设备。
43.—种用于按照权利要求1、21、32、36、37或者40所述的方法中的一个或者多个方法编码视频信号的系统。
44.一种含有用于使计算机执行按照权利要求1、21、32、36、37或者40所述的方法中的一个或者多个方法的一组指令的计算机可读介质。
45.—种按照权利要求1、21、32、36、37或者40所述的方法中的一个或者多个方法编码视频信号的应用。
全文摘要
描述了用于选择图像编码处理的编码模式的技术。可以通过编码模式转移状态机、再量化处理、选择最佳变换大小、通过跳过一些量化参数或者通过执行运动搜索，选择编码模式。
文档编号H04N7/26GK102648627SQ201080040506
公开日2012年8月22日 申请日期2010年9月7日 优先权日2009年9月10日
发明者亚历山德罗斯·图拉皮斯, 叶琰 申请人:杜比实验室特许公司