帧内编码图像块的自适应量化的制作方法
【专利摘要】所述方法包含使用进行如下处理的处理部件：使用量化参数值对图像块的帧内预测的残差的变换进行量化，并且对经量化的变换进行编码，还包含使用进行如下处理的处理部件：确定在存储部件中能够得到已用量化参数值及对应编码成本，并且使用该已用量化参数值、对应编码成本以及目标比特率来确定量化参数值；其中，已用量化参数值是已被用于对与该图像块高度相似的或者具有与该图像块相同的复杂度的更多的图像块的量化。由此能够确定量化参数值，从而避免闪烁伪像。
【专利说明】巾贞内编码图像块的自适应量化
【技术领域】
[0001]本发明涉及图像块的帧内编码的领域。
【背景技术】
[0002]在诸如例如无线高清晰度多媒体接口(wHDMI)应用这样的高清晰度(HD)应用中，已经发现由于内容的逼真度，时间预测不是很有利于编码效率。同时，时间预测需要更高复杂度的编码器和/或解码器，并且妨碍了随机存取。因此，在很多HD应用(例如，H264High444Intra Prof ile)中使用唯帧内编码器/解码器，因为它们能够在编码器/解码器复杂度、随机存取能力、编码成本以及视觉质量之间提供很好的折衷。
[0003]编码一般包含预测、变换以及量化，其中，可以通过量化参数控制量化步长的大小。量化可以被用于控制编码成本，使得在一些或者全部图像上平均的失真得以最小化，同时每个图像的编码成本符合目标比特率，因为其不超过目标比特率。图像的编码成本高度取决于在图像中图示的内容的复杂度。
[0004]He Z.等人在发表于《Optimum bit allocation and accurate rate control forvideo coding viaP -domain source modeling》(IEEE TRANS.0n Circuits and Systemsfor Video technology, 2002年10月，卷12:10,第840-849页)中，说明了在经量化的变换系数中的O的百分率与编码成本之间存在线性关系。该线性关系还包含内容相关的参数。
【发明内容】
[0005]因为编码成本取决于图像内容，所以可以仅为图像块单独地确定仍然符合目标比特率的最小量化参数值，其中，图像块是指正方形或者矩形的图像像素块，宏块由两个或者更多这样的图像像素块或整个图像组成。即，对于具有变化复杂度的内容的图像块，最小相符量化参数值在该图像块上变化。
[0006]但是，发明人意识到逼真度或复杂度相同的图像块，具体而言，高度相似的图像块，共享相同的最小相符量化参数值。
[0007]因此，如果图像块之间的内容不改变很多或者根本不变，例如这些图像块完全地或部分地图示了同一静止图像、带有改变的鼠标指针位置的或者仅添加了某些字符而仅作稍微改变的文本编辑器的同一计算机图形界面或网站，则能够使用高度相似的图像块中的一个或者一些来确定最小相符量化参数值。然后，所确定的最小相符量化参数值可被用于其他所有高度相似的图像块。
[0008]为其他所有高度相似的图像块使用该最小相符量化参数值，确保了对其他所有图像块进行编码的编码成本低于目标比特率，并且具有相同的质量，这对于高度相似的图像块是特别有利的。对于高度相似的图像块，使用变化的量化参数值会导致明显的闪烁伪像。
[0009]为了避免这样的伪像，即为了计算量化步长，使得在视觉质量得以最优化的同时在画面级别上的编码成本符合目标比特率，提出根据权利要求1的对图像块进行帧内编码的方法。[0010]所述方法包含使用进行如下处理的处理部件:使用量化参数值对图像块的帧内预测的残差的变换进行量化，并且对经量化的变换进行编码。所述方法还包含使用进行如下处理的处理部件:确定在存储部件中能够得到已用量化参数值及对应编码成本，已用量化参数值是已被用于对更多的图像块的量化，这个更多的图像块具有与该图像块相同的复杂度，并且使用该已用量化参数值、对应编码成本以及目标比特率来确定量化参数值。
[0011]使用已用量化参数值及对应编码成本来确定该量化参数值，使得能够确定相同的或者仅作稍微改变的量化参数值，以避免闪烁伪像。
[0012]还提出了一种用于对图像块进行帧内编码的设备，该设备包含:量化部件，用于使用量化参数值对图像块的帧内预测的残差的变换进行量化；以及，编码部件，用于对经量化的变换进行编码。该设备还包含:存储部件，用于存储已用量化参数值及对应编码成本，其中，已用量化参数值是已被用于对至少一个与该图像块高度相似的或者具有与该图像块相同复杂度的更多的图像块的量化；以及，确定部件，用于确定已用量化参数值及对应编码成本被存储。该设备还包含:处理部件，适用于使用已用量化参数值、对应编码成本以及目标比特率来确定量化参数值。
[0013]在实施例中，存储部件适用于存储更多的已用量化参数值及对应更多的编码成本，处理部件适用于还使用这个更多的已用量化参数值及更多对应的编码成本来确定量化参数值。
[0014]还提出了一种非临时性存储介质，其上存储根据所提出的方法的经编码的帧内编码图像块。
[0015]并且，还提出了对用于对根据所提出的方法的经帧内编码的帧内编码图像块进行解码的处理设备的使用。
[0016]在该设备的另外的实施例中，能够对未用于解码的位进行填充来达到输出恒定的比特率。
[0017]所提出的实施例，允许在对高度相似的图像块进行编码的期间，一旦得知最小相符量化参数值，就禁用(freeze)该量化参数值，其中:最小相符量化参数值使得对每个图像编码成本不超过目标比特率，并因此得知接下来的更小的量化参数值将造成编码成本超过目标比特率。因此，一旦量化因为高度相似的图像的量化在一段时间内不变而被禁用，解码图像的质量就会非常稳定。
【专利附图】
【附图说明】
[0018]在下面的说明中，对本发明的示例性的实施例进行更详细地解释，并在附图中例示。对示例性的实施例的解释，仅用于阐述本发明，而不用于限制本发明在权利要求书中定义的公开或者范围。
[0019]附图中:
[0020]图1图示了本发明的示例性的实施例的流程图；并且
[0021]图2图示了本发明的另一个示例性的实施例的流程图。
【具体实施方式】
[0022]本发明可以实现在任何包含相应适配的处理设备的电子设备上。例如，本发明可以实现为电视机、移动电话、个人计算机、数字静物照相机、数字录相机或者车载娱乐系统。
[0023]在本发明的示例性的实施例中，在图1中图示了其流程图，高度相似的图像作为连续序列包含在更大的不一定高度相似的图像的序列中。在步骤INIT中，使用目标比特率以及变量的初始值开始对更大的序列进行编码，整数值的量化参数变化以在编码图像上平均地满足目标比特率。
[0024]在该示例性的实施例中，包含编码器的处理设备用于执行ENC步骤，即对当前图像的图像块进行编码，其中，编码包含使用量化参数值对该图像块的帧内预测的残差的变换进行量化。所使用的量化参数值以及该编码所产生的编码成本，在步骤BUF中被用于更新存储部件。如果在判定步骤DEC中确定对应图像块不与该图像块高度相似，其中，该相应图像块与该图像块大小及形状相同、并且位于在接下来要编码的图像中的相同位置处，则在步骤CLR中清理该存储部件，并且在步骤RDO中，根据现有技术的速率控制确定量化参数值，以便对接下来要编码的图像的对应图像块进行编码。
[0025]该检测步骤DEC可以包含，例如，对第一图像的图像块与相继图像的对应图像块进行逐像素的比较，其中，相继图像的对应图像块具有至少一定数量的与第一图像的图像块相同的像素，被认为与所述第一图像的图像块高度相似。或者，图像块之间的绝对差值和与阈值一起被用于该检测步骤。
[0026]对于高度相似的图像块，根据本发明，编码器在步骤RPO中应用新的速率控制。
[0027]在步骤RPO中，使用在存储部件中的量化参数值以及编码成本。
[0028]存储部件被配置为使得一旦高度相似的图像块的连续序列结束它就被清空。
[0029]对于当前的高度相似序列，存在多达三个取决于存储部件的存储状态的不同阶段。
[0030]在初始阶段，仅存储一个编码成本以及一个相关联的量化参数值。可以限制在初始阶段期间的速率控制，使得如果所存储的编码成本符合目标比特率，则对在接下来要编码的图像中的高度相似的对应图像块，使用小于所存储的量化参数值的量化参数值。并且，如果所存储的编码成本不符合目标比特率，则使用大于所存储的量化参数值的量化参数值。在初始阶段，可以按照I或者根据所存储的编码成本及目标比特率来改变量化参数值。
[0031]在可选的中间阶段，存储两个不同的编码成本以及两个相关联的量化参数值，其中，一个编码成本符合目标比特率而另一个不符合目标比特率，所存储的不同的量化参数值相差超过I。可以限制在该可选的中间阶段期间的速率控制，使得对于在接下来要编码的图像中的高度相似的对应图像块的量化，使用小于所存储的与编码成本相符的量化参数值并大于所存储的与编码成本不相符的量化参数值的量化参数值。在可选择的中间阶段中，可以按照I来改变量化参数值。或者在该可选择的中间阶段中，可以根据所存储的量化参数值之间的差值来改变量化参数值。可替换地或者另外地，在该可选择的中间阶段中，可以根据所存储的编码成本与目标比特率之间的差值来改变量化参数值。
[0032]在最终阶段中，仍然存储两个不同的编码成本，一个符合目标比特率，而另一个不符合目标比特率。但是，在最终阶段中，两个所存储的相关联的量化参数值仅相差I。也就是说，在最终阶段中，存储最小相符量化参数值以及下一个更小的并且因此不符合目标比特率的量化参数值，并且在步骤RPO中，所述最小相符量化参数值可被用作固定量化参数值，以便对在连续序列的图像中的所有尚未编码的高度相似的对应图像块进行量化。[0033]只要当前的高度相似序列中的所有已编码的图像均导致具有与目标比特率的相同符合性的编码成本，即所有的编码成本均符合目标比特率，或者所有的编码成本均不符合，系统就处于初始阶段。
[0034]在初始阶段期间，将所存储的编码成本与由对当前的高度相似序列中的当前图像进行编码所造成的当前编码成本相比较。如果当前编码成本超过所存储的编码成本但是没有超过目标比特率，或者如果当前编码成本超过目标比特率但是超过它的程度小于所存储的编码成本，则重写所存储的编码成本以及所存储的量化参数值，并替换为当前编码成本以及当前量化参数值。
[0035]一旦对当前序列中的当前图像的编码导致与所存储的编码成本相比具有不同符合性的当前编码成本，即当前编码成本及所存储的编码成本之中的一个并且仅有一个符合目标比特率，而另一个不符合，就存储当前编码成本以及用于对当前图像进行编码的量化参数值，并且进入可选的中间阶段或者最终阶段。
[0036]仅在如下情况下才进行最终阶段:当前量化参数值与先前所存储的量化参数值相差1，即一个是另一个的接下来的更小的值，其中更大的值对应于最小相符量化参数值。例如，如果在初始阶段中按照I来改变量化参数值，则出现该情况。
[0037]否则，进入可选的中间阶段。在可选的中间阶段期间，确定所存储的编码成本中的哪些具有与当前编码成本关于目标比特率的相同的符合性。即，对于超过目标比特率的当前编码成本，一个超过目标比特率的所存储的编码成本也被确定。而对于不超过目标比特率的当前编码成本，确定另一个所存储的编码成本。然后，比较所确定的编码成本与当前编码成本。如果当前编码成本超过所确定的编码成本，但是不超过目标比特率，或者如果当前编码成本超过目标比特率，但是超过它的程度小于所确定的编码成本，则重写所确定的编码成本以及相关联的量化参数值，并替换为当前编码成本以及当前量化参数值。
[0038]也就是说，在可选的中间阶段期间以及在最终阶段中，所存储的量化参数值定义最小相符量化参数值的上限以及下限。在可选的中间阶段中，这些界限相差超过I。因此，检测在下限与上限之间的量化参数值的编码成本最终使系统进入到最终阶段中。
[0039]在图2中图示了不同的示例性的实施例的流程图。此处，存储当前量化参数值及编码成本的步骤BUF发生在固定画面检测之后，即在检测与刚刚先前的图像的高度相似之后。在这个不同的示例性的实施例中所实现的步骤RPO包含四个判定步骤DEC1、DEC2、DEC3以及DEC4。
[0040]在步骤DECl中，确定当前图像的编码成本是否超过目标比特率。
[0041]在步骤DEC2中，如果存在另一个编码成本，则确定更多的编码成本是否超过目标比特率，其中，该更多的编码成本与比当前量化参数值大I的接下来的更大的量化参数值相关联。如果步骤DECl确定当前编码成本超过目标比特率，则进入步骤DEC2。
[0042]如果步骤DEC2确定该更多的编码成本不超过目标比特率，则使用接下来的更大的量化参数值对接下来要编码的高度相似图像进行编码。
[0043]如果步骤DEC2确定该更多的编码成本超过目标比特率，则使用根据现有技术的速率控制的量化参数值对接下来要编码的高度相似图像进行编码。
[0044]在步骤DEC3中，确定是否存在又一个编码成本，该又一个编码成本与比当前量化参数值小I的接下来的更小的量化参数值相关联。仅在步骤DECl确定当前编码成本不超过目标比特率的情况下，才进入步骤DEC3。
[0045]在步骤DEC4中，确定该又一个编码成本是否超过目标比特率。仅在进入了步骤DEC3并确定存在该又一个编码成本的情况下，才进入步骤DEC4。
[0046]如果步骤DEC4确定该又一个编码成本超过目标比特率，则使用当前量化参数值对接下来要编码的高度相似图像进行编码。
[0047]如果步骤DEC4确定该又一个编码成本不超过目标比特率，则使用小于接下来的更小的量化参数值的量化参数值，对接下来要编码的高度相似图像进行编码。在实施例中，进一步地选取大于最大已知不相符量化参数值的、将要用于对接下来要编码的高度相似图像的编码的量化参数值，其中，最大已知不相符量化参数值是所有先前已被使用却导致不相符的编码成本的量化参数值中的已知的最大值。
[0048]如果进入了步骤DEC3，并且确定不存在该又一个编码成本，则也进入步骤DEC2。
[0049]在另外的示例性的实施例中，使用第一量化参数值对高度相似序列中的经帧内预测的第一图像的残差的变换系数进行量化，并通过进行编码来确定对应的编码成本，由此确定最小相符量化参数。紧接着，根据所确定的编码成本，确定P域模型的取决于内容的参数。然后，使用P域模型估算第一图像的编码成本，以得到不同的量化参数值。由此，根据对第一图像的编码确定最小相符量化参数值，并且可以使用该值对该序列中的其他所有图像进行量化，其中，可以使用该值对第一图像进行重新编码。
[0050]不同的示例性的实施例可以被扩展以建立其中存储几个量化参数值的数据库，其中，所存储的量化参数值是为不同的已编码图像确定的最小相符量化参数值。
[0051]与所存储的量化参数值一起，存储对应的已编码图像。关于对与一个所存储的已编码图像高度相似的当前图像的编码，所存储的对应量化参数值可以被用于进行量化，或者被用作搜索适当的量化参数值的开始点。
[0052]或者，与所存储的量化参数值一起，存储描述对应已编码图像的逼真度或复杂度的特征的值。然后，对应于与当前图像具有相同逼真度或者复杂度的已编码图像的所存储的量化参数值被用于进行量化，或者被用作搜索适当的量化参数值的开始点。
[0053]适用于这样进行编码的设备的示例性的实施例包含编码器以及用于中间存储所使用的两个不同量化参数值及对应编码成本的部件，该编码器包含用于进行量化的部件，其中，一个所存储的量化参数值对应于符合目标比特率的编码成本，而另一个所存储的量化参数值对应于超过目标比特率的编码成本。
[0054]该设备的示例性的实施例，使用当前量化参数值以及当前编码成本来更新存储部件。如果当前编码成本不超过目标比特率，但高于当前所存储的符合目标比特率的编码成本，则所述一个量化参数值以及对应编码成本被替换为当前量化参数值以及当前成本。同时，只要在减小之后，该量化参数值仍大于另一个所存储的量化参数值，该量化参数值就减小。
[0055]类似地，如果当前编码成本超过目标比特率，但小于当前所存储的不符合目标比特率的编码成本，则所述另一个量化参数以及对应编码成本被替换为当前量化参数值以及当前成本。同时，该量化参数值增加。
[0056]持续该替换以及量化参数值改变，直至所存储的量化参数值相差I为止，即，直至使编码成本仍然符合目标比特率的一个量化参数值比使编码成本不符合目标比特率的另一个量化参数值大I为止。然后，编码器使用所述导致相符编码成本的量化参数值，以对所有高度相似图像中的尚未编码的图像进行编码。
[0057]另外，或者替代性地，本发明的原理可被用在宏块的级别上。也就是说，将在该序列的不同图像中的相同位置处的高度相似的宏块的序列被视为是高度相似的宏块大小的图像块的序列。
[0058]也就是说，将画面序列视为独立图像块序列的马赛克(mosaic)，其中，每个独立图像块序列是图示在该序列的不同画面中的相同位置处描述宏块的、宏块大小的图像块。然后，根据本发明考虑宏块目标比特率，调整用于对每个宏块序列进行编码的量化参数值。
[0059]在另一个示例性的实施例中，本发明被用于确定将被平均地用在高度相似的连续子序列中的图像的宏块上的平均量化参数值。
【权利要求】
1.一种对图像块进行帧内编码的方法，该方法包含使用进行如下处理的处理部件， 使用量化参数值对所述图像块的帧内预测的残差的变换进行量化，并且对经量化的变换进行编码；还使用进行如下处理的处理部件， 确定在存储部件中能够得到已用量化参数值及对应编码成本，所述已用量化参数值已被用于对与所述图像块高度相似的或者与所述图像块具有相同复杂度的更多的图像块的量化；并且， 使用所述已用量化参数值、所述对应编码成本以及目标比特率来确定量化参数值。
2.根据权利要求1所述的方法，还包含:确定所述对应编码成本是否超过所述目标比特率；并且，在所述对应编码成本不超过所述目标比特率的情况下，确定所述量化参数值不大于所述已用量化参数值；并且，在所述对应编码成本超过所述目标比特率的情况下，确定所述量化参数值大于所述已用量化参数值。
3.根据权利要求1所述的方法，其中，进一步地得到更多的已用量化参数值以及对应更多的编码成本，并且，在得到的所述已用量化参数值之中，一个对应于超过所述目标比特率的编码成本，而另一个对应于不超过所述目标比特率的编码成本；该方法还包含确定所述量化参数值大于所述一个已用量化参数值，但不大于所述另一个已用量化参数值。
4.根据权利要求3所述的方法，其中，所述已用量化参数值与所述更多的已用量化参数值相差I。
5.根据权利要求1至4中任意一项所述的方法，其中，所述另外的图像块是所述图像块。
6.根据权利要求1至5中任意一项所述的方法，还包含在非临时性存储介质上存储经编码且量化的变换。
7.一种用于对图像块进行帧内编码的设备，该设备包含: 量化部件，用于使用量化参数值对所述图像块的帧内预测的残差的变换进行量化；以及编码部件，用于对经量化的变换进行编码；还包含， 存储部件，用于存储已用量化参数值以及对应编码成本，所述已用量化参数值已被用于对至少一个与所述图像块高度相似的或者与所述图像块具有相同复杂度的更多的图像块的量化；以及 确定部件，用于确定所述已用量化参数值及对应编码成本被存储；其中，该设备包含处理部件，该处理部件适用于 使用所述已用量化参数值、所述对应编码成本以及目标比特率来确定所述量化参数值。
8.根据权利要求7所述的设备，其中，所述存储部件适用于存储更多的已用量化参数值以及对应更多的编码成本，所述处理部件适用于进一步地使用所述更多的已用量化参数值以及所述更多的对应编码成本来确定所述量化参数值。
9.一种非临时性存储介质，在该非临时性存储介质上存储根据权利要求6所述的方法进行了帧内编码并存储的帧内编码图像块。
10.对用于对根据权利要求1至5中任意一项所述的方法进行了帧内编码的帧内编码图像块进行解码的处理设备的使用。
【文档编号】H04N19/176GK103843338SQ201280049063
【公开日】2014年6月4日 申请日期:2012年9月4日 优先权日:2011年10月4日
【发明者】C.彻万斯, P.萨尔蒙, Y.奥利维尔 申请人:汤姆逊许可公司