以帧内预测模式解码图像的方法
【专利摘要】本发明公开了一种以高视频质量低数据速率来编码视频信号的视频编码方法。为了将残余信号所需的比特数目最小化，利用与当前块相邻的至少一个重建的有效参考像素来产生与当前块相邻的无效参考像素。在与当前块相邻的有效参考像素和产生的参考像素被滤波之后，确定当前块的帧内预测模式。因此，由于产生了最靠近当前块的参考块，所以可以最小化用于当前块的残余块所需的数据量。
【专利说明】以帧内预测模式解码图像的方法
【技术领域】
[0001]本发明涉及一种采用帧内预测模式来解码运动图片的方法，更具体而言，涉及一种通过自适应地产生并滤波当前块的参考像素来产生与原始图像相似的预测块的方法。
【背景技术】
[0002]已经提出了一些数字视频压缩技术以高视频质量低数据速率来高效地传输视频信号。视频压缩技术包括:H.261、运动图像专家组-2/H.262 (MPEG-2/H.262)、H.263、MPEG-4、高级视频编码/H.264 (AVC/H.264)等。这些压缩技术包括:离散余弦变换(DCT)、运动补偿(Motion Compensation, MC)、量化、熵编码等。
[0003]为了保持高视频质量，采用大量数据进行视频编码。然而，由于用于视频数据传输所允许的带宽的限制，用于传输编码的数据可用数据速率被限制。例如，卫星广播系统的数据通道或者数字有线电视网络的数据通道典型地采用恒定的比特率(Constant Bit Rate,CBR )
[0004]在本文中，已经提出了视频编码方案以实现高视频质量，同时将实施复杂性和传输数据速率最小化。
[0005]例如，H.264/AVC标准利用相邻像素提供了空间区域上的帧内预测编码。确定要利用的相邻像素对于编码效率的改善是重要的。出于这个目的，确定出要用于帧内预测的最佳方向，并且利用与最佳方向相对应的相邻像素来计算要被编码的像素的预测值。
[0006]然而，由于预测块的尺寸增大各异，所以对于当前块极可能存在多个相邻的参考块。在这种情况下，在参考块的两个边界处的参考像素之间可以产生像素值差。如果利用参考像素来执行帧内预测，则在产生预测块之后获得的残余块可以包括很多高频成分。因此，降低了编码效率。
【发明内容】
[0007]技术问题
[0008]本发明的目标是提供一种重建与原始图像相似的帧内预测块的方法。此外，本发明的目标是提供如下的一种方法:当以帧内预测模式编码的块被重建时，通将残余信号的数据量最小化来减少数据量并改善视频质量。
[0009]技术方案
[0010]本发明的目标通过提供一种以帧内预测来解码运动图片的方法来实现，所述方法包括以下步骤:重建当前块的帧内预测模式；对于当前块当存在不可用的参考像素时，利用可用的参考像素来产生参考像素；基于当前块的重建的帧内预测模式和尺寸来自适应地滤波当前块的参考像素；以及利用当前块的帧内预测模式和对应于帧内预测模式的参考像素来产生当前块的预测块，其中，在参考像素的产生步骤中，将不可用的参考像素设定为可用的参考像素的像素值，可用的参考像素是在预定的方向上距离不可用的参考像素最近的位置处的可用的像素。[0011]以及，根据本发明，当在预定的方向上距离不可用的参考像素没有设置可用的参考像素时，不可用的参考像素被设定成在相反方向上最近位置处的可用的参考像素的像素值。
[0012]此外，根据本发明，由于当前块的尺寸增大，所以用于滤波参考像素的帧内预测模式的数目可以不变或增大。
[0013]有益效果
[0014]根据本发明，优点在于:通过从可用的参考像素中产生不可用的参考像素、以及在基于当前块的尺寸和帧内预测模式自适应地滤波参考像素之后产生预测块来获得与原始图像相似的预测块。此外，通过产生与原始块相似的预测块、并且将残余信号的数据量最小化，不仅可以改善运动图片的压缩性能，还可以最大化编码和解码效率。
【专利附图】
【附图说明】
[0015]在附图中:
[0016]图1是根据本发明的一个实施例的视频编码器的框图；
[0017]图2是说明根据本发明的一个实施例的帧内预测器的操作的流程图；
[0018]图3是涉及用于描述根据本发明的一个实施例的平面模式预测的示图；
[0019]图4是根据本发明的一个实施例的视频解码器的框图；以及
[0020]图5是说明用于重建根据本发明的一个实施例的帧内块的操作的流程图。
【具体实施方式】
[0021 ] 现在将详细地参考本发明的实施例，其中本发明的实施例的实例在附图中示出。由于可以存在本发明的各种变体和实施例，所以将参照附图来说明和描述某些实施例。然而，这并非意图将本发明限制于某些实施例，而应当解释为包括本发明的精神和范围所覆盖的所有变体、等同和替代。
[0022]图1是根据本发明的一个实施例的视频编码器的框图。
[0023]参见图1，视频编码器包括:编码模式判决器110、帧内预测器120、运动补偿器130、运动估计器131、变换编码器/量化器140、熵编码器150、反量化器/变换解码器141、去块滤波器(deblocking filter) 160、图片储存器170、减法器180和加法器190。
[0024]编码模式判决器110通过分析输入视频信号将图片划分成编码块(每个编码块具有预定的尺寸)，并且确定出用于编码块的编码模式。编码模式包括帧内预测编码和帧间预测编码。
[0025]图片包括多个分片，每个分片包括多个最大的编码单元(IXU)。IXU可以被划分成多个编码单元(CU)。编码器可以添加表示是否被划分成比特流的标志，而解码器可以利用地址LcuAddr来确定IXU的位置。如果不允许划分，则⑶被认为成预测单元(PU)，并且解码器可以利用PU索引来确定的位置。
[0026]I3U可以被分成多个分区。另外，I3U可以包括多个变换单元(TU)。
[0027]编码模式判决器110将块单元(例如PU或TU)中的视频数据传输至减法器190，所述每个块单元根据预定的编码模式而具有预定的尺寸。
[0028]变换编码器/量化器140将通过减法器190计算的残余块从空间域变换成频率域。例如，变换编码器/量化器140对残余块执行二维离散余弦变换(DCT)或者离散正弦变换(DST)。另外，变换编码器/量化器140确定量化步长，并且利用确定的量化步长来量化变换系数。量化矩阵可以根据确定的量化步长和编码模式来确定。
[0029]通过预定的扫描方法中的一种将量化的二维变换系数变换成一维变换系数。将一维变换系数的序列提供给熵编码器150。
[0030]反量化器/变换解码器160将从变换编码器/量化器140中接收的量化系数反量化，并且反相变换反量化系数，由此将频率域残余块重建成空间域残余块。
[0031]去块滤波器170对从反量化器/变换解码器160中接收的反量化的并且反相变换的视频数据执行滤波，以去除块效应。
[0032]图片储存器180将从去块滤波器170中接收的滤波视频数据的图片单元中的视频重建，并且储存重建的视频。图片可以是帧或场的图像。图片储存器180包括用于储存多个图片的缓冲器(未示出)。储存在缓冲器中的多个图片被提供用于帧内预测和运动估计。这些图片被称作为参考图片。
[0033]运动估计器131从图片储存器180中接收至少一个参考图片，利用该至少一个参考图片来执行运动估计，以及输出包括运动矢量的运动数据、表示参考图片的索引、以及块模式。
[0034]为了最优化预测精度，用分数像素精度(例如，1/2或1/4像素精度)来确定运动矢量。因为运动矢量可以被计算到分数像素精度，所以运动补偿器130通过将用于计算分数像素位置处的像素值的内插滤波器应用于参考图片来依据整数像素位置处的像素值计算分数像素位置处的像素值。
[0035]根据从运动估计器131中接收的运动数据，运动补偿器130从储存在图片储存器180中的多个参考图片之中用于运动估计的参考图片中提取与要被编码的块相匹配的预测块。
[0036]运动补偿器130确定分数精度运动补偿所需的自适应内插滤波器的滤波特性。滤波特性包括表示自适应内插滤波器的滤波类型和滤波器尺寸的信息等。滤波器尺寸可以被表示为例如自适应内插滤波器的抽头的数目，即滤波器系数的数目。
[0037]具体地，运动补偿器130可以选择可分离的或不可分离的自适应内插滤波器，然后确定选中的自适应内插滤波器的抽头的数目和每个滤波器系数。滤波器系数的值可以基于相对于整数像素位置的分数像素位置来不同地确定。另外，运动补偿器130可以利用多个具有固定的滤波器系数的非自适应内插滤波器。
[0038]运动补偿器130可以针对每个预定的处理单元分片图片来设定内插滤波器的特性(诸如分数像素、基本编码单元(CU)、切片、图片、或序列)。运动补偿器130可以针对一个视频数据设定一个特性。由于在相同的预定的处理单元中保持相同的滤波器特性，所以运动补偿器130包括用于暂时保持滤波器特性的储存器。当需要时，存储器保存滤波器特性和滤波器系数。例如，运动补偿器130可以确定用于每个I图片的滤波器特性和用于每个分片的滤波器系数。
[0039]运动补偿器130从图片储存器180中接收参考图片，并且通过利用预定的自适应内插滤波器滤波参考图片而产生具有分数像素精度的预测的参考图片。
[0040]然后，运动补偿器130通过基于预测的参考图片和由运动估计器131确定的运动矢量执行具有分数像素精度的运动补偿，来产生预测块。
[0041]在图片之间的预测编码的情况下，减法器190接收参考图片的与要被编码的输入块匹配的块，计算参考图片的该块与输入块之间的差，以及将该差作为残余信号输出。
[0042]帧内预测器120利用预测图片内重配置的像素值来执行帧内预测编码。帧内预测器120接收用于预测编码的当前块、根据当前块的尺寸来选择多个帧内预测模式中的一种、以及在选中的帧内预测模式下对当前块执行帧内预测。帧内预测器120利用与当前块相邻的之前编码的像素来确定用于当前块的帧内预测模式，并且产生对应于所确定的模式的预测块。
[0043]将当前图片的之前编码的区域解码并储存在图片储存器180中，以供将来用在帧内预测器120中。利用邻近当前块的相邻像素、或者储存在图片储存器180中的当前图片的之前编码的区域内的可用的非相邻像素，帧内预测器120产生当前块的预测块。
[0044]为了预测帧内块，帧内预测器120可以自适应地滤波相邻像素。视频编码器可以将表示是否执行滤波的信息传输至视频解码器，使得视频解码器可以执行相同的操作。或者可以基于当前块的帧内预测模式和尺寸来确定是否执行滤波。
[0045]通过编码模式判决器110，用于视频编码器的预测类型依赖于输入块以帧内模式还是以巾贞间模式编码。
[0046]帧内/帧间开关控制帧内模式和帧间模式之间转换。
[0047]熵编码器150将从变换编码器/量化器140中接收的量化系数、和从运动估计器131中产生的运动信息熵编码。另外，熵编码器150可以将帧内预测模式、控制数据(例如，量化步长等)编码。熵编码器150还将通过运动补偿器130确定的滤波器系数编码、并且将编码的滤波器系数以比特流输出。
[0048]图2是说明根据本发明的一个实施例的帧内预测器120的操作的流程图。
[0049]参见图2，帧内预测器120从编码模式判决器110中接收预测块的预测模式信息和尺寸信息(S110)。预测模式信息表示帧内模式。预测块可以是64X64、32X32、16X16、8X8或者4X4像素的正方形，本发明不局限于此。即，预测块可以被成形为不同于正方形的形状。
[0050]然后，帧内预测器120从图片储存器180中读取参考像素，以确定预测块的帧内预测模式。帧内预测器120通过检查是否存在不可用的参考像素来确定是否产生参考像素(S120)。参考像素用于确定当前块的帧内预测模式。
[0051]如果当前块设置在当前图片的上边界处，则在当前块的上方不存在相邻像素。如果当前块设置在当前图片的左边界处，则在当前块的左侧不存在相邻像素。这些像素被确定成不可用的像素。如果当前块设置在分片的边界处，则在分片上方或左侧的相邻像素被确定成不可用的像素，除非它们之前被编码和重建。
[0052]在当前块的左侧或上方不存在相邻像素的情况下，或者在不存在之前编码和重建的像素的情况下，当前块的帧内预测模式可以仅利用可用的像素来被确定。
[0053]另一方面，设置在不可用的区域的参考像素可以利用当前块的可用的参考像素来产生(S130)。例如，如果上部块的像素不可用，则上部像素可以利用左侧像素的整体或部分来产生，反之亦然。换言之，参考像素可以通过复制可用的像素、表示在预定的方向上距离参考像素最近的像素的可用的像素、设置在不可用的区域的参考像素来产生。[0054]即使存在与当前块相邻的上部像素或左侧像素，像素可以根据包括所述像素的块的编码模式被确定成不可用的参考像素。例如，如果包括与当前块相邻的上部像素的块已经被帧间编码并且重建，则上部像素可以被确定为不可用的像素。在这种情况下，可用的参考像素可以利用已经被帧内编码并重建的相邻块的像素来产生。视频编码器应当将表示可用的参考像素根据编码模式被确定的信息传送至视频解码器。
[0055]随后，当前块的帧内预测模式利用参考像素来确定(S140)。可用于当前块的帧内预测模式的数目可以基于当前块的尺寸而不同地确定。例如，如果当前块的尺寸是8X8、16 X 16或者32X32，则可以存在34个帧内预测模式。如果当前块的尺寸是4X4，则可以存在17个帧内预测模式。34个或者17个帧内预测模式可以包括一个或更多个非定向模式和多个定向模式。一个或更多个非定向模式可以是DC模式和/或平面模式。如果DC模式和平面模式对应于非定向模式，则可以存在35个帧内预测模式，而与当前块的尺寸无关。在这种情况下，35个帧内预测模式可以包括2个非定向模式(DC模式和平面模式)以及33个定向模式。
[0056]在平面模式下，当前块的预测块利用位于当前块的右下方位置处的至少一个像素值(或者像素值的预测值，在下文中被称作为第一参考值)和参考像素来产生。
[0057]以下将参照图3来描述平面模式。图3是涉及用于描述前块是8X8块时平面模式预测的示图。
[0058]参见图3，与介于第一参考值D和相邻于当前块的左侧像素之中的像素值C之间的像素相对应的预测像素利用第一参考值D和像素值C来产生，所述第一参考值D位于当前块的右下角，所述像素值C相邻于位于当前块的左下角处的像素。类似地，与介于第一参考值D和邻近于当前块的上部像素之中的像素值B之间的像素相对应的预测像素利用第一参考值D和像素值B来产生，所述像素值B邻近于位于当前块的右上角处的像素。线性组合可以用于产生预测像素。如果像素未线性地布置，则预测像素可以经由预定的非线性组合来产生。
[0059]然后，剩余的预测像素利用已产生的预测像素(即，介于像素C和D之间的像素、和介于像素B和D之间的像素)和相邻于当前块的像素(即，介于像素A和B之间的像素、和介于像素A和C之间的像素)来产生。这些预测像素可以通过将当前块上方和左侧的两个相邻像素与当前块下方和右侧的两个相邻像素线性组合来产生。组合不必须是线性。确切地说，考虑像素分布，可以利用非线性组合。如以上实例，在平面模式中，用于产生预测像素的参考像素的数目可以基于预测像素的位置而不同地确定。
[0060]在以上实例中，会发生:当前块的左侧参考像素是可用的，而当前块的上部参考像素是不可用的。在这种情况下，上部参考像素可以利用左侧参考像素中的一个、或者第一参考值来产生。换言之，如果仅左侧参考像素可利用，则上部参考像素可以通过复制左侧参考像素的顶部参考像素来产生，并且介于像素B和D之间的预测像素可以利用第一参考值和最靠近上部像素的参考像素来产生。
[0061]同样地，如果当前块的上部参考像素可利用，但是左侧参考像素不可利用，则左侧参考像素可以通过复制上部参考像素的最左侧的参考像素来产生，并且在像素C和D之间的预测像素可以通过利用左侧参考像素和第一参考值来产生。
[0062]此外，第一参考值或者表示第一参考值的信息可以以比特流传送至视频解码器，或者视频解码器可以导出第一参考值，而不接收第一参考值或其信息。
[0063]如果第一参考值或者表示第一参考值的信息被传送至视频解码器，则可以通过传送第一参考值与利用已经被编码和重建的当前块的至少一个相邻像素计算的参考值的预测值之差来减少要传送的比特的数目。出于这个目的，第一参考值的预测值可以是如下中的一个:(1)与当前块相邻的参考像素的平均值、(2)像素A、B以及C的平均值、以及(3)像素B和C之间的平均值。可替选地，将像素A和C之差与像素A和B之差进行比较，而表示与较小的差相对应的方向的像素(B或C)可以被确定为第一参考值的预测值。
[0064]另一方面，如果第一参考值从视频编码器和视频解码器导出，则视频编码器和视频解码器两者应当能够导出相同的参考值。出于这个目的，视频编码器可以利用参考像素A、B以及C来产生第一参考值。假设图片内的像素值被平滑地改变，则可以将如下的(I)和(2)中的一个设定为第一参考值:(I)像素C、和像素B与A之间的差之和，或者像素B、和像素C与A之间的差之和，即(B+C-A); (2)像素B和C之间的平均值。在这种情况下，可以利用像素B的相邻参考像素和像素C的相邻参考像素，而不是像素B和C。同样地，由于视频编码器和解码器可以重建相同的第一参考值，所以视频编码器不需要将第一参考值或者表示第一参考值的信息传送至视频解码器，由此减小了要传送的比特数目。
[0065]当确定出当前块的帧内预测模式时，产生预测块(S150)。预测块利用参考像素(包括已产生的参考像素)、或者通过基于当前块的帧内预测模式线性组合参考像素来产生。在DC模式中，当前块的预测块利用当前块的相邻参考像素的平均值来产生。相邻参考像素可以包括可用的参考像素和已产生的参考像素。
[0066]如果确定出当前块的帧内预测模式，则将表示帧内预测模式的信息编码(S160)。帧内预测模式信息可以在帧内预测器120、单独配置的帧内预测模式编码器(未示出)、或者熵编码器150中被编码。
[0067]在许多参考块与当前块相邻的情况下，在参考块的边界处的参考像素之间可以存在差。在这种情况下，在产生预测块之后产生的残余块很可能包括很多高频的成分。因此，参考块之间的块伪影(blocking artifact)影响当前块。这个问题随着当前块尺寸较大而变得严重。另一个方面，如果参考块比当前块更大，则这个问题不会发生。
[0068]因此，用于解决这个问题的方法之一是通过自适应滤波参考像素来产生新的参考像素。产生新的参考像素可以在帧内预测模式确定之前。即，新的参考像素可以通过基于预测块的帧内预测模式和尺寸来自适应地滤波参考像素而被提前产生，然后当前块的帧内预测模式可以利用原始的参考像素和新的参考像素来确定。可替选地，所述方法可以在当前块的帧内预测模式确定之后执行。由于与块伪影相关的问题随着块尺寸变大而变严重，所以用于对参考像素滤波的预测模式的数目可以不变或增多。
[0069]如果可用的参考像素需要被滤波，则可以根据参考像素之间的差自适应地应用两个或更多个滤波器。滤波器优选低带通滤波器。例如，如果使用两个滤波器，则第一滤波器和第二滤波器可以分别与3抽头滤波器和5抽头滤波器相对应。第二滤波器可以通过应用第一滤波器两次来实施。优选地，滤波器的滤波器系数是对称的。或者，仅一个滤波器可以被用于减小复杂性。
[0070]优选地，根据当前块(将执行帧内预测的块)的尺寸来自适应地使用滤波器。S卩，如果使用滤波器，则优选在当前块较小时将具有窄带宽的滤波器应用于小的块、并且将具有宽带宽的滤波器应用于大的块。然而，如果当前块的尺寸比滤波器的抽头数目更小，则不将滤波器应用于当前块。
[0071]在DC模式中，不需要应用滤波器，因为预测块利用参考像素的平均值来产生。如果在DC模式中利用滤波器，则计算量不必要地增大。另外，在图像垂直相关的垂直模式的情况下，不需要将滤波器应用于参考像素。此外，在图像水平相关的水平模式下，不需要将滤波器应用于参考像素。因为是否将滤波器应用于当前块与当前块的帧内预测模式有关，可以基于当前块的帧内预测模式和要执行帧内预测模式的块的尺寸来对参考像素自适应地滤波。如果要执行帧内预测的块的尺寸小于预定的尺寸(例如，4X4)，则不对参考像素滤波。或者，即使块的尺寸大于预定的尺寸，也可以不对参考像素滤波，用于降低复杂性。如果块的尺寸包括在预定尺寸的范围内，当采用对角帧内预测模式(与水平模式或垂直模式相差45°角的模式)和水平帧内预测模式之间的帧内预测模式中的任何一种模式对参考像素滤波时，采用在所述模式和对角帧内预测模式之间的定向模式来对参考像素滤波。
[0072]用于解决上述问题的另一种方法是通过对已经利用参考像素产生的预测块内的像素的一部分自适应地滤波来产生新的预测块。根据当前块的帧内预测模式，在预测块内的预测像素中，与参考像素相邻的邻近的预测像素可以利用参考像素中至少之一来修正。当产生预测块时也可以应用这种方法。
[0073]例如，在DC模式的情况下，在预测块内的预测像素中，与参考像素相邻的邻近的预测像素利用与该邻近的预测像素相邻的参考像素来滤波。因此，根据预测像素的位置，利用一个或两个参考像素来对预测像素滤波。可以将DC模式中预测像素的滤波应用于所有尺寸的预测块。
[0074]在垂直模式的情况下，在预测块的预测像素中，与左侧参考像素相邻的邻近的预测像素可以利用除了用于产生预测块的上部像素以外的参考像素来改变。同样地，在水平模式的情况下，已产生的预测像素中与上部参考像素相邻的邻近的预测像素可以利用除了用于产生预测块的左侧像素以外的参考像素来改变。
[0075]此外，在当前块和通过帧内预测器120产生的预测块之间的残余块经由变换编码器/量化器140和熵编码器150来编码。
[0076]首先变换残余块。为了有效的能量压缩，确定出用于变换残余块的块尺寸，然后将残余块以块(每个块具有确定的块尺寸)形式变换。或者可以提前确定用于变换的块尺寸。在这种情况下，用于变换的块尺寸可以被确定为用于帧内预测的当前块的尺寸。根据帧内预测模式可以利用不同的变换方案。例如，在水平方向和垂直方向上，基于整数的DCT (离散余弦变换)可以应用于DC模式下帧内预测的残余块，而在水平和垂直方向上，基于整数的DST (离散正弦变换)可以应用于平面模式下帧内预测的残余块。可以应用于具有与预定尺寸相等或更小的尺寸的块。但是，在用于变换的块的尺寸大于预定尺寸的情况下，可以仅应用基于整数的DCT，而与帧内预测模式无关。在水平方向和垂直方向上，可以根据预测模式自适应地利用DCT或DST。
[0077]将变换的残余块量化。根据残余块的尺寸使用不同的量化矩阵。此外，针对相同尺寸的残余块，可以使用不同的量化矩阵。即，可以基于变换的残余块的系数分布来使用至少两个量化矩阵中更有效的量化矩阵。在这种情况下，表示所使用的量化矩阵的信息可以传送至视频解码器。另外，基于帧内预测模式可以将不同的量化矩阵应用于变换的残余块。[0078]然后，二维量化系数利用多个预定的扫描图案被转换成一维量化系数序列、然后被熵编码。扫描图案可以基于帧内预测模式、或者基于帧内预测模式和用于变换的块尺寸来确定。
[0079]图4是根据本发明的一个实施例的视频解码器的框图。
[0080]参见图4，本发明的视频解码器包括:熵解码器210、反量化器/反相变换器220、帧内预测器230、运动补偿预测器240、去块滤波器250、图片储存器260、加法器270以及帧内/帧间开关280。
[0081]熵解码器210通过将从视频编码器中接收的编码的比特流解码而将编码的比特流分成帧内预测模式索引、运动信息以及量化系数序列，并且将解码的运动信息提供给运动补偿预测器240、将帧内预测模式索引提供给帧内预测器230和反量化器/反相变换器220、以及将量化系数序列提供给反量化器/反相变换器220。
[0082]反量化器/反相变换器220将量化系数序列转换成二维阵列的反量化系数。对于转换，选择多个扫描图案中的一个。基于当前块的预测模式(即，帧内预测和帧间预测中的一个)、帧内预测模式以及用于变换的块尺寸来选择多个扫描图案中的一个。帧内预测模式从帧内预测器230或者熵解码器210中接收。
[0083]反量化器/反相变换器220利用从多个量化矩阵中选中的量化矩阵重建来自二维阵列的反量化系数中的量化系数。量化矩阵可以利用从编码器中接收的信息来确定。可以根据要被重建的当前块(用于变换的块)的尺寸来使用不同的量化矩阵。即使对于相同尺寸的块，反量化器/反相变换器220也可以基于至少当前块的预测模式、和帧内预测模式中的至少一个来选择量化矩阵。然后通过反相变换重建的量化系数来重建残余块。
[0084]加法器270将从反量化器/反相变换器220中接收的重建的残余块加到从帧内预测器230或者运动补偿预测器240中产生的预测块，由此重建图像块。
[0085]去块滤波器250对通过加法器270获得的重建图像执行去块效应滤波。因而，在量化期间由图像损失引起的去块伪影(deblocking artifact)可以减少。
[0086]图片储存器260是帧存储器，其保存已经通过去块滤波器250去块滤波的局部解码图像。
[0087]帧内预测器230基于从熵解码器210中接收的帧内预测模式索引来将当前块的帧内预测模式解码，并且根据解码的帧内预测模式来产生预测块。
[0088]运动补偿预测器240基于运动矢量信息从储存在图片储存器260中的图片中产生当前块的预测块。如果应用具有分数像素精度的运动补偿，则预测块利用选中的内插滤波器来产生。
[0089]帧内/帧间开关280将从帧内预测器230和运动补偿预测器260中的一个中产生的预测块提供给加法器270。
[0090]现在，将参照图4，给出用于经由帧内预测重建当前块的操作的描述。图5是说明一种用于重建根据本发明的一个实施例的帧内块的操作的流程图。
[0091]将当前块的帧内预测模式从接收的比特流中解码(S310 )。
[0092]出于这个目的，熵解码器210重建第一帧内预测模式索引，所述第一帧内预测模式索引涉及与帧内预测模式相关的多个表中的一个。
[0093]与帧内预测模式相关的多个表在视频编码器和视频解码器之间共享。可以根据与当前块相邻的多个块的帧内预测模式的分布来选择与帧内预测模式相关的表中之一。例如，如果与当前块相邻的左侧块的帧内预测模式和与当前块相邻的上部块的帧内预测模式相同，则当前块的第一帧内预测模式索引可以利用第一帧内预测模式表来重建。如果左侧相邻块和上部相邻块的帧内预测模式不同，则可以利用第二帧内预测模式表来重建当前块的第一帧内预测模式索引。在另一个实例中，在左侧相邻块和上部相邻块两者的帧内预测模式都是定向的帧内预测模式的情况下，如果帧内预测模式的方向在预定的角度之内，则当前块的第一帧内预测模式索引可以利用第一帧内预测模式表来解码。如果帧内预测模式的方向在预定的角度之外，则当前块的第一帧内预测模式可以利用第二帧内预测模式表来解码。
[0094]熵解码器210将当前块的解码的第一帧内预测模式索引传送至帧内预测器230。如果第一帧内预测模式索引是最小值(即，0)，则帧内预测器230将适用于当前块的最大模式确定成当前块的帧内预测模式。另一方面，如果第一帧内预测模式索引非零，则帧内预测器230将表示最大模式的最大模式索引、与当前块的第一帧内预测模式索引进行比较。如果第一帧内预测模式索引等于或大于最大模式索引，则帧内预测器230将与第二帧内预测模式索引相对应的帧内预测模式确定成当前块的帧内预测模式，所述第二帧内预测模式索引具有第一帧内预测模式索引加I之后的值。否则，帧内预测器230将与第一帧内预测模式索引相对应的帧内预测模式确定成当前块的帧内预测模式。
[0095]可用于当前块的帧内预测模式可以包括一个或更多个非定向模式和多个定向模式。一个或更多个非定向模式可以是DC模式和/或平面模式。DC模式和平面模式中的一种可以自适应地被包括在可用的帧内预测模式组中。因而，表示被包括在可用的帧内预测模式组中的非定向模式的信息可以被包括在图片头或分片头中。
[0096]随后，帧内预测器230从图片储存器260中读取参考像素，以产生帧内预测块，并且确定是否存在不可用的参考像素(S320)。可以根据当前块的帧内预测模式基于是否存在用于产生帧内预测块所需的参考像素来进行该确定。
[0097]如果必须产生参考像素，帧内预测器230可以利用解码的参考像素在不可用的位置产生参考像素(S325)。不可用的参考像素的定义和用于产生参考像素的方法已经参照图2中说明的帧内预测器的操作被描述。可以根据当前块的帧内预测模式仅仅选择性地重构产生帧内预测块所需的参考像素。
[0098]帧内预测器230确定是否对参考像素滤波以产生预测块(S330)。即，帧内预测器230基于当前块的帧内预测模式和尺寸来确定是否对参考像素执行滤波，以产生当前块的帧内预测块。由于关于块伪影的问题随着当前块的尺寸变大而变得严重，所以用于对参考像素滤波的预测模式的数目可以随着当前块的尺寸变大而增加。然而，为了减小复杂性可以不对参考像素滤波，因为块可以被看做当块的尺寸大于预定值时像素被平滑地改变的区域。
[0099]如果确定出对参考像素滤波，则帧内预测器230利用滤波器对参考像素滤波(S335)。
[0100]如果有效的参考像素需要被滤波，则可以基于参考像素之间的像素值的差来自适应地应用至少两个滤波器。优选地，滤波器的滤波器系数是对称的。
[0101]优选地，可以基于当前块的尺寸来自适应地利用两个或更多个滤波器。即，当使用滤波器时，可以将具有窄带宽的滤波器应用于小的块，并且将具有宽带宽的滤波器应用于大的块。
[0102]在DC模式中，不需要在DC模式中应用滤波器，因为预测块利用参考像素的平均值来产生。即，如果应用滤波器，则计算量可以不必要地增大。另外，在具有垂直相关性的垂直模式的情况下，对于参考像素可以不需要应用滤波器。并且，在具有水平相关性的水平模式下，对于参考像素可以不需要应用滤波器。因为是否将滤波器应用于当前块与当前块的帧内预测模式相关，可以基于当前块的帧内预测模式和预测块的块尺寸来执行自适应滤波。
[0103]随后，根据确定的帧内预测模式利用参考像素或滤波的参考像素来产生预测块(S340)。
[0104]省略了预测块的产生方法，因为图2中解码器的操作与其相似。并且，在平面模式的情况下，也省略了预测块的产生方法，因为图2中的编码器的操作与其相似。确定产生的预测块是否要被滤波(S350)。可以基于包括在分片头或CU头中的信息来进行该确定。此夕卜，可以基于当前块的帧内预测模式来进行该确定。
[0105]当确定要对产生的预测块滤波时，对产生的预测块滤波(S335)。具体地，通过对已经利用与当前块相邻的可用的参考像素产生的预测块中的特定位置处的像素滤波来产生新的像素。当产生预测块时也可以应用这种方法。例如，可以利用参考像素来对DC模式中与参考像素相邻的预测像素滤波。因此，可以基于预测像素的位置利用一个或两个参考像素来对预测像素滤波。DC模式下预测像素的滤波可以应用于所有尺寸的预测块。在垂直模式的情况下，可以利用除了用于产生预测块的上部像素以外的参考像素来改变预测块内的预测像素中的与左侧参考像素相邻的邻近的预测像素。同样地，在水平模式的情况下，可以利用除了用于产生预测块的左侧像素以外的参考像素来改变已产生的预测像素中的与上部参考像素相邻的邻近的预测像素。
[0106]利用当前块的重建的预测块和当前块的解码的残余块来重建当前块。
[0107]对于本领域的技术人员显然的是，在不脱离本发明的精神或范围的情况下，可以对本发明进行各种修改和变化因而，意在本发明覆盖在所附权利要求的范围内提供的本发明的修改和变化以及与其等同物。
【权利要求】
1.一种以帧内预测模式解码图像的方法，所述方法包括以下步骤: 重建当前块的所述帧内预测模式； 对于所述当前块当存在不可用的参考像素时，利用可用的参考像素来产生参考像素； 基于所述当前块的重建的帧内预测模式和尺寸来自适应地滤波所述当前块的参考像素；以及 利用所述当前块的所述帧内预测模式和与所述帧内预测模式相对应的参考像素来产生所述当前块的预测块， 其中，在所述参考像素的产生步骤中，所述不可用的参考像素被设定为所述可用的参考像素的像素值，所述可用的参考像素是在预定的方向上距离所述不可用的参考像素最近的位置处的可用的像素。
2.如权利要求1所述的方法，其中，当在预定的方向上距离所述不可用的参考像素没有设置所述可用的参考像素时，所述不可用的参考像素被设定为在相反方向上最近位置处的所述可用的参考像素的像素值。
3.如权利要求1所述的方法，还包括: 反相量化并反相变换所述当前块的残余块， 其中，所述残余块利用量化矩阵来反相量化，所述量化矩阵基于从编码器接收的反相量化的信息来确定。
4.如权利要求1所述的方法，其中，在所述参考像素的自适应滤波步骤中，当所述当前块的所述帧内预测模式是水平或垂直模式时，不对所述参考像素滤波。
5.如权利要求1所述的方法，其中，当以所述水平模式和对角帧内预测模式之间的特定方向的帧内预测模式来对所述参考像素滤波时，以所述特定方向的帧内预测模式和所述对角帧内预测模式之间的定向模式对所述参考像素滤波。
6.如权利要求1所述的方法，其中，当所述当前块的所述帧内预测模式是垂直模式时，所述预测块的左边界处的预测像素利用除了上部像素以外的参考像素来改变，所述上部像素用于产生所述预测块。
7.如权利要求1所述的方法，其中，当所述当前块的帧内预测模式是平面模式时，利用所述当前块的第一参考值、与所述当前块的右上角的像素相邻的参考像素、以及与所述当前块的左下角的像素相邻的参考像素来产生设置在所述预测块的右边界和下边界处的预测像素。
8.如权利要求7所述的方法，其中，所述第一参考值利用两个像素的平均值来获得，所述两个像素表示设置在所述当前块上的两个预定的位置处的像素。
9.如权利要求1所述的方法，其中，当所述当前块的帧内预测模式是DC模式时，利用参考像素、和与预测块内的预测像素的参考像素相邻的邻近的预测像素中至少之一来滤波邻近的预测像素，而与所述当前块的尺寸无关。
【文档编号】H04N7/26GK103460700SQ201280017441
【公开日】2013年12月18日 申请日期:2012年3月16日 优先权日:2011年4月1日
【发明者】金光悌, 吴贤午 申请人:苗太平洋控股有限公司