低复杂度解块滤波器判定的制作方法
【专利摘要】本发明涉及解块滤波，可以将其有利地应用于图像或视频信号的逐块编码和解码。具体而言，本发明涉及自动化判定是否为块应用或跳过解块滤波中改进的存储器管理以及解块滤波器的选择。基于块的分割进行判定，使得存储器的使用被优化。优选地，改进适当解块滤波器的选择，以减少计算开支。
【专利说明】低复杂度解块滤波器判定
【技术领域】
[0001]本发明涉及图像的滤波。具体而言，本发明涉及解块滤波，并涉及关于是否为一图像区域启用或禁用解块滤波的判定。
【背景技术】
[0002]目前，大多数标准化的视频编码算法都基于混合视频编码。混合视频编码方法通常组合几种不同的无损及有损的压缩方案，以实现所需的压缩增益。混合视频编码也是ITU-T 标准(H.26x 标准，例如 H.261，H.263)以及 I SO/I EC 标准(MPEG-X 标准，例如 MPEG-1、MPEG-2和MPEG-4)的基础。最近及最先进的视频编码标准是目前表示为H.264/MPEG-4高级视频编码(AVC)的标准，AVC是ITU-T及IS0/IEC MPEG组的联合组——联合视频组(JVT)标准化努力的结果。视频编码联合协作小组(JCT-VC)正在以高效视频编码(HEVC)的名义进一步开发此编解码器，具体而言，目的是提高涉及高分辨率视频编码的效率。
[0003]输入到编码器的视频信号是被称为帧的图像序列，每个帧是像素的二维矩阵。所有基于混合视频编码的上述标准包括把每个视频帧细分成由多个像素组成的更小的块。例如，根据图像的内容，块的大小可以变化。编码的方法通常可以基于每块而改变。这种块最大可能的尺寸，例如在HEVC中，是64x64像素。因此称其为最大编码单元(IXU)。在H.264/MPEG-4AVC中，宏块(通常表示16x16像素的块)是进行编码的基本图像元素，可以进一步把它分成更小的应用一些编码/解码步骤的子块。
[0004]通常，混合视频 编码的编码步骤包括空间的和/或时间的预测。因此，通过使用在其空间邻域的块或来自其时间邻域的块，即来自之前编码的视频帧，首先预测要被编码的每个块。然后计算出要被编码的块和它的预测之间的差异块，也被称为预测残差块。另一个编码步骤是把残差块从空(像素)域转换到频域。转换目的在于降低输入块的相关性。另一编码步骤是变换系数的量化。在此步骤中，进行实际有损(不可逆)压缩。通常，通过熵编码进一步压实(无损压缩)压缩的转换系数值。此外，对用于编码的视频信号重构所需的侧信息进行编码，并与编码的视频信号一起提供。这是例如关于空间和/或时间预测、量化的数量等信息。
[0005]图1是典型的H.264/MPEG-4AVC和/或HEVC视频编码器100的范例。减法器105首先判断输入视频图像(输入信号s)的要编码的当前块和对应预测块§之间的差异e，使用对应预测块§作为要编码的当前块的预测。可以通过时间或空间预测180获得预测信号。可以基于每个帧或基于每个块改变预测的类型。使用时间预测而预测的块和/或帧被称为“互”编码，而使用空间预测而预测的块和/或帧被称为“内”编码。从存储器中存储的先前编码图像中导出使用时间预测的预测信号。从先前编码、解码并存储在存储器中的相邻块中的边界像素值导出使用空间预测的预测信号。输入信号及预测信号之间表示为预测错误或残差的差异e被转换110，获得被量化120的系数。然后向量化的系数应用熵编码器190以便进一步减少用无损方式存储和/或发射的数据量。这主要是通过应用具有可变长度码字的代码实现的，在可变长度的码字中基于码字发生的概率选择码字的长度。[0006]在视频编码器100之内，并入解码单元用于获得解码的(重构的)视频信号S’。按照编码步骤，解码步骤包括反量化及逆变换130。由于量化错误，也称为量化噪声的原因，这样获得的预测误差信号e’不同于原始预测误差信号。然后通过向预测信号§增加140解码预测误差信号e’以获得重构的图像信号s’。为了维持编码器侧和解码器侧之间的兼容性，基于在编码器侧和解码器侧都已知的编码并随后解码的视频信号获得预测信号§。
[0007]由于量化的原因，量化噪声被叠加到重构的视频信号。由于逐块编码，叠加的噪声经常具有分块特性，具体而言对于强量化，分块特性导致解码图像中可见的块边界。这种分块伪影对人类视觉感知具有负面影响。为了减少这种伪影，把解块滤波器150应用于每个重构的图像块。把解块滤波器应用于重构信号s’。例如，H.264/MPEG-4AVC的解块滤波器具有局部自适应的能力。对于高度的块噪声，应用强(窄带)低通滤波器，而对于低度的块噪声，应用较弱(宽带)低通滤波器。通过预测信号§并通过量化预测误差信号e’确定低通滤波器的强度。解块滤波器通常平滑块边缘，导致解码图像的主观质量改进。此外，由于图像的被滤波部分用于其他图像的运动补偿预测，滤波还减小预测误差，并因此能够提高编码效率。
[0008]解块滤波器之后，可以把样本自适应偏移155和/或自适应环路滤波器160应用于包括已经解块的信号s’’的图像。而解块滤波器改进主观质量，样本自适应偏移(SAO)及ALF目的在于改进逐个像素的保真度(“客观”质量)。具体而言，SAO根据像素的直接邻域增加偏移。使用自适应环路滤波器(ALF)补偿由于压缩引起的图像失真。通常，自适应环路滤波器是具有某一滤波 器系数的维纳滤波器，确定滤波器系数以便使重构的s’和源图像s之间的均方误差(MSE)最小化。可以逐个帧地计算并发射ALF的系数。可以将ALF应用于整个帧(视频序列的图像)或局部区域(块)。可以发射表示要对哪些区域滤波的额外侧信息(基于块、基于帧或基于四叉树)。
[0009]为了进行解码，互编码块还需要在参考帧缓存170中存储图像中之前编码并随后解码的部分。通过采用运动补偿预测，预测180互编码块。首先，由运动估计器针对之前编码并解码的视频帧之内的当前块发现最优匹配块。然后最优匹配块成为预测信号，然后在与编码视频数据一起提供的侧信息中，以三维运动矢量的形式将当前块和其最优匹配之间的相对位移(运动)表达为运动数据信号。这三个维度由两个空间维度和一个时间维度构成。为了优化预测精确度，可以确定运动矢量，使其具有空间子像素分辨率，例如半像素或四分之一像素分辨率。具有空间子像素分辨率的运动矢量可以指向已解码帧中没有实际的像素值可用的空间位置，即子像素位置。因此，需要对此像素值进行空间插值以便进行运动补偿预测。这可通过插值滤波器实现(在图1中，集成于预测块180中)。
[0010]对于内和互编码模式两者，当前输入信号和预测信号之间的差异e被转换110及量化120，获得量化系数。通常，采用正交变换，例如二维离散余弦变换(DCT)或其整数版本，因为其有效地降低了自然视频图像的相关性。转换后，对于图像质量而言，较低频率成分通常比高频率成分更重要，因此对低频率成分进行编码可以使用比对高频率成分进行编码更多的比特。在熵编码器中，把量化系数的二维矩阵转换成一维数组。通常，由所谓的之字形扫描执行这种转换，之字形扫描由在二维数组左上角的DC系数开始，并以预定序列扫描二维数组，在右下角的AC系数处结束。由于能量通常集中于系数二维矩阵对应于较低频率的左上部分，之字形扫描获得最后值通常为零的数组。这样允许使用游程长度代码进行高效率的编码，作为实际熵编码的/之前的一部分。
[0011]H.264/MPEG-4H.264/MPEG-4AVC以及HEVC包括两个功能层，即视频编码层(VCL)和网络抽象层(NAL)。VCL提供了上文简述的编码功能。NAL将信息元素根据其进一步的应用，例如通过信道传输或在存储器中存储，封装成被称为NAL单元的标准化单元中。信息元素例如是用于对视频信号解码所需的编码预测误差信号或其他信息，例如预测类型、量化参数、运动矢量等。存在着包含压缩视频数据和相关信息的VCL NAL单元以及封装额外数据的非VCL单元，额外数据例如是与整个视频序列相关的参数集，或提供可用于改进解码性能的额外信息的补充增强信息(SEI)。
[0012]图2示出了根据H.264/MPEG-4AVC或HEVC视频编码标准的范例解码器200。编码的视频信号(解码器的输入信号)首先传递到熵解码器290，熵解码器290对量化系数、解码所需信息元素，例如运动数据、预测模式等进行解码。对量化系数进行逆向扫描，以便获得二维矩阵，然后将其馈送给逆量化和逆变换230。在逆量化和逆变换230之后，获得解码(量化)的预测误差信号e’，其对应于在不引入量化噪声且不发生误差的情况下从编码器的信号输入减去预测信号获得的差异。
[0013]从时间或空间预测280获得预测信号。解码的信息元素通常还包括预测所需的信息，例如内预测情况下的预测类型以及运动补偿预测情况下的运动数据。然后利用加法器240将空域中的量化预测误差信号加到从运动补偿预测或帧内预测280获得的预测信号。可以将重构图像S，通过解块滤波器250、样本自适应偏移处理255和自适应循环滤波器260，并在存储器270中存储所得的解码信号，以应用于后续块/图像的时间或空间预测。
[0014]图3中示出了示范性混合视频编码器的另一例示。图3的编码器与图1的编码器不同之处在于，已经将图1的解块滤波器150细分成用于垂直边缘的水平解块的滤波器350a和用于水平边缘垂直解块的滤波器350b。将滤波器350a应用于重构信号S’，即加法器140的输出。滤波器350b的输出，即具有解块的垂直边缘的图像被表示为S’ ’并输入到滤波器350b中。滤波器350b的输出信号，即经过垂直和水平解块的图像被表示为S’’’。此夕卜，图3明确示出了要输入到熵编码器190、水平解块滤波器350a和垂直解块滤波器350b中的量化参数QP。
[0015]图3的剩余块对应于图1的相应块，在图3和图1中通过相同附图标记表示类似特征。在图3中，已经将自适应环路滤波器160明确描述为维纳滤波器，块155 (SAO)和160(ALF)已经被互换。不过，这些步骤的顺序对于本发明而言不是实质性的。此外，图3中未明确示出参考帧缓存170。
[0016]考虑到图1的编码器和图2的解码器的相应特征密切相似，本领域的技术人员知道如何修改图2，以便例示解码器，其中使得两个相继步骤中的水平和垂直解块清楚明白。因此这里省去了相应的图。
[0017]在对图像进行压缩和解压时，分块伪影一般是对用户而言最干扰的伪影。解块滤波有助于通过使重构图像中块间的边缘平滑化而改善用户的知觉体验。解块滤波中的困难之一是在由于应用量化器导致的分块造成的边缘之间，以及在作为编码信号部分的边缘之间进行正确的判定。仅在块边界上的边缘是由于压缩伪影导致时才希望应用解块滤波器。在其他情况下，通过应用解块滤波器，重构的信号可能是令人失望的、扭曲的。另一个困难是选择适当的滤波器进行解块滤波。典型地，在几个具有不同频率响应(导致强或弱低通滤波)的低通滤波器之间做出判定。为了判定是否应用解块滤波并选择适当的滤波器，考虑两个块的边界附近的图像数据。
[0018]例如，可以考虑相邻块的量化参数。或者或此外，可以考虑诸如内或互预测的预测模式。另一种可能是评估量化的预测误差系数，例如，它们中的多少被量化成零。用于运动补偿预测的参考帧也可以表示滤波器的选择，例如，是否使用同一参考帧预测当前块和相邻块。判定也可以基于用于运动补偿预测的运动矢量以及用于当前块和用于相邻块的运动矢量是否相同或更好它们不同。判定可能涉及样本的空间位置，例如与块碎片的距离。
[0019]例如，H.264/MPEG-4AVC评估两个相邻块的每个中第一推导(导数)的绝对值，两个相邻块的边界要被解块。此外,评估两个块之间边缘上第一导数的绝对值,例如,如H.264/MPEG-4AVC标准8.7.2.2.部分中所述。在US2007/854204A中还描述了类似方法。基于相同的标准对所有要滤波的像素做出判定，针对整个块进行选择。HEVC采用类似的机制，不过，也使用二阶导数。
[0020]根据这些方法，对于实际解块而言，针对可能要解块的块的所有边缘判定是否解块。此外，如果启用解块，对于每个单独的排，对于要应用的滤波器种类做出判定。基于未解块的像素样本做出这些判定。因此，必须要在实际应用解块滤波器对垂直边缘进行水平滤波并对水平边缘进行垂直滤波之前对两个解块方向都做出判定。结果是要应用的第一解块滤波器(例如，水平滤波)的延迟。此外，需要存储滤波器开/滤波器关判定的结果。或者，为了延迟对在第二方向(例如，垂直)解块所做的判定，会需要额外的排存储器(linememory)ο由于排存储器非常昂贵,这样会导致成本升高。
【发明内容】
[0021]考虑到现有技术存在这些问题，提供一种存储器使用效率得到提高的高效率解块滤波方法会是有利的。
[0022]本发明的具体方法是基于将每个块沿垂直于块边界的线分割成至少两个段，而非基于完整的块，为两个块之间的边界应用或跳过解块滤波器做出判定。定义所述段，使得段包括以任何方式存储的所有那些像素，因为针对与相应段相邻的垂直方向的另一块边界，判定是否应用或跳过解块滤波和/或选择适当的滤波器需要它们。
[0023]根据本发明的一方面，提供了一种用于对图像像素块进行解块滤波的方法。该方法包括如下步骤:将被第一边界分开的第一和第二块的每个沿着垂直于所述第一边界的线分成至少两段，以及判断是否对与所述第一和第二块的第一边界相邻的像素应用解块滤波器。利用所述第一边界两侧的一对相邻段中的样本像素，针对所述一对相邻段单独进行所述判断，使得在所述判断中不使用属于其他段的像素。将所述块分成段，使得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素解块选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。
[0024]根据本发明的另一方面，提供了一种用于对图像像素块进行解块滤波的装置。该装置包括分割单元，用于将被第一边界分开的第一和第二块的每个沿着垂直于所述第一边界的线分成至少两段。该装置还包括判断单元，用于判断是否对与所述第一和第二块的第一边界相邻的像素应用解块滤波器。所述判断单元利用所述第一边界两侧的一对相邻段中的样本像素针对所述一对相邻段单独进行判断，使得在所述判断中不使用属于其他段的像素。所述分割单元将所述块分成段，使得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素解块选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。
【专利附图】
【附图说明】
[0025]附图被纳入说明书并形成说明书的一部分以例示本发明的几个实施例。这些附图与描述一起用于解释本发明的原理。附图仅仅用于例示可以如何做出并使用本发明的优选和替代范例，不应被解释为将本发明限制到所示和所述的实施例。如附图中所示，从本发明各实施例的以下更具体描述，其他特征和优点将变得显而易见，在附图中，相似的附图标记指代相似元件，且其中:
[0026]图1是例示视频编码器的范例的方框图；
[0027]图2是例示视频解码器的范例的方框图；
[0028]图3是例示视频编码器的范例的另一方框图；
[0029]图4A是例示水平解块滤波器的应用的示意图；
[0030]图4B是例示垂直解块滤波器的应用的示意图；
[0031]图5是例示判定是否要应用解块以及选择解块滤波器的示意图；
[0032]图6A是例示强滤波器执行的解块操作的示意图；
[0033]图6B是例示弱滤波器执行的解块操作的示意图；
[0034]图7是例示接下来要从八排/列的示范性块做出的解块判定序列的流程图；
[0035]图8是例示用于执行图7的流程图中的第一种判定的像素的样本的示意图；
[0036]图9是例示执行图7的流程图中的第二种判定所采用的像素样本的示意图；
[0037]图10是例示在对垂直边缘水平滤波的情况下用于执行图7的流程图中的第三种判定的像素样本的示意图；
[0038]图11是例示用于对垂直边缘执行水平解块的像素样本的示意图；
[0039]图12是例示在对水平边缘垂直滤波的情况下用于执行图7的流程图中的第三种判定的样本像素的示意图；
[0040]图13是例示用于对水平边缘执行垂直解块滤波的样本像素的示意图；
[0041]图14是可以通过垂直边缘的水平解块修改的样本的图示；
[0042]图15是通过垂直边缘的水平解块修改的样本的图示；
[0043]图16是通过受到水平或者垂直解块修改的样本的图示；
[0044]图17A-17D是例示在用于实现水平和垂直滤波的图7的流程图中的第一和第二种判定的并行执行当中出现的问题以及根据本发明的克服所述问题的基本思路的示意图；
[0045]图18是例示将根据本发明的解块中的相关性限于8X8样本的图解；
[0046]图19A、19B是例示根据本发明的实施例判定是否应用解块滤波器的具体范例的示意图；
[0047]图20A、20B是例示根据本发明的实施例用于选择适当解块滤波器的判定的示范性方案的示意图；
[0048]图21A、21B是例示根据本发明的实施例用于选择适当解块滤波器的判定的替代示范性方案的示意图；[0049]图22A、22B是例示在判定是否应用解块滤波器时发生的存储器访问问题的示意方框图；
[0050]图23A、23B是例示图22A和B中例示的存储器访问问题解决方案的示意图；
[0051]图24示出了用于实施内容分发服务的内容提供系统的总体配置；
[0052]图25示出了数字广播系统的总体配置；
[0053]图26示出了方框图，例示了电视配置的范例；
[0054]图27示出了方框图，例示了信息再现/记录单元的配置范例，该信息再现/记录单元从记录介质，即光盘读取信息并向其上写入信息；
[0055]图28示出了记录介质，即光盘的配置范例；
[0056]图29A示出了蜂窝电话的范例；
[0057]图29B是示出了蜂窝电话配置范例的方框图；
[0058]图30例示了复用数据的结构；
[0059]图31示意性示出了如何在复用数据中复用每个流；
[0060]图32更详细地示出了如何在PES分组流中存储视频流；
[0061]图33示出了复用数据中TS分组和源分组的结构；
[0062]图34示出了 PMT的数据结构；
[0063]图35示出了复用数据信息的内部结构；
[0064]图36示出了流属性信息的内部结构；
[0065]图37示出了用于识别视频数据的步骤；
[0066]图38示出了根据每个实施例用于实施活动画面编码方法和活动画面解码方法的集成电路配置范例；
[0067]图39示出了用于在驱动频率之间切换的配置；
[0068]图40示出了用于识别视频数据并在驱动频率之间切换的步骤；
[0069]图41示出了查找表的范例，在查找表中将视频数据标准与驱动频率相关联；
[0070]图42A是示出了用于共享信号处理单元的模块的配置范例的图示；以及
[0071]图42B是示出了用于共享信号处理单元的模块的另一配置范例的图示。
【具体实施方式】
[0072]本发明所解决的问题是观察到常规判定技术需要太多的存储容量来执行所有的判定以及按照预期的顺序执行实际的滤波处理，如下文所述。为了降低存储成本，根据本发明，对执行判定处理的块执行分割，从而使MIC存储需求降至最低。根据另一特定方面，还实现了降低的总计算复杂性。
[0073]图4示出了分别在对图1、图2和图3的描述当中提到的解块滤波器(例如，150、250、350a和350b)的应用的范例。这样的解块滤波器可以针对块边界处的每一样本判定是否要对其滤波。在要对其滤波时，应用低通滤波器。这一判定的目的在于仅对一些样本滤波，对于这些样本而言，上述【背景技术】部分描述的逐块处理中所应用的量化将导致块边界处产生大的信号变化。这一滤波的结果是边界处的平滑化信号。所述平滑化的信号对观察者带来的困扰要比分块伪影少。对于一些样本而言，边界处的大的信号变化属于要编码的原始信号，那么就不应对这些样本滤波，这样才能保持高频率，继而保持视觉清晰度。假设发生了错误的判定，那么图像要么会受到不必要的平滑化，要么还是会呈块状。
[0074]图5A示出了针对垂直边界所做的(是否要采用水平解块滤波器进行滤波的)判定，图5B示出了针对水平边界所做的(是否要采用垂直解块滤波器进行滤波的)判定。具体而言，图5A示出了要解码的当前块340以及该块的已经被解码的相邻块310、320和330。针对处于一排内的像素360执行判定。类似地，图5B示出了同一当前块340以及针对处于一列内的像素370执行的判定。
[0075]可以如下执行有关是否应用解块滤波器的判断，其与H.264/MPEG-4AVC类似。让我们来看一排的六个像素360，它们当中的前三个像素p2、pl、p0属于左边的相邻块A330，接下来的三个像素q0、ql和q2处于当前块B340，仍然如图5所示。排410示出了块A和B之间的边界。像素PO和qO分别是左侧邻块A和当前块B的处于彼此直接相邻的位置上的像素。例如，在满足下述条件时通过解块滤波器对像素PO和qO进行解块滤波:
[0076]| Po-Qo |〈 α Η264 (Ql3New) ?
[0077]|P1-P0| <β H264 (QPNew)，以及
[0078]|q1-q0|〈 β Η264[0079]其中，一般而言，β H264 (QPNew) < a H264 (QPNew)。这些条件旨在检查ρ0和qO之间的差异是否源自于分块伪影。它们对应于对块A和块B的每者内的以及它们之间的一阶导数的评估。
[0080]如果除了上面的三个条件之外如果还满足下述条件就对像素pi滤波。
[0081 ] I P2_Po I〈 β Η264 (QPnm).[0082]例如，如果除了上面的前三种条件之外还满足下述条件，那么对像素ql滤波:
[0083]Q2-Q0I < ^H264 (QPNew)-
[0084]这些条件分别对应于第一块内的一阶导数以及第二块内的一阶导数。在上述条件当中，QP表示指示所应用的量化的量的量化参数，β , α是标量常数。具体而言，QPnm是如下以应用于相应的第一和第二块A和B的量化参数(》\和QPbS基础导出的量化参数:
[0085]QPNew=(QPA+QPB+l)?l，
[0086]其中，“>>n”表示右移η位(在上面的公式中:一位)。
[0087]上面的条件对应于块内的一阶导数的评估。可以只对块的一个或多个选定的排执行判定，同时对所有的排360执行相应的像素滤波。图5中示出了在遵照HEVC的判定中涉及的排430的范例420。在排430的基础上执行有关是否要对整个块滤波的判定。
[0088]可以在ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的 JTC-VC 的 JCTVC-E603 文件8.6.1部分中找到解块滤波的另一个范例,可以在http:1l wftp 3.1TU.1nt/av-arch/jctvc-site免费获得该文件。
[0089]相应地，在HEVC中采用两排430判定是否要应用解块滤波以及如何应用解块滤波。在本说明书中通篇采用第一判定步骤Dl标示这一判定步骤。范例420采取了对第三(具有标引2)和第六(具有标引5)排的估算，以实现水平块化滤波的目的。具体而言，如下估算每一块内的二阶导数，由此获得度量dp和d,:
[0090]dp2= | p22-2.pl2+p021 dq2= | q22~2.ql2+q02
[0091]dp5= | p25-2.pl5+p05 dq5=|q25-2.ql5+q05
[0092]dp=dp2+dp5 dq=dq2+dq5,[0093]像素p属于块A，像素q属于块B。P或q后面的第一个数字表示列标引，接下来的处于下标中的数字表示在块内的行编号。在满足下述条件时启用对范例420中所示的所有八排的解块:
[0094]d=dp+dq< β (QP)。
[0095]如果不满足上面的条件，那么不应用解块。在启用了解块的情况下，在接下来的在本说明书中通篇表示为第二判定步骤D2的判定步骤中确定用于解块的滤波器。这一确定是以块A和B之间的一阶导数的估算为基础的。具体而言，对于每一排i而言(其中，i是处于O和7之间的整数)判定应用强低通滤波器还是弱低通滤波器。如果满足下述条件则选择强滤波器。
[0096]I PS1-POi I + I qS-qOi | < ( β (QP) ?3) Λ
[0097](1<(β (QP) ?2) Λ
[0098]I pO-qOi | < ((tc (QP).5+1) ?1)。
[0099]依照所述HEVC 模型，“强滤波器”采用 PSilPZi, Pli, POiiqOiiqIiiqZiiqSi 对样本 p2” Pli, POi, qOi, qli, 滤波，而“弱滤波器”则采用 p2” Pli, POi, qOi, qli, 对样本pUpODqOpqli滤波。在上述条件下，参数β和t。两者都是可以针对图像的片层等设置的量化参数QPe的函数。β和t。的值通常是采用查找表在QP的基础上导出的。
[0100]图6更详细地解释了依照H264/MPEG-4AVC (在HEVC软件模型HM4.0中实现的)的强滤波器操作和弱滤波器操作的示范性解决方案。
[0101]在图6A中，左手边的图示出了用于在强滤波器中对垂直边缘水平滤波的样本。图6A的右手边的图示出了受到滤波器修改的样本。从该图可以看出，在所给定的范例中，将由附图标记610表示的对应于与所述边界的两侧最为相邻的4个像素的样本用于滤波。实际受到修改的只是图6A的左手侧的图中通过620表示的从两侧与所述边界最为接近的那三个像素。实际上根据下述公式执行滤波。
[0102]p01 J=Clip ((p2j+2.plj+2.pOj+2.q0i+q2i+4) >>3)
[0103]pi1 J=Clip ((p2i+pli+pOi+qOi+2) >>2)
[0104]p21 J=Clip ((2.p3j+3.p2i+pli+pOi+qOi+4) >>3)
[0105]qO1 J=Clip ((q2j+2.qlj+2.qOj+2.p0i+p2i+4) >>3)
[0106]ql1 J=Clip ((q2i+qli+qOi+pOi+2) >>2)
[0107]q21 J=Clip ((2.q3j+3.q2i+qli+qOi+pOi+4) >>3)
[0108]函数Clip (X)的定义如下:
[0109]
【权利要求】
1.一种用于对图像像素块进行解块滤波的方法，包括如下步骤: 将被第一边界分开的第一和第二块中的每一个沿着垂直于所述第一边界的线分成至少两段，以及 判断是否对与所述第一和第二块的所述第一边界相邻的像素应用解块滤波器，其中 利用所述第一边界两侧的一对相邻段中的样本像素，针对所述一对相邻段单独进行所述判断，使得在所述判断中不使用属于其他段的像素，并且 将所述块分成段，使得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素进行解块而选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。
2.根据权利要求1所述的方法，其中所述判断步骤基于所述第一块的量化量以及所述第二块的量化量。
3.根据权利要求1或2所述的方法，还包括在单独判断对于所述一对段为肯定的情况下，从多个解块滤波器中选择要应用于所述一对相邻段的所有排的像素的解块滤波器的步骤，所述排垂直于所述第一边界。
4.根据权利要求3所述的方法，其中所述选择步骤包括如下步骤: 单独判定要为数量为N的所述排的每个所选择的解块滤波器，其中N至少为一，且N小于所述一对段中的总排数；以及 根据基于所述单独判定结果的预定规则，为所述一对段的所有排选择单个解块滤波器。
5.根据权利要求1到4中的任一项所述的方法，还包括在所述单独判断对于所述一对段为肯定的情况下，从多个解块滤波器中选择要应用于所述一对相邻段的所有排的像素的解块滤波器或判定不应用任何解块滤波器的步骤，所述排垂直于所述第一边界。
6.根据权利要求5所述的方法，其中所述选择或判定步骤包括如下步骤: 单独判定要为数量为N的所述排的每个选择解块滤波器或判定不应用任何解块滤波器，其中N至少为一，且N小于所述一对段中的总排数；以及 根据基于所述单独判定结果的预定规则，为所述一对段的所有排选择单个解块滤波器或判定不应用任何解块滤波器。
7.根据权利要求6所述的方法，其中所述预定规则定义如下:如果至少针对一排的单独判定结果是不应用解块滤波器，则不应用解块滤波器，并且否则，所述预定规则定义成从单独判定步骤获得的多个不同解块滤波器中选择需要最小复杂性处理工作的解块滤波器。
8.根据权利要求4，6，或7所述的方法，其中所述判断步骤基于所述选择和/或判定步骤所依据的同样N排的像素样本。
9.根据权利要求1-8中的任一项所述的方法，其中所述两个段具有相同大小。
10.根据权利要求9所述的方法，其中所述两个段的大小均为四排。
11.根据权利要求4和6到8中的任一项所述的方法，其中所述两个段的大小均为四排，且N等于二。
12.根据权利要求4所述的方法，其中N等于二并且所述预定规则定义如下:如果在针对执行所述单独判定的所述两排的所述单独判定中判定了强滤波器，为所述一对段的所有排选择强滤波器，否则定义成为所述一对段的所有排选择弱滤波器。
13.一种用于对包括多个像素的图像的当前块进行编码的方法，所述方法包括如下步骤: 压缩并重构所述当前块，以及 对所重构的块应用根据权利要求1到12中的任一项所述的所有步骤。
14.一种用于对包括多个像素的图像的编码当前块进行解码的方法，所述方法包括如下步骤: 重构所述编码当前块，以及 对所重构的块应用根据权利要求1到12中的任一项所述的所有步骤。
15.一种计算机程序产品，包括其上具有计算机可读程序代码的计算机可读介质，所述程序代码适于执行根据权利要求1到14中的任一项所述的方法。
16.一种用于对图像像素块进行解块滤波的设备，包括: 分割单元，用于将被第一边界分开的第一和第二块的每个沿着垂直于所述第一边界的线分成至少两段，以及 判断单元，用于判断是否对与所述第一和第二块的所述第一边界相邻的像素应用解块滤波器，其中 所述判断单元利用所述第一边界两侧的一对相邻段中的样本像素，针对所述一对相邻段单独进行判断，使得在所述判断中不使用属于其他段的像素，并且 所述分割单元将所述块分成段，使`得一块的段包括判断是否应用解块滤波器和/或为与所述块与第三块之间的第二边界相邻的像素进行解块而选择解块滤波器所需的块的全部像素，其中所述第二边界垂直于所述第一边界。
17.根据权利要求16所述的设备，其中所述判断基于所述第一块的量化量以及所述第二块的量化量。
18.根据权利要求16或17所述的设备，还包括: 选择单元，用于在所述判断单元进行的单独判断对于所述一对段为肯定的情况下，从多个解块滤波器中选择要应用于所述一对相邻段的所有排的像素的解块滤波器，所述排垂直于所述第一边界，以及 滤波单元，用于应用所选的解块滤波器。
19.根据权利要求18所述的设备，其中所述选择单元包括判定部分，用于单独判定要为数量为N的所述排的每个所选择的解块滤波器，其中N至少为一，且N小于所述一对段中的总排数；并且 根据基于所述单独判定结果的预定规则，为所述一对段的所有排选择单个解块滤波器。
20.根据权利要求16到19中的任一项所述的设备，还包括: 滤波判定单元，用于在所述判断单元进行的单独判断对于所述一对段为肯定的情况下，从多个解块滤波器中选择要应用于所述一对相邻段的所有排的像素的解块滤波器或判定不应用任何解块滤波器，所述排垂直于所述第一边界，以及滤波单元，用于应用所选的解块滤波器。
21.根据权利要求20所述的设备，其中所述滤波判定单元单独判定要为数量为N的所述排的每个选择解块滤波器或判定不应用任何解块滤波器，其中N至少为一，且N小于所述一对段中的总排数；并且 根据基于所述单独判定结果的预定规则，为所述一对段的所有排选择单个解块滤波器或判定不应用任何解块滤波器。
22.根据权利要求21所述的设备，其中所述预定规则定义如下:如果至少针对一排的单独判定结果是不应用解块滤波器，则不应用解块滤波器，并且否则，所述预定规则定义成从所述单独判定步骤获得的多个不同解块滤波器中选择需要最小复杂性处理工作的解块滤波器。
23.根据权利要求19所述的设备，其中所述判断单元进行的所述判断基于所述判定部分进行的所述判定所依据的相同N排的像素样本。
24.根据权利要求21或22所述的设备，其中所述判断单元进行的所述判断基于所述滤波判定单元进行的所述判定所依据的相同N排的像素样本。
25.根据权利要求16到24中的任一项所述的设备，其中所述两个段具有相同大小。
26.根据权利要求25所述的设备，其中所述两个段的大小均为四排。
27.根据权利要求21到24中的任一项所述的设备，其中所述两个段的大小均为四排，且N等于二。
28.根据权利要求21所述的设备，其中N等于二且预定规则定义如下:如果所述滤波判定单元在针对执行单独判定的所述两排的所述单独判定中都判定了强滤波器，为所述一对段的所有排选择强滤波器 ，否则定义成为所述一对段的所有排选择弱滤波器。
29.一种用于对包括多个像素的图像的当前块进行编码的设备，所述设备包括: 具有解码器的编码器，用于压缩和重构所述当前块，以及 根据权利要求16到28中的任一项所述的用于对所重构的块进行解块滤波的设备。
30.一种用于对包括多个像素的图像的编码当前块进行解码的设备，所述设备包括: 用于重构编码当前块的解码器，以及 根据权利要求16到28中的任一项所述的用于对所重构的块进行解块滤波的设备。
31.一种用于体现根据权利要求16到30中的任一项所述的设备的集成电路，还包括用于存储将要进行滤波的像素的存储器。
【文档编号】H04N19/117GK103765889SQ201280042730
【公开日】2014年4月30日 申请日期:2012年9月6日 优先权日:2011年9月9日
【发明者】M·纳罗施克, S·埃森利克, T·韦迪 申请人:松下电器产业株式会社