图像处理装置和图像处理方法与流程

文档序号:26013349发布日期:2021-07-23 21:34阅读:144来源:国知局
图像处理装置和图像处理方法与流程

本技术涉及图像处理装置和图像处理方法,并且特别地涉及例如通过其可以提供各种df(去块滤波器)的图像处理装置和图像处理方法。



背景技术:

在作为图像编码的一种标准的h.265/hevc中,将去块滤波器应用于解码图像中的块边界,以防止由于在编码期间生成的块失真引起的图像质量的劣化。在h.265/hevc中,两种类型的去块滤波器(即,弱滤波器和强滤波器)可以应用于亮度分量,而仅一种类型的去块滤波器(即,弱滤波器)可以应用于色差分量。

另外,为了获得比h.265/hevc的编码效率高的编码效率,作为itu-t和iso/iec的通用标准化组织的jvet(联合视频专家组)正在促进作为下一代的图像编码方法的vvc(通用视频编码)的标准化(例如,参见非专利文献1)。

在vvc的标准化中,非专利文献1提出了一种方法,在该方法中,将可应用于色差分量的去块滤波器改变为两种类型,如可应用于亮度分量的去块滤波器中那样地,使得也可以将强滤波器应用于色差分量。

引用列表

非专利文献

非专利文献1:jianlechen,yanye,seunghwankim:algorithmdescriptionforversatilevideocodingandtestmodel2(vtm2),jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1111thmeeting,ljubljana,si,10-18july2018。



技术实现要素:

技术问题

关于df,已经要求提供各种类型的df。

鉴于上述情况而做出了本技术,并且本技术可以提供各种df。

[问题的解决方案]

根据本技术的第一图像处理装置包括:解码部,其通过对比特流执行解码处理来生成解码图像;和滤波部,其将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于已经由解码部进行解码处理的解码图像中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性。

根据本技术的第一图像处理方法包括:通过对比特流执行解码处理来生成解码图像;以及将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于已经由解码部进行解码处理的解码图像中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性。

在根据本技术的第一图像处理装置和第一图像处理方法中,通过比特流的解码处理来生成解码图像。然后,将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于解码图像中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性。

根据本技术的第二图像处理装置包括:滤波部,其将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于在图像的编码处理期间通过本地解码处理(localdecodingprocess)获得的本地解码图像(localdecodedimage)中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性;和编码部,其通过使用已经由滤波部应用了第二色差滤波器的本地解码图像来对图像执行编码处理。

根据本技术的第二图像处理方法包括:将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于在图像的编码处理期间通过本地解码处理获得的本地解码图像中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性;以及通过使用已经应用了第二色差滤波器的本地解码图像来对图像执行编码处理。

在根据本技术的第二图像处理装置和第二图像处理方法中,在图像的编码处理期间,将削减的第二亮度滤波器或削减的第一亮度滤波器作为比第一色差滤波器具有更高的滤波器强度的第二色差滤波器应用于通过本地解码处理获得的本地解码图像中的位于块边界周围的色差分量的像素,削减的第二亮度滤波器相对于比第一亮度滤波器具有更高的滤波器强度的第二亮度滤波器具有削减的滤波器特性,削减的第一亮度滤波器相对于第一亮度滤波器具有削减的滤波器特性。此外,通过使用已经应用了第二色差滤波器的本地解码图像来对图像执行编码处理。

要注意的是,可以通过使计算机执行程序来实现图像处理装置。程序可以通过被记录在记录介质中或者通过经由传输介质传输来提供。

附图说明

图1是用于说明hevc中的bs的计算的表。

图2是用于说明非专利文献1中的bs的计算的表。

图3是描绘两个块、即、其间设置有垂直块边界bb的彼此相邻的块bp和块bq中的色差分量(u分量和v分量)的像素的一个示例的说明图。

图4是用于说明根据本公开的一个实施方式中的bs的计算的表。

图5是描绘作为根据实施方式的图像处理装置的一个方面的图像编码装置10的一个配置示例的框图。

图6是描绘作为根据实施方式的图像处理装置的一个方面的图像解码装置60的一个配置示例的框图。

图7是描绘根据实施方式的去块滤波器26的一个详细配置示例的框图。

图8是描绘由边界强度计算部261计算出的bs的示例的表。

图9是描绘由根据实施方式的去块滤波器26执行的处理流程的一个示例的流程图。

图10是用于说明由边界强度计算部261执行的边界强度计算处理的流程的流程图。

图11是描绘作为新df的df300的配置示例的框图。

图12是描绘将由df300处理的解码图像的配置示例的图。

图13是用于说明df300的处理的流程图。

图14是用于说明hevc中的df的图。

图15是用于说明新df的图。

图16是描绘块边界中的色差分量的像素的示例的图。

图17是示出在采用基于滤波器y1的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

图18是示出在采用基于滤波器of的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

图19是示出在采用基于滤波器y2的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

图20是描绘用于将滤波器nc1应用于解码图像的应用方法的示例的图。

图21是描绘用于将滤波器nc1应用于解码图像的应用方法的其他示例的图。

图22是描绘计算机的一个实施方式的配置示例的框图。

具体实施方式

在下文中,将参照附图详细说明根据本公开的优选实施方式。要注意的是,贯穿本说明书和附图,具有基本相同的功能配置的部件由相同的附图标记表示,并且将省略其重复说明。

另外,本说明书中公开的范围不限于实施方式。在提交本申请时已经公知的以下参考文献ref1至ref3中的公开内容也通过引用并入本说明书中。即,以下参考文献ref1至ref3中的公开内容也用作关于支持要求的确定的依据。例如,即使在参考文件ref2中描述的四叉树块结构或在参考文件ref3中描述的qtbt(四叉树加二叉树)块结构没有在本发明的详细描述中直接定义,该结构也被认为包括在本公开的范围内并且满足权利要求书的支持要求。这同样适用于诸如解析、语法和语义的技术术语。即使这些技术术语没有在本发明的详细描述中直接定义,这些技术术语也被认为包括在本公开的范围内并且满足权利要求书的支持要求。

ref1:recommendationitu-th.264(04/2017)"advancedvideocodingforgenericaudiovisualservices",april2017

ref2:recommendationitu-th.265,(12/2016)"highefficiencyvideocoding",december2016

ref3:j.chen,e.alshina,g.j.sullivan,j.-r.ohm,j.boyce,"algorithmdescriptionofjointexplorationtestmodel(jem7)",jvet-g1001,jointvideoexplorationteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg117thmeeting:torino,it,13-21july2017

此外,在下文中,除非另外说明,否则在以下说明中,使用yuv420格式信号作为示例,亮度分量表示为y分量,并且色差分量表示为u分量和v分量。然而,以下描述的技术可应用于任何其他格式(例如,yuv444格式和yuv422格式)的信号。另外,亮度分量和色差分量的表示根据目标信号而不同。例如,以下描述的技术也可以应用于其中亮度分量和色差分量由ycbcr表示的信号。

此外,在本说明书中使用的以下术语定义如下。

术语“色差相关参数”是指与色差有关的任何参数。例如,色差相关参数可以包括关于色差分量的变换系数的信息,例如包括在每个tu(变换单元)中的色差分量的变换系数和指示每个tu中的色差分量的有效系数(非零变换系数)的存在/不存在的标志。然而,术语“色差相关参数”不限于这些示例,并且可以指代与色差有关的各种参数。

术语“去块滤波器的应用的必要性/不必要性”是指是否应用去块滤波器。例如,确定去块滤波器的应用的必要性/不必要性是指确定是否应用去块滤波器。另外,去块滤波器的应用的必要性/不必要性的确定结果指代通过确定是否应用去块滤波器而获得的结果。例如,确定结果可以是指示应当应用去块滤波器的信息,或者指示不需要应用去块滤波器的信息。

大块确定是指关于确定目标块是否大的确定。在本说明书中,确定目标块可以是其间设置有块边界的块,如稍后所述的那样。此外,可以通过将块的尺寸(块尺寸)与预定阈值进行比较来做出大块确定。要注意的是,稍后将说明进行大块确定的情况以及大块确定的细节。

<1.概述>

[1-1.现有方法]

在诸如hevc的现有图像编码方法中,关于去块滤波器的处理涉及应用必要性/不必要性确定处理、滤波器强度确定处理以及滤波处理(滤波器应用处理)。在下文中,将通过示例的方式使用hevc中的去块滤波器来给出关于与去块滤波器有关的现有处理的说明。要注意的是,下面将主要说明用于解码图像(包括编码期间通过本地解码获得的图像)中的色差分量的去块滤波器,并且将适当地省略关于用于解码图像中的亮度分量的去块滤波器的说明。

在关于去块滤波器的处理中,首先执行应用必要性/不必要性确定处理。在应用必要性/不必要性确定处理中,确定是否对解码图像中的块边界应用去块滤波器。要注意的是,在hevc中,基于在参考文献ref2中描述的四叉树块结构的块结构来指定块边界。具体地,在hevc中,在作为最小块单元的8×8像素块(样本网格)的边缘中,满足以下条件的边缘被指定为块边界:边缘是tu(变换单元)边界或pu(预测单元)边界中的至少任意一个。

基于块边界的边界强度(在下文中,在某些情况下称为“bs”)执行应用必要性/不必要性确定处理。在hevc中,针对指定块边界的每4行计算bs。在块边界是垂直边界的情况下,行对应于与垂直边界正交的行。在块边界是水平边界的情况下,行对应于与水平边界正交的列。

图1是用于说明hevc中的bs的计算的表。如图1所描绘的,在hevc中,基于条件a、条件b1和条件b2为真还是假(是否满足)来计算bs,条件a是关于帧内预测的条件,条件b1是关于y分量的有效系数的条件并且条件b2是关于运动向量(mv)和参考图片的条件。根据图1,在条件a为真的情况下,bs被设置为2。此外,在条件a为假而条件b1或条件b2中的至少任意一个为真的情况下,bs被设置为1。此外,在条件a、条件b1和条件b2均为假的情况下,bs被设置为0。要注意的是,图1中描绘的条件a、条件b1和条件b2如下。

·条件a:关于包括作为bs计算目标的行中的最上一行中的像素并且其间设置有块边界的cu(编码单元),cu中的至少任意一个中的编码模式为帧内预测模式。

·条件b1:关于两个tu,tu中的至少任意一个中存在y分量的有效系数,上述两个tu之间的tu边界是块边界,上述两个tu包括作为bs计算目标的行中的最上一行,并且其间设置有块边界。

·条件b2:在两个cu之间,mv差的绝对值为一个像素或更大,或者cu在运动补偿的参考图片方面不同或者在mv的数目方面不同,上述两个cu包括作为bs计算目标的行中的最上一行中的像素并且其间设置有块边界。

此外,在hevc中,用于解码图像中的亮度分量(y分量)的去块滤波器可应用于具有以以上提及的方式设置的为1或更大的bs的块边界。因此,在hevc中,对解码图像中的亮度分量的去块滤波器的应用的必要性/不必要性确定的确定结果可以根据条件b1和条件b2是否满足而改变。

要注意的是,在hevc中,准备具有高滤波器强度的强滤波器和具有低滤波器强度的弱滤波器作为用于解码图像中的亮度分量的去块滤波器。在bs为1或更大的情况下,执行关于用于解码图像中的亮度分量的去块滤波器的处理,使得在基于附加条件的附加应用必要性/不必要性确定处理之后进行滤波器强度确定处理以及滤波处理。此处省略对在参考文献ref2中详细描述的这些处理的说明。

同时,在hevc中,用于解码图像中的色差分量(u分量和v分量)的去块滤波器仅应用于bs为2的块边界。因此,如图1所描绘的,在hevc中,是否满足条件b1和条件b2不影响关于对解码图像中的色差分量的去块滤波器的应用的必要性/不必要性的确定。

另外,在hevc中,仅使用弱滤波器作为可应用于解码图像中的色差分量的去块滤波器。因此,对于解码图像中的色差分量,滤波器强度确定处理是不必要的。在bs为2的情况下,将弱滤波器应用于解码图像中的色差分量。

同时,如参考文献ref3中所述,与hevc中基于四叉树块结构的块划分相比,在vvc中,可以通过基于qtbt块结构的块划分来选择尺寸大得多的块。在平坦区域(其中像素值的变化小的区域)中块的尺寸大的情况下,很可能产生块失真。因此,在其中可以选择尺寸大得多的块的vvc中,在仅使用弱滤波器作为可应用于解码图像中的色差分量的去块滤波器的情况下,如在hevc中一样,存在色差分量中留有显著的块失真的可能性。鉴于这种情况,需要对用于解码图像中的色差分量的去块滤波器进行改进。

例如,非专利文献1提出了一种方法,在该方法中,如可应用于亮度分量的去块滤波器一样,将可应用于色差分量的去块滤波器的类型的数目更改为两种,使得也可以将强滤波器应用于色差分量。此外,非专利文献1表示不仅在bs为2的情况下而且在bs为1的情况下,也可以将去块滤波器应用于解码图像中的色差分量。

图2是用于说明非专利文献1中的bs的计算的表。如图2所描绘的,在非专利文献1中,基于上述条件a、条件b1和条件b2来计算bs,如在图2中所描绘的hevc的示例中那样。然而,如先前说明的,在非专利文献1中,不仅在bs为2的情况下而且在bs为1的情况下,可以将去块滤波器应用于解码图像中的色差分量。因此,如图2所描绘的,在非专利文献1中,对解码图像中的色差分量(u分量和v分量)的去块滤波器的应用的必要性/不必要性的确定结果可以根据是否满足条件b1和条件b2而不同。

在下文中,参照图3,将给出关于可应用于非专利文献1中的解码图像中的色差分量的去块滤波器的应用必要性/不必要性确定处理、滤波器强度确定处理以及滤波处理的说明。图3是描绘两个块(即,彼此相邻的块bp和块bq,其中,块bp与块bq之间设置有垂直块边界bb)中的色差分量(u分量和v分量)的像素的一个示例的说明图。此处,使用垂直边界作为示例,但是,当然,该说明也可以应用于水平边界。此外,在图3所描绘的示例中,块bp和块bq各自包括4×4色差分量,但是该说明也可以应用于任何其他尺寸的块。

在图3中的示例中,块bp中的色差分量的像素由符号pi,j表示,其中i表示列索引,而j表示行索引。从最接近于块边界bb的列按照顺序(图3中从左侧到右侧)将列索引i编号为0、1、2和3。从上侧向下侧按照顺序将行索引j编号为0、1、2和3。块bq中的色差分量的像素由符号qk,j表示,其中,k表示列索引,而j表示行索引。从最靠近于块边界bb的列(图3中从右侧到左侧),按照顺序将列索引k编号为0、1、2和3。

在以参照图2说明的方式计算出bs之后,通过使用以下三个条件来执行应用必要性/不必要性确定处理和滤波器强度确定处理。在yuv420格式中,针对色差分量的每2行执行这些处理。例如,在图3所描绘的示例中,分别进行关于行l11和行l12的确定以及关于行l21和行l22的确定。要注意的是,使用确定目标行中的像素进行基于行的确定。在下文中,将通过示例的方式使用行l11和行l12给出对应用必要性/不必要性确定处理、滤波器强度确定处理和滤波处理的说明。

首先,在应用必要性/不必要性确定处理中,顺序确定以下条件c91是否为真以及以下条件c92是否为真。

·条件c91:(bs==2||bs==1&&(block_width>16&&block_height>16))

·条件c92:d<beta

要注意的是,在上述条件c91中,block_width和block_height分别表示与要确定的块边界有关的每个块(例如,cu)的水平尺寸和垂直尺寸,如图3中所描绘的。

另外,在条件c92中,变量beta是边缘确定阈值。根据量化参数给出变量beta的初始值。此外,变量beta的值可以由用户给出的切片报头(sliceheader)中的参数指定。此外,在条件c92中,变量d由以下表达式(1)至(7)计算。

dp0=abs(p2,0-2*p1,0+p0,0)…(1)

dp1=abs(p2,1-2*p1,1+p0,1)…(2)

dq0=abs(q2,0-2*q1,0+q0,0)…(3)

dq1=abs(q2,1-2*q1,1+q0,1)…(4)

dpq0=dp0+dq0…(5)

dpq1=dp1+dq1…(6)

d=dpq0+dpq1…(7)

除了要参考的行的差异之外,条件c92与在hevc中要应用于亮度分量的去块滤波器的应用必要性/不必要性确定处理中使用的条件(下文中,称为针对亮度分量的条件)类似。在针对亮度分量的条件中,参考第一行中的像素和第四行中的像素,并且每4行进行确定。另一方面,在yuv420格式中,色差分量(u分量和v分量)的像素密度为亮度分量的像素密度的一半高。因此,在条件c92中,参考作为第一行的行l11中的像素和作为第二行的行l12中的像素,并且每2行进行确定。

在条件c91或条件c92中的至少任意一个为假的情况下,不将去块滤波器应用于解码图像中的色差分量。另一方面,在条件c91和条件c92两者为真的情况下,处理进行至滤波器强度确定处理。

在滤波器强度确定处理中,确定以下条件c93是否为真,以便确定应用强滤波器还是弱滤波器。

·条件c93:(block_width>16&&block_height>16)

要注意的是,与条件c91中的block_width和block_height类似,条件c93中的block_width和block_height分别表示与要确定的块边界有关的每个块的水平尺寸和垂直尺寸。

在条件c93为真的情况下,在目标块边界上将强滤波器应用于解码图像中的色差分量。在条件c93为假的情况下,在目标块边界上将弱滤波器应用于解码图像中的色差分量。

在非专利文献1中,应用于色差分量的强滤波器与在hevc中应用于亮度分量的强滤波器类似。强滤波器由以下表达式(8)至(13)表示。

p0′=clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)…(8)

p1′=clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)…(9)

p2′=clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3)…(10)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2p0+2q0+2q1+q2+4)>>3)…(11)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)…(12)

q2′=clip3(q2-2*tc,q2+2*tc,(p0+q0+q+3*q2+2*q3+4)>>3)…(13)

在表达式(8)至(13)中,pi和qk各自表示未经历去块滤波器的应用的色差分量的像素值,并且pi′和qk′各自表示未经历去块滤波器的应用的色差分量的像素值。此处,i和k各自分别表示上述块bp和块bq中的列索引。在表达式(8)至(13)中省略了行索引。此外,tc表示根据量化参数给出的参数。clip3(a,b,c)表示将值c限幅在a≤c≤b的范围内的限幅处理(clippingprocess)。

由于在非专利文献1中应用于色差分量的弱滤波器与在hevc中应用于色差分量的弱滤波器相同,因此此处省略对该弱滤波器的说明。

到目前为止,已经说明了关于在非专利文献1中可应用于解码图像中的色差分量的去块滤波器的处理。利用上述方法,根据条件,强滤波器不仅可以应用于亮度分量而且还可以应用于色差分量。

然而,如先前参照图2说明的,在非专利文献1中用于计算bs的条件b1取决于亮度分量(y分量)的有效系数的存在/不存在,如在hevc中一样。即使在其他条件下,也不使用关于色差分量(u分量和v分量)的信息。然而,亮度分量的空间模式不一定与每个色差分量的空间模式匹配。因此,如果根据基于关于亮度分量的信息的条件来确定对色差分量的去块滤波器的应用的必要性/不必要性,则去块滤波器不能被适当地应用,而不管是否发生块失真。这可能导致块失真。

此外,在非专利文献1中为了使得用于应用必要性/不必要性确定处理的条件c91在bs为1的情况下为真,与要确定的块边界有关的每个块的水平尺寸和垂直尺寸需要各自大于16。然而,如参考文献ref3中所述,在vvc中块(例如,cu)的形状不限于正方形形状,并且可以是非正方形的矩形。此外,有可能不是取决于与块边界的方向相同的方向上的尺寸而是取决于与块边界正交的方向上的尺寸而产生块失真。因此,在一定的块形状的情况下,在非专利文献1中,在应用必要性/不必要性确定处理期间,不适当地应用去块滤波器,使得存在留有块失真的可能性。

另外,非专利文献1中的强滤波器与在hevc中应用的强滤波器类似。另一方面,如先前说明的,与hevc中的划分块相比,在vvc中可以选择大尺寸的块。因此,即使应用了非专利文献1的强滤波器,也存在没有充分减小块失真的可能性。

[1-2.根据本公开的一个实施方式的概述]

为此,鉴于上述情况,已经做出了本公开的一个实施方式。根据本公开的一个实施方式的图像处理装置基于使用与解码图像中的色差相关的色差相关参数计算出的边界强度(bs),来执行确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性的应用必要性/不必要性确定处理。在下文中,将说明本公开的一个实施方式的概述。

图4是用于说明根据本实施方式的bs的计算的表。如图4所描绘的,基于条件a、条件b1-y、条件b1-u、条件b1-v和条件b2来进行计算,条件a是关于帧内预测的条件,条件b1-y是关于y分量的有效系数的存在/不存在的条件,条件b1-u是关于u分量的有效系数的存在/不存在的条件,条件b1-v是关于v分量的有效系数的存在/不存在的条件,并且条件b2是关于mv和参考图片的条件。

参照图4,在条件a为真的情况下,bs被设置为16。此外,在条件a为假而条件b2为真的情况下,bs被设置为1。在条件a和条件b2为假而条件b1-y、条件b1-u或条件b1-v中的任何一个为真的情况下,bs被设置为2与14之间的值。另外,在条件a、条件b1-y、条件b1-u、条件b1-v和条件b2均为假的情况下,bs被设置为0。要注意的是,图4中的条件a、条件b1-y和条件b2分别与已经参照图1说明的条件a、条件b1和条件b2相同。此外,稍后将详细说明根据本实施方式的bs计算方法。

此外,图4中所描绘的条件b1-u和条件b1-v分别对应于为了进行确定而使用u分量的有效系数的存在/不存在和v分量的有效系数的存在/不存在而不是条件b1-y中的y分量的有效系数的存在/不存在的条件。条件b1-u和条件b1-v表示如下。要注意的是,可以基于指示每个tu中色差分量的有效系数的存在/不存在的标志(色差相关参数的一个示例)来确定条件b1-u是真还是假以及条件b1-v是真还是假。

·条件b1-u:块边界是tu边界,并且对于各自包括作为bs计算目标的行中的最上面的行的像素并且其间设置有块边界的两个tu,在这两个tu的至少任意一个中存在u分量的有效系数。

·条件b1-v:块边界是tu边界,并且对于各自包括作为bs计算目标的行中的最上面的行的像素并且其间设置有块边界的两个tu,在这两个tu的至少任意一个中存在v分量的有效系数。

在本实施方式中,基于使用上述与色差相关的条件b1-u和条件b1-v而计算出的bs,来确定对解码图像中的色差分量的去块滤波器的应用的必要性/不必要性。利用该配置,可以将去块滤波器适当地应用于色差分量。

此外,在本实施方式中,如稍后说明的,还基于与块边界正交的方向上的尺寸,来确定对解码图像中的色差分量的去块滤波器的应用的必要性/不必要性。利用该配置,即使在每个块的形状是非正方形的矩形的情况下,也可以更适当地应用去块滤波器。

另外,在本实施方式中,可以将比非专利文献1的强滤波器具有更高强度的强滤波器(具有强的低通特性)应用于解码图像中的色差分量,如稍后说明的。此外,在本实施方式中,为了更适当地应用这种强滤波器,通过与非专利文献1的滤波器强度确定处理中的方法不同的方法来确定滤波器强度。采用这种配置,可以进一步减小块失真。

到目前为止,已经说明了根据本公开的一个实施方式的概述。在下文中,将按顺序详细地说明根据本实施方式的用于实现上述效果的配置和操作。

<2.装置的示意性配置>

首先,将使用图5和图6说明作为可应用本说明书中公开的技术的一个示例的装置的示意性配置。本说明书中公开的技术可应用于例如图像编码装置和图像解码装置。

[2-1.图像编码装置]

图5是描绘图像编码装置10的一个配置示例的框图,该图像编码装置10是根据本公开的一个实施方式的图像处理装置的一个方面。

根据图5,图像编码装置10包括重排缓冲器11、控制部12、减法部13、正交变换部14、量化部15、无损编码部16、存储缓冲器17、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器30、交换器(switch)31、模式设置部32、帧内预测部40和帧间预测部50。

根据关于编码处理的gop(图片组)结构,重排缓冲器11重排要编码的一系列图像(原始图像)。重排缓冲器11将重排的图像输出至控制部12、减法部13、帧内预测部40和帧间预测部50。

控制部12基于外部或预先指定的处理单元块尺寸将图像划分为处理单元块。通过由控制部12划分为块,可以将四叉树块结构或qtbt(四叉树加二叉树)块结构的cu形成为处理单元。另外,控制部12例如基于rdo(率失真优化)来决定用于编码处理的参数。将所决定的参数提供给各个部。

减法部13计算指示从重排缓冲器11输入的图像与预测图像之间的差的预测误差,并且将计算出的预测误差输出至正交变换部14。

正交变换部14对设置在每个区域中的一个或更多个变换块(tu)中的每一个执行正交变换处理。正交变换可以是例如离散余弦变换或离散正弦变换。更具体地,正交变换部14针对变换块中的每一个,将从减法部13输入的预测误差从空间区域的图像信号变换为频率区域的变换系数。然后,正交变换部14将变换系数输出至量化部15。

此外,正交变换部14可以基于通过正交变换获得的变换系数来生成标志,每个标志指示在每个tu中相应分量(y分量、u分量和v分量)的有效系数的存在/不存在,并且正交变换部14可以将标志输出至无损编码部16和环路滤波器24。要注意的是,由正交变换部14生成的用于指示每个tu中u分量的有效系数的存在/不存在的标志以及由正交变换部14生成的用于指示每个tu中v分量的有效系数的存在/不存在的标志包括在色差相关参数中。

从正交变换部14输入的变换系数和来自速率控制部18的速率控制信号(稍后说明)被提供至量化部15。量化部15对变换系数进行量化并将经量化的变换系数(下文中,也称为量化数据)输出至无损编码部16和逆量化部21。此外,通过基于来自速率控制部18的速率控制信号切换量化比例(quantizationscale),量化部15改变要输入至无损编码部16的量化数据的比特率。

无损编码部16通过对从量化部15输入的量化数据进行编码来生成编码流。此外,无损编码部16对要由解码器参考的各种参数进行编码,并将编码后的参数插入到编码流中。要由无损编码部16编码的参数可以包括由控制部12决定的上述参数。

此外,要由无损编码部16编码的参数可以包括色差相关参数。要由无损编码部16编码的色差相关参数包括从正交变换部14输入的指示每个tu中u分量的有效系数的存在/不存在的标志和指示每个tu中v分量的有效系数的存在/不存在的标志,如先前说明的那样。无损编码部16将所生成的编码流输出至存储缓冲器17。

通过使用诸如半导体存储器的存储介质,存储缓冲器17临时存储从无损编码部16输入的编码流。然后,存储缓冲器17以与传输路径的频带对应的速率将所存储的编码流输出至传输部(例如,至外围装置的连接接口或通信接口)(未示出)。

速率控制部18监控存储缓冲器17的空闲容量(freecapacity)。此外,速率控制部18根据存储缓冲器17的空闲容量生成速率控制信号,并将所生成的速率控制信号输出至量化部15。例如,当存储缓冲器17的空闲容量小时,速率控制部18生成用于降低量化数据的比特率的速率控制信号。例如,当存储缓冲器17的空闲容量足够大时,速率控制部18生成用于增加量化数据的比特率的速率控制信号。

逆量化部21、逆正交变换部22和加法部23构成本地解码器。本地解码器具有将编码数据本地解码为解码图像的作用。

逆量化部21通过使用与由量化部15所使用的参数相同的量化参数来对量化数据进行逆量化来恢复变换系数。然后,逆量化部21将所恢复的变换系数输出至逆正交变换部22。

逆正交变换部22通过对从逆量化部21输入的变换系数执行逆正交变换处理来恢复预测误差。然后,逆正交变换部22将恢复的预测误差输出至加法部23。

加法部23通过将从逆正交变换部22输入的恢复的预测误差与从帧内预测部40或帧间预测部50输入的预测图像相加来生成解码图像(重构图像)。然后,加法部23将所生成的解码图像输出至环路滤波器24和帧存储器30。

为了改善解码图像的图像质量,环路滤波器24应用一系列环路滤波。例如,如在参考文献ref3中的“2.5.环路滤波”中描述的,可以按照双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器的顺序应用这四种环路滤波器。例如,图5中描绘的环路滤波器24包括双边滤波器25、去块滤波器26a、自适应偏移滤波器27和自适应环路滤波器28,使得可以顺序地应用这四种环路滤波器。然而,环路滤波器24不限于该配置。可以适当选择应用这四种环路滤波器中的哪一种以及应用环路滤波器的顺序。要注意的是,稍后将详细说明去块滤波器26a。

环路滤波器24将已经应用了环路滤波器的解码图像输出至帧存储器30。

通过使用存储介质,帧存储器30存储从加法部23输入的未滤波的解码图像以及从环路滤波器24输入的、已经经历了环路滤波器的应用的解码图像。

交换器31从帧存储器30读出未滤波的解码图像以用于帧内预测,并且将所读取的解码图像作为参考图像供应至帧内预测部40。此外,交换器31从帧存储器30读出经滤波的解码图像以用于帧间预测,并且将所读取的解码图像作为参考图像供应至帧间预测部50。

模式设置部32基于从帧内预测部40输入的成本与从帧间预测部50输入的成本之间的比较,针对每个块设置预测编码模式。针对已经为其设置了帧内预测模式的块,模式设置部32将由帧内预测部40生成的预测图像输出至减法部13和加法部23,并且将关于帧内预测的信息输出至无损编码部16。针对已经为其设置了帧间预测模式的块,模式设置部32将由帧间预测部50生成的预测图像输出至减法部13和加法部23,并且将关于帧间预测的信息输出至无损编码部16。

帧内预测部40基于原始图像和解码图像执行帧内预测处理。例如,对于搜索范围中包括的预测模式候选中的每一个,帧内预测部40基于预测误差和所生成的代码量来评估成本。接下来,帧内预测部40选择成本最小的预测模式作为最佳预测模式。另外,帧内预测部40根据所选择的最佳预测模式生成预测图像。然后,帧内预测部40将包括指示最佳预测模式的预测模式信息的与帧内预测有关的信息、相应的成本和预测图像输出至模式设置部32。

帧间预测部50基于原始图像和解码图像执行帧间预测处理(运动补偿)。例如,对于特定搜索范围中包括的预测模式候选中的每一个,帧间预测部50基于预测误差和所生成的代码量来评估成本。接下来,帧间预测部50选择成本变为最小的预测模式(即压缩率变为最大的预测模式)作为最佳预测模式。另外,帧间预测部50根据所选择的最佳预测模式生成预测图像。然后,帧间预测部50将与帧间预测有关的信息、相应的成本和预测图像输出至模式设置部32。

[2-2.图像解码装置]

接下来,将说明通过上述编码获得的数据的解码。图6是描绘图像解码装置60的一个配置示例的框图,该图像解码装置60是根据本实施方式的图像处理装置的一个方面。参照图6,图像解码装置60包括存储缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、重排缓冲器72、d/a(数字至模拟)转换部73、帧存储器80、选择器81a和81b、帧内预测部90和帧间预测部100。

通过使用存储介质,存储缓冲器61临时存储经由传输部(例如,至外围装置的连接接口或通信接口)(未示出)从图像编码装置10接收的编码流。

无损解码部62通过根据在编码期间使用的编码方案对从存储缓冲器61输入的编码流进行解码来生成量化数据。无损解码部62将所生成的量化数据输出至逆量化部63。

此外,无损解码部62解析来自编码流的各种类型的参数。要由无损解码部62解析的参数例如可以包括关于帧内预测的信息和关于帧间预测的信息。无损解码部62将关于帧内预测的信息输出至帧内预测部90。此外,无损解码部62将关于帧间预测的信息输出至帧间预测部100。

另外,要由无损解码部62解析的参数可以包括色差相关参数。无损解码部62将色差相关参数输出至环路滤波器66。要注意的是,要由无损解码部62解析的色差相关参数例如包括以上提及的指示每个tu中u分量的有效系数的存在/不存在的标志和以上提及的指示每个tu中v分量的有效系数的存在/不存在的标志。

逆量化部63通过使用与编码期间使用的步骤相同的量化步骤对从无损解码部62输入的量化数据进行逆量化来恢复变换系数。逆量化部63将恢复的变换系数输出至逆正交变换部64。

逆正交变换部64通过根据编码期间使用的正交变换方案对从逆量化部63输入的变换系数执行逆正交变换来生成预测误差。逆正交变换部64将所生成的预测误差输出至加法部65。

加法部65通过将从逆正交变换部64输入的预测误差与从选择器71b输入的预测图像相加来生成解码图像。然后,加法部65将所生成的解码图像输出至环路滤波器66和帧存储器80。

为了改善解码图像的图像质量,环路滤波器66应用一系列环路滤波器。例如,如参考文献ref3的“2.5.环路滤波”中描述的,可以按照双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器的顺序应用这四种环路滤波器。例如,图6中描绘的环路滤波器66包括双边滤波器67、去块滤波器26b、自适应偏移滤波器69和自适应环路滤波器70,使得可以顺序地应用这四种环路滤波器。然而,环路滤波器66不限于该配置。可以适当地选择应用这四种环路滤波器中的哪一种以及应用环路滤波器的顺序。要注意的是,稍后将详细说明去块滤波器26b。

环路滤波器66将已经应用了环路滤波器的解码图像输出至重排缓冲器72和帧存储器80。

重排缓冲器72通过对从环路滤波器66输入的图像进行重排来生成时间序列图像的组。然后,重排缓冲器72将所生成的图像输出至d/a转换部73。

d/a转换部73将从重排缓冲器72输入的数字图像转换为模拟图像信号。然后,d/a转换部73例如通过将模拟图像信号输出至与图像解码装置60连接的显示器(未示出)来使显示器显示图像。

通过使用存储介质,帧存储器80存储从加法部65输入的未滤波的解码图像以及从环路滤波器66输入的、已经经历了环路滤波器的应用的解码图像。

对于图像中的每个块,选择器81a根据由无损解码部62获取的预测模式信息,将来自帧存储器80的图像的输出目的地切换到帧内预测部90或帧间预测部100。例如,在指定帧内预测模式的情况下,选择器81a将从帧存储器80提供的未滤波的解码图像作为参考图像输出至帧内预测部90。此外,在指定帧间预测模式的情况下,选择器81a将经滤波的解码图像作为参考图像输出至帧内预测部100。

选择器81b根据由无损解码部62获取的预测模式信息,将要提供给加法部65的预测图像的输出源切换到帧内预测部90或帧间预测部100。例如,在指定帧内预测模式的情况下,选择器81b将从帧内预测部90输出的预测图像供应至加法部65。此外,在指定帧间预测模式的情况下,选择器81b将从帧间预测部100输出的预测图像供应至加法部65。

帧内预测部90通过基于从无损解码部62输入的与帧内预测有关的信息和来自帧存储器80的参考图像来执行帧内预测处理,来生成预测图像。然后,帧内预测部90将所生成的预测图像输出至选择器81b。

帧间预测部100通过基于从无损解码部62输入的与帧间预测有关的信息和来自帧存储器80的参考图像来执行帧间预测处理,来生成预测图像。然后,帧间预测部100将所生成的预测图像输出至选择器81b。

<3.去块滤波器>

[3-1.去块滤波器的配置示例]

在本章中,将说明图5中描绘的图像编码装置10的去块滤波器26a的一个配置示例以及图6中描绘的图像解码装置60的去块滤波器26b的一个配置示例。要注意的是,去块滤波器26a的配置可以与去块滤波器26b的配置相同。因此,在下面的说明中,除非两者之间特别需要区分,否则去块滤波器26a和去块滤波器26b统称为去块滤波器26。

如先前说明的,根据本实施方式的去块滤波器26基于使用与色差有关的色差相关参数计算出的bs,来确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性。另外,如先前说明的,根据本实施方式的去块滤波器26还基于与块边界正交的方向上的尺寸,来确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性。另外,如先前说明的,根据本实施方式的去块滤波器26可以将比非专利文献1的强滤波器具有更高强度(具有强的低通特性)的强滤波器应用于解码图像中的色差分量。此外,为了适当地应用本实施方式中的这种强滤波器,通过与非专利文献1中的滤波器强度确定处理中的方法不同的方法来确定滤波器强度。要注意的是,在下文中,将说明关于主要应用于解码图像中的色差分量的去块滤波器的去块滤波器26的功能,并且将适当省略关于应用于亮度分量的去块滤波器的去块滤波器26的功能。

图7是描绘根据本实施方式的去块滤波器26的一个详细配置示例的框图。根据图7,去块滤波器26包括边界强度计算部261、确定部263和滤波部269。

(1)边界强度计算部

边界强度计算部261通过使用与色差有关的色差相关参数来计算解码图像中的块边界的bs(边界强度)。在yuv420格式信号为目标的情况下,边界强度计算部261针对解码图像中的亮度分量的每4行、即解码图像中的色差分量的每2行、计算bs。

在本实施方式中,边界强度计算部261用来计算bs的色差相关参数包括指示在每个tu中u分量的有效系数的存在/不存在的标志和指示在每个tu中v分量的有效系数的存在/不存在的标志。如图7中所描绘的,指示在每个tu中相应分量(y分量、u分量和v分量)的有效系数的存在/不存在的标志从正交变换部14或无损解码部62输入至边界强度计算部261。

边界强度计算部261基于已经参照图4说明的条件a、条件b1-y、条件b1-u、条件b1-v和条件b2来计算bs。即,边界强度计算部261基于设置在作为bs计算目标的块边界的两侧上的tu中是否存在色差分量的有效系数来计算bs。此外,根据本实施方式的边界强度计算部261可以通过分别确定设置在作为bs计算目标的块边界的两侧上的tu中是否存在y分量、u分量和v分量的相应有效系数来计算bs。通过该配置,与如先前参照图2说明的基于是否存在y分量的有效系数来计算bs的情况相比,计算适合于u分量和v分量的bs。因此,可以更适当地应用去块滤波器。

将参照图8更详细地说明边界强度计算部261处的bs的计算。图8是描绘由边界强度计算部261计算出的bs的一个示例的表。由边界强度计算部261计算出的bs可以由多个比特来表示。在图8所描绘的示例中,bs由5比特表示。另外,可以计算bs,使得多个比特包括与y分量对应的至少一个比特、与u分量对应的至少一个比特以及与v分量对应的至少一个比特。利用这种配置,当基于bs确定去块滤波器的应用的必要性/不必要性时(稍后说明),确定部263针对每个确定目标分量参考bs的对应的比特。因此,可以容易地进行确定。

另外,边界强度计算部261可以计算bs,使得bs中包括的比特对应于相应条件是真还是假。在图8所描绘的示例中,计算bs,使得与为真的条件对应的比特被设置为1,而与为假的条件对应的比特被设置为0。此外,在图8所描绘的示例中,bs由5比特表示,bs的第五比特对应于关于帧内预测的条件a,bs的第四比特对应于关于y分量的有效系数的条件b1-y,bs的第三比特对应于关于u分量的有效系数的条件b1-u,bs的第二比特对应于关于v分量的有效系数的条件b1-v,并且bs的第一比特对应于关于mv和参考图片的条件b2。然而,bs的比特与条件之间的对应关系不限于图8所描绘的示例。例如,可以改变bs的第四比特、第三比特和第二比特、即分别与y分量、u分量和v分量对应的比特的顺序。

(2)确定部

如图7所描绘的,确定部263包括:应用必要性/不必要性确定部265,其确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性;以及滤波器强度确定部267,其确定要应用于解码图像中的色差分量的去块滤波器的滤波器强度。在下文中,将顺序地说明应用必要性/不必要性确定部265的功能和滤波器强度确定部267的功能。

要注意的是,下面将主要说明关于对解码图像中的色差分量应用去块滤波器的必要性/不必要性的确定以及关于滤波器强度的确定,并且将适当省略针对亮度分量的确定的说明。另外,根据本实施方式的应用必要性/不必要性确定部265和滤波器强度确定部267分别针对u分量和v分量中的每一个单独确定去块滤波器的必要性/不必要性和滤波器强度。

应用必要性/不必要性确定部265针对解码图像的块边界,基于由边界强度计算部261以以上提及的方式计算出的bs(边界强度)来确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性。

此外,应用必要性/不必要性确定部265还可以基于设置在块边界的两侧上的块的块尺寸来确定对解码图像中的色差分量应用去块滤波器的必要性/不必要性。要注意的是,在下文中,基于这样的块尺寸的确定可以被称为大块确定。另外,应用必要性/不必要性确定部265不必然需要对所有块边界进行大块确定,并且可以基于bs来决定是否进行大块确定。要注意的是,稍后将说明进行大块确定的情况和大块确定的细节。

根据本实施方式的应用必要性/不必要性确定部265通过确定下面的条件c1以及确定下面的条件c2来确定应用去块滤波器的必要性/不必要性。

·条件c1:(bs==16||(条件c11&&条件c12))

·条件c2:d<beta

给出条件c1中的条件c11以确定是否进行大块确定。条件c12是关于大块确定的。在bs为16的情况下,即,在满足关于帧内预测的条件a的情况下,不需要大块确定,并且可以将条件c1确定为真。因此,在bs具有与帧间预测有关的值的情况下,用于确定是否进行大块确定的条件c11可以为真。要注意的是,通过如上所述的那样,在bs为16的情况下跳过大块确定以及确定条件c1为真,可以减少用于大块确定的处理量。

另外,即使在条件c1中的条件c11为假的情况下,也不进行条件c12的确定(大块确定),并且将条件c1确定为假。利用该配置,可以减少用于大块确定的处理量。

在关于每个分量的有效系数的条件或者以上提及的条件b2为真的情况下,条件c11可以为真。即,条件c11可以根据确定目标分量而变化。例如,在u分量是确定目标的情况下,下面的条件c11-u可以用作条件c11,并且在v分量是确定目标的情况下,下面的条件c11-v可以用作条件c11。

·条件c11-u:(bs&0×04||bs&0×01)

·条件c11-v:(bs&0×02||bs&0×01)

此外,应用必要性/不必要性确定部265基于设置在块边界的两侧上的每个块的、在与块边界正交的方向上的尺寸,来进行大块确定。利用该配置,在块形状是非正方形的矩形的情况下,可以基于在与块边界正交的方向上的尺寸来确定去块滤波器的应用的必要性/不必要性。该尺寸可能影响块失真的发生。

另外,应用必要性/不必要性确定部265可以基于设置在块边界的两侧上的每个块的、在与块边界正交的方向上的尺寸是否大于预定阈值,来进行大块确定。对于大块确定中使用的阈值没有任何限制。例如,可以将阈值设置为16。在与块边界正交的方向上的尺寸小的情况下,特别是在尺寸不大于16的情况下,块噪声几乎不可见。因此,利用这种配置,可以避免去块滤波器的不必要的应用。例如,关于大块确定的条件c12可以如下定义。

·条件c12:

(edge_ver&&block_width>16)||(edge_hor&&block_height>16)

要注意的是,在条件c12中,edge_ver指示作为确定目标的块边界是垂直边界,并且edge_hor指示作为确定目标的块边界是水平边界。

另外,由于条件c2与以上提及的条件c92相同,因此此处省略对条件c2的说明。要注意的是,在条件c1为真的情况下,进行条件c2的确定。在条件c1为假的情况下,确定不应用去块滤波器而不需要条件c2的确定。条件c2的确定涉及用于通过以上提及的表达式(1)至(7)计算变量d的处理,使得处理量大于用于条件c1的确定的处理量。因此,当条件c2的确定跟随在条件c1的确定之后时,可以减少处理量。

此外,在按以上提及的方式基于条件c1和条件c2确定去块滤波器的应用的必要性/不必要性之后,滤波器强度确定部267进一步确定要应用于解码图像中的色差分量的去块滤波器的滤波器强度。可以在本实施方式中应用的去块滤波器可以被分为两种类型,即,具有较低强度的弱滤波器和具有较高强度的强滤波器,如稍后说明的。稍后将说明的滤波部269根据由滤波器强度确定部267确定的滤波器强度来应用弱滤波器或强滤波器中的任一者。

在确定了去块滤波器的应用的情况下,滤波器强度确定部267确定滤波器强度。由于滤波器强度的确定跟随在去块滤波器的应用的必要性/不必要性的确定之后,因此可以减少滤波器强度的确定中所涉及的处理。

另外,滤波器强度确定部267基于块边界周围的像素中的色差分量的波形来确定滤波器强度。在下文中,将说明基于波形的确定。滤波器强度确定部267基于以下基于波形的条件c3来确定滤波器强度。

·条件c3:(条件c31&&条件c32&&c33)

·条件c31:|p3-p0|+|q3-q0|<(beta>>3)

·条件c32:|p2-2*p1+p0|+|q2-2*q1+q0|<(beta>>2)

·条件c33:|p0-q0|<((tc*5+1)>>1)

对于位于块边界周围的像素中的包括在两行中的像素,滤波器强度确定部267进行条件c3的确定。针对每行确定在c3中使用的条件c31、条件c32和条件c33。要注意的是,上面已经说明了条件c31、条件c32和条件c33中的pi、qk、pi′、qk′、beta和tc,因此此处省略其说明。

使用每行中包括的像素来确定条件c31、条件c32和条件c33。更具体地,条件c31与每行中包括的像素的色差分量的、在块中的平坦度有关。另外,条件c32与每行中包括的像素的色差分量的、在块中的连续性的确定有关。此外,条件c33与每行中包括的像素的色差分量的、在块之间的间隙(差异)有关,并且更具体地,条件c33是用于通过使用与块边界相邻的像素的值确定块之间的间隙的条件。

在条件c31为真的情况下,在每个块中,色差分量的波形的平坦度高。另外,在条件c32为真的情况下,在每个块中,色差分量的波形的连续性高。此外,在条件c32为真的情况下,色差分量的波形在块边界处具有大的间隙。

因此,在条件c31、条件c32和条件c33均被确定为真的情况下,条件c3被确定为真。此外,滤波器强度确定部267针对每行进行条件c3的确定。然而,如以上说明的,针对每2行确定滤波器强度。即,确定滤波器强度,使得在针对两个连续的行条件c3均为真的情况下,将强滤波器应用于这两个行,并且在针对两个连续的行条件c3均为假的情况下,将弱滤波器应用于这两个行。

(3)滤波部

滤波部269基于关于由应用必要性/不必要性确定部265进行的去块滤波器的应用的确定结果,将去块滤波器应用于位于块边界周围的像素的色差分量。此外,如以上说明的,滤波部269根据由滤波器强度确定部267确定的滤波器强度采用弱滤波器或强滤波器作为去块滤波器。

根据本实施方式的滤波部269将其应用于色差分量的弱滤波器可以与例如上述非专利文献1中或hevc中应用于解码图像中的色差分量的弱滤波器相同。然而,本实施方式中应用于色差分量的强滤波器可以与非专利文献1中应用于色差分量的强滤波器(hevc中应用于亮度分量的强滤波器)不同。在下文中,将说明本实施方式中应用于色差分量的强滤波器的示例。

本实施方式中应用于色差分量的强滤波器的系数在强滤波器的应用目标范围的中心位置处可以为2,并且在任何其他位置处可以为1。另外,滤波部269可以将强滤波器的应用目标范围设置为每一侧上从块边界起的三个像素的范围,并且可以将每一侧上从应用目标范围的中心位置起的三个像素设置为参考像素,并且可以将强滤波器应用于应用目标范围中包括的像素的色差分量。例如,其应用目标范围的中心位置在p0处的强滤波器通过以下表达式(14)来表示。

p0′=clip3(p0-w*tc,p0+w*tc,((p3+p2+p1+2*p0+q0+q1+q2+4)>>3))…(14)

在表达式(14)中,w表示可以适当地设置的权重。例如,可以将w设置为1或2。如上所述,clip3(a,b,c)表示将值c限幅在a≤c≤b的范围内的限幅处理。

当应用这种强滤波器时,可以应用比非专利文献1中应用于色差分量的强滤波器更强的去块滤波器。

在强滤波器的应用目标范围的中心位置在从块边界起的第二像素或第三像素处的情况下,与块边界相隔五个或更多个像素的像素包括在参考像素中。然而,与块边界相隔五个或更多个像素的像素不用于关于滤波器强度的确定,并且因此在某些情况下不适合作为参考像素使用。因此,滤波部269可以填充与块边界相隔的第四像素的像素值,并且替代与块边界相隔五个或更多个像素的像素,使用该像素值作为参考像素的像素值。

例如,其应用目标范围的中心位置被设置在p1处的强滤波器通过以下表达式(15)来表示。

p1′=clip3(p1-w*tc,p1+w*tc,((p4+p3+p2+2*p1+p0+q0+q1+4)>>3))

=clip3(p1-w*tc,p1+w*tc,((p3+p3+p2+2*p1+p0+q0+q1+4)>>3))

=clip3(p1-w*tc,p1+w*tc,((2*p3+p2+2*p1+p0+q0+q1+4)>>3))…(15)

类似地,其应用目标范围的中心位置被设置在p2处的强滤波器由以下表达式(16)来表示。

p2′=clip3(p2-w*tc,p2+w*tc,((p5+p4+p3+2*p2+p1+p0+q0+4)>>3))

=clip3(p2-w*tc,p2+w*tc,((p3+p3+p3+2*p2+p1+p0+q0+4)>>3))

=clip3(p2-w*tc,p2+w*tc,((3*p3+2*p2+p1+p0+q0+4)>>3))…(16)

此外,类似地,其应用目标范围的中心位置分别被设置在q0至q3处的强滤波器分别由以下表达式(17)至(19)表示。

q0′=clip3(q0-w*tc,q0+w*tc,((p2+p1+p0+2*q0+q1+q2+q3+4)>>3))…(17)

q1′=clip3(q1-w*tc,q1+w*tc,((p1+p0+q0+2*q1+q2+2*q3+4)>>3))…(18)

q2′=clip3(q2-w*tc,q2+w*tc,((p0+q0+q1+2*q2+3*q3+4)>>3))…(19)

[3-2.处理的流程]

上面已经说明了根据本实施方式的去块滤波器26的配置示例。接下来,将说明由根据本实施方式的去块滤波器26执行的处理的流程。图9是描绘由根据本实施方式的去块滤波器26执行的处理的流程的一个示例的流程图。要注意的是,在下文中,在由去块滤波器26执行的处理中,将说明与本实施方式的特征有关的处理,而将适当地省略其余处理的说明。

首先,由边界强度计算部261计算bs(边界强度)(s10)。此处,将参照图10更详细地说明bs计算方法。图10是用于说明由边界强度计算部261执行的边界强度计算处理(s10)的流程的流程图。

首先,边界强度计算部261将bs初始化为0(s102)。接下来,边界强度计算部261确定作为关于帧内预测的条件的条件a是真还是假(s104)。在条件a为真的情况下(在s104处为“是”),将bs设置为16(s106)。

另一方面,在条件a为假的情况下(在s104处为“否”),边界强度计算部261确定作为关于运动向量(mv)和参考图片的条件的条件b2为真还是假(s108)。在条件b2为真的情况下(在s108处为“是”),将bs设置为1(s110)。

另一方面,在条件b2为假的情况下(在s108处为“否”),边界强度计算部261确定作为关于y分量的有效系数的存在/不存在的条件的条件b1-y是真还是假(s112)。在条件b1-y为真的情况下(在s112处为“是”),将8添加至bs(s114),并且然后,处理进行至步骤s116。另一方面,在条件b1-y为假的情况下(在s112处为“否”),处理直接进行至步骤s116。

在步骤s116处,边界强度计算部261确定作为关于u分量的有效系数的存在/不存在的条件的条件b1-u是真还是假。在条件b1-u为真的情况下(在s116处为“是”),将4添加至bs(s118),并且然后,处理进行至步骤s120。另一方面,在条件b1-u为假的情况下(在s116处为“否”),处理直接进行至步骤s120。

在步骤s120处,边界强度计算部261确定作为关于v分量的有效系数的存在/不存在的条件的条件b1-v是真还是假。在条件b1-v为真的情况下(在s120处为“是”),将2添加至bs(s122),并且然后,边界强度计算处理(s10)结束。在条件b1-v为假的情况下(在s120处为“否”),边界强度计算处理(s10)直接结束。

返回参照图9,将继续对由去块滤波器26执行的处理的流程的说明。在步骤s20处,确定部263的应用必要性/不必要性确定部265确定上述条件c1是真还是假。在条件c1为假的情况下(在s20处为“否”),处理结束。

另一方面,在条件c1为真的情况下(在s20处为“是”),应用必要性/不必要性确定部265确定上述条件c2为真还是假(s30)。在条件c2为假的情况下(在s30处为“否”),处理结束。

另一方面,在条件c2为真的情况下(在s30处为“是”),确定部263的滤波器强度确定部267通过确定上述条件c3为真还是假来确定滤波器强度(s40)。在条件c3为真的情况下(在s40处为“是”),滤波部269将强滤波器应用于位于块边界周围的像素的色差分量(s50)。另一方面,在条件c3为假的情况下(在s40处为“否”),滤波部269将弱滤波器应用于位于块边界周围的像素的色差分量(s60)。

上面已经说明了由根据本实施方式的去块滤波器26执行的处理的流程。要注意的是,在yuv420格式中,例如,针对解码图像中的亮度分量的每4行,即,针对解码图像中的色差分量的每2行,执行已经参照图9和图10说明的上述处理。

<新df>

在下文中,将说明新df(去块滤波器)。

要注意的是,与本技术有关的文献包括作为常规技术的以下文献,并且通过引用被并入本说明书中。

[jvet-l0072(version1-date2018-09-2500:23:50)]

k.andersson,z.zhang,r.sjoberg:ce11:longdeblockingfiltersforluma(ce11.1.1)andforbothlumaandchroma(ce11.1.9),jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1112thmeeting,macao,cn,3-12oct.2018.

[jvet-l0224(version1-date2018-09-2501:59:53)]

anandmeherkotra,biaowang,semihesenlik,hangao,zhijiezhao,jianlechen:ce11.1.8:longertaplumadeblockingfilter,jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1112thmeeting,macao,cn,3-12oct.2018.

[jvet-l0403r1(version3-date2018-10-0405:13:00)]

dmytrorusanovskyy,martakarczewicz:ce11:testonlongdeblockingfilteringfromjvet-j0021/jvet-k0334(ce11.1.4).jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1112thmeeting,macao,cn,3-12oct.2018.

[jvet-l0405r1(version2-date2018-10-0307:14:31)]

weijiazhu,kiranmisra,philcowan,andrewsegall:ce11:deblockingmodificationsforlargecusbothlumaandchroma(test11.1.7aandce11.1.7b).jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1112thmeeting,macao,cn,3-120ct.2018.

[jvet-l0327-v1(version1-date2018-09-2502:33:13)]

masaruikeda,teruhikosuzuki:ce11:long-tapdeblockingfilterforlumaandchroma(ce11.1.6).jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1112thmeeting,macao,cn,3-12oct.2018.

此外,本说明书中公开的范围不限于实施方式,并且在提交本申请时已经公知的参考文献ref4中的公开内容也通过引用并入本说明书中。即,参考文献ref4中的公开内容也用作用于关于支持要求的确定的依据。

ref4:[jvet-k1002-v2(version3-date2018-10-0216:37:03)]

jianlechen,yanye,seunghwankim:algorithmdescriptionforversatilevideocodingandtestmodel2(vtm2),jointvideoexpertsteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg1111thmeeting,ljubljana,si,10-18july2018.

vvc中用于编码的块尺寸是大的(为avc中8倍大,为hevc中2倍大),使得块边界的劣化变得明显。

在具有大的块尺寸的大块中产生强噪声的情况下,hevc中的df(去块滤波器)不能总是完全消除块噪声。

另外,在vvc中,在帧内情况下,可以针对亮度分量和色差分量选择不同的块划分。因此,可以针对亮度分量和色差分量单独优化块尺寸。已知的是,当针对色差分量采用大块并且针对亮度分量采用小的块尺寸的小块时,编码效率提高。因此,针对色差分量的大块的df的重要性正在增加。

在大块中,块噪声(块失真)可能变大。为了适当地消除大的块噪声,需要具有高滤波器强度(即,使图像更加模糊)的df。

使图像更加模糊的滤波器是长抽头滤波器(抽头的数目大)。因此,为了适当地消除大的块噪声,需要采用长抽头滤波器作为要应用于亮度分量和色差分量的df。

在采用长抽头滤波器作为df的情况下,例如,需要在块边界处,即,如果以光栅扫描顺序(rasterscanorder)应用df,则在水平边界处,针对滤波处理中所需的像素准备行缓冲器。例如,在与水平边界正交的垂直方向上设置的8个像素用于由df进行的滤波处理的情况下,当在水平边界的上侧的块中包括这8个像素中的4个像素时,需要用于存储4行中的像素(的像素值)的行缓冲器。

在对df设置大容量行缓冲器的情况下,成本变高。当鉴于成本而减小行缓冲器的容量时,不能采用长抽头滤波器作为df。在这种情况下,由于df的性能劣化,因此不能充分消除块噪声。

因此,期望通过平衡成本和性能来决定df的规格。要注意的是,在avc和hevc中,在不考虑行缓冲器容量的情况下对df进行设计。

为此,本技术提出了新的df(在下文中,也称为新df)。

要注意的是,除非另外提及,否则以下说明是关于色差分量的。将省略关于亮度分量的说明。

图11是描绘作为新df的df300的配置示例的框图。

df300可以用作df26。

要注意的是,图11中与图7中的df26的部分对应的部分由相同的附图标记表示。在下文中,将适当地省略对这些部分的说明。

在图11中,df300包括边界强度计算部261、确定部310、滤波部320、行缓冲器330和控制部340。

因此,df300和图7中的df26具有包括边界强度计算部261的相同特征。然而,df300与df26的不同之处在于以下特征:替代确定部263和滤波部269,df300包括确定部310和滤波部320。此外,df300与df26的不同在于以下特征:df300另外包括控制部340。

要注意的是,与df300一样,图7所描绘的df26包括行缓冲器(其在图7中未描绘出)。然而,df300的行缓冲器330的容量可以与df26的行缓冲器的容量不同。

确定部310包括应用必要性/不必要性确定部311和滤波器强度确定部312。

来自边界强度计算部261的bs被供应至应用必要性/不必要性确定部311。此外,来自df300的外部(图5中的加法部23或图6中的加法部65)或行缓冲器330的解码图像被供应至应用必要性/不必要性确定部311。

以与图7中的应用必要性/不必要性确定部265类似的方式,应用必要性/不必要性确定部311通过使用来自边界强度计算部261的bs以及还有来自df300的外部或行缓冲器330的解码图像,来执行应用必要性/不必要性确定处理。

要注意的是,应用必要性/不必要性确定部311基于bs进行确定在块边界上存在步差(stepdifference)的可能性是否高的步差确定。例如,在bs大于0(不小于1)的情况下,应用必要性/不必要性确定部311确定在块边界上存在步差的可能性高。然后,在通过步差确定确定在块边界上存在步差的可能性高之后,应用必要性/不必要性确定部311进行确定是否将df应用于位于块边界周围的色差分量的像素的滤波器应用确定。由应用必要性/不必要性确定部311执行的应用必要性/不必要性确定处理包括上述步差确定和以上的滤波器应用确定。

应用必要性/不必要性确定部311将滤波器应用确定的确定结果作为应用必要性/不必要性确定处理的确定结果供应至滤波器强度确定部312。

不仅来自应用必要性/不必要性确定部311的滤波器应用确定的确定结果,而且来自df300的外部或行缓冲器330的解码图像也被供应至滤波器强度确定部312。

在由应用必要性/不必要性确定部311进行的滤波器应用确定指示要应用df的情况下,滤波器强度确定部312通过使用来自df300的外部或行缓冲器330的解码图像,以与图7中的滤波器强度确定部267类似的方式,来进行确定要应用于解码图像中的色差分量的df的滤波器强度的滤波器强度确定,即,确定要应用于解码图像中的色差分量的df的滤波器类型的滤波器类型确定。然后,滤波器强度确定部321将滤波器类型确定的确定结果供应至滤波部320。

在新df中,例如,要应用于解码图像中的色差分量的df的滤波器类型包括两种类型,即,具有(比强滤波器)更低的滤波器强度的弱滤波器以及具有(比弱滤波器)更高的滤波器强度的强滤波器。

不仅来自滤波器强度确定部312的滤波器类型确定的确定结果,而且来自df300的外部或行缓冲器330的解码图像也被供应至滤波部320。

滤波部320以与图7中的滤波部269类似的方式,执行将由来自滤波器强度确定部312的滤波器类型确定的确定结果所指示的强滤波器或弱滤波器应用于解码图像的滤波处理。即,滤波部320通过使用位于目标像素周围的色差分量的像素执行作为目标像素的滤波处理的计算,该目标像素是来自df300的外部或行缓冲器330的解码图像中的要滤波的色差分量的像素。此处,在滤波处理中使用的像素也称为滤波器构成像素。

滤波部320输出通过目标像素的滤波处理获得的(色差分量的)像素作为经滤波的像素(构成经历滤波处理的经滤波的图像的像素)。

解码图像从df300的外部提供给行缓冲器330。行缓冲器330适当地存储来自df300的外部的解码图像中的色差分量的像素(解码图像中的像素的色差分量)。要注意的是,行缓冲器330具有用于存储预定数目的行的色差分量的像素的存储容量,使得在将像素存储到该存储容量之后,行缓冲器330通过重写最旧的像素来存储新像素。

控制部340控制构成df300的块。

要注意的是,在本实施方式中,假设df300例如以光栅扫描顺序处理解码图像。在例如从左侧到右侧重复进行如下操作的情况下:不是以光栅扫描顺序而是以沿垂直方向向下的方式处理解码图像,以下说明中的水平方向(横向)(左右)和垂直方向(纵向)(上下)反转(交换)。

图12是描绘由df300处理的解码图像的配置示例的图。

构成解码图像的块包括ctu。ctu包括诸如pu或tu的块。

图11中的df300的强度计算部261、确定部310和滤波部320可以执行例如基于ctu的处理。在这种情况下,提供了能够存储ctu的未示出的缓冲器(在下文中也称为内部缓冲器)。

在此,在块边界中,将ctu的边界称为ctu边界,并且此外,将除了ctu边界以外的块边界称为内部边界。另外,假设将要由df300处理的ctu称为关注ctu。

强度计算部261、确定部310和滤波部320在内部缓冲器中存储关注ctu中包括的行中的像素,并且处理关注ctu。

对于关注ctu中的沿水平方向的内部边界,设置在内部边界上方和下方的块中的像素存储在内部缓冲器中,并且因此不需要存储在行缓冲器330中。

另外,对于关注ctu的水平方向上的上部ctu边界,该ctu边界下方的块中的像素存储在内部缓冲器中,并且因此也不需要存储在行缓冲器330中。然而,水平方向上的上部ctu边界上的块中的像素是关注ctu中的上部的行中的ctu中的像素,并且因此,不存储在内部缓冲器中。因此,需要将关注ctu的水平方向上的上部ctu边界的上侧的块中的像素存储在行缓冲器330中。

上面已经说明了需要行缓冲器330的原因。

图13是用于说明由图11中的df300执行的处理的流程图。

在df300中,行缓冲器330适当地存储从df300的外部提供的解码图像中的色差分量的像素。

然后,在步骤s211处,边界强度计算部261以上述方式计算bs,并且将该bs供应至应用必要性/不必要性确定部311。然后,处理进行至步骤s212。

在步骤s212处,应用必要性/不必要性确定部311进行确定bs是否大于0的步差确定。

在作为步骤s212处的步差确定的结果确定bs不大于0的情况下,即,在块边界上不可能存在任何步差的情况下,处理结束。因此,在这种情况下,df300的滤波处理不应用于解码图像。

另一方面,在作为步骤s212处的步差确定的结果确定bs大于0的情况下,即,在块边界上可能存在步差的情况下,处理进行至步骤s213。

在步骤s213处,应用必要性/不必要性确定部311进行确定是否对位于块边界周围的色差分量的像素应用df的滤波器应用确定。

在作为步骤s213处的滤波器应用确定的结果而确定避免应用df(不应用)的情况下,处理结束。

另一方面,在作为步骤s213处的滤波器应用确定的结果而确定应用df的情况下,处理进行至步骤s214。

在步骤s214处,滤波器强度确定部312执行滤波器类型确定。然后,处理进行至步骤s215。

在步骤s215处,滤波部320执行滤波处理,以将由在步骤s214处的滤波器类型确定的确定结果指示的强滤波器或弱滤波器应用于解码图像。然后,处理结束。

图14是用于说明hevc中的df的图。

hevc中的df包括滤波器y1、y2和c1。

滤波器y1是用于亮度分量的强滤波器。滤波器y1执行对作为df目标的亮度分量的滤波处理。

滤波器y2是用于亮度分量的弱滤波器。滤波器y2执行对作为df目标的亮度分量的滤波处理。

滤波器c1是用于色差分量的滤波器。滤波器c1执行对作为df目标的色差分量的滤波处理。

在hevc中,仅滤波器c1执行对作为df目标的色差分量的滤波处理。滤波器c1未被分类为强滤波器或弱滤波器。

图15是用于说明新df的图。

新df包括滤波器ny1、ny2、nc1和nc2。

滤波器ny1是用于亮度分量的强滤波器。滤波器ny1执行对作为df目标的亮度分量的滤波处理。例如,可以采用滤波器y1作为滤波器ny1。

滤波器ny2是用于亮度分量的弱滤波器。滤波器ny2执行对作为df目标的亮度分量的滤波处理。例如,可以采用滤波器y2作为滤波器ny2。

滤波器nc1是用于色差分量的强滤波器(其具有比滤波器nc2高的滤波器强度)。滤波器nc1执行对作为df目标的色差分量的滤波处理。例如,可以采用滤波器y1、y2或基于稍后说明的原始滤波器of的滤波器(滤波器y1、y2或of本身、或通过削减滤波器y1、y2或of的滤波器特性获得的滤波器)作为滤波器nc1。

滤波器nc2是用于色差分量的弱滤波器(其具有比滤波器nc1低的滤波器强度)。滤波器nc2执行对作为df目标的色差分量的滤波处理。例如,可以采用滤波器c1作为滤波器nc2。

图16是描绘块边界的色差分量的像素的示例的图。

要注意的是,图16中的左右方向指示解码图像的上下方向,并且图16中的上下方向指示色差分量(的强度)。因此,由图16中的垂直直线指示的块边界是解码图像中的水平边界(沿水平方向的边界)。

如上所述,将基于将df应用于与其间设置有水平边界的垂直地相邻的块bp和bq中的像素的情况来给出新df的说明。在这种情况下,应用于块bp和bq中的像素的df是沿垂直方向应用的垂直滤波器。

可以采用新df或任何其他滤波器作为要应用于设置在垂直边界的左侧和右侧的相邻块中的像素的df。在下文中,将省略对将df应用于设置在垂直边界的左侧和右侧的相邻块中的像素的情况的说明。

在图16中,水平边界的上侧的块bp中的像素和水平边界的下侧的块bq中的像素分别由pi,j和qk,j表示,如图3中那样。然而,在图16中,pi,j和qk,j中的索引j被省略。像素pi(pi,j)也称为p侧像素。像素qk(qk,j)也称为q侧像素。

在水平边界的上侧和下侧的相邻块bp和bq中,|p3-p0|+|q3-q0|表示块bp和bq之间的平坦度。此外,|p2-2*p1+p0|+|q2-2*q1+q0|表示块bp和bq之间的连续性,并且|p0-q0|表示块bp和bq之间的间隙。

在下文中,关于新df,将说明用作要应用于色差分量的强滤波器的滤波器nc1的变型。

<采用基于滤波器y1的滤波器作为滤波器nc1的情况>

图17是描绘在采用基于滤波器y1的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

基于滤波器y1的滤波器nc1是y1正常滤波器、y1-1非对称滤波器、y1-1对称滤波器、y1-2非对称滤波器或y1-2对称滤波器。

在采用y1正常滤波器作为滤波器nc1的情况下,在滤波器应用确定期间,进行与确定是否将df应用于hevc中的亮度分量的亮度分量应用确定类似的确定。

在亮度分量应用确定中,确定是否满足表达式(20)。在满足表达式(20)的情况下,确定应用df。在不满足表达式(20)的情况下,确定避免应用df。

dp0=abs(p2,0-2*p1,0+p0,0)

dp3=abs(p2,3-2*p1,3+p0,3)

dq0=abs(q2,0-2*q1,0+q0,0)

dq3=abs(q2,3-2*q1,3+q0,3)

d=dp0+dp3+dq0+dq3<beta

…(20)

在表达式(20)中,abs(a)表示a的绝对值。

在亮度分量应用确定中,使用块bp和bq中的第一行中的亮度分量的像素pi,j和qk,j以及第四行中的亮度分量的像素pi,j和qk,j来确定是否满足表达式(20)。在满足表达式(20)的情况下,确定将df应用于块bp和bq中的第四行中的像素。

在此,当假设使用yuv420格式的解码图像作为df目标时,在块bp和bq中包括两行色差分量的像素。在采用y1正常滤波器的情况下的滤波器应用确定中,使用两行色差分量的像素中的一行色差分量的像素来确定是否满足表达式(20)。即,例如,将表达式(20)中的dp3和dq3设置为0,从而确定是否满足表达式(20)。

在这种情况下,在滤波器应用确定中使用的色差分量的像素(在下文中也称为应用确定像素)是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用以存储3个像素、即在水平边界的上侧的块bp中的像素p0至p2、的行的色差分量的容量(在下文中也称为3个像素行的容量)作为行缓冲器330的存储容量。

在采用y1正常滤波器作为滤波器nc1的情况下,在滤波器类型确定期间,进行与确定是否将df应用于hevc中的亮度分量的亮度分量应用确定类似的确定。即,在滤波器类型确定中确定是否满足表达式(21)。

|p3-p0|+|q3-q0|<(beta>>3)

|p2-2*p1+p0|+|q2-2*q1+q0|<(beta>>2)

|p0-q0|<((tc*5+1)>>1)

…(21)

要注意的是,a>>b表示a右移b个比特,而a<<b表示a左移b个比特。

在滤波器类型确定中,在满足表达式(21)的情况下,确定将作为强滤波器的滤波器nc1应用于色差分量,并且在不满足表达式(21)的情况下,确定将作为弱滤波器的滤波器nc2应用于色差分量。

在表达式(21)的滤波器类型确定中使用的色差分量的像素(在下文中也称为类型确定像素)是8个像素,即,像素p0至p3和q0至q3。

因此,针对在水平边界为ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为行缓冲器330的存储容量。

可以采用用于hevc中的亮度分量的强滤波器作为y1正常滤波器。在这种情况下,y1正常滤波器由表达式(22)表示。

p2′=clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)

p0′=clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)

q2′=clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)

…(22)

clip3(a,b,c)表示如下函数:在c<a的情况下该函数指示a,在c>b的情况下指示b,并且在其他情况下该函数指示c。

在使用表达式(22)中的y1正常滤波器的滤波处理中使用的色差分量的滤波器构成像素是8个像素,即,像素p0至p3和q0至q3。另外,作为滤波处理的目标的色差分量的目标像素(对于其需要经滤波的像素的像素)是6个像素,即,像素p0至p2和q0至q2。

因此,在水平边界是ctu边界的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为用于使用y1正常滤波器的滤波处理的行缓冲器330的存储容量。

因此,在采用y1正常滤波器作为滤波器nc1的情况下,行缓冲器330的存储容量受到应用确定像素、类型确定像素、滤波器构成像素中的在p侧数目最大的类型确定像素的限制,并且需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为行缓冲器330的存储容量。

在采用y1-1非对称滤波器作为滤波器nc1的情况下,例如以与y1正常滤波器的情况类似的方式进行滤波器应用确定。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是6个像素,即,像素p0至p2和q0至q2,如在y1正常滤波器的情况下一样。

因此,在水平边界是ctu边界的情况下的滤波器应用确定中,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用y1-1非对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间,确定是否满足表达式(23),在表达式(23)中,用在水平边界侧的像素p2(仅一个像素)替换用于确定是否将df应用于hevc中的亮度分量的亮度分量应用确定的表达式(21)中的像素p3(离水平边界最远的一个p侧像素)。

|p2-p0|+|q3-q0|<(beta>>3)

|p2-2*p1+p0|+|q2-2*q1+q0|<(beta>>2)

|p0-q0|<((tc*5+1)>>1)

…(23)

在滤波器类型确定中,在满足表达式(23)的情况下,确定将作为强滤波器的滤波器nc1应用于色差分量,并且在不满足表达式(23)的情况下,确定将作为弱滤波器的滤波器nc2应用于色差分量。

在表达式(23)中的滤波器类型确定中使用的色差分量的类型确定像素是7个像素,即,像素p0至p2和q0至q3。

因此,在水平边界是ctu边界的情况下的滤波器类型确定中,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

可以采用表达式(22)中的y1正常滤波器,即通过用在水平边界侧的像素p2替换用于hevc中的亮度分量的强滤波器中的像素p3而获得的滤波器作为y1-1非对称滤波器。在这种情况下,y1-1非对称滤波器由表达式(24)表示。

p2′=clip3(p2-2*tc,p2+2*tc,(5*p2+3*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)

p0′=clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)

q2′=clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)

…(24)

在使用表达式(24)中的y1-1非对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是7个像素,即,像素p0至p2和q0至q3。另外,作为滤波处理的目标的色差分量的目标像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下使用y1-1非对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

表达式(24)中的y1-1非对称滤波器是通过用在水平边界侧的像素p2替换表达式(22)的用于获得像素p2′的第一表达式中的像素p3而获得的滤波器。因此,用于获得像素p2′的第一表达式中的用于像素p2的抽头系数(滤波器系数)从表达式(22)中的3改变为5(=2+3)。

因此,在采用y1-1非对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y1-1非对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p2和块bq中的像素q0至q3。这些像素相对于水平边界是非对称的(p侧和q侧是非对称的)。

例如,在采用y1-1对称滤波器作为滤波器nc1的情况下,如在y1正常滤波器的情况下那样地进行滤波器应用确定。

因此,如在y1正常滤波器的情况下那样地,在滤波器应用确定中使用的色差分量的应用确定像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用y1-1对称滤波器作为滤波器nc1的情况下的滤波器类型确定中,用在水平边界侧的像素p2替换用于用以确定是否将df应用于hevc中的亮度分量的亮度分量应用确定的表达式(21)中的像素p3,并且进一步确定是否满足其中用在水平边界侧的像素q2替换像素q3的表达式(25)。

|p2-p0|+|q2-q0|<(beta>>3)

|p2-2*p1+p0|+|q2-2*q1+q0|<(beta>>2)

|p0-q0|<((tc*5+1)>>1)

…(25)

在滤波器类型确定中,在满足表达式(25)的情况下,确定将作为强滤波器的滤波器nc1应用于色差分量,并且在不满足表达式(25)的情况下,确定将作为弱滤波器的滤波器nc2应用于色差分量。

在表达式(25)中的滤波器类型确定中使用的色差分量的类型确定像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

可以采用表达式(22)中的y1正常滤波器,即,通过用在水平边界侧的像素p2替换用于hevc中的亮度分量的强滤波器中的像素p3、并且进一步用在水平边界侧的像素q2替换像素q3而获得的滤波器,作为y1-1对称滤波器。在这种情况下,y1-1对称滤波器由表达式(26)表示。

p2′=clip3(p2-2*tc,p2+2*tc,(5*p2+3*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)

p0′=clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)

q2′=clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+5*q2+4)>>3)

…(26)

在使用表达式(26)中的y1-1对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是6个像素,即,像素p0至p2和q0至q2。另外,作为滤波处理的目标的色差分量的目标像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下使用y1-1对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

表达式(26)中的y1-1对称滤波器是通过用在水平边界侧的像素p2替换表达式(22)中的用于获得像素p2′的第一表达式中的像素p3而获得的滤波器。因此,用于获得像素p2′的第一表达式中的像素p2的抽头系数从表达式(22)中的3改变为5(=2+3)。此外,表达式(26)中的y1-1对称滤波器是通过用在水平边界侧的像素q2替换表达式(22)中的用于获得像素q2′的第六表达式中的像素q3而获得的滤波器。因此,用于获得像素q2′的第六表达式中的像素q2的抽头系数从表达式(22)中的3改变为5(=3+2)。

因此,在采用y1-1对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y1-1对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p2和块bq中的像素q0至q2。这些像素相对于水平边界是对称的。

在采用y1-2非对称滤波器作为滤波器nc1的情况下的滤波器应用确定中,确定是否满足表达式(27),在表达式(27)中,例如将表达式(20)中的dp3和dq3设置为0,并且用在水平边界侧的像素p1,0替换像素p2,0。

dp0=abs(p1,0-2*p1,0+p0,0)=abs(p0,0-p1,0)

dq0=abs(q2,0-2*q1,0+q0,0)

d=dp0+dq0<(beta>>1)

…(27)

在滤波器应用确定中,在满足表达式(27)的情况下,确定应用df,并且在不满足表达式(27)的情况下,确定避免应用df。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是5个像素:p0至p1和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用y1-2非对称滤波器作为滤波器nc1的情况下的滤波器类型确定中,确定是否满足表达式(28),在表达式(28)中,用在水平边界侧的像素p1替换用于用以确定是否将df应用于hevc中的亮度分量的亮度分量应用确定的表达式(21)中的像素p3和p2(距水平边界最远的两个p侧像素)。

|p1-p0|+|q3-q0|<(beta>>3)

|p1-2*p1+p0|+|q2-2*q1+q0|<(beta>>2)

=|p0-p1|+|q2-2*q1+q0|<(beta>>2)

|p0-q0|<((tc*5+1)>>1)……(28)

在滤波器类型确定中,在满足表达式(28)的情况下,确定将作为强滤波器的滤波器nc1应用于色差分量,并且在不满足表达式(28)的情况下确定将作为弱滤波器的滤波器nc2应用于色差分量。

在表达式(28)中的滤波器类型确定中使用的色差分量的类型确定像素是6个像素,即,像素p0至p1和q0至q3。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用表达式(22)中的y1正常滤波器,即,通过用在水平边界侧的像素p1替换用于hevc中的亮度分量的强滤波器中的像素p3和像素p2而获得的滤波器,作为y1-2非对称滤波器。在这种情况下,y1-2非对称滤波器由表达式(29)表示。

p1′=clip3(p1-2*tc,p1+2*tc,(2*p1+p0+q0+2)>>2)

p0′=clip3(p0-2*tc,p0+2*tc,(3*p1+2*p0+2*q0+q1+4)>>3)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)

q2′=clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)

…(29)

在使用表达式(29)中的y1-2非对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是6个像素,即,像素p0至p1和q0至q3。此外,要进行滤波处理的色差分量的目标像素是5个像素,即,像素p0至p1和q0至q2。

因此,在水平边界是ctu边界的情况下使用y1-2非对称滤波器的滤波处理中,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

表达式(29)中的y1-2非对称滤波器缺少表达式(22)中的用于获得像素p2′的第一表达式。此外,表达式(29)中的y1-2非对称滤波器是其中用在水平边界侧的像素p1替换表达式(22)中的用于获得像素p1′和p0′的表达式中的像素p2的滤波器。因此,表达式(29)中的用于获得像素p1′的表达式中的像素p1的抽头系数从表达式(22)中的1改变为2(=1+1),并且表达式(29)中的用于获得像素p0′的表达式中的像素p1的抽头系数从表达式(22)中的2改变为3(=1+2)。

因此,在采用y1-2非对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y1-2非对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q3。这些像素相对于水平边界是非对称的。

在采用y1-2对称滤波器作为滤波器nc1的情况下的滤波器应用确定中,确定是否满足表达式(30),在表达式(30)中,例如将表达式(20)中的dp3和dq3设置为0,并且进一步,用在水平边界侧的像素p1,0和q1,0替换像素p2,0和q2,0。

dp0=abs(p1,0-2*p1,0+p0,0)=abs(p0,0-p1,0)

dq0=abs(q1,0-2*q1,0+q0,0)=abs(q0,0-q1,0)

d=dp0+dq0<(beta>>1)

…(30)

在滤波器应用确定中,在满足表达式(30)的情况下确定应用df,并且在不满足表达式(30)的情况下确定避免应用df。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用y1-2对称滤波器作为滤波器nc1的情况下的滤波器类型的确定中,确定是否满足表达式(31),在表达式(31)中,用在水平边界侧的像素p1替换用于用以确定是否将df应用于hevc中的亮度分量的亮度分量应用确定的表达式(21)中的像素p3和p2,并且用在水平边界侧的像素q1替换像素q3和q2。

|p1-p0|+|q1-q0|<(beta>>3)

|p1-2*p1+p0|+|q1-2*q1+q0|<(beta>>2)

=|p0-p1|+|q0-q1|<(beta>>2)

|p0-q0|<((tc*5+1)>>1)

…(31)

在滤波器类型确定中,在满足表达式(31)的情况下确定将作为强滤波器的滤波器nc1应用于色差分量,并且在不满足表达式(31)的情况下确定将作为弱滤波器的滤波器nc2应用于色差分量。

在表达式(31)中的滤波器类型确定中使用的色差分量的类型确定像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用表达式(22)中的y1正常滤波器,即,通过用在水平边界侧的像素p1替换用于hevc中的亮度分量的强滤波器中的像素p3和像素p2并且用在水平边界侧的像素q1替换像素q3和像素q2而获得的滤波器,作为y1-2对称滤波器。在这种情况下,y1-2对称滤波器由表达式(32)表示。

p1′=clip3(p1-2*tc,p1+2*tc,(2*p1+p0+q0+2)>>2)

p0′=clip3(p0-2*tc,p0+2*tc,(3*p1+2*p0+2*q0+q1+4)>>3)

q0′=clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+3*q1+4)>>3)

q1′=clip3(q1-2*tc,q1+2*tc,(p0+q0+2*q1+2)>>2)

…(32)

在使用表达式(32)中的y1-2对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是4个像素,即,像素p0至p1和q0至q1。另外,要进行滤波处理的色差分量的目标像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下使用y1-2对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在表达式(32)中的y1-2对称滤波器中,缺少表达式(22)中的用于获得像素p2′的第一表达式和用于获得像素q2′的第六表达式。此外,表达式(32)中的y1-2对称滤波器是通过用像素p1替换表达式(22)中的用于获得像素p1′和p0′的表达式中的像素p2、并且用在水平边界侧的像素q1替换表达式(22)中的用于获得像素q1′和q0′的表达式中的像素q2而获得的滤波器。因此,表达式(31)中的用于获得像素p1′的表达式中的像素p1的抽头系数从表达式(22)中的1改变为2(=1+1),并且表达式(31)中的用于获得像素p0′的表达式中的像素p1的抽头系数从表达式(22)中的2改变为3(=1+2)。另外,表达式(31)中的用于获得像素q0′的表达式中的像素q1的抽头系数从表达式(22)中的2改变为3(=2+1),并且表达式(31)中的用于获得像素q1′的表达式中的像素q1的抽头系数从表达式(22)中的1改变为2(=1+1)。

因此,在采用y1-2对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y1-2对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q1。这些像素相对于水平边界是对称的。

<采用基于滤波器of的滤波器作为滤波器nc1的情况>

图18是描绘在采用基于滤波器of的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

基于滤波器of的滤波器nc1是of正常滤波器、of-1非对称滤波器、of-1对称滤波器、of-2非对称滤波器或of-2对称滤波器。

在采用of正常滤波器作为滤波器nc1的情况下,以与y1正常滤波器的情况类似的方式,即,与表达式(20)中的亮度分量应用确定类似的方式进行滤波器应用确定。

因此,在滤波器应用确定中使用的色差分量的应用确定像素为6个像素,即,像素p0至p2和q0至q2,如在y1正常滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用of正常滤波器作为滤波器nc1的情况下的滤波器类型确定中,以与y1正常滤波器的情况类似的方式,确定是否满足表达式(21)。

因此,在滤波器类型确定中使用的色差分量的类型确定像素是8个像素,即,像素p0至p3和q0至q3,如在y1正常滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为行缓冲器330的存储容量。

可以采用用于hevc中的亮度分量的强滤波器,即其中表达式(22)的y1正常滤波器的抽头系数以及限幅函数clip3(a,b,c)中的限幅参数a和b被更改的滤波器,作为of正常滤波器。例如,采用表达式(33)的滤波器作为of正常滤波器。

p2′=clip3(p2-tc,p2+tc,(3*p3+2*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-tc,p1+tc,(2*p3+p2+2*p1+p0+q0+q1+4)>>3)

p0′=clip3(p0-tc,p0+tc,(p3+p2+p1+2*p0+q0+q1+q2+4)>>3)

q0′=clip3(q0-tc,q0+tc,(p2+p1+p0+2*q0+q1+q2+q3+4)>>3)

q1′=clip3(q1-tc,q1+tc,(p1+p0+q0+2*q1+q2+2*q3+4)>>3)

q2′=clip3(q2-tc,q2+tc,(p0+q0+q1+2*q2+3*q3+4)>>3)

…(33)

表达式(33)的of正常滤波器是用于hevc中的亮度分量的强滤波器,即其中表达式(22)的y1正常滤波器的抽头系数以及限幅函数clip3(a,b,c)中的限幅参数a和b被更改的滤波器。例如,在表达式(33)的of正常滤波器中,构成表达式(22)中的限幅参数的2tc改变为tc。

在使用表达式(33)的of正常滤波器的滤波处理中使用的色差分量的滤波器构成像素是8个像素,即,像素p0至p3和q0至q3。另外,要进行滤波处理的色差分量的目标像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下使用of正常滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为行缓冲器330的存储容量。

因此,在采用of正常滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p3的4个像素行的容量作为行缓冲器330的存储容量。

在采用of-1非对称滤波器作为滤波器nc1的情况下,例如,以与of正常滤波器的情况类似的方式进行滤波器应用确定。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是6个像素,即,像素p0至p2和q0至q2,如在of正常滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用of-1非对称滤波器作为滤波器nc1的情况下,以与y1-1非对称滤波器的情况类似的方式,在滤波器类型确定期间确定是否满足表达式(23)。

因此,在of-1非对称滤波器的类型确定中使用的色差分量的类型确定像素是7个像素,即,像素p0至p2和q0至q3,如在y1-1非对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

可以采用通过用在水平边界侧的像素p2替换表达式(33)中的of正常滤波器中的像素p3而获得的滤波器作为of-1非对称滤波器。在这种情况下,of-1非对称滤波器由表达式(34)表示。

p2′=clip3(p2-tc,p2+tc,(5*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-tc,p1+tc,(3*p2+2*p1+p0+q0+q1+4)>>3)

p0′=clip3(p0-tc,p0+tc,(2*p2+p1+2*p0+q0+q1+q2+4)>>3)

q0′=clip3(q0-tc,q0+tc,(p2+p1+p0+2*q0+q1+q2+q3+4)>>3)

q1′=clip3(q1-tc,q1+tc,(p1+p0+q0+2*q1+q2+2*q3+4)>>3)

q2′=clip3(q2-tc,q2+tc,(p0+q0+q1+2*q2+3*q3+4)>>3)

…(34)

在使用表达式(34)中的of-1非对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是7个像素,即,像素p0至p2和q0至q3。另外,要进行滤波处理的色差分量的目标像素是6个像素,即,像素p0至p2和q0至q2。

因此,在水平边界是ctu边界的情况下使用of-1非对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

表达式(34)的of-1非对称滤波器是通过用在水平边界侧的像素p2替换表达式(33)中的用于获得像素p2'至p0'的表达式中的像素p3而获得的滤波器。因此,用于获得像素p2'的表达式中的像素p2的抽头系数从表达式(33)中的2改变为5(=3+2)。另外,用于获得像素p1'的表达式中的像素p2的抽头系数从表达式(33)中的1改变为3(=2+1),并且用于获得像素p2'的表达式中的像素p2的抽头系数从表达式(33)中的1改变为2(=1+1)。

因此,在采用of-1非对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在此,在采用of-1非对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p2和块bq中的像素q0至q3。这些像素相对于水平边界是非对称的。

在采用of-1对称滤波器作为滤波器nc1的情况下,例如以与of正常滤波器的情况类似的方式进行滤波器应用确定。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是6个像素,即,像素p0至p2和q0至q2,如在of正常滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用of-1对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间确定是否满足表达式(25),如在1-1对称滤波器的情况下那样地。

因此,在of-1对称滤波器的滤波器类型确定中使用的色差分量的类型确定像素是6个像素,即,像素p0至p2和q0至q2,如在y1-1对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

可以采用通过用在水平边界侧的像素p2替换表达式(33)中的of正常滤波器中的像素p3并且进一步用在水平边界侧的像素q2替换像素q3而获得的滤波器,作为of-1对称滤波器。在这种情况下,of-1对称滤波器由表达式(35)表示。

p2′=clip3(p2-tc,p2+tc,(5*p2+p1+p0+q0+4)>>3)

p1′=clip3(p1-tc,p1+tc,(3*p2+2*p1+p0+q0+q1+4)>>3)

p0′=clip3(p0-tc,p0+tc,(2*p2+p1+2*p0+q0+q1+q2+4)>>3)

q0′=clip3(q0-tc,q0+tc,(p2+p1+p0+2*q0+q1+2*q2+4)>>3)

q1′=clip3(q1-tc,q1+tc,(p1+p0+q0+2*q1+3*q2+4)>>3)

q2′=clip3(q2-tc,q2+tc,(p0+q0+q1+5*q2+4)>>3)

…(35)

在使用表达式(35)中的of-1对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是6个像素,即,像素p0至p2和q0至q2。另外,要进行滤波处理的色差分量的目标像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下使用of-1对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

表达式(35)的of-1对称滤波器是通过用在水平边界侧的像素p2替换表达式(33)中的用于获得像素p2'至p0'的表达式中的像素p3而获得的滤波器。因此,用于获得像素p2'的表达式中的像素p2的抽头系数从表达式(33)中的2改变为5(=3+2)。另外,用于获得像素p1'的表达式中的像素p2的抽头系数从表达式(33)中的1改变为3(=2+1),并且用于获得像素p0'的表达式中的像素p2的抽头系数从表达式(33)中的1改变为2(=1+1)。

另外,表达式(35)的of-1对称滤波器是通过用在水平边界侧的像素q2替换表达式(33)中的用于获得像素q0'至q2'的表达式中的像素q3而获得的滤波器。因此,用于获得像素q0'的表达式中的像素q2的抽头系数从表达式(33)中的1改变为2(=1+1)。另外,用于获得像素q1'的表达式中的像素q2的抽头系数从表达式(33)中的1改变为3(=1+2),并且用于获得像素q2'的表达式中的像素q2的抽头系数从表达式(33)中的2改变为5(=2+3)。

因此,在采用of-1对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在此,在采用of-1对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p2和块bq中的像素q0至q2。这些像素相对于水平边界是对称的。

在采用of-2非对称滤波器作为滤波器nc1的情况下,在滤波器应用确定期间确定是否满足表达式(27),如在y1-2非对称滤波器的情况下那样地。

因此,在of-2非对称滤波器的滤波器应用确定中使用的色差分量的应用确定像素是5个像素,即,像素p0至p1和q0至q2,如在y1-2非对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用of-2非对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间确定是否满足表达式(28),如在y1-2非对称滤波器的情况下那样地。

因此,在of-2非对称滤波器的滤波器类型确定中使用的色差分量的类型确定像素是6个像素,即,像素p0至p1和q0至q3,如在y1-2非对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用通过用在水平边界侧的像素p1替换表达式(33)的of正常滤波器中的像素p3和像素p2而获得的滤波器,作为of-2非对称滤波器。在这种情况下,of-2非对称滤波器由表达式(36)表示。

p1′=clip3(p1-tc,p1+tc,(5*p1+p0+q0+q1+4)>>3)

p0′=clip3(p0-tc,p0+tc,(3*p1+2*p0+q0+q1+q2+4)>>3)

q0′=clip3(q0-tc,q0+tc,(2*p1+p0+2*q0+q1+q2+q3+4)>>3)

q1′=clip3(q1-tc,q1+tc,(p1+p0+q0+2*q1+q2+2*q3+4)>>3)

q2′=clip3(q2-tc,q2+tc,(p0+q0+q1+2*q2+3*q3+4)>>3)

…(36)

在使用表达式(33)的of-2非对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是6个像素,即,像素p0至p1和q0至q3。另外,要进行滤波处理的色差分量的目标像素是5个像素,即,像素p0至p1和q0至q2。

因此,针对在水平边界是ctu边界的情况下使用of-2非对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在表达式(36)的of-2非对称滤波器中,缺少表达式(33)中的用于获得像素p2′的表达式。

另外,表达式(36)的of-2非对称滤波器是通过用在水平边界侧的像素p1替换表达式(33)中的用于获得像素p1、p0'和q0'的表达式中的像素p2和p3而获得的滤波器。因此,表达式(36)中的用于获得像素p1'的表达式中的像素p1的抽头系数从表达式(33)中的2改变为5(=2+1+2)。另外,表达式(36)中的用于获得像素p0'的表达式中的像素p1的抽头系数从表达式(33)中的1改变为3(=1+1+1),并且表达式(36)中的用于获得像素q0'的表达式中的像素p1的抽头系数从表达式(33)中的1改变为2(=1+1)。

因此,在采用of-2非对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用of-2非对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q3。这些像素相对于水平边界是非对称的(of-2非对称滤波器是非对称滤波器)。

在采用of-2对称滤波器作为滤波器nc1的情况下,在滤波器应用确定期间确定是否满足表达式(30),如在y1-2对称滤波器的情况下那样地。

因此,在of-2对称滤波器的滤波器应用确定中使用的色差分量的应用确定像素是4个像素,即,像素p0至p1和q0至q1,如在y1-2对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用of-2对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间确定是否满足表达式(31),如在y1-2对称滤波器的情况下那样地。

因此,在of-2对称滤波器的滤波器类型确定中使用的色差分量的类型确定像素是4个像素,即,像素p0至p1和q0至q1,如在y1-2对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用通过用在水平边界侧的像素p1替换表达式(33)中的of正常滤波器中的像素p3和p2并且用在水平边界侧的像素q1替换像素q2和q3而获得的滤波器,作为of-2对称滤波器。在这种情况下,of-2对称滤波器由表达式(37)表示。

p1′=clip3(p1-tc,p1+tc,(5*p1+p0+q0+q1+4)>>3)

p0′=clip3(p0-tc,p0+tc,(3*p1+2*p0+q0+q1+q2+4)>>3)

q0′=clip3(q0-tc,q0+to,(2*p1+p0+2*q0+3*q1+4)>>3)

q1′=clip3(q1-tc,q1+tc,(p1+p0+q0+5*q1+4)>>3)

……(37)

在使用表达式(37)的of-2对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是4个像素,即,像素p0至p1和q0至q1。另外,要进行滤波处理的色差分量的目标像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下使用of-2对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在表达式(37)的of-2对称滤波器中,缺少表达式(33)中的用于获得像素p2′的第一表达式和用于获得像素q2′的第六表达式。

另外,表达式(37)的of-2对称滤波器是通过用在水平边界侧上的像素p1替换表达式(33)中的用于获得像素p1′、p0′和q0′的表达式中的像素p2和p3而获得的滤波器。因此,表达式(37)中的用于获得像素p1′的表达式中的像素p1的抽头系数从表达式(33)中的2改变为5(=2+1+2)。另外,表达式(37)中的用于获得像素p0′的表达式中的像素p1的抽头系数从表达式(33)中的1改变为3(=1+1+1),并且表达式(37)中的用于获得像素q0′的表达式中的像素p1的抽头系数从表达式(33)中的1改变为2(=1+1)。

另外,表达式(37)的of-2对称滤波器是通过用在水平边界侧的像素q1替换表达式(33)中的用于获得像素q0'和q1'的表达式中的像素q2和q3而获得的滤波器。因此,表达式(37)中的用于获得像素q0'的表达式中的像素q1的抽头系数从表达式(33)中的1改变为3(=1+1+1)。另外,表达式(37)中的用于获得像素q1'的表达式中的像素q1的抽头系数从表达式(33)中的1改变为3(=1+1+1),并且表达式(37)中的用于获得像素q0'的表达式中的像素p1的抽头系数从表达式(33)中的2改变为5(=2+1+2)。

因此,在采用of-2对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用of-2对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q1。这些像素相对于水平边界是对称的(of-2对称滤波器是对称滤波器)。

<采用基于滤波器y2的滤波器作为滤波器nc1的情况>

图19是描绘在采用基于滤波器y2的滤波器作为滤波器nc1的情况下的滤波器nc1和所需的像素的图。

基于滤波器y2的滤波器nc1是y2正常滤波器、y2-1非对称滤波器或y2-1对称滤波器。

在采用y2正常滤波器作为滤波器nc1的情况下,以与y1正常滤波器的情况类似的方式,即,以与表达式(20)中的亮度分量应用确定类似的方式进行滤波器应用确定。

因此,在滤波器应用确定中使用的色差分量的应用确定像素是6个像素,即,像素p0至p2和q0至q2,如在y1正常滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用y2正常滤波器作为滤波器nc1的情况下,在滤波器类型确定期间,进行符合确定是否对hevc中的亮度分量应用弱滤波器的标准弱确定的确定。

在此,在标准弱确定中,确定是否满足式(38),并且如果需要,进一步确定是否满足表达式(39)和表达式式(40)。

|(9*(q0,i-p0,i)-3*(q1,i-p1,i)+8)>>4|<tc*10

…(38)

|p2,0-2*p1,0+p0,0|+|p2,3-2*p1,3+p0,3|<(beta+(beta>>1)))>3

…(39)

|q2,0-2*q1,0+q0,0|+|q2,3-2*q1,3+q0,3|<(beta+(beta>>1))>>3

…(40)

在标准弱确定中,首先,针对块bp和bq中的每一行(列)进行确定是否满足表达式(38)的弱开/关确定(weakon/offdetermination)。然后,在作为弱开/关确定的结果存在满足表达式(38)的行的情况下,使用第一行和第四行来进行确定是否满足表达式(39)的p1确定以及确定是否满足表达式(40)的q1确定。

在标准弱确定中,在满足表达式(39)的p1确定的情况下,将块bp的满足表达式(38)的弱开/关确定的行中的像素pi设置为可以作为目标像素的像素。类似地,在满足表达式(40)的q1确定的情况下,将块bq的满足表达式(38)的弱开/关确定的行中的像素qi设置为可以作为目标像素的像素。

在y2正常滤波器的滤波器类型确定中,进行符合确定是否对hevc中的亮度分量应用弱滤波器的标准弱确定的确定。

即,在y2正常滤波器的滤波器类型确定期间,确定是否满足表达式(41),并且如果需要,进一步确定是否满足表达式(39)和表达式(40)。

|(9*(q0-p0)-3*(q1-p1)+8)>>4|<tc*10

…(41)

|p2-2*p1+p0|<(beta+(beta>>1))>>4

…(42)

|q2-2*q1+q0|<(beta+(beta>>1))>>4

…(43)

在y2正常滤波器的滤波器类型确定期间,首先,针对块bp和bq中的色差分量的两行(列)像素中的每行(列)像素进行确定是否满足表达式(41)的弱开/关确定。然后,在作为弱开/关确定的结果存在满足表达式(41)的行的情况下,针对块bp和bq中的色差分量的两行像素中的一行(例如,第一行)像素,进行确定是否满足表达式(42)的p1确定,以及确定是否满足表达式(43)的q1确定。

在y2正常滤波器的滤波器类型确定期间,在满足表达式(42)的p1确定的情况下,将块bp的满足表达式(41)的弱开/关确定的行(列)中的像素pi设置为可以作为目标像素的像素。类似地,在满足表达式(43)的q1确定的情况下,将块bq的满足表达式(41)的弱开/关确定的行中的像素qi设置为可以作为目标像素的像素。

在基于滤波器y2的滤波器nc2中,仅被设置为可以作为目标像素的像素的像素成为目标像素,并且期望经滤波的像素。

从表达式(41)至表达式(43),在y2正常滤波器的滤波器类型确定中使用的色差分量的类型确定像素是6个像素,即,像素p0至p2和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

可以采用用于hevc中的亮度分量的弱滤波器作为y2正常滤波器。在这种情况下,y2正常滤波器由表达式(44)表示。

d=clip3(-tc,tc,d),d=(9*(q0-p0)-3*(q1-p1)+8)>>4

p0′=clip1c(p0+d)

q0′=clip1c(q0-d)

dp=clip3(-(tc>>1),tc>>1,(((p2+p0+1)>>1)-p1+d)>>1)

p1′=clip1c(p1+dp)

dq=clip3(-(tc>>1),tc>>1,(((q2+q0+1)>>1)-q1-d)>>1)

q1′=clip1c(q1+dq)

…(44)

在此,在bc被定义成表示色差分量的比特数时,将clip1c(a)设置为clip1c(a)=clip(0,(1<<bc)-1,a)。

在使用表达式(44)的y2正常滤波器的滤波处理中使用的色差分量的滤波器构成像素是6个像素,即,像素p0至p2和q0至q2。另外,要进行滤波处理的色差分量的目标像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下的y2正常滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

因此,在采用y2正常滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p2的3个像素行的容量作为行缓冲器330的存储容量。

在采用y2-1非对称滤波器作为滤波器nc1的情况下,在滤波器应用确定期间确定是否满足表达式(27),如在y1-2非对称滤波器的情况下那样地。

因此,在y2-1非对称滤波器的滤波器应用确定中使用的色差分量的应用确定像素是5个像素,即,像素p0至p1和q0至q2,如在y1-2非对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用y2-1非对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间,确定是否满足通过用在水平边界侧的像素p1替换y2正常滤波器的滤波器类型确定的表达式(41)至表达式(43)中的像素p2而获得的表达式(45)至表达式(47)。

|(9*(q0-p0)-3*(q1-p1)+8)>>4|<tc*10

…(45)

|p1-2*p1+p0|<(beta+(beta>>1))>>4

=|p0-p1|<(beta+(beta>>1))>>4

…(46)

|q2-2*q1+q0|<(beta+(beta>>1))>>4

…(47)

表达式(45)指示弱开/关确定。表达式(46)和表达式(47)分别指示p1确定和q1确定。

y2-1非对称滤波器的滤波器类型确定与y2正常滤波器的滤波器类型确定类似,除了使用表达式(45)至表达式(47)代替表达式(41)至表达式(43)这一点之外。因此,省略了对y2-1非对称滤波器的滤波器类型确定的说明。

从表达式(45)至表达式(47),在y2-1非对称滤波器的滤波器类型确定中使用的色差分量的类型确定像素是5个像素,即,像素p0至p1和q0至q2。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用通过用在水平边界侧的像素p1替换针对y2正常滤波器的表达式(44)中的像素p2而获得的表达式(48)所表示的滤波器作为y2-1非对称滤波器。

d=clip3(-tc,tc,d),d=(9*(q0-p0)-3*(q1-p1)+8)>>4

d0′=clip1c(p0+d)

q0′=clip1c(q0-d)

dp=clip3(-(tc>>1),tc>>1,(((p1+p0+1)>>1)-p1+d)>>1)

p1′=clip1c(p1+dp)

dq=clip3(-(tc>>1),tc>>1,(((q2+q0+1)>>1)-q1-d)>>1)

q1′=clip1c(q1+dq)

…(48)

在使用表达式(48)的y2-1非对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是5个像素,即,像素p0至p1和q0至q2。另外,要进行滤波处理的色差分量的目标像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下使用y2-1非对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

因此,在采用y2-1非对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y2-1非对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q2。这些像素相对于水平边界是非对称的。

在采用y2-1对称滤波器作为滤波器nc1的情况下,在滤波器应用确定中确定是否满足表达式(30),如在y1-2对称滤波器的情况下那样地。

因此,在y2-1对称滤波器的滤波器应用确定中使用的色差分量的应用确定像素是4个像素,即,像素p0至p1和q0至q1,如在y1-2对称滤波器的情况下那样地。

因此,针对在水平边界是ctu边界的情况下的滤波器应用确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在采用y2-1对称滤波器作为滤波器nc1的情况下,在滤波器类型确定期间,确定是否满足通过用在水平边界侧的像素p1替换针对y2正常滤波器的滤波器类型确定的表达式(41)至表达式(43)中的像素p2并且用在水平边界侧的像素q1替换像素q2而得到的表达式(49)至表达式(51)。

|(9*(q0-p0)-3*(q1-p1)+8)>>4|<tc*10

…(49)

|p1-2*p1+p0|<(beta+(beta>>1))>>4

=|p0-p1|<(beta+(beta>>1))>>4

…(50)

|q1-2*q1+q0|<(beta+(beta>>1))>>4

=|q0-q1|<(beta+(beta>>1))>>4

…(51)

表达式(49)指示弱开/关确定。表达式(50)和(51)分别指示p1确定和q1确定。

y2-1对称滤波器的滤波器类型确定与y2正常滤波器的滤波器类型确定类似,除了使用表达式(49)至表达式(51)代替表达式(41)至表达式(43)这一点之外。因此,省略了对y2-1对称滤波器的滤波器类型确定的说明。

从表达式(49)至表达式(51),在y2-1对称滤波器的滤波器类型确定中使用的色差分量的类型确定像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下的滤波器类型确定,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

可以采用由表达式(52)表示的滤波器作为y2-1对称滤波器,表达式(52)是通过用在水平边界侧的像素p1替换针对y2正常滤波器的表达式(44)中的像素p2并且用在水平边界侧的像素q1替换像素q2而获得的。

d=clip3(-tc,tc,d),d=(9*(q0-p0)-3*(q1-p1)+8)>>4

p0′=clip1c(p0+d)

q0′=clip1c(q0-d)

dp=clip3(-(tc>>1),tc>>1,(((p1+p0+1)>>1)-p1+d)>>1)

p1′=clip1c(p1+dp)

dq=clip3(-(tc>>1),tc>>1,(((q1+q0+1)>>1)-q1-d)>>1)

q1′=clip1c(q1+dq)

…(52)

在使用表达式(52)的y2-1对称滤波器的滤波处理中使用的色差分量的滤波器构成像素是4个像素,即,像素p0至p1和q0至q1。另外,要进行滤波处理的色差分量的目标像素是4个像素,即,像素p0至p1和q0至q1。

因此,针对在水平边界是ctu边界的情况下使用y2-1对称滤波器的滤波处理,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

因此,在采用y2-1对称滤波器作为滤波器nc1的情况下,需要将用于在水平边界的上侧的块bp中的像素p0至p1的2个像素行的容量作为行缓冲器330的存储容量。

在此,在采用y2-1对称滤波器作为滤波器nc1的情况下使用的像素是块bp中的像素p0至p1和块bq中的像素q0至q1。这些像素相对于水平边界是对称的。

如到目前为止所说明的,本技术可以提供各种滤波器作为df。

<滤波器nc1的应用方法>

图20是描绘用于将滤波器nc1应用于解码图像的应用方法的示例的图。

在此,术语“滤波器特性”全面地定义诸如滤波器强度、滤波器构成像素、滤波器系数的值、滤波器的抽头长度或滤波器的(对称/非对称)形状的滤波器特性。该术语是指由在滤波中使用的滤波器参数或与滤波器特性有关的编码参数(例如,量化参数)引起的滤波器特性。另外,表述“改变滤波器特性”是指改变滤波器特性本身,并且包括改变滤波器强度、滤波器构成像素、滤波器系数的值、滤波器的抽头长度、滤波器的(对称/非对称)形状等。另外,表述“改变滤波器特性”涵盖改变滤波器参数或与滤波器特性有关的编码参数(例如,量化参数)。另外,表述“削减(reducing)(削减(reduction)/削减(reduce))滤波器特性”涵盖削减滤波器特性,例如滤波器强度、滤波器构成像素、滤波器系数的值、滤波器的抽头长度或滤波器的对称/非对称形状(以功能方式,通过考虑诸如行缓冲器的容量的实现成本)。另外,表述“削减(reducing)(削减(reduction)/削减(reduce))滤波器特性”还涵盖改变滤波器参数或与滤波器特性有关的编码参数(例如,量化参数)(以功能方式,通过考虑诸如行缓冲器的容量的实现成本)。此外,将具有削减的滤波器特性的滤波器称为削减滤波器或削减的滤波器。

图20描绘了应用于ctu边界的滤波器nc1、应用于内部边界的滤波器nc1、在应用滤波器nc1的情况下ctu边界的一部分与内部边界的一部分之间的图像质量的差异、以及行缓冲器330所需的存储容量(行缓冲器大小)。

在此,图17所描绘的y1-1非对称滤波器、y1-1对称滤波器、y1-2非对称滤波器和y1-2对称滤波器均具有比y1正常滤波器少的滤波器构成像素,因此,y1-1非对称滤波器、y1-1对称滤波器、y1-2非对称滤波器和y1-2对称滤波器是均具有降低的(削减的)滤波器特性(滤波器强度)的滤波器。因此,可以将y1-1非对称滤波器、y1-1对称滤波器、y1-2非对称滤波器和y1-2对称滤波器视为各自相对于y1正常滤波器具有削减的滤波器特性的削减的滤波器。

另外,图18所描绘的of-1非对称滤波器、of-1对称滤波器、of-2非对称滤波器和of-2对称滤波器均具有比of正常滤波器少的滤波器构成像素,因此,of-1非对称滤波器、of-1对称滤波器、of-2非对称滤波器和of-2对称滤波器是均具有降低的(削减的)滤波器特性(滤波器强度)的滤波器。因此,可以将of-1非对称滤波器、of-1对称滤波器、of-2非对称滤波器和of-2对称滤波器视为各自相对于of正常滤波器具有削减的滤波器特性的削减的滤波器。

另外,图19所描绘的y2-1非对称滤波器和y2-1对称滤波器均具有比y2正常滤波器少的滤波器构成像素,因此,y2-1非对称滤波器和y2-1对称滤波器是均具有降低的(削减的)滤波器特性(滤波器强度)的滤波器。因此,可以将y2-1非对称滤波器和y2-1对称滤波器视为各自相对于y2正常滤波器具有削减的滤波器特性的削减的滤波器。

假设将y1正常滤波器、of正常滤波器和y2正常滤波器定义为正常滤波器。削减的滤波器具有比正常滤波器低的滤波强度,但是(在p侧)具有较少的滤波器构成像素。因此,与正常滤波器相比,行缓冲器330所需的存储容量变小。

同时,为了充分消除块噪声,要求将具有高滤波器强度(滤波器特性)的滤波器nc1应用于大块尺寸的块之间的块边界,即ctu边界或内部边界。

然而,如果采用具有高滤波器强度的正常滤波器作为滤波器nc1,则行缓冲器330所需的存储容量在ctu边界处变大,这是因为在正常滤波器中(在p侧)存在许多滤波器构成像素。

因此,对于ctu边界,可以采用(在p侧)具有较少的滤波器构成像素的削减的滤波器作为滤波器nc1。在这种情况下,可以抑制行缓冲器330所需的存储容量。在图20中的第三行以及后面的行,将削减的滤波器应用于ctu边界,以便抑制行缓冲器330所需的存储容量。

另一方面,将滤波器nc1应用于内部边界不会影响行缓冲器330所需的存储容量。因此,对于内部边界,可以采用具有许多滤波器构成像素但是具有高滤波器强度的正常滤波器作为滤波器nc1。在这种情况下,可以充分消除块噪声。

要注意的是,如果将削减的滤波器和正常滤波器分别应用于ctu边界和内部边界,则由于削减的滤波器与正常滤波器之间的滤波器强度的差异而可能产生ctu边界与内部边界之间的图像质量的差异。

为此,可以将与用于ctu边界的削减的滤波器类似的削减的滤波器应用于内部边界。在这种情况下,可以抑制ctu边界与内部边界之间的图像质量的差异的产生。

通过控制部340(图11)控制:对于块边界要采用(选择)图17至图19所示的滤波器中的哪一个作为滤波器nc1。

例如,为了在一个画面中强烈平均地应用df,可以将具有不同滤波器设计的df应用于ctu边界和内部边界,即,可以将削减的滤波器和正常滤波器分别应用于ctu边界和内部边界。

另外,为了在一个画面中均匀地应用df,可以将具有相同滤波器设计的df应用于ctu边界和内部边界,即,可以将削减的的滤波器应用于ctu边界和内部边界。

图21是描绘用于将滤波器nc1应用于解码图像的应用方法的其他示例的图。

例如,在图21中的第一行中,将用于hevc中的色差分量的滤波器c1(图14)作为滤波器nc1应用于ctu边界的p侧,并且将y1正常滤波器应用于q侧。此外,将y1正常滤波器作为滤波器nc1应用于内部边界的p侧和q侧。

如到目前为止所说明的,在本技术中,对于解码图像中的位于块边界周围的色差分量的像素,可以采用相对于具有比用于亮度分量的弱滤波器等(第一亮度滤波器)高的滤波器强度的、用于亮度分量的强滤波器等(第二亮度滤波器)具有削减的滤波器特性的y1-1非对称滤波器等(削减的第二亮度滤波器)、或者相对于第一亮度滤波器具有削减的滤波器特性的y2-1非对称滤波器等(削减的第一亮度滤波器),作为具有比滤波器nc2(第一色差滤波器)高的滤波器强度的滤波器nc1(第二色差滤波器)。

此外,在本技术中,削减的第二亮度滤波器可以是沿垂直方向执行削减的第二亮度滤波器的削减的第二亮度垂直滤波器,并且第二色差滤波器可以是沿垂直方向执行第二色差滤波器的第二色差垂直滤波器。

此外,在本技术中,削减的第二亮度垂直滤波器可以是通过相对于第二亮度滤波器中的滤波器系数或限幅参数更改滤波器系数或限幅参数而获得的滤波器。

此外,在本技术中,削减的第二亮度垂直滤波器可以是通过削减要应用于位于块边界的上侧的像素的滤波器的滤波器特性而获得的非对称滤波器。

此外,在本技术中,可以使用符合h,265/hevc标准的亮度分量的强滤波器作为第二亮度滤波器。

此外,在本技术中,可以使用沿垂直方向执行削减的第一亮度滤波器的削减的第一亮度垂直滤波器作为削减的第一亮度滤波器。

另外,在本技术中,控制部340可以控制df300(滤波部),使得削减的第二亮度垂直滤波器作为第二色差垂直滤波器以序列单位应用于固定尺寸的编码树块的块边界。

此外,在本技术中,控制部340可以控制滤波部,使得将削减的第二亮度垂直滤波器作为第二色差垂直滤波器应用于从编码树块划分的块的块边界。

另外,在本技术中,控制部340可以控制滤波部,使得将沿垂直方向执行第二亮度滤波器的第二亮度垂直滤波器作为第二色差垂直滤波器应用于从编码树块划分的块的块边界。

<对应用了本技术的计算机的说明>

接下来,可以通过硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下,构成软件的程序被安装至通用计算机等中。

图27是描绘其中安装有用于执行上述一系列处理的程序的计算机的一个实施方式的配置示例的框图。

程序可以被预先记录在作为包括在计算机中的记录介质的rom903或硬盘905中。

替选地,可以将程序存储(记录)在由驱动器909驱动的可移除记录介质911中。上述可移除记录介质911可以被提供为通常所谓的封装软件的形式。在此,可移除记录介质911的示例包括软盘、cd-rom(致密盘只读存储器)、mo(磁光)盘、dvd(数字多功能盘)、磁盘和半导体存储器。

要注意的是,可以通过通信网络或广播网络将程序下载到计算机中,并且安装到内部硬盘905中,而不是通过上述可移除记录介质911将程序安装到计算机中。即,可以通过用于数字卫星广播的人造卫星将程序从下载站点以无线方式传输到计算机,或者可以通过诸如lan(局域网)或因特网的网络以有线方式将程序传输到计算机。

计算机包含cpu(中央处理单元)902。输入/输出接口910经由总线901连接至cpu902。

在基于由用户对输入部907执行的操作经由输入/输出接口910接收到指令时,cpu902根据该指令执行存储在rom(只读存储器)903中的程序。替选地,cpu902将存储在硬盘905中的程序加载至ram(随机存取存储器)904中,并且执行该程序。

因此,cpu902执行根据上述流程图的处理或者执行要由上述框图中的配置执行的处理。然后,如果需要,例如,cpu902经由输入/输出接口910从输出部906输出处理结果,或者从通信部908发送处理结果,并且进一步,例如,将处理结果记录在硬盘905中。

要注意的是,输入部907包括键盘、鼠标、麦克风等。此外,输出部906包括lcd(液晶显示器)、扬声器等。

在此,在本说明书中,不一定要按参照流程图说明的顺序以时间序列执行本文中的要由计算机根据程序执行的处理。即,要由计算机根据程序执行的处理包括并行或单独执行的处理(例如,并行处理或者使用对象的处理)。

此外,程序可以由一台计算机(处理器)处理,或者可以由多台计算机分布式地处理。此外,程序可以被传输至远程计算机并且在那里执行。

另外,在本说明书中,术语“系统”是指多个构成部件(装置、模块(部件)等)的集合,所有构成部件是否被包括在同一壳体中无关紧要。因此,容纳在不同的壳体中并且通过网络连接的多个装置的集合是系统,此外,具有容纳在单个壳体中的多个模块的单个装置也是系统。

<5.结论>

如到目前为止所说明的,根据本公开的实施方式的去块滤波器可以被更适当地应用于解码图像中的色差分量。

已经参照附图详细说明了本公开的优选实施方式。然而,本公开的技术范围不限于这些实施方式。与本公开的技术领域有关的领域的技术人员显然可以想到在权利要求书中记载的技术构思内的各种改变或修改。自然地应该理解,这样的改变或修改包括在本公开的技术范围内。

(色差相关参数)

例如,在本实施方式中,已经说明了使用指示每个tu中的色差分量的有效系数的存在/不存在的标志作为色差相关参数的示例。然而,本技术不限于该示例。例如,用于色差分量的变换系数本身可以被包括在色差相关参数中。在这种情况下,边界强度计算部261可以通过基于用于色差分量的变换系数来确定每个tu中的色差分量的有效系数的存在/不存在来计算bs。另外,关于上述实施方式,图4描绘了bs的值不仅根据是否满足条件b1-y、b1-u或b1-v而变化、而且还根据是否满足条件b2而变化的示例。然而,如在图14中所描绘的替选示例中一样,例如,为了抑制处理成本的增加,可以省略针对色差分量u和v两者的对是否满足条件b2的确定。

(大块确定的阈值)

在上述实施方式中,已经说明了其中在大块确定中使用的阈值为16的示例。然而,本技术不限于该示例。阈值可以被设置为8或32。此外,在yuv444格式的情况下,在大块确定中可以使用等于或大于yuv420格式中使用的阈值的阈值。

(强滤波器)

在上述实施方式中,已经说明了将由表达式(15)至(19)表示的强滤波器应用于色差分量的示例。然而,在本技术中应用的强滤波器不限于该示例。应用于色差分量的强滤波器仅需要是具有比弱滤波器高的滤波器强度的滤波器。例如,在本技术中,可以将应用于npl1中的色差分量的强滤波器(应用于hevc中的亮度分量的强滤波器)应用于色差分量。

(本技术的应用目标)

本技术适用于任何图像编码/解码方案。即,根据需要定义诸如变换(逆变换)、量化(逆量化)、编码(解码)和预测的与图像编码/解码有关的各种处理的规范,并且不限于上述实施方式,只要与上述本技术没有矛盾即可。此外,可以省略这些处理的一部分,只要与上述本技术没有矛盾即可。

(块)

另外,在本说明书中,在说明中用作图像(图片)的部分区域或处理单元的术语“块”(不是指示处理部的块)是指图片中的任何部分区域,除非另外提及,并且区域的尺寸、形状和特性等不限于特定示例。例如,假设“块”包括在上述参考文献ref1至ref3中描述的任何部分区域(处理单元),例如tb(变换块)、tu(变换单元)、pb(预测块)、pu(预测单元)、scu(最小编码单元)、cu(编码单元)、lcu(最大编码单元)、ctb(编码树块)、ctu(编码树单元)、变换块、子块、宏块、图块和切片。

(处理单元)

在上述说明中,根据需要确定设置各种信息的数据单元或各种处理中的数据单元,因此,数据单元不限于上述实施方式中的数据单元。例如,可以针对每个tu(变换单元)、tb(变换块)、pu(预测单元)、pb(预测块)、cu(编码单元)、lcu(最大编码单元)、子块、块、图块、切片、图片、序列或分量来设置信息或处理,或者其数据单元的数据可以作为目标。不用说,可以针对每个信息或每个处理来设置这样的数据单元。用于所有信息或处理的数据单元不一定是统一的。要注意的是,信息的存储位置是根据需要确定的,因此,信息可以存储在上述数据单元的头部、参数集等中。而且,信息可以存储在多个位置中。

另外,在上述实施方式中,针对每2行执行色差分量的去块滤波处理。然而,本技术不限于该实施方式。例如,在yuv444格式的情况下,可以针对每4行执行色差分量的去块滤波处理。在这种情况下,应用必要性/不必要性确定部265可以在上述条件c3的确定期间通过参考第一行和第三行,来进行确定。

(控制信息)

可以将关于以上描述的本技术的控制信息从编码侧发送至解码侧。例如,可以发送用于控制是否允许(或禁止)上述本技术的应用的控制信息(例如,enabled_flag)。替选地,例如,可以发送指示应用上述本技术的目标(或者未应用上述本技术的目标)的控制信息。例如,可以发送用于指定应用本技术(或允许或禁止应用)的块尺寸(上限或下限、或者上限和下限两者)、帧、分量、层等的控制信息。

(块尺寸信息)

在指定应用本技术的块的尺寸时,可以直接指定块尺寸,或者可以间接地指定块尺寸。例如,可以利用用于标识尺寸的标识信息来指定块尺寸。替选地,例如,可以基于与参考块(例如,lcu或scu)的尺寸的比率或与参考块的尺寸之差来指定块尺寸。例如,在将用于指定块尺寸的信息作为语法元素等进行发送的情况下,可以使用用于以上述方式间接地指定尺寸的信息。因此,在某些情况下,可以减少信息的信息量,并且可以进一步提高编码效率。另外,指定这样的块尺寸涵盖指定块尺寸的范围(例如,指定块尺寸的允许范围)。

(其他)

要注意的是,本说明书中的术语“标志”是指用于标识多种状态的信息,并且不仅包括用于标识两种状态的信息,即,真(1)或假(0),而且包括用于标识三种或更多种状态的信息。因此,“标志”可以采用的值可以是两个值1/0中的一个,或者可以是三个或更多个值中的一个。即,根据需要定义构成“标志”的比特数,因此比特数可以为1或2或更大。另外,关于标识信息(包括标志),在比特流中可以包括标识信息,或者在比特流中可以包括关于标识信息的相对于特定参考信息的差异信息。因此,本说明书中的术语“标志”或“标识信息”不仅包括关于“标志”或“标识信息”的信息,还包括相对于参考信息的差异信息。

另外,可以以任何形式发送或记录与编码数据(比特流)有关的各种信息(例如,元数据),只要该信息与编码数据相关联即可。在此,术语“关联”意味着例如当处理一个数据集时允许使用(链接)另一个数据集。即,彼此相关联的数据集可以组合成一个数据集,或者可以是单独的数据集。例如,可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联的信息。另外,例如,与编码数据(图像)相关联的信息可以被记录在与编码数据(图像)的记录介质不同的记录介质中(或同一记录介质中的与编码数据(图像)的记录区域不同的记录区域中)。要注意的是,可以不对整个数据执行“关联”,而是可以对数据的一部分执行关联。例如,图像和与该图像对应的信息可以按诸如多个帧、一个帧或帧的一部分的任何单元彼此相关联。

要注意的是,本说明书中的术语“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“放入”、“引入”和“插入”意味着将多个项目组合为一个项目,例如将编码数据和元数据组合为一个数据集,因此,其意味着一种用于上述“关联”的方法。

可以将本技术实现为构成装置或系统的任何配置,例如作为系统lsi(大规模集成)等的处理器、使用多个处理器等的模块、使用多个处理器等的单元或者通过向单元添加任何其他功能而获得的集合(即,装置的部分配置)。

要注意的是,根据本技术的实施方式不限于上述实施方式,并且可以在本技术的主旨的范围内进行各种改变。

例如,可以通过其中由多个装置通过网络来共享并协作处理一个功能的云计算来配置本技术。

另外,已经参照上述流程图说明的步骤可以由一个装置执行,或者可以由多个装置共享并执行。

此外,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个装置执行,或者可以由多个装置共享并执行。

此外,本说明书中描述的效果仅是示例,因此不受限制。因此,可以提供任何其他效果。

附图标记列表

10图像编码装置,16无损编码部,26去块滤波器(df),60图像解码装置,62无损解码部,261边界强度计算部,263确定部,265应用必要性/不必要性确定部,267滤波器强度确定部,269滤波部,300df,310确定部,311应用必要性/不必要性确定部,312滤波器强度确定部,320滤波部,330行缓冲器,340控制部,901总线,902cpu,903rom,904ram,905硬盘,906输出部,907输入部,908通信部,909驱动器,910输入/输出接口,911可移除记录介质。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1