图像处理设备及方法
【专利摘要】本发明涉及能够更合适的移除块失真的图像处理设备和方法。在当前区域（C）的量化参数（QPc）与相邻区域（N）的量化参数（QPN）之间的差别被确定为大于预定的阈值时，去块滤波器调整去块滤波处理，从而在当前区域与相邻区域之间的边界上执行更强的滤波。本发明可用在例如图像处理设备中。
【专利说明】图像处理设备及方法
【技术领域】
[0001 ] 本发明涉及图像处理设备及方法，更特别的是，涉及一种图像处理设备以及更适于移除块失真的方法。
【背景技术】
[0002]近几年，通过执行用于压缩图像信息的编码方法来压缩图像的设备被广泛使用，从而将图像信息作为数字信息来操纵，并通过这样实现高效信息传输和累积，其中，压缩图像通过正交变换(例如不连续余弦变换)和通过使用图像信息的固有冗余的运动补偿来实现。这种编码方法可能是例如MPEG (动态图像专家组)。
[0003]特别的，MPEG2 (IS0/IEC13818-2)被定义为一种通用目标的图像编码标准，并可用于交织图像和非交织图像，以及标准分辨率图像和高清晰度图像。MPEG2目前被广泛用于例如专业人士和普通消费者。通过使用MPEG2压缩方法，例如，4至8Mbps的比特率被赋给720 X 480像素的标准分辨率交织图像。另外，通过使用MPEG2压缩方法，例如，18至22Mbps的比特率被赋给1920X 1088像素的高分辨率交织图像。这种方式能实现高压缩率和优越的图像质量。
[0004]MPEG2主要设计为适用于广播的高质量图像编码，但不能与比MPEGl或者涉及更高压缩率的编码方法更低的比特率相兼容。随着移动终端变得流行，今后对这种编码方法的需求有望增加，为了满足这种需求，MPEG4编码方法实现了标准化。关于图像编码方法，IS0/IEC14496-2标准在1998年12月被认定为国际标准。
[0005]在标准化日程中，2003年3月，该标准被认定为在H.264以及MPEG-4第10部分(高级视频码，以下用H.AVC代替)名下的国际标准。
[0006]作为H.264/AVC的延伸，FRExt(保真度范围延伸)在2005年2月被标准化。FRExt包括商用编码工具，例如RGB、4:2:2和4:4:4，以及MPEG-2中规定的8X8DCT和量化矩阵。从而，一种能使得包含胶片噪音的电影优质地呈现出来的编码方法可使用H.264/AVC来实现，并且这种编码方法目前被广泛用于例如蓝光光碟(商标)。
[0007]然而，为了压缩具有大约4000X2000个像素的分辨率的压缩图像(该分辨率是高清晰度图像分辨率的四倍)，或者在如今传输能力有限的互联网上发布高清晰度图像，对于以更高压缩率而进行的编码有了更多的需求。因此，ITU-T下的VCEG (视频编码专家组)仍在继续对于提高编码效率进行研究。
[0008]目前，为了实现比H.264/AVC更高的编码效率，一种叫做HEVC (高效视频码)的编码方法由ITU-T和IS0/IEC的联合标准组织JCTVC (联合合作团队-视频码)作为一种标准进行开发。2011年4月，与HEVC相关的非专利文献I已经作为初稿发布。
[0009]引用清单
[0010]非专利文献
[0011]非专利文献1:Thomas ffiegand, Woo-jin Han, Benjamin Bross, Jens-RainerOhm,以及Gary J.SulIivian, “WD3:Working Draft3of High-Efficiency Video Coding，，，JCTVc-E603, 2011 年 3 月
【发明内容】
[0012]本发明解决的问题
[0013]在待处理的当前块的量化参数(例如，QP=12 )和与当前块相邻的块的量化参数(例如，QP=40)之间具有差别的情况下，会产生明显的块失真。
[0014]然而，在上述的H.264/AVC中，当前块和相邻块的量化参数的差别并没有考虑在内，且由这种差别引起的块失真很难移除。在HEVC中也没有考虑当前块与相邻块的量化参数之间的差别，有必要针对由该差别导致的块失真而采取措施。
[0015]本发明就是针对这些情况而做出的，且能够更有效的移除块失真并增加解码图像中的主观图像质量。
[0016]解决问题的手段
[0017]本发明的一种图像处理设备包括:解码单元，其解码以具有分层结构的单位编码的比特流，并产生图像；滤波单元，其对由解码单元产生的图像执行滤波处理；以及滤波器调整单元，当在由解码单元所产生的图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，其调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。
[0018]滤波器调整单元可以控制滤波单元来选择预定的强滤波处理和预定的弱滤波处理之中更强的一个。
[0019]当该边界是能够在其中设定量化参数的区域的边界时，滤波器调整单元能够调整滤波单元的参数，。
[0020]滤波单元的参数可以是一个边界强度值，且滤波器调整单元可以在边界强度值上加1，并将所得结果设定为边界强度值。
[0021]滤波单元的参数可以是边界强度值，滤波器调整单元可以将4设定为边界强度值。
[0022]滤波单元的参数可以是阈值α和阈值β，滤波器调整单元可以将阈值α和阈值β与“QP+Λ ( Λ >0)”相关联，以代替将阈值α和阈值β与对应的量化参数QP相关联。
[0023]滤波单元的参数可以是量化参数值，滤波器调整单元可以使用当前区域的量化参数和相邻区域的量化参数中较大的一个作为滤波单元的参数。
[0024]滤波单元的参数可以是量化参数值，在当前区域和相邻区域中的一个区域处于IPCM模式时，滤波器调整单元可以使用当前区域和相邻区域中的另一个区域的量化参数来作为滤波单元的参数。
[0025]滤波单元的参数可以是量化参数值，滤波器调整单元可以通过使用量化矩阵的DC分量来修正当前区域和相邻区域的量化参数，并使用修正后的量化参数来确定滤波单元的参数。
[0026]滤波单元的参数可以是量化参数值，在当前区域和相邻区域中的至少一个区域不具有正交变换系数时，滤波器调整单元可以通过使用O、在紧接在该至少一个区域之前的区域中所使用的量化参数、对于紧接在该至少一个区域之前的区域所预测的量化参数值、或者该至少一个区域所属的片段的量化参数来确定滤波单元的参数，作为该至少一个区域的量化参数。
[0027]阈值被设定为在水平方向的滤波处理和垂直方向的滤波处理之间不同的值。
[0028]阈值被设定为根据当前区域的尺寸而变化的值。
[0029]阈值被设定为随着当前区域的尺寸变大而变小的值。
[0030]滤波器调整单元可以控制滤波单元而对由解码单元产生的图像的亮度分量上执行滤波处理。
[0031]该图像处理设备还可以包括差分值计算单元，其计算当前区域的量化参数与相邻区域的量化参数之间的差分值。
[0032]本发明的图像处理方法的一个方面包括:通过以具有分层结构的单位编码的比特流进行解码而产生图像；在所产生的图像中的待处理的当前区域的量化参数值和与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；在所产生的图像上执行滤波处理，图像处理设备执行图像产生、参数调整和滤波处理。
[0033]本发明的图像处理设备的另一个方面包括:滤波单元，当对图像编码时，对本地解码图像执行滤波处理；滤波器调整单元，当在图像中待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；编码单元，通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码
[0034]本发明的图像处理方法的另一个方面包括:当在图像中的待处理的当前区域和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；当图像被编码时，对本地解码的图像执行滤波处理；通过使用作为接受滤波波处理的图像的预测图像，以具有分层结构的单位执行编码，图像处理设备执行参数调整、滤波处理和编码
[0035]本发明的一个方面中，由通过对具有分层结构的单元中所编码的比特流进行解码而产生图像。在所产生的图像中的待处理的当前区域的量化参数值以及与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。进而在所产生的图像上执行滤波处理。
[0036]本发明的另一个方面中，在图像中的待处理的当前区域的量化参数值以及与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域和相邻区域的边界上执行强滤波处理。当对图像进行编码时，在本地解码的图像上执行滤波处理。通过使用作为待接受滤波处理的图像的预测图像，在具有分层结构的单元上执行编码。
[0037]上述图像处理设备中的每个都可以是一个独立的设备，或者是构成图像编码设备的内部块或者是图像解码设备。
[0038]发明的效果
[0039]根据本发明的一个方面，图像可被解码。特别的，能够更合适地移除块失真。
[0040]根据本发明的另一个方面，图像可被编码。特别的，能够更合适地移除块失真。
【专利附图】
【附图说明】[0041]图1是示出了图像编码设备的典型示例结构的方块图。
[0042]图2是解释编码单元的示例结构的示意图。
[0043]图3是解释去块滤波器的处理原理的示意图。
[0044]图4是解释定义Bs的方法的示意图。
[0045]图5是解释去块滤波器的处理原理的示意图。
[0046]图6是示出了指数A和指数B与α和β值之间的对应关系的示例的示意图。
[0047]图7是示出了 Bs、指数A和tCO之间的对应关系的示例的示意图。
[0048]图8是解释去块滤波器的调整的示意图。
[0049]图9是解释区域之间的边界的示意图。
[0050]图10是示出了量化参数差分探测单元和去块滤波器的示例结构的示意图。
[0051 ]图11是解释了编码处理的不例流程的流程图。
[0052]图12是解释了去块滤波处理的示例流程的流程图。
[0053]图13是示出了图像解码设备的典型示例结构的方块图。
[0054]图14是示出了量化参数差分探测单元和去块滤波器的示例结构的示意图。
[0055]图15是解释了解码处理的示例流程的流程图。
[0056]图16是解释了去块滤波处理的示例流程的流程图。
[0057]图17是解释了与IPCM模式兼容的处理的示意图。
[0058]图18是解释了应对量化矩阵的影响的去块滤波处理中的示例流程的流程图。
[0059]图19是解释了与跳过模式兼容的去块滤波处理的示例流程的流程图。
[0060]图20是解释了与跳过模式兼容的处理的示意图。
[0061]图21是示出了计算机的典型示例结构的方块图。
[0062]图22是示意性的示出了电视装置的示例结构的方块图。
[0063]图23是示意性的示出了移动电话设备的示例结构的方块图。
[0064]图24是示意性的示出了记录/再现设备的示例结构的方块图。
[0065]图25是示意性的示出了图像装置的示例结构的方块图。
【具体实施方式】
[0066]如下是实施本发明的方式的说明(以下简称实施例)。将按照以下顺序进行解释。
[0067]1.第一实施例(图像编码设备)
[0068]2.第二实施例(图像解码设备)
[0069]3.第三实施例(与IPCM模式兼容的示例处理)
[0070]4.第四实施例(与量化矩阵兼容的示例处理)
[0071]5.第五实施例(与跳过模式兼容的示例处理)
[0072]6.第六实施例(计算机)
[0073]7、第七实施例(应用示例)
[0074]〈1.第一实施例>
[0075][图像编码设备的示例结构]
[0076]图1示出了本发明所应用的作为图像处理设备的图像编码设备的一个实施例的结构。[0077]图1所示的图像编码设备100通过预测处理来编码图像数据。此处所用的编码方法可以是例如H.264和MPEG (移动图像专家组)4第10部分(AVC(高级视频码))(以下简称H.264/AVC)，或者HEVC (高效视频码)。
[0078]在图1所示的实施例中，图像编码设备100包括Α/D (模/数)转换器101、屏幕重排缓冲器102、算法运算单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。图像编码设备100还包括逆向量化单元108、逆向正交变换单元109、算法运算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、选择单元116和速率控制单元117。
[0079]图像编码设备100还包括量化参数差分探测单元121。
[0080]该Α/D转换器101为Α/D转换提供输入图像数据，将所得图像数据输出并存储在屏幕重排缓冲器102中。
[0081]屏幕重排缓冲器102将所存储的、以播放顺序排列的图像帧按照GOP (图像组)结构重新安排，从而各帧以编码顺序排列。屏幕重排缓冲器102将具有重新排列的帧顺序的图像提供给算法运算单元103。屏幕重排缓冲器102还将具有重新排列的帧顺序的图像提供给帧内预测单元114和运动预测/补偿单元115。
[0082]算法运算单元103从读取自屏幕重排缓冲器102的图像减去预测图像，该预测图像由帧内预测单元114或运动预测/补偿单元115通过选择单元116提供，并将差分信息输出到正交变换单元104。
[0083]当帧内编码在图像上进行时，例如，算法运算单元103从读取自屏幕重排缓冲器102的图像减去由帧内预测单元114提供的预测图像。当帧间编码在图像上执行时，例如，算法运算单元103从读取自屏幕重排缓冲器102的图像减去由运动预测/补偿单元115提供的预测图像。
[0084]正交变换单元104在由算法运算单元103提供的差分信息上执行正交变换处理，例如，离散余弦变换或Karhunen-Loeve变换，并将变换系数提供给量化单元105。
[0085]量化单元105将从正交变换单元104输出的变换系数量化。量化单元105将量化变换系数提供给无损编码单元106。
[0086]无损编码单元106在量化的变换系数上执行无损编码，例如变长编码或算法编码。
[0087]无损编码单元106从帧内预测单元114获取指示帧内预测模式等的信息，并从运动预测/补偿单元115获取指示帧间预测模式、运动矢量信息及类似的信息。
[0088]无损编码单元106不仅对量化的变换系数进行编码，还将各种类型的语法元素，例如帧内预测模式信息、帧间预测模式信息、运动矢量信息以及量化参数，结合(多路复用)到编码数据的头信息中。无损编码单元106将通过编码所获得的编码后的数据提供并储存在累积缓冲器107中。无损编码单元106还将语法元素提供给去块滤波器111以及量化参数差分探测单元121。
[0089]例如，在无损编码单元106中执行无损编码处理，例如变长编码或算法编码。变长编码可以是例如CAVLC (上下文自适应的变长码)。算法编码可以是CABAC (上下文自适应的二进制算法码)等。
[0090]累积缓冲器107暂时存储由无损编码单元106提供的编码后的数据，并将编码后的数据作为编码图像输出给录制设备或在后续步骤中在预定的时间输出给传输路径(未示出)。
[0091]在量化单元105中的量化的变换系数也被提供给逆向量化单元108。该逆向量化单元108通过与量化单元105执行的量化相兼容的方法将量化的变换系数进行逆向量化。逆向量化单元108将所得的变换系数提供给逆向正交变换单元109。逆向量化单元108还将在逆向量化的时候所使用的量化参数提供给去块滤波器111以及量化参数差分探测单元 121。
[0092]逆向正交变换单元109对于与正交变换单元104执行的正交变换处理相兼容的方法所提供的变换系数执行逆向正交变换。向逆向正交变换(恢复的差分信息)的输出被提供给算法运算单元110。
[0093]算法运算单元110将由帧内预测单元114或运动预测/补偿单元115通过选择单元116提供的预测图像与由逆向正交变换单元109或恢复的差分信息提供的逆向正交变换结果相加而获取本地解码图像(被解码的图像)。
[0094]例如，当差分信息对应于待帧内编码的图像时，算法运算单元110将帧内预测单元114提供的预测图像与差分信息相加。当差分信息对应于待帧间编码的图像时，算法运算单元110将运动预测/补偿单元115提供的预测图像与差分信息相加。
[0095]相加结果被提供给去块滤波器111和帧存储器112。
[0096]去块滤波器111通过在所需的位置执行去块滤波处理而从解码图像上移除块失真。在该处理之前，根据来自量化参数差分探测单元121的控制信号，去块滤波器111参考来自逆向量化单元108的量化参数以及来自无损编码单元106的语法元素，并调整去块滤波处理的参数。去块滤波器111将滤波结果提供给帧存储器112。
[0097]在预定的时间，帧存储器112通过选择单元113输出所存储的参考图像至帧内预测单元114或运动预测/补偿单元115。
[0098]例如，当在图像上执行帧内编码时，帧存储器112通过选择单元113将参考图像提供给帧内预测单元114。例如，当在图像上执行帧间编码时，帧存储器112通过选择单元113将参考图像提供给运动预测/补偿单元115。
[0099]当帧存储器112所提供的参考图像是待执行帧内解码的图像时，选择单元113将该参考图像提供给帧内预测单元114。当帧存储器112所提供的参考图像是待执行帧间解码的图像时，选择单元113将该参考图像提供给运动预测/补偿单元115。
[0100]帧内预测单元114通过使用屏幕上的像素值执行帧内预测(屏幕内预测)以产生一预测图像。帧内预测单元114以一种以上的模式(帧内预测模式)执行帧内预测。
[0101]帧内预测单元114产生所有帧内预测模式的预测图像，评估各自的预测图像，并选择最佳模式。在选择了最佳帧内预测模式之后，帧内预测单元114把以最佳预测模式所产生的预测图像通过选择单元116提供给算法运算单元113以及算法运算单元110。
[0102]如上所述的，帧内预测单元114还把信息，例如，指示出所采用的帧内预测模式的帧内预测模式信息，在适当的位置提供给无损编码单元106。
[0103]通过使用由屏幕重排缓冲器102提供的输入图像以及通过选择单元113由帧存储器112提供的参考图像，运动预测/补偿单元115在待帧间编码的图像上执行运动预测，并根据探测到的运动矢量执行补偿处理，从而产生预测图像(帧间预测图像信息)。[0104]运动预测/补偿单元115以所有备选的帧间预测模式执行帧间预测处理，以产生预测图像。运动预测/补偿单元115通过选择单元116将产生的预测图像提供给算法运算单元103和算法运算单元110。
[0105]运动预测/补偿单元115将指示出所采用的帧间预测模式的帧间预测模式信息以及指示出计算所得的运动矢量的运动矢量信息提供给无损编码单元106。
[0106]当在图像上执行帧内编码时，选择单元116将帧内预测单元114的输出提供给算法运算单元103和算法运算单元110。当在图像上执行帧间编码时，选择单元116将运动预测/补偿单元115的输出提供给算法运算单元103和算法运算单元110。
[0107]基于在累积缓冲器107中积累的压缩图像，速率控制单元117控制量化单元105的量化处理速率，从而不会导致溢位或不足。
[0108]通过参考来自无损编码单元106的语法元素和来自逆向量化单元108的量化参数，量化参数差分探测单元121产生当前区域以及与当前区域邻近的相邻区域之间的量化参数差分值。量化参数差分探测单元121将产生的差分值与预定的阈值进行比较，并基于比较结果向去块滤波器111提供控制信号。
[0109][编码单元]
[0110]根据H.264/AVC，一个宏块被分成多个运动比较块，每个运动比较块能够具有不同的运动信息。更确切的，H.264/AVC规定了一种由宏块和子宏块构成的分层结构，但是HEVC(高效视频编码)规定了如图2所示的编码单元(CU)。
[0111]⑶还被称为编码树块(CTB)，并且是与符合H.264/AVC的宏块作用相同的以图片为基础的图像的部分区域。虽然符合H.264/AVC的宏块的大小被局限在16X 16像素，但是编码树块的尺寸并未局限为特定大小，且在每个序列中可以被压缩图像信息指定。
[0112]例如，在待输出的编码数据中包含的序列参数集(SPS)中，⑶的最大的码单元(IXU)和最小的码单元(SCT)被指定。
[0113]在每个IXU中，分割标志=1 (split_flag=l)被设置在不小于SCU大小的范围内，从而，每个LCU能被分成更小大小的多个CUs0在图2所示的例子中，LCU的大小是128，最大分层深度是5。当分割标志的值是“I”时，大小为2NX2N的一个CU被分成多个大小为NXN的、低下一个等级的多个⑶。
[0114]每个⑶都进一步分成多个预测单元(PU)，其为用于帧内或帧间的处理单位区域(以图片为基础的图像的部分区域)，或者被分成多个变换单元(TU)，其为用于正交变换的处理单位区域(以图片为基础的图像的部分区域)。目前，16X16和32X32的正交变换，以及4X4和8X8的正交变换能够用于HEVC。
[0115]在CU被定义的情况下，在编码处理中每个处理操作以CU为基础来执行，与根据HEVC的处理中一样，符合H.264/AVC的宏块可被认为是与IXU。然而，一个⑶具有如图2所示的分层结构。因此，最高等级的IXU的大小通常为128X 128像素，大于例如符合H.264/AVC的每个宏块的大小。
[0116]本发明不仅可用于使用符合H.264/AVC的宏块的编码方法，还可以与根据HEVC的处理一样用于使用⑶、Pu、TU等的编码方法。也即，一个“块”和一个“单元”指的都是“处理单位区域”，因此，一个“处理单位区域”是一个块或一个单元，将在下文中使用。
[0117]在下述涉及H.264/AVC的例子的说明中，在说明书中使用了块，块是作为HEVC中的单元的处理单位区域。相反，在涉及HEVC的例子的说明中，在说明书中使用了单元，单元是作为H.264/AVC中的块的处理单位区域。
[0118][去块滤波器]
[0119]接下来描述与H.264/AVC兼容的去块滤波器。去块滤波器111消除包括在运动补偿循环和解码的图像中的块失真，或者在处理单位区域中的失真。结果，防止了块失真传递到在运动补偿处理中参照的图像。
[0120]去块滤波器的处理可以依照下面两个参数，从以下三种选项(a)至(C)中进行选择:
[0121]包括在图片参数组RBSP (原始字节序列负荷)中的deblocking_filter_control_present_flag (去块滤波器控制存在标志)，以及包含在片段头部(Slice Header)中的disable_deblocking—filter_dic。
[0122](a)将在块边界或宏块边界执行
[0123](b)将仅在宏块边界执行
[0124](C)不执行
[0125]对于量化参数QP，当以下处理对于亮度信号执行时使用QPY，当以下处理对于色度信号执行时使用QPC。在运动矢量解码、帧内预测和熵编码(CAVLC/CABAC)中，属于不同片段的像素值被处理为“不可用”。然而，在去块滤波处理中，属于不同片段但属于相同图片的像素值被处理为“可用”。
[0126]待接受去块滤波处理的像素值由PO至p3和q0至q3表示，处理后的像素值由p0’至p3’和q0’至q3’表示,如图3所示。
[0127]在去块滤波处理之前，作为块边界强度数据的Bs (边界强度)被对于每个像素P和q定乂，如图3及图4中的表所不。
[0128]如图4所示，当像素P或q中任一个属于待接受帧内编码的宏块且该像素位于宏块之间的边界上时，指示出最高的滤波强度的“4”被分配给Bs。
[0129]当像素P或q中任一个属于待接受帧内编码的宏块且该像素不位于宏块之间的边界上时，指示出在“4”之后最高的滤波强度的“3”被分配给Bs。
[0130]当像素P和q都不属于待接受帧内编码的宏块且其中一个像素具有变换系数时，指示出在“ 3 ”之后最高的滤波强度的“ 2 ”被分配给Bs。
[0131]当像素P和q都不属于待接受帧内编码的宏块，任何像素都不具有变换系数且像素具有不同的参考帧、不同数量的参考帧或不同的运动矢量时，Bs是“I”。
[0132]当像素P和q都不属于待接受帧内编码的宏块，且两个像素都不具有变换系数但具有相同的参考帧和相同的运动矢量时，Bs是“O”。需要注意的是，“O”表示没有执行任一个滤波处理。
[0133]仅当如下式⑴和式⑵中的两个条件都得到满足时，图3中的去块滤波处理才在(p2, pi, p0, q0, ql 和 q2)上执行。
[0134]Bs>0...(I)
[0135]p0-q0 | < α ； pl-p0 | < β ; | ql_ql |〈 β...(2)
[0136]虽然式(2)中的α和β的值根据如下所示的默认设置中的QP确定，但用户能够通过使用包含在编码数据的片段头部的两个参数“slice_alpha_c0_offset_div2”和“slice_beta_offset_div2”来调整强度,如图中的箭头所指。
[0137]图5示出了 QP和阈值α之间的关系。当在QP上增加偏移量时，在表示出QP和阈值α的关系的曲线沿如图所示的方向偏移。因此，很明显的可以调整滤波强度。
[0138]另外，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式⑶和式⑷来计算“指数A (indexA)”，阈值α由图6的A中的表确定。类似的，通过使用彼此相邻的块P和块Q各自的量化参数qPp和qPq根据如下所示的式⑶和式(5)来计算“指数B (indexB)”，阈值β由图6的B中的表确定。“指数Α”和“指数Α”由如下的式⑶至式(5)定义。
[0139]qPav = (qPp+qPq+l)?l...(3)
[0140]指数A=Cl ip3 (0，51，qPa V+Fi IterOffsetA)...(4)
[0141]指数B=Clip3 (0，51，qPav+FilterOffsetB)...(5)
[0142]在式(4)和式(5)中，“FilterOffsetA”和 “FilterOffsetB” 与用户欲调整的部分等同。
[0143]在Bs〈4和Bs=4的情况下，为去块滤波处理定义了不同的方法，如下。
[0144]首先，在Bs〈4的情况下，用于去块滤波处理的像素值P’ O和q’ O根据如下的式(6)至式⑶计算。
[0145]Δ =Clip3 (~tc, tc ((((q0-p0) ?2) + (pl-ql) +4) ?3))...(6)
[0146]p’0=Clipl(p0+Λ )...(7)
[0147]q，0=Clipl(q0+Λ)...(8)
[0148]此处,t。按照如下所示的式(9)或式(10)来计算。特别的，当“chromaEdgeFlag”的值是O时，tc根据如下的式(9)来计算。
[0149]tc=tc0+ ((ap< β ) ?1:0) + ((aq< β ) ?1:0)...(9)
[0150]当“chromaEdgeFlag”的值不是O时，t。根据如下的式(10)来计算。
[0151]tc=tc0+l...(10)
[0152]tc0的值根据Bs和“指数A”的值来定义，如图7的A和图7的B的表中所示。
[0153]另外，式(9)中\和a,的值根据如下的式(11)和(12)来计算。
[0154]ap=|p2_p0|...(11)
[0155]aq= I q2-q0...(12)
[0156]接受了去块滤波处理的像素值P’ I如下确定。特别地，当“chromaEdgeFlag”的值是O且ap等于或小于β的情况下，P’ I根据如下所示的式(13)来计算。
[0157]p' I=pl+Clip3 (-tc0, tc0, (p2+((p0+q0+l) ?1) - (pl?l)) ?1)...(13)
[0158]当不满足式(13)时，p’ I根据如下所示的式(14)来计算。
[0159]p’ l=pl...(14)
[0160]接受了去块滤波处理的像素值q’ I如下确定。特别地，当“chromaEdgeFlag”的值是O且a,等于或小于β的情况下，q’ I根据如下所示的式(15)来计算。
[0161]q' I=ql+Clip3 (-tc0, tc0, (q2+((p0+q0+l) ?1) - (ql?l)) ?1)...(15)
[0162]当不满足式(15)时，q’ I根据如下所示的式(16)来计算。
[0163]q，l=ql...(16)
[0164]P’2和q’2的值与滤波前p2和q2的值相等。特别地，P’2根据如下所示的式(17)来确定，并且q’ 2根据如下所示的式(18)来确定。
[0165]p’ 2=p2...(17)
[0166]q’ 2=q2...(18)
[0167]接下来，在Bs=4的情况下，接受了去块滤波处理的像素值P’ i (i=0,…，2)如下计算。当“chromaEdgeFlag”的值是O且式(19)所示的条件得到满足，P’ O, p’ I和p，2根据以下的式(20)至(22)确定。
[0168]
【权利要求】
1.一种图像处理设备包括: 解码单元，其构造为解码以具有分层结构的单位编码的比特流，并产生图像； 滤波单元，其构造为对由解码单元产生的图像执行滤波处理；以及滤波器调整单元，其构造为当在由解码单元所产生的图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理。
2.根据权利要求1所述的图像处理设备，其中，滤波器调整单元控制滤波单元来选择预定的强滤波处理和预定的弱滤波处理之中更强的一个。
3.根据权利要求1所述的图像处理设备，其中，当该边界是能够在其中设定量化参数的区域的边界时，滤波器调整单元调整滤波单元的参数。
4.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是边界强度值，且 滤波器调整单元在边界强度值上加1，并将所得结果设定为边界强度值。
5.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是边界强度值，且 滤波器调整单元将4设定为边界强度值。
6.根据权利要求1所述的图像处理设备，其中，` 滤波单元的参数是阈值α和阈值β，且 滤波器调整单元将阈值α和阈值β与“QP+Λ ( Λ >0)”相关联，以代替将阈值α和阈值β与对应的量化参数QP相关联。
7.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是量化参数值，且 滤波器调整单元使用当前区域的量化参数和相邻区域的量化参数中较大的一个作为滤波单元的参数。
8.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是量化参数值，且 在当前区域和相邻区域中的一个区域处于帧内脉冲编码调制(IPCM)模式时，滤波器调整单元使用当前区域和相邻区域中的另一个区域的量化参数来作为滤波单元的参数。
9.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是量化参数值，且 滤波器调整单元通过使用量化矩阵的DC分量来校正当前区域和相邻区域的量化参数，并使用校正后的量化参数来确定滤波单元的参数。
10.根据权利要求1所述的图像处理设备，其中， 滤波单元的参数是量化参数值，且 在当前区域和相邻区域中的至少一个区域不具有正交变换系数时，滤波器调整单元通过使用O、在紧接在该至少一个区域之前的区域中所使用的量化参数、对于紧接在该至少一个区域之前的区域所预测的量化参数值、或者该至少一个区域所属的片段的量化参数来确定滤波单元的参数，作为该至少一个区域的量化参数。
11.根据权利要求1所述的图像处理设备，其中，阈值被设定为在水平方向的滤波处理和垂直方向的滤波处理之间不同的值。
12.根据权利要求1所述的图像处理设备，其中，阈值被设定为根据当前区域的尺寸而不同的值。
13.根据权利要求12所述的图像处理设备，其中，阈值被设定为随着当前区域的尺寸变大而变小的值。
14.根据权利要求1所述的图像处理设备，其中，滤波器调整单元控制滤波单元而对由解码单元产生的图像的亮度分量上执行滤波处理。
15.根据权利要求1所述的图像处理设备，还包括 差分值计算单元，其构造为计算当前区域的量化参数与相邻区域的量化参数之间的差分值。
16.—种图像处理方法包括: 通过对以具有分层结构的单位编码的比特流进行解码而产生图像； 在所产生的图像中的待处理的当前区域的量化参数值和与该当前区域临近的相邻区域的量化参数值之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及 在所产生的图像上执行滤波处理， 图像处理设备执行图像产生、参数调整和滤波处理。
17.一种图像处理设备包括:` 滤波单元，构造为当对图像编码时，对本地解码图像执行滤波处理； 滤波器调整单元，构造为当在图像中的待处理的当前区域的量化参数和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波单元的参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理；以及 编码单元，通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码。
18.—种图像处理方法包括: 当在图像中的待处理的当前区域和与该当前区域临近的相邻区域的量化参数之间的差分值大于阈值时，调整滤波器参数，从而在当前区域与相邻区域之间的边界上执行强滤波处理； 当图像被编码时，对本地解码的图像执行滤波处理； 通过使用作为接受过滤波处理的图像的预测图像，以具有分层结构的单位执行编码， 图像处理设备执行参数调整、滤波处理和编码。
【文档编号】H04N19/117GK103563374SQ201280024425
【公开日】2014年2月5日 申请日期:2012年4月27日 优先权日:2011年5月27日
【发明者】佐藤数史 申请人:索尼公司