图像处理装置和方法

图像处理装置和方法
【专利摘要】本公开内容涉及使得可以更适当地去除块畸变以提高解码图像质量的图像处理装置和方法。基于来自自适应偏移单元的四叉树结构信息，去块滤波器控制单元确定去块滤波处理的对象区域是否为自适应偏移处理的对象区域的边界。当去块滤波处理的对象区域是自适应偏移处理的对象区域的边界时，去块滤波器控制单元将用于增大滤波强度的控制信息提供给去块滤波器。例如，本公开内容可被应用于图像处理装置。
【专利说明】图像处理装置和方法
【技术领域】
[0001]本公开涉及图像处理装置和方法，更具体地，涉及一种被设计为提高解码图像质量的图像处理装置和方法。
【背景技术】
[0002]近年来，通过实现用于使用图像信息固有的冗余性来通过正交变换(例如，离散余弦变换)和运动补偿压缩图像信息的编码方法来压缩图像的设备已经普及，以便将图像信息处理为数字信息并在这样做的过程中实现高效的信息传输和累积。例如，该编码方法可以是MPEG (运动图片专家组)。
[0003]特别地，MPEG2(IS0/IEC13818-2)被定义为通用图像编码标准，并且可应用于隔行扫描图像和非隔行扫描图像、以及标准分辨率图像和高清晰度图像。例如，MPEG2当前在广泛的专业人士和普通消费者的应用中被使用。通过使用MPEG2压缩方法，例如，4至8Mbps的比特率被分配给具有720X480像素的标准分辨率隔行扫描图像。此外，通过使用MPEG2压缩方法，例如，18至22Mbps的比特率被分配给具有1920 X 1088像素的高分辨率隔行扫描图像。以这样的方式,可以实现高压缩率和良好的图像质量。
[0004]MPEG2被设计为主要用于适合于广播的高质量图像编码，但是与比MPEGl低的比特率或者涉及较高压缩率的编码方法不兼容。随着移动终端正变得流行，对于这种编码方法的需求将来有望增加，并且为了满足该需求，MPEG4编码方法被标准化。关于图像编码方法，IS0/IEC14496-2标准在1998年12月被批准为国际标准。
[0005]在标准化时间表上，该标准于2003年3月以H.264和MPEG-4第10部分(高级视频编码，在下文中被称为H.264/AVC)的名称被批准为国际标准。
[0006]作为H.264/AVC的扩展，FRExt(保真度范围扩展)于2005年2月被标准化。FRExt包括用于商业使用的编码工具，例如RGB、4:2:2和4:4: 4，以及在MPEG-2中规定的8 X 8DCT和量化矩阵。结果，通过使用H.264/AVC来实现用于能够良好地呈现含有影片噪声的电影的编码方法，并且编码方法现在用于广泛的应用，例如蓝光盘(商标名)。
[0007]但是，对于以更高的压缩率进行编码的需求正在增加，以便压缩具有作为高清晰度图像分辨率的四倍的约4000 X 2000像素的分辨率的图像，或者，在如因特网中的传输容量被限制的当今的情况下分发高清晰度图像。因此，ITU-T下的VCEG (视频编码专家组)仍继续进行对提闻编码效率的研究。
[0008]作为提高编码效率的技术之一，提出了在运动补偿环路中合并FIR滤波器(例如，参见非专利文献I)。在编码装置中，用维纳滤波器确定FIR滤波系数，以便最小化与输入图像有关的误差。以这样的方式，参考图像中的劣化可以被最小化，并且可以提高在编码要输出的压缩图像信息时的效率。
[0009]当前，为了实现比H.264/AVC更高的编码效率，被称为HEVC (高效视频编码)的编码方法正被JCTVC (联合协作团队-视频编码)开发为标准，JCTVC是ITU-T和IS0/IEC的联合标准组织(例如，参见非专利文献2)。[0010]根据HEVC，编码单元(⑶)被定义为处理单元，比如AVC的宏块。与AVC的宏块不同，CU未被固定为16X16像素的尺寸。CU的尺寸按每一个序列在压缩图像信息中被指定。
[0011]⑶形成包括最大编码单元(IXU)和最小编码单元(SOT)的分层结构。粗略地讲，IXU可以被视为等同于AVC的宏块，并且在比IXU低的分层级别上的⑶(小于IXU的⑶)可以被视为等同于AVC的子宏块。
[0012]根据HEVC，采用在非专利文献3中提出的使用自适应偏移滤波器的方法。根据HEVC，自适应偏移滤波器被放置在去块滤波器和自适应环路滤波器之间。
[0013]关于自适应偏移类型，存在两个“带偏移”类型和六个“边缘偏移”类型。也可以使用“无偏移”。可以根据“四叉树”来分割图像，并且可以选择上述自适应偏移类型之一，以在每个分割区域中进行编码。通过使用该方法，可以提高编码效率。
[0014]引用列表
[0015]非专利文献
[0016]非专利文献1:Takeshi Chujoh, Goki Yasuda, Naofumi Wada, TakashiWatanabe, Tomoo Yamakage, " Block-based Adaptive Loop Filter" , VCEG-AI18, ITU-Telecommunications Standardization SectorSTUDY GROUP16Question6Video CodingExperts Group (VCEG)，第 35 次会议:德国，柏林，2008 年 7 月 16-18 日，
[0017]非专利文献2:Thomas ffiegand, Woo-Jin Han, Benjamin Bross, Jens-RainerOhm,Gary J.Sullivan, " Working Draf t4of High-Efficiency VideoCoding" , JCTVC-F803, Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTC1/SC29/WG11，第 6 次会议:意大利，托里诺，2011 年 7 月 14-22曰，
[0018]非专利文献3:Chih_Ming Fu, Ching-Yeh Chen, Yu-ffen Huang, ShawminLei, " CE8Subtest3:Picture Quality Adaptive Offset "，JCTVC-D122, JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTCl/SC29/WG11，第4次会议:韩国，大邱，2011年I月20-28日。

【发明内容】

[0019]本发明所要解决的问题
[0020]但是，非专利文献3中提出的方法是在块的基础上实现的。当在去块滤波处理之后执行这种基于块的处理时，可能会发生块畸变。
[0021]鉴于这些情况而做出了本公开内容，并且本公开内容更适当地去除块畸变并且提高解码图像质量。
[0022]问题的解决方案
[0023]本公开内容的一个方面的图像处理装置包括:解码单元，被配置为对编码流进行解码以产生图像；自适应偏移处理单元，被配置为对由解码单元产生的图像执行自适应偏移处理；去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理。[0024]当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元可调整去块滤波处理的强度。
[0025]当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元可调整去块滤波处理的强度。
[0026]去块滤波器调整单元可利用边界强度值调整去块滤波处理的强度。
[0027]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过将边界强度值增加+1来调整去块滤波处理的强度。
[0028]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过将边界强度值调整为4来调整去块滤波处理的强度。
[0029]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可利用值α或值β来调整去块滤波处理的强度。
[0030]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过使用将量化参数QP和预定值AQP相加得到的值执行表缩小来确定值α或值β。
[0031]本公开内容的一个方面的图像处理方法包括:通过对编码流进行解码来产生图像；对产生的图像执行自适应偏移处理；当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及以调整的强度对经过自适应偏移处理的图像执行去块滤波处理。
[0032]本公开内容的另一个方面的图像处理装置包括:自适应偏移处理单元，被配置为对在图像编码时被局部解码的图像执行自适应偏移处理；去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理；以及编码单元，被配置为通过使用经过去块滤波单元的去块滤波处理的图像来对图像进行编码。
[0033]当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元可调整去块滤波处理的强度。
[0034]当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元可调整去块滤波处理的强度。[0035]去块滤波器调整单元可利用边界强度值调整去块滤波处理的强度。
[0036]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过将边界强度值增加+1来调整去块滤波处理的强度。
[0037]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过将边界强度值调整为4来调整去块滤波处理的强度。
[0038]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可利用值α或值β来调整去块滤波处理的强度。
[0039]当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元可通过使用将量化参数QP和预定值AQP相加得到的值执行表缩小来确定值α或值β。
[0040]本公开内容的另一个方面的图像处理方法包括:对在图像编码时被局部解码的图像执行自适应偏移处理；当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以调整的强度对经过自适应偏移处理的图像执行去块滤波处理；以及通过使用经过去块滤波处理的图像来对图像进行编码，图像处理装置执行自适应偏移处理，调整去块滤波处理的强度，执行去块滤波处理，并且对图像进行编码。
[0041]在本公开内容的一个方面中，通过对编码流进行解码来产生图像，并且对产生的图像执行自适应偏移处理。当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域位于自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度，并且以调整的强度对经过自适应偏移处理的图像执行去块滤波处理。
[0042]在本公开内容的另一个方面中，对在图像编码时被局部解码的图像执行自适应偏移处理。当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域位于自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度。然后，以调整的强度对经过自适应偏移处理的图像执行去块滤波处理，并且通过使用经过去块滤波处理的图像来对图像进行编码。
[0043]上述图像处理装置中的每一个可以是独立的装置，或者可以是图像编码装置或图像解码装置中的内部块。
[0044]本发明的效果
[0045]根据本公开内容的一个方面，可以对图像进行解码。特别地，可以更适当地去除块畸变，并且可以提高解码图像质量。
[0046]根据本公开内容的另一个方面，可以对图像进行编码。特别地，可以更适当地去除块畸变，并且可以提高解码图像质量。
【专利附图】

【附图说明】
[0047]图1是示出符合H.264/AVC的图像编码装置的典型的示例结构的框图。
[0048]图2是示出符合H.264/AVC的图像解码装置的典型的示例结构的框图。[0049]图3是示出使用自适应环路滤波器的图像编码装置的典型的示例结构的框图。
[0050]图4是示出使用自适应环路滤波器的图像解码装置的典型的示例结构的框图。
[0051]图5是用于说明去块滤波器的操作原理的图。
[0052]图6是用于说明定义Bs的方法的图。
[0053]图7是用于说明去块滤波器的操作原理的图。
[0054]图8是示出索引A和索引B与α和β的值之间的对应关系的示例的图。
[0055]图9是示出Bs、索引A和tcO之间的对应关系的示例的图。
[0056]图10是用于说明编码单元的示例结构的图。
[0057]图11是用于说明根据HEVC的自适应偏移处理的图。
[0058]图12是用于说明四叉树结构的图。
[0059]图13是用于说明带偏移的图。
[0060]图14是用于说明边缘偏移的图。
[0061]图15是示出边缘偏移规则列表的图。
[0062]图16是示出本公开内容的图像编码装置的典型的示例结构的框图。
[0063]图17是示出自适应偏移单元和去块滤波器的示例结构的图。
[0064]图18是用于说明编码处理的示例流程的流程图。
[0065]图19是用于说明环路内滤波处理的示例流程的流程图。
[0066]图20是用于说明自适应偏移处理的示例流程的流程图。
[0067]图21是示出图像解码装置的典型的示例结构的框图。
[0068]图22是示出自适应偏移单元和去块滤波器的示例结构的框图。
[0069]图23是用于说明解码处理的示例流程的流程图。
[0070]图24是用于说明环路内滤波处理的示例流程的流程图。
[0071]图25是用于说明自适应偏移处理的示例流程的流程图。
[0072]图26是示出计算机的典型的示例结构的框图。
[0073]图27是示意性地示出电视设备的示例结构的框图。
[0074]图28是示意性地示出便携式电话装置的示例结构的框图。
[0075]图29是示意性地示出记录/再现设备的示例结构的框图。
[0076]图30是示意性地示出成像设备的示例结构的框图。
【具体实施方式】
[0077]下面将描述用于实施本公开内容的方式(在下文中被称为实施例)。将按照以下顺序进行说明。
[0078]1.对传统方法的描述
[0079]2.第一实施例(图像编码装置)
[0080]3.第二实施例(图像解码装置)
[0081]4.第三实施例(个人计算机)
[0082]5.示例应用
[0083]〈1.第一实施例>
[0084][符合H.264/AVC的图像编码装置][0085]图1示出通过H.264和MPEG (运动图片专家组)4第10部分(AVC (高级视频编码))编码方法对图像进行编码的图像编码装置的实施例的结构。在下文中，H.264和MPEG编码方法将被简称为H.264/AVC。
[0086]在图1中示出的示例中，图像编码装置I被设计为包括Α/D转换器11、画面重排列缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器
17、逆量化单元18、逆正交变换单元19和算术运算单元20。图像编码装置I还被设计为包括去块滤波器21、帧存储器22、选择单元23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。
[0087]Α/D转换器11对输入图像数据执行Α/D转换，将图像数据输出到画面重排列缓冲器12，并且在画面重排列缓冲器12中存储图像数据。画面重排列缓冲器12根据GOP (图片组)结构来对按显示顺序存储的图像帧进行重排列，使得这些帧按编码顺序排列。画面重排列缓冲器12将具有重排列的帧顺序的图像供应到算术运算单元13。画面重排列缓冲器12还将具有重排列的帧顺序的图像供应到帧内预测单元24和运动预测/补偿单元25。
[0088]算术运算单元13从自画面重排列缓冲器12读取的图像中减去经由预测图像选择单元26从帧内预测单元24或运动预测/补偿单元25供应的预测图像，并且将差信息输出到正交变换单元14。
[0089]例如，在对图像执行帧内编码时，算术运算单元13从自画面重排列缓冲器12读取的图像中减去从帧内预测单元24供应的预测图像。例如，在对图像执行帧间编码时，算术运算单元13从自画面重排列缓冲器12读取的图像中减去从运动预测/补偿单元25供应的预测图像。
[0090]正交变换单元14对从算术运算单元13供应的差信息执行正交变换，例如离散余弦变换或Karhunen-Loeve变换，并且正交变换单元14将变换系数供应到量化单元15。
[0091]量化单元15对从正交变换单元14输出的变换系数进行量化。基于从速率控制单元27供应的目标比特率信息，量化单元15设置量化参数并执行量化。量化单元15将量化的变换系数供应到无损编码单元16。
[0092]无损编码单元16对量化的变换系数执行无损编码，例如可变长度编码或算术编码。由于系数数据在速率控制单元27的控制下已经被量化，所以比特率与由速率控制单元27设置的目标值相等(或者接近目标值)。
[0093]无损编码单元16从帧内预测单元24获得指示帧内预测等的信息，并且从运动预测/补偿单元25获得指示帧间预测模式、运动向量信息等的信息。指示帧内预测(画面内预测)的信息将在下文中也被称为帧内预测模式信息。指示帧间预测(画面内预测)的信息将在下文中被称为帧间预测模式信息。
[0094]无损编码单元16不仅对量化的变换系数进行编码，而且将诸如滤波系数、帧内预测模式信息、帧间预测模式信息和量化参数的各种信息合并(多路复用)到编码数据的头部信息中。无损编码单元16将通过编码获得的编码数据供应并存储到累积缓冲器17中。
[0095]例如，在无损编码单元16中，执行无损编码处理，例如可变长度编码或算术编码。例如，可变长度编码可以是由H.264/AVC指定的CAVLC (上下文自适应可变长度编码)。算术编码可以是CABAC (上下文自适应二进制算术编码)等。
[0096]累积缓冲器17临时保持从无损编码单元16供应的编码数据。例如，累积缓冲器17在预定的时间将累积的编码数据作为被H.264/AVC编码的编码数据输出到后一级的记录装置或传输路径(未示出)。也就是说，累积缓冲器17也充当发送编码数据的发送单元。
[0097]在量化单元15处量化的变换系数也被供应到逆量化单元18。逆量化单元18通过与由量化单元15执行的量化对应的方法对量化的变换系数进行逆量化。逆量化单元18将获得的变换系数供应到逆正交变换单元19。
[0098]逆正交变换单元19通过与由正交变换单元14执行的正交变换处理对应的方法来对供应的变换系数执行逆正交变换。将经过逆正交变换的输出(恢复的差信息)供应到算术运算单元20。
[0099]算术运算单元20通过将经由预测图像选择单元26从帧内预测单元24或运动预测/补偿单元25供应的预测图像与从逆正交变换单元19供应的逆正交变换结果或者恢复的差信息相加来获得局部解码的图像(解码图像)。
[0100]例如，在差信息对应于要被帧内编码的图像时，算术运算单元20将从帧内预测单元24供应的预测图像与差信息相加。例如，在差信息对应于要被帧间编码的图像时，算术运算单元20将从运动预测/补偿单元25供应的预测图像与差信息相加。
[0101]相加结果被供应到去块滤波器21或帧存储器22。
[0102]去块滤波器21在需要的时候通过执行去块滤波处理来从解码图像中去除块畸变。去块滤波器21向帧存储器22供应滤波处理结果。从算术运算单元20输出的解码图像可以被供应到帧存储器22，而不需要通过去块滤波器21。即，可以跳过由去块滤波器21进行的去块滤波处理。
[0103]帧存储器22存储供应的解码图像，并且在预定的时间经由选择单元23将存储的解码图像作为参考图像输出到帧内预测单元24或运动预测/补偿单元25。
[0104]例如，在对图像执行帧内编码时，帧存储器22经由选择单元23将参考图像供应到帧内预测单元24。例如，在对图像执行帧间编码时，帧存储器22经由选择单元23将参考图像供应到运动预测/补偿单元25。
[0105]在从帧存储器22供应的参考图像是要进行帧内编码的图像时，选择单元23将参考图像供应到帧内预测单元24。在从帧存储器22供应的参考图像是要进行帧间编码的图像时，选择单元23将参考图像供应到运动预测/补偿单元25。
[0106]帧内预测单元24通过使用经由选择单元23从帧存储器22供应的当前图片中的像素值来执行帧内预测(画面内预测)以产生预测图像。帧内预测单元24以预先准备的一种以上的模式(帧内预测模式)来执行帧内预测。
[0107]根据H.264/AVC，针对亮度信号定义帧内4X4预测模式、帧内8X8预测模式和帧内16X16预测模式。关于色度信号，可以为每一个宏块定义与亮度信号无关的预测模式。在帧内4X4预测模式中，为每一个4X4亮度块定义一个帧内预测模式。在帧内8X8预测模式中，为每一个8X8亮度块定义一个帧内预测模式。在帧内16X16预测模式中并且针对色度信号，为每一个宏块定义一个预测模式。
[0108]帧内预测单元24在所有的候选帧内预测模式中产生预测图像，通过使用从画面重排列缓冲器12供应的输入图像来评估各个预测图像的成本函数值，并且选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元24经由预测图像选择单元26将在最佳模式中产生的预测图像供应到算术运算单元13和算术运算单元20。[0109]如上所述，帧内预测单元24也在适当的时候将指示所采用的帧内预测模式的信息(例如，帧内预测模式信息)供应到无损编码单元16。
[0110]使用从画面重排列缓冲器12供应的输入图像和经由选择单元23从帧存储器22供应的参考图像，运动预测/补偿单元25对要进行帧间编码的图像执行运动预测(帧间预测)。运动预测/补偿单元25根据检测到的运动向量执行运动补偿处理，以产生预测图像(帧间预测图像信息)。运动预测/补偿单元25以预先准备的一种以上的模式(帧间预测模式)来执行这种帧间预测。
[0111]运动预测/补偿单元25在所有的候选帧间预测模式中产生预测图像，评估各个预测图像的成本函数值，并且选择最佳模式。运动预测/补偿单元25经由预测图像选择单元26将产生的预测图像供应到算术运算单元13和算术运算单元20。
[0112]运动预测/补偿单元25将指示所采用的帧间预测模式的帧间预测模式信息和指示计算出的运动向量的运动向量信息供应到无损编码单元16。
[0113]当对图像执行帧内编码时，预测图像选择单元26将帧内预测单元24的输出供应到算术运算单元13和算术运算单元20。当对图像执行帧间编码时，预测图像选择单元26将运动预测/补偿单元25的输出供应到算术运算单元13和算术运算单元20。
[0114]基于在累积缓冲器17中存储的压缩图像，速率控制单元27控制量化单元15的量化运算速率，以便不会引起上溢或下溢。
[0115][符合H.264/AVC的图像解码装置]
[0116]图2是示出通过正交变换(例如，离散余弦变换或Karhunen-Loeve变换)和运动补偿实现图像压缩的图像解码装置的典型的示例结构的框图。图2中示出的图像解码装置31是与图1中示出的图像编码装置I对应的解码装置。
[0117]由图像编码装置I编码的数据经由诸如传输路径或记录介质的通道被供应到与图像编码装置I对应的图像解码装置31，然后被解码。
[0118]如图2所示，图像解码装置31被设计为包括累积缓冲器41、无损解码单元42、逆量化单元43、逆正交变换单元44、算术运算单元45、去块滤波器46、画面重排列缓冲器47和D/Α转换器48。图像解码装置31还包括帧存储器49、选择单元50、帧内预测单元51、运动补偿单元52和图像选择单元53。
[0119]累积缓冲器41接收和累积发送的编码数据。即，累积缓冲器41也充当接收所发送的编码数据的接收单元。编码数据由图像编码装置I进行了编码。无损解码单元42在预定的时间通过与由图1中示出的无损编码单元16使用的编码方法对应的方法，对从累积缓冲器41读取的编码数据进行解码。
[0120]在当前帧是帧内编码帧时，编码数据的头部存储帧内预测模式信息。无损解码单元42也对帧内预测模式信息进行解码，并且将作为结果的信息供应到帧内预测单元51。另一方面，在当前帧是帧间编码帧时，编码数据的头部存储运动向量信息。无损解码单元42也对运动向量信息进行解码，并且将作为结果的信息供应到运动补偿单元52。
[0121]逆量化单元43通过与由图1中示出的量化单元15使用的量化方法对应的方法来对由无损解码单元42解码的系数数据(量化系数)进行逆量化。即，逆量化单元43通过与由图1中示出的逆量化单元18使用的方法相同的方法来对量化系数进行逆量化。
[0122]逆量化单元43将逆量化的系数数据或者正交变换系数供应到逆正交变换单元44。逆正交变换单元44通过与由图1中示出的正交变换单元14使用的正交变换方法对应的方法(与由图1中示出的逆正交变换单元19使用的方法相同的方法)来对正交变换系数进行逆正交变换，并且获得与在由图像编码装置I执行的正交变换之前的残差数据对应的解码的残差数据。例如，执行四阶逆正交变换。
[0123]通过逆正交变换获得的解码的残差数据被供应到算术运算单元45。预测图像也经由图像选择单元53从巾贞内预测单元51或运动补偿单元52供应到算术运算单元45。
[0124]算术运算单元45将解码的残差数据与预测图像相加，并且获得与在由图像编码装置I的算术运算单元13执行的预测图像减法之前的图像数据对应的解码的图像数据。算术运算单元45将解码的图像数据供应到去块滤波器46。
[0125]去块滤波器46从供应的解码图像中去除块畸变，并且将图像供应到画面重排列缓冲器47。
[0126]画面重排列缓冲器47执行图像重排列。具体地，由图1中示出的画面重排列缓冲器12按照编码顺序重排列的帧序列被按照原始的显示顺序进行重排列。D/Α转换器48对从画面重排列缓冲器47供应的图像执行D/Α转换，并且将转换后的图像输出到显示器(未示出)以显示图像。
[0127]去块滤波器46的输出还被供应到帧存储器49。
[0128]帧存储器49、选择单元50、帧内预测单元51、运动补偿单元52和图像选择单元53分别等同于图像编码装置I中的帧存储器22、选择单元23、帧内预测单元24、运动预测/补偿单元25以及预测图像选择单元26。
[0129]选择单元50从帧存储器49读取要被帧间处理的图像和要参考的图像，并且将这些图像供应到运动补偿单元52。选择单元50也从帧存储器49读取要用于帧内预测的图像，并且将该图像供应到帧内预测单元51。
[0130]在适当的时候，通过对头部信息进行解码而获得的并且指示帧内预测模式等的信息从无损解码单元42供应到帧内预测单元51。基于信息，帧内预测单元51从自帧存储器49获得的参考图像产生预测图像，并且将产生的预测图像供应到图像选择单元53。
[0131]运动补偿单元52从无损解码单元42获得通过对头部信息进行解码获得的信息(预测模式信息、运动矢量信息、参考帧信息、标志、各个参数等)。
[0132]基于从无损解码单元42供应的信息，运动补偿单元52从自帧存储器49获得的参考图像产生预测图像，并且将产生的预测图像供应到图像选择单元53。
[0133]图像选择单元53选择由运动补偿单元52或帧内预测单元51产生的预测图像，并且将预测图像供应到算术运算单元45。
[0134][自适应环路滤波器的细节]
[0135]接下来，描述在非专利文献I中提出的自适应环路滤波器(ALF)。
[0136]图3是示出使用自适应环路滤波器的图像编码装置的示例结构的框图。在图3中示出的示例中，为了容易说明，没有示出图1中示出的Α/D转换器11、画面重排列缓冲器
12、累加缓冲器17、选择单元23、帧内预测单元24、预测图像选择单元26和速率控制单元27。在适当的时候，也省略箭头等。因此，在图3中示出的示例中，来自帧存储器22的参考图像被直接输入到运动预测/补偿单元25，并且来自运动预测/补偿单元25的预测图像被直接输出到算术运算单元13和20。[0137]g卩，图3中示出的图像编码装置61与图1中示出的图像编码装置I的不同之处仅仅在于，在去块滤波器21和帧存储器22之间添加了自适应环路滤波器71。
[0138]自适应环路滤波器71计算自适应环路滤波系数以便最小化与来自画面重排列缓冲器12 (未示出)的原始图像有关的残差，并且通过使用自适应环路滤波系数来对来自去块滤波器21的解码图像执行滤波处理。例如，该滤波器可以是维纳滤波器。
[0139]自适应环路滤波器71还将计算出的自适应环路滤波系数发送到无损编码单元
16。无损编码单元16对自适应环路滤波系数执行无损编码处理，例如可变长度编码或算术编码，并且将自适应环路滤波系数插入到压缩图像的头部。
[0140]图4是示出与图3中示出的图像编码装置对应的图像解码装置的示例结构的框图。在图4中示出的示例中，为了容易说明，没有示出图2中示出的累积缓冲器41、画面重排列缓冲器47、D/A转换器48、选择单元50、帧内预测单元51和图像选择单元53。在适当的时候，也省略箭头等。因此，在图4中示出的示例中，来自帧存储器49的参考图像被直接输入到运动补偿单元52，并且来自运动补偿单元52的预测图像被直接输出到算术运算单元45。
[0141]S卩，图4中示出的图像解码装置81与图2中示出的图像解码装置31的不同之处仅仅在于，在去块滤波器46和帧存储器49之间添加了自适应环路滤波器91。
[0142]从头部解码并提取的自适应环路滤波系数从无损解码单元42供应到自适应环路滤波器91。使用供应的滤波系数，自适应环路滤波器91对来自去块滤波器46的解码图像执行滤波处理。例如，该滤波器可以是维纳滤波器。
[0143]以这样的方式，可以提高解码图像质量，并且也可以提高参考图像质量。
[0144][去块滤波器]
[0145]接下来，描述符合H.264/AVC的去块滤波器。去块滤波器21消除在运动补偿环路和在解码图像中包含的块畸变、或者处理单元区域中的畸变。结果，防止了将块畸变传送到在运动补偿处理中要参考的图像。
[0146]可根据如下两个参数从下面示出的三个选项(a)至(C)中选择去块滤波器的操作:在图片参数集RBSP (原始字节序列载荷)中包含的deblocking_filter_control_present_flag 和在片段头(Slice Header)中包含的 disable_deblocking_filter_idc。
[0147](a)要对块边界或宏块边界执行
[0148](b)只对宏块边界执行
[0149](C)不执行
[0150]关于量化参数QP，在对亮度信号执行下述处理时使用QPY，并且在对色度信号执行下述处理时使用QPC。在运动向量编码、帧内预测和熵编码(CAVLC/CABAC)中，属于不同片段的像素值被处理为“不可用”。但是，在去块滤波处理中，属于不同片段但属于相同图片的像素值被处理为“可用”。
[0151]在下面，尚待进行去块滤波处理的像素值由PO至p3和qO至q3表示，并且处理后的像素值由PO'至p3'和qO'至q3'表示,如图5所示。
[0152]如图6中示出的表中一样，在去块滤波处理之前，针对图5中示出的像素P和q中的每一个定义Bs (边界强度)，该Bs是块边界强度数据。
[0153]如图6所示，当像素P或像素q属于要进行帧内编码的宏块、并且像素位于宏块之间的边界时，指示最高滤波强度的“4”被分配给Bs。
[0154]当像素P或像素q属于要进行帧内编码的宏块、并且像素不位于宏块之间的边界时，在“4”之后指示最高滤波强度的“3”被分配给Bs。
[0155]当像素P和像素q都不属于要进行帧内编码的宏块、并且像素之一具有变换系数时，在“3”之后指示最高滤波强度的“2”被分配给Bs。
[0156]当像素P和像素q都不属于要进行帧内编码的宏块，像素中的任何像素都不具有变换系数，并且像素具有不同的参考帧、不同数量的参考帧或者不同的运动向量时，Bs是“I”。
[0157]当像素P和像素q都不属于要进行帧内编码的宏块，并且这两个像素都不具有变换系数，但具有相同的参考帧和相同的运动向量时，Bs是“O”。应该注意，“O”是指不执行任何滤波处理。
[0158]只有当满足由下面示出的表达式(I)和(2)表达的条件时，才对图5中的(p2, pi, p0, qO, ql和q2)执行去块滤波处理。
[0159]Bs>0...(I)
[0160]p0-q0 I < α ； pl-pO | < β ; | ql_q0 |〈 β...(2)
[0161]在缺省配置中，表达式(2)中的α和β的值根据下述的QP确定。但是，用户可以通过使用在编码数据中的片段头中包含的两个参数“SliCe_alpha_C0_Offset_div2”和“slice_beta_offset_div2”来调整强度,如图中的箭头所示。
[0162]图7示出QP和阈值α 之间的关系。在将偏移与QP相加时，表示QP和阈值α之间的关系的曲线在箭头所示的方向上位移。因此，清楚的是，可以调整滤波强度。
[0163]此外，通过使用彼此相邻的块P和块Q的相应的量化参数qPp和qP,根据下述的表达式(3)和表达式(4)计算“ IndexA (索引A)”，从图8中的A中示出的表来确定阈值α。同样地，通过使用彼此相邻的块P和块Q的相应的量化参数qPp和qP,根据下述的表达式
(3)和表达式(5)计算“ IndexB (索引B)”，从图8中的B中示出的表来确定阈值β。如下述的表达式(3)至(5)中所示地定义“IndexA (索引A)”和“IndexB (索引B)”。
[0164]qPav = (qPp+qPq+l)?l...(3)
[0165]IndexA=Cl ip3 (0，51，qPa V+Fi IterOffsetA)...(4)
[0166]IndexB=Clip3 (O, 51, qPav+Filter0ffsetB)...(5)
[0167]在表达式(4)和(5)中，“FilterOffsetA(滤波偏移 A)” 和 “FilterOffsetB (滤波偏移B)”等同于用户要调整的部分。
[0168]如下所述，在Bs〈4且Bs=4的情况下，为了去块滤波处理，定义不同的方法。
[0169]首先，在Bs〈4的情况下，根据下述的表达式(6)至(8)计算经过了去块滤波处理的像素值P' O和q' O。
[0170]Δ =Clip3 (~tc, tc ((((q0-p0) ?2) + (pl-ql) +4) ?3))...(6)
[0171]p' O=Clipl (ρ0+Δ)...(7)
[0172]q' 0=Clipl(q0+Λ)...(8)
[0173]这里，如下面示出的表达式(9)或(10)中所示地计算t。。具体地，在“ChromaEdgeFlag (色度边缘标志)” 的值是O的情况下,根据下面示出的表达式(9)计算tc。
[0174]tc=tc0+ ((ap< β ) ?1:0) + ((aq< β ) ?1:0)...(9)[0175]在“ChiOmaEdgeFlag (色度边缘标志)”的值不是O的情况下，根据下面示出的表达式(10)计算tco
[0176]tc=tc0+l...(10)
[0177]如图9中的A和图9中的B中的表所示，根据Bs和“IndexA (索引A)”的值定义
tc0的值。
[0178]此外，根据下面示出的表达式(11)和(12 )，计算表达式(9 )中的ap和a,的值。
[0179]ap= I ρ2-ρ0...(11)
[0180]aq= I q2-q0...(12)
[0181]如下所述地确定经过了去块滤波处理的像素值p ' I。具体地，在"ChromaEdgeFlag (色度边缘标志)”的值是“O”并且ap的值等于或小于β时，根据下面示出的表达式(13)计算p' I。
[0182]p' I=pl+Clip3 (-tc0, tc0, (p2+((p0+q0+l) ?1) -(pl?l)) ?1)...(13)
[0183]在不满足表达式(13)时，根据下面示出的表达式(14)计算p' I。
[0184]p' l=pl...(14)
[0185]如下所述地确定经过了去块滤波处理的像素值q ' I。具体地，在"ChromaEdgeFlag (色度边缘标志)”的值是“O”并且a,的值等于或小于β时，根据下面示出的表达式(15)计算q' I。
`[0186]q' I=ql+Clip3(_tc0，tc0, (q2+((pO+qO+l)>>l)-(ql〈〈l))?l)...(15)
[0187]在不满足表达式(15)时，根据下面示出的表达式(16)计算q' I。
[0188]q' l=ql...(16)
[0189]p' 2和V 2的值与滤波之前的p2和q2的值相同。具体地，根据下面示出的表达式(17)确定V 2，并且根据下面示出的表达式(18)确定V 2。
[0190]p' 2=p2...(17)
[0191]q' 2=q2...(18)
[0192]接下来，在Bs=4的情况下，如下所述地计算经过了去块滤波的像素值Pi i (1=0,...，2)。在“ChromaEdgeFlag (色度边缘标志)”的值是“O”并且满足表达式(19)中示出的条件时，根据下面示出的表达式(20)至(22)计算p' 0、p' I和p' 2。
[0193]ap< β && I p0-q0 | < (( α ?2) +2)..(19)
[0194]p' 0=(p2+2Xpl+2Xp0+2Xq0+ql+4)?3...(20)
[0195]p' l=(p2+pl+p0+q0+2)?2...(21)
[0196]p1 2=(2Xp3+3Xp2+pl+p0+q0+4) >>3...(22)
[0197]在不满足表达式(19)时，根据下面示出的表达式(23)至(25)计算p' 0、p' I和
P' 2。
[0198]p' 0=(2Xpl+p0+ql+2)?2...(23)
[0199]p' l=pl...(24)
[0200]p' 2=ρ2...(25)
[0201]如下所述地计算经过了去块滤波的像素值q' i(i=0，...，2)。具体地，在“ChromaEdgeFlag (色度边缘标志)”的值是“O”并且满足表达式(26)中示出的条件时，根据下面示出的表达式(27)至(29)计算q' 0、q' I和q' 2。[0202]aq<^&&|p0-q0|<((a ?2)+2)...(26)
[0203]q' 0=(pl+2Xp0+2Xq0+2Xql+q2+4)?3...(27)
[0204]q' l=(p0+q0+ql+q2+2)?2...(28)
[0205]q' 2=(2Xq3+3Xq2+ql+q0+p4+4)?3...(29)
[0206]在不满足表达式(26)时，根据下面示出的表达式(30)至(32)计算q' 0、q' I和q' 2。
[0207]q' 0=(2Xql+q0+pl+2)?2...(30)
[0208]q' l=ql...(31)
[0209]q' 2=q2...(32)
[0210][成本函数]
[0211]为了实现更高的编码效率，通过AVC编码方法来选择适当的预测模式是很重要的。
[0212]这种选择方法的示例是在被称为JM (联合模型)(在http://iphome.hh1.de/suehring/tml/index, htm可得到)的H.264/MPEG-4AVC参考软件中实现的方法。
[0213]在JM中，可以选择下述的两种模式确定方法，即高复杂度模式和低复杂度模式。通过这两种方法中的任意一种,计算关于每一种预测模式的成本函数值,并且使成本函数值最小化的预测模式被选择为用于当前块或宏块的最佳模式。
[0214]可根据下述的表达式(33)来计算高复杂度模式中的成本函数。
[0215]Cost (Mode e Ω ) =D+ λ >I<R...(33)
[0216]这里，Ω表示用于编码当前块或宏块的通用的候选模式组，并且D表示在当前预测模式中执行编码时的解码图像和输入图像之间的差能量。λ表示作为量化参数函数提供的未定的拉格朗日乘子。R表示在当前模式中执行编码的情况下的总比特率，包括正交变换系数。
[0217]即，为了在高复杂度模式中执行编码，需要在所有的候选模式中执行临时编码处理以计算上面的参数D和R，因此要求较大量的计算。
[0218]可根据下述的表达式(34)来计算低复杂度模式中的成本函数。
[0219]Cost (Mode e Ω ) =D+QP2Quant (QP) *HeaderBit...(34)
[0220]这里，D不同于高复杂度中的D，并且表示预测图像和输入图像之间的差能量。QP2Quant (QP)表示量化参数QP的函数，以及HeaderBit (头部比特)表示与不包括正交变换系数并且属于头部的信息(例如，运动向量和模式)有关的比特率。
[0221]也就是说，在低复杂度模式中，需要针对候选模式中的每一种候选模式执行预测处理，但是不要求解码图像。因此，不需要执行编码处理。因此，计算量小于高复杂度模式中的计算量。
[0222][编码单元]
[0223]接下来，描述由非专利文献2中公开的HEVC (高效视频编码)编码方法(在下文中被简称为HEVC)指定的编码单元。
[0224] 根据H.264/AVC，一个宏块被分割成运动补偿块，并且可以使各个运动补偿块具有不同的运动信息。具体地，H.264/AVC指定由宏块和子宏块形成的分层结构，但是HEVC指定如图10所示的编码单元(CU)。[0225]⑶也被称为编码树块(CTB)，并且是作用与符合H.264/AVC的宏块的作用相同的基于图片的图像的部分区域。虽然符合H.264/AVC的宏块的尺寸被限制为16X16像素，但是CU的尺寸并不限于特定尺寸，并且可以由每个序列中的压缩图像信息来指定。
[0226]例如，在要输出的编码数据中包含的序列参数集(SPS)中，指定CU的最大编码单元(LCU)和最小编码单元(SCU)。
[0227]在每一个IXU中，在不小于S⑶尺寸的范围内设置划分标志(split_flag)=l，使得每一个IXU可被分割成较小尺寸的⑶。在图10中示出的例子中，IXU的尺寸是128，并且最大的分层深度是5。在划分标志(split-flag)的值是“I”时，尺寸为2NX2N的⑶被分割成尺寸为NXN的⑶，尺寸为NXN的⑶是一个较低的分层级。
[0228]此外，CU被分割成作为要进行帧内或帧间预测处理的区域(基于图片的图像的部分区域)的预测单元(PU)，并且被分割成作为要进行正交变换处理的区域(基于图片的图像的部分区域)的变换单元(TU)。当前，根据HEVC可以使用16X16和32X32正交变换、以及4X4和8X8正交变换。
[0229]在定义了⑶、并且如在根据HEVC的操作中一样基于⑶来执行每一种处理过程的情况下，符合H.264/AVC的宏块可以被视为等同于LCU。但是，CU具有如图10所示的分层结构。因此，例如，在最高分层级上的IXU的尺寸通常如128X128像素一样大，这大于符合
H.264/AVC的每一个宏块的尺寸。
[0230]本公开内容不仅可以应用于使用符合H.264/AVC的宏块的编码方法，而且可以应用于如在根据HEVC的操作中一样使用⑶、PU、TU等的编码方法。即，“±夹”和“单元”都是指正被处理的区域，因此将在下面的描述中使用作为块或单元的“对象区域”。
[0231]在下面的涉及H.264/AVC的示例的描述中，在描述中使用块，并且块是正被处理的区域且等同于根据HEVC的单元。另一方面，在涉及HEVC的示例的描述中，在描述中使用单元，并且单元是正被处理的区域且等同于根据H.264/AVC的块。
[0232][根据HEVC的自适应偏移处理]
[0233]接下来，描述符合HEVC的自适应偏移滤波器。根据HEVC，采用非专利文献3中公开的米样自适应偏移方法。
[0234]自适应偏移滤波器(图片质量自适应偏移:PQA0)被设置在去块滤波器(DB)和自适应环路滤波器(ALF)之间，如图11所示。
[0235]关于自适应偏移类型，存在两种“带偏移”类型和六种“边缘偏移”类型。也可以不使用偏移。可以根据“四叉树”来分割图像，并且可以选择上述自适应偏移类型之一用于每一个区域中的编码。
[0236]该选择信息被编码单元(熵编码)编码为PQAO信息以产生比特流，并且产生的比特流被发送到解码侧。通过使用该方法，可以提高编码效率。
[0237]现在参照图12，描述四叉树结构。
[0238]例如，在编码侧，如图12中的Al所示，计算指示区域O未被分割的状态的级别O(分割深度O)的成本函数值J0。还计算指示区域O被分割成四个区域I至4的状态的级别
I(分割深度O)的成本函数值J1、J2、J3和J4。
[0239]如图A2中所示，将成本函数值进行比较，并且选择级别I的分割区域(分区)作为JO> (J1+J2+J3+J4)。[0240]同样地，如A3中所示，计算指示区域O被分割为16个区域5至20的状态的级别
2(分割深度2)的成本函数值J5至J20。
[0241]如A4中所示，将成本函数值相互比较，并且在区域I中选择级别I的分割区域(分区)作为J1〈(J5+J6+J9+J10)。在区域2中，选择级别2的分割区域(分区)作为J2XJ7+J8+J11+J12)。在区域3中，选择级别2的分割区域(分区)作为J3XJ13+J14+J17+J18)。在区域4中，选择级别I的分割区域(分区)作为J4〈(J15+J16+J19+J20)。
[0242]结果，确定四叉树结构中的如A4所示的最终的四叉树区域(分区)。在四叉树结构中确定的每一个区域中，针对两种带偏移类型、六种边缘偏移类型和“无偏移”计算成本函数值，并且确定哪种偏移要用于编码。
[0243]在图12中所示的示例中，例如，如白箭头所示，在区域I中确定E0(4)，该EO⑷是边缘偏移类型中的第四类型。在区域7中确定断开(OFF)或“无偏移”，并且在区域8中确定E0(2)，该E0(2)是边缘偏移类型中的第二类型。在区域11和12中确定断开(OFF)或“无偏移”。
[0244]在区域13中确定BO(I)，该BO (I)是带偏移类型中的第一类型；并且在区域14中确定EO (2)，该EO (2)是边缘偏移类型中的第二类型。在区域17中确定BO (2)，该BO (2)是带偏移类型中的第二类型；并且在区域18中确定BO(I)，该BO(I)是边缘偏移类型中的第一类型。在区域4中确定E0(1)，该EO(I)是边缘偏移类型中的第一类型。
[0245]现在参照图13，详细地描述带偏移。
[0246]在图13中示出的示例带偏移中，一个分割指示一个带=八个像素，亮度像素值被分割成32个带，并且这些带具有相互独立的偏移值。
[0247]S卩，在图13中示出的示例中，像素O至255 (32个带)当中的、中间的16个带形成第一组，并且在任意侧的八个带形成第二组。
[0248]只有第一组或第二组的偏移被编码，并且被发送到解码侧。在很多情况下，在一个区域中存在强烈的颜色对比，或者存在细微的色调(shade)。所有的像素都存在于第一组和第二组是稀有的。因此，仅发送两个偏移之一，从而在四叉树区域中的每一个中防止由于发送不包括的像素值而导致的比特率的增加。
[0249]在输入信号被广播时，亮度信号被限制为16，235的范围，并且色度信号被限制为16，240的范围。此时，应用在图13中的较低行中示出的“合法广播”，并且不发送与在任意端用X标记的两个带相对应的偏移值。
[0250]现在参照图14，详细地描述边缘偏移。
[0251 ] 在边缘偏移中，将当前像素的值与同当前像素相邻的邻近像素的值进行比较，并且在对应的类别下发送偏移值。
[0252]边缘偏移包括在图14中的A至D中示出的四个一维图案和在图14中的E和F中示出的两个二维图案。在图15中示出的类别下发送相应的偏移。
[0253]图14中的A示出其中邻近像素一维地位于当前像素C的左侧和右侧的图案，或者与图14中的A中示出的图案成O度的1D、0度图案。图14中的B示出其中邻近像素一维地位于当前像素C的上侧和下侧的图案，或者与图14中的A中示出的图案成90度的ID、90
度图案。[0254]图14中的C示出其中邻近像素一维地位于当前像素C的左上侧和右下侧的图案，或者与图14中的A中示出的图案成135度的1D、135度图案。图14中的D示出其中邻近像素一维地位于当前像素C的右上侧和左下侧的图案，或者与图14中的A中示出的图案成45度的1D、45度图案。
[0255]图14中的E示出其中邻近像素二维地位于当前像素C的上侧和下侧、以及左侧和右侧的图案，或者在当前像素C处交叉的2D交叉图案。图14中的F示出其中邻近像素二维地位于当前像素C的右上侧和左下侧、以及右下侧和左上侧的图案，或者在当前像素C处对角地交叉的2D对角图案。
[0256]图15中的A示出用于一维图案的规则的列表(用于ID图案的分类规则)。图14中的A至D中示出的图案被分类为图15中的A中示出的五个类别，并且根据类别计算偏移，然后将偏移发送到解码单元。
[0257]在当前像素C的像素值小于两个邻近像素的像素值的情况下，图案被分类为类别I。在当前像素C的像素值小于邻近像素中的一个像素的像素值、并且与邻近像素中的另一个像素的像素值相同的情况下，图案被分类为类别2。在当前像素C的像素值大于邻近像素中的一个像素的像素值、并且与邻近像素中的另一个像素的像素值相同的情况下，图案被分类为类别3。在当前像素C的像素值大于两个邻近像素的像素值的情况下，图案被分类为类别4。未被分类为上述中的任何一种的图案被分类为类别O。
[0258]图15中的B示出用于二维图案的规则的列表(用于2D图案的分类规则)。图14中的E和F中示出的图案被分类为图15中的B中示出的七个类别，并且在这些类别下将偏移发送到解码单元。
[0259]在当前像素C的像素值小于四个邻近像素的像素值的情况下，图案被分类为类别
I。在当前像素C的像素值小于邻近像素中的三个像素的像素值、并且与邻近像素中的第四个像素的像素值相同的情况下，图案被分类为类别2。在当前像素C的像素值小于邻近像素中的三个像素的像素值、并且大于邻近像素中的第四个像素的像素值的情况下，图案被分类为类别3。
[0260]在当前像素C的像素值大于邻近像素中的三个像素的像素值、并且小于邻近像素中的第四个像素的像素值的情况下，图案被分类为类别4。在当前像素C的像素值小于邻近像素中的三个像素的像素值、并且与邻近像素中的第四个像素的像素值相同的情况下，图案被分类为类别5。在当前像素C的像素值大于四个邻近像素的像素值的情况下，图案被分类为类别6。未被分类为上述中的任何一种的图案被分类为类别O。
[0261]如上所述，在用于边缘偏移的一维图案中，只需要将两个邻近像素与当前像素进行比较，由此计算量比较小。在“高效”编码条件下，使得I比特偏移值比在“低延迟”编码条件下的偏移值更精确，然后将I比特偏移值发送到解码侧。
[0262]针对在四叉树结构中确定的区域中的每个区域或者针对符合HEVC的每个块，执行上述自适应偏移处理。因此，存在会出现块畸变的可能性，因为在去块滤波之后执行上述基于块的处理。
[0263]鉴于上述原因，在本实施例中，在去块滤波之前执行自适应偏移处理。此外，在自适应偏移处理之后的去块滤波中，在考虑自适应偏移处理的情况下调整滤波强度。结果，更适当地去除块畸变，并且提高解码图像质量。[0264][图像编码装置的示例结构]
[0265]图16示出作为应用本公开内容的图像处理装置的图像编码装置的实施例的结构。
[0266]图16中示出的图像编码装置101通过使用预测处理来对图像数据进行编码。例如，这里使用的编码方法可以是符合HEVC (高效视频编码)的方法。然而，该编码方法与上面参照图11描述的HEVC方法的不同之处在于，自适应偏移单元111被放置在图像编码装置101中的去块滤波器112之前。
[0267]与图1中示出的图像编码装置I 一样，图16中示出的图像编码装置101包括A/D转换器11、画面重排列缓冲器12、算术运算单元13、正交变换单元14、量化单元15、无损编码单元16、累积缓冲器17、逆量化单元18和逆正交变换单元19。与图1中示出的图像编码装置I 一样，图16中示出的图像编码装置101包括算术运算单元20、帧存储器22、选择单元23、帧内预测单元24、运动预测/补偿单元25、预测图像选择单元26和速率控制单元27。
[0268]图16中示出的图像编码装置101与图1中示出的图像编码装置I的不同之处在于，添加了图3中示出的上述自适应环路滤波器71。
[0269]此外，图16中示出的图像编码装置101与图1中示出的图像编码装置I的不同之处在于，用去块滤波器112替代去块滤波器21，并且添加了自适应偏移单元111和去块滤波器控制单元113。
[0270]与图1中示出的量化单元15—样，量化单元15设置量化参数，并且基于从速率控制单元27供应的目标比特率信息来执行量化。然而，在这样做时，量化单元15将关于设置的量化参数的信息供应到去块滤波器112。
[0271]与图1中示出的无损编码单元16 —样，无损编码单元16不仅对量化变换系数进行编码，而且将诸如滤波系数、预测模式信息和量化参数的各种信息合并到编码数据中的头部信息中。然而，在这样做时，无损编码单元16还将关于来自自适应偏移单元111的偏移值和四叉树结构的信息合并到编码数据中的头部信息中。无损编码单元16还将诸如预测模式信息和运动向量信息的语法元素供应到去块滤波器112。
[0272]自适应偏移单元111、去块滤波器112 (包括去块滤波器控制单元113)和自适应环路滤波器71被依次放置在运动补偿环路中。运动补偿环路是由算术运算单元13、正交变换单元14、量化单元15、逆量化单元18、逆正交变换单元19、算术运算单元20、巾贞存储器
22、选择单元23、帧内预测单元24或运动预测/补偿单元25、以及预测图像选择单元26形成的块。在下文中，要由运动补偿环路中的自适应偏移单元111、去块滤波器112和自适应环路滤波器71执行的滤波处理将被统称为环路内滤波处理。
[0273]自适应偏移单元111对来自算术运算单元20的解码图像(局部解码基带信息)执行偏移处理。即，自适应偏移单元111确定上面参照图12描述的四叉树结构。具体地，自适应偏移单元111根据“四叉树”将解码图像分割成各个区域，并且对于每一个分割区域，确定两种带偏移类型、六种边缘偏移类型和“无偏移”当中的偏移类型。自适应偏移单元111也通过参考四叉树结构来针对每一个分割区域计算偏移值。
[0274]使用确定的四叉树结构和偏移值，自适应偏移单元111还对来自算术运算单元20的解码图像执行偏移处理。然后，自适应偏移单元111将经过偏移处理的图像供应到去块滤波器112。自适应偏移单元111还将关于确定的四叉树结构的信息供应到去块滤波器控制单元113，并且将关于确定的四叉树结构和计算出的偏移的信息供应到无损编码单元16。
[0275]去块滤波器112接收来自量化单元15的关于对象区域的量化参数的信息、来自无损编码单元16的语法元素和来自去块滤波器控制单元113的控制信息。去块滤波器112基于量化参数和语法元素确定滤波参数。去块滤波器112还基于来自去块滤波器控制单元113的控制信息来调整确定的滤波参数的滤波强度。去块滤波器112通过使用确定的或调整的滤波参数来确定滤波器(滤波器特性)，并且通过使用确定的滤波器对经过偏移处理的图像执行去块滤波处理。将滤波的图像供应到自适应环路滤波器71。
[0276]基于来自自适应偏移单元111的关于四叉树结构的信息，去块滤波器控制单元113确定去块滤波处理中的对象区域是否位于自适应偏移处理中的对象区域的边界。如果去块滤波处理中的对象区域位于自适应偏移处理中的对象区域的边界，则去块滤波器控制单元113将用于增大滤波强度的控制信息供应到去块滤波器112。
[0277]自适应环路滤波器71计算自适应环路滤波系数，并且通过使用自适应环路滤波系数来对来自去块滤波器112的解码图像执行滤波处理，以便最小化与来自画面重排列缓冲器12的原始图像(未示出)有关的残差。例如，该滤波器可以是维纳滤波器。以这样的方式，提高图像质量。
[0278]虽然在图中未示出，但是自适应环路滤波器71还将计算出的自适应环路滤波系数发送到无损编码单元16。无损编码单元16对自适应环路滤波系数执行无损编码处理，例如可变长度编码或算术编码，并且将自适应环路滤波系数插入到压缩图像的头部。
[0279][根据本公开内容的环路内滤波处理]
[0280]现在描述要由图16中示出的自适应偏移单元111、去块滤波器112、去块滤波器控制单元113和自适应环路滤波器71执行的环路内滤波处理。自适应环路滤波器71的操作原理与上面参照图3描述的操作原理相同。
[0281]在由图像编码装置101进行的环路内滤波处理中，首先由在去块滤波器112之前的自适应偏移单元111执行滤波处理。结果，可由去块滤波器去除通过由自适应偏移单元111执行的滤波处理导致的块畸变。
[0282]此外，在去块滤波器112中，由去块滤波器控制单元113执行考虑了自适应偏移处理的去块滤波处理。
[0283]再次参照图12，描述自适应偏移处理。在图12中示出的四叉树结构中，存在如“E0”指示的确定边缘偏移的区域、如“B0”指示的确定带偏移的区域和如“断开(OFF)”指示的设置“无偏移”的区域。这样认为，在四叉树结构中的比如上述区域的其中具有确定的不同偏移的两个区域之间的边界处，很可能发生块畸变。
[0284]此外，这样认为，如果对象区域和与对象区域相邻的邻近区域都是边缘偏移区域，但是被分类到不同的类别，则很可能在边界处发生块畸变。例如，由图12中的E0(4)表示且被确定为类别4的区域以及由EO(I)表示且被确定为类别I的区域是边缘偏移区域，但是被分类到不同的类别。
[0285]这同样适用于带偏移区域。即，这样认为，如果对象区域和与对象区域相邻的邻近区域都是带偏移区域，但是被分类到不同的类别，则很可能在边界处发生块畸变。[0286]因此，当去块滤波处理中的对象区域位于诸如上述区域的各个区域之间的边界时，去块滤波器控制单元113使得去块滤波器112通过以下方法中的一种方法来对区域的边界执行较高强度的滤波处理。
[0287]根据第一方法，针对该区域的边界，将上面参照图6描述的Bs (边界强度)的值增加+1。
[0288]根据第二方法，不管其他条件如何，都针对该区域的边界将Bs的值设置为4。
[0289]可替换地，，可以不通过利用第一和第二方法调整Bs的值来执行强度调整，但是可以通过调整上面参照图7和图8描述的阈值α/β来控制强度调整。
[0290]即，根据第三方法，通过利用图7和图8中的使用预定AQP的QP+Λ QP、而不是量化参数QP来执行表缩小，针对区域的边界来确定阈值α和阈值β。
[0291]以这样的方式，去块滤波器控制单元113使得后一级中的去块滤波器112在滤波处理中反映自适应偏移处理的结果(关于四叉树结构的信息)。结果，可以更适当地去除块畸变，并且可提高解码图像质量。
[0292][自适应偏移单元和去块滤波器的示例结构]
[0293]接下来，描述图像编码装置101的各个组件。图17是示出自适应偏移单元111和去块滤波器112的示例结构的框图。在图17中示出的示例中，通过使用第一或第二方法作为滤波强度调整方法来调整Bs的值，执行滤波强度调整。
[0294]在图17中示出的示例中，自适应偏移单元111被设计为包括四叉树结构确定单元
131、偏移计算单元132、偏移单元133和像素缓冲器134。
[0295]去块滤波器112被设计为包括α / β确定单元141、Bs确定单元142、滤波器确定单元143和滤波单元144。
[0296]要进行偏移处理的像素值从算术运算单元20供应到四叉树结构确定单元131、偏移计算单元132和偏移单元133。虽然为了容易说明而在图16中未示出，但是输入像素值实际上从画面重排列缓冲器12供应到四叉树结构确定单元131和偏移计算单元132。
[0297]使用要进行偏移处理的像素值和来自画面重排列缓冲器12的输入像素值，四叉树结构确定单元131确定如上面参照图12所述的四叉树结构。即，四叉树结构确定单元131根据“四叉树”分割图像，并且通过使用要进行偏移处理的像素值和输入像素值来计算成本函数值，以确定上述自适应偏移类型中的哪一种要用于每一个分割区域中的编码。
[0298]四叉树结构确定单元131将关于确定的四叉树结构的信息供应到偏移计算单元
132、偏移单元133、去块滤波器控制单元113和无损编码单元16。
[0299]相对于从算术运算单元20供应的并且尚未经过偏移处理的像素值，偏移计算单元132计算通过由来自四叉树结构确定单元131的信息指示的四叉树分割而获得的每一个区域的偏移。偏移计算单元132将关于计算出的偏移的信息供应到偏移单元133和无损编码单元16。
[0300]无损编码单元16接收来自四叉树结构确定单元131的四叉树结构信息和来自偏移计算单元132的偏移信息，并且对这些信息进行编码以产生关于编码数据的头部信息。
[0301]偏移单元133对从算术运算单元20供应的并且尚未经过偏移处理的像素值执行偏移处理。即，偏移单元133将由从偏移计算单元132供应的信息指示的偏移值与通过由四叉树结构确定单元131执行的四叉树分割而形成的各个区域的像素值相加。偏移单元133在像素缓冲器134中累积经过偏移处理的像素值。
[0302]像素缓冲器134累积经过偏移处理的像素值，并且在预定的时间将经过偏移处理的累积的像素值供应到滤波器确定单元143。
[0303]α /β确定单元141从量化单元15获取关于去块滤波处理中的对象区域的量化参数的信息，并且基于由获取的信息指示的量化参数来确定上面参照图7和图8描述的阈值α / β。α / β确定单元141将确定的阈值α / β作为滤波参数供应到滤波器确定单元
143。
[0304]Bs确定单元142从无损编码单元16获取诸如预测模式和运动向量信息的语法元素。基于获取的信息，Bs确定单元142通过上面参照图6描述的方法来确定Bs的值。当从去块滤波器控制单元113接收控制信息时，Bs确定单元142根据来自去块滤波器控制单元113的控制信息，按照上述第一或第二方法来调整Bs的值。Bs确定单元142将确定的或调整的Bs的值作为滤波参数供应到滤波器确定单元143。
[0305]滤波器确定单元143从自α / β确定单元141和Bs确定单元142供应的滤波参数确定滤波器(滤波器特性)，并且将关于确定的滤波器的控制信息供应到滤波单元144。在这样做时，滤波器确定单元143还将从像素缓冲器134供应的、经过偏移处理并且尚未经过去块滤波的像素值供应到滤波单元144。
[0306]滤波单元144通过使用由从滤波器确定单元143供应的滤波器控制信息指示的滤波器，对从滤波器确定单元143供应的并且未经过去块滤波的像素值执行滤波处理。滤波单元144将经过去块滤波的滤波后的像素值供应到自适应环路滤波器71。
[0307][编码处理的流程]
[0308]接下来，描述要由上述图像编码单元101执行的每一种处理的流程。首先参照图18中示出的流程图，描述编码处理的示例流程。
[0309]在步骤SlOl中，A/D转换器11对输入图像执行A/D转换。在步骤S102中，画面重排列缓冲器12存储经过A/D转换的图像，并且按照编码顺序而不是显示顺序重排列各个图片。
[0310]在从画面重排列缓冲器12供应的并且要处理的图像是要被帧内处理的块的图像时，从帧存储器22读取要参考的解码图像，并且经由选择单元23将该解码图像供应到帧内预测单元24。
[0311]基于这些图像，帧内预测单元24在步骤S103中对在所有的候选帧内预测模式中正被处理的块的像素执行帧内预测。要参考的解码像素是尚未被自适应偏移单元111、去块滤波器112和自适应环路滤波器71中的任何一个滤波或偏移的像素。
[0312]通过该处理，在所有的候选帧内预测模式中执行帧内预测，并且在所有的候选帧内预测模式中通过使用表达式(33)或(34)中示出的成本函数来计算成本函数值。基于计算出的成本函数值，选择最佳的帧内预测模式，并且通过最佳帧内预测模式中的帧内预测而产生的预测图像及其成本函数值被供应到预测图像选择单元26。
[0313]在从画面重排列缓冲器12供应的并且要处理的图像是要被帧间处理的图像时，从帧存储器22读取要参考的图像，并且经由选择单元23将该要参考的图像供应到运动预测/补偿单元25。基于这些图像，运动预测/补偿单元25在步骤S104中执行运动预测/补偿处理。[0314]通过该处理，在所有的候选帧间预测模式中执行运动预测处理，并且在所有的候选帧间预测模式中通过使用表达式(33)或(34)中示出的成本函数来计算成本函数值。基于计算出的成本函数值，确定最佳的帧间预测模式，并且在最佳帧间预测模式中产生的预测图像及其成本函数值被供应到预测图像选择单元26。
[0315]在步骤S105中，基于从帧内预测单元24和运动预测/补偿单元25输出的各个成本函数值，预测图像选择单元26确定最佳预测模式是最佳帧内预测模式还是最佳帧间预测模式。预测图像选择单元26选择在确定的最佳预测模式中产生的预测图像，并且将选择的预测图像供应到算术运算单元13和20。该预测图像要用于步骤S106和Slll中的后述的算术运算。
[0316]关于该预测图像的选择信息被供应到帧内预测单元24或运动预测/补偿单元25。当选择了在最佳帧内预测模式中产生的预测图像时，帧内预测单元24将指示最佳帧内预测模式的信息(或者帧内预测模式信息)供应到无损编码单元16。
[0317]当选择了在最佳帧间预测模式中产生的预测图像时，运动预测/补偿单元25输出指示最佳帧间预测模式的信息，并且在需要的时候，运动预测/补偿单元25还将与最佳帧间预测模式相对应的信息输出到无损编码单元16。与最佳帧间预测模式相对应的信息可以是运动向量信息、参考帧信息等。
[0318]在步骤S106中，算术运算单元13计算在步骤S102中重排列的图像和在步骤S105中选择的预测图像之间的差。在执行帧间预测时，经由预测图像选择单元26将预测图像从运动预测/补偿单元25供应到算术运算单元13，并且在执行帧内预测时，经由预测图像选择单元26将预测图像从帧内预测单元24供应到算术运算单元13。
[0319]差数据在数据量方面小于原始图像数据。因此，可以使得该数据量小于在对图像直接进行编码的情况下的数据量。
[0320]在步骤S107中，正交变换单元14对从算术运算单元13供应的差信息执行正交变换。具体地，执行诸如离散正弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。
[0321]在步骤S108中，量化单元15量化变换系数。如稍后将在步骤SI 16中的处理的描述中所说明的，量化单元15基于从速率控制单元27供应的目标比特率信息设置量化参数，并且执行量化。在这样做时，量化单元15将关于设置的量化参数的信息供应到去块滤波器112。
[0322]以上述方式量化的差信息以下述方式被局部解码。具体地，在步骤S109中，具有与量化单元15的特性对应的特性的逆量化单元18对由量化单元15量化的变换系数进行逆量化。在步骤SllO中，具有与正交变换单元14的特性对应的特性的逆正交变换单元19对由逆量化单元18逆量化的变换系数执行逆正交变换。
[0323]在步骤Slll中，算术运算单元20将经由预测图像选择单元26输入的预测图像与局部解码的差信息相加，并且产生局部解码图像(与算术运算单元13的输入相对应的图像)。
[0324]在步骤SI 12中，自适应偏移单元111、去块滤波器112、去块滤波器控制单元113和自适应环路滤波器71执行环路内滤波处理。通过该环路内滤波处理，执行自适应偏移处理，并且去除振荡(ringing)等。[0325]此外，通过该环路内滤波处理，不仅基于来自量化单元15的量化参数和来自无损编码单元16的语法元素，而且基于自适应偏移处理的结果(四叉树结构信息)，确定滤波器。然后，对经过偏移处理的像素值执行使用确定的滤波器的去块滤波处理，以去除块畸变。通过该环路内滤波处理，对经过去块滤波的像素值执行自适应环路滤波处理，以最下化劣化并提高图像质量。经过自适应滤波处理的像素值输出到帧存储器22。
[0326]如稍后详细地描述的，关于通过自适应偏移处理计算出的偏移和四叉树结构的信息被供应到无损编码单元16。
[0327]在步骤S113中，帧存储器22存储滤波后的图像。尚未被自适应偏移单元111、去块滤波器112和自适应环路滤波器71中的任何一个滤波或偏移的图像也从算术运算单元20供应，并存储在帧存储器22中。
[0328]同时，在步骤S108中量化的变换系数也被供应到无损编码单元16。在步骤S114中，无损编码单元16对从量化单元15输出的量化后的变换系数进行编码。S卩，对差图像进行诸如可变长度编码或算术编码的无损编码，并且该差图像被压缩。
[0329]此时，与在步骤S105中输入到无损编码单元16的、来自运动预测/补偿单元25的最佳帧间预测模式相对应的信息或者来自帧内预测单元24的帧内预测模式信息也被编码，然后与头部信息相加。此外，在步骤S112中输入到无损编码单元16的关于四叉树结构和偏移的信息也被编码，然后与头部信息相加。
[0330]例如，对于每一个LCU，对指示帧间预测模式的信息进行编码。针对正被处理的每一个PU，对运动向量信息和参考帧信息进行编码。
[0331]此时，无损编码单元16也将诸如预测模式信息和运动向量信息的语法元素供应到去块滤波器112。
[0332]在步骤S115中，累积缓冲器17将差信息存储为压缩图像。在需要的时候，存储在累积缓冲器17中的压缩图像被读出，并经由传输路径被发送到解码端。
[0333]在步骤SI 16中，基于存储在累积缓冲器17中的压缩图像，速率控制单元27控制量化单元15的量化运算速率，以便不会引起上溢或下溢。
[0334]当完成步骤S116中的处理时，编码处理结束。
[0335][环路内滤波处理的流程]
[0336]现在参照图19中示出的流程图，描述在图18中的步骤S112中执行的环路内滤波处理的示例流程。该环路内滤波处理是要由自适应偏移单元111、去块滤波器112、去块滤波器控制单元113和自适应环路滤波器71执行的处理。
[0337]通过图19中的步骤S108中的处理，量化单元15将关于量化参数的信息供应到去块滤波器112。α/β确定单元141又在步骤S131中获取从量化单元15供应的关于量化参数的信息。
[0338]通过图19中的步骤S114中的处理，无损编码单元16也将诸如预测模式信息和运动向量信息的语法元素供应到去块滤波器112。Bs确定单元142又在步骤S132中获取从无损编码单元16供应的语法元素。
[0339]同时，通过图19中的步骤Slll中的处理，来自算术运算单元20的解码图像(局部解码基带信息)被供应到自适应偏移单元111。自适应偏移单元111在步骤S133中又执行自适应偏移处理。稍后将参照图20来描述该自适应偏移处理。[0340]通过步骤S133中的处理来确定上面参照图12描述的四叉树结构，并且通过参考四叉树结构来针对各个分割区域计算偏移值。对来自算术运算单元20的解码图像执行使用确定的四叉树结构和偏移值的偏移处理，并且将经过偏移处理的图像供应到去块滤波器112。
[0341]关于确定的四叉树结构的信息被供应到去块滤波器控制单元113，并且确定的四叉树结构和计算出的偏移值作为自适应偏移参数被供应到无损编码单元16。
[0342]在步骤S134中，α/β确定单元141和Bs确定单元142确定用于去块滤波器112的滤波参数。
[0343]具体地,如上面参照图7和图8所述,基于由在步骤S131中获取的信息指示的量化参数，α/β确定单元141确定阈值α / β。确定的阈值α / β作为滤波参数被供应到滤波器确定单元143。
[0344]同时，基于在步骤S132中获取的语法元素(关于预测模式和LCU的信息)，Bs确定单元142通过上面参照图6描述的方法来确定Bs的值。具体地，Bs确定单元242确定图5中示出的像素P或像素q所属的预测模式的LCU (宏块)，还确定参考帧信息和运动向量信息，然后基于运动搜索/模式确定处理的结果来确定Bs的值。
[0345]在步骤S135中，去块滤波器控制单元113确定去块滤波处理中的对象区域是否位于自适应偏移处理边界(或者，自适应偏移处理中的对象区域的边界)。通过参考由步骤S133中的处理获取的自适应偏移处理结果(关于四叉树结构的信息)来执行该确定处理。
[0346]如果在步骤S135中确定去块滤波处理中的对象区域位于自适应偏移处理边界，则处理转移到步骤S136。在步骤S136中，去块滤波器控制单元113调整用于去块滤波器112的滤波参数。
[0347]具体地，例如，去块滤波器控制单元113将控制信息供应到Bs确定单元142，该控制信息用于根据上述第一方法将Bs值增加+1。Bs确定单元142又调整滤波强度以将步骤S134中确定的Bs值增加+1，并且将调整的Bs值作为滤波参数供应到滤波器确定单元143。
[0348]如果在步骤S135中确定去块滤波处理中的对象区域不是位于自适应偏移处理边界，则跳过步骤S136中的处理。在这种情况下，Bs确定单元142将在步骤S134中确定的Bs值作为滤波参数供应到滤波器确定单元143。
[0349]在供应滤波参数之后，滤波器确定单元143确定滤波器，并且将确定的滤波器和从像素缓冲器134供应的、经过偏移处理并且尚未经过去块滤波的像素值供应到滤波单元
144。
[0350]滤波单元144在步骤S137中又通过使用由从滤波器确定单元143供应的滤波器控制信息指示的滤波器，对从滤波器确定单元143供应的并且未经过去块滤波的像素值执行滤波处理。滤波单元144将经过去块滤波的滤波后的像素值供应到自适应环路滤波器71。
[0351]在步骤S138中，自适应环路滤波器71对从去块滤波器112供应的并且经过去块滤波的图像执行自适应环路滤波器处理。
[0352]具体地，自适应环路滤波器71计算自适应环路滤波系数，以便最小化与来自画面重排列缓冲器12的原始图像(未示出)有关的残差。使用计算出的自适应环路滤波系数，自适应环路滤波器71对从去块滤波器112供应的并且经过去块滤波的图像执行滤波处理。[0353]虽然在图中未示出，但是自适应环路滤波器71将计算出的自适应环路滤波系数发送到无损编码单元16。无损编码单元16对自适应环路滤波系数执行无损编码处理，例如可变长度编码或算术编码，并且将自适应环路滤波系数插入到压缩图像的头部。
[0354]如上所述，在图像编码装置101中在去块滤波之前执行自适应偏移处理。因此，可以减少由自适应偏移处理导致的块畸变。
[0355]此外，在图像编码装置101中，基于作为自适应偏移处理的结果的四叉树结构信息，可以在自适应偏移处理中对边界执行较高强度的去块滤波处理。因此，可以更适当地去除块畸变，并且可以提高解码图像质量。
[0356][自适应偏移处理的流程]
[0357]现在参照图20中示出的流程图，描述图19中的步骤S134中的自适应偏移处理。
[0358]在步骤S151中，如上面参照图12描述的，四叉树结构确定单元131通过参考从算术运算单元20供应的像素值来确定四叉树结构。具体地，通过根据“四叉树”分割图像并且根据成本函数值确定上述自适应偏移类型中的哪一种要用于每一个分割区域中的编码，确定四叉树结构。关于确定的四叉树结构的信息被供应到偏移计算单元132和偏移单元133。
[0359]在步骤S152中，偏移计算单元132计算通过四叉树分割而获得的每一个区域相对于从算术运算单元20供应的像素值的偏移值。指示计算出的偏移值的信息(偏移信息)被供应到偏移单元133。
[0360]在步骤S153中，自适应偏移单元111将四叉树结构和偏移作为自适应偏移参数发送到无损编码单元16。即，四叉树结构确定单元131将四叉树结构信息供应到无损编码单元16。偏移计算单元132将关于计算出的偏移的信息供应到无损编码单元16。
[0361 ] 这些自适应偏移参数在图18中的步骤SI 14中被无损编码单元16编码，并且与头部信息相加。
[0362]在步骤S154中，偏移单元133对来自算术运算单元20的像素值执行偏移处理。具体地，偏移单元133将由偏移计算单元132计算出的偏移值与通过由四叉树结构确定单元131执行的四叉树分割而形成的各个区域的像素值相加。
[0363]经过偏移处理的像素值被累积在像素缓冲器134中，并且在预定的时间被供应到去块滤波器112的滤波器确定单元143。
[0364]〈2.第二实施例>
[0365][图像解码装置]
[0366]图21示出作为应用本公开内容的图像处理装置的图像解码装置的实施例的结构。图21中示出的图像解码装置201是与图16中示出的图像编码装置101对应的解码装置。
[0367]由图像编码装置101编码的数据经由预定传输路径被传送到与图像编码装置101对应的图像解码装置201，然后被解码。
[0368]与图2中示出的图像解码装置31 —样，图21中示出的图像解码装置201包括累积缓冲器41、无损解码单元42、逆量化单元43、逆正交变换单元44和算术运算单元45。与图2中示出的图像解码装置31 —样，图21中示出的图像解码装置201还包括画面重排列缓冲器47、D/A转换器48、帧存储器49、选择单元50、帧内预测单元51、运动补偿单元52和图像选择单元53。[0369]图21中示出的图像解码装置201与图2中示出的图像解码装置31的不同之处在于，添加了图4中示出的上述自适应环路滤波器91。
[0370]图21中示出的图像解码装置201与图2中示出的图像解码装置31的不同之处还在于，用去块滤波器212替代去块滤波器46，并且添加了自适应偏移单元211和去块滤波器控制单元213。
[0371 ] 具体地，与图2中示出的无损解码单元42 —样，无损解码单元42通过与由无损编码单元16使用的编码方法对应的方法，对从累积缓冲器41供应的并且由图16中示出的无损编码单元16编码的信息进行解码。此时，在图21中示出的示例中，运动向量信息、参考帧信息、预测模式信息(指示帧内预测模式或帧间预测模式的信息)、自适应偏移参数等也被解码。
[0372]如上所述，自适应偏移参数由四叉树结构信息、偏移信息等形成，自适应偏移参数由图16中示出的无损编码单元16编码。将自适应偏移参数供应到自适应偏移单元211。无损解码单元42也将诸如预测模式信息和运动向量信息的语法元素供应到去块滤波器212。
[0373]与图2中示出的逆量化单元43 —样，逆量化单元43使用由无损解码单元42解码的量化参数，通过与由图1中示出的量化单元15使用的量化方法对应的方法，对由无损解码单元42解码的系数数据(量化系数)进行逆量化。在这样做时，逆量化单元43将关于量化参数的信息供应到去块滤波器212。
[0374]自适应偏移单元211、去块滤波器212 (包括去块滤波器控制单元213)和自适应环路滤波器91被依次放置在运动补偿环路中。运动补偿环路是由算术运算单元45、去块滤波器46、自适应环路滤波器91、帧存储器49、选择单元50、运动补偿单元52和图像选择单元53形成的块。在下文中，要由运动补偿环路中的自适应偏移单元211、去块滤波器212和自适应环路滤波器91执行的滤波处理将被统称为环路内滤波处理。
[0375]作为来自无损解码单元42的自适应偏移参数的四叉树结构信息和偏移信息被供应到自适应偏移单元211。使用这些信息，自适应偏移单元211对来自算术运算单元45的解码图像的像素值执行偏移处理，并且将经过偏移处理的像素值供应到去块滤波器212。自适应偏移单元211也将四叉树结构信息供应到去块滤波器控制单元213。
[0376]去块滤波器212接收来自逆量化单元43的对象区域的量化参数、来自无损解码单元42的语法元素和来自去块滤波器控制单元213的控制信息。去块滤波器212基于量化参数和语法元素确定滤波参数。去块滤波器212也基于来自去块滤波器控制单元213的控制信息来调整确定的滤波参数的滤波强度。去块滤波器212通过使用确定的或调整的滤波参数来确定滤波器(滤波器特性)，并且通过使用确定的滤波器对经过偏移处理的图像执行去块滤波处理。将滤波后的图像供应到自适应环路滤波器91。
[0377]基于来自自适应偏移单元211的关于四叉树结构的信息，去块滤波控制单元213确定去块滤波处理中的对象区域是否位于自适应偏移处理中的对象区域的边界。如果去块滤波处理中的对象区域位于自适应偏移处理中的对象区域的边界，则去块滤波器控制单元213将用于增大滤波强度的控制信息供应到去块滤波器212。
[0378]虽然在图中未示出，但是从头部解码和提取的自适应环路滤波系数从无损解码单元42供应到自适应环路滤波器91。使用供应的滤波系数，自适应环路滤波器91对来自去块滤波器212的解码图像执行滤波处理。[0379]根据本技术的自适应偏移单元211、去块滤波器212和去块滤波器控制单元213的基本操作原理与图16中示出的自适应偏移单元111、去块滤波器112和去块滤波器控制单元113的基本操作原理相同。然而，在图16中示出的图像编码装置101中，通过诸如作为运动搜索和模式确定的结果而获得的预测模式和运动向量信息的语法元素、量化参数和产生的四叉树结构，控制去块滤波器112的操作。
[0380]另一方面，在图21中示出的图像解码装置201中，关于这些语法元素、量化参数和四叉树结构的信息与编码数据相加并从编码侧发送。因此，在图像编码装置201中，去块滤波器212的操作由通过对上述信息进行解码而获得的关于语法元素、量化参数和四叉树结构的信息来控制。
[0381][自适应偏移单元和去块滤波器的示例结构]
[0382]接下来，描述图像解码装置201的各个组件。图22是示出自适应偏移单元211和去块滤波器212的示例结构的框图。
[0383]在图22中示出的示例中，自适应偏移单元211被设计为包括四叉树结构缓冲器231、偏移缓冲器232、偏移单元233和像素缓冲器234。
[0384]去块滤波器212被设计为包括α / β确定单元241、Bs确定单元242、滤波器确定单元243和滤波单元244。
[0385]来自无损解码单元42的四叉树结构信息被供应到四叉树结构缓冲器231。四叉树结构缓冲器231存储来自无损解码单元42的四叉树结构信息，并且将四叉树结构信息供应到偏移单元233和去块滤波器控制单元213。
[0386]来自无损解码单元42的偏移信息被供应到偏移缓冲器232。偏移缓冲器232存储来自无损解码单元42的偏移信息，并且将偏移信息供应到偏移单元233。
[0387]从算术运算单元45供应的并且尚未经过偏移处理的像素值被供应到偏移单元233。偏移单元233基本上具有与图17中示出的偏移单元133相同的结构。偏移单元233对要进行偏移处理的像素值执行偏移处理。具体地，偏移单元233将来自偏移缓冲器232的偏移值与通过由四叉树结构缓冲器231执行的四叉树分割而获得的各个区域的像素值相加。偏移单元233在像素缓冲器234中累积经过偏移处理的像素值。
[0388]像素缓冲器234基本上具有与图17中示出的像素缓冲器134相同的结构。像素缓冲器234累积经过偏移处理的像素值，并且在预定时间将经过偏移处理的像素值供应到滤波器确定单元243。
[0389]去块滤波中的对象区域的量化参数从逆量化单元43供应到α/β确定单元241。α/β确定单元241基本上具有与图17中示出的α/β确定单元141相同的结构。α/β确定单元241从逆量化单元43获取去块滤波处理中的对象区域的量化参数，并且基于获取的量化参数来确定上面参照图7和图8描述的阈值α / β。α / β确定单元241将确定的阈值α/β作为滤波参数供应到滤波器确定单元243。
[0390]诸如预测模式和运动向量信息的语法元素从无损解码单元42供应到Bs确定单元
242。Bs确定单元242基本上具有与图17中示出的Bs确定单元142相同的结构。Bs确定单元242从无损解码单元42获取与预测模式和LCU有关的语法元素。基于获取的信息，Bs确定单元242通过上面参照图6描述的方法来确定Bs的值。当从去块滤波器控制单元213接收控制信息时，Bs确定单元242根据来自去块滤波器控制单元213的控制信息，通过与由图17中示出的Bs确定单元142使用的方法对应的第一或第二方法来调整Bs的值。Bs确定单元242将确定的或调整的Bs的值作为滤波参数供应到滤波器确定单元243。
[0391]滤波器确定单元243基本上具有与图17中示出的滤波器确定单元143相同的结构。滤波器确定单元243根据从α / β确定单元241和Bs确定单元242供应的滤波参数来确定滤波器(滤波器特性)，并且将关于确定的滤波器的控制信息供应到滤波单元244。在这样做时，滤波器确定单元243还将从像素缓冲器234供应的、经过偏移处理并且尚未经过去块滤波的像素值供应到滤波单元244。
[0392]滤波单元244基本上具有与图17中示出的滤波单元144相同的结构。滤波单元244通过使用由从滤波器确定单元243供应的滤波控制信息指示的滤波器，对从滤波器确定单元243供应的并且未经过去块滤波的像素值执行滤波处理。滤波单元244将经过去块滤波的滤波后的像素值供应到自适应环路滤波器91。
[0393][解码处理的流程]
[0394]接下来，描述要由上述的图像解码单元201执行的每个处理的流程。首先参照图22中示出的流程图，描述解码处理的示例流程。
[0395]在开始解码处理时，累积缓冲器41在步骤S201中累积发送的编码数据。在步骤S202中，无损解码单元42对从累积缓冲器41供应的编码数据进行解码。具体地，对由图16中示出的无损编码单元16编码的I图片、P图片和B图片进行解码。
[0396]此时，还对运动向量信息、参考帧信息、预测模式信息(帧内预测模式或帧间预测模式)和自适应偏移参数信息进行解码。
[0397]在预测模式信息是帧内预测模式信息的情况下，预测模式信息被供应到帧内预测单元51。在预测模式信息是帧间预测模式信息的情况下，预测模式信息和对应的运动向量信息被供应到运动补偿单元52和去块滤波器212。作为自适应偏移参数的四叉树结构和偏移被供应到自适应偏移单元211。
[0398]在步骤S203中，帧内预测单元51或运动补偿单元52根据从无损解码单元42供应的预测模式信息来执行预测图像产生处理。
[0399]具体地，在从无损解码单元42供应帧内预测模式信息的情况下，帧内预测单元51产生最可能模式，并且通过并行处理在帧内预测模式中产生帧内预测图像。在从无损解码单元42供应帧间预测模式信息的情况下，运动补偿单元52在帧间预测模式中执行运动预测/补偿处理，并且产生帧间预测图像。
[0400]通过该处理，由帧内预测单元51产生的预测图像(帧内预测图像)或者由运动补偿单元52产生的预测图像(帧间预测图像)被供应到图像选择单元53。
[0401]在步骤S204中，图像选择单元53选择预测图像。具体地，供应由帧内预测单元51产生的预测图像或者由运动补偿单元52产生的预测图像。因此，供应的预测图像被选择并且被供应到算术运算单元45，并且在后述的步骤S207中与逆正交变换单元44的输出相加。
[0402]在上述的步骤S202中，由无损解码单元42解码的变换系数也被供应到逆量化单元43。在步骤S205中，具有与图16中示出的量化单元15的特性对应的特性的逆量化单元43使用由无损解码单元42解码的量化参数，对由无损解码单元42解码的变换系数进行逆量化。此时，逆量化单元43也将使用的量化参数供应到去块滤波器212。
[0403]在步骤S206中，具有与图16中示出的正交变换单元14的特性对应的特性的逆正交变换单元44对由逆量化单元43逆量化的变换系数执行逆正交变换。结果，对与到图16中示出的正交变换单元14的输入(或者来自算术运算单元13的输出)相对应的差信息进行解码。
[0404]在步骤S207中，算术运算单元45将差信息与通过步骤S204中的上述处理选择的并且经由图像选择单元53输入的预测图像相加。以这样的方式，对原始图像进行解码。
[0405]在步骤S208中，自适应偏移单元211、去块滤波器212、去块滤波器控制单元213和自适应环路滤波器91执行环路内滤波处理。通过该环路内滤波处理，执行自适应偏移处理,并且去除振荡等。
[0406]不仅基于来自逆量化单元43的量化参数和来自无损解码单元42的语法元素，而且基于自适应偏移处理的结果(四叉树结构信息)，确定去块滤波器212的滤波器特性。然后，对经过偏移处理的像素值执行根据确定的滤波器特性的去块滤波处理，以去除块畸变。此外，对经过去块滤波的像素值执行自适应环路滤波处理，以提高图像质量。经过自适应滤波处理的像素值被输出到帧存储器49和画面重排列缓冲器47。
[0407]在步骤S209中，帧存储器49存储经过自适应滤波的图像。
[0408]在步骤S210中，画面重排列缓冲器47在自适应环路滤波器91之后对图像执行重排列。具体地，按照原始显示顺序重排列为由图像编码装置101的画面重排列缓冲器12进行的编码而重排列的帧的顺序。
[0409]在步骤S211中，D/A转换器48对从画面重排列缓冲器47供应的图像执行D/A转换。该图像被输出到显示器(未示出)，并被显示。
[0410]当完成步骤S211中的处理时，解码处理结束。
[0411][环路内滤波处理的流程]
[0412]现在参照图24中示出的流程图，描述在图23中的步骤S208中执行的环路内滤波处理的示例流程。该环路内滤波处理是要由自适应偏移单元211、去块滤波器212、去块滤波器控制单元213和自适应环路滤波器91执行的处理。
[0413]通过图23中的步骤S205中的处理，逆量化单元43将关于量化参数的信息供应到去块滤波器212。α/β确定单元241又在步骤S231中获取从逆量化单元43供应的关于量化参数的信息。
[0414]通过图23中的步骤S202中的处理，无损解码单元42将诸如预测模式信息和运动向量信息的语法元素供应到去块滤波器212。Bs确定单元242又在步骤S232中获取从无损解码单元42供应的语法元素，并且执行运动搜索/模式确定处理。
[0415]具体地，Bs确定单元242确定图5中示出的像素ρ或像素q所属的预测模式的IXU(宏块)，并且还确定参考帧信息和运动向量信息，如上面参照图6所述的。
[0416]同时，通过图23中的步骤S207中的处理，来自算术运算单元45的解码图像(局部解码基带信息)被供应到自适应偏移单元211。自适应偏移单元211又在步骤S233中执行自适应偏移处理。稍后将参照图25来描述该自适应偏移处理。
[0417]通过步骤S233中的处理，从无损解码单元42获取上面参照图12描述的四叉树结构和偏移值。对来自算术运算单元45的解码图像执行使用获取的四叉树结构和偏移值的偏移处理，并且将经过偏移处理的图像供应到去块滤波器212。
[0418]在步骤S234中，α / β确定单元241和Bs确定单元242确定用于去块滤波器212的滤波参数。
[0419]具体地，如上面参照图7和图8所述，基于在步骤S232中获取的量化参数，α / β确定单元241确定阈值α/β。确定的阈值α/β作为滤波参数被供应到滤波器确定单元
243。
[0420]同时，Bs确定单元242基于在步骤S232中执行的运动搜索/模式确定处理的结果来确定Bs的值。
[0421]在步骤S235中，去块滤波器控制单元213确定在去块滤波处理中的对象区域是否位于自适应偏移处理边界(或者，自适应偏移处理中的对象区域的边界)。通过参考由步骤S233中的处理获取的自适应偏移处理结果(关于四叉树结构的信息)来执行该确定处理。
[0422]如果在步骤S235中确定去块滤波处理中的对象区域位于自适应偏移处理边界，则处理转移到步骤S236。在步骤S236中，去块滤波器控制单元213调整用于去块滤波器212的滤波参数。
[0423]具体地，例如，去块滤波器控制单元213将控制信息供应到Bs确定单元242，该控制信息用于根据与图像编码装置101的去块滤波器控制单元113对应的上述第一方法将Bs值增加+1。Bs确定单元242又调整滤波强度以将步骤S134中确定的Bs值增加+1，并且将调整的Bs值作为滤波参数供应到滤波器确定单元243。
[0424]如果在步骤S235中确定去块滤波处理中的对象区域不是位于自适应偏移处理边界，则跳过步骤S236中的处理。在这种情况下，Bs确定单元242将在步骤S234中确定的Bs值作为滤波参数供应到滤波器确定单元243。
[0425]在供应滤波参数之后，滤波器确定单元243确定滤波器(的特性)，并且将确定的滤波器和从像素缓冲器234供应的、经过偏移处理并且尚未经过去块滤波的像素值供应到滤波单元244。
[0426]滤波单元244又在步骤S237中通过使用由从滤波器确定单元243供应的滤波器控制信息指示的滤波器，对从滤波器确定单元243供应的并且未经过去块滤波的像素值执行滤波处理。滤波单元244将经过去块滤波的滤波后的像素值供应到自适应环路滤波器91。
[0427]在步骤S238中，自适应环路滤波器91对从去块滤波器212供应的并且经过去块滤波的图像执行自适应环路滤波处理。
[0428]虽然在图中未示出，但是无损解码单元42通过图23中的步骤S202中的处理，将自适应环路滤波系数供应到自适应环路滤波器91。使用来自无损解码单元42的自适应环路滤波系数，自适应环路滤波器91对从去块滤波器212供应的并且经过去块滤波的图像执行滤波处理。经过滤波处理的图像被供应到帧存储器49和画面重排列缓冲器47。
[0429]如上所述，在图像解码装置201中在去块滤波之前执行自适应偏移处理。因此，可以减少由自适应偏移处理导致的块畸变。
[0430]此外，在图像解码装置201中，基于作为自适应偏移处理的结果的四叉树结构信息，可以在自适应偏移处理中对边界执行较高强度的去块滤波处理。因此，可以更适当地去除块畸变，并且可以提高解码图像质量。
[0431][自适应偏移处理的流程]
[0432]现在参照图25中示出的流程图，描述图14中的步骤S233中的自适应偏移处理。[0433]来自无损解码单元42的四叉树结构信息被供应到四叉树结构缓冲器231。在步骤S251中，四叉树结构缓冲器231从无损解码单元42接收四叉树结构信息，并且存储四叉树结构信息。四叉树结构缓冲器231在预定时间将四叉树结构信息供应到偏移单元233。
[0434]来自无损解码单元42的偏移信息被供应到偏移缓冲器232。在步骤S252中，偏移缓冲器232从无损解码单元42接收偏移值信息，并且存储偏移值信息。偏移缓冲器232在预定时间将偏移信息供应到偏移单元233。
[0435]在步骤S253中，偏移单元233对经过去块的像素值执行偏移处理。具体地，偏移单元233将由来自偏移缓冲器232的信息指示的偏移值与通过由四叉树结构缓冲器231执行的四叉树分割而获得的各个区域的像素值相加。偏移单元233在像素缓冲器234中累积经过偏移处理的像素值。
[0436]像素缓冲器234在预定时间将经过偏移处理的像素值供应到自适应环路滤波器91,然后自适应偏移处理结束。
[0437]在上面的描述中，例如，图16中示出的去块滤波器控制单元113和图21中示出的去块滤波器控制单元213均产生用于调整用于去块滤波器的滤波参数的强度的控制信息。即，在上面的描述中，关于如何控制滤波参数的信息被预先设置在图16中示出的去块滤波器控制单元113和图21中示出的去块滤波器控制单元213中。
[0438]可替换地，由图16中示出的图像编码装置101的去块滤波器控制单元113产生的控制信息可以被无损编码单元16编码、与编码数据相加，然后被发送到图像解码装置201。由图像解码装置201接收到的控制信息可以被无损解码单元42解码，并且解码的控制信息可以被去块滤波器控制单元213使用。此时，例如，针对每一个图片、每一个序列或者每一个片段，对由去块滤波器控制单元113产生的控制信息进行编码。
[0439]在这种情况下的控制信息可以包含如下信息，该信息指示自适应偏移处理边界被确定为不同类型的区域之间的边界、相同类型但属于不同类别的区域之间的边界、或者相同类型并且属于相同类别的区域之间的边界。控制信息还可以包含指示滤波强度要通过Bs值或者阈值α和β来调整的信息。控制信息还可以包含关于Bs值或者阈值α和β要如何被调整(例如，该值要被增加+1或者要被强迫调整为4)的信息。控制信息可以包含所有的上述信息，或者可以包含上述信息中的至少一个，而其它的信息被预先设置。
[0440]虽然上面描述了符合HEVC的示例，但是本技术可以被应用于使用一些其它编码方法的任何装置，只要该装置执行运动补偿环路内的自适应偏移处理和去块处理即可。
[0441]本公开内容可以被应用于这样的图像编码装置和图像解码装置，例如，在如MPEG或H.26χ中一样经由诸如卫星广播、有线电视、因特网或者便携式电话装置的网络介质接收通过诸如离散正弦变换的正交变换和运动补偿而压缩的图像信息(比特流)时，使用该图像编码装置和图像解码装置。本公开内容还可以被应用于这样的图像编码装置和图像解码装置，当在诸如光盘或磁盘或闪存的存储介质上处理压缩的图像信息时，使用该图像编码装置和图像解码装置。此外，本公开内容可以被应用于这种图像编码装置和图像解码装置中所包含的运动预测/补偿装置。
[0442]<3.第三实施例>
[0443][计算机]
[0444]上述的系列处理可以通过硬件或通过软件来执行。在要通过软件执行系列处理时，形成软件的程序被安装到计算机中。这里，计算机可以是合并到专用硬件中的计算机，或者可以是在各种程序被安装到其中时可执行各种功能的通用个人计算机。
[0445]图24是示出根据程序执行上述系列处理的计算机的硬件的示例结构的框图。
[0446]在计算机500中，CPU (中央处理单元)501、R0M (只读存储器)502和RAM (随机存取存储器)503通过总线504相互连接。
[0447]输入/输出接口 505还被连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510被连接到输入/输出接口 505。
[0448]输入单元506由键盘、鼠标、麦克风等形成。输出单元507由显示器、扬声器等形成。存储单元508由硬盘、非易失性存储器等形成。通信单元509由网络接口等形成。驱动器510驱动可移动介质511,例如磁盘、光盘、磁光盘或半导体存储器。
[0449]在具有上述结构的计算机中，CPU501将存储在存储单元508中的程序通过输入/输出接口 505和总线504加载到RAM503中，并且执行程序，使得执行上述系列操作。
[0450]例如，要由计算机500 (CPU501)执行的程序可以被记录在作为要提供的封装介质的可移动介质511上。可替换地，可以经由有线或无线传输介质(例如，局域网、因特网或数字卫星广播)提供程序。
[0451]在计算机中，当可移动介质511被安装在驱动器510中时，可以经由输入/输出接口 505将程序安装到存储单元508中。程序也可以经由有线或无线传输介质由通信单元509接收，并且被安装到存储单元508中。可替换地，程序也可以被预先安装到R0M502或存储单元508中。
[0452]要由计算机执行的程序可以是用于根据在本说明书中描述的序列按时间顺序执行处理的程序，或者可以是用于并行地执行处理或者在需要的时候(例如，在存在调用时)执行处理的程序。
[0453]在本说明书中，在记录介质中记录的程序中写入的步骤不仅包括要根据在本文中描述的序列按时间顺序执行的处理，而且包括(如果不必一定按时间顺序的话)要并行地或相互独立地执行的处理。
[0454]在本说明书中，“系统”是指被由两个或更多个装置(设备)形成的整个设备。
[0455]此外，在上述的示例中，作为一个装置(或一个处理单元)描述的任何结构可以被分割成两个或更多个装置(或处理单元)。相反地，作为两个或更多个装置(或处理单元)描述的任何结构可以被组合，以形成一个装置(或一个处理单元)。此外，当然可以将除上述结构以外的结构添加到所述装置中的任何装置(或者所述处理单元中的任何处理单元)的结构。此外，只要整个系统的结构和功能保持相同，装置(或处理单元)的结构的部分可以被合并到另一个装置(或者另一处理单元)。也就是说，本技术的实施例并不限于上述的实施例，并且可以在不脱离本技术的范围的情况下对其进行各种修改。
[0456]根据上述实施例的图像编码装置和图像解码装置可以被应用于各种电子设备，其包括:用于卫星广播、有线广播(例如，有线电视)、通过因特网的传送、通过蜂窝通信传送到终端等的发送器和接收器；在诸如光盘、磁盘或闪存的介质上记录图像的记录设备；或者从这些存储介质再现图像的再现设备。在下面，描述四个示例应用。
[0457]<4.示例应用>
[0458][第一示例应用:电视接收器][0459]图25示意性地示出应用上述实施例的电视设备的示例结构。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 909、控制单元910、用户接口 911和总线912。
[0460]调谐器902从经由天线901接收到的广播信号提取期望的频道的信号，并且对提取的信号进行解调。然后，调谐器902将通过解调获得的编码的比特流输出到多路解复用器903。即，调谐器902充当接收通过对图像进行编码形成的编码流的电视设备900中的发送部件。
[0461]多路解复用器903分离要从编码的比特率观看到的节目的视频流和音频流，并且将各个分离的流输出到解码器904。多路解复用器903也从编码的比特率提取诸如EPG(电子节目指南)的辅助数据，并且将提取的数据供应到控制单元910。在编码的比特流被加扰的情况下，多路解复用器903可以执行解扰。
[0462]解码器903对从多路解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码操作产生的视频数据输出到视频信号处理单元905。然后，解码器904将通过解码操作产生的音频数据输出到音频信号处理单元907。
[0463]视频信号处理单元905再现从解码器904输入的视频数据，并且使得显示单元906显示视频图像。此外，视频信号处理单元905可以使得显示单元906显示通过网络供应的应用画面。此外，视频信号处理单元905可以根据设置对视频数据执行诸如去噪的附加处理。此外，视频信号处理单元905可以产生诸如菜单和按钮或光标的⑶I (图形用户界面)的图像，并且将产生的图像叠加在输出图像上。
[0464]显示单元906由从视频信号处理单元905供应的驱动信号驱动，并且在显示装置(例如，液晶显示器、等离子体显示器或者OELD (有机电致发光显示器))的视频画面上显示视频图像或图像。
[0465]音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现操作，并且从扬声器908输出声音。此外，音频信号处理单元907可以对音频数据执行诸如去噪的附加处理。
[0466]外部接口 909是用于将电视设备900连接到外部装置或网络的接口。例如，经由外部接口 909接收到的视频流或音频流可以由解码器904解码。即，外部接口 909也充当接收通过对图像进行编码形成的编码流的电视设备900中的发送部件。
[0467]控制单元910包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据、EPG数据、通过网络获取的数据等。例如，存储在存储器中的程序在激活电视设备900时被CPU读取，然后被执行。例如，通过执行该程序，CPU根据从用户接口 911输入的操作信号来控制电视设备900的操作。
[0468]用户接口 911与控制单元910连接。例如，用户接口 911包括供用户操作电视设备900的按钮和开关、以及用于远程控制信号的接收单元。用户接口 911通过检测由用户经由这些组件进行的操作产生操作信号，并且将产生的操作信号输出到控制单元910。
[0469]总线912将调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909和控制单元910相互连接。
[0470]在具有上述结构的电视设备900中，解码器904具有根据上述实施例的图像解码装置的功能。因此，当在电视设备900中对图像进行解码时，可以更加适当地去除块畸变，并且可以提高解码图像质量。
[0471][第二示例应用:便携式电话装置]
[0472]图26示意性地示出应用上述实施例的便携式电话装置的示例结构。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
[0473]天线921与通信单元922连接。扬声器924和麦克风925与音频编解码器923连接。操作单元932与控制单元931连接。总线933将通信单元922、音频编解码器923、照相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
[0474]便携式电话装置920在包括音频通信模式、数据通信模式、成像模式和视频电话模式的各种操作模式中执行诸如音频信号的发送和接收、电子邮件或图像数据的发送和接收、成像操作和数据记录的操作。
[0475]在音频通信模式中，由麦克风925产生的模拟音频信号被供应到音频编解码器923。音频编解码器923将模拟音频信号转换为音频信号，并且对转换的音频数据执行压缩和A/D转换。音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，以产生发送信号。通信单元922将产生的发送信号经由天线921发送到基站(未示出)。通信单元922也对经由天线921接收到的无线电信号执行放大和频率转换，并且获得接收信号。通信单元922通过对接收信号进行解调和解码来产生音频数据，并且将产生的音频数据输出到音频编解码器923。音频编解码器923对音频数据执行解压和D/A转换，以产生模拟音频信号。然后，音频编解码器923将产生的音频信号输出到扬声器924以输出声音。
[0476]在数据通信模式中，控制单元931根据用户经由操作单元932进行的操作来产生构成电子邮件的文本数据。控制单元931使得显示单元930显示文本。控制单元931也根据经由操作单元932的来自用户的发送指示来产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以产生发送信号。通信单元922将产生的发送信号经由天线921发送到基站(未示出)。通信单元922也对经由天线921接收到的无线电信号执行放大和频率转换，并且获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制单元931。控制单元931使得显示单元930显示电子邮件的内容，并且将电子邮件数据存储到记录/再现单元929中的存储介质中。
[0477]记录/再现单元929包括可读/可重写存储介质。例如，存储介质可以是诸如RAM或闪存的内部存储介质，或者可以是外部安装型的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB (未分配的空间位图)存储器或存储卡。
[0478]在成像模式中，照相机单元926通过捕获对象的图像来产生图像数据，并且将产生的图像数据输出到图像处理单元927。图像处理单元927对从照相机单元926输入的图像数据进行编码，并且将编码的流存储到记录/再现单元929中的存储介质中。
[0479]在视频电话模式中，多路复用/分离单元928将由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并且将多路复用的流输出到通信单元922。通信单元922对该流进行编码和调制以产生发送信号。通信单元922将产生的发送信号经由天线921发送到基站(未示出)。通信单元922也对经由天线921接收到的无线电信号执行放大和频率转换，并且获得接收信号。发送信号和接收信号均包括编码的比特流。通信单元922通过对接收信号进行解调和解码来恢复流，并且将恢复的流输出到多路复用/分离单元928。多路复用/分离单元928将视频流和音频流与输入流分离，并且将视频流输出到图像处理单元927，并且将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码以产生视频数据。视频数据被供应到显示单元930，并且由显示单元930显示一系列图像。音频编解码器923对音频流执行解压和D/A转换以产生模拟音频信号。然后，音频编解码器923将产生的音频信号输出到扬声器924以输出声音。
[0480]在具有上述结构的便携式电话装置920中，图像处理单元927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当在便携式电话装置920中对图像进行编码和解码时，可以更加适当地去除块畸变，并且可以提高解码图像质量。
[0481][第三示例应用:记录/再现设备]
[0482]图27示意性地示出应用上述实施例的记录/再现设备的示例结构。记录/再现设备940对例如接收到的广播节目的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。记录/再现设备940可以对例如从另一设备获取的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质上。例如，记录/再现设备940也根据来自用户的指示通过监视器和扬声器再现记录在记录介质上的数据。在这样做时，记录/再现设备940对音频数据和视频数据进行解码。
[0483]记录/再现设备940包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD (屏幕上显示器)948、控制单元949和用户接口 950。
[0484]调谐器941从经由天线(未示出)接收到的广播信号提取期望的频道的信号，并且对提取的信号进行解调。调谐器941将通过解调获得的编码的比特流输出到选择器946。也就是说，调谐器941充当记录/再现设备940中的发送部件。
[0485]外部接口 942是用于将记录/再现设备940连接到外部装置或网络的接口。例如，外部接口 942可以是IEEE1394接口、网络接口、USB接口或闪存接口。例如，经由外部接口942接收到的视频数据和音频数据被输入到编解码器943。即，外部接口 942充当记录/再现设备940中的发送部件。
[0486]在尚未对从外部接口 942输入的视频数据和音频数据进行编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码的比特流输出到选择器946。
[0487]HDD944在内部的硬盘上记录通过压缩诸如视频图像和声音的内容数据、各种程序和其它数据形成的编码的比特流。在再现视频图像和声音时，HDD944从硬盘读取这些数据。
[0488]盘驱动器945将数据记录在其上安装的记录介质并从该记录介质读取数据。例如，在盘驱动器945上安装的记录介质可以是DVD盘(例如，DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。
[0489]在记录视频图像和声音时，选择器946选择从调谐器941或编码器943输入的编码的比特流，并且将选择的编码的比特流输出到HDD944或盘驱动器945。在再现视频图像和声音时，选择器946也将从HDD944或盘驱动器945输入的编码的比特流输出到解码器947。
[0490]解码器947对编码的比特流进行解码，并且产生视频数据和音频数据。解码器947将产生的视频数据输出到0SD948。解码器904也将产生的音频数据输出到外部扬声器。
[0491]0SD948再现从解码器947输入的视频数据，并且显示视频图像。0SD948可以在要显示的视频图像上叠加诸如菜单和按钮或光标的⑶I的图像。
[0492]控制单元949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要被CPU执行的程序、程序数据等。例如，存储在存储器中的程序在激活记录/再现设备940时被CPU读取，然后被执行。例如，通过执行该程序，CPU根据从用户接口 950输入的操作信号来控制记录/再现设备940的操作。
[0493]用户接口 950与控制单元949连接。例如，用户接口 950包括用户操作记录/再现设备940的按钮和开关、以及用于远程控制信号的接收单元。用户接口 950通过检测由用户经由这些组件进行的操作来产生操作信号，并且将产生的操作信号输出到控制单元949。
[0494]在具有上述结构的记录/再现设备940中，编码器943具有根据上述实施例的图像编码装置的功能。此外，解码器947具有根据上述实施例的图像解码装置的功能。因此，当在记录/再现设备940中对图像进行编码和解码时，可以更加适当地去除块畸变，并且可以提高解码图像质量。
[0495][第四示例应用:成像设备] [0496]图28示意性地示出应用上述实施例的成像设备的示例结构。成像设备960通过对对象成像来产生图像，对图像数据进行编码，并且将图像数据记录在记录介质上。
[0497]成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口 966、存储器967、介质驱动器968、0SD969、控制单元970、用户接口 971和总线972。
[0498]光学块961与成像单元962连接。成像单元962与信号处理单元963连接。显示单元965与图像处理单元964连接。用户接口 971与控制单元970连接。总线972将图像处理单元964、外部接口 966、存储器967、介质驱动器968、0SD969和控制单元970相互连接。
[0499]光学块961包括聚焦透镜和光圈。光学块961在成像单元962的成像表面上形成被摄体的光学图像。成像单元962包括诸如CXD (电荷耦合器件)或CMOS (互补金属氧化物半导体)的图像传感器，并且通过光电转换将在成像表面上形成的光学图像转换为作为电信号的图像信号。成像单元962将图像信号输出到信号处理单元963。
[0500]信号处理单兀963对从成像单兀962输入的图像信号执行各种照相机信号处理，例如膝(knee)校正、伽马校正和颜色校正。信号处理单元963将经过照相机信号处理的图像数据输出到图像处理单元964。
[0501]图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且产生编码数据。图像处理单元964将产生的编码数据输出到外部接口 966或介质驱动器968。图像处理单元964也对从外部接口 966或介质驱动器968输入的编码数据进行解码，并且产生图像数据。图像处理单元964将产生的图像数据输出到显示单元965。可替换地，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965以显示图像。图像处理单元964也可以在要输出到显示单元965上的图像叠加从0SD969获取的显示数据。
[0502]例如，0SD969产生诸如菜单和按钮或光标的⑶I的图像，并且将产生的图像输出到图像处理单元964。
[0503]例如，外部接口 966被形成为USB输入/输出端子。例如，在打印图像时，外部接口 966将成像设备960连接到打印机。在需要的时候，驱动器也被连接到外部接口 966。诸如磁盘或光盘的可移动介质被安装在驱动器上，使得从可移动介质读取的程序可以被安装到成像设备960中。此外，外部接口 966可以被设计为网络接口，以连接到诸如LAN或因特网的网络。也就是说，外部接口 966充当成像设备960中的发送部件。
[0504]要安装在介质驱动器968上的记录介质可以是可读/可重写可移动介质，例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以被固定到介质驱动器968，以形成非便携式存储单元，例如内部硬盘驱动器或SSD (固态驱动器)。
[0505]控制单元970包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，在存储器中存储的程序在激活成像设备960时被(PU读取，然后被执行。例如，通过执行该程序，CPU根据从用户接口 971输入的操作信号来控制成像设备960的操作。
[0506]用户接口 971与控制单元970连接。例如，用户接口 971包括用户操作成像设备960的按钮和开关。用户接口 971通过检测由用户经由这些组件进行的操作来产生操作信号，并且将产生的操作信号输出到控制单元970。
[0507]在具有上述结构的成像设备960中，图像处理单元964具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当在成像设备960中对图像进行编码和解码时，可以更加适当地去除块畸变，并且可以提高解码图像质量。
[0508]在本说明书中，如到目前为止所描述，将诸如自适应偏移参数的各种信息以及比如预测模式信息和运动向量信息的语法元素与编码流进行多路复用，并且从编码侧发送到解码侧。但是，发送信息的方法并不限于上述示例。该信息可以不与编码的比特流进行多路复用，但是可以作为与编码的比特流相关联的独立的数据发送或记录。这里，术语“相关联”是指在解码时将包括比特流的图像(或者图像的部分，例如片段或块)链接到对应于图像的信息。换句话说，该信息可以通过不同的传输路径从图像(或比特流)发送。此外，信息可以从图像(或者比特流)记录在不同的记录介质(或者，在相同的记录介质中的不同的记录区域)上。此外，每一个信息可以与多个帧、一个帧或图像的帧的部分(或者比特流)相关联。
[0509]虽然上面参照附图描述了本公开内容的优选实施例，但是本公开并不限于这些示例。对于本领域的普通技术人员来说应该清楚的是，在本文要求保护的技术精神的范围内可以进行各种改变或修改，并且自然地认为，这些改变或修改在本公开内容的技术范围内。
[0510]本技术也可以具有如下结构。
[0511](I) 一种图像处理装置，包括:
[0512]解码单元，被配置为对编码流进行解码以产生图像；
[0513]自适应偏移处理单元，被配置为对由解码单元产生的图像执行自适应偏移处理；
[0514]去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及
[0515]去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理。
[0516](2)根据(I)的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元调整去块滤波处理的强度。
[0517](3)根据(I)或(2)的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元调整去块滤波处理的强度。
[0518](4)根据(I)至(3)中的任意一项的图像处理装置，其中，去块滤波器调整单元利用边界强度值调整去块滤波处理的强度。
[0519](5)根据(4)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值增加+1来调整去块滤波处理的强度。
[0520](6)根据(4)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值调整为4来调整去块滤波处理的强度。
[0521](7)根据(I)至(3)中的任意一项的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元利用值α或值β来调整去块滤波处理的强度。
[0522](8)根据(7)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过使用将量化参数QP和预定值AQP相加得到的值执行表缩小来确定值α或值β。
[0523](9) 一种图像处理方法，包括:
[0524]通过对编码流进行解码来产生图像；
[0525]对产生的图像执行自适应偏移处理；
[0526]当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及
[0527]以调整的强度对经过自适应偏移处理的图像执行去块滤波处理，
[0528]图像处理装置产生图像，执行自适应偏移处理，调整去块滤波处理的强度，并且执行去块滤波处理。
[0529](10) 一种图像处理装置，包括:
[0530]自适应偏移处理单元，被配置为对在图像编码时被局部解码的图像执行自适应偏移处理；
[0531 ] 去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；
[0532]去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理；以及
[0533]编码单元，被配置为通过使用经过去块滤波单元的去块滤波处理的图像来对图像进行编码。
[0534](11)根据(10)的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元调整去块滤波处理的强度。
[0535](12)根据(10)或(11)的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元调整去块滤波处理的强度。
[0536](13)根据(10)至(12)中的任意一项的图像处理装置，其中，去块滤波器调整单元利用边界强度值调整去块滤波处理的强度。
[0537](14)根据(13)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值增加+1来调整去块滤波处理的强度。
[0538](15)根据(13)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值调整为4来调整去块滤波处理的强度。
[0539](16)根据(10)至(12)中的任意一项的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元利用值α或值β来调整去块滤波处理的强度。
[0540](17)根据(16)的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过使用将量化参数QP和预定值AQP相加得到的值执行表缩小来确定值α或值β。
[0541](18) 一种图像处理方法，包括:
[0542]对在图像编码时被局部解码的图像执行自适应偏移处理；
[0543]当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；
[0544]以调整的强度对经过自适应偏移处理的图像执行去块滤波处理；以及
[0545]通过使用经过去块滤波处理的图像来对图像进行编码，
[0546]图像处理装置执行自适应偏移处理，调整去块滤波处理的强度，执行去块滤波处理，并且对图像进行编码。
[0547]附图标记列表[0548]15量化单元
[0549]16无损编码单元
[0550]42无损解码单元
[0551]43逆量化单元
[0552]71自适应环路滤波器
[0553]91自适应环路滤波器
[0554]101图像编码装置
[0555]111自适应偏移单元
[0556]112去块滤波器
[0557]113去块滤波器控制单元
[0558]131四叉树结构确定单元
[0559]132偏移计算单元
[0560]133偏移单元
[0561]134像素缓冲器
[0562]141 α/β确定单元
[0563]142 Bs确定单元
[0564]143滤波器确定单元
[0565]144滤波单元
[0566]201图像解码装置
[0567]211自适应偏移单元
[0568]212去块滤波器
[0569]213去块滤波器控制单元
[0570]231四叉树结构缓冲器
[0571]232偏移缓冲器
[0572]233偏移单元
[0573]234像素缓冲器
[0574]241 α/β确定单元
[0575]242 Bs确定单元
[0576]243滤波器确定单元
[0577]244滤波单元
【权利要求】
1.一种图像处理装置，包括: 解码单元，被配置为对编码流进行解码以产生图像； 自适应偏移处理单元，被配置为对由解码单元产生的图像执行自适应偏移处理； 去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及 去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理。
2.根据权利要求1所述的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元调整去块滤波处理的强度。
3.根据权利要求2所述的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对 象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元调整去块滤波处理的强度。
4.根据权利要求2所述的图像处理装置，其中，去块滤波器调整单元利用边界强度值调整去块滤波处理的强度。
5.根据权利要求4所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值增加+1来调整去块滤波处理的强度。
6.根据权利要求4所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值调整为4来调整去块滤波处理的强度。
7.根据权利要求2所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元利用值α或值β来调整去块滤波处理的强度。
8.根据权利要求7所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过使用将量化参数QP和预定值Λ QP相加得到的值执行表缩小来确定值α或值β。
9.一种图像处理方法，包括: 通过对编码流进行解码来产生图像； 对产生的图像执行自适应偏移处理； 当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度；以及 以调整的强度对经过自适应偏移处理的图像执行去块滤波处理， 图像处理装置产生图像，执行自适应偏移处理，调整去块滤波处理的强度，并且执行去块滤波处理。
10.一种图像处理装置，包括: 自适应偏移处理单元，被配置为对在图像编码时被局部解码的图像执行自适应偏移处理； 去块滤波器调整单元，被配置为当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度； 去块滤波单元，被配置为以由去块滤波器调整单元调整的强度对经过自适应偏移处理单元的自适应偏移处理的图像执行去块滤波处理；以及 编码单元，被配置为通过使用经过去块滤波单元的去块滤波处理的图像来对图像进行编码。
11.根据权利要求10所述的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且利用边缘偏移、带偏移和“无偏移”当中的不同类型的偏移来处理去块滤波处理中的对象区域和邻近区域时，去块滤波器调整单元调整去块滤波处理的强度。
12.根据权利要求11所述的图像处理装置，其中，当去块滤波处理中的对象区域和与去块滤波处理中的对 象区域相邻的邻近区域处于自适应偏移处理中的对象区域的边界、并且在不同的类别下并利用边缘偏移或带偏移当中的相同类型的偏移被处理时，去块滤波器调整单元调整去块滤波处理的强度。
13.根据权利要求11所述的图像处理装置，其中，去块滤波器调整单元利用边界强度值调整去块滤波处理的强度。
14.根据权利要求13所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值增加+1来调整去块滤波处理的强度。
15.根据权利要求13所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过将边界强度值调整为4来调整去块滤波处理的强度。
16.根据权利要求11所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元利用值α或值β来调整去块滤波处理的强度。
17.根据权利要求16所述的图像处理装置，其中，当去块滤波处理中的对象区域和邻近区域处于自适应偏移处理中的对象区域的边界、并且利用不同类型的偏移被处理时，去块滤波器调整单元通过使用将量化参数QP和预定值Λ QP相加得到的值执行表缩小来确定值α或值β。
18.—种图像处理方法，包括: 对在图像编码时被局部解码的图像执行自适应偏移处理； 当基于关于在自适应偏移处理中使用的四叉树结构的信息确定图像中的去块滤波处理中的对象区域为自适应偏移处理中的对象区域的边界时，调整去块滤波处理的强度； 以调整的强度对经过自适应偏移处理的图像执行去块滤波处理；以及通过使用经过去块滤波处理的图像来对图像进行编码， 图像处理装置执行自适应偏移处理，调整去块滤波处理的强度，执行去块滤波处理，并且对图像进行编 码。
【文档编号】H04N19/61GK103891284SQ201280051241
【公开日】2014年6月25日 申请日期:2012年10月18日 优先权日:2011年10月27日
【发明者】佐藤数史 申请人:索尼公司