图像处理设备和方法

图像处理设备和方法
【专利摘要】本技术涉及可以抑制处理时间的增加的图像处理设备和方法。图像处理设备包括只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息的信息控制单元，所述关注像素是处理对象，而所述信息是使用属于与所述关注像素不同的像素的参考信息获得的；以及使用由所述信息控制单元获取的所述信息来执行所述图像处理的图像处理单元。本发明可以应用于图像处理设备。
【专利说明】图像处理设备和方法
【技术领域】
[0001]本发明涉及图像处理设备和方法，具体来说，涉及允许抑制处理时间的增加的图像处理设备和方法。
【背景技术】
[0002]近年来，符合诸如MPEG (运动图像专家组)之类的方案的设备已经开始广泛用于广播站等等进行信息分发以及用于普通家庭的信息接收，在这种设备中，图像信息是以数字形式处理的，此时，为了进行信息的有效率的传输和蓄积，通过诸如离散余弦变换之类的正交变换来执行压缩，并使用图像信息所特有的冗余，进行运动补偿。
[0003]具体而言，MPEG2 (ISO (国际标准化组织)/IEC (国际电工委员会)13818-2)是被定义为通用图像编码方案并涵盖隔行扫描图像和逐行扫描图像以及标准清晰度图像和高清晰度图像的标准，当前广泛地用于对于专业使用和消费者使用的范围广泛的应用中。例如，通过使用MPEG2压缩方案，通过为带有720x480像素的标准清晰度隔行扫描图像分配4到8Mbps的速率(比特率)，为带有1920x1088像素的高清晰度隔行扫描图像分配18到22Mbps的速率(比特率)，可以实现高压缩速率和极好的图像质量。
[0004]MPEG2主要用于与广播兼容的高图像质量编码，但是不支持带有较低的速率(比特率)，即，比MPEGl的压缩率更高压缩率的编码方案。由于便携式终端的流行，对这样的编码方案的需求预计在未来会增大，相应地，MPEG4编码方案被标准化。对于图像编码方案，其标准在1998年12月被批准为国际标准IS0/IEC14496-2。
[0005]此外，近年来，对于用于视频会议的图像编码的初始用途，追求了叫做H.26L(ITU-T (国际电信联盟电信标准化部门)Q6/16VCEG (视频编码专家小组))的标准的标准化。已知虽然与诸如MPEG2和MPEG4之类的常规编码方案相比，H.26L需要较大的计算量来进行其编码和解码，但是，实现较高的编码效率。另外，目前，作为MPEG4活动的一部分，作为增强的压缩视频编码的联合模型，执行标准化，该标准化通过根据此H.26L，采用H.26L不支持的功能，来实现较高的编码效率。
[0006]对于标准化日程表，该标准在2003年3月成为名称为H.264和MPEG-4部分10(高级视频编码，下面，简称为AVC)的国际标准。
[0007]然而，16像素xl6像素的宏块大小对于大的图片帧可能不是最佳的，诸如可以充当下一代编码方案的对象的UHD (极高清晰度；4000像素X2000像素)。
[0008]因此，当前，为了进一步提高通过AVC的编码效率，由JCTVC(共同协作团队-视频编码)(ITU-1^PISO (国际标准化组织)/IEC的共同的标准化组织)追求叫做HEVC (高效率视频编码)的编码方案的标准化(参见，例如，非专利文件I)。
[0009]在HEVC编码方案中，编码单位(⑶)被定义为类似于AVC中的宏块的处理单位。⑶的大小不固定在16x16像素，类似于AVC中的宏块，并在每一个序列中的图像压缩信息中指定。
[0010]同时，对于用于这样的编码方案中的自适应循环滤波(ALF)，对重建的图像应用维纳滤波(Wiener filter),以去除重建的图像中所包含的噪声，从而提高编码效率和图像质量。
[0011]作为使用ALF的技术之一，提议了一种叫做类别分类ALF的方法，其中，使用可以由解码器进行类别分类的信息，切换滤波特征，以使滤波特征适合局部条件。对于用于类别分类的信息，在用于在下一代视频编码标准HEVC中考虑的类别分类的信息中，有SML(改进拉普拉斯能量和)的大小，这是用于获取纹理的复杂性的算子。使用关注像素和周边像素之间的差异来计算SML。
[0012]另外，HEVC还采用在非专利文件2中提议的叫做“自适应偏移滤波”的方法。在HEVC中，在解块滤波和自适应循环滤波之间提供了自适应偏移滤波。
[0013]对于自适应偏移的类型，有两种叫做带偏移的类型，和六种叫做边缘偏移的类型，此外，也可以不进行自适应偏移。然后，图像被分区为四叉树(quad-tree)，对于每一个区域，就上文所描述的类型的自适应偏移中的哪一个将用于编码作出选择。通过使用此方法，可以提闻编码效率。
[0014]在自适应偏移滤波的这样的边缘偏移中，参考周边像素值来计算关注像素的偏移值。
[0015]同时，例如，在诸如AVC和HEVC之类的上文所描述的图像编码方案中，准备了一种方法，其中，为了并行化处理，一个图片被分成多个片段，并逐个片段地执行处理。
[0016]引用列表
[0017]非专利文件
[0018]非专利文件l:"Test Model under Consideration", JCTVC-B205，JointCollaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG112nd Meeting:Geneva, CH, 21-28July, 2010
[0019]非专利文件2: 〃CE8Sub t e s 13: P i c tur e Quality AdaptiveOffset", JCTVC-D122, January2011

【发明内容】

[0020]本发明解决的问题
[0021]然而，当用于ALF类别分类的信息(例如，重建的图像的像素值)存在于与作为处理对象的关注片段不同的其它片段中时，由于对于作为处理对象的关注像素的滤波处理所需的信息存在于另一个片段中(不存在于关注片段中)，除非对于该片段的处理已经完成，否则，对于关注像素的处理不能开始。
[0022]另外，同样，在自适应偏移滤波处理中，当要被参考的周边像素存在于与关注片段的不同的其它片段中时，在直到对于其中存在周边像素的片段的处理已经完成之前，不能计算用于边缘偏移的关注像素的偏移值。
[0023]S卩，例如，当关注像素存在于关注片段的边缘并且要被参考的周边像素位于另一个片段(周边片段)中时，在直到对于周边片段的处理已经完成之前，对于关注像素(或整个关注片段)的处理不能开始。在这样的情况下，由于周边片段和关注片段无法并行地处理，处理时间增加，这可能会导致吞吐量的降低。
[0024]本发明是鉴于这样的情况作出的，本发明的目的是甚至在通过在图像编码中参考周边像素来处理关注像素的情况下，也能抑制处理时间的增加，其中，一个图片被分成多个片段，逐个片段地并行地执行处理。
[0025]对问题的解决方案
[0026]根据本发明的一个方面的图像处理设备包括:信息控制单元，所述信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，所述信息是使用属于与所述关注像素不同的其它像素的参考信息而获得的；以及图像处理单元，所述图像处理单元使用由所述信息控制单元获取的所述信息来执行所述图像处理。
[0027]所述图像处理是自适应循环滤波处理，所述信息控制单元，确定所述自适应循环滤波处理中所使用的滤波系数作为所述图像处理所需的所述信息，以及所述图像处理单元，使用由所述信息控制单元确定的所述滤波系数，执行对于所述关注像素的所述自适应循环滤波处理。
[0028]所述图像处理单元逐个片段地独立执行所述自适应循环滤波处理，以及所述信息控制单元在不使用作为处理对象的关注片段外部的信息的情况下确定所述滤波系数。
[0029]所述信息控制单元包括:位置确定单元，所述位置确定单元判定所述关注像素的周边像素是否位于所述关注片段中；计算单元，所述计算单元根据由所述位置确定单元作出的所述确定的结果，计算表示所述关注像素的纹理的复杂性的信息；类别分类单元，所述类别分类单元根据由所述计算单元计算出的表示纹理的复杂性的信息的大小，对所述关注像素进行类别分类；以及滤波系数设置单元，所述滤波系数设置单元将根据由所述类别分类单元分类的所述类别的值设置为所述关注像素的滤波系数。
[0030]表示纹理的复杂性的所述信息是SML (改进拉普拉斯能量和)。
[0031]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元将所述周边像素的像素值设置为预定的、指定的固定值，并计算表示纹理的复杂性的所述信息。
[0032]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述周边像素附近的可用的像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
[0033]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述关注像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
[0034]所述计算单元使用邻接于所述关注像素的上、下、左和右的四个的像素作为周边像素，来计算表示纹理的复杂性的所述信息。
[0035]所述计算单元，将所述关注像素的像素值和各周边像素的像素值之间的差值的绝对值的总和，设置为所述表示纹理的复杂性的信息。
[0036]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述滤波系数设置单元将预定的、指定的值设置为所述关注像素的滤波系数。
[0037]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述图像处理单元省略对于所述关注像素的自适应循环滤波处理。
[0038]图像处理设备进一步包括标记生成单元,该标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应循环滤波处理的标记，其中所述图像处理单元根据由所述标记生成单元所生成的标记的值，执行对于所述关注片段中的关注像素的所述自适应循环滤波处理。
[0039]所述图像处理是自适应偏移处理，所述信息控制单元确定所述自适应偏移处理中所使用的周边像素值作为所述图像处理所需的信息，以及所述图像处理单元使用由所述信息控制单元确定的所述周边像素值，执行对于所述关注像素的所述自适应偏移处理。
[0040]所述信息控制单元包括:位置确定单元，所述位置确定单元判定所述关注像素的周边像素是否位于所述关注片段中；以及周边像素值确定单元，所述周边像素值确定单元根据由所述位置确定单元作出的确定的结果来确定所述周边像素值。
[0041]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将预定的、指定的固定值确定为所述周边像素值。
[0042]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述周边像素附近的可用的像素的像素值确定为所述周边像素值。
[0043]当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述关注像素的像素值确定为所述周边像素值。
[0044]图像处理设备进一步包括标记生成单元,所述标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应偏移处理的标记，其中所述图像处理单元根据由所述标记生成单元所生成的所述标记的值，来执行对于所述关注片段中的所述关注像素的所述自适应偏移处理。
[0045]根据本技术的一个方面的图像处理设备的图像处理方法包括:由信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，而所述信息是使用属于与所述关注像素不同的像素的参考信息获得的；以及由图像处理单元使用由所述信息控制单元获取的所述信息来执行所述图像处理。
[0046]在本发明的一方面，只使用属于包括关注像素的片段的信息，获取对于作为处理对象的所述关注像素的图像处理所需的信息，而所述信息是使用属于与所述关注像素不同的其它像素的参考信息获得的，使用获取的信息来执行所述图像处理。
[0047]本发明的效果
[0048]根据本发明，可以处理图像。具体而言，可以抑制处理时间的增加。
【专利附图】

【附图说明】
[0049]图1是示出了图像编码设备的示例性主要配置的框图。
[0050]图2是描述了多片段的图示。
[0051]图3是描述了编码单元的图示。
[0052]图4是描述了片段和编码单元之间的关系的图示。
[0053]图5是描述了片段和编码单元之间的关系的图示。
[0054]图6是描述了类别分类ALF的图示。
[0055]图7是示出了多片段中的类别分类ALF的关注区域和邻近区域的位置的示例的图[0056]图例的图示。8是示出了多片段中的类别分类ALF的关注区域和邻近区域的位置的另一个示[0057] 图例的图示。9是示出了多片段中的类别分类ALF的关注区域和邻近区域的位置的再一个示[0058]图10是示出了多片段中的类别分类ALF的关注区域和邻近区域的位置的再一个示例的图示。[0059]图11是示出了自适应循环滤波和滤波系数控制单元的示例性主要配置的框图。[0060]图12是描述了编码处理的流程的示例的流程图。[0061]图13是描述自适应循环滤波处理的流程的示例的流程图。[0062]图14是描述SML计算处理的流程的示例的流程图。[0063]图15是示出了图像解码设备的示例性主要配置的框图。[0064]图16是示出了自适应循环滤波和滤波系数控制单元的示例性主要配置的框图。[0065]图17是描述了解码处理的流程的示例的流程图。[0066]图18是描述自适应循环滤波处理的流程的示例的流程图。[0067]图19是描述了四叉树结构的图示。[0068]图20是描述了边缘偏移的图示。[0069]图21是示出了对于边缘偏移的分类规则的图示。[0070]图22是示出了图像编码设备的另一示例性配置的框图。[0071]图23是示出了自适应偏移单元的示例性主要配置的框图。[0072] 图。 [0073]图24是示出了边缘偏移计算单元和周边像素值控制单元的示例性主要配置的框图25是描述了编码处理的流程的另一个示例的流程图。[0074]图26是描述了自适应偏移处理的流程的示例的流程图。[0075]图27是描述了边缘偏移处理的流程的示例的流程图。[0076]图28是示出了图像解码设备的另一示例性配置的框图。[0077]图29是示出了自适应偏移单元的示例性主要配置的框图。[0078]图30是描述了解码处理的流程的另一个示例的流程图。[0079]图31是描述了自适应偏移处理的流程的示例的流程图。[0080]图32是示出了个人计算机的示例性主要配置的框图。[0081]图33是示出了电视设备的示意配置的示例的框图。[0082]图34是示出了移动电话的示意配置的示例的框图。[0083]图35 是示出了记录/再现设备的示意配置的示例的框图。[0084]图36是示出了成像设备的示意配置的示例的框图。【具体实施方式】[0085] 行描述:下面将描述用于实现本技术的模式(下面，称为实施例)。请注意，将按下列顺序进[0086]1.第一实施例(图像编码设备)[0087]2.第'二实施例(图像解码设备)[0088]3.第三实施例(图像编码设备)
[0089]4.第四实施例(图像解码设备)
[0090]5.第五实施例(个人计算机)
[0091]6.第六实施例(电视接收机)
[0092]7.第七实施例(移动电话)
[0093]8.第八实施例(记录/再现设备)
[0094]9.第九实施例(成像设备) [0095]〈1.第一实施例>
[0096][图像编码设备]
[0097]图1是示出了图像编码设备的示例性主要配置的框图。
[0098]图1所示出的图像编码设备100使用诸如H.264和MPEG (运动图像专家组)4部分10 (AVC (高级视频编码))编码方案之类的预测处理来编码图像数据。
[0099]如图1所示，图像编码设备100具有A/D转换单元101、画面重排缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106，以及蓄积缓冲器107。另夕卜，图像编码设备100具有逆量化单元108、逆正交变换单元109、计算单元110、解块滤波器111、自适应循环滤波器112、帧存储器113、选择单元114、帧内预测单元115、运动预测/补偿单元116、预测图像选择单元117，以及速率控制单元118。
[0100]图像编码设备100进一步具有滤波系数控制单元121。
[0101]A/D转换单元101对输入的图像数据进行A/D转换，并将经过转换的图像数据(数字数据)提供到画面重排缓冲器102，以存储数据。画面重排缓冲器102按照用于根据GOP(Group Of Picture)进行编码的帧顺序对所存储的按照显示顺序的帧图像进行重新排列，并将其帧顺序已经被重新排列的图像提供到计算单元103。另外，画面重排缓冲器102还将其帧顺序已经被重新排列的图像提供到帧内预测单元115和运动预测/补偿单元116。
[0102]计算单元103将从画面重排缓冲器102中读取的图像减去通过预测图像选择单元117从帧内预测单元115或运动预测/补偿单元116提供的预测图像，并将有关它的差分信息输出到正交变换单元104。
[0103]例如，在要接受帧间编码的图像的情况下，计算单元103将从画面重排缓冲器102中读取的图像减去从运动预测/补偿单元116提供的预测图像。
[0104]正交变换单元104对从计算单元103提供的差分信息执行正交变换，诸如离散余弦变换或卡南-洛维变换(Karhunen-Loeve transform)?请注意，正交变换方法可以是任何方法。正交变换单元104将由正交变换获取的变换系数提供到量化单元105。
[0105]量化单元105量化从正交变换单元104提供的变换系数。量化单元105基于有关从速率控制单元118提供的速率的目标值的信息，来设置量化参数，并执行量化。请注意，量化方法可以是任何方法。量化单元105将已量化的变换系数提供到无损编码单元106。
[0106]无损编码单元106通过任何编码方案，来编码由量化单元105量化的变换系数。由于系数数据是在速率控制单元118的控制下量化的，因此，速率是由速率控制单元118设置的目标值(或接近于目标值)。
[0107]另外，无损编码单元106从帧内预测单元115获取表示帧内预测模式等等的信息，并从运动预测/补偿单元116获取表示帧间预测模式、运动矢量信息等等的信息。无损编码单元106进一步获取从自适应循环滤波器112提供的alf_flag,等等。
[0108]无损编码单元106通过任何编码方案来编码那些各种类型的信息，并包括编码的信息(多路复用)作为编码数据的头信息的一部分，。无损编码单元106将通过编码获得的编码数据提供到蓄积缓冲器107，以蓄积编码数据。
[0109]无损编码单元106的编码方案包括，例如，可变长度编码、算术编码等等。可变长度编码包括，例如，由H.264/AVC方案所定义的CAVLC (上下文自适应可变长度编码)等等。算术编码包括，例如，CABAC (上下文自适应二进制算术编码)等等。
[0110]蓄积缓冲器107临时保存从无损编码单元106提供的编码数据。蓄积缓冲器107在指定的定时，将保存的编码数据输出到，例如，在后面的级提供的记录设备(记录介质)、传输线路等等(未不出)。
[0111]另外，由量化单元105量化的变换系数还提供给逆量化单元108。逆量化单元108通过适合于由量化单元105执行的量化的方法，来逆量化已量化的变换系数。逆量化方法可以是任何方法，只要该方法适于由量化单元105执行的量化处理。逆量化单元108将获得的变换系数提供到逆正交变换单元109。
[0112]逆正交变换单元109通过适合于由正交变换单元104执行的正交变换处理的方法，对从逆量化单元108提供的变换系数执行逆正交变换。逆正交变换方法可以是任何方法，只要该方法适于由正交变换单元104执行的正交变换处理。经过逆正交变换的输出(重建的差分信息)被提供给计算单元110。
[0113]计算单元110将通过预测图像选择单元117从帧内预测单元115或运动预测/补偿单元116提供的预测图像与从逆正交变换单元109提供的逆正交变换结果(即，重建的差分信息)相加，并由此获得局部解码的图像(解码图像)。解码图像被提供给解块滤波器111或帧存储器113。
[0114]解块滤波器111对解码图像执行解块滤波处理，并由此去除解码图像中的块效应。解块滤波器111将经过滤波处理的解码图像提供到自适应循环滤波器112。
[0115]自适应循环滤波器112，使用维纳滤波，对解块滤波处理结果(接受了块效应的去除的解码图像)执行循环滤波处理，并由此改善图像质量。自适应循环滤波器112执行类别分类ALF，其中，作为处理对象的关注像素被进行类别分类，使用根据类别获得的滤波系数来执行关注像素的滤波处理。请注意，自适应循环滤波器112逐片段地执行此滤波处理。
[0116]自适应循环滤波器112将滤波处理结果(经过滤波处理的解码图像)提供到帧存储器113。请注意，如上文所描述的，从计算单元110输出的解码图像可以被提供给帧存储器113，而不用经过解块滤波器111和自适应循环滤波器112。例如，作为用于帧内预测的参考图像，未经过解块滤波器111和自适应循环滤波器112进行滤波处理的图像存储在帧存储器113中。
[0117]帧存储器113存储所提供的解码图像，并在规定的定时将存储的解码图像提供到选择单元114作为参考图像。
[0118]选择单元114选择从帧存储器113提供的参考图像的提供目的地。例如，在帧内预测的情况下，选择单元114将从帧存储器113提供的参考图像提供到帧内预测单元115。另外，例如，在帧间预测的情况下，选择单元114将从帧存储器113提供的参考图像提供到运动预测/补偿单元116。[0119]帧内预测单元115使用从画面重排缓冲器102提供的输入图像，以及通过选择单元114从帧存储器113提供的参考图像，并基本上使用作为处理单位，来执行帧内预测(帧内画面预测)。当帧内预测单元115选择最佳帧内预测模式时，帧内预测单元115将在最佳模式下创建的预测图像提供到预测图像选择单元117。另外，如上文所描述的帧内预测单元115，在合适的情况下，将表示采用的帧内预测模式等等的帧内预测模式信息提供到无损编码单元106，以编码信息。
[0120]运动预测/补偿单元116使用从画面重排缓冲器102提供的输入图像，通过选择单元114从帧存储器113提供的参考图像，并基本上使用作为处理单位，来执行运动预测(帧间预测)，并根据检测到的运动矢量，来执行运动补偿处理，并由此创建预测图像(帧间预测图像信息)。运动预测/补偿单元116在预先准备的多个模式(帧间预测模式)下执行这样的帧间预测。
[0121]运动预测/补偿单元116在所有候选帧间预测模式下创建预测图像，并评估各个预测图像的成本函数值，以选择最佳模式。当运动预测/补偿单元116选择最佳帧间预测模式时，运动预测/补偿单元116将在最佳模式下创建的预测图像提供到预测图像选择单元 117。
[0122]另外，运动预测/补偿单元116将表示采用的帧间预测模式的信息，当对编码数据进行解码时在采用的帧间预测模式下执行处理所需的信息，等等，提供到无损编码单元106，以编码那些信息。
[0123]预测图像选择单元117选择要被提供给计算单元103和计算单元110的预测图像的提供源(帧内预测单元115或运动预测/补偿单元116)，并将从所选处理单元提供的预测图像提供到计算单元103和计算单元110。
[0124]速率控制单元118基于在蓄积缓冲器107中蓄积的编码数据的速率，来控制量化单元105的量化操作的速率，以便防止上溢出或下溢出的发生。
[0125]滤波系数控制单元121为由自适应循环滤波器112执行的滤波处理设置滤波系数。滤波系数控制单元121对作为处理对象的关注像素进行类别分类，并根据该类别来设置滤波系数。滤波系数控制单元121执行此滤波系数设置(类别分类)，而不使用作为处理对象的关注像素所属的关注片段之外的其他片段中的信息。即，在设置滤波系数时，滤波系数控制单元121保持逐片段处理的独立性。
[0126][多片段]
[0127]在诸如MPEG2和AVC之类的图像编码方案中，一个图片被分成多个片段，可以并行地处理多个片段(多片段)。
[0128]在MPEG2的情况下，如图2的示例A所示，最大片段大小是一个宏块线，构成B图片的所有片段需要是B片段。
[0129]另一方面，在AVC的情况下，如图2的示例B所示，片段可以大于一个宏块线，而片段边界不需要位于宏块线的右边缘(屏幕的右边缘)，单个图片可以由不同类型的片段组成。
[0130]在AVC的情况下，解块滤波处理可以跨片段边界地执行。然而，请注意，诸如自适应循环滤波处理、帧内预测、CABAC、CAVLC，以及运动矢量预测之类的使用周边信息的处理，无法跨片段边界地执行。[0131]换言之，由于对于各个片段的编码处理可以彼此独立地执行，一个图片被分成多个片段，可以并行地编码片段。即，通过这样的片段分割，可以实现编码处理时间的缩短(编码处理的速度的提高)。
[0132][编码单元]
[0133]同时,在AVC编码方案中,宏块或子宏块(宏块被分割成的多个子宏块中的一个)被用作预测处理，编码处理等等的处理单位。然而，16像素xl6像素的宏块大小对于大的图片帧(诸如可以充当下一代编码方案的对象的UHD (极高清晰度；4000像素X2000像素))不是最佳的。
[0134]因此，当前，为了进一步提高通过AVC的编码效率，由JCTVC(共同协作团队-视频编码)(ITU-T (国际电信联盟电信标准化部门)和ISO (国际标准化组织)/IEC (国际电工委员会)的共同的标准化组织)追求叫做HEVC (高效率视频编码)的编码方案的标准化。
[0135]在AVC中，定义了包括宏块和子宏块的分层结构，而在HEVC中，如图3所示，定义了编码单元(CU)。
[0136]⑶也叫做编码树块(CTB)，是以图片为单位的图像的一部分区域，这与宏块在AVC中扮演相同的角色。后者固定在16x16像素大小，而前者的大小不是固定的，如此，在每一个序列中的图像压缩信息中指定。
[0137]例如，在充当输出的编码数据中所包括的序列参数集(SPS)中，定义了最大的CU大小(IXU (最大编码单元))和最小的⑶大小((S⑶(最小编码单元))。
[0138]在每一个IXU中，通过在不低于S⑶的大小的范围内将split_flag设置为1，IXU可以被被分裂成具有更小大小的CU。在图3的示例中，LCU的大小是128，最大分层深度是5。当split_flag的值是“I”时，2N x2N的大小的⑶分裂成N x N的大小的⑶(一个较低级别)。
[0139]此外，⑶还可以拆分成预测单元(PU)，这些预测单元是充当帧内或帧间预测的处理单位的区域(以图片为单位的图像的部分区域)，还拆分成变换单元(TU)，这是充当用于正交变换的处理单位的区域(以图片为单位的图像的部分区域)。目前，在HEVC中，除4x4和8x8之外，还可以使用16x16和32x32正交变换。
[0140]在其中定义了 CU并使用CU作为一个单位来执行各种类型的处理的编码方案的情况下，类似于上文所描述的HEVC，可以认为AVC中的宏块对应于LCU。然而，请注意，由于CU具有如图3所示的分层结构，最高级别的LCU的大小被设置为大于AVC中的宏块，例如，128x128像素是常见的。
[0141]本发明也可以应用于使用这样的⑶、PU、TU等等来代替宏块的编码方案。S卩，用于预测处理的处理单位可以是任何区域。即，在下文中，对于预测处理的处理对象区域(也称为区域或关注区域)和作为位于关注区域的周边的区域的周边区域不仅包括这样的宏块和子宏块，而且还包括⑶、PU、TU等等。
[0142]诸如上文所描述的那些IXU (⑶、PU，以及TU)是片段区域被分割成的多个区域，并属于片段的下层。即，在诸如在图2中所描述的多片段的情况下，如图4所示，LCU被包括在任何片段中。
[0143]如图5所示，IXU的起始地址通过从每一个片段的开始的相对位置来指定。对于IXU中的每一个区域(⑶、PU，以及TU)，指定标识信息和大小。即，每一个像素的位置都可以根据那些信息来标识。因此，作为处理对象的关注像素以及其周边像素的位置以及关注片段的范围可以轻松地从那些信息来标识。换言之，可以轻松地标识周边像素是否属于关注片段(无论可用还是不可用)。
[0144][滤波系数的计算]
[0145]滤波系数控制单元121，只使用可用信息，确定在对于关注像素的自适应循环滤波处理中使用的滤波系数。更具体而言，滤波系数控制单元121对关注像素进行类别分类，并将根据分类的类别的值设置为关注像素的滤波系数。对于类别分类，滤波系数控制单元121计算SML (改进拉普拉斯能量和)。SML是用于获取纹理的复杂性的算子。即，滤波系数控制单元121根据SML的大小来对关注像素进行类别分类。
[0146]滤波系数控制单元121只使用可用信息来计算SML。例如，滤波系数控制单元121使用关注像素的像素值和位于关注像素周边的可用的周边像素的像素值来执行计算。周边像素可以是任何像素，只要该像素可用，但是，基本上位置更靠近关注像素的那些像素具有较高的关联性，因此是所期望的。
[0147]例如，如图6所示，滤波系数控制单元121，使用关注像素的像素值R(i，j)，临近关注像素的左边的周边像素的像素值R(i_l，j)，临近关注像素的右边的周边像素的像素值R(i+1, j)，临近关注像素的上方的周边像素的像素值，R(i, j-1)，以及临近关注像素下面的周边像素的像素值R(i，j+Ι)，来计算关注像素(i，j)的SML(i，j)，如下面的公式(I)所示。请注意，位置(i，j)中的像素的像素值是R(i，j)。
[0148]SML (i, j) = |2XR(i, j)-R(i_l，j)-R(i + l, j) | + |2XR(i，j)-R(i, j_l)-R(i，
j+i) I...(i)
[0149]滤波系数控制单元121基于SML(i，j)的大小，对关注像素进行类别分类，并将根据该类别的值设置为关注像素的滤波系数。
[0150][对于多片段的类别分类ALF]
[0151]如上文所描述的，在类别分类ALF中，在对关注像素进行类别分类时，参考周边像素的像素值。然而，在诸如上文所描述的多片段的情况下，有这样的可能性:被参考的周边像素位于与关注像素所在的片段不同的其它片段中。
[0152]图7到10示出了类别分类ALF中的多片段和关注区域和周边区域之间的位置关系的示例。
[0153]图7示出了关注像素(i，j)和临近该关注像素的上方、下方，以及左边和右边的周边像素都位于一个片段(片段I)(属于关注片段)的状态。请注意，i表示像素的水平方向的位置，j表示像素的垂直方向的位置。另外，片段的左上方边缘是原点(0，0)。
[0154]在此情况下，在关注像素的类别分类(SML计算)中，滤波系数控制单元121可以参考所有周边像素(可用的)的像素值。
[0155]图8示出了这样的状态:虽然关注像素(i，j)、临近该关注像素下方的周边像素(i，j+Ι)、临近该关注像素左边的周边像素(1-1，j)、临近该关注像素右边的周边像素(i+1, j)位于片段I中(属于关注片段)，但是，临近该关注像素上方的周边像素(i，j-1)位于片段O中(不属于关注片段)。
[0156]在此情况下，滤波系数控制单元121可以参考周边像素(i，j+Ι)、周边像素(1-1，j)，以及周边像素(i+1，j)(可用)，但是，不能参考周边像素(i，j-1)(不可用)。[0157]图9示出了这样的状态:虽然关注像素(i，j)、临近该关注像素上方的周边像素(i，j-Ι)、临近该关注像素的左边的周边像素(1-1，j)、以及临近该关注像素的右边的周边像素(i+1，j)位于片段I中(属于关注片段)、但是，临近该关注像素下方的周边像素(i, j+Ι)位于图片或帧的外面(不存在)。
[0158]在此情况下，滤波系数控制单元121可以参考周边像素(i，j-1)、周边像素(1-1，j)，以及周边像素(i+1，j)(可用)，但是，不能参考周边像素(i，j+1)(不可用)。
[0159]图10示出了这样的状态:虽然关注像素(i，j)、临近该关注像素上方的周边像素(i，j-Ι)、临近该关注像素下方的周边像素(i，j+Ι)、以及临近该关注像素的右边的周边像素(i+1，j)位于片段I中(属于关注片段)、但是，临近该关注像素的左边的周边像素(1-1, j)片段O中(不属于关注片段)。
[0160]在此情况下，滤波系数控制单元121可以参考周边像素(i，j-1)、周边像素(i，j+Ι)，以及周边像素(i+1，j)(可用)，但是，不能参考周边像素(1-1，j)(不可用)。
[0161]请注意，如图9所示，片段边界不仅包括各个片段之间的边界，而且还包括图像边缘。重要的是，周边像素的像素值是否可用，即，周边像素是否包括在关注片段中。因此，周边像素的像素值不可用的状态不仅包括其中周边像素属于另一个片段的情况，而且还包括其中周边像素不存在(位于图片外面)的情况。
[0162]请注意，还考虑多个周边像素不包括在关注片段中的情况，例如，周边像素(i, j-Ι)和周边像素(1-1，j)不可用的情况。即，片段边界和关注像素之间的位置关系不仅限于图7到图10所示出的示例。
[0163]当如图8到图10所示，周边像素中的至少一个的像素值不可用时，滤波系数控制单元121计算关注像素的SML，而不使用该像素值。
[0164]SML是用于获取纹理的复杂性的算子，如此，也可以说是指出关注的区域与周边像素的像素-值关联的强度的参数。因此，滤波系数控制单元121可以利用像素之间的像素-值关联，使用例如位于周边像素附近的可用像素的像素值(包括与周边像素相邻的像素)来代替不可用周边像素的像素值，来计算SML。此外，作为周边像素附近的像素，滤波系数控制单元121可以使用，例如，关注像素的像素值来计算SML。
[0165]此外，例如，为便于计算，滤波系数控制单元121可以使用指定的固定值来代替不可用的周边像素的像素值，来计算SML。
[0166]当然，也可以使用其他方法。例如，滤波系数控制单元121可以通过指定的计算，使用一个或多个其他可用像素的像素值，来计算代替不可用周边像素的像素值所使用的值，并使用该值来计算SML。
[0167]通过这样做，滤波系数控制单元121可以执行每一个像素的SML的计算，即，类别分类，以及滤波系数的计算，而不参考其他片段中的信息。即，滤波系数控制单元121可以逐个片段地独立地执行那些处理。因此，自适应循环滤波器112可以逐个片段地、独立地执行自适应循环滤波处理。甚至在多片段的情况下，自适应循环滤波器112也可以抑制自适应循环滤波处理的吞吐量的降低。即，图像编码设备100可以抑制编码处理的处理时间的增加。
[0168][自适应循环滤波器和滤波系数控制单元]
[0169]图11是示出了自适应循环滤波器112和滤波系数控制单元121的示例性主要配置的框图。
[0170]如图11所示，自适应循环滤波器112具有控制单元131和滤波处理单元132。
[0171]另外，滤波系数控制单元121还具有位置确定单元141、SML计算单元142、类别分类单元143，以及滤波系数设置单元144。
[0172]控制单元131基于指出是否要执行自适应循环滤波处理的标记alf_f lag的值，来控制滤波处理单元132的自适应循环滤波处理。另外，在执行自适应循环滤波处理时，控制单元131指示滤波系数控制单元121中的位置确定单元141开始处理。控制单元131进一步将alf_flag提供到无损编码单元106以编码alf_flag,并将编码的alf_flag传输到解码侧。
[0173]滤波处理单元132，根据控制单元131的控制，使用从滤波系数设置单元144提供的滤波系数，对已经接受了解块滤波处理并从解块滤波器111提供的像素值执行滤波处理。滤波处理单元132保存经过滤波处理的像素值，并将像素值提供到帧存储器113，以将像素值存储为参考图像。保存的像素值在对于晚于关注像素处理的其他像素的处理中，重复用作周边像素的像素值。
[0174]位置确定单元141，根据控制单元131的控制，从无损编码单元106获取指出片段、作为处理对象的关注像素等等的位置的地址信息。那些地址信息存储在，例如，由无损编码单元106所生成的序列参数集(SPS)、图片参数集(PPS)、片段头等等中。位置确定单元141使用获得的地址信息来确定关注片段中的关注像素的位置。
[0175]SML计算单元142基于由位置确定单元141获取的位置确定结果(位置信息)，并使用从滤波处理单元132中获取的关注像素的像素值和周边像素的像素值(无需参考关注片段之外的其他片段中的信息)来计算关注像素的SML。
[0176]类别分类单元143使用由SML计算单元142计算出的SML，对关注像素进行类别分类。
[0177]根据从类别分类单元143中获取的类别信息(类别分类结果)，滤波系数设置单元144根据类别为关注像素设置滤波系数。滤波系数设置单元144将设置的滤波系数提供到滤波处理单元132。滤波处理单元132，使用滤波系数，对于关注像素执行滤波处理。
[0178][编码处理的流程]
[0179]接下来，将描述诸如上文所描述的由图像编码设备100执行的处理的流程。首先，参考图12的流程图，将描述编码处理的流程的示例。请注意，图12所示出的各个步骤中的处理在它们的各自的处理单元中执行。因此，各个处理的处理单元不必彼此相等。如此，虽然由诸如下面所描述的处理过程来处理每一个数据，但是，在实践中，各个步骤中的处理的处理顺序并不总是诸如下面所描述的那样的。
[0180]在步骤SlOl中，A/D转换单元101对输入的图像进行A/D转换。在步骤S102中，画面重排缓冲器102存储经过A/D转换的图像，并将图片的顺序从显示顺序重新排列为编码顺序。
[0181]在步骤S103中，帧内预测单元115在帧内预测模式下执行帧内预测处理。在步骤S104中，运动预测/补偿单元116执行帧间运动预测处理，其中，运动预测和运动补偿是在帧间预测模式下执行的。
[0182]在步骤S105中，预测图像选择单元117基于从帧内预测单元115和运动预测/补偿单元116输出的成本函数值来确定最佳模式。即，预测图像选择单元117选择由帧内预测单元115所产生的预测图像和由运动预测/补偿单元116所产生的预测图像中的一个。
[0183]在步骤S106中，计算单元103计算在步骤S102中的处理中重新排列的图像和在步骤S105中的处理中选定的预测图像之间的差分。与原始图像数据相比，差分数据的数据大小缩小。因此，与照原样编码图像的情况相比，数据大小可以被压缩。
[0184]在步骤S107中，正交变换单元104对在步骤S106中的处理中所生成的差分信息执行正交变换。具体而言，执行诸如离散余弦变换或卡南-洛维变换之类的正交变换，并输出变换系数。
[0185]在步骤S108中，量化单元105量化在步骤S107中的处理中获得的正交变换系数。
[0186]按下列方式局部地解码在步骤S108中的处理中量化的差分信息。具体而言，在步骤S109中，逆量化单元108通过与量化单元105的特征相关联的特征，逆量化在步骤S108中的处理中所生成并量化的正交变换系数(也称为量化系数)。在步骤SllO中，逆正交变换单元109通过与正交变换单元104的特征相关联的特征，对在步骤S107中的处理中获得的正交变换系数执行逆正交变换。
[0187]在步骤Slll中，计算单元110将预测图像与局部地解码的差分信息相加，并由此创建局部解码图像(对应于到计算单元103的输入的图像)。在步骤S112中，解块滤波器111在合适的情况下，对在步骤Slll中的处理获取的局部解码图像执行解块滤波处理。
[0188]在步骤S113中，自适应循环滤波器112和滤波系数控制单元121，逐个片段地、独立地对已经接受了解块滤波处理的解码图像执行自适应循环滤波处理。
[0189]在步骤SI 14中，帧存储器113存储在步骤SI 13中的处理中接受了自适应循环滤波处理的解码图像。请注意，那些没有接受解块滤波器111或自适应循环滤波器112的滤波处理的图像也从计算单元110提供给帧存储器113并存储。
[0190]在步骤S115中，无损编码单元106编码在步骤S108中的处理中量化的变换系数。即，对差分图像执行诸如可变长度编码或算术编码之类的无损编码。
[0191]请注意，无损编码单元106编码在步骤S108中计算出的量化参数并将编码的参数与编码数据相加。另外，无损编码单元106还编码有关在步骤S105中的处理中选定的预测图像的预测模式的信息，并将编码的信息添加到通过编码差分图像获得的编码数据中。即，无损编码单元106还编码从帧内预测单元115提供的最佳帧内预测模式信息，根据从运动预测/补偿单元116提供的最佳帧间预测模式获得的信息，等等，并将编码的信息添加到编码数据中。
[0192]此外，无损编码单元106还编码诸如alf_flag之类的有关滤波处理的信息，并将编码的信息添加到编码数据中。
[0193]在步骤S116中，蓄积缓冲器107蓄积在步骤S115中的处理中获得的编码数据。在合适的情况下，读取在蓄积缓冲器107中蓄积的编码数据，并通过传输线路或记录介质将读取的编码数据传输到解码侧。
[0194]在步骤SI 17中，速率控制单元118基于在步骤SI 16中的处理中在蓄积缓冲器107中蓄积的编码数据的速率(比特的量)，来控制量化单元105的量化操作的速率，以便防止上溢出或下溢出的发生。
[0195]当步骤S117中的处理完成时，编码处理结束。[0196][自适应循环滤波处理的流程]
[0197]接下来，将参考图13的流程图来描述在图12中的步骤S113中执行的自适应循环滤波处理的流程的示例。
[0198]当自适应循环滤波处理开始时，在步骤S131中，控制单元131将作为处理对象的关注片段中的第一像素设置处理对象(关注像素)。在步骤S132中，控制单元131判定是否已经处理完所有像素。如果判定有未处理的像素，那么，控制单元131将处理转到步骤S133，并控制位置确定单元141。
[0199]位置确定单元141，在步骤S133中获取关注片段、关注像素，等等的地址信息，并在步骤S134中确定周边像素的位置。即，位置确定单元141基于关注片段中的关注像素的位置，确定周边像素是否位于关注片段中(是否可用)。
[0200]在步骤S135中，SML计算单元142根据在步骤S134中获得的位置确定结果，来计算关注区域的SML (i，j)。
[0201]在步骤S136中，类别分类单元143根据在步骤S135中计算出的SML (i, j)的大小，对关注像素进行类别分类。
[0202]在步骤S137中，滤波系数设置单元144根据在步骤S136中分类的类别，为关注像素设置滤波系数。
[0203]在步骤S138中，控制单元131判定alf_flag的值(指出是否要执行自适应循环滤波处理的标记信息)是否是I。如果判定该值是1，那么，控制单元131将处理转到步骤S139，并控制滤波处理单元132。
[0204]在步骤S139中，滤波处理单元132使用在步骤S137中设置的滤波系数，对于关注像素执行滤波处理。
[0205]另外，如果在步骤S138中判定alf_flag的值是0，那么，控制单元131将处理转到步骤S140。在步骤S140中，控制单元131将alf_f lag提供到无损编码单元106，以编码alf—flag。
[0206]在步骤S141中，控制单元131将处理对象更新到下一像素。当控制单元131完成步骤S141中处理时，控制单元131将处理返回到步骤S132，并重复后续处理。
[0207]当以上文所描述的方式重复步骤S132到S141中的处理并且在步骤S132中判定已经处理完关注片段中的所有像素时，控制单元131结束自适应循环滤波处理并将处理返回到图12。
[0208][SML计算处理的流程]
[0209]接下来，将参考图14的流程图来描述在图13中的步骤S135中执行的SML计算处理的流程的示例。
[0210]当SML计算处理开始时，SML计算单元142在步骤S161中判定周边像素(i_l, j)是否被包括在关注片段中。
[0211]如果判定周边像素(1-1，j)被包括在关注片段中，那么，SML计算单元142将处理转到步骤S162，并使用该周边像素的像素值来计算SML，而不更新像素值，如下列公式(2)所示。
[0212]R’ (1-1, j)=R(1-l, j)...⑵
[0213]另一方面，如果在步骤S161中判定周边像素(1-1，j)不包括在关注片段中，那么，SML计算单元142将处理转到步骤S163，并使用关注像素的像素值来更新周边像素的像素值，如下列公式(3)所示。
[0214]R’(1-1，j)=R(i，j)...(3)
[0215]在步骤S164中，SML计算单元142判定周边像素(i+1，j)是否被包括在关注片段中。
[0216]如果判定周边像素(i+1，j)被包括在关注片段中，那么，SML计算单元142将处理转到步骤S165，并使用该周边像素的像素值来计算SML，而不更新像素值，如下列公式(4)所示。
[0217]R，(i+1, j)=R(i+l, j)...(4)
[0218]另一方面，如果在步骤S164中判定周边像素(i+1，j)不包括在关注片段中，那么，SML计算单元142将处理转到步骤S166，并使用关注像素的像素值来更新该周边像素的像素值，如下列公式(5)所示。
[0219]R’(i+1，j)=R(i，j)...(5)
[0220]在步骤S167中，SML计算单元142判定周边像素(i，j-1)是否被包括在关注片段中。
[0221]如果判定周边像素(i，j-1)被包括在关注片段中，那么，SML计算单元142将处理转到步骤S168，并使用该周边像素的像素值来计算SML，而不更新像素值，如下列公式(6)所示。
[0222]R，(i，j-1) =R (i，j-1)...(6)
[0223]另一方面，如果在步骤S167中判定周边像素(i，j-Ι)不包括在关注片段中，那么，SML计算单元142将处理转到步骤S169，并使用关注像素的像素值来更新该周边像素的像素值，如下列公式(7)所示。
[0224]R’(i，j-l)=R(i，j)...(7)
[0225]在步骤S170中，SML计算单元142判定周边像素(i，j+Ι)是否被包括在关注片段中。
[0226]如果判定周边像素(i，j+Ι)被包括在关注片段中，那么，SML计算单元142将处理转到步骤S171，并使用周边像素的像素值来计算SML，而不更新像素值，如下列公式(8)所
/Jn ο
[0227]R，(i，j+1) =R (i，j+1)...(8)
[0228]另一方面，如果在步骤S170中判定周边像素(i，j+Ι)不包括在关注片段中，那么，SML计算单元142将处理转到步骤S172，并使用关注像素的像素值来更新周边像素的像素值，如下列公式(9)所示。
[0229]R’(i，j+l)=R(i，j)...(9)
[0230]在步骤S173中，根据上文所描述的处理的处理结果，SML计算单元142使用周边像素的像素值来计算关注像素的SML (i，j)，如下列公式(10)所示。
[0231]SML(i，j) = |2XR，(i，j)_R，(i_l，j)_R，(i+1, j) | + |2XR，(i，j)_R，(i，j_l)_R，(i,j+1)...(10)
[0232]当计算SML时，SML计算单元142结束SML计算处理，并将处理返回到图13。
[0233]通过以上文所描述的方式来执行各种类型的处理，图像编码设备100可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0234]〈2.第二实施例>
[0235]图15是示出了图像解码设备的示例性主要配置的框图。图15所示出的图像解码设备200通过与编码方法相关联的解码方法来解码由图像编码设备100所生成的编码数据。
[0236]如图15所示，图像解码设备200具有蓄积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、解块滤波器206、自适应循环滤波器207、画面重排缓冲器208，以及D/A转换单元209。另外，图像解码设备200具有帧存储器210、选择单元211、帧内预测单元212、运动预测/补偿单元213，以及选择单元214。
[0237]此外，图像解码设备200还具有滤波系数控制单元221。
[0238]蓄积缓冲器201蓄积传输的编码数据，并在指定的定时将编码数据提供到无损解码单元202。无损解码单元202通过与无损编码单元106的编码方案相关联的方案，来解码由图1的无损编码单元106编码并从蓄积缓冲器201提供的信息。无损解码单元202将通过解码获取的差分图像的量化的系数数据提供到逆量化单元203。
[0239]另外，无损解码单元202判定是选择了帧内预测模式还是选择了帧间预测模式作为最佳预测模式，并将有关最佳预测模式的信息提供到帧内预测单元212和运动预测/补偿单元213中的具有被判定为被选中的模式的那一个。
[0240]逆量化单元203通过与图1的量化单元105的量化方案相关联的方案，来逆量化通过无损解码单元202的解码获取的量化系数数据，并将获取的系数数据提供到逆正交变换单元204。
[0241]逆正交变换单元204通过与图1的正交变换单元104的正交变换方案相关联的方案，来对从逆量化单元203提供的系数数据执行逆正交变换。通过此逆正交变换处理，逆正交变换单元204获取对应于之前在图像编码设备100中接受了正交变换的残差数据的解码的残差数据。
[0242]由逆正交变换获取的解码的残差数据提供给计算单元205。另外，还通过选择单元214将来自帧内预测单元212或运动预测/补偿单元213的预测图像提供到计算单元205。
[0243]计算单元205将解码的残差数据和预测图像相加，并由此获得对应于之前被图像编码设备100的计算单元103减去预测图像的图像数据的解码的图像数据。计算单元205将解码的图像数据提供到解块滤波器206。
[0244]解块滤波器206在合适的情况下，对所提供的解码图像执行解块滤波处理，以去除解码图像中的块效应。解块滤波器206将经过滤波处理的解码图像数据提供到自适应循环滤波器207。
[0245]自适应循环滤波器207，使用维纳滤波，对解块滤波处理结果(接受了块效应的去除的解码图像)进行循环滤波处理(类别分类ALF)，并由此改善图像质量。自适应循环滤波器207将经过滤波处理的解码图像数据提供到画面重排缓冲器208和帧存储器210。请注意，从计算单元205输出的解码图像(例如，用于帧内预测的参考图像)可以被提供给帧存储器210，而不经过解块滤波器206和自适应循环滤波器207。
[0246]画面重排缓冲器208重新排列图像。具体而言，由用于编码顺序的图1的画面重排缓冲器102重新排列的帧顺序被重新排列为原始显示顺序。D/A转换单元209对从画面重排缓冲器208提供的图像进行D/A转换，并将图像输出到显示器(未示出)，以显示图像。
[0247]帧存储器210存储所提供的解码图像，并在指定的定时或基于来自诸如帧内预测单元212或运动预测/补偿单元213之类的外部源的请求，将存储的解码图像作为参考图像提供到选择单元211。
[0248]选择单元211选择从帧存储器210提供的参考图像的提供目的地。当解码帧内编码的图像时，选择单元211将从帧存储器210提供的参考图像提供到帧内预测单元212。可另选地，当解码帧间编码的图像时，选择单元211将从帧存储器210提供的参考图像提供到运动预测/补偿单元213。
[0249]在合适的情况下，还从无损解码单元202向帧内预测单元212提供通过解码头信息获得的、指出帧内预测模式的信息等等。帧内预测单元212使用从帧存储器210中获得的参考图像，在图1的帧内预测单元115所使用的帧内预测模式下，执行帧内预测，并由此创建预测图像。帧内预测单元212将所创建的预测图像提供到选择单元214。
[0250]运动预测/补偿单元213从无损解码单元202中获取通过解码头信息而获得的信息(最佳预测模式信息、差分信息，以及预测运动矢量信息的代码号，等等)。
[0251]运动预测/补偿单元213使用从帧存储器210中获得的参考图像，在图1的运动预测/补偿单元116所使用的帧间预测模式下，执行帧间预测，并由此创建预测图像。
[0252]选择单元214将从帧内预测单元212提供的预测图像或从运动预测/补偿单元213提供的预测图像提供到计算单元205。
[0253]滤波系数控制单元221基于关注像素的SML，对关注像素进行类别分类，设置自适应循环滤波器207所使用的滤波系数，并将滤波系数提供到自适应循环滤波器207。请注意，滤波系数控制单元221计算关注像素的SML，而不参考关注片段之外的其他片段中的信
肩、O
[0254]通过这样做，自适应循环滤波器207可以逐个片段地、独立地执行滤波处理。
[0255][自适应循环滤波和滤波系数控制单元]
[0256]图16是示出了自适应循环滤波器207和滤波系数控制单元221的示例性主要配置的框图。
[0257]自适应循环滤波器207基本上与图像编码设备100的自适应循环滤波器112(图11)具有相同配置，并基本上执行相同处理。即，如图16所示，自适应循环滤波器207具有控制单元231和滤波处理单元232。
[0258]滤波系数控制单元221基本上与图像编码设备100的滤波系数控制单元121 (图11)具有相同配置，并基本上执行相同处理。即，如图16所示，滤波系数控制单元221具有位置确定单元241、SML计算单元242、类别分类单元243，以及滤波系数设置单元244。
[0259]控制单元231基本上与控制单元131 (图11)执行相同处理。然而，请注意，控制单元231从无损解码单元202中获取从图像编码设备100提供的alf_f lag，并根据该alf_flag的值来控制是否要执行类别分类ALF (滤波系数控制单元221和滤波处理单元232的操作)。
[0260]如同滤波处理单元132 (图11)，滤波处理单元232被控制单元231控制，以使用从滤波系数设置单元244提供的滤波系数，对接受了解块滤波处理并从解块滤波器206提供的像素值执行滤波处理。滤波处理单元232保存经过滤波处理的像素值，并将像素值提供到画面重排缓冲器208和帧存储器210，以将像素值存储为参考图像。保存的像素值在对于晚于关注像素处理的其他像素的处理中，重复用作周边像素的像素值。
[0261]滤波系数控制单元221中的位置确定单元241到滤波系数设置单元244分别对应于位置确定单元141到滤波系数设置单元144，并执行相同处理。
[0262]具体而言，位置确定单元241，根据控制单元231的控制，从无损解码单元202获取指出片段、作为处理对象的关注像素等等的位置的地址信息。那些地址信息存储在，例如，从图像编码设备100传输的比特流中的SPS、PPS、片段头等等中。位置确定单元241从由无损解码单元202解码的那些信息中获取地址信息，并使用地址信息来确定关注片段中的关注像素的位置。
[0263]SML计算单元242基于由位置确定单元241获取的位置确定结果(位置信息)，并使用从滤波处理单元232中获取的关注像素的像素值和周边像素的像素值(无需参考关注片段之外的其他片段中的信息)来计算关注像素的SML。
[0264]类别分类单元243使用由SML计算单元242计算出的SML，对关注像素进行类别分类。
[0265]根据从类别分类单元243中获取的类别信息(类别分类结果)，滤波系数设置单元244根据类别为关注像素设置滤波系数。滤波系数设置单元244将设置的滤波系数提供到滤波处理单元232。滤波处理单元232，使用滤波系数，对于关注像素执行滤波处理。
[0266][解码处理的流程]
[0267]接下来，将参考图17的流程图来描述诸如上文所描述的由图像解码设备200执行的解码处理的流程的示例。
[0268]当解码处理开始时，在步骤S201中，蓄积缓冲器201蓄积传输的比特流。在步骤S202中，无损解码单元202解码从蓄积缓冲器201提供的比特流。具体而言，解码由图1的无损编码单元106编码的I图片、P图片，以及B图片。另外，还解码比特流中所包括的除差分图像信息以外的各种类型的信息，诸如SPS、PPS，以及片段头。
[0269]在步骤S203中，逆量化单元203逆量化在步骤S202中的处理中获取的已量化的正交变换系数。在步骤S204中，逆正交变换单元204对在步骤S203中已经逆量化的正交变换系数执行逆正交变换。
[0270]在步骤S205中，帧内预测单元212或运动预测/补偿单元213使用所提供的信息来执行预测处理。在步骤S206中，选择单元214选择在步骤S205中创建的预测图像。在步骤S207中，计算单元205将在步骤S206中选择的预测图像与在步骤S204中通过逆正交变换获取的差分图像信息相加。通过此，获取解码图像。
[0271]在步骤S208中，解块滤波器206在合适的情况下，对在步骤S207中获取的解码图像执行解块滤波处理。
[0272]在步骤S209中，自适应循环滤波器207和滤波系数控制单元221，在合适的情况下，对接受了解块滤波处理的解码图像执行自适应循环滤波处理。请注意，自适应循环滤波器207和滤波系数控制单元221逐个片段地、独立地执行自适应循环滤波处理。
[0273]自适应循环滤波处理的细节与参考图13的流程图所描述的由图像编码设备100执行的自适应循环滤波处理相同，如此，省略其描述。[0274]在步骤S210中，画面重排缓冲器208重新排列在步骤S209中接受了滤波处理的图像。具体而言，由用于编码的图像编码设备100的画面重排缓冲器102重新排列的帧顺序被重新排列为原始显示顺序。
[0275]在步骤S211中，D/A转换单元209对其帧顺序已经在步骤S210中重新排列的图像进行D/A转换。图像被输出到显示器(未示出)，并显示。
[0276]在步骤S212中，帧存储器210存储在步骤S209中接受了滤波处理的图像。图像被用作用于在步骤S205中创建预测图像的参考图像。
[0277]当步骤S212中的处理完成时，解码处理结束。
[0278]通过以上文所描述的方式执行各种类型的处理，自适应循环滤波器207和滤波系数控制单元221只须参考关注片段中的信息，如此，不需要等到对其他片段的处理完成。因此，图像解码设备200可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0279][其他示例]
[0280]请注意，虽然上文描述了当周边像素不包括在关注片段中时，计算SML，而不参考除所述关注片段之外的其他片段中的信息，然后，执行类别分类，但是，配置不仅限于此。例如，对于其周边像素不包括在关注片段中的关注像素，可以省略用于计算SML的计算，并可以将关注像素分类到预定的、指定的类别(可以设置指定的滤波系数)。通过这样做，滤波系数的设置变得更加容易。
[0281]另外，还可以省略其周边像素不包括在关注片段中的关注像素的滤波处理。
[0282]参考图18的流程图，将描述对于该情况的自适应循环滤波处理的流程的示例。
[0283]在此情况下，自适应循环滤波处理的每一个处理基本上都以与图13的情况同样的方式来执行。具体而言，步骤S231到S234中的处理以与图13中的步骤S131到S134中的处理同样的方式来执行。
[0284]然而，请注意，在步骤S235中，位置确定单元141确定周边像素是否包括在关注片段中，只有在确定周边像素包括在关注片段的情况下，位置确定单元141才转到步骤S236。在此情况下，步骤S236到S242中的处理以与图13中的步骤S135到S141中的处理同样的方式来执行。
[0285]另外，如果在步骤S235中确定周边像素不包括在关注片段中，那么，位置确定单元141将处理回到步骤S232，并将处理对象更改为下一像素。
[0286]通过以此方式执行自适应循环滤波处理，自适应循环滤波器112和滤波系数控制单元121可以更轻松地执行自适应循环滤波处理。
[0287]请注意，虽然上文描述了由图像编码设备100执行的自适应循环滤波处理，但是，由图像解码设备200执行的自适应循环滤波处理也可以同样的方式来执行。
[0288]另外，虽然上文描述了临近关注像素的上、下，以及左和右侧的像素充当周边像素，但是，配置不仅限于此。例如，临近关注像素的右上方的像素，临近右下方的像素，临近左上方的像素，临近左下方的像素，等等，都可以充当周边像素。此外，周边像素不需要与关注像素相邻。另外，SML计算方法也可以是上文所描述的方法之外的任何其他方法。例如，周边像素的数量是任何数量，如此，周边像素的数量可以是5个以上多或3个以下。
[0289]此外，虽然上文描述了图像解码设备200以与图像编码设备100同样的方式来计算滤波系数，但是，配置不仅限于此。图像编码设备100所使用的滤波系数可以传输到图像解码设备200，而图像解码设备200可以使用从图像编码设备100提供的滤波系数来执行自适应循环滤波处理。在该情况下，可以省略滤波系数控制单元221。
[0290]另外，图像编码设备100 (控制单元131)还可以对于每一个片段，生成控制是否要逐个片段地、独立地执行类别分类ALF的标记，并将标记传输到图像解码设备200。
[0291]在设置了此标记(例如，值是I)的片段中，图像编码设备100，如上文所描述的，只使用有关可用的像素的信息，逐个片段地、独立地执行类别分类ALF。另一方面，在没有设置标记(例如，值是O)的片段中，即使在周边像素属于另一个片段的情况下，在获取了所有周边像素的像素值之后，图像编码设备100计算SML，并对关注像素进行类别分类，以设置滤波系数。
[0292]在图像解码设备200中，当从图像编码设备100提供的标记的值是I时，执行类别分类ALF，以便使关注片段独立于其他片段，而当从图像编码设备100提供的标记的值是O时，执行类别分类ALF，以便使关注片段不独立于其他片段。
[0293]虽然上文描述了类别分类是基于SML的大小而执行的，但是，用于类别分类的参数可以是任何参数，只要参数是通过参考除关注像素以外的像素而获得的。例如，可以使用方差值，或可以使用像素值的变化量的大小。在该情况下，通过执行参数的计算而不使用关注片段之外的其他片段中的信息，与上文所描述的SML的情况相同，可以确保逐个片段的处理的独立性。
[0294]<3.第三实施例>
[0295][自适应偏移滤波]
[0296]虽然上文描述了自适应循环滤波，但是，本技术也可以应用于任何处理，只要处理是这样的:当处理关注像素时，参考其周边像素。例如，本技术也可以应用于在HEVC中采用的自适应偏移滤波处理。
[0297]下面将描述HEVC方案中的自适应偏移滤波。在HEVC方案中，采用了非专利文件2中所描述的“样本自适应偏移”方案。
[0298]自适应偏移滤波的处理(图片质量自适应偏移:PQA0)是在解块滤波的处理和自适应循环滤波的处理之间执行的。
[0299]对于自适应偏移的类型，有两种叫做带偏移的类型，和六种叫做边缘偏移的类型，此外，也可以不进行自适应偏移。图像被分区为四叉树，对于每一个区域，就上文所描述的类型的自适应偏移中的哪一个将用于编码作出选择。
[0300]此选择信息被编码单元(熵编码)编码为PQAO信息，并生成比特流，将所生成的比特流传输到解码侧。通过使用此方法，可以提高编码效率。
[0301]现在，参考图19，将描述四叉树结构。虽然四叉树分区(四叉树结构化)可以基于每个任意区域执行，但是，在下文中，描述是在假设四叉树分区是逐个LCU地执行的情况下进行的。
[0302]图19的Al所示出的区域O示出了 IXU未被分区的状态(级别O (分区深度O))。图像编码设备首先计算区域O的(S卩，IXU)的成本函数值J0。图19的Al所示出的四个区域I到4示出了区域O被垂直和水平分区为两个区域(总共四个区域)(级别I (分区深度O)的状态。图像编码设备计算区域I到4的成本函数值Jl，J2，J3，以及J4。[0303]当计算相应的区域O到4的成本函数值时，如图19的A2所示，图像编码设备每个级别(分区深度)地比较成本函数值，并选择带有较小值的级别(分区深度)。例如，在J0XJ1+J2+J3+J4)的情况下，图像编码设备选择级别I分区。即，在此情况下，LCU被分区为至少四个区域，区域I到4。
[0304]请注意，例如，在J0〈 (J1+J2+J3+J4)的情况下，图像编码设备选择级别O分区。在此情况下，IXU未被分区(区域O)。
[0305]图像编码设备对于通过区域分区形成的每一个区域，重复这样的区域分区。图19的A3所示出的区域5到20示出了图19的A2所示出的区域I到4中的每一个都被垂直和水平分区为两个区域(总共四个区域)(级别2 (分区深度2))。即，LCU被分区为16个区域。图像编码设备计算区域5到20的成本函数值J5到J20。
[0306]当计算相应的区域5到20的成本函数值时，如图19的A4所示，图像编码设备在级别I (分区深度I)和级别2 (分区深度2)之间比较成本函数值，并选择带有较小值的级另IJ (分区深度)。
[0307]具体而言，图像编码设备将区域I的成本函数值Jl与区域5、区域6、区域9，以及区域10的成本函数值的总和进行比较。例如，在J1〈(J5+J6+J9+J10)的情况下，图像编码设备选择级别I分区。在此情况下，区域I不再更进一步地分区。相比之下，例如，在J1XJ5+J6+J9+J10)的情况下，图像编码设备选择级别2分区。在此情况下，区域I被分区为至少四个区域，区域5、区域6、区域9，以及区域10。
[0308]另外，图像编码设备还将区域2的成本函数值J2与区域7、区域8、区域11，以及区域12的成本函数值的总和进行比较。例如，在J2MJ7+J8+J11+J12)的情况下，图像编码设备选择级别2分区。在此情况下，区域2被分区为至少四个区域，区域7、区域8、区域11，以及区域12。相比之下，例如，在J2〈(J7+J8+J11+J12)的情况下，图像编码设备选择级别I分区。在此情况下，区域2不再更进一步地分区。
[0309]此外，图像编码设备还将区域3的成本函数值J3与区域13、区域14、区域17，以及区域18的成本函数值的总和进行比较。例如，在J3MJ13+J14+J17+J18)的情况下，图像编码设备选择级别2分区。在此情况下，区域3被分区为至少四个区域，区域13、区域14、区域17，以及区域18。相比之下，例如，在J3〈(J13+J14+J17+J18)的情况下，图像编码设备选择级别I分区。在此情况下，区域3不再更进一步地分区。
[0310]另外，图像编码设备还将区域4的成本函数值J4与区域15、区域16、区域19，以及区域20的成本函数值的总和进行比较。例如，在J4〈(J15+J16+J19+J20)的情况下，图像编码设备选择级别I分区。在此情况下，区域4不再更进一步地分区。相比之下，例如，在J4XJ15+J16+J19+J20)的情况下，图像编码设备选择级别2分区。在此情况下，区域4被分区为至少四个区域，区域15、区域16、区域19，以及区域20。
[0311]图像编码设备进一步对级别2分区重复相同区域分区。图像编码设备重复这样的区域分区，直到不再执行分区或直到到达预定的SCU级别(分区深度)。
[0312]例如，当诸如图19的图A4中所示出的四叉树结构是作为这样的区域分区的结果而获得时，图像编码设备将四叉树结构中的区域确定为最终的四叉树区域(分区)。
[0313]对于以此方式确定的四叉树结构的区域中的每一个，使用成本函数值来选择偏移模式(包括是否要执行偏移)。具体而言，图像编码设备对于每一个区域，计算所有模式的成本函数值，包括两种类型的带偏移、六种类型的边缘偏移，以及无偏移，并选择具有最小的成本函数值的模式。
[0314]在图19的示例的情况下，如白色箭头的右侧所示，对于区域1，确定E0(4)，即，第四类型的边缘偏移。对于区域7，确定OFF，S卩，无偏移，而对于区域8，确定EO (2)，即，第二类型的边缘偏移。对于区域11和12，确定OFF，S卩，无偏移。
[0315]另外，对于区域13，确定BO (1)，即，第一种类型的带偏移，而对于区域14，确定EO(2)，S卩，第二类型的边缘偏移。对于区域17，确定B0(2)，即，第二种类型的带偏移，而对于区域18，确定BO (1)，即，第一种类型的带偏移。对于区域4，确定EO (1)，即，第一种类型的边缘偏移。
[0316]接下来，参考图20，将描述边缘偏移的细节。
[0317]在边缘偏移中，在作为处理对象的关注像素的像素值(关注像素值)和位于关注像素的周边(例如，与其相邻)的周边像素的像素值(周边像素值)之间进行比较，对于与其相关联的类别，传输偏移值。
[0318]对于边缘偏移，有图20的A到D所示出的四种ID模式，图20的E和F所示出的两种2D模式，因此，基于图21所示出的类别来传输偏移。
[0319]图20的A示出了 1D、0度模式，其中，周边像素在关注像素C的左侧和右侧一维地排列，即，与图20的A所示出的模式形成O度的角度。图20的B示出了 1D、90度模式，其中，周边像素在关注像素C的上方和下方一维地排列，即，与图20的A所示出的模式形成90度的角度。
[0320]图20的C示出了 1D、135度模式，其中，周边像素在关注像素C的左上方和右下方一维地排列，即，与图20的A所示出的模式形成135度的角度。图20的D示出了 1D，135度模式，其中，周边像素在关注像素C的右上方和左下方一维地排列，S卩，与图20的A所示出的模式形成45度的角度。
[0321]图20的E示出了 2D，十字模式，周边像素在关注像素C的上方、下方，以及左侧和右侧，二维地排列，即，在关注像素C处交叉。图20的F示出了 2D、对角线模式，其中，周边像素在关注像素C的右上方、左下方，左上方，以及右下方，二维地排列，即，在对角线方向交叉于关注像素C。
[0322]图21的A示出了对于ID模式的分类规则。图20的A到D所示出的模式被分类到诸如图21的A中所示出的那些之类的五种类型的类别，基于类别，计算偏移，并将偏移传输到解码单元。
[0323]当关注像素C的像素值小于两个周边像素的像素值时，此模式被分类到类别I。当关注像素C的像素值小于一个周边像素的像素值并匹配另一个周边像素的像素值时，此模式被分类到类别2。当关注像素C的像素值大于一个周边像素的像素值并匹配另一个周边像素的像素值时，此模式被分类到类别3。当关注像素C的像素值大于两个周边像素的像素值时，此模式被分类到类别4。在不是上面的情况中的任何一种的情况下，模式被分类到类别O。
[0324]图21的B示出了对于2D模式的分类规则。图20的E和F所示出的模式被分类到诸如图21的B所示出的七种类型的类别，并基于类别，将偏移传输到解码单元。
[0325]当关注像素C的像素值小于四个周边像素的像素值时，此模式被分类到类别I。当关注像素C的像素值小于三个周边像素的像素值并匹配第四周边像素的像素值时，此模式被分类到类别2。当关注像素C的像素值小于三个周边像素的像素值并大于第四周边像素的像素值时，此模式被分类到类别3。
[0326]当关注像素C的像素值小于三个周边像素的像素值并小于第四周边像素的像素值时，此模式被分类到类别4。当关注像素C的像素值大于三个周边像素的像素值并匹配第四周边像素的像素值时，此模式被分类到类别5。当关注像素C的像素值大于四个周边像素的像素值时，此模式被分类到类别6。在不是上面的情况中的任何一种的情况下，模式被分类到类别O。
[0327]如上文所描述的，在边缘偏移中，ID模式只须对于两个周边像素进行比较，如此，具有较低的计算量。请注意，在高效率编码情况下，与低迟延编码情况相比，使I比特偏移值更准确，并将其传输到解码侧。
[0328]如此，在边缘偏移中，在处理关注像素时，参考其周边像素。因此，例如，与参考图7到10所描述的SML的计算的情况相同，当要被参考的周边像素存在与关注片段不同的其它片段中时，在直到对于其中存在周边像素的片段的处理完成之前，无法计算边缘偏移的关注像素的偏移值。
[0329]例如，当作为处理对象的关注像素存在于关注片段的边缘并且要被参考的周边像素位于另一个片段(周边片段)中时，对于关注像素(或整个关注片段)的处理直到对于周边片段的处理已经完成之前不能开始。在这样的情况下，周边片段和关注片段无法彼此独立地处理。如此，例如，周边片段和关注片段无法并行地处理，如此，处理时间增加，这可能会导致吞吐量的降低。
[0330]另外，情况不仅限于片段之间的这样的边界，也考虑，例如，当关注像素存在于图片边缘处时，要被参考的周边像素位于图片的外面(有效像素区外面)(即，实质上不存在)。在这样的情况下，周边像素也不可用，与存在于另一个片段中的情况相同。
[0331]在这样的情况下，通常不处理关注像素，这可能会由于误差处理等等而导致处理时间增加。另外，还可能成为解码图像的图像质量下降的原因。
[0332]因此，为抑制这样的处理时间的增加，通过应用本技术以便可以彼此独立地处理片段，执行对于关注像素的自适应偏移处理，而不参考关注片段之外的其他片段。
[0333][图像编码设备]
[0334]图22是示出了图像编码设备的示例性主要配置的框图。
[0335]图22所示出的图像编码设备300基本上是与图1的图像编码设备100相同的图像处理设备，并使用诸如H.264和MPEG4PartlO (AVC)编码方案之类的预测处理来编码图像数据。
[0336]如图22所不，图像编码设备300基本上与图像编码设备100具有相同配置，并基本上执行相同处理。然而，请注意，除图像编码设备100的配置之外，图像编码设备300还具有自适应偏移单元301和周边像素值控制单元302。请注意，虽然在图22中，省略了滤波系数控制单元121，当然可以如在图1中那样提供滤波系数控制单元121。
[0337]在图22的示例的情况下，解块滤波器111将经过滤波处理的解码图像提供到自适应偏移单元301。
[0338]自适应偏移单元301对解块滤波处理结果(接受了块效应的去除的重建的图像)执行区域分区，以便获得四叉树结构，并逐个区域地执行自适应偏移处理(自适应偏移滤波(图片质量自适应偏移:PQAO)处理)。此时，在其中周边像素值在对于关注像素进行处理时参考周边像素值的模式下(例如，边缘偏移模式)，自适应偏移单元301使用通过周边像素值控制单元302的控制使其可用的周边像素值，来计算对于关注像素值的偏移值。
[0339]自适应偏移单元301确定相应的模式下的偏移处理结果的成本函数值，并选择带有最小的值的模式。自适应偏移单元301在所选模式下执行偏移处理，并将偏移处理结果提供到自适应循环滤波器112。另外，自适应偏移单元301将表示区域分区结果的四叉树结构以及选择信息(是有关模式选择的信息(PQA0信息))提供到无损编码单元106，以将那些信息传输到解码侧。
[0340]请注意，自适应偏移单元301逐片段地执行偏移处理。更具体而言，自适应偏移单元301对每个指定的部分区域(例如，LCU)执行偏移处理，部分区域是通过分割片段而获得的。即，自适应偏移单元301可以彼此独立地处理片段。
[0341]自适应循环滤波器112，使用维纳滤波，对自适应偏移处理结果执行循环滤波处理，并由此改善图像质量。请注意，虽然在图22中，省略了从自适应循环滤波器112到无损编码单元106的箭头，自适应循环滤波器112可以将alf_flag、滤波系数等等提供到无损编码单元106，以将它们传输到解码侧。
[0342]无损编码单元106编码，例如，从自适应偏移单元301提供的那些信息，在比特流中包括编码的信息，并将比特流传输到解码侧。通过使用此方法，可以提高编码效率。
[0343]周边像素值控制单元302控制当自适应偏移单元301计算偏移值时被参考的周边像素值。具体而言，当要由自适应偏移单元301参考的周边像素值不可用时，周边像素值控制单元302设置可用的值作为周边像素值来代替该值(不可用值替换为可用值)。
[0344]这里，术语“不可用”是指其中要被参考的周边像素在作为处理对象的关注片段(存在关注像素的片段)中不存在的情况。例如，这样的情况包括周边像素位于不同于关注片段的其它片段中的情况，以及周边像素位于图片外面的情况(即，不存在)。
[0345]例如，周边像素值控制单元302可以使用像素之间的像素-值关联，采用，例如，位于周边像素附近的可用像素的像素值(包括与周边像素相邻的像素)作为周边像素值来代替不可用周边像素的像素值。此外，作为周边像素附近的像素，可以采用关注像素。
[0346]另外，为便于计算，可以使用指定的固定值来代替不可用周边像素的像素值。
[0347]当然，也可以使用其他方法。例如，使用一个或多个其他可用像素的像素值的指定的计算的结果，等等，可以被用来代替不可用周边像素的像素值。
[0348]周边像素值控制单元302从自适应偏移单元301获取有关关注像素的位置(坐标)的信息。另外，周边像素值控制单元302还从无损编码单元106获取地址信息，包括有关LCU的位置(坐标)的信息，有关片段边界(片段之间的边界、图片边缘等等)的信息，等等。
[0349]周边像素值控制单元302基于地址信息来判定由自适应偏移单元301所指定的关注像素的周边像素值是否可用。例如，当周边像素值可用时，周边像素值控制单元302设置周边像素的像素值设置为要被自适应偏移单元301参考的周边像素值，并将有关它的信息(周边像素指定信息)提供到自适应偏移单元301。
[0350]另外，例如，当周边像素值不可用时，周边像素值控制单元302确定代替周边像素值所使用的值，将该值设置为要被自适应偏移单元301参考的周边像素值，并将有关它的信息(周边像素指定信息)提供到自适应偏移单元301。
[0351]自适应偏移单元301使用由周边像素值控制单元302所指定的周边像素值来执行处理，由此可以始终使用可用周边像素值来执行自适应偏移处理。通过此，图像编码设备300可以实现逐个片段的处理的并行化，可以抑制由自适应偏移处理等等中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0352][自适应偏移单元]
[0353]图23是示出了自适应偏移单元301的示例性主要配置的框图。如图23所示，自适应偏移单元301具有四叉树结构确定单元311、关注区域选择单元312、偏移计算单元313、偏移单元314，以及像素缓冲器315。
[0354]四叉树结构确定单元311，例如，以参考图19所描述的方式，对片段被分割到的多个指定的区域(例如，LCU)中的每一个执行区域分区，并由此获取四叉树结构。请注意，虽然可以每个任意区域地执行由自适应偏移单元301执行的自适应偏移处理，但是，在下文中，逐个IXU地执行自适应偏移处理。在此情况下，通过将IXU分区为四叉树结构(区域分区)获取的每一个部分区域都是CU。
[0355]当四叉树结构确定单元311将IXU分区为四叉树结构，并由此设置每一个⑶时，四叉树结构确定单元311将指出四叉树结构和经过解块处理的像素值的信息提供到关注区域选择单元312。
[0356]关注区域选择单元312，基于所提供的四叉树结构，一个一个地依次选择⑶作为处理对象。关注区域选择单元312最终选择LCU中的所有CU作为处理对象。关注区域选择单元312将从四叉树结构确定单元311提供的四叉树结构和指出指定的关注区域(关注的CU)的关注区域指定信息提供到偏移计算单元313。另外，关注区域选择单元312还将关注区域中的经过解块处理的像素值提供到偏移计算单元313。请注意，关注区域选择单元312，在必要时，还将关注区域之外的其他区域中的经过解块处理的像素值提供到偏移计算单元313。
[0357]偏移计算单元313计算由从关注区域选择单元312提供的关注区域指定信息所指定的关注区域中的每一个像素的偏移值。偏移计算单元313可以在任意数量的模式下计算偏移值。偏移计算单元313确定各个模式下的偏移处理结果的成本函数值，并选择带有最小的值的模式。
[0358]此时，偏移计算单元313使用由周边像素值控制单元302所指定的周边像素的像素值，在其中周边像素值被参考的模式下执行处理。
[0359]偏移计算单元313将所选模式的偏移值以及四叉树结构一起提供到偏移单元314。另外，偏移计算单元313还将指出模式选择结果的选择信息(PQA0信息)等等，以及四叉树结构一起提供到无损编码单元106，以编码它们。
[0360]如图23所示，偏移计算单元313具有无偏移计算单元321、带偏移计算单元322、边缘偏移计算单元323，以及偏移选择单元324。
[0361]假设，在偏移计算单元313中，对于自适应偏移的类型(模式)，预先准备了叫做“带偏移”的两种类型的模式和叫做“边缘偏移”的六种类型的模式，以及其中不修改偏移的模式。自适应偏移模式的数量和类型可以是任何数量和任何类型。例如，可以包括上文所描述的那些模式之外的其他模式，或者上述模式中的一些或全部可以被省略。偏移计算单元313具有对于充当选项的相应的模式的处理单元。
[0362]无偏移计算单元321在其中不自适应偏移的模式下计算成本函数值。无偏移计算单元321将计算出的成本函数值以及四叉树结构一起提供到偏移选择单元324。
[0363]带偏移计算单元322确定两种类型的带偏移模式中的每一个的偏移值，并进一步使用偏移值来确定偏移处理结果的成本函数值。带偏移计算单元322将为两种类型的带偏移模式中的每一个计算出的偏移值和成本函数值与四叉树结构一起，提供到偏移选择单元324。
[0364]边缘偏移计算单元323确定六种类型的边缘偏移模式中的每一个的偏移值，并进一步使用偏移值来确定偏移处理结果的成本函数值。
[0365]此时，边缘偏移计算单元323给周边像素值控制单元302提供有关关注像素和周边像素的信息。基于从无损编码单元106中获得的那些信息和地址信息，周边像素值控制单元302指定要被参考的周边像素，并将有关它的周边像素指定信息提供到边缘偏移计算单元323。边缘偏移计算单元323使用由周边像素指定信息所指定的可用的周边像素值来执行偏移值的计算。
[0366]边缘偏移计算单元323将为六种类型的边缘偏移模式中的每一个计算出的偏移值和成本函数值，以及四叉树结构一起提供到偏移选择单元324。
[0367]偏移选择单元324选择要采用的模式。偏移选择单元324比较所提供的相应的模式的成本函数值，并选择带有最小的值的模式。偏移选择单元324将所选模式的偏移值以及四叉树结构一起提供到偏移单元314。另外，偏移选择单元324将指出所选模式的选择信息(PQA0信息)等等，以及四叉树结构一起提供到无损编码单元106，以编码信息，并将编码的信息传输到解码侧。
[0368]偏移单元314从关注区域选择单元312中获取关注区域中的解块的像素值，并使用从偏移计算单元313 (偏移选择单元324)提供的偏移值，对解块的像素值执行偏移处理。偏移单元314将获取的经过偏移处理的像素值提供到像素缓冲器315，以存储像素值。
[0369]像素缓冲器315在指定定时或根据来自外部源的请求，将存储在其中的经过偏移处理的像素值提供到自适应循环滤波器112。
[0370][边缘偏移计算单元和周边像素值控制单元]
[0371]图24是示出了边缘偏移计算单元323和周边像素值控制单元302的示例性主要配置的框图。
[0372]如图24所示，边缘偏移计算单元323具有缓冲器331、模式选择单元332、关注像素选择单元333、类别确定单元334、偏移值计算单元335、偏移单元336，以及成本函数计算单元337。
[0373]缓冲器331获取从关注区域选择单元312提供的四叉树结构和关注区域指定信息，并获取从关注区域选择单元312提供的解块的像素值，并存储它们。解块的像素值被保存，直到它们是不再被用作关注像素值或周边像素值为止。当缓冲器331获取关注区域中的像素值时，缓冲器331控制模式选择单元332执行处理。另外，缓冲器331将有关关注区域的信息(区域信息)提供到关注像素选择单元333。此外，缓冲器331还将存储在其中的解块的像素值提供到类别确定单元334和偏移单元336。
[0374]模式选择单元332按顺序选择诸如参考图20所描述的那些多个周边像素模式中的一个。具体而言，模式选择单兀332 —个一个地选择六种类型的边缘偏移模式。模式选择单元332重复这样的选择，直到选择了所有模式为止。模式选择单元332将指出所选模式的模式指定信息提供到关注像素选择单元333和周边像素值控制单元302 (周边像素可用性判定单元341)。
[0375]关注像素选择单元333从缓冲器331获取有关关注区域的信息(区域信息)，并从关注区域中逐个地选择充当处理对象的关注像素。关注像素选择单元333重复这样的选择，直到选择了关注区域中的所有像素为止。关注像素选择单元333将指出关注像素的关注像素指定信息，以及从模式选择单元332提供的模式指定信息一起提供到类别确定单元334。另外，关注像素选择单元333还将关注像素指定信息提供到周边像素值控制单元302(周边像素可用性判定单元341)。
[0376]类别确定单元334基于，例如，图21所示出的表，来确定由关注像素指定信息所指定的关注像素的类别。即，类别确定单元334基于周边像素值和关注像素值来确定类别。请注意，类别分类方法可以是任何方法，如此不仅限于图21的示例。在进行类别确定时，类别确定单元334使用由从周边像素值控制单元302 (周边像素值确定单元342)提供的周边像素指定信息所指定的周边像素的像素值作为周边像素值。
[0377]周边像素值控制单元302 (周边像素值确定单元342)指定可用的值作为周边像素值。因此，由周边像素指定信息所指定的周边像素的像素值始终可用。因此，类别确定单元334可以确定关注像素的类别而无需等到对于其他像素的处理完成。即，类别确定单元334可以抑制自适应偏移处理中的不需要的处理时间的增加。
[0378]类别确定单元334从缓冲器331中获取关注像素的像素值(解块的像素值)，以及由周边像素指定信息所指定的可用像素(例如，关注像素)的像素值(解块的像素值)。类别确定单元334使用那些像素值来确定类别。类别确定单元334将指出确定的类别的类别指定信息，以及从关注像素选择单元333提供的关注像素指定信息一起提供到偏移值计算单元 335。
[0379]偏移值计算单元335计算由所提供的类别指定信息所指定的类别的偏移值。例如，可以为相应的类别预设偏移值，或者，可以为相应的类别预设偏移值计算方法。偏移值计算单元335将计算出的偏移值，以及从类别确定单元334提供的关注像素指定信息一起提供到偏移单元336。
[0380]偏移单元336从缓冲器331中获取由所提供的关注像素指定信息所指定的关注像素的像素值(解块的像素值)。偏移单元336使用所提供的偏移值，对关注像素值执行偏移处理，并由此生成偏移像素值。偏移单元336还从缓冲器331获取四叉树结构。偏移单元336将所生成的偏移像素值以及从偏移值计算单元335提供的偏移值，以及从缓冲器331中获取的四叉树结构一起提供到成本函数计算单元337。
[0381]关注像素选择单元333到偏移单元336对于关注区域中的所有像素(或全部某些预定的像素)重复上文所描述的处理，以确定关注区域中的所有像素的偏移像素值。偏移像素值以及偏移值以及四叉树结构一起被提供给成本函数计算单元337。
[0382]成本函数计算单元337使用偏移像素值来计算关注区域的成本函数值。成本函数计算单元337将计算出的成本函数值以及从偏移单元336提供的偏移值和四叉树结构一起提供到偏移选择单元324。[0383]模式选择单元332到成本函数计算单元337对于所有类型的边缘偏移模式，重复上文所描述的处理，并将相应的模式(相应的类型)的成本函数值提供到偏移选择单元324。
[0384]另外，在图24的示例的情况下，周边像素值控制单元302具有周边像素可用性判定单元341和周边像素值确定单元342。
[0385]周边像素可用性判定单元341从无损编码单元106获取有关关注的IXU、片段边界等的地址信息，并从模式选择单元332获取模式指定信息，从关注像素选择单元333获取关注像素指定信息。周边像素可用性判定单元341从关注像素指定信息得到关注像素的位置，并进一步从模式指定信息得到关注像素的周边像素的位置。周边像素可用性判定单元341将周边像素的位置与由地址信息指出的片段边界等等进行比较，以基于比较结果来判定周边像素是否可用。周边像素可用性判定单元341将判定结果提供到周边像素值确定单元 342。
[0386]周边像素值确定单元342基于从周边像素可用性判定单元341提供的判定结果来确定周边像素。例如，当判定结果示出了由模式指定信息所标识的周边像素可用时，周边像素值确定单元342将由模式指定信息所标识的周边像素确定为周边像素。另外，例如，当判定结果示出了由模式指定信息所标识的周边像素不可用时，周边像素值确定单元342将可用像素(例如，关注像素)确定为周边像素。如上文所描述的，代替不可用的像素值所使用的值可以是任何值。例如，该值可以是像素值以外的值，例如，固定值、算术表达式等等。在该情况下，周边像素值确定单元342可以指定那些信息(固定值、算术表达式等等)代替指定像素。周边像素值确定单元342生成指出由此确定的周边像素的周边像素指定信息(或与其相应的信息)，并将周边像素指定信息提供到类别确定单元334。
[0387]通过以此方式来控制周边像素，周边像素值控制单元302可以始终使周边像素值为可用的值。因此，边缘偏移计算单元323可以抑制不必要的处理时间的增加。
[0388]虽然上文描述了边缘偏移计算单元323使用由周边像素值控制单元302所指定的周边像素的情况，但是，自适应偏移单元301也可以具有，除边缘偏移以外，通过参考周边像素值来执行对于关注像素的处理的模式。在该情况下，边缘偏移计算单元323中的该模式的处理单元可以使用由周边像素值控制单元302所指定的周边像素，与图24所示出的边缘偏移计算单元323的情况相同。
[0389]如上文所描述的，图像编码设备300可以在自适应偏移处理中获得逐个片段的处理的独立性,并抑制不必要的处理时间的增加。
[0390][编码处理的流程]
[0391]接下来，将描述诸如上文所描述的由图像编码设备300执行的处理的流程。首先，参考图25的流程图，将描述编码处理的流程的示例。请注意，图25所示出的相应的步骤中的处理在它们的相应的处理单元中执行。因此，相应的处理的处理单元不一定彼此相等。如此，虽然由诸如下面所描述的处理过程来处理每一个数据，但是，在实践中，相应的步骤中的处理的处理顺序并不总是诸如下面所描述的那样的。
[0392]步骤S301到S312中的处理以图12中的步骤SlOl到SI 12中的处理的情况同样的方式来执行。
[0393]当执行解块滤波处理时，在步骤S313中，自适应偏移单元301执行自适应偏移处理。[0394]步骤S315到S318中的处理以图12中的步骤SI 14到SI 17中的处理的情况同样的方式来执行。当步骤S318中的处理完成时，编码处理结束。
[0395][自适应偏移处理的流程]
[0396]接下来，将参考图26的流程图来描述在图25中的步骤S313中执行的自适应偏移处理的流程的示例。请注意，基于每个指定的部分区域(例如，LCU)执行自适应偏移处理，部分区域是通过分割片段而获得的。在下文中，逐个LCU地执行自适应偏移处理。
[0397]当自适应偏移处理开始时，四叉树结构确定单元311在步骤S331中确定作为处理对象的关注的LCU的四叉树结构。
[0398]在步骤S332中，关注区域选择单元312按指定顺序，选择LCU中的四叉树结构的区域中的一个，作为充当处理对象的关注区域。
[0399]在步骤S333中，无偏移计算单元321确定无偏移模式下的偏移值，使用偏移值来执行偏移处理，并计算成本函数值。
[0400]在步骤S334中，带偏移计算单元322确定带偏移模式下的偏移值，使用偏移值来执行偏移处理，并计算成本函数值。请注意，在上文所描述的示例中，有两种(两个类型)的带偏移模式。因此，带偏移计算单元322计算两种模式(两个类型)中的每一个的成本函数值。
[0401]在步骤S335中，边缘偏移计算单元323确定边缘偏移模式下的偏移值，使用偏移值来执行偏移处理，并计算成本函数值。稍后将描述此处理的细节。请注意，在上文所描述的示例中，有六种(六个类型)边缘偏移模式。因此，边缘偏移计算单元323计算六种模式(六个类型)中的每一个的成本函数值。
[0402]偏移计算单元313以此方式计算每一种模式下的成本函数值。即，当偏移计算单元313支持任何其他模式时，向步骤S333到S335中的处理中添加该模式的处理。
[0403]当在所有模式下计算了成本函数值时，在步骤S336中，偏移选择单元324选择带有最小的成本函数值的模式(偏移类型)。
[0404]在步骤S337中，偏移选择单元324向解码侧传输四叉树结构(这是指出在步骤S331中确定的关注的LCU的四叉树结构的信息)以及选择信息(这是指出在步骤S336中获得的选择结果的信息)(还包括有关所选偏移类型的信息)。
[0405]在步骤S338中，偏移单元314使用在步骤S336中选择的偏移类型的偏移值来对关注区域中的解块的像素值执行偏移处理。在步骤S339中，像素缓冲器315存储在步骤S338中的处理中获得的经过偏移处理的像素值。
[0406]在步骤S340中，关注区域选择单元312判定是否已经处理完关注的IXU中的所有区域(CU)。如果判定有未处理的区域，那么，关注区域选择单元312将处理返回到步骤S332，并重复后续处理。另外，如果在步骤S340中判定没有未处理的区域，那么，关注区域选择单元312结束自适应偏移处理，并使处理返回到图25。
[0407][边缘偏移处理的流程]
[0408]接下来，将参考图27的流程图来描述在图26中的步骤S335中执行的边缘偏移处理的流程的示例。
[0409]当边缘偏移处理开始时，缓冲器331在步骤S361中存储解块的像素值。在步骤S362中，模式选择单元332选择充当处理对象的模式。在步骤S363中，关注像素选择单元333从关注区域中的像素中选择关注像素。
[0410]在步骤S364中，周边像素可用性判定单元341获取有关关注像素附近的区域的各种类型的地址信息。在步骤S365中，周边像素可用性判定单元341，基于在步骤S364中获得的信息，判定在步骤S362中指定的模式中的在步骤S363中选择的关注像素的周边像素是否可用。
[0411]如果判定周边像素不可用，那么，周边像素可用性判定单元341将处理转到步骤S366。在步骤S366中，周边像素值确定单元342将关注像素值指定为周边像素值。当完成步骤S366中的处理时，周边像素值确定单元342将处理转到步骤S368。
[0412]另外，如果在步骤S365中判定周边像素可用，那么，周边像素可用性判定单元341将处理转到步骤S367。在步骤S367中，周边像素值确定单元342将可用的周边像素的像素值指定为周边像素值。当完成步骤S367中的处理时，周边像素值确定单元342将处理转到步骤S368。
[0413]在步骤S368中，类别确定单元334基于在步骤S366或步骤S367中确定的关注像素值和周边像素值来确定类别。
[0414]在步骤S369中，偏移值计算单元335确定在步骤S368中确定的类别的偏移值(包括计算和选择)。在步骤S370中，偏移单元336使用在步骤S369中确定的偏移值来对关注像素值执行偏移处理。
[0415]在步骤S371中，关注像素选择单元333判定是否已经处理完所有像素。如果判定在关注区域中有未处理的像素，那么，关注像素选择单元333将处理返回到步骤S363，并重复后续处理。
[0416]另外，如果在步骤S371中判定已经处理完关注区域中的所有像素，那么，关注像素选择单元333将处理转到步骤S372。
[0417]在步骤S372中，成本函数计算单元337使用关注区域中的偏移像素值来计算成本函数值。在步骤S373中，模式选择单元332判定是否已经处理完预先准备的所有周边像素模式(例如，图20)(所有类型都已经处理完)。如果判定有未处理的模式，那么，模式选择单元332将处理返回到步骤S362，并重复后续处理。另外，如果在步骤S373中判定已经处理完所有模式，那么，模式选择单元332结束边缘偏移处理，并使处理返回到图26。
[0418]通过以上文所描述的方式执行每一个处理，自适应偏移处理可以始终使用可用的周边像素来执行。如此，图像编码设备300可以确保在自适应偏移处理中获得逐个片段的处理的独立性,并抑制不必要的处理时间的增加。
[0419]<4.第四实施例 > [图像解码设备]
[0420]图28是示出了图像解码设备的示例性主要配置的框图。图28所示出的图像解码设备400通过与编码方法相关联的解码方法来解码由图像编码设备300所生成的编码数据。
[0421]因此，如图28所示，图像解码设备400是基本上与图15的图像解码设备200相同的设备，基本上具有相同配置，并执行相同处理。然而，请注意，如图28所示，除图像解码设备200的配置之外，图像解码设备400还具有自适应偏移单元401。另外，还省略了滤波系数控制单元221 (可以提供)。
[0422]解块滤波器206将经过滤波处理的解码图像数据提供到自适应偏移单元401。[0423]自适应偏移单元401对接受了解块滤波处理的解码图像执行基本上与自适应偏移单元301的情况相同的自适应偏移处理。然而，请注意，自适应偏移单元401使用由无损解码单元202解码并提取的四叉树结构和选择信息(PQA0信息)来执行偏移处理。
[0424]那些信息是从编码侧(图像编码设备300)提供的。S卩，自适应偏移单元401使用与自适应偏移单元301所使用的相同四叉树结构来处理关注的LCU。另外，自适应偏移单元401还使用与自适应偏移单元301所使用的相同模式(偏移类型，即，偏移值)来执行偏移处理。即，自适应偏移单元401通过适合于自适应偏移单元301的方法来执行偏移处理。自适应偏移单元401将经过偏移处理的解码图像提供到自适应循环滤波器207。
[0425]自适应循环滤波器207，使用维纳滤波，对经过偏移处理的解码图像执行循环滤波处理(类别分类ALF)，并由此改善图像质量。
[0426][自适应偏移单元]
[0427]图29是示出了自适应偏移单元401的示例性主要配置的框图。如图29所示，自适应偏移单元401具有四叉树结构缓冲器411、选择信息缓冲器412、偏移单元413，以及像素缓冲器414。
[0428]四叉树结构缓冲器411获取并存储从无损解码单元202提供的四叉树结构(例如，比特流中所包括的，从编码侧的设备提供的四叉树结构)。四叉树结构缓冲器411在指定的定时，或根据来自外部源的请求，将存储在其中的四叉树结构提供到偏移单元413。
[0429]选择信息缓冲器412获取并存储从无损解码单元202提供的选择信息(PQAO信息)(例如，比特流中所包括的，从编码侧的设备提供的选择信息(PQA0信息)。选择信息缓冲器412在指定的定时，或根据来自外部源的请求，将存储在其中的选择信息(PQA0信息)提供到偏移单元413。
[0430]偏移单元413使用从四叉树结构缓冲器411提供的四叉树结构和从选择信息缓冲器412提供的选择信息(PQA0信息)，对从解块滤波器206提供的关注的LCU中的解块的像素值执行偏移处理。具体而言，偏移单元413使用由选择信息(PQA0信息)所标识的偏移类型和偏移值，并根据四叉树结构，逐个区域(CU)地对关注的LCU执行偏移处理。偏移单元413将经过偏移处理的像素值提供到像素缓冲器414，以存储像素值。
[0431]像素缓冲器414存储从偏移单元413提供的经过偏移处理的像素值，并在指定定时或根据来自外部源的请求，将存储在其中的经过偏移处理的像素值提供到自适应循环滤波器207。
[0432]因此，自适应偏移单元401可以通过适合于图像编码设备300的自适应偏移单元301的方法来执行自适应偏移处理。如此，自适应偏移单元401可以逐片段地、独立地执行自适应偏移处理。相应地，图像解码设备400可以在自适应偏移处理中获得逐个片段的处理的独立性,并抑制不必要的处理时间的增加。
[0433][解码处理的流程]
[0434]接下来，将参考图30的流程图来描述诸如上文所描述的由图像解码设备400执行的解码处理的流程的示例。
[0435]当解码处理开始时，以图17中的步骤S201到S208中的处理同样的方式执行步骤S401到S408中的处理。在步骤S409中，自适应偏移单元401执行自适应偏移处理。稍后将描述此处理的细节。步骤S410到S413中的处理以图17中的步骤S209到S212中的处理同样的方式来执行。
[0436][自适应偏移处理的流程]
[0437]接下来，将参考图31的流程图来描述在图30中的步骤S409中执行的自适应偏移处理的流程的示例。
[0438]当自适应偏移处理开始时，在步骤S431中，四叉树结构缓冲器411存储四叉树结构。在步骤S432中，选择信息缓冲器412存储选择信息。
[0439]在步骤S433中，偏移单元413，基于四叉树结构，从关注的IXU中选择关注区域。在步骤S434中，偏移单元413使用由选择信息所标识的偏移值来对关注区域中的解块的像素值执行偏移处理。
[0440]在步骤S435中，像素缓冲器414存储在步骤S434中的处理中获得的经过偏移处理的像素值。
[0441]在步骤S436中，偏移单元413判定是否已经处理完关注的IXU中的所有区域(⑶)。如果判定有未处理的区域，那么，偏移单元413将处理返回到步骤S433，并重复后续处理。
[0442]可另选地，如果在步骤S436中判定已经处理完所有区域，那么，偏移单元413结束自适应偏移处理，并返回到图30。
[0443]通过以上文所描述的方式执行每一个处理，图像解码设备400可以确保在自适应偏移处理中获得逐个片段的处理的独立性，并抑制不必要的处理时间的增加。
[0444][其他示例]
[0445]请注意，虽然上文描述了由于位置因素而使周边像素不可用的情况，但是，周边像素不可用的原因可以是任何理由，不仅限于位置因素。即，如果周边像素由于其他理由而不可用，那么，周边像素值可能存在于关注片段中。
[0446]另外，还可以省略其周边像素不包括在关注片段中的关注像素的自适应偏移处理。在该情况下，图像编码设备300和图像解码设备400两者都省略对于其周边像素不包括在关注片段中的关注像素的自适应偏移处理。
[0447]另外，周边像素的模式可以是任何模式，不仅限于图20的示例中的那些。因此，周边像素的位置和数量可以是任何位置和任何数量。
[0448]另外，图像编码设备300 (例如，自适应偏移单元301)可以，对于每一个片段，生成控制是否要逐个片段地、独立地执行自适应偏移处理的标记，并将标记传输到图像解码设备 400。
[0449]在设置了此标记(例如，值是I)的片段中，自适应偏移单元301，如上文所描述的，只使用有关可用的像素的信息，逐个片段地、独立地执行自适应偏移处理。另一方面，在没有设置标记(例如，值是O)的片段中，即使在周边像素属于另一个片段的情况下，在获取了所有周边像素的像素值之后，自适应偏移单元301执行自适应偏移处理。
[0450]当从图像编码设备300提供的标记的值是I时，图像解码设备400的自适应偏移单元401执行自适应偏移处理，以便使关注片段独立于其他片段。当从图像编码设备300提供的标记的值是O时，自适应偏移单元401执行自适应偏移处理，以便使关注片段不独立于其他片段。
[0451]请注意，本技术可以应用于当通过诸如卫星广播、有线电视、因特网或移动电话之类的网络介质接收、例如，通过诸如离散余弦变换之类的正交变换和运动补偿(诸如MPEG、H.26x等等)压缩的图像信息(比特流)时所使用的图像编码设备和图像解码设备。另外，本技术还可以应用于当对诸如光盘和磁盘和闪存之类的存储介质执行处理时所使用的图像编码设备和图像解码设备。此外，本技术也可以应用于那些图像编码设备和图像解码设备中所包括的运动预测/补偿设备等等。
[0452]<5.第五实施例>
[0453][个人计算机]
[0454]可以通过硬件来执行上文所描述的一系列处理，以及可以通过软件来执行。当通过软件来执行一系列处理时，构成软件的程序安装在计算机上。这里，计算机包括包含在专用硬件中的计算机，通过安装各种类型的程序，能够执行各种类型的功能的通用个人计算
机等等。
[0455]在图32中，个人计算机500的CPU (中央处理单元)501根据存储在ROM (只读存储器)502中的程序，或从存储单元513加载到RAM (随机存取存储器)503中的程序来执行各种处理。在RAM503中还存储了，在合适的情况下，当CPU501执行各种类型的处理时所需的数据等等。
[0456]CPU501、R0M502，以及RAM503通过总线504彼此互连在一起。输入/输出接口 510也连接到总线504。
[0457]与输入/输出接口 510连接的还有输入单元511，包括键盘、鼠标等等，输出单元512，包括显示器，包括CRT (阴极射线管)或IXD (液晶显示器)、扬声器等等，由硬盘等等组成的存储单元513，以及由调制解调器等等组成的通信单元514。通信单元514通过包括因特网的网络执行通信处理。
[0458]与输入/输出接口 510连接的还有，在必要时，驱动器515，在合适的情况下，放置诸如磁盘、光盘、磁光盘，或半导体存储器之类的可移动介质521，在必要时，从其中读取的计算机程序安装在存储单元513中。
[0459]当通过软件来执行上文所描述的处理系列时，从网络或记录介质安装构成软件的程序。
[0460]例如，如图32所示，记录介质不仅由可移动介质521组成，包括磁盘(包括软盘)、光盘(包括⑶-ROM (压缩光盘-只读存储器)和DVD (数字多功能盘))、磁光盘(包括MD (微型光盘))或半导体存储器，它们与设备的主体分离地分发，以将程序分发到用户，其中记录了程序，而且也由R0M502、存储单元513中所包括的硬盘等等组成，它们在预先包含到设备的主体中的状态下记录了分发到用户的程序。
[0461]请注意，由计算机执行的程序可以是按照本说明书中所描述的顺序按时间顺序执行处理的程序，或者也可以是并行地执行处理或在诸如当程序被调用时之类的所需的时间执行处理的程序。
[0462]另外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按照所描述的顺序按照时间顺序执行的进程，而且还包括不一定按照时间顺序执行的但是并行地或分别地执行的进程。
[0463]此外，在本说明书中，系统还表示由多个设备构成的整个设备。
[0464]另外，上文作为单个设备(或处理单元)所描述的配置可以是分离的，以被配置为多个设备(或处理单元)。反之，上文作为多个设备(或处理单元)所描述的配置可以是合在一起的，以被配置为单个设备(或处理单元)。另外，当然，也可以向每一个设备(或每一个处理单元)的配置添加上文所描述的那些配置之外的其他配置。此外，只要作为整体的系统的配置和操作基本上相同，给定设备(或处理单元)的配置的一部分可以被包括在另一个设备(或另一种处理单元)的配置中。即，本技术不仅限于上文所描述的实施例，在不偏离本技术的精神和范围的情况下，可以进行各种更改。
[0465]根据上文所描述的实施例的图像编码设备和图像解码设备可以应用于诸如用于卫星广播，诸如有线电视之类的有线广播，因特网上的分发，通过蜂窝式通信分发到终端等等的发射器或接收器之类的各种电子设备，将图像记录到诸如光盘、磁盘，以及闪存之类的介质上的记录设备，或从那些存储介质再现图像的再现设备。下面将描述四个应用示例。
[0466]<6.第六实施例>
[0467][第一应用示例:电视接收机]
[0468]图33示出了向其中应用上文所描述的实施例的电视设备的示意配置的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 909、控制单元910、用户接口911，以及总线912。
[0469]调谐器902从通过天线901接收到的广播信号提取所需频道的信号，并解调所提取的信号。然后，调谐器902向解复用器903输出通过解调获得的编码的比特流。即，调谐器902充当接收到编码的流(其中的图像是编码的)的电视设备900的传输单元。
[0470]解复用器903从编码的比特流多路分解要观看的节目的视频流和音频流，并将多路分解的流输出到解码器904。另外，解复用器903还从编码的比特流提取诸如EPG (电子节目指南)之类的辅助数据，并将所提取的数据提供到控制单元910。请注意，当编码的比特流被扰乱时，解复用器903可以执行解扰。
[0471]解码器904解码从解复用器903输入的视频流和音频流。然后，解码器904将在解码处理中所生成的视频数据输出到视频信号处理单元905。另外，解码器904还将在解码处理中所生成的音频数据输出到音频信号处理单元907。
[0472]视频信号处理单元905再现从解码器904输入的视频数据，并使显示单元906显示视频。另外，视频信号处理单元905还可以使显示单元906显示通过网络所提供的应用程序屏幕。另外，视频信号处理单元905还可以根据设置来对视频数据执行另外的处理，例如，噪声消除。此外，视频信号处理单元905还可以创建⑶I (图形用户接口)图像，例如，菜单、按钮，或光标，并将创建的图像叠加在输出图像上。
[0473]显示单元906由从视频信号处理单元905提供的驱动信号来驱动，以在显示设备(例如，液晶显示器、等离子体显示器、OELD (有机场致发光显示器)，等等)的视频平面上显示视频或图像。
[0474]音频信号处理单元907在从解码器904输入的音频数据执行再现处理，诸如D/A转换和放大，并使扬声器908输出音频。另外，音频信号处理单元907还可以在音频数据执行诸如噪声消除之类的另外的处理。
[0475]外部接口 909是用于将电视设备900连接到外部设备或网络的接口。例如，通过外部接口 909接收到的视频流或音频流可以由解码器904解码。即，外部接口 909还充当接收到编码的流(其中的图像是编码的)的电视设备900的传输单元。
[0476]控制单元910具有诸如CPU之类的处理器和诸如RAM和ROM之类的存储器。存储器存储由CPU执行的程序，节目数据，EPG数据，通过网络获得的数据等等。存储在存储器中的程序，例如，在电视设备900启动时由CPU读取并执行。CPU执行程序,并由此,例如,根据从用户接口 911输入的操作信号，来控制电视设备900的操作。
[0477]用户接口 911连接到控制单元910。用户接口 911具有，例如，由用户用来操作电视设备900的按钮和开关，遥控信号接收单元等等。用户接口 911，通过那些组件，检测由用户执行的操作，以生成操作信号，并将所生成的操作信号输出到控制单元910。
[0478]总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909，以及控制单元910互连。
[0479]在以此方式配置的电视设备900中，解码器904具有根据上文所描述的各实施例的图像解码设备的功能。通过该功能，在在电视设备900上解码图像时，可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0480]<7.第七实施例>
[0481][第二应用示例:移动电话]
[0482]图34示出了向其中应用上文所描述的实施例的移动电话的示意配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、多路复用/解复用单元928、记录/再现单元929、显示单元930、操作单元932，以及总线933。
[0483]天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933互连通信单元922、音频编解码器923、照相机单元926、图像处理单元927、多路复用/解复用单元928、记录/再现单元929、显示单元930，以及控制单元931。
[0484]移动电话920在各种操作模式下，包括语音呼叫模式、数据通信模式、拍照模式，以及可视电话模式，执行诸如音频信号的传输和接收、电子邮件或图像数据的传输和接收、图像的成像，以及数据的记录之类的操作。
[0485]在语音呼叫模式下，由麦克风925所生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并对经过转换的音频数据进行A/D转换并进行压缩。然后，音频编解码器923将经过压缩的音频数据输出到通信单元922。通信单元922编码并调制音频数据，并由此生成传输信号。然后，通信单元922通过天线921将所生成的传输信号传输到基站(未示出)。另外，通信单元922放大通过天线921接收到的无线电信号，并对进行频率转换，并由此获得接收信号。然后，通信单元922解调并解码接收信号，并由此生成音频数据，并将所生成的音频数据输出到音频编解码器923。音频编解码器923解压缩音频数据并对其进行D/A转换，并由此生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供到扬声器924，以输出音频。
[0486]另外，在数据通信模式下，例如，控制单元931根据由用户通过操作单元932执行的操作，生成构成电子邮件的文本数据。另外，控制单元931使显示单元930显示文本。另夕卜，控制单元931根据通过操作单元932来自用户的传输指令，生成电子邮件数据，并将所生成的电子邮件数据输出到通信单元922。通信单元922编码并调制电子邮件数据，并由此生成传输信号。然后，通信单元922通过天线921将所生成的传输信号传输到基站(未示出)。另外，通信单元922放大通过天线921接收到的无线电信号，并对进行频率转换，并由此获得接收信号。然后，通信单元922解调并解码接收信号，并由此重建电子邮件数据，并将重建的电子邮件数据输出到控制单元931。控制单元931使显示单元930显示电子邮件的内容，并使记录/再现单元929中的存储介质存储电子邮件数据。
[0487]记录/再现单元929具有任何可读取的并且可写入的存储介质。例如，存储介质可以是嵌入式存储介质，诸如RAM或闪存、或外置式存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB (未分配的空间位图)存储器，或存储器卡。
[0488]另外，在拍照模式下，例如，照相机单元926对主体进行成像，并由此生成图像数据，并将所生成的图像数据输出到图像处理单元927。图像处理单元927编码从照相机单元926输入的图像数据，并使存储/再现单元929中的存储介质存储编码的流。
[0489]另外，在可视电话模式下，例如，多路复用/解复用单元928多路复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并将多路复用的流输出到通信单元922。通信单元922编码并调制流，并由此生成传输信号。然后，通信单元922通过天线921将所生成的传输信号传输到基站(未示出)。另外，通信单元922放大通过天线921接收到的无线电信号，并对进行频率转换，并由此获得接收信号。传输信号和接收信号可包括编码的比特流。然后，通信单元922解调并解码接收信号，并由此重建流，并将重建的流输出到多路复用/解复用单元928。多路分解/解复用单元928从输入的流多路分解视频流和音频流，并将视频流输出到图像处理单元927，将音频流输出到音频编解码器923。图像处理单元927解码视频流，并由此生成视频数据。视频数据被提供给显示单元930，一系列图像显示在显示单元930上。音频编解码器923解压缩音频流并对其进行进行D/A转换，并由此生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供到扬声器924，以输出音频。
[0490]在以此方式配置的移动电话920中，图像处理单元927具有根据上文所描述的各实施例的图像编码设备和图像解码设备的功能。通过该功能，在在移动电话920上编码和解码图像时，可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0491]〈8.第八实施例〉
[0492][第三应用示例:记录/再现设备]
[0493]图35示出了向其中应用上文所描述的实施例的记录/再现设备的示意配置的示例。记录/再现设备940，例如，编码接收到的播放的节目的音频数据和视频数据，并将编码数据记录在记录介质中。另外，记录/再现设备940还可以，例如，编码从另一个设备获得的音频数据和视频数据，并将编码数据记录在记录介质中。另外，记录/再现设备940，例如，根据用户指令，在监测器和扬声器上再现记录在记录介质中的数据。此时，记录/再现设备940解码音频数据和视频数据。
[0494]记录/再现设备940包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD (On-Screen Display) 948、控制单元949，以及用户接口 950。[0495]调谐器941从通过天线(未示出)接收到的广播信号提取所需频道的信号，并解调所提取的信号。然后，调谐器941向选择器946输出通过解调获得的编码的比特流。S卩，调谐器941充当记录/再现设备940的传输单元。
[0496]外部接口 942是用于将记录/再现设备940连接到外部设备或网络的接口。外部接口 942可以是，例如，IEEE1394接口、网络接口、USB接口、闪存接口等等。例如，通过外部接口 942接收到的视频数据和音频数据被向编码器943输入。即，外部接口 942充当记录/再现设备940的传输单元。
[0497]当从外部接口 942输入的视频数据和音频数据不是编码的时，编码器943编码视频数据和音频数据。然后，编码器943向选择器946输出编码的比特流。
[0498]HDD944在其中提供的硬盘上记录其中压缩了诸如视频和音频之类的内容数据的编码的比特流，各种类型的程序，及其他数据。另外，在再现视频和音频时，HDD944从硬盘读取其数据。
[0499]盘驱动器945在放置在其中的记录介质上记录和读取数据。置于盘驱动器945中的记录介质可以是，例如，DVD 光盘(DVD-Video, DVD-RAM, DVD-R, DVD-Rff, DVD+R, DVD+Rff 等等)或蓝光(注册商标)光盘。
[0500]当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码的比特流，并将所选编码的比特流输出到HDD944或盘驱动器945。另外，当再现视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码的比特流输出到解码器947。
[0501]解码器947解码编码的比特流，并由此生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到0SD948。另外，解码器904还将所生成的音频数据输出到外接扬声器。
[0502]0SD948再现从解码器947输入的视频数据，并显示视频。另外，0SD948还可以在显示的视频上叠加⑶I图像，例如，菜单、按钮，或光标。
[0503]控制单元949具有诸如CPU之类的处理器，以及诸如RAM和ROM之类的存储器。存储器存储要由CPU执行的程序，节目数据，等等。存储在存储器中的程序，例如，在记录/再现设备940启动时由CPU读取并执行。CPU执行程序，并由此，例如，根据从用户接口 950输入的操作信号，来控制记录/再现设备940的操作。
[0504]用户接口 950连接到控制单元949。用户接口 950具有，例如，由用户用来操作记录/再现设备940的按钮和开关，遥控信号接收单元等等。用户接口 950，通过那些组件，检测由用户执行的操作，以生成操作信号，并将所生成的操作信号输出到控制单元949。
[0505]在以此方式配置的记录/再现设备940中，编码器943具有根据上文所描述的各实施例的图像编码设备的功能。另外，解码器947还具有根据上文所描述的各实施例的图像解码设备的功能。通过该功能，在在记录/再现设备940上编码和解码图像时，可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0506]<9.第九实施例>
[0507][第四应用示例:成像设备]
[0508]图36示出了向其中应用上文所描述的实施例的成像设备的示意配置的示例。成像设备960对主体进行成像，并由此创建图像，编码图像数据，并将编码的图像数据记录到记录介质中。
[0509]成像设备960包括光学组件961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口 966、存储器967、介质驱动器968、0SD969，控制单元970、用户接口 971，以及总线972。
[0510]光学组件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口 971连接到控制单元970。总线972互连图像处理单元964、外部接口 966、存储器967、介质驱动器968、0SD969，以及控制单元970。
[0511]光学组件961具有关注透镜、光圈机制等等。光学组件961在成像单元962的成像平面上形成主体的光学图像。成像单元962具有诸如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导体)之类的图像传感器，并通过光电转换，将在成像平面上形成的光学图像转换为充当电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。
[0512]信号处理单元963对从成像单元962输入的图像信号执行各种类型的摄像机信号处理，诸如膝盖校正、灰度校正，以及色彩校正。信号处理单元963将在摄像机信号处理之后获得的图像数据输出到图像处理单元964。
[0513]图像处理单元964编码从信号处理单元963输入的图像数据，并由此生成编码数据。然后，图像处理单元964将生成的编码数据输出到外部接口 966或介质驱动器968。另夕卜，图像处理单元964还解码从外部接口 966或介质驱动器968输入的编码数据，并由此生成图像数据。然后，图像处理单元964将所生成的图像数据输出到显示单元965。另外，图像处理单元964还可以将从信号处理单元963输入的图像数据输出到显示单元965，以显示图像。另外，图像处理单元964还在输出到显示单元965的图像上叠加从0SD969获得的显示数据。
[0514]0SD969创建⑶I图像，例如，菜单、按钮，或光标，并将创建的图像输出到图像处理单元964。
[0515]外部接口 966被配置为，例如，USB输入/输出终端。外部接口 966，例如，当打印图像时，将成像设备960连接到打印机。另外，在必要时，驱动器还连接到外部接口 966。例如，诸如磁盘或光盘之类的可移动介质放置在驱动器中，从可移动介质中读取的程序可以安装在成像设备960中。此外，外部接口 966还可被配置成连接到诸如LAN或因特网之类的网络的网络接口。即，外部接口 966充当成像设备960的传输单元。
[0516]置于介质驱动器968中的记录介质可以是任何可读取的和可写入的可移动介质，例如，磁盘、磁光盘、光盘，或半导体存储器。另外，记录介质可以是固定地置于介质驱动器968中，通过这样做，例如，可以形成诸如嵌入式硬盘驱动器或SSD (固态驱动器)之类的非便携式存储单元。
[0517]控制单元970具有诸如CPU之类的处理器和诸如RAM和ROM之类的存储器。存储器存储要由CPU执行的程序，节目数据，等等。存储在存储器中的程序，例如，在成像设备960启动时由CPU读取并执行。CPU执行程序，并由此，例如，根据从用户接口 971输入的操作信号，来控制成像设备960的操作。
[0518]用户接口 971连接到控制单元970。用户接口 971具有，例如，由用户用来操作成像设备960的按钮、开关等等。用户接口 971，通过那些组件，检测由用户执行的操作，以生成操作信号，并将所生成的操作信号输出到控制单元970。[0519]在以此方式配置的成像设备960中，图像处理单元964具有根据上文所描述的各实施例的图像编码设备和图像解码设备的功能。通过该功能，在在成像设备960上编码和解码图像时，可以实现逐个片段的处理的并行化，可以抑制由自适应循环滤波处理中的不希望有的延迟时间的发生所引起的处理时间的增加。
[0520]请注意，在本说明书中，描述了这样的示例:诸如SPS、PPS,以及片段标头之类的各种信息被多路复用到编码的流的标头中，并从编码端传输到解码端。然而，用于传输那些信息的技术不仅限于这样的示例。例如，并非将那些信息多路复用为编码的比特流，可以作为与编码的比特流相关联的单独的数据来传输或记录那些信息。如此处所使用的术语“相关联的”意味着，比特流中所包括的图像(可以是诸如片段或块之类的图像的一部分)以及与图像相关联的信息可以在解码时彼此链接在一起。即，信息可以通过与用于图像(或比特流)的传输路径不同的传输路径来传输。另外，信息可以记录在与用于图像(或比特流)的记录介质不同的记录介质中(或记录在相同记录介质的不同的记录区域)。此外，信息和图像(或比特流)还可以以任何单位，例如，多个帧，一个帧或一个帧中的一部分，来彼此相关联。
[0521]虽然上文参考各个附图详细描述了本发明的优选实施例，但是，本技术不仅限于这样的示例。显而易见的是，那些具有本发明所属的【技术领域】的一般的知识将在权利要求书所描述的技术思想的范围内实现各种更改或修改。如此，可以理解，那些更改和修改也当然属于本发明的技术范围。
[0522]请注意，本技术也可以使用诸如下面所示出的那些配置之类的配置。
[0523](I).一种图像处理设备，包括:
[0524]信息控制单元，所述信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，所述信息是使用属于与所述关注像素不同的其它像素的参考信息而获得的；以及
[0525]图像处理单元，所述图像处理单元使用由所述信息控制单元获取的所述信息来执行所述图像处理。
[0526](2).如(I)所述的图像处理设备，其中
[0527]所述图像处理是自适应循环滤波处理，
[0528]所述信息控制单元，确定所述自适应循环滤波处理中所使用的滤波系数作为所述图像处理所需的所述信息，以及
[0529]所述图像处理单元，使用由所述信息控制单元确定的所述滤波系数，执行对于所述关注像素的所述自适应循环滤波处理。
[0530](3).如(2)所述的图像处理设备，其中
[0531]所述图像处理单元逐个片段地独立执行所述自适应循环滤波处理，以及
[0532]所述信息控制单元在不使用作为处理对象的关注片段外部的信息的情况下确定所述滤波系数。
[0533](4).如(3)所述的图像处理设备，其中
[0534]所述信息控制单元包括:
[0535]位置确定单元，所述位置确定单元判定所述关注像素的周边像素是否位于所述关注片段中；
[0536]计算单元，所述计算单元根据由所述位置确定单元作出的所述确定的结果，计算表示所述关注像素的纹理的复杂性的信息；
[0537]类别分类单元，所述类别分类单元根据由所述计算单元计算出的表示纹理的复杂性的信息的大小，对所述关注像素进行类别分类；以及
[0538]滤波系数设置单元，所述滤波系数设置单元将根据由所述类别分类单元分类的所述类别的值设置为所述关注像素的滤波系数。
[0539](5).根据(4)所述的图像处理设备，其中，表示纹理的复杂性的所述信息是SML(改进拉普拉斯能量和)。
[0540](6).根据(4)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元将所述周边像素的像素值设置为预定的、指定的固定值，并计算表示纹理的复杂性的所述信息。
[0541](7).根据(4)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述周边像素附近的可用的像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
[0542](8).根据(4)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述关注像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
[0543](9).根据(4)所述的图像处理设备，其中，所述计算单元使用邻接于所述关注像素的上、下、左和右的四个的像素作为周边像素，来计算表示纹理的复杂性的所述信息。
[0544](10).根据(9)所述的图像处理设备，其中，所述计算单元，将所述关注像素的像素值和各周边像素的像素值之间的差值的绝对值的总和，设置为所述表示纹理的复杂性的信息。
[0545]( 11).根据(4)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述滤波系数设置单元将预定的、指定的值设置为所述关注像素的滤波系数。
[0546]( 12).根据(4)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述图像处理单元省略对于所述关注像素的自适应循环滤波处理。
[0547](13).根据(2)至(12)中任一项所述的图像处理设备，进一步包括标记生成单元，该标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应循环滤波处理的标记,其中
[0548]所述图像处理单元根据由所述标记生成单元所生成的标记的值，执行对于所述关注片段中的关注像素的所述自适应循环滤波处理。
[0549](14).如(I)所述的图像处理设备，其中
[0550]所述图像处理是自适应偏移处理，
[0551]所述信息控制单元确定所述自适应偏移处理中所使用的周边像素值作为所述图像处理所需的信息，以及
[0552]所述图像处理单元使用由所述信息控制单元确定的所述周边像素值，执行对于所述关注像素的所述自适应偏移处理。
[0553](15).如(14)所述的图像处理设备，其中[0554]所述图像处理单元逐个片段地独立地执行所述自适应偏移处理，以及
[0555]所述信息控制单元在不使用作为处理对象的关注片段外部的信息的情况下确定所述周边像素值。
[0556](16).如(15)所述的图像处理设备，其中
[0557]所述信息控制单元包括:
[0558]位置确定单元，所述位置确定单元判定所述关注像素的周边像素是否位于所述关注片段中；以及
[0559]周边像素值确定单元，所述周边像素值确定单元根据由所述位置确定单元作出的确定的结果来确定所述周边像素值。
[0560](17).根据(16)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将预定的、指定的固定值确定为所述周边像素值。
[0561](18).根据(16)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述周边像素附近的可用的像素的像素值确定为所述周边像素值。
[0562](19).根据(16)所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述关注像素的像素值确定为所述周边像素值。
[0563](20).根据(14)至(19)中任一项所述的图像处理设备，进一步包括标记生成单元，所述标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应偏移处理的标记,其中
[0564]所述图像处理单元根据由所述标记生成单元所生成的所述标记的值，来执行对于所述关注片段中的所述关注像素的所述自适应偏移处理。
[0565](21).一种用于图像处理设备的图像处理方法，所述方法包括:
[0566]由信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，而所述信息是使用属于与所述关注像素不同的像素的参考信息获得的；以及
[0567]由图像处理单元使用由所述信息控制单元获取的所述信息来执行所述图像处理。
[0568]参考符号列表
[0569]100 图像编码设备
[0570]112 自适应循环滤波
[0571]121 滤波系数控制单元
[0572]131 控制单元
[0573]132 滤波处理单元
[0574]141 位置确定单元
[0575]142SML计算单元
[0576]143 类别分类单元
[0577]144 滤波系数设置单元
[0578]200 图像解码设备[0579]207自适应循环滤波
[0580]221滤波系数控制单元
[0581]231控制单元
[0582]232滤波处理单元
[0583]241位置确定单元
[0584]242SML计算单元
[0585]243类别分类单元
[0586]244滤波系数设置单元
[0587]300图像编码设备
[0588]301自适应偏移单元
[0589]302周边像素值控制单元
[0590]311四叉树结构确定单元
[0591]312关注区域选择单元
[0592]313偏移计算单元
.[0593]314偏移单元
[0594]315图像缓冲器
[0595]321无偏移计算单元
[0596]322带偏移计算单元
[0597]323边缘偏移计算单元
[0598]324偏移选择单元
[0599]331缓冲器
[0600]332模式选择单元
[0601]333关注像素选择单元
[0602]334类别确定单元
[0603]335偏移值计算单元
[0604]336偏移单元
[0605]337成本函数计算单元
[0606]341周边像素可用性确定单元
[0607]342周边像素值确定单元
[0608]400图像编码设备
[0609]401自适应偏移单元
[0610]411四叉树结构缓冲器
[0611]412选择信息缓冲器
[0612]413偏移单元
[0613]414像素缓冲器
【权利要求】
1.一种图像处理设备，包括:信息控制单元，所述信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，所述信息是使用属于与所述关注像素不同的其它像素的参考信息而获得的；以及图像处理单元，所述图像处理单元使用由所述信息控制单元获取的所述信息来执行所述图像处理。
2.如权利要求1所述的图像处理设备，其中所述图像处理是自适应循环滤波处理，所述信息控制单元，确定所述自适应循环滤波处理中所使用的滤波系数作为所述图像处理所需的所述信息，以及所述图像处理单元，使用由所述信息控制单元确定的所述滤波系数，执行对于所述关注像素的所述自适应循环滤波处理。
3.如权利要求2所述的图像处理设备，其中所述图像处理单元逐个片段地独立执行所述自适应循环滤波处理，以及所述信息控制单元在不使用作为处理对象的关注片段外部的信息的情况下确定所述滤波系数。
4.如权利要求3所述的图像处理设备，其中所述信息控制单元包括:位置确定单元，所述位置确定单元 判定所述关注像素的周边像素是否位于所述关注片段中；计算单元，所述计算单元根据由所述位置确定单元作出的所述确定的结果，计算表示所述关注像素的纹理的复杂性的信息；类别分类单元，所述类别分类单元根据由所述计算单元计算出的表示纹理的复杂性的信息的大小，对所述关注像素进行类别分类；以及滤波系数设置单元，所述滤波系数设置单元将根据由所述类别分类单元分类的所述类别的值设置为所述关注像素的滤波系数。
5.根据权利要求4所述的图像处理设备，其中，表示纹理的复杂性的所述信息是SML(改进拉普拉斯能量和)。
6.根据权利要求4所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元将所述周边像素的像素值设置为预定的、指定的固定值，并计算表示纹理的复杂性的所述信息。
7.根据权利要求4所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述周边像素附近的可用的像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
8.根据权利要求4所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述计算单元使用所述关注像素的像素值而并非所述周边像素的像素值，来计算表示纹理的复杂性的信息。
9.根据权利要求4所述的图像处理设备，其中，所述计算单元使用邻接于所述关注像素的上、下、左和右的四个的像素作为周边像素，来计算表示纹理的复杂性的所述信息。
10.根据权利要求9所述的图像处理设备，其中，所述计算单元，将所述关注像素的像素值和各周边像素的像素值之间的差值的绝对值的总和，设置为所述表示纹理的复杂性的信息。
11.根据权利要求4所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述滤波系数设置单元将预定的、指定的值设置为所述关注像素的滤波系数。
12.根据权利要求4所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述图像处理单元省略对于所述关注像素的自适应循环滤波处理。
13.根据权利要求2所述的图像处理设备，进一步包括标记生成单元，该标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应循环滤波处理的标记，其中所述图像处理单元根据由所述标记生成单元所生成的标记的值，执行对于所述关注片段中的关注像素的所述自适应循环滤波处理。
14.如权利要求1所述的图像处理设备，其中所述图像处理是自适应偏移处理，所述信息控制单元确定所述自适应偏移处理中所使用的周边像素值作为所述图像处理所需的?目息，以及所述图像处理单元使用由所述信息控制单元确定的所述周边像素值，执行对于所述关注像素的所述自适应偏移处理。
15.如权利要求14所述 的图像处理设备，其中所述图像处理单元逐个片段地独立地执行所述自适应偏移处理，以及所述信息控制单元在不使用作为处理对象的关注片段外部的信息的情况下确定所述周边像素值。
16.如权利要求15所述的图像处理设备，其中所述信息控制单元包括:位置确定单元，所述位置确定单元判定所述关注像素的周边像素是否位于所述关注片段中；以及周边像素值确定单元，所述周边像素值确定单元根据由所述位置确定单元作出的确定的结果来确定所述周边像素值。
17.根据权利要求16所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将预定的、指定的固定值确定为所述周边像素值。
18.根据权利要求16所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述周边像素附近的可用的像素的像素值确定为所述周边像素值。
19.根据权利要求16所述的图像处理设备，其中，当由所述位置确定单元判定所述周边像素不位于所述关注片段中时，所述周边像素值确定单元将所述关注像素的像素值确定为所述周边像素值。
20.根据权利要求14所述的图像处理设备，进一步包括标记生成单元，所述标记生成单元生成表示是否要独立于其他片段对于所述关注片段执行自适应偏移处理的标记，其中所述图像处理单元根据由所述标记生成单元所生成的所述标记的值，来执行对于所述关注片段中的所述关注像素的所述自适应偏移处理。
21.一种用于图像处理设备的图像处理方法，所述方法包括:由信息控制单元只使用属于包括关注像素的片段的信息，获取对于所述关注像素的图像处理所需的信息，所述关注像素是处理对象，而所述信息是使用属于与所述关注像素不同的像素的参考信息获得的；以及由图像处理单元使用由所述 信息控制单元获取的所述信息来执行所述图像处理。
【文档编号】H04N19/61GK103430544SQ201280013677
【公开日】2013年12月4日 申请日期:2012年3月16日 优先权日:2011年3月24日
【发明者】近藤健治 申请人:索尼公司