图像处理设备和方法

图像处理设备和方法
【专利摘要】本公开涉及能够减少编码或解码时的编码量的图像处理设备和方法。类型设置单元使用去块后的像素值，以LCU为单位设置对分量Y、Cb、Cr相同的滤波器的类型，并且将结果提供到语法写入单元。偏移量设置单元使用去块后的像素值，以LCU为单位设置对分量Y、Cb、Cr中的每一个独立的偏移量。SAO控制信息设置单元将已经参考来自偏移量设置单元的偏移量而设置的偏移量或合并标志提供到语法写入单元。本公开可应用于例如图像处理设备。
【专利说明】图像处理设备和方法

【技术领域】
[0001]本公开涉及图像处理设备和方法，更具体地，涉及能够减少控制自适应偏移滤波器所需的编码量的图像处理设备和方法。

【背景技术】
[0002]近年来，图像信息被当作数字信息，在该情形下，采用通过正交变换和运动补偿(诸如，使用图像信息特有的冗余的离散余弦变换)执行压缩的编码方法对图像进行压缩和编码以高效发送和累积信息的设备正变得广为普及。编码方法的示例包括MPEG (动态图像专家组)、H.264和MPEG-4第10部分(高级视频编码，下文中被称为H.264/AVC)等。
[0003]目前，为了与H.264/AVC相比进一步提高编码效率的目的，JCTVC(视频编码联合工作组)正在将称为HEVC (高效视频编码)的编码方法标准化，JCTVC是ITU-T和IS0/IEC的联合标准组织(例如，参见非专利文献I)。
[0004]在HEVC的当前草案中，采用自适应偏移(取样自适应偏移(sample adaptiveoffset:SA0)滤波。在自适应偏移滤波中，分量Y、Cb、Cr之间的控制信号全都被独立地发送。
[0005]相比之下，非专利文献2建议通过用单个语法替换分量之间的开/关控制信号来进行发送并且在分量之间独立地发送滤波的类型和系数。
[0006]引用列表
[0007]非专利文献
[0008]非专利文献1:Benjamin Bross、Woo-Jin Han、Jens-Rainer Ohm、GaryJ.SulIivan> Thomas Wiegand, “High efficiency video coding (HEVC) text specificat1ndraft 7”，JCTVC-11003 第三版，2012.6.1
[0009]非专利文献2:Woo_Shik Kim, Do-Kyoung Kwon, In Suk Chong, MartaKarczewicz, “LCU SAO Enable Flag Coding”，JCTVC-10193，Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG16WP3and IS0/IEC JTCl/SC29/WG119th Meeting:Geneva, CH, 27April-7May, 2012


【发明内容】

[0010]本发明要解决的问题
[0011]然而，在以上建议中，在分量Y、Cb、Cr之间独立地发送类型信息，因此，控制自适应偏移滤波所需的编码量高。
[0012]本公开是依据这种情形形成的，并且可减少用于控制自适应偏移滤波所需的编码量。
[0013]问题的解决方法
[0014]根据本公开的第一方面，一种图像处理设备包括:设置单元，其被构造成设置在图像的多个分量之间相同的取样自适应偏移滤波的类型；取样自适应偏移滤波单元，其被构造成根据由设置单元设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
[0015]所述设置单元设置对于图像的亮度分量和色差分量相同的取样自适应偏移滤波的类型。
[0016]所述设置单元设置对于图像的多个色差分量相同的取样自适应偏移滤波的类型。
[0017]所述设置单元设置对于第一色差分量和第二色差分量相同的取样自适应偏移滤波的类型。
[0018]当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为带偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为带偏移。
[0019]当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移。
[0020]当所述设置单元将所述取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元设置对于图像的多个色差分量相同的边缘偏移的图案规则。
[0021]当所述设置单元将所述取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元设置对于图像的多个色差分量相同的边缘偏移的图案规则。
[0022]当所述设置单元将与所述第一色差分量对应的偏移滤波的类型设置为不应用偏移的类型时，所述设置单元将与所述第二色差分量对应的偏移滤波的类型设置为不应用偏移的类型。
[0023]所述图像处理设备还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像，其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
[0024]在邻近于当前编码单位的邻近编码单位具有相同的偏移的情况下，所述设置单元将所述邻近编码单位的偏移设置为当前编码单位。
[0025]根据本公开的第一方面，一种图像处理方法包括:设置在图像的多个分量之间相同的取样自适应偏移滤波的类型；根据设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
[0026]根据本公开的第二方面，一种图像处理设备包括:设置单元，其被构造成设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息；取样自适应偏移滤波单元，其被构造成根据对图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及发送单元，其被构造成发送由设置单元设置的类型信息和由编码单元产生的编码流。
[0027]所述取样自适应偏移滤波的类型对于图像的多个色差分量是相同的。
[0028]所述取样自适应偏移滤波的类型对于第一色差分量和第二色差分量是相同的。
[0029]所述设置单元设置每个最大编码单位的类型信息。
[0030]所述图像处理设备还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像，其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
[0031]根据本公开的第二方面，一种图像处理方法包括:
[0032]设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息；根据对于图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及发送已经设置的类型信息和已经产生的编码流。
[0033]根据本公开的第一方面，设置在图像的多个分量之间相同的取样自适应滤波的类型，以根据设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于局部解码的图像。然后，使用应用了取样自适应偏移滤波器的图像，来对所述图像执行编码处理以产生编码流。
[0034]根据本公开的第二方面，设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息，以根据对于图像的各分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于局部解码的图像。然后，使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流，以发送已经设置的类型信息和已经产生的编码流。
[0035]应当注意，上面说明的图像处理设备可以使独立的设备，或者可以是构成图像编码装置或图像解码装置的内部模块。
[0036]本发明的效果
[0037]根据本公开的第一方面，可编码图像。具体地，可减少编码量。
[0038]根据本公开的第二方面，可编码图像并且发送图像。具体地，可减少编码量。

【专利附图】

【附图说明】
[0039]图1是示出图像编码装置的主要构造示例的框图。
[0040]图2是用于说明编码处理的流程示例的流程图。
[0041]图3是示出图像解码装置的主要构造示例的框图。
[0042]图4是用于说明解码处理的流程示例的流程图。
[0043]图5是用于说明带偏移的图。
[0044]图6是用于说明边缘偏移的图。
[0045]图7是不出边缘偏移的规则列表表格的图。
[0046]图8是用于说明传统SAO控制信息发送处理的流程图。
[0047]图9是示出应用本公开的自适应偏移滤波器的构造示例的框图。
[0048]图10是用于说明自适应偏移滤波处理的流程图。
[0049]图11是用于说明SAO控制信息设置处理的流程图。
[0050]图12是用于说明SAO控制信息发送处理的流程图。
[0051]图13是示出应用本公开的自适应偏移滤波器的另一个构造示例的框图。
[0052]图14是用于说明自适应偏移滤波处理的流程图。
[0053]图15是用于说明SAO控制信息发送处理的流程图。
[0054]图16是示出应用本公开的自适应偏移滤波器的构造示例的框图。
[0055]图17是用于说明自适应偏移滤波处理的流程图。
[0056]图18是用于说明SAO控制信息接收处理的流程图。
[0057]图19是示出应用本公开的自适应偏移滤波器的另一个构造示例的框图。
[0058]图20是用于说明自适应偏移滤波处理的流程图。
[0059]图21是示出多视点图像编码方法的示例的图。
[0060]图22是示出应用本公开的多视点图像编码装置的主要构造示例的图。
[0061]图23是示出应用本公开的多视点图像解码装置的主要构造示例的图。
[0062]图24是示出分层图像编码方法的示例的图。
[0063]图25是示出应用本公开的分层图像编码装置的主要构造示例的图。
[0064]图26是示出应用本技术的分层图像解码装置的主要构造示例的图。
[0065]图27是示出计算机的主要构造示例的框图。
[0066]图28是示出电视装置的示意性构造的示例的框图。
[0067]图29是示出蜂窝电话的示意性构造的示例的框图。
[0068]图30是示出记录/再现装置的示意性构造的示例的框图。
[0069]图31是示出图像捕获装置的示意性构造的示例的框图。

【具体实施方式】
[0070]下文中，将说明用于执行本公开的实施方式(下文中被称为实施例)。应该注意，将按以下次序进行说明。
[0071]1.设备和操作的概况
[0072]2.关于传统方法的说明
[0073]3.第一实施例(图像处理设备(编码侧))
[0074]4.第二实施例(图像处理设备(解码侧))
[0075]5.第三实施例(多视点图像编码/多视点图像解码装置)
[0076]6.第四实施例(分层图像编码/分层图像解码装置)
[0077]7.第五实施例(计算机)
[0078]8.应用的示例
[0079]〈1.设备和操作的概况〉
[0080][图像编码装置的构造示例]
[0081]图1示出应用本公开的用作图像处理设备的图像编码装置的实施例的构造。
[0082]如图1中所示的图像编码装置11使用预测处理来编码图像数据。在这种情况下，编码方法的示例包括HEVC (高效视频编码)方法。
[0083]在这个HEVC方法中，定义了编码单元⑶。⑶还被称为编码树块(CTB)，并且是以图片为单位的图像的部分区域，它是H.264/AVC方法中的宏块的对应物。在后者中，尺寸被固定为16X16个像素，但在前者中，尺寸不固定，并且在各序列中，在图像压缩信息中指定尺寸。
[0084]例如，在将要输出的编码数据中包括的序列参数集(SPS)中，指定CU的最大尺寸(LCU(最大编码单位))和其最小尺寸(SCU(最小编码单位))。
[0085]在各IXU中，只要尺寸不小于SCU的尺寸，split_flag就是1，因此，可以将⑶划分成较小尺寸的⑶。当split_flag的值是“I”时，尺寸为2NX2N的⑶被划分成作为下一层的层级的尺寸为NXN的CU。
[0086]另外，CU被划分成预测单元(PU)并且被划分成变换单元(TU)，所述预测单元是用作帧内或帧间预测的目标区域的区域(以图片为单位的图像的部分区域)，变换单元是用作正交变换的目标区域的区域(以图片为单位的图像的部分区域)。目前，在HEVC方法中，不仅可使用4X4和8X8正交变换，而且可使用16X 16和32X32正交变换。
[0087]在图1的示例中，图像编码装置11包括Α/D(模拟/数字)转换单元21、画面排序缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26、累积缓冲器27。图像编码装置11还包括逆量化单元28、逆正交变换单元29、计算单元30、解块滤波器31、帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35、预测图像选择单元36和速率控制单元37。
[0088]另外，图像编码装置11包括设置在解块滤波器31和帧存储器32之间的自适应偏移滤波器41和自适应环路滤波器42。
[0089]Α/D转换单元21对接收到的图像数据执行Α/D转换，并且将转换后的图像数据提供到画面排序缓冲器22以将图像数据存储在其中。
[0090]画面排序缓冲器22根据GOP (图片组)结构将存储的显示次序的帧的图像排序成用于编码的帧的次序。画面排序缓冲器22将帧次序已经被排序的图像提供到计算单元23。画面排序缓冲器22还将帧次序已经被排序的图像提供到帧内预测单元34和运动预测/补偿单元35。
[0091]计算单元23将从画面排序缓冲器22读取的图像减去通过预测图像选择单元36从帧内预测单元34或运动预测/补偿单元35提供的预测图像，并且将其差分信息提供到正交变换单元24。
[0092]例如，在帧内编码图像的情况下，计算单元23将从画面排序缓冲器22读取的图像减去从帧内预测单元34提供的预测图像。例如，在帧间编码图像的情况下，计算单元23将从画面排序缓冲器22读取的图像减去从运动预测/补偿单元35提供的预测图像。
[0093]正交变换单元24对计算单元23提供的差分信息应用正交变换(诸如，离散余弦变换和Karhunen-Loeve变换)。正交变换单元24将变换系数提供到量化单元25。
[0094]量化单元25量化正交变换单元24输出的变换系数。量化单元25将量化后的变换系数提供到无损编码单元26。
[0095]无损编码单元26对量化后的变换系数应用无损编码，诸如，可变长度编码或算术编码。
[0096]无损编码单元26从帧内预测单元34获得诸如指示帧内预测模式的信息的参数，并且从运动预测/补偿单元35获得诸如指示帧间预测模式的信息和运动向量信息的参数。
[0097]无损编码单元26编码经量化后的变换系数和所获得的参数(语法要素)等，并且使它们成为编码数据的头信息的一部分(多路复用)。无损编码单元26将通过编码处理获得的编码数据提供到累积缓冲器27并且将编码数据存储在其中。
[0098]例如，无损编码单元26执行无损编码处理(诸如，可变长度编码或算术编码)。可变长度编码的示例包括CAVLC(上下文自适应性可变长度编码)。算术编码的示例包括CABAC (上下文自适应性二进制算术编码)。
[0099]累积缓冲器27暂时保持无损编码单元26提供的编码流(数据)。在预定定时，累积缓冲器27将保持在其中的编码数据作为编码图像输出到例如记录装置和后续阶段中设置的发送路径(未示出)。更具体地，累积缓冲器27还是发送编码流的发送单元。
[0100]被量化单元25量化的变换系数还被提供到逆量化单元28。逆量化单元28根据与量化单元25进行的量化对应的方法解量化量化后的变换系数。逆量化单元28将获得的变换系数提供到逆正交变换单元29。
[0101]逆正交变换单元29根据与正交变换单元24进行的正交变换处理对应的方法对提供的变换系数执行逆正交变换。从逆正交变换获得的输出(恢复的差分信息)被提供到计算单元30。
[0102]计算单元30将通过预测图像选择单元36从帧内预测单元34或运动预测/补偿单元35提供的预测图像与恢复的差分信息(即，逆正交变换单元29提供的逆正交变换结果)相加，从而获得局部解码图像(解码图像)。
[0103]例如，当差分信息对应于帧内编码图像时，计算单元30将帧内预测单元34提供的预测图像与差分信息相加。例如，当差分信息对应于帧间编码图像时，计算单元30将运动预测/补偿单元35提供的预测图像与差分信息相加。
[0104]作为相加结果的解码图像被提供到解块滤波器31和帧存储器32。
[0105]解块滤波器31必要时对解码图像执行解块滤波处理，从而消除解码图像中的块失真。解块滤波器31将滤波处理结果提供到自适应偏移滤波器41。
[0106]自适应偏移滤波器41执行自适应偏移(SAO)处理，用于主要从解块滤波器31滤波的图像中消除振铃(ringing)。自适应偏移滤波器41将滤波后的图像提供到自适应环路滤波器42。
[0107]总共有九种类型的偏移滤波，包括两种类型的带偏移、六种类型的边缘偏移和一种没有任何偏移。自适应偏移滤波器41设置指示各片段的各分量的开/关状态的信息、作为最大编码单位的各LCU的偏移滤波的类型、偏移(值)。其中，对于分量Y、Cb、Cr相同地设置滤波的类型。自适应偏移滤波器41使用已经设置的类型和偏移对经解块滤波器31滤波的图像应用滤波处理。在下面的说明中，将使用颜色空间作为示例，其中亮度信号被表示为Y并且色差信号被表示为Cb、Cr。更具体地，它们被简单表示为Y、Cb、Cr，但Y代表亮度分量，Cb代表Cb色差分量，Cr代表Cr色差分量。
[0108]自适应偏移滤波器41将指示已经设置的类型的信息提供到无损编码单元26，使得所述信息被编码。在自适应偏移滤波器41中，以上说明的偏移是滤波的系数。必要时，偏移也被称为系数。应该注意，随后，将在图9中说明自适应偏移滤波器41的细节。
[0109]例如，自适应环路滤波器42针对作为最大编码单位的各LCU执行自适应环路滤波(ALF)处理。自适应环路滤波器42使用例如二维维纳(Wiener)滤波作为滤波器。要理解，可使用除了维纳滤波之外的滤波器。
[0110]自适应环路滤波器42使用滤波系数针对各IXU对经自适应偏移滤波器41滤波的图像执行滤波处理，并且将滤波处理的结果提供到帧存储器32。
[0111]尽管在此说明书中省略了详细描述，但图像编码装置11针对各IXU使用由自适应环路滤波器42计算的滤波系数，使得画面排序缓冲器12给出的原始图像中的残差变得最少。计算出的滤波系数被无损编码单元26编码，并且被发送到随后说明的图3的图像解码装置51。在本说明书中，例如，针对各IXU执行处理，但自适应环路滤波器42的处理单位不限于此。
[0112]在预定定时，帧存储器32通过选择单元33将累积的参考图像输出到帧内预测单元34或运动预测/补偿单元35。
[0113]例如，在帧内编码图像的情况下，帧存储器32通过选择单元33将参考图像提供到帧内预测单元34。例如，在帧间编码图像的情况下，帧存储器32通过选择单元33将参考图像提供到运动预测/补偿单元35。
[0114]当帧存储器32提供的参考图像是帧内编码图像时，选择单元33将参考图像提供到帧内预测单元34。当帧存储器32提供的参考图像是帧间编码图像时，选择单元33将参考图像提供到运动预测/补偿单元35。
[0115]帧内预测单元34使用画面内的像素值执行帧内预测(画面内预测)，以产生预测图像。帧内预测单元34以多种模式(帧内预测模式)执行帧内预测。
[0116]帧内预测单元34利用所有帧内预测模式产生预测图像，并且评价各预测图像，从而选择最佳模式。当选择最佳帧内预测模式时，帧内预测单元34通过预测图像选择单元36将以最佳模式产生的预测图像提供到计算单元23和计算单元30。
[0117]如上所述，必要时，帧内预测单元34将诸如指示采用的帧内预测模式的帧内预测模式信息等的参数提供到无损编码单元26。
[0118]运动预测/补偿单元35使用从画面排序缓冲器22提供的输入图像和通过选择单元33从帧存储器32提供的参考图像，对将被帧间编码的图像执行运动预测。运动预测/补偿单元35根据运动预测而检测的运动向量执行运动补偿处理，从而产生预测图像(帧间预测图像信息)。
[0119]运动预测/补偿单元35以所有候选的帧间预测模式执行帧间预测，以产生预测图像。运动预测/补偿单元35通过预测图像选择单元36将所产生的预测图像提供到计算单元23和计算单元30。
[0120]运动预测/补偿单元35将指示采用的帧间预测模式的帧间预测模式信息和诸如指示计算出的运动向量的运动向量信息的参数提供到无损编码单元26。
[0121]在帧内编码图像的情况下，预测图像选择单元36将帧内预测单元34的输出提供到计算单元23和计算单元30，而在帧间编码图像的情况下，预测图像选择单元36将运动预测/补偿单元35的输出提供到计算单元23和计算单元30。
[0122]速率控制单元37基于累积缓冲器27中累积的压缩图像控制量化单元25的量化操作速率，以便不造成上溢或下溢。
[0123][图像编码装置的操作]
[0124]将参考图2说明如以上说明的图像编码装置11执行的编码处理的流程。
[0125]在步骤Sll中，Α/D转换单元21对接收的图像执行Α/D转换。在步骤S12中，画面排序缓冲器22存储已经经受了 Α/D转换的图像，并且将它们从显示图片的次序排序成编码它们的次序。
[0126]当画面排序缓冲器22提供的处理目标图像是被帧内处理的块的图像时，被参考的解码图像被从帧存储器32读取，并且通过选择单元33被提供到帧内预测单元34。
[0127]基于这些图像，在步骤S13中，帧内预测单元34在所有候选的帧内预测模式下对处理目标块的像素执行帧内预测。应该注意，没有被解块滤波器31滤波的像素被用作被参考的解码像素。
[0128]通过这个处理，在所有候选的帧内预测模式下执行帧内预测，并且针对所有候选的帧内预测模式计算成本函数值。然后，基于计算出的成本函数值选择最佳的帧内预测模式，并且通过最佳帧内预测模式下的帧内预测产生的预测图像及其成本函数值被提供到预测图像选择单元36。
[0129]当画面排序缓冲器22提供的处理目标图像是将被帧间处理的图像时，被参考的图像被从帧存储器32读取，并且通过选择单元33被提供到运动预测/补偿单元35。基于这些图像，在步骤S14中，运动预测/补偿单元35执行运动预测/补偿处理。
[0130]通过这个处理，在所有候选的帧间预测模式下执行运动预测处理，并且针对所有候选的帧间预测模式计算成本函数值，并且基于计算出的成本函数值确定最佳帧间预测模式。然后，在最佳帧间预测模式下产生的预测图像及其成本函数值被提供到预测图像选择单元36。
[0131]在步骤S15中，预测图像选择单元36基于从帧内预测单元34和运动预测/补偿单元35输出的成本函数值，确定最佳帧内预测模式和最佳帧间预测模式中的一个作为最佳预测模式。然后，预测图像选择单元36选择所确定的最佳预测模式下的预测图像，并且将该预测图像提供到计算单元23、30。该预测图像被用于随后说明的步骤S16、S21中的计笪
ο
[0132]预测图像的选择信息被提供到帧内预测单元34或运动预测/补偿单元35。当选择最佳帧内预测模式下的预测图像时，帧内预测单元34将指示最佳帧内预测模式的信息(更具体地，帧内预测的参数)提供到无损编码单元26。
[0133]当选择最佳帧间预测模式下的预测图像时，运动预测/补偿单元35将指示最佳帧间预测模式的信息和根据最佳帧间预测模式的信息(更具体地，运动预测的参数)提供到无损编码单元26。根据最佳帧间预测模式的信息包括运动向量信息、参考帧信息等。
[0134]在步骤S16中，计算单元23计算由步骤12中的处理排序的图像和由步骤S15中的处理选择的预测图像之间的差分。当执行帧间预测时，通过预测图像选择单元36将预测图像从运动预测/补偿单元35提供到计算单元23。当执行帧内预测时，通过预测图像选择单元36将预测图像从帧内预测单元34提供到计算单元23。
[0135]差分数据的数据量相比于原始图像数据有所减少。因此，相比于图像被原样编码的情况，可更大程度地压缩数据量。
[0136]在步骤S17中，正交变换单元24对计算单元23提供的差分信息执行正交变换。更具体地，执行诸如离散余弦变换和Karhunen-Loeve变换等的正交变换，并且输出变换系数。
[0137]在步骤S18中，量化单元25量化变换系数。在这个量化中，如随后描述的步骤S28的处理中说明的，速率获得控制。
[0138]如上所述，如下地局部解码量化后的差分信息。更具体地，在步骤S19中，逆量化单元28根据与量化单元25的特性对应的特性解量化经量化单元25量化的变换系数。在步骤S20中，逆正交变换单元29根据与正交变换单元24的特性对应的特性对经逆量化单元28解量化的变换系数执行逆正交变换。
[0139]在步骤S21中，计算单元30将通过预测图像选择单元36接收的预测图像与经局部解码的差分信息相加，并且产生局部解码(即，局部地解码的)图像(与计算单元23的输入对应的图像)。
[0140]在步骤S22中，解块滤波器31对计算单元30输出的图像执行解块滤波处理，从而消除块失真。解块滤波器31提供的滤波图像被输出到自适应偏移滤波器41。
[0141]在步骤S23中，自适应偏移滤波器41执行自适应偏移滤波处理。通过这个处理，针对作为最大编码单位的各LCU设置对于分量Y、Cb、Cr相同的偏移滤波的类型，另外，针对各分量设置偏移。另外，通过使用它们，对经解块滤波器31滤波的图像应用滤波处理。应该注意，随后将参考图10说明自适应偏移滤波处理的细节。
[0142]当各分量相同的类型信息和各分量的偏移被提供到无损编码单元26时获得的各信息(在下文中，将被统称为自适应偏移参数)在随后说明的步骤S26中被编码。
[0143]在步骤S24中，自适应环路滤波器42对经自适应偏移滤波器41滤波的图像应用自适应环路滤波处理。例如，对于经自适应偏移滤波器41滤波的图像，使用滤波系数针对各LCU对图像应用滤波处理，并且滤波处理的结果被提供到帧存储器32。
[0144]如上所述，使自适应偏移滤波器41和自适应环路滤波器42的处理单位相同，使得可有效地进行处理。
[0145]在步骤S25中，帧存储器32存储滤波后的图像。应该注意，帧存储器32还从计算单元30接收未经解块滤波器31、自适应偏移滤波器41和自适应环路滤波器42滤波的图像，并且存储这些图像。
[0146]另一方面，以上说明的步骤S18中量化的变换系数还被提供到无损编码单元26。在步骤26中，无损编码单元26编码从量化单元25输出的量化后的变换系数和提供的参数。更具体地，通过诸如可变长度编码、算术编码等无损编码对差分图像进行编码，使其被压缩。在这种情况下，自适应偏移滤波器的参数同样被编码。
[0147]在步骤S27中，累积缓冲器27累积编码后的差分图像(即，编码流)作为压缩图像。必要时，在累积缓冲器27中累积的压缩图像被读取，并且经由发送路径被发送到解码侧。
[0148]在步骤S28中，速率控制单元37基于在累积缓冲器27中累积的压缩图像控制量化单元25的量化操作的速率，以便不造成上溢或下溢。
[0149]当完成步骤S28的处理时，编码处理终止。
[0150][图像解码装置的构造示例]
[0151]图3示出应用本公开的用作图像处理设备的图像解码装置的实施例的构造。如图3所示的图像解码装置51是与图1的图像编码装置11对应的解码装置。
[0152]经图像编码装置11编码的编码流(数据)经由预定发送路径被发送到与图像编码装置11对应的图像解码装置51，并且经图像解码装置51解码。
[0153]如图3中所示，图像解码装置51包括累积缓冲器61、无损解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、解块滤波器66、画面排序缓冲器67、D/Α转换单元68。图像解码装置51包括帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72和选择单元73。
[0154]另外，图像解码装置51在画面排序缓冲器67和帧存储器69之间包括解块滤波器66和自适应偏移滤波器81和自适应环路滤波器82。
[0155]累积缓冲器61还是接收被发送的编码数据的接收单元。累积缓冲器61接收并且累积被发送的编码数据。编码数据经图像编码装置11编码。无损解码单元62根据与图1的无损编码单元26的编码方法对应的方法，解码在预定定时从累积缓冲器61读取的编码数据。
[0156]无损解码单元62将诸如指示执行解码的帧内预测模式的信息的参数提供到帧内预测单元71，并且将指示帧间预测模式的信息和诸如运动向量信息的参数提供到运动预测/补偿单元72。无损解码单元62将解码后的自适应偏移参数(诸如，指示分量的开/关状态的信息、指示在各LCU的分量间相同的类型的信息、各分量的偏移等)提供到自适应偏移滤波器81。
[0157]逆量化单元63根据与图1的量化单元25的量化方法对应的方法解量化由无损解码单元62执行的解码处理中获得的系数数据(量化后的系数)。更具体地，逆量化单元63使用图像编码装置11提供的量化参数，根据与图1的逆量化单元28的方法相同的方法解量化量化系数。
[0158]逆量化单元63将解量化后的系数数据(S卩，正交变换系数)提供到逆正交变换单元64。逆正交变换单元64根据与图1的正交变换单元24的正交变换方法对应的方法，对正交变换系数执行逆正交变换，获得与图像编码装置11执行正交变换之前的残差数据对应的解码后的残差数据。
[0159]通过逆正交变换获得的所获得的解码后的残差数据被提供到计算单元65。计算单元65通过选择单元73从帧内预测单元71或运动预测/补偿单元72接收预测图像。
[0160]计算单元65将解码后的残差数据与预测图像相加，获得与由图像编码装置11的计算单元23减去预测图像之前的图像数据对应的解码后的图像数据。计算单元65将解码后的图像数据提供到解块滤波器66。
[0161]解块滤波器66必要时对解码图像执行解块滤波处理，以消除解码图像中的块失真。解块滤波器66将滤波处理的结果提供到自适应偏移滤波器81。
[0162]自适应偏移滤波器81对经解块滤波器66滤波的图像执行偏移滤波(SAO)处理，以主要消除振铃。
[0163]自适应偏移滤波器81使用无损解码单元62提供的自适应偏移参数，针对作为最大编码单位的各LCU对经解块滤波器66滤波的图像执行滤波处理。自适应偏移滤波器81将滤波后的图像提供到自适应环路滤波器82。
[0164]将在图16中说明自适应偏移滤波器81的细节，但自适应偏移滤波器81接收指示各片段的各分量的开/关状态的信息以及作为最大编码单位的各LCU的偏移滤波的类型(类型)和偏移(值)。其中，对分量Y、Cb、Cr设置相同的滤波的类型。自适应偏移滤波器81使用接收到的类型和偏移对经解块滤波器66滤波的图像应用滤波处理。
[0165]自适应环路滤波器82以与图1的图像编码装置11的自适应环路滤波器42基本相同的方式被构造，并且对作为最大编码单位的各LCU执行自适应环路滤波处理。对于经自适应偏移滤波器81滤波的图像，自适应环路滤波器82使用滤波系数对各LCU执行滤波处理，并且将滤波处理的结果提供到帧存储器69和画面排序缓冲器67。
[0166]尽管在本说明书中省略了详细描述，但在图像解码装置51中由图像编码装置11的自适应环路滤波器42针对各LCU计算滤波系数，那些被编码和接收的滤波系数被无损解码单元62解码以被使用。
[0167]画面排序缓冲器67对图像进行排序。更具体地，被图1的画面排序缓冲器22为编码次序而排序的帧的次序被排序成原始的显示次序。D/A转换单元68对画面排序缓冲器67提供的图像执行D/A转换，将图像输出到显示器(未示出)并且使显示器示出图像。
[0168]自适应环路滤波器82的输出被进一步提供到帧存储器69。
[0169]帧存储器69、选择单元70、帧内预测单元71、运动预测/补偿单元72和选择单元73分别对应于图像编码装置11的帧存储器32、选择单元33、帧内预测单元34、运动预测/补偿单元35和预测图像选择单元36。
[0170]选择单元70从帧存储器69读取经帧间处理后的图像和参考图像，并且将图像提供到运动预测/补偿单元72。选择单元70从帧存储器69读取用于帧内预测的图像，并且将图像提供到帧内预测单元71。
[0171]必要时，无损解码单元62向帧内预测单元71提供诸如通过解码头信息而获得的指示帧内预测模式的信息。基于该信息，帧内预测单元71用从帧存储器69获得的参考图像产生预测图像，并且将产生的预测图像提供到选择单元73。
[0172]运动预测/补偿单元72从无损解码单元62接收通过解码头信息(预测模式信息、运动向量信息、参考帧信息、标志、各种参数等)而获得的信息。
[0173]基于无损解码单元62提供的信息，运动预测/补偿单元72用从帧存储器69获得的参考图像产生预测图像，并且将产生的预测图像提供到选择单元73。
[0174]选择单元73选择运动预测/补偿单元72或帧内预测单元71产生的预测图像，并且将所选择的预测图像提供到计算单元65。
[0175][图像解码装置的操作]
[0176]将参考图4说明如上说明的由图像解码装置51执行的解码处理的流程示例。
[0177]当解码处理开始时，在步骤S51中，累积缓冲器61接收并累积已经被发送的编码流(数据)。在步骤S52中，无损解码单元62解码累积缓冲器61提供的编码数据。解码经图1的无损编码单元26编码的I图片、P图片和B图片。
[0178]在解码图片之前，还解码关于参数的信息，诸如运动向量信息、参考帧信息和预测模式信息(帧内预测模式或帧间预测模式)。
[0179]当预测模式信息是帧内预测模式信息时，预测模式信息被提供到帧内预测单元71。当预测模式信息是帧间预测模式信息时，与预测模式信息对应的运动向量信息等被提供到运动预测/补偿单元72。自适应偏移参数也被解码并且被提供到自适应偏移滤波器81。
[0180]在步骤S53中，帧内预测单元71或运动预测/补偿单元72分别与无损解码单元62提供的预测模式信息关联地执行预测图像产生处理。
[0181]更具体地，当无损解码单元62提供帧内预测模式信息时，帧内预测单元71在帧内预测模式下产生帧内预测图像。当无损解码单元62提供帧间预测模式信息时，运动预测/补偿单元72执行帧间预测模式下的运动预测/补偿处理，并且产生帧间预测图像。
[0182]通过这个处理，帧内预测单元71产生的预测图像(帧内预测图像)或运动预测/补偿单元72产生的预测图像(帧间预测图像)被提供到选择单元73。
[0183]在步骤S54中，选择单元73选择预测图像。更具体地，提供帧内预测单元71产生的预测图像或运动预测/补偿单元72产生的预测图像。因此，所提供的预测图像被选择并且被提供到计算单元65，并且在随后说明的步骤S57中与逆正交变换单元64的输出相加。
[0184]在以上说明的步骤S52中，经无损解码单元62解码的变换系数还被提供到逆量化单元63。在步骤S55中，逆量化单元63根据与图1的量化单元25的特性对应的特性，解量化经无损解码单元62解码的变换系数。
[0185]在步骤S56中，逆正交变换单元29根据与图1的正交变换单元24的特性对应的特性，对经逆量化单元28解量化的变换系数执行逆正交变换。因此，与图1的正交变换单元24的输入对应的差分信息(计算单元23的输出)被解码。
[0186]在步骤S57中，计算单元65将差分信息与在以上说明的步骤S54的处理中选择的并且通过选择单元73输入的预测图像相加。从而，原始图像被解码。
[0187]在步骤S58中，解块滤波器66对计算单元65输出的图像执行解块滤波处理。因此，消除了块失真。解块滤波器66提供的解码图像被输出到自适应偏移滤波器81。
[0188]在步骤S59中，自适应偏移滤波器81执行自适应偏移滤波处理。自适应偏移滤波器81使用无损解码单元62提供的自适应偏移参数，对经解块滤波器66滤波的图像应用滤波处理。自适应偏移滤波器81将滤波后的图像提供到自适应环路滤波器82。
[0189]尽管随后将在图17中说明自适应偏移滤波器81的细节，但自适应偏移滤波器81执行自适应偏移滤波处理。通过这个处理，针对作为最大编码单位的各IXU设置在分量Y、CbXr间相同的偏移滤波的类型，另外，针对各分量设置偏移。另外，通过使用它们，对经解块滤波器66滤波的图像应用滤波处理。
[0190]在步骤S60中，自适应环路滤波器82对经自适应偏移滤波器81滤波的图像执行自适应环路滤波处理。自适应环路滤波器82使用针对作为最大编码单位的各LCU计算出的滤波系数，在输入图像上对各IXU执行滤波处理，并且将滤波处理的结果提供到画面排序缓冲器67和帧存储器69。
[0191]在步骤S61中，帧存储器69存储滤波后的图像。
[0192]在步骤S62中，画面排序缓冲器67将经自适应环路滤波器82滤波的图像排序。更具体地，为了编码由图像编码装置11的画面排序缓冲器22排序的帧的次序被排序成原始的显示次序。
[0193]在步骤S63中，D/A转换单元68对画面排序缓冲器67提供的图像执行D/A转换。这些图像被输出到显示器(未示出)并且图像被显示。
[0194]当完成步骤S63中的处理时，解码处理终止。
[0195]〈关于传统方法的说明〉
[0196][根据HEVC方法的自适应偏移处理]
[0197]随后，将说明根据HEVC方法的自适应偏移滤波。在HEVC方法中，采用自适应偏移(sample adaptive offset)方法。
[0198]在编码侧，自适应偏移滤波器41被设置在解块滤波器(DB) 31和自适应环路滤波器(ALF)42之间。同样地，在解码侧，自适应偏移滤波器81被设置在解块滤波器(DB)66和自适应环路滤波器(ALF) 82之间。
[0199]自适应偏移的类型包括两种类型的带偏移和六种类型的边缘偏移，替代地，可不应用偏移。可以选择使用以上说明的哪种类型的自适应偏移来针对各LCU编码图像。
[0200]这个选择信息被编码单元编码为PQAO信息(熵编码)，并且产生比特流，产生的比特流被发送到解码侧。通过使用这种方法，可提高编码效率。
[0201]首先，将参考图5说明带偏移的细节。
[0202]在带偏移中，在图5的示例中，单个标记表示I个带=8个像素。亮度像素值被分成32个带，每个带独立地具有偏移值。
[0203]更具体地，在图5的示例中，第O个至第255个像素(32个带)的中间16个带被分为第一组，两侧的8个带被归为第二组。
[0204]然后，第一组和第二组中的任一个的偏移被编码并且被发送到解码侧。总之，任何给定区域通常是清楚为白色或黑色的区域，或者是颜色模糊的区域。所有像素都极少在第一组和第二组二者中。出于这个原因，当只发送它们之中的一个的偏移时，这样可抑制因发送不包括在各IXU中的像素的像素值而造成编码量增加。
[0205]当通过广播给出输入信号时，亮度信号限于16，235的范围，并且色差信号限于16,240的范围。在这种情形下,应用图5下栏中示出的合法广播(broadcast legal),不发送用X标记指示的两侧中的每一侧的2个带的偏移值。
[0206]随后，将参考图6说明边缘偏移的细节。
[0207]在边缘偏移中，比较所考虑的像素值和与该像素值邻近的邻近像素值，并且偏移值被按照与之对应的类别发送。
[0208]边缘偏移包括图6的A至图6的D中指示的四个一维图案和图6的E和图6的F中指示的两个二维图案，按图6中指示的类别发送偏移。
[0209]在图6的A中，邻近像素沿一维方向布置在像素C的右侧和左侧。更具体地，这指示相对于图6的图案A形成O度的1-D，0度图案。在图6的B中，邻近像素沿一维方向布置在像素C的上方和下方。更具体地，这指示相对于图6的图案A形成90度的1_D，90度图案。
[0210]在图6的C中，邻近像素沿一维方向布置在像素C的左上方和右下方。更具体地，这指示相对于图6的图案A形成135度的1_D，135度图案。在图6的D中，邻近像素沿一维方向布置在像素C的右上方和左下方。更具体地，这指示相对于图6的图案A形成45度的1-D，45度图案。
[0211]在图6的E中，邻近像素沿二维方向布置在像素C的上方、下方、左侧和右侧。更具体地，这指示与像素C交叉的2-D十字图案。在图6的F中，邻近像素沿二维方向布置在像素C的右上方、左下方、左上方和右下方。更具体地，这指示与像素C对角交叉的2-D，对角图案。
[0212]图7的附图标记A示出一维图案的规则列表表格(1-D图案的分类规则)。如图7的A中所示，图6的A至图6的D的图案被分成五种类别，根据类别，计算偏移并且将偏移发送到解码单元。
[0213]当像素C的像素值小于两个邻近像素的像素值时，被归为类别I。当像素C的像素值小于邻近像素中的一个的像素值并且与邻近像素中的另一个的像素值一致时，被归为类别2。当像素C的像素值大于邻近像素中的一个的像素值并且与邻近像素中的另一个的像素值一致时，被归为类别3。当像素C的像素值大于两个邻近像素的像素值时，被归为类别4。如果不适用以上任一种情况，则被归为类别O。
[0214]图7的附图标记B指示二维图案的规则列表表格(2-D图案的分类规则)。如图7的B中所示，图6的E和图6的F的图案被分成七种类别，并且根据类别，将偏移发送到解码侧。
[0215]当像素C的像素值小于四个邻近像素的像素值时，被归为类别I。当像素C的像素值小于三个邻近像素的像素值并且与第四个邻近像素的像素值一致时，被归为类别2。当像素C的像素值小于三个邻近像素的像素值并且大于第四个邻近像素的像素值时，被归为类别3。
[0216]当像素C的像素值大于三个邻近像素的像素值并且小于第四个邻近像素的像素值时，被归为类别4。当像素C的像素值大于三个邻近像素的像素值并且与第四个邻近像素的像素值一致时，被归为类别5。当像素C的像素值大于四个邻近像素的像素值时，被归为类别6。如果不适用以上任一种情况，则被归为类别O。
[0217]如上所述，在边缘偏移中，针对一维图案的计算量更小，因为只用对两个邻近像素进行比较。在高效编码条件下，使I比特偏移值相比于低延迟编码条件具有更高的精确度，并且将其发送到解码侧。
[0218]以上说明的自适应偏移处理是在HEVC方法(非专利文献I)中针对各IXU执行的处理。在HEVC方法中的自适应偏移处理中，分量Y、Cb、Cr之间的控制信号都是被独立发送的。
[0219]更具体地，在HEVC方法中，针对各IXU或者针对各分量全部独立地发送SAO控制信息，诸如开/关信息、滤波器类型信息和滤波系数。
[0220]相比之下，非专利文献2推荐了以下技术:以上说明的SAO控制信息中的分量之间的开/关控制信号被单个语法替换并且被发送。
[0221]随后，将参考图8的流程图说明针对各IXU的传统SAO控制信息发送处理。
[0222]在步骤Sll中，分量ID(cIdx)是零。在这种情况下，cIdx = O指示Y (亮度信号),cldx = I指不Cb (色差/[目号)，cldx = 2指不Cr (色差/[目号)。
[0223]在步骤S12中，确定cldx〈3是否成立。当在步骤S12中确定cldx〈3成立时，随后执行步骤 S13 中的处理。在步骤 S13 中，确定 slice_sample_adaptive_offset_flag[cIdx]=I是否成立。标志slice_sample_adaptive_offset_flag[cIdx]是指不各片段的各分量的开/关状态的信息(标志)。
[0224]当在步骤S13 中确定 slice_sample_adaptive_offset_flag[cIdx] = I 成立(更具体地，对cldx执行自适应偏移滤波)时，随后执行步骤S14中的处理。在步骤S14中，发送Cldx( = 0)的SAO控制信息。在非专利文献2中，滤波器类型信息、滤波系数(偏移)等被作为SAO控制信息发送。
[0225]在步骤S13 中，slice_sample_adaptive_offset_flag[cIdx] = O 成立(更具体地，确定不对cldx执行自适应偏移滤波，跳过步骤S14中的处理，随后执行步骤S15中的处理)。
[0226]在步骤S15中，执行cldx++(更具体地，cldx = I)，再次返回执行步骤S12中的处理。在步骤S12中，确定cldx〈3不成立，随后执行步骤S16中的处理。
[0227]在步骤S16中，确定当前正在处理的当前IXU是否是最后的IXU。当在步骤S16中确定当前正在处理的当前LCU不是最后的LCU时，随后执行步骤S17中的处理。在步骤S17中，采用后续的LCU作为当前LCU，再次返回执行步骤Sll中的处理。
[0228]当在步骤S16中确定当前正在处理的当前IXU是最后的IXU时，终止针对各IXU的SAO控制信息发送处理。
[0229]如上所述，在非专利文献2中，针对各LCU或针对各分量全部独立地发送SAO控制信息，诸如滤波器类型信息和滤波系数。
[0230]然而，在非专利文献1、2中，在分量Y、Cb、Cr之间独立地发送类型信息，因此，控制自适应偏移滤波所需的编码量较高。
[0231]依据以上问题，形成本技术，使得分量(Y、Cb、Cr*Cb、Cr)之间的滤波类型相同，只有系数被作为SAO控制信息独立地发送。
[0232]<3.第一实施例>
[0233][自适应偏移滤波器的构造示例]
[0234]图9是示出图1的图像编码装置中的自适应偏移滤波器和无损编码单元的构造示例的框图。
[0235]在图9的示例中，自适应偏移滤波器41包括SAO标志设置单元111、类型设置单元112、偏移设置单元113、SAO控制信息设置单元114、偏移缓冲器115、滤波处理单元116和图像缓冲器117。
[0236]无损编码单元26至少包括语法写入单元121。
[0237]解块滤波器31给出的解块后的像素值被输入到SAO标志设置单元111、类型设置单元112、偏移设置单元113和滤波处理单元116。SAO标志设置单元111使用解块后的像素值以片段为单位设置指示各分量的自适应偏移滤波的开/关状态的SAO标志(slice_sample_adaptive_offset_flag)。SAO标志设置单元111将已经设置的SAO标志提供到类型设置单元112和语法写入单元121。
[0238]类型设置单元112使用解块后的像素值，以IXU为单位设置对于分量Y、Cb、Cr相同的滤波器的类型。例如，以LCU为单位，计算成本函数值，设置成本函数值最小的LCU的最佳类型。在这种情形下，使用所有分量的信号，但所使用的信号不受限制，并且例如，可只使用亮度信号。类型设置单元112将指示类型的信息提供到偏移设置单元113和语法写入单元121。类型设置单元112还将各分量的SAO标志提供到偏移设置单元113。
[0239]偏移设置单元113使用解块后的像素值，以IXU为单位设置各分量Y、Cb、Cr中独立的偏移(系数)。在这种情形下，例如，使用各分量的信号(解块后的像素值)以LCU为单位计算成本函数值，并且设置成本函数值最小的LCU的最佳偏移。
[0240]偏移设置单兀113向滤波处理单兀116提供各分量的偏移和SAO标志以及各分量相同的类型。偏移设置单元113还将偏移提供到SAO控制信息设置单元114。
[0241]SAO控制信息设置单元114针对各分量将偏移设置单元113给出的偏移写入偏移缓冲器115。SAO控制信息设置单元114参考写入偏移缓冲器115的信息，并且确定偏移设置单元113给出的偏移是否匹配与当前正在处理的当前IXU的左侧邻近的左侧IXU的偏移。当确定偏移设置单元113给出的偏移匹配与当前正在处理的当前LCU的左侧邻近的左侧IXU的偏移时，SAO控制信息设置单兀114设置sao_merge_left_flag,并且将已经设置的sao_merge_left_flag作为SAO控制信息提供到语法写入单元121。
[0242]另外，SAO控制信息设置单元114确定偏移设置单元113给出的偏移是否匹配与当前IXU的上侧邻近的上侧IXU的偏移。当确定偏移设置单元113给出的偏移匹配与当前IXU的上侧邻近的上侧IXU的偏移时，SAO控制信息设置单元114设置Sa0_merge_t0p_flag,并且将已经设置的sao_merge_top_flag作为SAO控制信息提供到语法写入单元121。
[0243]当偏移设置单元113给出的偏移既不匹配左侧IXU又不匹配上侧IXU时，SAO控制信息设置单元114只将偏移作为SAO控制信息提供到语法写入单元121。更具体地，sao_merge_left_flag是指示与左侧LCU相同的偏移的标志，sao_merge_top_flag是指示与上侧LCU相同的偏移的标志。当设置了这些标志时，发送已经设置的标志来取代偏移。在这种情况下，已经说明了只基于偏移进行确定的示例。替代地，偏移设置单元113可不仅提供类型而且提供偏移，并且可基于类型和偏移进行确定。
[0244]偏移缓冲器115保持与当前IXU邻近的IXU的偏移。偏移缓冲器115可至少保持当前IXU的左侧IXU和上侧IXU的偏移。
[0245]滤波处理单元116基于偏移设置单元113给出的偏移信息、SAO标志和类型信息，对解块滤波器31给出的各分量的解块后的像素值针对各LCU执行自适应偏移滤波处理。滤波处理单元116将已经经受偏移处理的像素值提供到图像缓冲器117。
[0246]图像缓冲器117暂时存储已经经受滤波处理单元116进行的偏移处理的像素值，并且在预定定时将像素值提供到自适应环路滤波器42。
[0247]语法写入单元121将SAO标志设置单元111给出的SAO标志写入各片段的编码流的头部。语法写入单元121针对各LCU将类型设置单元112给出对各分量相同的类型和SAO控制信息设置单元114给出的各分量的偏移或合并标志写入编码流的头部。
[0248][编码侧的自适应偏移滤波处理]
[0249]随后，将参考图10的流程图说明图9的自适应偏移滤波器41执行的自适应偏移滤波处理。应该注意，自适应偏移滤波处理是图2的步骤S23中的处理。
[0250]解块滤波器31给出的解块后的像素值被输入到SAO标志设置单元111、类型设置单元112、偏移设置单元113和滤波处理单元116。在步骤Slll中，SAO标志设置单元111使用解块后的像素值以片段为单位设置指示各分量的自适应偏移滤波的开/关状态的SAO标志(slice_sample_adaptive_offset_flag)。SAO 标志设置单元 111 将已经设置的 SAO标志提供到类型设置单元112和语法写入单元121。
[0251]在步骤S112中，类型设置单元112设置分量ID(cIdx) =0。在这种情况下，cldx=O指示Y (亮度信号)，Cldx = I指示Cb (色差信号)，Cldx = 2指示Cr (色差信号)。
[0252]在步骤S113 中，类型设置单兀 112 确定 slice_sample_adaptive_offset_flag[0或I或2] = I是否成立。更具体地，在步骤S113中，确定是否将要应用Y、Cb、Cr中的至少一个的自适应偏移滤波。
[0253]当确定slice_sample_adaptive_offset_flag[0 或 I 或 2] = I 成立时，更具体地，当在步骤SI 13中确定要应用Y、Cb、Cr中的至少一个的自适应偏移滤波时，随后执行步骤SI 14中的处理。
[0254]在步骤S114中，类型设置单元112使用解块后的像素值以IXU为单位设置对于分量Y、Cb、Cr相同的滤波的类型(sa0_type)。类型设置单元112将指示类型的信息提供到语法写入单元121，此后，随后执行步骤S115中的处理。
[0255]与此相关，语法写入单元121将sa0_type写入语法，将它提供到累积缓冲器27，并且在随后说明的图12的步骤S143中发送它。
[0256]当确定slice_sample_adaptive_offset_flag[0 和 I 和 2] = O 成立时，更具体地，当在步骤SI 12中确定全部Y、Cb、Cr的自适应偏移滤波都不被应用时，跳过步骤SI 14中的处理并且随后执行步骤S115。
[0257]在步骤SI 15中，类型设置单元112确定cldx〈3是否成立。当在步骤SI 15中确定cldx<3成立时，随后执行步骤SI 16中的处理。
[0258]在步骤S116 中，类型设置单兀 112 确定 slice_sample_adaptive_offset_flag[cldx] = I 是否成立。
[0259]当步骤S116 中确定 slice_sample_adaptive_offset_flag[cIdx] = I 成立(更具体地，针对cldx执行自适应偏移滤波)时，随后执行步骤S117中的处理。在这种情形下，类型设置单元112将步骤S114中设置的滤波的类型和步骤Slll中设置的对应cldx的SAO标志(slice_sample_adaptive_offset_flag)提供到偏移设置单元 113。
[0260]在步骤SI 17中，偏移设置单元113和SAO控制信息设置单元114针对cldx (=O,(更具体地，Y亮度信号))设置SAO控制信息。随后，将参考图11说明这个SAO控制信息设置处理。用这个处理，偏移或合并标志被设置为SAO控制信息，并且已经设置的SAO控制信息被提供到语法写入单元121。在这种情况下，已经设置的偏移被提供到滤波处理单元116。
[0261]与此相关，语法写入单元121将针对cldx的SAO控制信息写入语法，将SAO控制信息提供到累积缓冲器27，并且在随后说明的图12的步骤S146中发送SAO控制信息。
[0262]在步骤S117之后，随后执行步骤S118中的处理。在步骤S116中，确定slice_sample_adaptive_offset_f lag [cldx] = 0成立(更具体地，不针对cldx执行自适应偏移滤波)，跳过步骤SI 17中的处理并且随后执行步骤SI 18。
[0263]在步骤S118中，滤波处理单元116对解块滤波器31给出的解块后的像素执行自适应滤波处理。在这种情形下，基于已经在步骤S114中设置的滤波的类型、已经在步骤Slll中设置的对应于cldx的SAO标志和另外已经在步骤S117中设置的偏移，执行自适应滤波处理。
[0264]滤波处理单元116将已经经受偏移处理的像素值提供到图像缓冲器117。图像缓冲器117暂时存储已经经受滤波处理单元116进行的偏移处理的像素值，并且在预定定时将像素值提供到自适应环路滤波器42。
[0265]在步骤SI 19中，类型设置单元112执行cldx++(更具体地，cldx = I (这意味着Cb色差信号))，再次返回执行步骤S115中的处理。当在步骤S115中确定cldx〈3不成立时，随后执行步骤S120中的处理。
[0266]在步骤S120中，类型设置单元112确定当前正在处理的当前IXU是否是最后的IXU。当在步骤S120中确定当前正在处理的当前IXU不是最后的IXU时，随后执行步骤S121中的处理。在步骤S121中，当前LCU变成后续的LCU，并且再次返回执行步骤SI 12中的处理。
[0267]当在步骤S120中确定当前正在处理的当前IXU是最后的IXU时，终止自适应偏移滤波。
[0268][SA0控制信息设置处理]
[0269]随后，将参考图11的流程图说明图10的步骤S117中的SAO控制信息设置处理。
[0270]在步骤S131中,偏移设置单元113使用解块后的像素值，以IXU为单位设置cldx的各分量中独立的偏移(系数)，并且将已经设置的偏移提供到滤波处理单元116和SAO控制信息设置单元114。
[0271]在步骤S132中，SAO控制信息设置单元114针对各分量Y、Cb、Cr将偏移设置单元113给出的偏移写入偏移缓冲器115。
[0272]在步骤S133中，SAO控制信息设置单元114确定当前正在处理的当前IXU是否可与邻近当前IXU的左方的左侧IXU合并。更具体地，SAO控制信息设置单元114参考写入偏移缓冲器115的信息，并且确定偏移设置单元113给出的当前LCU的偏移是否与左侧LCU的偏移一致。
[0273]当在步骤S133中确定偏移设置单元113给出的当前IXU的偏移与左侧IXU的偏移一致，并且确定当前IXU能够与左侧IXU合并时，随后执行步骤S134中的处理。
[0274]在步骤S134中，SAO控制信息设置单兀114设置sao_merge_left_f lag,并且将已经设置的sao_merge_left_flag作为SAO控制信息提供到语法写入单元121。
[0275]另一方面，当在步骤S133中确定当前LCU不能够与左侧LCU合并时，随后执行步骤S135中的处理。在步骤S135中，SAO控制信息设置单元114确定当前正在处理的当前IXU是否可与邻近当前IXU的上侧的上侧IXU合并。更具体地，SAO控制信息设置单元114参考写入偏移缓冲器115的信息，并且确定偏移设置单元113给出的当前LCU的偏移是否与上侧IXU的偏移一致。
[0276]当在步骤S135中确定偏移设置单元113给出的当前IXU的偏移与上侧IXU的偏移一致，并且确定当前IXU能够与上侧IXU合并时，随后执行步骤S136中的处理。
[0277]在步骤S136中，SAO控制信息设置单兀114设置sao_merge_top_f lag,并且将已经设置的sao_merge_top_flag作为SAO控制信息提供到语法写入单元121。
[0278]另一方面，当在步骤S135中确定当前LCU不能够与上侧LCU合并时，随后执行步骤S137中的处理。
[0279]在步骤S137中，SAO控制信息设置单元114将偏移作为SAO控制信息提供到语法写入单元121。
[0280][各IXU的SAO控制信息发送处理]
[0281 ] 随后，将参考图12的流程图说明图8中示出的传统示例的针对各LCU的SAO控制信息发送处理。这个处理对应于参考图10说明的自适应偏移滤波处理，例如，在图2的步骤S26的编码处理中执行的处理。
[0282]在步骤141中，语法写入单元121设置分量ID (cldx) = O。
[0283]在步骤S142 中，语法写入单兀 121 确定 slice_sample_adaptive_offset_flag[0或I或2] = I是否成立。更具体地，确定是否应用Y、Cb、Cr中的至少一个的自适应偏移滤波。
[0284]当在步骤S142 中确定 slice_sample_adaptive_offset_flag[0 或 I 或 2] = I 成立时，随后执行步骤S143中的处理。在步骤S143中，语法写入单元121将指示在图10的步骤S114中设置和提供的滤波的类型(sa0_type)的信息写入语法，将该信息提供到累积缓冲器27并且发送该信息。以PPS (图片参数集)或片段为单位发送指示类型的信息。
[0285]在步骤S142 中，当确定 slice_sample_adaptive_offset_flag[0 或 I 或 2] = O成立时，跳过步骤S143，随后执行步骤S144中的处理。
[0286]在步骤S144中，语法写入单元121确定cldx〈3是否成立。当在步骤S144中确定cldx<3成立时，随后执行步骤S145中的处理。
[0287]在步骤S145 中，语法写入单兀 121 确定 slice_sample_adaptive_offset_flag[cldx] = I 是否成立。当在步骤 S145 中确定 slice_sample_adaptive_offset_flag [cldx] = I成立(更具体地，当要针对cldx执行自适应偏移滤波)时，随后执行步骤S146中的处理。
[0288]在步骤S146中，语法写入单元121将在图10的步骤S117中设置和提供的针对cldx ( = O (是Y亮度信号))的SAO控制信息(除了 sa0_type)写入语法，将它提供到累积缓冲器27并且发送它。
[0289]在步骤S147中，语法写入单元121执行cldx++(更具体地,cldx = I (是Cr色差信号))，再次返回执行步骤S144中的处理。当在步骤S144中确定cldx〈3不成立时，随后执行步骤S148中的处理。
[0290]在步骤S148中，语法写入单元121确定当前正在处理的当前IXU是否是最后的IXU。当在步骤S148中确定当前正在处理的当前IXU不是最后的IXU时，随后执行步骤S149中的处理。在步骤S149中，当前IXU变成后续的IXU，再次返回执行步骤S141中的处理。
[0291]在步骤S148中，当确定当前正在处理的当前IXU是最后的IXU时，终止针对各IXU的SAO控制信息发送处理。
[0292]如上所述，使指示滤波的类型的信息在分量Y、Cb、Cr之间相同，更具体地，使指示滤波的类型的信息在亮度和色差的分量之间相同并且被发送，使得只在各分量之间独立地发送系数(偏移)，由此可减少编码量。
[0293][自适应偏移滤波器的另一个构造示例]
[0294]图13是示出图1的图像编码装置的自适应偏移滤波器和无损编码单元的另一个构造示例的框图。
[0295]在图13的示例中，自适应偏移滤波器41与图9的自适应偏移滤波器41的相同之处在于，它包括SAO标志设置单兀111、偏移设置单兀113、SA0控制信息设置单兀114、偏移缓冲器115、滤波处理单元116和图像缓冲器117。
[0296]自适应偏移滤波器41与图9的自适应偏移滤波器41的不同之处在于，类型设置单元112被类型设置单元141替换。
[0297]图13的无损编码单元26与图9的无损编码单元26的不同之处在于，语法写入单元121被语法写入单元161替换。
[0298]更具体地，图13的类型设置单元141包括:Y类型设置单元151和Cm类型设置单元152，Y类型设置单元151被构造成设置亮度信号中独立的滤波类型，Cm类型设置单元152被构造成设置对Cb和Cr的色差信号相同的滤波类型。
[0299]例如，Y类型设置单元151使用亮度信号计算各LCU的成本函数值，并且设置成本函数值最低的亮度信号的LCU的最佳类型。例如，Cm类型设置单元152使用Cb和Cr中的至少一个计算各LCU的成本函数值，并且设置成本函数值最低的色差信号的LCU的最佳类型。
[0300]如同图9的语法写入单元121，语法写入单元161将SAO标志设置单元111给出的SAO标志写入各片段的编码流的头部。如同语法写入单元121，语法写入单元161将SAO控制信息设置单元114给出的各分量的偏移或合并标志写入编码流的头部。
[0301]不同于语法写入单元121，语法写入单元161针对各LCU将类型设置单元112给出的指示亮度的Y类型的类型信息和指示对于色差分量相同的Cm类型的类型信息写入编码流的头部。
[0302][编码侧的自适应偏移滤波处理]
[0303]随后，将参考图14的流程图说明图13的自适应偏移滤波器41执行的自适应偏移滤波处理。应该注意，自适应偏移滤波处理是图2的步骤S23中的处理。
[0304]在步骤S161中，SAO标志设置单元111使用解块后的像素值以片段为单位设置指不各分量的自适应偏移滤波的开/关状态的SAO标志。SAO标志设置单兀111将已经设置的 SAO 标志(slice_sample_adaptive_offset_f lag)提供到 Y 类型设置单兀 151、Cm 类型设置单元152和语法写入单元161。
[0305]在步骤S162中，Y类型设置单元151和Cm类型设置单元152设置分量ID (cldx)=O。
[0306]在步骤S163 中，Y 类型设置单兀 151 确定 slice_sample_adaptive_offset_flag[0] = I是否成立。更具体地，在步骤S163中，确定是否要应用Y的自适应偏移滤波。
[0307]当确定slice_sample_adaptive_offset_flag[0] = I 成立时，更具体地，当在步骤S163中确定要应用Y的自适应偏移滤波器时，随后执行步骤S164中的处理。
[0308]在步骤S164中，Y类型设置单元151使用解块后的像素值以IXU为单位设置Y的滤波的类型(sa0_type_Y)。Y类型设置单元151将指示Y的类型的信息提供到语法写入单元161，此后，随后执行步骤S165中的处理。
[0309]与此相关，语法写入单元161将Sao_type_Y写入语法，并且将它提供到累积缓冲器27并且在随后说明的图15的步骤S183中发送它。
[0310]当在步骤S163 中确定 slice_sample_adaptive_offset_flag[0] = O 成立时，跳过步骤S164中的处理并且随后执行步骤S165。
[0311]在步骤S165 中，Cm 类型设置单兀 152 确定 slice_sample_adaptive_offset_flag [I或2] = I是否成立。更具体地，在步骤S165中，确定是否要应用Cr或Cb的自适应偏移滤波。
[0312]当确定slice_sample_adaptive_offset_flag[l 或 2] = I 成立时，更具体地，当在步骤S165中确定要应用Cm的自适应偏移滤波时，随后执行步骤S166中的处理。
[0313]在步骤S166中，Cm类型设置单元152使用解块后的像素值以IXU为单位设置对于Cb和Cr相同的滤波的类型(sa0_type_Cm)。Y类型设置单元151将指示Cm的类型的信息提供到语法写入单元161，此后，随后执行步骤S167中的处理。
[0314]与此相关，语法写入单元161将sa0_type_Cm写入语法，将它提供到累积缓冲器27并且在随后说明的图15的步骤S185中发送它。
[0315]当在步骤S165 中确定 slice_sample_adaptive_offset_flag[l 和 2] = O 成立时，跳过步骤S166中的处理并且随后执行步骤S167。
[0316]在随后的S167至S173中，执行与图10的步骤SI 15至S121基本上相同的处理，因此，由于只是重复而省略关于其的说明。
[0317][各IXU的SAO控制信息发送处理]
[0318]随后，将参考图15的流程图说明具有图8中示出的传统示例的针对各LCU的SAO控制信息发送处理。这个处理对应于参考图14说明的自适应偏移滤波处理，并且例如是图2的步骤S26的编码处理中执行的处理。
[0319]在步骤181中，语法写入单元161设置分量ID(cIdx) = O。
[0320]在步骤S182 中，语法写入单兀 161 确定 slice_sample_adaptive_offset_f lag[0]=I是否成立。更具体地，确定是否应用Y的自适应偏移滤波器。
[0321]当在步骤S182 中确定 slice_sample_adaptive_offset_flag[0] = I 成立时，随后执行步骤S183中的处理。在步骤S183中，语法写入单元161将图14的步骤S164中提供的指示滤波的类型(sa0_type_Y)的信息写入语法，将信息提供到累积缓冲器27并且发送信息。
[0322]当在步骤S182 中确定 slice_sample_adaptive_offset_flag[0] = O 成立时，跳过步骤S183中的处并且随后执行步骤S184。
[0323]在步骤S184 中，语法写入单兀 161 确定 slice_sample_adaptive_offset_flag[l或2] = I是否成立。更具体地，确定是否应用Cm的自适应偏移滤波。
[0324]当在步骤S184 中确定 slice_sample_adaptive_offset_flag[l 或 2] = I 成立时，随后执行步骤S185中的处理。在步骤S185中，语法写入单元161将图14的步骤S166中提供的指示滤波的类型(sa0_type_Cm)的信息写入语法，将信息提供到累积缓冲器27并且发送信息。
[0325]当在步骤S184 中确定 slice_sample_adaptive_offset_flag[l 和 2] = O 成立时，跳过步骤S185并且随后执行步骤S186中的处理。
[0326]在随后的S186至S191中，执行与图14的步骤S144至S149基本上相同的处理，因此，省略关于其的说明，因为只是重复。
[0327]如上所述，可以使关于滤波的类型信息只在色差分量Cb和Cr之间相同，在这种情况下，同样可减少编码量。
[0328]<4.第五实施例>
[0329][自适应偏移滤波器的构造示例]
[0330]图16是示出图3的图像解码装置中的自适应偏移滤波器和无损解码单元的构造示例的框图。如图16中所示的构造示例对应于图9的自适应偏移滤波器和无损编码单元。
[0331]在图16的示例中，无损解码单元62至少包括语法获取单元211。
[0332]自适应偏移滤波器81包括SAO标志接收单元221、类型接收单元222、合并标志接收单元223、偏移缓冲器224、偏移接收单元225、滤波处理单元226和图像缓冲器227。
[0333]语法获取单元211从语法中获得编码流的头部。然后，语法获取单元211将所获得的语法中的自适应偏移参数提供到SAO标志接收单元221、类型接收单元222、合并标志接收单元223和偏移接收单元225。
[0334]更具体地，语法获取单元211将作为自适应偏移参数之一的SAO标志(slice_sample_adaptive_offset_flag)提供到SAO标志接收单元221。语法获取单元211将作为自适应偏移参数之一的滤波的类型信息提供到类型接收单元222。语法获取单元211将作为自适应偏移参数之一的合并标志(sao_merge_left_flag或sao_merge_top_flag)提供到合并标志接收单元223。语法获取单元211将作为自适应偏移参数之一的偏移(系数)提供到偏移接收单元225。
[0335]应该注意，针对各片段设置和发送自适应偏移参数中的SAO标志。针对各LCU设置和发送自适应偏移参数中的类型信息、合并标志、偏移等。例如，以PPS(图片参数集)或片段为单位发送类型信息。
[0336]SAO标志接收单元221向滤波处理单元226提供从语法获取单元211提供的指示各分量的开/关状态的SAO标志。类型接收单元222向滤波处理单元226提供从语法获取单元211提供的对分量相同的滤波类型信息。合并标志接收单元223向偏移缓冲器224提供从语法获取单元211提供的合并标志。偏移接收单元225将从语法获取单元211获得的偏移提供到偏移缓冲器224和滤波处理单元226。
[0337]偏移缓冲器224保持与当前IXU邻近的IXU的偏移。偏移缓冲器224可至少存储当前IXU的左侧IXU和上侧IXU的偏移。当偏移缓冲器224从合并标志接收单元223接收当前LCU的合并标志时，偏移缓冲器224读取与合并标志所指示的邻近LCU (左侧或上侧)相关联地存储的偏移，并且将它提供到滤波处理单元226。然后，偏移缓冲器224把读取的偏移与当前LCU相关联地存储。当偏移缓冲器224从偏移接收单元225接收当前LCU的偏移时，偏移缓冲器224把接收的偏移与当前LCU相关联地存储。
[0338]滤波处理单元226参考SAO标志接收单元221、类型接收单元222、偏移缓冲器224和偏移接收单元225提供的信息，并且对来自解块滤波器66的解块后的像素值执行滤波处理。
[0339]更具体地，滤波处理单元226参考SAO标志接收单元221给出的SAO标志、从类型接收单元222提供的在分量之间相同的滤波类型、偏移缓冲器224或偏移接收单元225提供的偏移。
[0340]滤波处理单元226将已经经受偏移处理的像素提供到图像缓冲器227。
[0341]以与图10的图像缓冲器117基本上相同的方式构造图像缓冲器227。更具体地，图像缓冲器227暂时存储已经经受滤波处理单元226进行的偏移处理的像素值，并且在预定定时将像素值提供到自适应环路滤波器82。
[0342][解码侧的自适应偏移滤波处理]
[0343]随后，将参考图17的流程图说明图16的自适应偏移滤波器81执行的自适应偏移滤波处理。应该注意，自适应偏移滤波处理是图4的步骤S59中的处理。
[0344]当编码流在图4的步骤S52中被解码时，语法获取单元211从编码流的头部中读取语法，并且其中，语法获取单元211将自适应偏移参数提供到自适应偏移滤波器81的各单元。
[0345]在步骤S211中，SAO标志接收单元221接收从语法获取单元211提供的自适应偏移参数的 SAO 标志(slice_sample_adaptive_offset_flag)。SAO 标志接收单兀 221 将接收的SAO标志提供到滤波处理单元226。
[0346]在步骤S212中，滤波处理单元226设置分量ID (cldx) = O。
[0347]在步骤S213 中，滤波处理单兀 226 确定 slice_sample_adaptive_offset_flag[0或I或2] = I是否成立。更具体地，在步骤S213中，确定是否应用Y、Cb、Cr中的至少一个的自适应偏移滤波。
[0348]当在步骤S213 中确定 slice_sample_adaptive_offset_f lag[0 或 I 或 2] = I成立时，更具体地，当确定应用Y、Cb、Cr中的至少一个的自适应偏移滤波时，随后执行步骤S214中的处理。
[0349]在步骤S214中，滤波处理单元226通过类型接收单元222接收由语法获取单元211给出的在分量之间相同的滤波类型信息(sa0_type)。
[0350]当在确定slice_sample_adaptive_offset_flag[0 和 I 和 2] = O 成立时，更具体地，当在步骤S213中确定全部Y、Cb、Cr的自适应偏移滤波都不被应用时，跳过步骤S214中的处理，随后执行步骤S215。
[0351]在步骤S215中，滤波处理单元226确定cldx〈3是否成立。当在步骤S215中确定cldx<3成立时，随后执行步骤S216中的处理。
[0352]在步骤S216 中，滤波处理单兀 226 确定 slice_sample_adaptive_offset_flag[cldx] = I 是否成立。
[0353]当在步骤S216 中确定 slice_sample_adaptive_offset_flag[cIdx] = I 成立(更具体地，对cldx执行自适应偏移滤波)时，随后执行步骤S217中的处理。
[0354]在步骤S217中，滤波处理单元226接收针对cldx ( = O)的SAO控制信息。随后，将参考图18说明这个SAO控制信息接收处理，并且用这个处理，接收合并标志或偏移，并且与接收的合并标志一起读取的偏移或者接收的偏移被提供到滤波处理单元226。
[0355]在步骤S217之后，随后执行步骤S218中的处理。当在步骤S216中确定slice_sample_adaptive_offset_f lag [cldx] = 0成立(更具体地，不针对cldx执行自适应偏移滤波)时，跳过步骤S217中的处理，随后执行步骤S218。
[0356]在步骤S218中，滤波处理单元226对解块滤波器66提供的已经经受解块处理的像素执行自适应滤波处理。在这种情形下，基于已经在步骤S214中接收的滤波的类型、步骤S211中接收的对应于cldx的SAO标志和另外在步骤S217中获得的偏移，执行自适应滤波处理。
[0357]滤波处理单元226将已经经受偏移处理的像素值提供到图像缓冲器227。图像缓冲器227暂时存储已经经受滤波处理单元226进行的偏移处理的像素值，并且在预定定时将像素值提供到自适应环路滤波器42。
[0358]在步骤S219中，滤波处理单元226执行cldx++(更具体地，cldx = I)，并且再次返回执行步骤S215中的处理。当在步骤S215中确定cldx〈3不成立时，随后执行步骤S220中的处理。
[0359]在步骤S220中，滤波处理单元226确定当前正在处理的当前IXU是否是最后的IXU。当在步骤S220中确定当前正在处理的当前IXU不是最后的IXU时，随后执行步骤S221中的处理。在步骤S221中，当前LCU变成后续的LCU，并且再次返回执行步骤S212中的处理。
[0360]当在步骤S220中确定当前正在处理的当前IXU是最后的IXU时，终止自适应偏移滤波处理。
[0361 ] [SA0控制信息设置处理]
[0362]随后，将参考图18的流程图说明图17的步骤S217中的SAO控制信息接收处理。
[0363]在步骤S231中，合并标志接收单元223接收合并标志。在步骤S232中，合并标志接收单元223确定sao_merge_left_flag是否是I。当在步骤S232中确定sao_merge_left_flag是I时，随后执行步骤S233中的处理。
[0364]在步骤S233中，合并标志接收单元223控制偏移缓冲器224，并且读取左侧IXU的偏移，偏移缓冲器224将已经读取的左侧IXU的偏移提供到滤波处理单元226。
[0365]另一方面，当步骤S232中确定sao_merge_left_flag是O时，随后执行步骤S234中的处理。在步骤S234中，合并标志接收单元223确定sao_merge_top_flag是否是I。当步骤S234中确定sao_merge_top_flag是I时，随后执行步骤S235中的处理。
[0366]在步骤S235中，合并标志接收单元223控制偏移缓冲器224，读取上侧IXU的偏移，偏移缓冲器224将已经读取的上侧IXU的偏移提供到滤波处理单元226。
[0367]当在步骤S234中确定sao_merge_top_f lag是O时，随后执行步骤S236中的处理。在步骤S236中，偏移接收单元225从语法获取单元211接收偏移，并且将偏移提供到滤波处理单元226。偏移接收单元225还将接收的偏移提供到偏移缓冲器224。
[0368]在步骤S237中，偏移缓冲器224将在步骤S233或S235中读取的偏移或来自偏移接收单元225的偏移作为当前LCU的偏移写入缓冲器。
[0369]如上所述，指示滤波的类型的信息在使得其在分量Y、Cb、Cr之间相同时被发送，更具体地，指示滤波的类型的信息在使得其在亮度和色差的分量之间相同时被发送，因此，只有系数(偏移)在分量之间独立地发送，使得可减少编码量。
[0370][自适应偏移滤波器的另一个构造示例]
[0371]图19是示出图3的图像解码装置中的自适应偏移滤波器和无损解码单元的构造示例的框图。如图19中所示的构造示例与图13的自适应偏移滤波器和无损编码单元对应。
[0372]在图19的示例中，无损解码单元62与图16的无损解码单元62的不同之处在于，语法获取单元211和语法获取单元241进行被调换。
[0373]自适应偏移滤波器81与图16的自适应偏移滤波器81的相同之处在于，自适应偏移滤波器81包括SAO标志接收单元221、合并标志接收单元223、偏移缓冲器224、偏移接收单元225、滤波处理单元226和图像缓冲器227。
[0374]自适应偏移滤波器81与图16的自适应偏移滤波器81的不同之处在于，类型接收单元222被由Y类型接收单元261和Cm类型接收单元262组成的类型接收单元251替换。
[0375]更具体地，在图16的示例中，关于Y、Cb、Cr之间相同的滤波的类型信息被作为自适应偏移参数之一发送。相比之下，在图19的示例中，发送关于Y的滤波的类型信息和关于Cb和Cr之间相同的滤波的类型信息。
[0376]如同图16的语法获取单元211，语法获取单元241获得SAO标志(slice_sample_adaptive_offset_flag),并且将它提供到SAO标志接收单元221。如同图16的语法获取单元 211,语法获取单元 241 获得合并标志(sao_merge_left_flag 或 sao_merge_top_flag),并且将它提供到合并标志接收单元223。如同图16的语法获取单元211，语法获取单元241获得偏移，并且将它提供到偏移接收单元225。
[0377]另一方面，不同于图16的语法获取单元211，语法获取单元241获得关于Cb和Cr之间相同的滤波的类型信息以及关于Y的滤波的类型信息，并且将它们提供到Y类型接收单元261和Cm类型接收单元262。
[0378]Y类型接收单元261将语法获取单元211提供的关于Y的滤波类型信息提供到滤波处理单元226。Cm类型接收单元262将语法获取单元211提供的Cb和Cr之间相同的Cm的滤波类型信息提供到滤波处理单元226。
[0379][解码侧的自适应偏移滤波处理]
[0380]随后，将参考图20的流程图说明图19的自适应偏移滤波器81执行的自适应偏移滤波处理。应该注意，这个自适应偏移滤波处理是图4的步骤S59中的处理。
[0381]在步骤S261中，SAO标志接收单元221接收语法获取单元211提供的自适应偏移参数的 SAO 标志(slice_sample_adaptive_offset_flag)。SAO 标志接收单兀 221 将接收的SAO标志提供到滤波处理单元226。
[0382]在步骤S262中，滤波处理单元226设置分量ID (cldx) = O。在步骤S263中，滤波处理单兀226确定slice_sample_adaptive_ofTset_flag[0] = I是否成立。更具体地，在步骤S263中，确定是否应用Y的自适应偏移滤波。
[0383]当确定slice_sample_adaptive_offset_flag[0] = I 成立时，更具体地，在步骤S263中确定要应用Y的自适应偏移滤波时，随后执行步骤S264中的处理。
[0384]在步骤S264中，滤波处理单元226通过Y类型接收单元261接收语法获取单元241给出的Y的滤波类型信息(sao_type_Y)。
[0385]另一方面，在步骤S263 中，当确定 slice_sample_adaptive_offset_flag[0] = O成立时，更具体地，确定不应用Y的自适应偏移滤波时，跳过步骤S264中的处理并且随后执行步骤S265。
[0386]在步骤S265 中，滤波处理单兀 226 确定 slice_sample_adaptive_offset_flag[l或2] = I是否成立。在步骤S265中，确定是否应用Cb或Cr的自适应偏移滤波。
[0387]当确定slice_sample_adaptive_offset_flag[l 或 2] = I 成立时，更具体地，当在步骤S265中确定要应用Cb或Cr的自适应偏移滤波时，随后执行步骤S266中的处理。
[0388]在步骤S266中，滤波处理单元226通过Cm类型接收单元262接收语法获取单元241给出的Cm的滤波类型信息(sao_type_Cm)。
[0389]当确定slice_sample_adaptive_offset_flag[l 和 2] = O 成立时，更具体地，当在步骤S265中确定不应用Cb和Cr的自适应偏移滤波时，跳过步骤S266中的处理并且随后执行步骤S267。
[0390]后续的S267至S273中的处理与图17的步骤S215至S221是基本上相同的处理，因此，省略关于其的说明，因为只是重复。
[0391]如上所述，可以使关于滤波的类型信息只在色差分量Cb和Cr之间相同。在这种情况下，可减少编码量。
[0392]在以上说明中，已经说明了使类型在亮度和色度的所有分量之间相同的示例以及使类型在色差的分量之间相同的示例。可供替换地，采用以上方式的两种模式都可被提供，并且可以选择性地使用这些模式。
[0393]更具体地，使类型在亮度和色度的所有分量之间相同的模式被定义为全相同模式，使类型只在色差的分量之间相同的模式被定义为色差相同模式，并且可提供这两种类型的模式。在这种情况下，用于识别编码侧使用哪种模式的模式识别信息可被发送到解码侧。
[0394]在这种情况下，解码侧接收已经被发送的模式识别信息，使用接收的模式识别信息设置模式，并且执行自适应偏移滤波。
[0395]如上所述，关于滤波的类型信息在亮度信号和色差信号的分量之间相同并且被发送。因此，可减少编码量，并且可提高编码效率。
[0396]在以上说明中，颜色格式是4:2:0。可供选择地，本技术可应用于诸如4:2:2和4:4:4的任何其它颜色格式。
[0397]例如，当使用choma_format_idc 时:在 4:2:0 (choma_format_idc = = I)的情况下，可使SAO类型在所有分量之间相同^4:4:4(choma_format_idc == 3)的情况下,SAO类型可以不相同；在4:2:2 (choma_format_idc = = 2)的情况下，SAO类型可以只在Cb/Cr之间相同。更具体地，根据颜色格式，可确定以上说明的全相同模式或色差相同模式。
[0398]在以上说明中，已经说明了亮度和色差是Y、Cb、Cr的颜色空间的示例。可供选择地，本技术还可应用于其它颜色空间，例如亮度和色差是Y、U、V。
[0399]在以上说明中，HEVC方法被用作编码方法的基础。然而，本公开不限于此。可以应用至少包括自适应偏移滤波作为内环路滤波(in-loop filter)的其它编码方法/解码方法。
[0400]另外，例如，本公开可应用于用于经由网络介质(诸如，卫星广播、有线电视、互联网和蜂窝电话)接收与HEVC方法等类似的通过正交变换(诸如，离散余弦变换和运动补偿)进行压缩的图像信息(比特流)的图像编码装置和图像解码装置。本公开可应用于用于在记录介质(诸如，光盘、磁盘和闪存)上进行处理的图像编码装置和图像解码装置。
[0401]〈5.第三实施例〉
[0402][多视点图像编码/多视点图像解码的应用]
[0403]以上的一系列处理可应用于多视点图像编码/多视点图像解码。图21示出多视点图像编码方法的示例。
[0404]如图21中所示，多视点图像包括多个视点的图像，多个视点中的预定视点的图像被指定为基础视点图像。除了基础视点图像之外的视点的图像被当作非基础视点图像。
[0405]在执行如图21中所示的多视点图像编码的情况下，可以在各视点(同一视点)设置自适应偏移滤波参数(以上说明的SAO标志、滤波的类型信息、偏移、模式识别信息等)。在各视点(不同视点)，可共享在其它视点下设置的自适应偏移滤波参数。
[0406]在这种情况下，在至少单个非基础视点下使用在基础视点下设置的自适应偏移滤波参数。可供选择地，例如，在非基础视点(View_id= i)下设置的自适应偏移滤波参数被用于基础视点和非基础视点(view_id = j)中的至少一个。
[0407]因此，可减少编码量。
[0408][多视点图像编码装置]
[0409]图22是示出执行以上说明的多视点图像编码的多视点图像编码装置的图。如图22中所示，多视点图像编码装置600包括编码单元601、编码单元602和多路复用单元603。
[0410]编码单元601编码基础视点图像，产生基础视点图像编码流。编码单元602编码非基础视点图像，产生非基础视点图像编码流。多路复用单元603对编码单元601产生的基础视点图像编码流和编码单元602产生的非基础视点图像编码流进行多路复用，产生多视点图像编码流。
[0411]图像编码装置11(图1)可应用于多视点图像编码装置600的编码单元601和编码单元602。在这种情况下，多视点图像编码装置600设置并且发送由编码单元601设置的自适应偏移滤波参数和由编码单元602设置的自适应偏移滤波参数。
[0412]可设置和发送如上所述由编码单元601设置的自适应偏移滤波参数，使得自适应偏移滤波参数可被编码单元601和编码单元602共享和使用。相反，可设置和发送由编码单元602统一设置的自适应偏移滤波参数，使得自适应偏移滤波参数被编码单元601和编码单元602共享和使用。
[0413][多视点图像解码装置]
[0414]图23是示出执行以上说明的多视点图像解码的多视点图像解码装置的图。如图23中所示，多视点图像解码装置610包括解复用单元611、解码单元612和解码单元613。
[0415]解复用单元611将通过将基础视点图像编码流和非基础视点图像编码流多路复用而获得的多视点图像编码流解复用，并且提取基础视点图像编码流和非基础视点图像编码流。解码单元612解码由解复用单元611所提取的基础视点图像编码流，获得基础视点图像。解码单元613解码由解复用单元611所提取的非基础视点图像编码流，获得非基础视点图像。
[0416]图像解码装置51 (图3)可应用于多视点图像解码装置610的解码单元612和解码单元613。在这种情况下，多视点图像解码装置610使用由编码单元601设置并且经解码单元612解码的自适应偏移滤波参数和由编码单元602设置并且经解码单元613解码的自适应偏移滤波参数执行处理。
[0417]可设置和发送由编码单元601 (或编码单元602)设置的自适应偏移滤波参数，使得自适应偏移滤波参数被编码单元601和编码单元602共享和使用。在这种情况下，多视点图像解码装置610使用由编码单元601 (或编码单元602)设置并且经解码单元612 (或解码单元613)解码的自适应偏移滤波参数执行处理。
[0418]〈6.第四实施例〉
[0419][对于分层图像点编码/分层图像解码的应用]
[0420]以上一系列处理可应用于分层图像编码/分层图像解码。图24示出多视点图像编码方法的示例。
[0421]如图24中所示，分层图像包括多个分层(分辨率)的图像，多个分辨率中的预定分辨率的分层图像被指定为基础层图像。除了基础层图像之外的分层的图像被当作非基础层图像。
[0422]当执行如图24中所示的分层图像编码(空间可缩放性)时，可以在各层(同一层)中设置自适应偏移滤波参数。在各层(不同层)中，可以共享在其它层中设置的自适应偏移滤波参数。
[0423]在这种情况下，在基础层中设置的自适应偏移滤波参数用于至少单个非基础层。可供选择地，例如，在非基础层(layer_id= i)中设置的自适应偏移滤波参数用于基础层和非基础层(layer_id = j)中的至少一个。
[0424]因此，可减少编码量。
[0425][分层图像编码装置]
[0426]图25是示出执行以上说明的分层图像编码的分层图像编码装置的图。如图25中所示，分层图像编码装置620包括编码单元621、编码单元622和多路复用单元623。
[0427]编码单元621编码基础层图像，产生基础层图像编码流。编码单元622编码非基础层图像，产生非基础层图像编码流。多路复用单元623多路复用由编码单元621产生的基础层图像编码流和由编码单元622产生的非基础层图像编码流，产生分层图像编码流。
[0428]图像编码装置11 (图1)可应用于分层图像编码装置620的编码单元621和编码单元622。在这种情况下，分层图像编码装置620设置由编码单元621设置的识别信息和由编码单元622设置的自适应偏移滤波参数，并且发送自适应偏移滤波参数。
[0429]应该注意，可以采用这样的构造:如上所述由编码单元621设置的自适应偏移滤波参数被设置以便编码单元621和编码单元622共享和使用，并且被发送。相反，可以采用这样的构造:由编码单元622设置的自适应偏移滤波参数被设置以便编码单元621和编码单元622共享和使用并且被发送。
[0430][分层图像解码装置]
[0431]图26是示出执行以上说明的分层图像解码的分层图像解码装置的图。如图26中所示，分层图像解码装置630包括解复用单元631、解码单元632和解码单元633。
[0432]解复用单元631将通过多路复用基础层图像编码流和非基础层图像编码流而获得的多层图像编码流解复用，并且提取基础层图像编码流和非基础层图像编码流。解码单元632解码由解复用单元631所提取的基础层图像编码流，获得基础层图像。解码单元633解码由解复用单元631所提取的非基础层图像编码流，获得非基础层图像。
[0433]图像解码装置51 (图3)可应用于分层图像解码装置630的解码单元632和解码单元633。在这种情况下，分层图像解码装置630通过使用由编码单元621设置并且经解码单元632解码的自适应偏移滤波参数和由编码单元622设置并且经解码单元633解码的解码后的自适应偏移滤波参数执行处理。
[0434]应该注意，由上述编码单元621 (或编码单元622)设置的自适应偏移滤波参数可以被设置以便编码单元621和编码单元622共享和使用，并且被发送。在这种情况下，在分层图像解码装置630中，通过使用由编码单元621(或编码单元622)设置并且经解码单元632 (或解码单元633)解码的自适应偏移滤波参数执行处理。
[0435]<7.第五实施例>
[0436][计算机的构造]
[0437]以上的一系列处理可由硬件执行，或者可由软件执行。当这一系列处理由软件执行时，构成软件的程序被安装到计算机。这里，计算机包括并入专用硬件中的计算机和例如能够通过安装各种程序来执行各种功能的通用个人计算机。
[0438]图27是示出使用程序执行以上一系列处理的计算机的硬件的构造示例的框图。
[0439]在计算机800中，CPU (中央处理单元)801、R0M(只读存储器)802和RAM(随机存取存储器)803经由总线804相互连接。
[0440]总线804进一步连接输入/输出接口 805。输入/输出接口 805连接输入单元806、输出单元807、存储单元808、通信单元809和驱动器810。
[0441]输入单元806由键盘、鼠标、麦克风等构成。输出单元807由显示器、扬声器等构成。存储单元808由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动可移除介质811 (诸如，磁盘、光盘、磁-光盘和半导体存储器)。
[0442]在如上所述构造的计算机中，CPU 801通过例如经由输入/输出接口 805和总线804将存储单元808中存储的程序加载到RAM 803中来执行程序，从而执行以上的一系列处理。
[0443]计算机800 (CPU 801)执行的程序可被设置成被记录到用作例如封装介质的可移除介质811。另外，可以经由有线或无线发送介质(诸如，局域网、互联网和数字卫星广播)提供程序。
[0444]在计算机中，可以通过将可移除介质811装载到驱动器810，经由输入/输出接口805将程序安装到存储单元808。另外，可以通过利用通信单元809经由有线或无线发送介质接收程序，将程序安装到存储单元808。另外，程序可被预先安装到ROM 802和存储单元808。
[0445]计算机执行的程序可以是根据本说明书中说明的次序按时序执行处理所用的程序，或者可以是并行地或者在必要时刻(诸如，在调用时)执行处理所用的程序。
[0446]在本说明书中，描述存储在记录介质中的程序的步骤包括根据所描述的次序按时序执行的处理。这些步骤可以不必按时序执行，并且这些步骤包括并行或单独执行的处理。
[0447]在本说明书中，系统包括由多个装置构成的整个设备。
[0448]在以上说明中被说明成一个装置(或处理单元)的构造可以被划分并且构造成多个装置(或处理单元)。在以上说明中被说明成多个装置(或处理单元)的构造可被组合并且构造成一个装置(或处理单元)。可供选择地，要理解，各装置(或各处理单元)的构造可以与除了以上构造之外的任何构造相加。另外，当整个系统的构造和操作基本上相同时，某个装置(或处理单元)的构造的一部分可以被包括在另一个装置(或另一个处理单元)的构造中。更具体地，本技术不限于以上实施例，并且可以以各种方式被改变，只要它在本技术的主旨内。
[0449]根据以上说明的实施例的图像编码装置和图像解码装置可应用于各种电子装置，诸如用于通过卫星广播、有线广播(诸如有线电视)、互联网上的分发、蜂窝通信而分发到终端的发射机或接收机、用于将图像记录到介质(诸如，光盘、磁盘和闪存)上的记录装置、或者用于从这些记录介质再现图像的再现装置。下文中，将描述四个应用示例。
[0450]〈8.应用的示例〉
[0451][第一应用示例:电视接收装置]
[0452]图28示出应用以上实施例的电视装置的示意性构造的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 909、控制单元910、用户接口 911和总线912。
[0453]调谐器902从经由天线901接收的广播信号中提取希望的信道的信号，解调所提取的信号。然后，调谐器902将通过解调获得的编码后的比特流输出到解复用器903。更具体地，调谐器902在电视装置900中起传输装置的作用，用于接收编码了图像的编码流。
[0454]解复用器903从编码后的比特流中分离出观看目标的节目的视频流和音频流，并且将分离的流输出到解码器904。另外，解复用器903从编码后的比特流中提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据提供到控制单元910。应该注意，在编码后的比特流被加扰的情况下，解复用器903可执行解扰。
[0455]解码器904解码从解复用器903接收的视频流和音频流。然后，解码器904将用解码处理产生的视频数据输出到视频信号处理单元905。解码器904将用解码处理产生的音频数据输出到音频信号处理单元907。
[0456]视频信号处理单元905播放从解码器904接收的视频数据，并且使显示单元906显示视频。视频信号处理单元905可以在显示单元906上显示经由网络提供的应用画面。视频信号处理单元905可根据设置对视频数据执行另外的处理(诸如，降噪)。另外，视频信号处理单元905产生GUI (图形用户接口)的图像(诸如，菜单、按钮或光标)，并且将产生的图像叠加在输出图像上。
[0457]显示单元906被视频信号处理单元905提供的驱动信号驱动，并且在显示装置(诸如，液晶显示器、等离子体显示器、或0ELD(有机电致发光显示器)(有机EL显示器)等)的视频屏幕上显示视频或图像。
[0458]音频信号处理单元907对从解码器904接收的音频数据执行诸如D/A转换和放大的再现处理，并且使扬声器908输出音频。音频信号处理单元907可对音频数据执行另外的处理(诸如，降噪)。
[0459]外部接口 909是用于电视装置900和外部装置或网络之间的连接的接口。例如，经由外部接口 909接收的视频流或音频流可被解码器904解码。更具体地，外部接口 909还在电视装置900中起传输装置的作用，用于接收编码了图像的编码流。
[0460]控制单元910具有存储器，诸如CPU等的处理器以及RAM和ROM。存储器存储例如(PU执行的程序、程序数据、EPG数据、以及经由网络获得的数据。存储器中存储的程序可以(例如)在电视装置900启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 911接收的操作信号控制电视装置900的操作。
[0461]用户接口 911连接到控制单元910。用户接口 911包括(例如)用户用来操作电视装置900的按钮和开关、以及用于接收远程控制信号的接收单元。用户接口 911通过这些构成元件检测用户的操作来产生操作信号，并且将所产生的操作信号输出到控制单元910。
[0462]总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909和控制单元910相互连接。
[0463]在如上所述构造的电视装置900中，解码器904具有根据以上说明的实施例的图像解码装置的功能。因此，当电视装置900解码图像时，可减少编码量。
[0464][第二应用示例:蜂窝电话]
[0465]图29示出应用以上实施例的蜂窝电话的示意性构造的示例。蜂窝电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、解复用器928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
[0466]天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用器928、记录/再现单元929、显示单元930和控制单元931相互连接。
[0467]蜂窝电话920在包括音频电话通话模式、数据通信模式、拍摄模式和视频通话模式的各种模式下执行诸如发送/接收音频信号、发送/接收电子邮件或图像数据、捕获图像和记录数据的操作。
[0468]在音频电话通话模式下，麦克风925产生的模拟音频信号被提供到音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，对转换后的音频数据执行A/D转换，并且压缩音频数据。然后，音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922编码和调制音频数据，产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送到基站(未示出)。通信单元922放大经由天线921接收的无线电信号，并且转换频率，获得接收信号。然后，通信单元922通过解调和解码接收信号来产生音频数据，并且将产生的音频数据输出到音频编解码器923。音频编解码器923解压缩音频数据，执行D/A转换，产生模拟音频信号。然后，音频编解码器923将产生的音频信号提供到扬声器924，并且输出音频。
[0469]在数据通信模式下，例如，控制单元931根据用户用操作单元932给出的用户的操作，产生构成电子邮件的文本数据。控制单元931在显示单元930上显示字符。控制单元931根据操作单元932给出的用户的发送指令，产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922编码并且调制电子邮件数据，产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送到基站(未示出)。通信单元922放大经由天线921接收的无线电信号，转换频率，获得接收信号。然后，通信单元922通过解调和解码接收信号来恢复电子邮件数据，并且将恢复后的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容，并且将电子邮件数据存储到记录/再现单元929的记录介质中。
[0470]记录/再现单元929具有可读取和写入的任何给定的记录介质。例如,记录介质可以是内部记录介质(诸如，RAM或闪存)，并且可以是外部附连的记录介质(诸如，硬盘、磁盘、磁-光盘、光盘、USB (通用串行总线)存储器、或存储卡)。
[0471]在拍摄模式下，例如，相机单元926捕获被摄体的图像，产生图像数据并且将产生的图像数据输出到图像处理单元927。图像处理单元927编码从相机单元926输入的图像数据，并且将编码流存储到记录/再现单元929的存储介质中。
[0472]在视频通话模式下，例如，解复用器928多路复用经图像处理单元927编码的视频流和从音频编解码器923接收的音频流，并且将多路复用的流输出到通信单元922。通信单元922编码并且调制流，产生发送信号。然后，通信单元922将产生的发送信号经由天线921发送到基站(未示出)。通信单元922放大经由天线921接收的无线电信号，变换频率，获得接收信号。发送信号和接收信号可包括编码后的比特流。然后，通信单元922通过解调和解码接收信号来恢复流，并且将恢复后的流输出到解复用器928。解复用器928从接收的流中分离出视频流和音频流，并且将视频流输出到图像处理单元927并且将音频流输出到音频编解码器923。图像处理单元927解码视频流，产生视频信号。视频数据被提供到显示单元930，显示单元930显示一系列图像。音频编解码器923解压缩音频流，执行D/A转换，产生模拟音频信号。然后，音频编解码器923将产生的音频信号提供到扬声器924，并且输出音频。
[0473]在如上所述构造的蜂窝电话920中，图像处理单元927具有根据以上说明的实施例的图像编码装置和图像解码装置的功能。因此，当蜂窝电话920编码和解码图像时，可减少编码量。
[0474][第三应用示例:记录/再现装置]
[0475]图30示出应用以上实施例的记录/再现装置的示意性构造的示例。例如，记录/再现装置940编码接收到的广播节目的音频数据和视频数据，并且将它们记录到记录介质。例如，记录/再现装置940可编码从其它装置获得的音频数据和视频数据，并且可以将它们记录到记录介质。例如，记录/再现装置940根据用户的指令使用监视器和扬声器再现被记录在记录介质上的数据。在这种情形下，记录/再现装置940解码音频数据和视频数据。
[0476]记录/再现装置940包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD (屏幕显示)948、控制单元949和用户接口 950。
[0477]调谐器941从经由天线(未示出)接收的广播信号中提取希望的信道的信号，并且解调提取的信号。然后，调谐器941将通过解码获得的编码的比特流输出到选择器946。更具体地，调谐器941在记录/再现装置940中起传输装置的作用。
[0478]外部接口 942是用于将记录/再现装置940和外部装置或网络之间连接的接口。外部接口 942可以是(例如)IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口 942接收的视频数据和音频数据被输入到编码器943。更具体地，外部接口 942在记录/再现装置940中起传输装置的作用。
[0479]当从外部接口 942接收的视频数据和音频数据没有被编码时，编码器943编码视频数据和音频数据。然后，编码器943将编码后的比特流输出到选择器946。
[0480]HDD 944将通过压缩内容数据(诸如，视频和音频、各种节目和其它数据)而获得的编码后的比特流记录到设置在其中的硬盘上。当再现视频和音频时，HDD 944从硬盘读取数据。
[0481]盘驱动器945将数据记录到装载的记录介质上或者从装载的记录介质读取数据。装载到盘驱动器945的记录介质可以是(例如)DVD盘(DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或蓝光(注册商标)盘。
[0482]当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码后的比特流，并且将所选择的编码后的比特流输出到HDD 944或盘驱动器945。另外，当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码后的比特流输出到解码器947。
[0483]解码器947解码编码后的比特流，产生视频数据和音频数据。然后，解码器947将产生的视频数据输出到OSD 948。解码器904将产生的音频数据输出到外部扬声器。
[0484]OSD 948再现从解码器947接收的视频数据，并且显示视频。OSD 948可将⑶I图像(诸如，菜单、按钮或光标)叠加在显示的视频上。
[0485]控制单元949具有存储器，诸如CPU等的处理器以及RAM和ROM。存储器记录由(PU执行的程序、程序数据等。存储器中存储的程序可以例如在记录/再现装置940启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 971接收的操作信号控制记录/再现装置940的操作。
[0486]用户接口 950连接到控制单元949。用户接口 950包括(例如)用户操作记录/再现装置940所用的按钮和开关、以及用于接收远程控制信号的接收单元。用户接口 950通过检测用户通过这些构成组件进行的操作，产生操作信号，并且将产生的操作信号输出到控制单元949。
[0487]在如上所述构造的记录/再现装置940中，编码器943具有根据以上实施例的图像编码装置的功能。解码器947具有根据以上说明的实施例的图像解码装置的功能。因此，当由记录/再现装置940编码和解码图像时，可减少编码量。
[0488][第四应用示例:图像捕获装置]
[0489]图31示出应用以上实施例的图像捕获装置的示意性构造的示例。图像捕获装置960捕获被摄体的图像，产生图像数据，将图像数据记录到记录介质上。
[0490]图像捕获装置960包括光学块961、图像捕获单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口 966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口 971和总线972。
[0491]光学块961连接到图像捕获单元962。图像捕获单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口 971连接到控制单元970。总线972将图像处理单元964、外部接口 966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。
[0492]光学块961包括聚焦镜头和光圈机构。光学块961使在图像捕获单元962的图像捕获面上形成被摄体的光学像。图像捕获单元962包括图像传感器(诸如，CCD (电荷耦合器件)或CMOS(互补金属氧化物半导体))，并且通过光电转换将图像捕获面上形成的光学像转换成作为电信号的图像信号。然后，图像捕获单元962将图像信号输出到信号处理单元 963。
[0493]信号处理单元963对从图像捕获单元962接收的图像信号执行各种相机信号处理(诸如，拐点校正、伽玛校正和颜色校正)。信号处理单元963将已经经历了相机信号处理的图像数据输出到图像处理单元964。
[0494]图像处理单元964编码从信号处理单元963接收的图像数据，产生编码数据。然后，图像处理单元964将产生的编码数据输出到外部接口 966或介质驱动器968。图像处理单元964解码从外部接口 966或介质驱动器968接收的编码数据，产生图像数据。然后，图像处理单元964将产生的图像数据输出到显示单元965。图像处理单元964可将从信号处理单元963接收的图像数据输出到显示单元965，并且可在其上显示图像。图像处理单元964还可将从OSD 969获得的显示数据叠加在将被输出到显示单元965的图像上。
[0495]例如，OSD 969可产生⑶I图像(诸如，菜单、按钮或光标)，并且将产生的图像输出到图像处理单元964。
[0496]外部接口 966被构造为(例如)USB输入/输出端子。例如，外部接口 966在打印图像时连接图像捕获装置960和打印机。必要时，外部接口 966连接到驱动器。在驱动器中，例如，可装载诸如磁盘或光盘的可移除介质。从可移除介质读取的程序可被安装到图像捕获装置960。另外，外部接口 966可被构造为与诸如LAN或互联网的网络连接的网络接口。更具体地，外部接口 966在图像捕获装置960中起传输装置的作用。
[0497]装载到介质驱动器968的记录介质可以是可读取和写入的任何给定可移除介质，诸如磁盘、光-磁盘、光盘或半导体存储器。可构造以固定方式装载到介质驱动器968的记录介质和例如不可移除存储单元(诸如，内部硬盘驱动器或SSD(固态驱动器))。
[0498]控制单元970具有存储器，诸如CPU等的处理器以及RAM和ROM。存储器记录由(PU执行的程序、程序数据等。存储器中存储的程序可以例如在当图像捕获装置960启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 971接收的操作信号控制图像捕获装置960的操作。
[0499]用户接口 971连接到控制单元970。用户接口 971包括(例如)用户操作图像捕获装置960所用的按钮和开关。用户接口 971通过检测用户通过这些构成元件进行的操作来产生操作信号，并且将产生的操作信号输出到控制单元970。
[0500]在如上所述构造的图像捕获装置960中，图像处理单元964具有根据以上说明的实施例的图像编码装置和图像解码装置的功能。因此，当用图像捕获装置960编码和解码图像时，可减少编码量。
[0501]在本说明书中，已经说明了各种信息(诸如，自适应偏移滤波的参数等)被多路复用在编码流中并且被从编码侧发送到解码侧的示例。然而，用于发送信息的方法不限于此示例。例如，信息可不被多路复用到编码比特流中，并且可被作为与编码比特流关联的分离的数据进行发送或记录。在这种情况下，术语“关联”意指在解码期间比特流中包括的图像(可以是图像的一部分，诸如片段或块)以及与图像对应的信息被链接。更具体地，可通过与图像(比特流)分离的发送路径发送信息。信息可被记录在与图像(或比特流)不同的其它记录介质(或者同一记录介质的其它记录区域)中。另外，可以以任何给定单位(诸如，多个帧、一个帧、或帧的一部分)将信息和图像(或比特流)彼此关联。
[0502]上文中已经参考附图详细描述了本公开的优选实施例，但本公开不限于此示例。显然，本公开的技术所属领域的普通技术人员可以想到在权利要求中描述的技术要点的范围内的各种变化或修改，并且要理解，在权利要求中描述的技术要点的范围内的各种变化或修改同样被包括在本公开的技术范围内。
[0503]应该注意，还可以如下构造本技术。
[0504](I) 一种图像处理设备，所述图像处理设备包括:
[0505]设置单元，其被构造成设置在图像的多个分量之间相同的取样自适应偏移滤波的类型；
[0506]取样自适应偏移滤波单元，其被构造成根据由设置单元设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及
[0507]编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
[0508](2)根据⑴所述的图像处理设备，其中所述设置单元设置对于图像的亮度分量和色差分量相同的取样自适应偏移滤波的类型。
[0509](3)根据(I)所述的图像处理设备，其中所述设置单元设置对于图像的多个色差分量相同的取样自适应偏移滤波的类型。
[0510](4)根据(3)所述的图像处理设备，其中所述设置单元设置对于第一色差分量和第二色差分量相同的取样自适应偏移滤波的类型。
[0511](5)根据(4)所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为带偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为带偏移。
[0512](6)根据(4)所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移。
[0513](7)根据(4)所述的图像处理设备，其中当所述设置单元将所述取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元设置对于图像的多个色差分量相同的边缘偏移的图案规则。
[0514](8)根据(7)所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移的一维图案时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移的一维图案。
[0515](9)根据(7)所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的偏移滤波的类型设置为边缘偏移的二维图案时，所述设置单元将与所述第二色差分量对应的偏移滤波的类型设置为边缘偏移的二维图案。
[0516](10)根据(4)所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的偏移滤波的类型设置为不应用偏移的类型时，所述设置单元将与所述第二色差分量对应的偏移滤波的类型设置为不应用偏移的类型。
[0517](11)根据(I)-(1)中任一项所述的图像处理设备，其中图像的颜色空间是Y/Cb/Cr格式。
[0518](12)根据(I)-(Il)中任一项所述的图像处理设备，还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像，
[0519]其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
[0520](13)根据(1)-(12)中任一项所述的图像处理设备，其中在邻近于当前编码单位的邻近编码单位具有相同的偏移的情况下，所述设置单元将所述邻近编码单位的偏移设置为当前编码单位。
[0521](14) 一种图像处理方法，所述图像处理方法包括:
[0522]设置在图像的多个分量之间相同的取样自适应偏移滤波的类型；
[0523]根据设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及
[0524]使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
[0525](15) 一种图像处理设备，所述图像处理设备包括:
[0526]设置单元，其被构造成设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息；
[0527]取样自适应偏移滤波单元，其被构造成根据对图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；
[0528]编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及
[0529]发送单元，其被构造成发送由设置单元设置的类型信息和由编码单元产生的编码流。
[0530](16)根据(15)所述的图像处理设备，其中所述取样自适应偏移滤波的类型对于图像的多个色差分量是相同的。
[0531](17)根据(16)所述的图像处理设备，其中所述取样自适应偏移滤波的类型对于第一色差分量和第二色差分量是相同的。
[0532](18)根据(15)-(17)中任一项所述的图像处理设备，其中所述设置单元设置每个最大编码单位的类型信息。
[0533](19)根据(15)-(18)中任一项所述的图像处理设备，还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像，
[0534]其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
[0535](20) 一种图像处理方法，所述图像处理方法包括:
[0536]设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息；
[0537]根据对于图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；
[0538]使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及
[0539]发送已经设置的类型信息和已经产生的编码流。
[0540]参考符号列表
[0541]11图像编码装置
[0542]26无损编码单元
[0543]31解块滤波器
[0544]41自适应偏移滤波器
[0545]42自适应环路滤波器
[0546]51图像解码装置
[0547]62无损解码单元
[0548]66解块滤波器
[0549]81自适应偏移滤波器
[0550]82自适应环路滤波器
[0551]111 SAO 标志
[0552]112类型设置单元
[0553]113偏移设置单元
[0554]114 SAO控制信息设置单元
[0555]115偏移缓冲器
[0556]116滤波处理单元
[0557]117图像缓冲器
[0558]141类型设置单元
[0559]151 Y类型设置单元
[0560]152 Cm类型设置单元
[0561]161语法写入单元
[0562]211语法获取单元
[0563]221 SAO标志接收单元
[0564]222类型接收单元
[0565]223合并标志接收单元
[0566]224偏移缓冲器
[0567]225偏移接收单元
[0568]226滤波处理单元
[0569]227图像缓冲器
[0570]241语法获取单元
[0571]251类型接收单元
[0572]261 Y类型接收单元
[0573]262 Cm类型接收单元
【权利要求】
1.一种图像处理设备，所述图像处理设备包括: 设置单元，其被构造成设置在图像的多个分量之间相同的取样自适应偏移滤波的类型； 取样自适应偏移滤波单元，其被构造成根据由设置单元设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及 编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
2.根据权利要求1所述的图像处理设备，其中所述设置单元设置对于图像的亮度分量和色差分量相同的取样自适应偏移滤波的类型。
3.根据权利要求1所述的图像处理设备，其中所述设置单元设置对于图像的多个色差分量相同的取样自适应偏移滤波的类型。
4.根据权利要求3所述的图像处理设备，其中所述设置单元设置对于第一色差分量和第二色差分量相同的取样自适应偏移滤波的类型。
5.根据权利要求4所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为带偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为带偏移。
6.根据权利要求4所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移。
7.根据权利要求4所述的图像处理设备，其中当所述设置单元将所述取样自适应偏移滤波的类型设置为边缘偏移时，所述设置单元设置对于图像的多个色差分量相同的边缘偏移的图案规则。
8.根据权利要求7所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移的一维图案时，所述设置单元将与所述第二色差分量对应的取样自适应偏移滤波的类型设置为边缘偏移的一维图案。
9.根据权利要求7所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的偏移滤波的类型设置为边缘偏移的二维图案时，所述设置单元将与所述第二色差分量对应的偏移滤波的类型设置为边缘偏移的二维图案。
10.根据权利要求4所述的图像处理设备，其中当所述设置单元将与所述第一色差分量对应的偏移滤波的类型设置为不应用偏移的类型时，所述设置单元将与所述第二色差分量对应的偏移滤波的类型设置为不应用偏移的类型。
11.根据权利要求1所述的图像处理设备，其中图像的颜色空间是Y/Cb/Cr格式。
12.根据权利要求1所述的图像处理设备，还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像， 其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
13.根据权利要求1所述的图像处理设备，其中在邻近于当前编码单位的邻近编码单位具有相同的偏移的情况下，所述设置单元将所述邻近编码单位的偏移设置为当前编码单位。
14.一种图像处理方法，所述图像处理方法包括: 设置在图像的多个分量之间相同的取样自适应偏移滤波的类型； 根据设置的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像；以及 使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流。
15.一种图像处理设备，所述图像处理设备包括: 设置单元，其被构造成设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息； 取样自适应偏移滤波单元，其被构造成根据对图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像； 编码单元，其被构造成使用被取样自适应偏移滤波单元应用取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及 发送单元，其被构造成发送由设置单元设置的类型信息和由编码单元产生的编码流。
16.根据权利要求15所述的图像处理设备，其中所述取样自适应偏移滤波的类型对于图像的多个色差分量是相同的。
17.根据权利要求16所述的图像处理设备，其中所述取样自适应偏移滤波的类型对于第一色差分量和第二色差分量是相同的。
18.根据权利要求16所述的图像处理设备，其中所述设置单元设置每个最大编码单位的类型信息。
19.根据权利要求15所述的图像处理设备，还包括解块滤波单元，所述解块滤波单元被构造成将解块滤波应用于在本地解码的图像， 其中，所述取样自适应偏移滤波单元将取样自适应偏移滤波应用于被所述解块滤波单元应用解块滤波的图像。
20.—种图像处理方法，所述图像处理方法包括: 设置指示在图像的多个分量之间相同的取样自适应偏移滤波的类型的类型信息； 根据对于图像的多个分量相同的取样自适应偏移滤波的类型，当所述图像被编码时将取样自适应偏移滤波应用于在本地解码的图像； 使用应用了取样自适应偏移滤波的图像，来对所述图像执行编码处理以产生编码流；以及 发送已经设置的类型信息和已经产生的编码流。
【文档编号】H04N19/46GK104380751SQ201380032453
【公开日】2015年2月25日 申请日期:2013年6月18日 优先权日:2012年6月27日
【发明者】中神央二 申请人:索尼公司