图像处理装置和方法

图像处理装置和方法
【专利摘要】本公开涉及能够提高编码或解码的处理效率的图像处理装置和方法。在编码器侧确定LCU?115的类型E0及其系数。E0的系数在LCU?111开始时被发送到解码器侧，并且被存储在解码器侧的自适应偏移滤波器中包括的EO缓冲器中。对于LCU?115，因此，EO缓冲器中的类型E0的系数的副本被用于解码器侧，而没有发送类型E0的系数。如上所述，在相关技术中在帧开始时一批发送的自适应偏移滤波器的参数在各LCU的LCU开始时被顺序地发送。本公开可以应用于例如图像处理装置。
【专利说明】图像处理装置和方法
【技术领域】
[0001]本公开涉及图像处理装置和方法，更具体地讲，涉及能够提高编码或解码的处理效率的图像处理装置和方法。
【背景技术】
[0002]近年来，以数字形式操纵图像信息并且在这种情况下利用图像信息特有的冗余来通过使用基于正交变换(诸如，离散余弦变换)进行的压缩和运动补偿的编码方案实现对图像的压缩和编码以有效发送和累积信息的装置正变得普遍。这个编码方案的示例包括MPEG(运动图像专家组)和H.264和MPEG-4部分10 (高级视频编码，下文中被称为H.264/AVC)。
[0003]另外，为了实现比H.264/AVC更高的编码效率，JCTVC(视频编码联合工作组)目前在从事称为HEVC (高效视频编码)的编码方案的标准化，JCTVC是ITU-T和IS0/IEC的联合标准组织(例如，参见非专利文献I)。
[0004]在HEVC的当前草案中，采用去块滤波器、自适应环路滤波器、自适应偏移滤波器(采样自适应偏移:SA0)作为环内滤波器。
[0005]在HEVC中，自适应环路滤波器的参数被总的发送到一帧的组中的解码器侧。相比之下，非专利文献2提出了以最大编码单位或LCU为单位执行自适应环路滤波器处理。
[0006]引用列表
[0007]非专利文献
[0008]非专利文献1:Thomas ffiegand>Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J.Sullivan,“Working Draft4of High-Efficiency Video Coding(高效视频编码的工作草案 4) ”, JCTVC-F803，视频编码联合工作组(JCT-VC)的 ITU-T SG16WP3 和 IS0/IEC JTCl/SC29/WG11的第六届会议:意大利托里诺(Torino, IT)，2011年7月14-22日
[0009]非专利文献2:A.Fuldseth、Cisco Systems、G.bjontegaard、Cisco Systems,“Improved ALF with low latency and reduced complexity (延迟短且复杂度降低的改进的 ALF) ”，JCTVC-G499，视频编码联合工作组(JCT-VC)的 ITU-T SG16WP3 和 IS0/IEC JTCl/SC29/WG11的第七届会议:瑞士日内瓦(Geneva, CH), 2011年11月21-30日

【发明内容】

[0010]技术问题
[0011]此外，在HEVC中，自适应偏移滤波器适于被称为四叉树区域的区域，这些四叉树区域是专门针对自适应偏移滤波器定义的。另外，自适应偏移滤波器的参数被用一帧的组中的sao_param()来总的定义。
[0012]sao_param()被设置在编码流中的数据(视频信息)之前。因此在编码器侧，必须将一帧的数据保持在缓冲器中，直到完成自适应偏移滤波器处理、确定自适应偏移滤波器的系数和形成sao_param()为止。[0013]本公开是依据这种情形形成的，并且能够提高编码或解码的处理效率。
[0014]问题的解决方案
[0015]本公开的第一方面的一种图像处理装置包括:获取单元，从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；解码单元，对所述编码流执行解码处理并且产生图像；以及自适应偏移滤波器单元，使用所述获取单元获取的参数，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0016]所述自适应偏移滤波器的参数可以包括所述自适应偏移滤波器的类型和偏移值。
[0017]所述图像处理装置还可以包括去块滤波器单元，对所述解码单元产生的图像执行去块滤波，所述自适应偏移滤波器单元可以对经过所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0018]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0019]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0020]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0021]所述获取单元可以从所述编码流获取标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0022]在最大编码单位开始时，发送所述自适应偏移滤波器的参数。
[0023]所述解码单元可以各自具有层级结构的单位执行解码处理。
[0024]由图像处理装置执行根据本公开的第一方面的图像处理方法，所述图像处理方法包括:从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；对所述编码流执行解码处理以产生图像；以及使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波。
[0025]本公开的第二方面的一种图像处理装置包括:设置单元，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；自适应偏移滤波器单元，使用所述设置单元设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；编码单元，对被所述自适应偏移滤波器执行了自适应偏移滤波的图像执行编码处理，并且使用所述图像产生编码流；发送单元，发送所述设置单元设置的所述参数和所述编码单元产生的所述编码流。
[0026]所述自适应偏移滤波器的参数可以包括所述自适应偏移滤波器的类型和偏移值。
[0027]所述图像处理装置还可以包括去块滤波器单元，对经本地解码的图像执行去块滤波，所述自适应偏移滤波器单元可以对被所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0028]所述设置单元可以设置标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，以及所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0029]所述设置单元可以设置标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0030]所述设置单元可以设置标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0031]所述设置单元可以设置标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，以及所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0032]所述发送单元可以在最大编码单位开始时发送所述设置单元设置的所述自适应偏移滤波器的参数。
[0033]所述编码单元可以各自具有层级结构的单位执行编码处理。
[0034]由图像处理装置执行本公开的第二方面的图像处理方法，所述图像处理方法包括:使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；使用设置的所述参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；对被执行了自适应偏移滤波的图像执行编码处理，从而使用所述图像产生编码流；以及发送设置的所述参数和产生的所述编码流。
[0035]在本公开的第一方面中，从编码流以最大编码单位为单位获取自适应偏移滤波器的参数，其中，使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；对所述编码流执行解码处理以产生图像。然后，使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波。
[0036]在本公开的第二方面中，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；使用设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波。然后，对被执行了自适应偏移滤波的图像执行编码处理，以使用所述图像产生编码流；发送设置的所述参数和产生的所述编码流。
[0037]注意的是，上述图像处理装置中的每个可以是独立的装置或者被包括在单个图像编码装置或图像解码装置中的内部块。
[0038]根据本公开的第一方面，可以解码图像。具体地讲，可以提高处理效率。
[0039]根据本公开的第二方面，可以编码图像。具体地讲，可以提高处理效率。【专利附图】

【附图说明】
[0040]图1是示出图像编码装置的主要示例构造的框图。
[0041]图2是示出编码处理的流程示例的流程图。
[0042]图3是示出图像解码装置的主要示例构造的框图。
[0043]图4是不出解码处理的流程不例的流程图。
[0044]图5是示出HEVC方案中的四叉树结构的示图。
[0045]图6是示出带偏移的示图。
[0046]图7是示出边缘偏移的示图。
[0047]图8是示出边缘偏移的分类规则的示图。
[0048]图9是示出本技术的概况的示图。
[0049]图10是示出本技术的优点的示图。
[0050]图11是示出sao_param()的语法示例的示图。
[0051]图12是不出sao_type_idx的不图。
[0052]图13是示出应用本公开的自适应偏移滤波器的示例构造的框图。
[0053]图14是示出自适应偏移滤波器处理的流程图。
[0054]图15是示出系数写入处理的流程图。
[0055]图16是示出系数写入处理的示图。
[0056]图17是示出应用本公开的自适应偏移滤波器的示例构造的框图。
[0057]图18是示出自适应偏移滤波处理的流程图。
[0058]图19是示出系数读取处理的流程图。
[0059]图20是示出系数读取处理的示图。
[0060]图21是示出多视点图像编码方案的示例的示图。
[0061]图22是示出应用本技术的多视点图像编码装置的主要示例构造的示图。
[0062]图23是示出应用本技术的多视点图像解码装置的主要示例构造的示图。
[0063]图24是示出分层图像编码方案的示例的示图。
[0064]图25是示出应用本技术的分层图像编码装置的主要示例构造的示图。
[0065]图26是示出应用本技术的分层图像解码装置的主要示例构造的示图。
[0066]图27是示出计算机的主要示例构造的框图。
[0067]图28是示出电视设备的示意性构造的示例的框图。
[0068]图29是示出移动电话的示意性构造的示例的框图。
[0069]图30是示出记录/再现设备的示意性构造的示例的框图。
[0070]图31是示出成像设备的示意性构造的示例的框图。
[0071]图32是示出使用可分级编码的示例的框图。
[0072]图33是示出使用可分级编码的另一个示例的框图。
[0073]图34是示出使用可分级编码的又一个示例的框图。
【具体实施方式】
[0074]下文中，将描述用于执行本公开的模式(下文中，称为实施例)。注意的是，将按以下次序进行描述。
[0075]1.装置和操作的概况
[0076]2.对相关技术的说明
[0077]3.第一实施例(图像处理装置)
[0078]4.第二实施例(多视点图像编码/多视点图像解码装置)
[0079]5.第三实施例(分层图像编码/分层图像解码装置)
[0080]6.第四实施例(计算机)
[0081]7.示例性应用
[0082]8.可分级编码的示例性应用
[0083]〈1.装置和操作的概况〉
[0084][图像编码装置的示例构造]
[0085]图1示出应用本公开的用作图像处理装置的图像编码装置的实施例的构造。
[0086]图1中示出的图像编码装置11使用预测处理编码图像数据。这里使用的编码方案的示例包括HEVC (高效视频编码)方案。在HEVC方案中，编码单位⑶、最大编码单位IXU、最小编码单位SCU、预测单位PU和变换单位TU是指定的，以各自具有层级结构的单位执行
编码/解码。
[0087]在图1的示例中，图像编码装置11包括A/D(模拟/数字)转换单元21、画面重排缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26、累积缓冲器27。图像编码装置11还包括逆量化单元28、逆正交变换单元29、计算单元30、去块滤波器31、帧存储器32、选择单元33、帧内预测单元34、运动预测和补偿单元35、预测图像选择单元36和速率控制单元37。
[0088]图像编码装置11还在去块滤波器31和帧存储器32之间包括自适应偏移滤波器41和自适应环路滤波器42。
[0089]A/D转换单元21对输入图像数据执行A/D转换，并且将所得的图像数据输出到画面重排缓冲器22进行存储。
[0090]画面重排缓冲器22将具有以显示次序排列的帧的存储图像重排成具有以根据GOP(图片组)结构的编码次序排列的帧的图像。画面重排缓冲器22将其中帧已经被重新排序的图像供应到计算单元23。画面重排缓冲器22还将其中帧已经被重新排序的图像供应到帧内预测单元34以及运动预测和补偿单元35。
[0091]计算单元23从画面重排缓冲器22读取的图像中减去通过预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35供应的预测图像，并且将关于其间差异的差异信息输出到正交变换单元24。
[0092]例如，在图像被帧内编码的情况下，计算单元23从画面重排缓冲器22读取的图像中减去从帧内预测单元34供应的预测图像。另外，例如，在图像被帧间编码的情况下，计算单元23从画面重排缓冲器22读取的图像中减去从运动预测和补偿单元35供应的预测图像。
[0093]正交变换单元24对计算单元23供应的差异信息执行正交变换(诸如，离散余弦变换或Karhunen-Loeve变换)，并且将得到的变换系数供应到量化单元25。
[0094]量化单元25量化正交变换单元24输出的变换系数。量化单元25将经量化的变换系数供应到无损编码单元26。
[0095]无损编码单元26对经量化的变换系数执行无损耗编码，诸如，长度可变的编码或算术编码。
[0096]无损编码单元26从帧内预测单元34获取参数(诸如，指示帧内预测模式的信息)，从运动预测和补偿单元35获取参数(诸如，指示帧间预测模式的信息和运动向量信息)。
[0097]无损编码单元26编码经量化变换系数和所获取的各个参数(语法元素)，将编码后的经量化变换系数和参数组织(多路复用)在经编码数据的头信息的一部分中。无损编码单元26将通过编码得到的经编码数据供应到累积缓冲器27中进行累积。
[0098]在无损编码单元26中，例如，执行无损耗编码处理(诸如，可变长度编码或算术编码)。可变长度编码的示例包括CAVLC (上下文自适应性可变长度编码)。算术编码的示例包括CABAC (上下文自适应性二进制算术编码)。
[0099]累积缓冲器27暂时保持从无损编码单元26供应的编码流(数据)，并且以某个时刻将编码流(数据)作为已经经受编码的经编码图像输出到未示出的下游装置(诸如，记录装置)和发送路径。也就是说，累积缓冲器27还用作发送编码流的发送单元。
[0100]另外,被量化单元25量化的变换系数还被供应到逆量化单元28。逆量化单元28使用与量化单元25执行的量化方法对应的方法逆量化经量化的变换系数。逆量化单元28将得到的变换系数供应到逆正交变换单元29。
[0101]逆正交变换单元29使用与正交变换单元24执行的正交变换处理对应的方法对供应的变换系数执行逆正交变换。经历逆正交变换的输出(恢复的差异信息)被供应到计算单元30。
[0102]计算单元30将通过预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35供应的预测图像与逆正交变换单元29供应的逆正交变换结果(也就是说，恢复的差异信息)相加，得到本地经解码图像(经解码图像)。
[0103]例如，如果差异信息对应于将被帧内解码的图像，则计算单元30将帧内预测单元34供应的预测图像与差异信息相加。另外，例如，如果差异信息对应于将被帧间解码的图像，则计算单元30将运动预测和补偿单元35供应的预测图像与差异信息相加。
[0104]作为相加结果的经解码图像被供应到去块滤波器31和帧存储器32。
[0105]去块滤波器31酌情执行去块滤波处理，以消除经解码图像中的块失真。去块滤波器31将滤波处理的结果供应到自适应偏移滤波器41。
[0106]自适应偏移滤波器41对经去块滤波器31滤波的图像执行偏移滤波(SA0:采样自适应偏移)处理，以主要消除振铃现象。
[0107]总共有九种偏移滤波类型:两种带偏移、六种边缘偏移和无偏移。自适应偏移滤波器41针对作为最大编码单位的各LCU确定偏移滤波器的种类(类型)和偏移(值)，并且使用确定的类型和偏移对经去块滤波器31滤波的图像执行滤波处理。在自适应偏移滤波器41中，上述的偏移是滤波器的系数。根据需要，偏移在下文中也被称为系数。
[0108]注意的是，以下将参照图13描述自适应偏移滤波器41的细节，自适应偏移滤波器41具有用于存储系数的缓冲器。如果缓冲器在其内存储有与针对各LCU确定的系数相同的系数，则自适应偏移滤波器41将指示存储了系数的标志、指示缓冲器中的系数存储位置的索引、指示类型的信息供应到无损编码单元26，以将其编码。
[0109]另一方面，如果缓冲器在其内没有存储与针对各LCU确定的系数相同的系数，则自适应偏移滤波器41将指示没有存储系数的标志、系数、指示类型的信息供应到无损编码单元26，以将其编码。
[0110]自适应偏移滤波器41将已经经历滤波处理的图像供应到自适应环路滤波器42。
[0111]自适应环路滤波器42(例如)针对作为最大编码单位的各LCU执行自适应环路滤波(ALF)处理。在自适应环路滤波器42中，例如，使用二维维纳滤波器(Wienerfilter)作为滤波器。当然，可以使用除了维纳滤波器之外的任何滤波器。
[0112]自适应环路滤波器42使用滤波系数针对各IXU对经自适应偏移滤波器41滤波的图像执行滤波处理，并且将滤波处理的结果供应到帧存储器32。
[0113]注意的是，在图像编码装置11中，由适应环路滤波器42针对各IXU计算滤波系数，以使来自画面重排缓冲器12的原始图像的残留最少，并且使用该滤波系数，本文中将不对此进行详细描述。计算出的滤波系数被无损编码单元26编码，并且被发送到下述图3的图像解码装置51。此外，虽然在本文中描述了针对各IXU执行处理的示例，但自适应环路滤波器42的处理单位不限于此。
[0114]帧存储器32在某个定时通过选择单元将其内累积的参考图像输出到帧内预测单元34或运动预测和补偿单元35。
[0115]例如，在图像将被帧内编码的情况下，帧存储器32通过选择单元33将参考图像供应到帧内预测单元34。另外，例如，在将执行帧间编码的情况下，帧存储器32通过选择单元33将参考图像供应到运动预测和补偿单元35。
[0116]如果帧存储器32供应的参考图像是用于帧内编码的图像，则选择单元33将参考图像供应到帧内预测单元34。另外，如果帧存储器32供应的参考图像是用于帧间编码的图像，则选择单元33将参考图像供应到运动预测和补偿单元35。
[0117]帧内预测单元34执行帧内预测(画面内预测)，以使用画面中的像素值产生预测图像。帧内预测单元34使用多个模式(帧内预测模式)执行帧内预测。
[0118]帧内预测单元34产生所有帧内预测模式下的预测图像，评估各预测图像，选择最佳模式。在选择了最佳帧内预测模式之后，帧内预测单元34通过预测图像选择单元36将以最佳模式产生的预测图像供应到计算单元23和计算单元30。
[0119]另外，如上所述，根据需要，帧内预测单元34将参数(诸如，指示已经被采用的帧内预测模式的帧内预测模式信息)供应到无损编码单元26。
[0120]运动预测和补偿单元35使用通过选择单元33从画面重排缓冲器22供应的输入图像和从帧存储器32供应的参考图像，对将被帧间编码的图像执行运动预测。运动预测和补偿单元35还根据通过运动预测而检测到的运动向量执行运动补偿处理，产生预测图像(帧间预测图像信息)。
[0121]运动预测和补偿单元35针对所有候选的帧间预测模式执行帧间预测处理，并且产生预测图像。运动预测和补偿单元35通过预测图像选择单元36将所产生的预测图像供应到计算单元23和计算单元30。
[0122]运动预测和补偿单元35还将参数(诸如，指示已经被采用的帧间预测模式的帧间预测模式信息和指示计算出的运动向量的运动向量信息)供应到无损编码单元26。[0123]在图像将被帧内编码的情况下，预测图像选择单元36将帧内预测单元34的输出供应到计算单元23和计算单元30。在图像将被帧间编码的情况下，预测图像选择单元36将运动预测和补偿单元35的输出供应到计算单元23和计算单元30。
[0124]速率控制单元37基于累积缓冲器27中累积的经压缩图像控制量化单元25的量化操作速率，使得不会出现上溢或下溢。
[0125][图像编码装置的操作]
[0126]将参照图2描述如上所述的图像编码装置11执行的编码处理的流程。
[0127]在步骤Sll中，A/D转换单元21对输入图像执行A/D转换。在步骤S12中，画面重排缓冲器22存储经历A/D转换的图像，将图片从显示次序重排成编码次序。
[0128]如果画面重排缓冲器22供应的待处理图像是将经历帧内处理的块的图像，则将被参考的经解码图像是从帧存储器32读取的，并且通过选择单元33被供应到帧内预测单元34。
[0129]在步骤S13中，基于这些图像，帧内预测单元34在所有候选的帧内预测模式下对处理目标块中的像素执行帧内预测。注意的是，将被参考的经解码像素可以是没有经历去块滤波器31的滤波的像素。
[0130]通过上述处理，在所有候选的帧内预测模式下执行帧内预测，计算所有候选的帧内预测模式的成本函数。然后，基于计算出的成本函数选择最佳帧内预测模式，通过最佳帧内预测模式下的帧内预测产生的预测图像及其成本函数被供应到预测图像选择单元36。
[0131]如果画面重排缓冲器22供应的待处理图像是将经历帧间处理的图像，则将被参考的图像是从帧存储器32读取的，并且通过选择单元33被供应到运动预测和补偿单元35。在步骤S14中，基于这些图像，运动预测和补偿单元35执行运动预测和补偿处理。
[0132]通过上述处理，在所有候选的帧间预测模式下执行运动预测处理，计算所有候选的帧间预测模式的成本函数。基于计算出的成本函数确定最佳帧间预测模式。然后，在最佳帧间预测模式下产生的预测图像及其成本函数被供应到预测图像选择单元36。
[0133]在步骤S15中，预测图像选择单元36基于从帧内预测单元34和运动预测和补偿单元35输出的相应成本函数，确定最佳帧内预测模式和最佳帧间预测模式中的一个作为最佳预测模式。然后，预测图像选择单元36选择所确定的最佳预测模式的预测图像，并且将所选择的预测图像供应到计算单元23和计算单元30。这个预测图像被用于下述步骤S16和S21中的计算。
[0134]注意的是，关于这个预测图像的选择信息被供应到帧内预测单元34或运动预测和补偿单元35。如果选择最佳帧内预测模式的预测图像，则帧内预测单元34将指示最佳帧内预测模式的信息(即，与帧内预测相关的参数)供应到无损编码单元26。
[0135]如果选择最佳帧间预测模式的预测图像，则运动预测和补偿单元35将指示最佳帧间预测模式的信息和与最佳帧间预测模式对应的信息(即，与运动预测相关的参数)供应到无损编码单元26。与最佳帧间预测模式对应的信息的示例包括运动向量信息和参考帧信息。
[0136]在步骤S16中，计算单元23计算经历步骤12中的重排的图像和步骤S15中选择的预测图像之间的差异。通过预测图像选择单元36将预测图像从运动预测和补偿单元35(对于帧间预测而言)或者从帧内预测单元34(对于帧内预测而言)供应到计算单元23。[0137]差异数据的数据量比原始图像数据少。因此，相比于被原样编码的图像的数据量，数据量可减少。
[0138]在步骤S17中，正交变换单元24对计算单元23供应的差异信息执行正交变换。具体地讲，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。
[0139]在步骤S18中，量化单元25量化变换系数。在这个量化中，如参照下述步骤28的处理描述的，速率得到控制。
[0140]按以下方式本地解码以上述方式量化的差异信息:在步骤S19中，逆量化单元28使用与量化单元25的特性对应的特性逆量化经量化单元25量化的变换系数。在步骤S20中，逆正交变换单元29使用与正交变换单元24的特性对应的特性对经逆量化单元28逆量化的变换系数执行逆正交变换。
[0141]在步骤S21中，计算单元30将通过预测图像选择单元36输入的预测图像与经本地解码的差异信息相加，并且产生本地经解码的图像(与计算单元23的输入对应的图像)。
[0142]在步骤S22中，去块滤波器31对计算单元30输出的图像执行去块滤波处理。因此，消除了块失真。由去块滤波器31获得的经滤波图像被输出到自适应偏移滤波器41。
[0143]在步骤S23中，自适应偏移滤波器41执行自适应偏移滤波处理。通过这个处理，针对每个LCU (即最大编码单位)确定偏移滤波器的类型和系数，并且使用偏移滤波器的类型和系数，对经去块滤波器31滤波的图像执行滤波处理。注意的是，以下将参照图14描述这个自适应偏移滤波处理的细节。
[0144]然后，如果缓冲器在其内存储有与针对各LCU确定的系数相同的系数，则指示存储了系数的标志、指示缓冲器中的存储位置的索引、指示类型的信息被供应到无损编码单元26。另一方面，如果缓冲器在其内没有存储与针对各LCU确定的系数相同的系数，则指示没有存储系数的标志、系数、指示类型的信息被供应到无损编码单元26。
[0145]在下述的步骤S26中编码被供应到无损编码单元26的这些信息(下文中，统称为自适应偏移参数)。
[0146]在步骤S24中，自适应环路滤波器42对经自适应偏移滤波器41滤波的图像执行自适应环路滤波处理。例如，经自适应偏移滤波器41滤波的图像经历使用滤波系数针对每个LCU进行的滤波处理，对图像进行的滤波处理的结果被供应到帧存储器32。
[0147]如上所述，使自适应偏移滤波器41的处理单位匹配自适应环路滤波器42的处理单位可以提供有效的处理。
[0148]在步骤S25中，帧存储器32存储经滤波的图像。注意的是，未经去块滤波器31、自适应偏移滤波器41或自适应环路滤波器42滤波的图像也从计算单元30被供应到帧存储器32，并且被存储在帧存储器32中。
[0149]另一方面，上述的在步骤S18中被量化的变换系数也被供应到无损编码单元26。在步骤26中，无损编码单元26编码从量化单元25输出的经量化变换系数并且还编码供应的参数。也就是说，使用可变长度编码、算术编码等对差异图像进行无损耗编码，并且对其进行压缩。
[0150]在步骤S27中，累积缓冲器27将经编码的差异图像(即，编码流)作为经压缩图像累积。累积在累积缓冲器27中的经压缩图像被根据需要读取，并且通过发送路径被发送到解码器侧。[0151]在步骤S28中，速率控制单元37基于累积在累积缓冲器27中的经压缩图像控制量化单元25的量化操作速率,使得不会出现上溢或下溢。
[0152]在完成步骤S28的处理之后，编码处理结束。
[0153][图像解码装置的示例构造]
[0154]图3是示出应用本公开的用作图像处理装置的图像解码装置的实施例的构造。图3中示出的图像解码装置51是与图1的图像编码装置11对应的解码装置。
[0155]假设经历了图像编码装置11的编码的编码流(数据)通过某个发送路径被发送到对应于图像编码装置11的图像解码装置51，并且被解码。
[0156]如图3中所示，图像解码装置51包括累积缓冲器61、无损解码单元62、逆量化单元63、逆正交变换单元64、计算单元65、去块滤波器66、画面重排缓冲器67、D/A转换器68。图像解码装置51还包括帧存储器69、选择单元70、帧内预测单元71、运动预测和补偿单元72、选择单元73。
[0157]图像解码装置51在去块滤波器66和画面重排缓冲器67之间以及去块滤波器66和帧存储器69之间还包括自适应偏移滤波器81和自适应环路滤波器82。
[0158]累积缓冲器61也是用于将接收被发送的经编码数据的接收单元。累积缓冲器61接收并且累积被发送的经编码数据。经编码数据已经经历了图像编码装置11的编码。无损解码单元62使用与图1的无损编码单元26的编码方案对应的方案，在某个定时解码从累积缓冲器61读取的经编码数据。
[0159]无损解码单元62将经解码参数(诸如，指示帧内预测模式的信息)供应到帧内预测单元71，将参数(诸如，指示帧间预测模式的信息和运动向量信息)供应到运动预测和补偿单元72。无损解码单元62还将经解码的自适应偏移参数(诸如，指示系数是否被存储在缓冲器中的标志、系数、指示类型的信息、指示缓冲器中的系数的存储位置的索引)供应到自适应偏移滤波器81。
[0160]逆量化单元63使用与图1的量化单元25的量化方案对应的方案逆量化通过无损解码单元62得到的系数数据(量化系数)。也就是说，逆量化单元63通过使用图像编码装置11供应的量化参数，利用与图1的逆量化单元28的方法类似的方法逆量化量化系数。
[0161]逆量化单元63将经逆量化的系数数据(也就是说，正交变换系数)供应到逆正交变换单元64。逆正交变换单元64使用与图1的正交变换单元24的正交变换方案对应的方案，对正交变换系数执行逆正交变换，并且得到与还没有在图像编码装置11中被正交变换的残留数据对应的经解码残留数据。
[0162]通过逆正交变换得到的经解码残留数据被供应到计算单元65。还通过选择单元73将预测图像从帧内预测单元71或运动预测和补偿单元72供应到计算单元65。
[0163]计算单元65将经解码残留数据与预测图像相加在一起，得到与图像编码装置11的计算单元23还没有从中减去预测图像的图像数据对应的经解码图像数据。计算单元65将经解码图像数据供应到去块滤波器66。
[0164]去块滤波器66酌情执行去块滤波处理，以消除经解码图像中的块失真。去块滤波器66将滤波处理的结果供应到自适应偏移滤波器81。
[0165]自适应偏移滤波器81对经去块滤波器66滤波的图像执行偏移滤波(SAO)处理，以主要消除振铃现象。[0166]自适应偏移滤波器81使用无损解码单元62供应的自适应偏移参数，针对作为最大编码单位的每个LCU对经去块滤波器66滤波的图像执行滤波处理。自适应偏移滤波器81将经历了滤波处理的图像供应到自适应环路滤波器82。
[0167]注意的是，以下将参照图12和附图描述自适应偏移滤波器81的细节，自适应偏移滤波器81具有用于存储系数的缓冲器。如果从无损解码单元62发送的标志指示存在被存储在缓冲器中的系数，则自适应偏移滤波器81通过参照指示类型的信息和指示缓冲器中的系数的存储位置的索引从缓冲器读取系数，并且使用读取的系数执行滤波处理。
[0168]另一方面，如果从无损解码单元62发送的标志指示不存在被存储在缓冲器中的系数，则自适应偏移滤波器81使用从无损解码单元62获取的系数执行滤波处理。此后，自适应偏移滤波器81将所获取的系数写入缓冲器。
[0169]自适应环路滤波器82具有与图1的图像编码装置11的自适应环路滤波器42的构造基本类似的构造，并且针对作为最大编码单位的各IXU执行自适应环路滤波处理。自适应环路滤波器82使用滤波系数针对各IXU对经自适应偏移滤波器81滤波的图像执行滤波处理，并且将滤波处理的结果供应到帧存储器69和画面重排缓冲器67。
[0170]注意的是，在图像解码装置51中，针对各IXU被计算出并且被图像编码装置11的自适应环路滤波器42编码并发送的滤波系数被无损解码单元62解码并且被使用，本文中将不对此进行描述。
[0171]画面重排缓冲器67对图像执行重排。也就是说，被图1的画面重排缓冲器22以编码次序重排的帧的次序变成原始的显示次序。D/A转换单元68对画面重排缓冲器67供应的图像执行D/A转换，并且将所得图像输出到显示器(未示出)进行显示。
[0172]自适应环路滤波器82的输出被进一步供应到帧存储器69。
[0173]帧存储器69、选择单元70、帧内预测单元71、运动预测和补偿单元72、选择单元73分别对应于图像编码装置11的帧存储器32、选择单元33、帧内预测单元34、运动预测和补偿单元35、预测图像选择单元36。
[0174]选择单元70从帧存储器69读取将经历帧间处理的图像和将被参考的图像，并且将读取的图像供应到运动预测和补偿单元72。另外，选择单元70从帧存储器69读取将用于帧内预测的图像，并且将读取的图像供应到帧内预测单元71。
[0175]无损解码单元62酌情向帧内预测单元71供应通过解码头信息而得到的指示帧内预测模式的信息等。帧内预测单元71基于这个信息用从帧存储器69获取的参考图像产生预测图像，并且将产生的预测图像供应到选择单元73。
[0176]无损解码单元62向运动预测和补偿单元72供应通过解码头信息而得到的信息(预测模式信息、运动向量信息、参考帧信息、标志、各种参数等)。
[0177]运动预测和补偿单元72基于无损解码单元62供应的这些信息用从帧存储器69获取的参考图像产生预测图像，并且将产生的预测图像供应到选择单元73。
[0178]选择单元73选择运动预测和补偿单元72或帧内预测单元71产生的预测图像，并且将所选择的预测图像供应到计算单元65。
[0179][图像解码装置的操作]
[0180]将参照图4描述上述由图像解码装置51执行的解码处理的流程示例。
[0181]当解码处理开始时，在步骤S51中，累积缓冲器61接收并累积被发送的编码流(数据)。在步骤S52中，无损解码单元62解码累积缓冲器61供应的经编码数据。解码经图1的无损编码单元26编码的I图片、P图片和B图片。
[0182]在解码图片之前，还解码关于参数的信息(诸如，运动向量信息、参考帧信息和预测模式信息(帧内预测模式或帧间预测模式))。
[0183]如果预测模式信息是帧内预测模式信息，则预测模式信息被供应到帧内预测单元71。如果预测模式信息是帧间预测模式信息，则与预测模式信息对应的运动向量信息等被供应到运动预测和补偿单元72。另外，自适应偏移参数也被解码并且被供应到自适应偏移滤波器81。
[0184]在步骤S53中，帧内预测单元71或运动预测和补偿单元72根据无损解码单元62供应的预测模式信息执行对应的预测图像产生处理。
[0185]具体地讲，如果无损解码单元62供应帧内预测模式信息，则帧内预测单元71针对帧内预测模式产生帧内预测图像。如果无损解码单元62供应帧间预测模式信息，则运动预测和补偿单元72执行帧间预测模式的运动预测和补偿处理，并且产生帧间预测图像。
[0186]通过上述处理，帧内预测单元71产生的预测图像(帧内预测图像)或运动预测和补偿单元72产生的预测图像(帧间预测图像)被供应到选择单元73。
[0187]在步骤S54中，选择单元73选择预测图像。也就是说，供应帧内预测单元71产生的预测图像或运动预测和补偿单元72产生的预测图像。因此，供应的预测图像被选择并且被供应到计算单元65，使得在下述的步骤S57中预测图像被与逆正交变换单元64的输出相加。
[0188]在上述的步骤S52中，经无损解码单元62解码的变换系数也被供应到逆量化单元63。在步骤S55中，逆量化单元63使用与图1的量化单元25的特性对应的特性，逆量化经无损解码单元62解码的变换系数。
[0189]在步骤S56中，逆正交变换单元29使用与图1的正交变换单元24的特性对应的特性，对经逆量化单元28逆量化的变换系数执行逆正交变换。因此，与图1的正交变换单元24的输入对应的差异信息(计算单元23的输出)被解码。
[0190]在步骤S57中，计算单元65将在上述步骤S54的处理中选择的并且通过选择单元73输入的预测图像与差异信息相加。因此，原始图像被解码。
[0191]在步骤S58中，去块滤波器66对计算单元65输出的图像执行去块滤波处理。因此，消除了块失真。去块滤波器66发送的经解码图像被输出到自适应偏移滤波器81。
[0192]在步骤S59中，自适应偏移滤波器81执行自适应偏移滤波处理。自适应偏移滤波器81使用无损解码单元62发送的自适应偏移参数，对经去块滤波器66滤波的图像执行滤波处理。自适应偏移滤波器81将经受滤波处理的图像供应到自适应环路滤波器82。
[0193]注意的是，以下将参照图12和后续附图描述自适应偏移滤波器81的细节，自适应偏移滤波器81具有用于存储系数的缓冲器。如果无损解码单元62发送的标志指示存在被存储在缓冲器中的系数，则参照指示类型的信息和指示缓冲器中的系数的存储位置的索引从缓冲器读取系数，并且使用读取的系数执行滤波处理。
[0194]另一方面，如果无损解码单元62发送的标志指示不存在被存储在缓冲器中的系数，则使用从无损解码单元62获取的系数执行滤波处理。此后，所获取的系数被写入缓冲器。[0195]在步骤S60中，自适应环路滤波器82对经自适应偏移滤波器81滤波的图像执行自适应环路滤波处理。自适应环路滤波器82使用针对各LCU计算出的滤波系数，针对作为最大编码单位的各IXU对输入图像执行滤波处理，并且将滤波处理的结果供应到画面重排缓冲器67和帧存储器69。
[0196]在步骤S61中，帧存储器69存储经滤波的图像。
[0197]在步骤S62中，画面重排缓冲器67在应用自适应环路滤波器82之后对图像执行重排。也就是说，为了进行编码而被图像编码装置11的画面重排缓冲器22重排的帧的次序变成原始的显示次序。
[0198]在步骤S63中，D/A转换单元68对画面重排缓冲器67发送的图像执行D/A转换。这个图像被输出到显示器(未示出)并且显示图像。
[0199]在完成步骤S63的处理之后，解码处理结束。
[0200]〈对相关技术的说明〉
[0201 ] [HEVC方案中的自适应偏移处理]
[0202]接下来，将描述HEVC方案中的自适应偏移滤波。在HEVC方案中，采用采样自适应偏移方案。
[0203]在编码器侧，自适应偏移滤波器41设置在去块滤波器(DB)31和自适应环路滤波器(ALF)42之间。另外，在解码器侧，自适应偏移滤波器81设置在去块滤波器(DB)66和自适应环路滤波器(ALF) 82之间。
[0204]自适应偏移类型(种类)包括两种称为带偏移的偏移、六种称为边缘偏移的偏移，也可以不应用偏移。此外，可以将图像分成四叉树区域并且针对各区域选择上述哪种自适应偏移类型来用于进行编码。
[0205]这个选择信息被编码单元编码为PQAO信息(熵编码)，产生比特流，产生的比特流被发送到解码器侧。使用这种方法，可提高编码效率。
[0206]这里，将参照图5描述四叉树结构。
[0207]例如，在编码器侧，如图5中的Al所指示的，计算指示区域O没有被划分的O级(划分深度为O)的成本函数J0。进一步地，计算指示区域O被划分成四个区域I至4的I级(划分深度为I)的成本函数Jl、J2、J3和J4。
[0208]然后，如A2所指示的，比较这些成本函数，根据J0> (J1+J2+J3+J4)选择I级的划分区域(划分部)。
[0209]类似地，如A3所指示的，计算指示区域O被划分成十六个区域5至20的2级(划分深度为2)的成本函数J5至J20。
[0210]然后，如A4所指示的，比较这些成本函数，在区域I中，根据J1〈(J5+J6+J9+J10)选择I级的划分区域(划分部)。在区域2中，根据J2MJ7+J8+J11+J12)选择2级的划分区域(划分部)。在区域3中，根据J3MJ13+J14+J17+J18)选择2级的划分区域(划分部)。在区域4中，根据J4XJ15+J16+J19+J20)选择I级的划分区域(划分部)。
[0211]结果，确定了四叉树结构中用A4指示的最终四叉树区域(划分部)。然后，针对四叉树结构中的各确定区域计算所有类型(即，两种带偏移、六种边缘偏移、以及无偏移)的成本函数，并且确定将哪种偏移用于进行编码。
[0212]例如，在图5的示例中，如白色箭头所指示的，对于区域1，确定是E0(4)，也就是说，边缘偏移种类之中的第四种。对于区域7，确定的是OFF，也就是说，没有偏移。对于区域8，确定是EO (2)，也就是说，边缘偏移种类之中的第二种。对于区域11和12，确定的是OFF,也就是说，没有偏移。
[0213]另外，对于区域13，确定是BO(I)，也就是说，带偏移种类之中的第一种。对于区域14，确定是EO (2)，也就是说，边缘偏移种类之中的第二种。对于区域17，确定是BO (2)，也就是说，带偏移种类之中的第二种。对于区域18，确定是BO(I)，也就是说，带偏移种类之中的第一种。对于区域4，确定是EO(I)，也就是说，边缘偏移种类之中的第一种。
[0214]接下来，将参照图6描述带偏移的细节。
[0215]在带偏移中，在图6的示例中，每个标度代表一个带=8个像素，亮度像素值被分成32个带，每个带具有独立的偏移值。
[0216]也就是说，在图6的示例中，第O个至第255个像素(32个带)之中的中间16个
带组成第一组，两侧的8个带组成第二组。
[0217]然后，只有第一组或第二组中的偏移被编码并且被发送到解码器侧。总体上，各区域通常是高对比度的白色和黑色区域或低对比度的染色区域，第一组和第二组二者极少都包含像素。出于这个原因，只发送一组中的偏移可以抑制由不包括在各四叉树区域中的值的像素值的发送造成编码量增加。
[0218]注意的是，如果输入信号被广播，则亮度信号的值限于16，235的范围，色度信号的值限于16，240的范围。在这种情况下，应用图6下部中提供的合法广播，不发送用叉标记的两侧的2个带的偏移值。
[0219]接下来，将参照图7描述边缘偏移的细节。
[0220]在边缘偏移中，在目标像素值和与目标像素值相邻的邻近像素值之间进行比较，根据对应的种类发送偏移值。
[0221]边缘偏移具有图7的部分A至图7的部分D中示出的一维图案和图7的部分E和图7的部分F中示出的两个二维图案，发送图7中示出的各种类型的偏移。
[0222]图7的部分A示出其中邻近像素一维布置在目标像素C的右边和左边的1-D O度图案，也就是说，与图7的部分A中的图案成O度角度的1-D O度图案。图7的部分B示出其中邻近像素一维布置在目标像素C的上边和下边的1-D 90度图案，也就是说，与图7的部分A中的图案成90度角度的1-D 90度图案。
[0223]图7的部分C示出其中邻近像素一维布置在目标像素C的左上位置和右下位置的1-D 135度图案，也就是说，与图7的部分A中的图案成135度角度的1-D 135度图案。图7的部分D示出其中邻近像素一维布置在目标像素C的右上和左下的1-D 45度图案，也就是说，与图7的部分A中的图案成45度角度的1-D 45度图案。
[0224]图7的部分E示出其中邻近像素二维布置在目标像素C的上边和下边以及右边和左边的2-D十字图案，也就是说，与目标像素C交叉的2-D十字图案。图7的部分F示出其中邻近像素二维布置在目标像素C的右上和左下以及左上和右下的2-D对角图案，也就是说，与目标像素C对角交叉的2-D对角图案。
[0225]图8的部分A示出一维图案的分类规则(1-D图案的分类规则)。如图8的部分A中所示，图7的部分A至图7的部分D中的图案被分成五个类别。根据这些类别计算偏移量，并且偏移量被发送到解码单元。[0226]如果目标像素C的像素值小于两个邻近像素的像素值，则图案被归类为类别I。如果目标像素C的像素值小于一个邻近像素的像素值并且等于另一个邻近像素的像素值，则图案被归类为类别2。如果目标像素C的像素值大于一个邻近像素的像素值并且等于另一个邻近像素的像素值，则图案被归类为类别3。如果目标像素C的像素值大于两个邻近像素的像素值，则图案被归类为类别4。否则，图案被归类为类别O。
[0227]图8的部分B示出二维图案的分类规则(2-D图案的分类规则)。如图8的部分B中所示，图7的部分E和图7的部分F中的图案被分成七个类别。偏移量根据这些类别被发送到解码器侧。
[0228]如果目标像素C的像素值小于四个邻近像素的像素值，则图案被归类为类别I。如果目标像素C的像素值小于三个邻近像素的像素值并且等于第四个邻近像素的像素值，则图案被归类为类别2。如果目标像素C的像素值小于三个邻近像素的像素值并且大于第四个邻近像素的像素值，则图案被归类为类别3。
[0229]如果目标像素C的像素值大于三个邻近像素的像素值并且小于第四个邻近像素的像素值，则图案被归类为类别4。如果目标像素C的像素值大于三个邻近像素的像素值并且等于第四个邻近像素的像素值，则图案被归类为类别5。如果目标像素C的像素值大于四个邻近像素的像素值，则图案被归类为类别6。否则，图案被归类为类别O。
[0230]如上所述，在边缘偏移中，一维图案需要的计算量更小，因为只用在邻近两个像素之间进行比较。注意的是，在高效编码条件下，使I比特偏移值比低延迟编码条件下的偏移值更精确，并且将其发送到解码器侧。
[0231]上述的自适应偏移处理是针对四叉树结构中的各确定区域在HEVC方案中执行的处理。也就是说，在自适应偏移处理中，必须专门为自适应偏移滤波器限定被称为四叉树结构的区域。
[0232]另外，自适应偏移滤波器的参数被用一巾贞的组中sao_param()来总的定义，sao_paramO被设置在数据(视频信息)之前。因此，在编码器侧，必须将一帧的数据保持在缓冲器中，直到完成自适应偏移滤波处理、确定自适应偏移滤波器的系数和形成sao_param()为止。
[0233]依据以上内容，在一些实施例中，如参照图9在后面的部分中描述的，与在非专利文献2中提出的自适应环路滤波器的逐个IXU处理对应地，以作为最大编码单位的IXU为单位执行自适应偏移滤波。
[0234]<3.第一实施例>
[0235][本技术的概况]
[0236]在图9的示例中，示出被划分成IXU 111至IXU 117的图像。编码器侧的自适应偏移滤波器41以作为最大编码单位的LCU为单位确定自适应偏移滤波器的类型和系数(偏移值)，并且在各LCU的开始时刻将类型和系数发送到解码器侧。在这种情况下，如果系数匹配已经被发送并且被存储在缓冲器中的系数中的任一个，则解码器侧的自适应偏移滤波器81使用缓冲器中的系数副本。
[0237]例如，在编码器侧确定IXU 111的类型EO (类别O的边缘偏移)及其系数，并且在IXU 111开始时，IXU 111的类型和系数被发送到解码器侧。在编码器侧确定IXU 112的类型BI (类别I的带偏移)及其系数，并且在LCU 112开始时IXU 111的类型和系数被发送到解码器侧。在编码器侧确定LCU 113的类型El (类别I的边缘偏移)及其系数，并且在IXU 113开始时IXU 111的类型和系数被发送到解码器侧。在编码器侧确定IXU 114的类型B2 (类别2的带偏移)及其系数，并且在IXU 114开始时IXU 111的类型和系数被发送到解码器侧。
[0238]在解码器侧，自适应偏移滤波器81具有EO(边缘偏移)缓冲器121和BO(带偏移)缓冲器122，并且以IXU为单位执行滤波处理。另外，发送的系数被存储。
[0239]这里，在编码器侧确定IXU 115的类型EO (类别O的边缘偏移)及其系数。类型EO的系数已经在IXU 111开始时发送到解码器侧，并且被存储在解码器侧的自适应偏移滤波器81中包括的EO (边缘偏移)缓冲器121中。
[0240]因此，对于IXU 115，在解码器侧使用EO缓冲器121中的类型EO的系数的副本，而不发送类型EO的系数。注意的是，对于LCU 116，在编码器侧确定无自适应偏移(0FF)，因此不使用系数。
[0241]此外，在编码器侧确定IXU 117的类型EO (类别O的边缘偏移)及其系数。类型EO的系数已经在IXU 111开始时发送到解码器侧，并且被存储在解码器侧的自适应偏移滤波器81中包括的EO (边缘偏移)缓冲器121中。
[0242]因此，对于IXU 117，在解码器侧使用EO缓冲器121中的类型EO的系数的副本，而不发送类型EO的系数。
[0243]如上所述，在相关技术中在帧开始时一批发送的自适应偏移滤波器的参数在各IXU开始时被顺序地发送。因此，鉴于在相关技术中需要具有对应于一帧的容量的缓冲器，可以使用具有对应于LCU的减小容量的缓冲器。
[0244]另外，不发送已经使用的系数，从而发送的系数的数量增加程度减小，这是因发送针对各IXU的系数造成的。
[0245]图10示出划分自适应偏移滤波器的示例。图10的左部示出相关技术的基于四叉树的划分不例，图10的右部不出本技术的基于LCU的划分不例。
[0246]就四叉树结构而言，如图10的左部中所示，图像可以只被分成正方形区域。相比之下，在基于LCU的滤波器中，如图10的右部中所示，图像可以被分成凸形区域或凹型区域。
[0247]事实上，如虚线所指示的，凸形区域由(例如)8X8个IXU和16X16个IXU构成，其中示出相同的类型和相同系数的使用。类似地，如虚线所指示的，凹形区域由(例如)8X8个LCU构成，其中示出相同的类型和相同系数的使用。
[0248]如上所述，以LCU为单位划分区域，从而相比于相关技术中基于四叉树结构进行划分，增加了划分的灵活性。可以根据输入图像的特性执行自适应偏移滤波。
[0249]此外，使自适应偏移滤波器的处理单位与自适应环路滤波器的处理单位匹配，从而允许同时、并行、以流水线方式等执行这两个滤波处理。因此，可以提高处理效率。
[0250][语法的示例]
[0251]图11示出图像编码装置11产生的sao_param()的语法示例的示图。在各个行左侧出现的数字是出于描述目的而给出的行号。
[0252]在图11的示例中，第八行中的sample_adaptive_offset_flag为是否执行自适应偏移滤波的标志。第十行中的sa0_flag_cb指示当它等于I时应用cb的自适应偏移滤波器。第十二行中的sao_flag_cr指示当它等于I时应用cr的自适应偏移滤波器。注意的是，本文中不具体描述 sample_adaptive_offset_flag、sao_flag_cb 和 sao_flag_cr。
[0253]第十八行中的sao_type_idx是指偏移类型。第二十行中的copy_flag指明是否复制先前IXU的sao_type_idx (类型)和sao_offset (系数)。也就是说,是标识在当前IXU被处理之前已经执行了自适应偏移滤波的先前IXU的参数(类型和偏移量)与当前IXU的参数相同的标识数据。换句话讲，此外，copy_flag是标识是否使用先前LCU的参数作为当前IXU的参数的标识数据。换句话讲，此外，copy_flag是标识是否使用先前IXU的参数的副本作为当前LCU的参数的标识数据。
[0254]第二十二行中的copy_idx是指待复制的先前(经处理的)sao_type_idx (类型)和sao_offset(系数)。也就是说，copy_idx是标识就先前CLU内的参数而言指定与当前IXU相同的IXU (待复制)的标识数据。
[0255]第二十五行中的sao_offet是指各类别的偏移(系数)。
[0256][类型索引的示例]
[0257]图12是示出sao_type_idx的示图。在图12的示例中，从左到右地顺序提供sao_type_idx、NumSaoCategory、边缘或带类型。
[0258]sao_type_idx是指示自适应偏移滤波器的类型的索引。NumSaoCategory是指示索引的类别的数量的信息。边缘或带类型是指示索引对应于什么边缘(或带)类型的信息。注意的是，大致上，sao_type_idx是当sao_type_idx的值在I至4的范围内时的边缘偏移(EO), sao_type_idx是当sao_type_idx的值在5和6的范围内时的带偏移(BO)。
[0259]也就是说,如果sao_type_idx的值是O,则NumSaoCategory (类别的数量)是O并且不执行自适应偏移处理。
[0260]如果sao_type_idx的值是1，贝丨J NumSaoCategory (类别的数量)是4并且边缘的类型是图7的部分A中示出的ID O度边缘。如果sao_type_idx的值是2,则NumSaoCategory (类别的数量)是4并且边缘的类型是图7的部分B中示出的ID 90度边缘。如果sao_type_idx的值是3,则NumSaoCategory (类别的数量)是4并且边缘的类型是图7的部分C中示出的ID 135度边缘。如果sao_type_idx的值是4,则NumSaoCategory (类别的数量)是4并且边缘的类型是图7的部分D中示出的ID 45度边缘。
[0261]如果sao_type_idx的值是5,则NumSaoCategory (类别的数量)是16并且带的类型是中心带(图6中的第一组)ο如果sao_type_idx的值是6,贝丨J NumSaoCategory (类别的数量)是16并且带的类型是边带(图6中的第二组)。
[0262]注意的是，虽然在图7的示例中没有示出边缘偏移的二维图案，但也可以通过增大sao_type_idx的值来处理边缘偏移的二维图案。
[0263][自适应偏移滤波器的示例构造]
[0264]图13是示出图1的图像编码装置中的自适应偏移滤波器和无损编码单元的示例构造的框图。
[0265]在图13的示例中，自适应偏移滤波器41被构造成包括类型和偏移确定单元211、偏移处理单元212、图像缓冲器213、系数读取单元214、偏移缓冲器215。自适应偏移滤波器41被构造成还包括参数设置单元216和系数写入单元217。
[0266]无损编码单元26被构造成至少包括语法写入单元221。[0267]去块滤波器31发送的经去块的像素值被输入到类型和偏移确定单元211和偏移处理单元212。类型和偏移确定单元211以LCU为单位确定自适应偏移滤波器的类型和类型的偏移。在这种情况下，举例来说，以LCU为单位计算成本函数，确定其中成本函数最小的对于各LCU而言最佳的类型和偏移。类型和偏移确定单元211将指示所确定类型的类型索引(sao_type_idx)和偏移(sao_offset)供应到偏移处理单元212和系数读取单元214。
[0268]注意的是，偏移(系数)对于边缘偏移而言是系数5，对于带偏移而言是系数9。
[0269]偏移处理单元212使用类型和偏移确定单元211发送的类型索引所指示的类型和偏移，针对各LCU，对去块滤波器31发送的经去块像素值执行自适应偏移滤波处理。偏移处理单元212将经历了偏移处理的像素值供应到图像缓冲器213。
[0270]图像缓冲器213暂时存储经历了偏移处理单元212的偏移处理的像素值，并且在某个定时将像素值供应到自适应环路滤波器42。
[0271]系数读取单元214在偏移缓冲器215中搜索与类型和偏移确定单元211发送的偏移匹配的偏移。注意的是，系数读取单元214检验偏移缓冲器215发送的类型索引所指示的类型的缓冲器(边缘偏移缓冲器或带偏移缓冲器)。
[0272]如果有任何匹配的系数，则系数读取单元214将指示偏移缓冲器215中的匹配系数的存储位置的复制索引(copy_idx)连同类型索引一起供应到参数设置单元216。如果没有匹配系数，则系数读取单元214将偏移和类型索引供应到参数设置单元216。
[0273]偏移缓冲器215具有用于存储边缘偏移的偏移的缓冲器和用于存储带偏移的偏移的缓冲器。例如，用FIFO构造偏移缓冲器215。
[0274]如果复制索引与类型索引一起被供应，则参数设置单元216将复制标志(copy_flag)设置为真。参数设置单元216将复制标志、类型索引和复制索引作为自适应偏移参数供应到语法写入单元221。
[0275]如果复制索引与偏移一起被供应到参数设置单元216，则参数设置单元216将复制标志(copy_flag)设置为假。参数设置单元216将复制标志、类型索引和偏移作为自适应偏移参数供应到语法写入单元221。在这种情况下，参数设置单元216还将类型索引和偏移供应到系数写入单元217，致使偏移被写入偏移缓冲器215中的可用区域。
[0276]系数写入单元217将参数设置单元216发送的偏移写入偏移缓冲器215内的参数设置单元216发送的类型索引所指示的类型的缓冲器中的可用区域之中的接近开始位置的可用区域。注意的是，靠近开始位置的可用区域是具有最低索引的可用区域。
[0277]语法写入单元221以IXU为单位将参数设置单元216发送的自适应偏移参数写入编码流的头部(sao_param),如以上参照(例如)图11描述的。
[0278][编码器侧的自适应偏移滤波处理]
[0279]接下来，将参照图14的流程图描述图13的自适应偏移滤波器41执行的自适应偏移滤波处理。注意的是，这个自适应偏移滤波处理是图2的步骤S23中的处理。
[0280]去块滤波器31发送的经去块像素值被输入类型和偏移确定单元211和偏移处理单元212。在步骤S211中，类型和偏移确定单元211以LCU为单位确定自适应偏移滤波器的类型和该类型的偏移。类型和偏移确定单元211将指示确定类型的类型索引(sa0_type_idx)和偏移(sao_offset)供应到系数读取单元214。
[0281]系数读取单元214在偏移缓冲器215中搜索与类型和偏移确定单元211发送的偏移匹配的偏移。在步骤S212中，系数读取单元214确定在偏移缓冲器215中是否有匹配的偏移。注意的是，系数读取单元214检验偏移缓冲器215发送的类型索引所指示的类型的缓冲器(边缘偏移缓冲器或带偏移缓冲器)。
[0282]如果在步骤S212中确定没有匹配的偏移，则系数读取单元214将偏移和类型索引供应到参数设置单元216.[0283]响应于此，在步骤S213中，参数设置单元216将复制标志(copy_flag)设置为假。
[0284]参数设置单元216还将类型索引和偏移供应到系数写入单元217，并且在步骤S214中，致使执行系数(偏移)写入处理。以下，将参照图15描述这个系数写入处理。
[0285]在步骤S217中，参数设置单元216将复制标志、类型索引和偏移作为自适应偏移参数供应到语法写入单元221，并且致使自适应偏移参数被编码。
[0286]响应于此，在上述图2的步骤S26中，语法写入单元221以IXU为单位将参数设置单元216发送的自适应偏移参数写入编码流的头部(sa0_param)。
[0287]另一方面，如果在步骤S212中确定存在匹配的偏移，则处理前进至步骤S215。
[0288]在步骤S215中，系数读取单元214设置指示偏移缓冲器215中存储匹配的系数的位置的复制索引(copy_idx),并且将复制索引(copy_idx)连同类型索引一起供应到参数设置单兀216。
[0289]响应于此，在步骤S216中，参数设置单元216将复制标志(copy_flag)设置为真。
[0290]然后，参数设置单元216将复制标志、类型索引和复制索引作为自适应偏移参数供应到语法写入单元221，并且致使自适应偏移参数被编码。
[0291]响应于此，在上述图2的步骤S26中，语法写入单元221以IXU为单元将参数设置单元216发送的自适应偏移参数写入编码流的头部(sa0_param)。
[0292]同时,步骤S211中确定的类型索引(sao_type_idx)和偏移(sao_offset)也被供应到偏移处理单元212。
[0293]在步骤S218中，偏移处理单元212执行偏移处理。也就是说，偏移处理单元212使用类型和偏移确定单元211发送的类型索引所指示的类型和偏移，针对各LCU，对去块滤波器31发送的经去块像素值执行自适应偏移滤波处理。经历了自适应偏移滤波的像素值被存储在图像缓冲器213中，并且在某个定时被供应到自适应环路滤波器42。
[0294][系数写入处理]
[0295]接下来，将参照图15的流程图描述图14的步骤S214中的系数写入处理。注意的是，参照图16是为了描述系数写入处理。
[0296]如图16中所示，偏移缓冲器215包括两个缓冲器，也就是说，存储边缘偏移的系数的EO缓冲器215-1和存储带偏移的系数的BO缓冲器215-2。
[0297]EO缓冲器215-1和BO缓冲器215-2从靠近开始(左侧)的位置开始存储系数。在EO缓冲器215-1和BO缓冲器215-2中，标记了复制索引(idx)的位置是其中已经被写入系数的区域，标记了 “空”的位置是可用区域。
[0298]也就是说，在EO缓冲器215-1中，系数已经被写入标记了复制索引(idx) = I的位置、标记了复制索引=2的位置、标记了复制索引=3的位置、标记了复制索引=4的位置。
[0299]例如，在BO缓冲器215-2中，系数已经被写入标记了复制索引(idx) = I的位置和标记了复制索引=2的位置。
[0300]在图15的步骤S231中，系数写入单元217确定参数设置单元216发送的类型索弓I是否是EO (边缘偏移)。
[0301]如果在步骤S231中确定类型索引是EO (边缘偏移)，则在步骤S232中，系数写入单元217选择EO缓冲器215-1。
[0302]如果在步骤S231中确定类型索引不是EO(边缘偏移)，也就是说，类型索引是带偏移，则在步骤S233中，系数写入单元217选择BO缓冲器215-2。
[0303]在步骤S234中，系数写入单元217将sao_off set (偏移)写入所选择缓冲器中的靠近开始位置的可用区域。
[0304]例如，如图16中所示,如果类型索引(sao_type_idx)是5,则类型索引指示带偏移。因此，在步骤S233中，选择BO缓冲器215-2。然后，在步骤S234中，带有类型索引5的Sa0_0fTSet (偏移)被写入与标记了复制索引=2的位置右侧相邻的位置。也就是说，与标记了复制索引=2的位置右侧相邻的位置是可用区域之中的靠近开始位置的区域。
[0305][自适应偏移滤波的示例构造]
[0306]图17是示出图3的图像解码装置中的无损解码单元和自适应偏移滤波器的示例构造的框图。
[0307]在图17的示例中，无损解码单元62被构造成至少包括语法读取单元251。
[0308]自适应偏移滤波器81被构造成包括参数接收单元261、系数读取单元262、偏移缓冲器263、系数写入单元264、偏移处理单元265和图像缓冲器266。
[0309]语法读取单元251从编码流的头部读取语法，并且将语法中的自适应偏移参数供应到参数接收单元261。
[0310]注意的是，另外，如以上参照编码器侧描述的，如果复制标志是真，则自适应偏移参数包括复制标志、类型索引和复制索引。如果复制标志是假，则自适应偏移参数包括复制标志、类型索引和偏移。
[0311]参数接收单元261接收语法读取单元251供应的自适应偏移参数，并且将自适应偏移参数供应到系数读取单元262。
[0312]系数读取单元262确定类型索引是否是O。如果类型索引是0，则系数读取单元262不致使偏移处理单元265执行自适应偏移滤波。
[0313]如果复制标志是真，则系数读取单元262从类型索引所指示的类型的缓冲器的复制索引所指示的位置读取偏移。系数读取单元262将读取的偏移和类型索引供应到偏移处理单元265。
[0314]如果复制标志是假，则系数读取单元262将偏移和类型索引供应到偏移处理单元265。在这种情况下，系数读取单元262还将偏移和类型索引供应到系数读取单元264并且致使偏移被写入偏移缓冲器263。
[0315]偏移缓冲器263具有与图13的偏移缓冲器215的构造类似的构造。也就是说，偏移缓冲器263具有用于存储边缘偏移的偏移的缓冲器和用于存储带偏移的偏移的缓冲器。例如，用FIFO构造偏移缓冲器263。
[0316]系数写入单元264具有与图13的系数写入单元217的构造基本上类似的构造。也就是说，系数写入单元264将系数读取单元262发送的偏移写入偏移缓冲器263内的系数读取单元262发送的类型索引所指示的类型的缓冲器中的可用区域之中的靠近开始位置的可用区域。
[0317]偏移处理单元265具有与图13的偏移处理单元212的构造基本上类似的构造。也就是说，偏移处理单元265使用系数读取单元262发送的类型索引所指示的类型和偏移，针对各IXU，对去块滤波器31发送的经去块像素值执行自适应偏移滤波处理。偏移处理单元265将经历了偏移处理的像素值供应到图像缓冲器266。
[0318]注意的是，如果类型索引是0，则偏移处理单元265将去块滤波器66发送的经滤波像素原样地供应到图像缓冲器266。也就是说，在这种情况下，不执行自适应偏移滤波处理。
[0319]图像缓冲器266具有与图13的图像缓冲器213的构造基本上类似的构造。也就是说，图像缓冲器266暂时存储经历了偏移处理单元265的偏移处理的像素值，并且在某个定时将像素值供应到自适应环路滤波器82。
[0320][解码器侧的自适应偏移滤波处理]
[0321]接下来，将参照图18的流程图描述图17的自适应偏移滤波器81执行的自适应偏移滤波处理。注意的是，这个自适应偏移滤波处理是图4的步骤S59中的处理。
[0322]在图4的步骤S52中，当编码流将被解码时，语法读取单元251从编码流的头部读取语法，并且将语法中的自适应偏移参数供应到参数接收单元261。
[0323]在步骤S251中，参数接收单元261接收语法读取单元251供应的自适应偏移参数，并且将自适应偏移参数供应到系数读取单元262。
[0324]在步骤S252中，系数读取单元262确定类型索引(sao_type_idx)是否是O。
[0325]如果在步骤S252中确定类型索引是0，则自适应偏移滤波处理结束。也就是说，在这种情况下，不执行自适应偏移滤波处理，偏移处理单元265将去块滤波器66发送的经滤波像素原样地供应到图像缓冲器266。
[0326]如果在步骤S252中确定类型索引不是0，则在步骤S253中，系数读取单元262确定复制标志(copy_flag)是否是真。
[0327]如果在步骤S253中确定复制标志是真，则在步骤S254中，系数读取单元262执行系数(偏移)读取处理。以下，将参照图19描述这个系数读取处理。
[0328]通过上述处理，从类型索引所指示的类型的缓冲器的复制索引所指示的位置读取偏移。系数读取单元262将读取的偏移和类型索引供应到偏移处理单元265。
[0329]另一方面，如果在步骤S253中确定复制标志不是真，则系数读取单元262将参数接收单元261发送的偏移和类型索引供应到偏移处理单元265.[0330]然后，在步骤S255中，系数读取单元262还将参数接收单元261发送的偏移和类型索引供应到系数写入单元264，致使执行针对偏移缓冲器263的系数写入处理。这个系数写入处理是与以上参照图15描述的系数写入处理基本上相同的处理，因此省略对其的描述。
[0331]在步骤S256中，偏移处理单元265使用系数读取单元262发送的类型索引所指示的类型和偏移，针对各LCU，对去块滤波器66发送的经去块像素值执行自适应偏移滤波处理。偏移处理单元265将经历了偏移处理的像素值供应到图像缓冲器266。
[0332][系数读取处理][0333]接下来，将参照图19的流程图描述图18的步骤S254中的系数读取处理。注意的是，参照图20是为了描述系数读取处理。
[0334]如图20中所示，偏移缓冲器263包括两个缓冲器，也就是说，存储边缘偏移的系数的EO缓冲器263-1和存储带偏移的系数的BO缓冲器263-2。
[0335]EO缓冲器263-1和BO缓冲器263_2从靠近开始(左侧)的位置开始存储系数。在EO缓冲器263-1和BO缓冲器263-2中，标记了复制索引(idx)的位置是其中已经被写入系数的区域，其它位置是可用区域。
[0336]也就是说，在EO缓冲器263-1中，系数已经被写入标记了复制索引(idx) = I的位置、标记了复制索引=2的位置、标记了复制索引=3的位置、标记了复制索引=4的位置。
[0337]例如，在BO缓冲器263-2中，系数已经被写入标记了复制索引(idx) = I的位置、标记了复制索引=2的位置、标记了复制索引=3的位置、标记了复制索引=4的位置。
[0338]在图19的步骤S271中，系数读取单元262确定参数接收单元261发送的类型索弓I是否是EO (边缘偏移)。
[0339]如果在步骤S271中确定类型索引是EO (边缘偏移)，则在步骤S272中，系数读取单元262选择EO缓冲器263-1。
[0340]如果在步骤S271中确定类型索引不是EO(边缘偏移)，也就是说，类型索引是带偏移，则在步骤S273中，系数读取单元262选择BO缓冲器263-2。
[0341]在步骤S274中，系数读取单元262从所选择缓冲器中的复制索引(copyjdx)所指示的位置读取sao_offet (偏移)。
[0342]例如，如图20中所示,如果类型索引(sao_type_idx)是5,则类型索引指示带偏移。因此，在步骤S273中，选择BO缓冲器263-2。然后，在步骤S274中，从标记了复制索引=3的位置读取sao_offet (偏移)。
[0343]如上所述，以作为最大编码单位的LCU为单位执行自适应偏移滤波，在相关技术中在帧开始时一批发送的自适应偏移滤波器的参数在各LCU开始被顺序地发送。因此，鉴于在相关技术中需要具有对应于一帧的容量的缓冲器，可以使用具有对应于LCU的减小容量的缓冲器。
[0344]另外，复制标志和复制索引被发送到解码器侧，不发送已经使用的系数，从而发送的系数的数量增加程度减小，这是因发送针对各IXU的系数造成的。
[0345]另外，可以以相同IXU为单位执行自适应偏移滤波和自适应环路滤波。因此，可以提闻处理效率。
[0346]另外，相比于相关技术中基于四叉树结构，以LCU为单位划分区域，从而提高了划分的灵活性。可以根据输入图像的特性执行自适应偏移滤波。
[0347]注意的是，在以上描述中，举例来说，用FIFO构造偏移缓冲器215和偏移缓冲器263。然而，FIFO不是以限制含义提供的。也就是说，偏移缓冲器215和偏移缓冲器263的构造可以是任何其它缓冲器构造，只要在编码器侧和解码器侧使用相同构造即可。
[0348]在上文中，基本上使用HEVC方案作为编码方案。然而，本公开不限于此，可以应用至少包括自适应偏移滤波作为环内滤波的任何其它编码方案/解码方案。
[0349]注意的是，本公开可以应用于用于经由网络介质(诸如，卫星广播、有线电视、互联网或移动电话)接收(例如)像HEVC方案等一样使用正交变换(诸如，离散余弦变换和运动补偿)进行压缩的图像信息(比特流)的图像编码装置和图像解码装置。本公开还可以应用于用于对存储介质(诸如，光盘、磁盘和闪存)进行处理的图像编码装置和图像解码
装直。
[0350]<4.第二实施例>
[0351][对于多视点图像编码/多视点图像解码的应用]
[0352]上述的一系列处理可以应用于多视点图像编码和多视点图像解码。图21示出多视点图像编码方案的示例。
[0353]如图21中所示，多视点图像包括位于多个视点的图像，多个视点中的某个视点的图像被指定为基础视点的图像。除了基础视点的图像之外的图像被作为非基础视点的图像。
[0354]在执行如图21中一样的多视点图像编码的情况下，可以在每个视点(同一视点)中设置自适应偏移滤波参数(复制标志、复制索引等)。另外，在各视点(不同视点)中，还可以共享另一个视点中设置的自适应偏移滤波参数。
[0355]在这种情况下，在至少一个非基础视点中使用在基础视点中设置的自适应偏移滤波参数。另选地，例如，在非基础视点(View_id= i)中设置的自适应偏移滤波参数用于基础视点和非基础视点(view_id = j)中的至少一个。
[0356]因此，可以提高处理效率。
[0357][多视点图像编码装置]
[0358]图22是示出用于执行上述的多视点图像编码操作的多视点图像编码装置的示图。如图22中所示，多视点图像编码装置600包括编码单元601、编码单元602和多路复用单元603。
[0359]编码单元601编码基础视点的图像，以产生经编码的基础视点图像流。编码单元602编码非基础视点的图像，以产生经编码的非基础视点图像流。多路复用单元603多路复用由编码单元601产生的经编码的基础视点图像流和由编码单元602产生的经编码的非基础视点图像流，以产生经编码的多视点图像流。
[0360]图像编码装置11 (图1)可以用于多视点图像编码装置600的编码单元601和编码单元602。在这种情况下，多视点图像编码装置600设置由编码单元601设置的自适应偏移滤波参数和由编码单元602设置的自适应偏移滤波参数，并且发送设置的自适应偏移滤波参数。
[0361]注意的是，如上所述，由编码单元601设置的自适应偏移滤波参数可以被设置成被编码单元601和编码单元602共享和使用，并且可以被发送。反过来，由编码单元602总的设置的自适应偏移滤波参数可以被设置成被编码单元601和编码单元602共享和使用，并且可以被发送。
[0362][多视点图像解码装置]
[0363]图23是示出用于执行上述的多视点图像解码操作的多视点图像解码装置的示图。如图23中所示，多视点图像解码装置610包括解复用单元611、解码单元612和解码单元 613。
[0364]解复用单元611解复用其中多路复用了经编码的基础视点图像流和经编码的非基础视点图像流的经编码多视点图像流，并且提取经编码的基础视点图像流和经编码的非基础视点图像流。解码单元612解码解复用单元611所提取的经编码的基础视点图像流，以得到基础视点的图像。解码单元613解码解复用单元611所提取的经编码的非基础视点图像流，以得到非基础视点的图像。
[0365]图像解码装置51 (图3)可以用于多视点图像解码装置610的解码单元612和解码单元613中的每个。在这种情况下，多视点图像解码装置610使用由编码单元601设置并且经解码单元612解码的自适应偏移滤波参数和由编码单元602设置并且经解码单元613解码的自适应偏移滤波参数执行处理。
[0366]注意的是，如上所述，在一些情况下，由编码单元601 (或编码单元602)设置的自适应偏移滤波参数可以被设置成被编码单元601和编码单元602共享和使用，并且可以被发送。在这种情况下，在多视点图像解码装置610中，使用由编码单元601 (或编码单元602)设置并且经解码单元612 (或解码单元613)解码的自适应偏移滤波参数执行处理。
[0367]<5.第三实施例>
[0368][对于分层图像编码/分层图像解码的应用]
[0369]上述一系列处理可以应用于分层图像编码和分层图像解码。图24示出分层图像编码方案的示例。
[0370]如图24中所示，分层图像包括多个层(分辨率)的图像，多个分辨率中的某个分辨率的图像被指定为基础层的图像。除了基础层的图像之外的图像被作为非基础层(也被称为增强层)的图像处理。
[0371]在执行如图24中一样的分层图像编码(空间分级)的情况下，可以在每一层(同一层)中设置自适应偏移滤波参数。另外，在各层(不同层)中，另一个层中设置的自适应偏移滤波参数也可以被共享。
[0372]在这种情况下，在基础层中设置的自适应偏移滤波参数用于至少一个非基础层。可供选择地，例如，在非基础层(layer_id = i)中设置的自适应偏移滤波参数用于基础层和非基础层(layer_id = j)中的至少一个。
[0373]因此，可以提高处理效率。
[0374][分层图像编码装置]
[0375]图25是示出用于执行上述分层图像编码操作的分层图像编码装置的示图。如图25中所示，分层图像编码装置620包括编码单元621、编码单元622和多路复用单元623。
[0376]编码单元621编码基础层的图像，以产生经编码的基础层图像流。编码单元622编码非基础层的图像，以产生经编码的非基础层图像流。多路复用单元623多路复用编码单元621产生的经编码的基础层图像流和编码单元622产生的经编码的非基础层图像流，以产生经编码的分层图像流。
[0377]图像编码装置11(图1)可以用于分层图像编码装置620的编码单元621和编码单元622中的每个。在这种情况下，分层图像编码装置620设置由编码单元621设置的自适应偏移滤波参数和由编码单元622设置的自适应偏移滤波参数，并且发送设置的自适应偏移滤波参数。
[0378]注意的是，如上所述，由编码单元621设置的自适应偏移滤波参数可以被设置成被编码单元621和编码单元622共享和使用，并且可以被发送。反过来，由编码单元622设置的自适应偏移滤波参数可以被设置成被编码单元621和编码单元622共享和使用，并且可以被发送。
[0379][分层图像解码装置]
[0380]图26是示出用于执行上述的分层图像解码操作的分层图像解码装置的示图。如图26中所示，分层图像解码装置630包括解复用单元631、解码单元632和解码单元633。
[0381]解复用单元631解复用其中多路复用了经编码的基础层图像流和经编码的非基础层图像流的经编码多层图像流，并且提取经编码的基础层图像流和经编码的非基础层图像流。解码单元632解码由解复用单元631所提取的经编码的基础层图像流，以得到基础层的图像。解码单元633解码由解复用单元631所提取的经编码的非基础层图像流，以得到非基础层的图像。
[0382]图像解码装置51 (图3)可以用于分层图像解码装置630的解码单元632和解码单元633中的每个。在这种情况下，分层图像解码装置630使用由编码单元621设置并且经解码单元632解码的自适应偏移滤波参数和由编码单元622设置并且经解码单元633解码的自适应偏移滤波参数执行处理。
[0383]注意的是，如上所述，在一些情况下，由编码单元621 (或编码单元622)设置的自适应偏移滤波参数可以被设置成被编码单元621和编码单元622共享和使用，并且可以被发送。在这种情况下，在分层图像解码装置630中，使用由编码单元621 (或编码单元622)设置并且经解码单元632 (或解码单元633)解码的自适应偏移滤波参数执行处理。
[0384]〈6.第四实施例〉
[0385][计算机的示例构造]
[0386]上述的一系列处理可以由硬件执行或者可以由软件执行。如果这一系列处理将由软件执行，则构成软件的程序被安装在计算机中。这里，计算机的示例包括装入专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机(例如，通用个人计算机)。
[0387]图27是示出按照程序执行上述一系列处理的计算机的硬件的示例构造的框图。
[0388]在计算机800中，CPU (中央处理单元)801、R0M(只读存储器)802和RAM(随机存取存储器)803经由总线804相互连接。
[0389]输入/输出接口 805进一步连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接到输入/输出接口 805。
[0390]输入单元806包括键盘、鼠标、麦克风等。输出单元807包括显示器、扬声器等。存储单元808包括硬盘、非易失性存储器等。通信单元809包括网络接口等。驱动器810驱动可移动介质811 (诸如，磁盘、光盘、磁-光盘或半导体存储器)。
[0391]在具有上述构造的计算机中，CPU801通过输入/输出接口 805和总线804将(例如)存储单元808中存储的程序加载到RAM 803中，并且执行程序。因此，执行上述的一系列处理。
[0392]计算机800(CPU 801)执行的程序可以以被记录在可移动介质811 (例如，封装介质)上的形式提供。另外，也可以通过有线或无线传输介质(诸如，局域网、互联网或数字卫星广播)提供程序。
[0393]在计算机中，可移动介质811被设置在驱动器810中，从而允许通过输入/输出接口 805将程序安装在存储单元808中。另外，通信单元809可以通过有线或无线传输介质接收程序，并且程序可以被安装在存储单元808中。可供选择地，程序可以被预先安装在R0M802或存储单元808中。
[0394]注意的是，计算机执行的程序可以以本文中所述的次序按时序方式执行处理操作的程序，或者可以是并行地或者在必要时刻(诸如，当被调用时)执行处理操作的程序。
[0395]另外，如本文使用的，描述被存储在记录介质中的程序的步骤当然地包括以所述的次序按时序方式执行的处理操作和并行地或单独地执行而不一定按时序方式执行的处
理操作。
[0396]此外，如本文使用的，术语“系统”是指包括多个装置(设备)的整个设备。
[0397]另外，以上被描述为单个装置(或处理单元)的结构可以被分成多个装置(或处理单元)。相反地，以上被描述为多个装置(或处理单元)的结构可以被组合成单个装置(或处理单元)。另外，当然地，可以在各装置(或各处理单元)的构造中添加除了上述构造之外的构造。另外，如果就整个系统而言装置(或处理单元)具有基本上相同的构造和/或操作，则某个装置(或处理单元)的构造的部分可以被包括在另一个装置(或另一个处理单元)的构造中。换句话讲，本技术的实施例不限于上述实施例，在不脱离本技术的范围的情况下，可以进行各种修改。
[0398]根据上述实施例的图像编码装置和图像解码装置可以应用于各种电子设备(诸如，用于经由卫星广播、诸如有线TV的有线广播或互联网传递数据或用于经由蜂窝通信相对终端传递数据的发送器或接收器)、用于将图像记录在介质(诸如，光盘、磁盘和闪存)上的记录设备、用于从这种存储介质再现图像的再现设备。下文中，将描述四种示例性应用。
[0399]<7.示例性应用>
[0400][第一示例性应用:电视接收器]
[0401]图28示出应用上述实施例的电视设备的示意性构造的示例。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 909、控制单元910、用户接口 911和总线912。
[0402]调谐器902从经由天线901接收的广播信号中提取所需频道的信号，解调所提取的信号。然后，调谐器902将通过解调得到的经编码的比特流输出到解复用器903。换句话讲，调谐器902用作用于接收包括经编码图像的编码流的电视设备900中的发送装置。
[0403]解复用器903从经编码的比特流中解复用将被观看的节目的视频流和音频流，并且将解复用的流输出到解码器904。另外，解复用器903从经编码的比特流中提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据供应到控制单元910。注意的是，如果经编码的比特流已经被加扰，则解复用器903可以解扰经编码的比特流。
[0404]解码器904解码从解复用器903输入的视频流和音频流。然后，解码器904将通过解码处理得到的视频数据输出到视频信号处理单元905。解码器904还将通过解码处理产生的音频数据输出到音频信号处理单元907。
[0405]视频信号处理单元905再现从解码器904输入的视频数据，并且致使在显示单元906上显示视频。视频信号处理单元905还可以致使在显示单元906上显示经由网络供应的应用画面。视频信号处理单元905还可以根据设置对视频数据执行另外的处理(诸如，去噪声)。另外，视频信号处理单元905还可以产生GUI (图形用户界面)图像(诸如，菜单、按钮或光标)，并且将产生的图像叠加在输出图像上。[0406]显示单元906被视频信号处理单元905供应的驱动信号驱动，并且在显示装置(诸如，液晶显示器、等离子体显示器、或OELD (有机电致发光显示器)(有机EL显示器))的视频表面上显示视频或图像。
[0407]音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换、放大等的再现处理，并且致使从扬声器908输出音频。音频信号处理单元907还可以对音频数据执行另外的处理(诸如，去噪声)。
[0408]外部接口 909是用于将电视设备900连接到外部装置或网络的接口。例如，经由外部接口 909接收的视频流或音频流可以被解码器904解码。换句话讲，外部接口 909还用作用于接收包括经编码图像的编码流的电视设备900中的发送装置。
[0409]控制单元910包括处理器(诸如，CPU)和存储器(诸如，RAM和ROM)。存储器存储CPU将执行的程序、程序数据、EPG数据、经由网络获取的数据等。存储器中存储的程序在(例如)电视设备900启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 911输入的操作信号控制电视设备900的操作。
[0410]用户接口 911连接到控制单元910。用户接口 911包括(例如)允许用户操作电视设备900的按钮和开关、用于远程控制信号的接收单元等。用户接口 911检测用户借助这些组件进行的操作，以产生操作信号，并且将所产生的操作信号输出到控制单元910。
[0411]总线912用于将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口 909和控制单元910相互连接。
[0412]在具有上述构造的电视设备900中，解码器904具有根据上述实施例的图像解码装置的功能。因此，当电视设备900解码图像时，可以提高处理效率。
[0413][第二示例性应用:移动电话]
[0414]图29示出应用上述实施例的移动电话的示意性构造的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927，多路复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
[0415]天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933用于将通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
[0416]移动电话920在包括语音通话模式、数据通信模式、图像拍摄模式和视频电话模式的各种操作模式下执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像和数据记录的操作。
[0417]在语音通话模式下，麦克风925产生的模拟音频信号被供应到音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对经转换的音频数据执行A/D转换和压缩。音频编解码器923将经压缩的音频数据输出到通信单元922。通信单元922编码和解调音频数据，产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送到基站(未示出)。另外，通信单元922放大经由天线921接收的无线电信号，并且对经放大信号执行频率转换，以获取接收信号。然后，通信单元922解调和解码接收信号以产生音频数据，并且将产生的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据，并且执行D/A转换，以产生模拟音频信号。然后，音频编解码器923将产生的音频信号输出到扬声器924,以致使输出声音。
[0418]此外，在数据通信模式下，例如，控制单元931根据用户借助操作单元932进行的操作，产生形成电子邮件的文本数据。另外，控制单元931致使在显示单元930上显示文本。控制单元931还根据用户借助操作单元932发出的发送指令，产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922编码并且调制电子邮件数据，以产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送到基站(未示出)。另夕卜，通信单元922放大经由天线921接收的无线电信号，并且对经放大信号执行频率转换，以获取接收信号。然后，通信单元922解调并且解码接收信号以恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制单元931。控制单元931致使在显示单元930上显示电子邮件的内容，并且还致使电子邮件数据被存储在记录/再现单元929的存储介质中。
[0419]记录/再现单元929包括所需的可读/可写存储介质。例如，存储介质可以(例如)是内置存储介质(诸如，RAM或闪存)或者外部存储介质(诸如，硬盘、磁盘、磁-光盘、光盘、USB (未分配空间位图)存储器、或存储卡)。
[0420]此外，在图像拍摄模式下，例如，相机单元926拍摄对象的图像以产生图像数据，并且将产生的图像数据输出到图像处理单元927。图像处理单元927编码从相机单元926输入的图像数据，并且致使编码流被存储在记录/再现单元929的存储介质中。
[0421]此外，在视频电话模式下，例如，多路复用/解复用单元928多路复用经图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并且将经多路复用的流输出到通信单元922。通信单元922编码并且调制流，以产生发送信号。然后，通信单元922通过天线921将产生的发送信号发送到基站(未示出)。另外，通信单元922放大通过天线921接收的无线电信号，并且对经放大信号执行频率转换，以获取接收信号。发送信号和接收信号可以包括经编码的比特流。然后，通信单元922解调和解码接收信号以恢复流，并且将恢复的流输出到多路复用/解复用单元928。多路复用/解复用单元928从输入流中解复用视频流和音频流，并且将视频流输出到图像处理单元927并且将音频流输出到音频编解码器923。图像处理单元927解码视频流，以产生视频信号。视频数据被供应到显示单元930，并且通过显示单元930显示一系列图像。音频编解码器923扩展音频流，并且执行D/A转换，以产生模拟音频信号。然后，音频编解码器923将产生的音频信号供应到扬声器924，以致使输出音频。
[0422]在具有上述构造的移动电话920中，图像处理单元927具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当移动电话920编码和解码图像时，可以提高处
理效率。
[0423][第三示例性应用:记录/再现设备]
[0424]图30示出应用上述实施例的记录/再现设备的示意性构造的示例。记录/再现设备940编码(例如)接收到的广播节目的音频数据或视频数据，并且将经编码的音频数据和视频数据记录在记录介质上。另外，记录/再现设备940还可以编码(例如)从另一个设备获取的音频数据和视频数据，并且将经编码的音频数据和视频数据记录在记录介质上。此外，记录/再现设备940根据(例如)用户发出的指令使用监视器和扬声器再现被记录在记录介质上的数据。在这种情况下，记录/再现设备940解码音频数据和视频数据。[0425]记录/再现设备940包括调谐器941、外部接口 942、编码器943、HDD (硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD (屏幕上显示)948、控制单元949和用户接口 950。
[0426]调谐器941从经由天线(未示出)接收的广播信号中提取关于所需频道的信号，并且解调提取的信号。然后，调谐器941将通过解调得到的经编码的比特流输出到选择器946。换句话讲，调谐器941用作记录/再现设备940中的发送装置。
[0427]外部接口 942是用于将记录/再现设备940连接到外部装置或网络的接口。例如，外部接口 942可以是(例如)IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口 942接收的视频数据和音频数据被输入到编码器943。换句话讲，外部接口 942用作记录/再现设备940中的发送装置。
[0428]如果从外部接口 942输入的视频数据和音频数据还没有被编码，则编码器943编码视频数据和音频数据。然后，编码器943将经编码的比特流输出到选择器946。
[0429]HDD 944将包括经压缩的内容数据(诸如，视频和音频、各种节目和其它数据)的经编码的比特流记录到内部硬盘上。另外，在再现视频图像和音频时，HDD 944从硬盘读取上述数据。
[0430]盘驱动器945将数据记录在其内设置的记录介质上并且从该记录介质读取数据。例如，设置在盘驱动器945内的该记录介质可以是(例如)DVD盘(诸如，DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)、Blue-ray (注册商标)盘等。
[0431]选择器946在记录视频和音频时选择从调谐器941或编码器943输入的经编码的比特流，并且将所选择的经编码比特流输出到HDD944或盘驱动器945。在再现视频和音频时，选择器946将从HDD944或盘驱动器945输入的经编码的比特流输出到解码器947。
[0432]解码器947解码经编码的比特流，以产生视频数据和音频数据。然后，解码器947将产生的视频数据输出到OSD 948。解码器947还将产生的音频数据输出到外部扬声器。
[0433]OSD 948再现从解码器947输入的视频数据，并且显示视频。另外，OSD 948还可以将⑶I图像(诸如，菜单、按钮或光标)叠加在将被显示的视频上。
[0434]控制单元949包括处理器(诸如，CPU)和存储器(诸如，RAM或ROM)。存储器存储将由CPU执行的程序、程序数据等。存储器中存储的程序在(例如)记录/再现设备940启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 950输入的操作信号控制记录/再现设备940的操作。
[0435]用户接口 950连接到控制单元949。用户接口 950包括(例如)允许用户操作记录/再现设备940的按钮和开关、用于远程控制信号的接收单元等。用户接口 950检测用户借助上述组件进行的操作，以产生操作信号，并且将产生的操作信号输出到控制单元949。
[0436]在具有上述构造的记录/再现设备940中，编码器943具有根据上述实施例的图像编码装置的功能。另外，解码器947具有根据上述实施例的图像解码装置的功能。因此，当记录/再现设备940编码和解码图像时，可以提高处理效率。
[0437][第四示例性应用:成像设备]
[0438]图31示出应用上述实施例的图像设备的示意性构造的示例。成像设备960拍摄对象的图像以产生图像数据，编码图像数据并且将经编码的图像数据记录在记录介质上。
[0439]成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口 966、存储器967、介质驱动器968、0SD 969、控制单元970、用户接口 971和总线972。
[0440]光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口 971连接到控制单元970。总线972用于将图像处理单元964、外部接口 966、存储器967、介质驱动器968、OSD 969和控制单元970相
互连接。
[0441]光学块961包括聚焦镜头、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器(诸如，CCD(电荷耦合器件)或CMOS (互补型金属氧化物半导体)图像传感器)，并且通过执行光电转换将成像表面上形成的光学图像转换成用作电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。
[0442]信号处理单兀963对从成像单兀962输入的图像信号执行各种相机信号处理操作(诸如，拐点校正、伽玛校正、颜色校正)。信号处理单元963将经历了相机信号处理操作的图像数据输出到图像处理单元964。
[0443]图像处理单元964编码从信号处理单元963输入的图像数据，以产生经编码的数据。然后，图像处理单元964将产生的经编码数据输出到外部接口 966或介质驱动器968。另外，图像处理单元964解码从外部接口 966或介质驱动器968输入的经编码数据，以产生图像数据。然后，图像处理单元964将产生的图像数据输出到显示单元965。另外，图像处理单元964还可以将从信号处理单元963输入的图像数据输出到显示单元963，以致使显示图像。另外，图像处理单元964还可以将从OSD 969获取的显示数据叠加在将被输出到显示单元965的图像上。
[0444]OSD 969产生⑶I图像(诸如，菜单、按钮或光标)，并且将产生的图像输出到图像处理单元964。
[0445]外部接口 966被形成为(例如)USB输入/输出端子。外部接口 966 (例如)在打印图像时将成像设备960连接到打印机。如有必要，驱动器也连接到外部接口 966。可移动介质(诸如，磁盘或光盘)被设置在驱动器内，从可移动介质读取的程序可以被安装在成像设备960中。另外，外部接口 966也可以被形成为将连接到网络(诸如，LAN或互联网)的网络接口。换句话讲，外部接口 966用作成像设备960中的发送装置。
[0446]将被设置在介质驱动器968内的记录介质可以(例如)是可读/可写可移动介质(诸如，磁盘、磁-光盘、光盘或半导体存储器)。另外，记录介质可以被固定地附接于介质驱动器968，并且可以形成内置的硬盘驱动器或非便携式的存储单元(诸如，SSD (固态驱动器))。
[0447]控制单元970包括处理器(诸如，CPU)和存储器(诸如，RAM和ROM)。存储器存储将由CPU执行的程序、程序数据等。存储器中存储的程序在(例如)成像设备960启动时被CPU读取和执行。CPU执行程序，以根据(例如)从用户接口 971输入的操作信号控制成像设备960的操作。
[0448]用户接口 971连接到控制单元970。用户接口 971包括(例如)允许用户操作成像设备960的按钮、开关等。用户接口 971检测用户借助上述组件进行的操作，以产生操作信号，并且将产生的操作信号输出到控制单元970。[0449]在具有上述结构的成像设备960中，图像处理单元964具有根据上述实施例的图像编码装置和图像解码装置的功能。因此，当成像设备960编码和解码图像时，可以提高处
理效率。
[0450][8.分级编码的示例性应用]
[0451][第一系统]
[0452]接下来，将描述使用以上参照图24至图26描述的被分级编码(分层级编码)的分级经编码数据的具体示例。分级编码用于(例如)要发送的数据，如图32中示出的示例
中一样。
[0453]在图32中示出的数据传输系统1000中，分发服务器1002读取经分级编码的数据存储单元1001中存储的经分级编码数据，并且经由网络1003将经分级编码数据发布于终端装置(诸如，个人计算机1004、AV装置1005、平板装置1006和移动电话1007)。
[0454]在这种情况下，分发服务器1002按照终端装置的性能、通信环境等选择具有所需质量的经编码数据，并且发送所选择的经编码数据。即使分发服务器1002发送质量比所需更高的数据，终端装置也不能够一直得到高质量图像，会造成延迟或上溢。另外，这种数据会占据比所需更大的通信带宽，或者会增加比所需更大的终端装置上的负载。反过来，即使分发服务器1002发送质量比所需低的数据，终端装置不能够得到具有足够质量的图像。因此，分发服务器1002在必要时读取经分级编码的数据存储单元1001中存储的经分级编码数据作为质量适于终端装置性能、通信环境等的经编码数据，并且发送读取的经编码数据。
[0455]例如，假设经分级编码数据存储单元1001存储被分级编码的经分级编码数据(BL+EL)1011。经分级编码数据(BL+EL) 1011是包括基础层和增强层的经编码数据，并且是被解码以得到基础层的图像和增强层的图像的数据。
[0456]分发服务器1002按照发送数据的终端装置的性能、通信环境等选择合适的层，并且读取该层的数据。例如，分发服务器1002从经分级编码数据存储单元1001读取高质量经分级编码数据(BL+EL) 1011，并且将读取的经分级编码数据(BL+EL) 1011原样地发送到具有高处理能力的装置(即，个人计算机1004或平板装置1006)。相比之下，例如，分发服务器1002从经分级编码数据(BL+EL) 1011中提取基础层的数据，并且将提取的基础层的数据发送到具有低处理能力的装置(即，AV装置1005和移动电话1007)，因为经分级编码数据(BL) 1012具有与经分级编码数据(BL+EL) 1011相同的内容，但具有比经分级编码数据(BL+EL)1011低的质量。
[0457]以此方式使用经分级编码数据有助于调节数据量，从而抑制延迟或上溢的出现并且抑制终端装置或通信介质上的负载不必要地增大。此外，，经分级编码数据(BL+EL)1011对于不同层的冗余减小，因此具有比各个层的经独立编码数据的数据更少量的数据。因此，可以更有效地利用经分级编码数据存储单元1001的存储区。
[0458]注意的是，由于可应用各种装置(诸如，个人计算机1004、AV装置1005、平板装置1006和移动电话1007)，因此对于不同装置，终端装置的硬件性能是不同的。另外，由于终端装置可以执行各种应用，因此应用的软件能力会变化。此外，用作通信介质的网络1003可以被实现为可以是有线、无线或这二者的任何通信线网络(诸如，互联网和LAN(局域网))，并且数据传输能力不同。这个性能和能力会根据其它通信等而不同。
[0459]因此，在开始发送数据之前，分发服务器1002可以与将被发送数据的终端装置通信，并且可以得到关于终端装置的能力(诸如，终端装置的硬件性能或终端装置执行的应用(软件)的性能)的信息，还得到关于通信环境(诸如，网络1003的可用带宽)的信息。另外，分发服务器1002可以基于得到的信息来选择合适的层。
[0460]注意的是，终端装置可以提取层。例如，个人计算机1004可以解码发送的经分级编码数据(BL+EL) 1011，并且显示基础层的图像或增强层的图像。可供选择地，例如，个人计算机1004可以从发送的经分级编码数据(BL+EL)1011中提取基础层的经分级编码数据(BL) 1012，存储所提取的经分级编码数据(BL) 1012，将所提取的经分级编码数据(BL) 1012传递到另一个装置，或者解码所提取的经分级编码数据(BL) 1012以显示基础层的图像。
[0461]事实上，经分级编码数据存储单元1001的数量、分发服务器1002的数量、网络1003的数量和终端装置的数量可以是任意的。另外，虽然描述了分发服务器1002将数据发送到终端装置的示例，但使用的示例不限于此。数据传输系统1000可以用于当将经分级编码的经编码数据发送到终端装置的同时根据终端装置的能力、通信环境等选择并且发送合适层的任何系统中。
[0462]另外，本技术还可以按应用于以上参照图24至图26描述的分层级编码和分层级解码类似的方式应用于如上所述的图32中示出的数据传输系统1000，从而实现与以上参照图24至图26描述的优点类似的优点。
[0463][第二系统]
[0464]如图33中示出的示例中一样，分级编码也用于(例如)经由多个通信介质进行的传输。
[0465]在如图33中所示的数据传输系统1100中，广播站1101经由地面广播111发送基础层的经分级编码数据(BL) 1121，。广播站1101还经由可以是有线、无线或这二者的通信网络形成的所需网络1112发送(例如，包格式化并且发送)增强层的经分级编码数据(EL)1122。
[0466]终端装置1102具有用于从广播站1101接收地面广播1111的功能，并且接收经由地面广播1111发送的基础层的经分级编码数据(BL) 1121。终端装置1102还具有用于执行经由网络1112进行通信的通信功能，并且接收经由网络1112发送的增强层的经分级编码数据(EL) 1122。
[0467]终端装置1102按照(例如)用户指令等解码经由地面广播111获取的基础层的经分级编码数据(BL) 1121以得到基础层的图像，存储经分级编码数据(BL) 1121，或者将经分级编码数据(BL) 1121传递到另一个装置。
[0468]另外，终端装置1102按照(例如)用户指令等将经由地面广播1111获取的基础层的经分级编码数据(BL)1121与经由网络1112获取的增强层的经分级编码数据(EL)1122组合以得到经分级编码数据(BL+EL)，解码经分级编码数据(BL+EL)以得到增强层的图像，存储经分级编码数据(BL+EL)，或者将经分级编码数据(BL+EL)传递到另一个装置。
[0469]如上所述，经分级编码数据可以经由(例如)通信介质进行传输，对于不同层，通信介质是不同的。因此，负载可以被分配，可以抑制出现延迟或上溢。
[0470]另外，可以按照情形针对各层选择将用于传输的通信介质。例如，具有相对大量数据的基础层的经分级编码数据(BL) 1121可以经由具有大带宽的通信介质进行传输，具有相对少量数据的增强层的经分级编码数据(EL) 1122可以经由具有窄带宽的通信介质进行传输。可供选择地，例如，按照网络1112的可用带宽，增强层的经分级编码数据(EL)1122将经由其进行传输的通信介质可以被夹在网络1112和地面广播1111之间。事实上，以上近似地应用于任意层的数据。
[0471]以上述方式进行的控制还可以抑制数据传输的负载增大。
[0472]事实上，层的数量是任意的，将用于传输的通信介质的数量也是任意的。另外，将被分配数据的终端装置1102的数量也是任意的。另外，虽然举例来说在由广播站1101进行广播的背景下提供了描述，但使用的示例不限于此。数据传输系统1100可以应用于以层为单元将经历了经分级编码的经编码数据划分成多段并且经由多条线路传输数据段的任何系统。
[0473]此外，本技术还可以按与应用于以上参照图24至图26描述的分层级编码和分层级解码类似的方式应用于如上所述的图33中示出的数据传输系统1000，从而实现与以上参照图24至图26描述的优点类似的优点。
[0474][第三系统]
[0475]如图34中示出的示例中一样，分级编码也用于(例如)存储经编码数据。
[0476]在如图34中所示的数据传输系统1200中，成像设备1201对通过拍摄对象1211的图像而得到的图像数据执行分级编码，并且将所得数据作为经分级编码数据(BL+EL) 1221供应到经分级编码数据存储装置1202。
[0477]经分级编码数据存储装置1202以对应于情形的质量存储成像设备1201供应的经分级编码数据(BL+EL)1221。例如，在正常时间，经分级编码数据存储装置1202从经分级编码数据(BL+EL)1221中提取基础层的数据，并且将提取的基础层的数据作为具有低质量和少量数据的基础层的经分级编码数据(BL) 1222存储。相比之下，例如，在关注时间，经分级编码数据存储装置1202原样地存储具有高质量和大量数据的经分级编码数据(BL+EL)1221。
[0478]因此，经分级编码数据存储装置1202可以只在必要时保存高质量的图像。这样可以抑制数据量的增加，同时抑制由于质量降低而导致的图像价值的降低，并且可以提高存储区的使用效率。
[0479]例如，假设成像设备1201是监控摄像头。如果在拍摄的图像(正常时间)中没有出现要监控的对象(例如，入侵者)，则有可能是拍摄的图像没有重要内容。因此，数据量的减少被优先处理，图像的图像数据(经分级编码数据)被以低质量存储。相比之下，如果在拍摄的图像(关注时间)中要监控的对象作为对象1211出现，则有可能所拍摄的图像具有重要内容。因此，图像质量被优先处理，图像的图像数据(经分级编码数据)被以高质量存储。
[0480]注意的是，例如，经分级编码数据存储装置1202通过分析图像来确定正常时间或关注时间。可供选择地，成像设备1201可以确定正常时间或关注时间，并且可以将确定结果发送到经分级编码数据存储装置1202。
[0481]注意的是，可以基于任意标准确定正常时间或关注时间，确定所基于的图像可以具有任何内容。事实上，可以使用除了图像内容之外的条件作为确定标准。状态可以按照(例如)所记录音频的振幅、波形等来改变，或者可以以预定时间段为间隔来改变。可供选择地，状态可以按照外部指令(诸如，用户指令)来改变。[0482]另外，虽然描述了在两个状态(即，正常时间和关注之间)之间进行改变的示例，但状态的数量是任意的，并且可以在不止两个状态(诸如，正常时间、不太关注时间、关注时间和高度关注时间)之间进行状态改变。注意的是，将改变的状态的上限数量取决于经分级编码数据的层数。
[0483]此外，成像设备1201可以被构造成按照状态确定经分级编码的层数。例如，在正常时间，成像设备1201可以产生具有低质量和少量数据的基础层的经分级编码数据(BL) 1222，并且将产生的经分级编码数据(BL) 1222供应到经分级编码数据存储装置1202。另外，例如，在关注时间，成像设备1201可以产生具有高质量和大量数据的基础层的经分级编码数据(BL+EL) 1221，并且将产生的经分级编码数据(BL+EL) 1221供应到经分级编码数据存储装置1202。
[0484]虽然举例描述了监控摄像头，但成像系统1200可以用于任何应用，应用不限于监控摄像头。
[0485]另外，本技术还可以按与应用于以上参照图24至图26描述的分层级编码和分层级解码类似的方式应用于如上所述的图34中示出的成像系统1200，从而实现与以上参照图24至图26描述的优点类似的优点。
[0486]注意的是，本文中已经描述了各种信息(诸如，自适应偏移滤波器的参数)被多路复用在编码流中并且被从编码器侧发送到解码器侧的示例。然而，用于发送各条信息的技术不限于这个示例。例如，这些信息可以被作为与经编码比特流关联的单独数据进行发送或记录，而没有被多路复用成经编码比特流。如本文使用的，术语“关联”意指当图像被解码时允许比特流中包括的图像(可以是图像的部分，诸如片段或块)与对应于图像的信息建立联系。也就是说，可以在与图像(比特流)的发送路径不同的发送路径上发送信息。另夕卜，信息可以被记录在与用于图像(或比特流)的记录介质不同的记录介质上(或者被记录在同一记录介质的不同记录区中)。此外，可以以任意单位(诸如，多个帧、一帧、或帧中的一部分)将信息和图像(或比特流)彼此关联。
[0487]尽管已经参照附图描述了本公开的优选实施例，但本技术不限于这些示例。显而易见，本公开所属【技术领域】的任何普通技术人员可以在权利要求书中定义的技术思想的范围内进行各种变化或修改，并且要理解，这些变化或修改可以落入本公开的技术范围内。
[0488]注意的是，本技术还可以提供下面的构造。
[0489](I) 一种图像处理装置，包括:
[0490]获取单元，从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；
[0491]解码单元，对所述编码流执行解码处理并且产生图像；以及
[0492]自适应偏移滤波器单元，使用所述获取单元获取的参数，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0493](2)根据以上(I)所述的图像处理装置，其中所述自适应偏移滤波器的参数包括所述自适应偏移滤波器的类型和偏移值。
[0494](3)根据以上⑴或(2)所述的图像处理装置，还包括:
[0495]去块滤波器单元，对所述解码单元产生的图像执行去块滤波，[0496]其中所述自适应偏移滤波器单元对经过所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0497](4)根据以上⑴至(3)中的任一项所述的图像处理装置，其中
[0498]所述获取单元从所述编码流获取标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，
[0499]所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0500](5)根据以上⑴至(3)中的任一项所述的图像处理装置，其中
[0501]所述获取单元从所述编码流获取标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，
[0502]所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0503](6)根据以上⑴至(3)中的任一项所述的图像处理装置，其中
[0504]所述获取单元从所述编码流获取标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，
[0505]所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0506](7)根据以上⑴至(3)中的任一项所述的图像处理装置，其中
[0507]所述获取单元从所述编码流获取标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，
[0508]所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0509](8)根据以上(I)至(7)中的任一项所述的图像处理装置，其中在最大编码单位开始时，发送所述自适应偏移滤波器的参数。
[0510](9)根据以上(I)至(8)中的任一项所述的图像处理装置，其中所述解码单元以各自具有层级结构的单位执行解码处理。
[0511](10) —种图像处理方法，包括:
[0512]从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；
[0513]对所述编码流执行解码处理以产生图像；以及
[0514]使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波，
[0515]其中由图像处理装置执行所述图像处理方法。
[0516](11) 一种图像处理装置，所述图像处理装置包括:
[0517]设置单元，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；
[0518]自适应偏移滤波器单元，使用所述设置单元设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；
[0519]编码单元，对被所述自适应偏移滤波器执行了自适应偏移滤波的图像执行编码处理，并且使用所述图像产生编码流；
[0520]发送单元，发送所述设置单元设置的所述参数和所述编码单元产生的所述编码流。
[0521](12)根据以上(11)所述的图像处理装置，其中所述自适应偏移滤波器的参数包括所述自适应偏移滤波器的类型和偏移值。
[0522](13)根据以上(11)或(12)所述的图像处理装置，还包括:
[0523]去块滤波器单元，对经本地解码的图像执行去块滤波，
[0524]其中所述自适应偏移滤波器单元对被所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0525](14)根据以上(11)至(13)中的任一项所述的图像处理装置，其中
[0526]所述设置单元设置标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，以及
[0527]所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0528](15)根据以上(11)至(13)中的任一项所述的图像处理装置，其中
[0529]所述设置单元设置标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，
[0530]所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0531](16)根据以上(11)至(13)中的任一项所述的图像处理装置，其中
[0532]所述设置单元设置标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，
[0533]所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0534](17)根据以上(11)至(13)中的任一项所述的图像处理装置，其中
[0535]所述设置单元设置标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，以及
[0536]所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0537](18)根据以上(11)至(17)中的任一项所述的图像处理装置，其中
[0538]所述发送单元在最大编码单位开始时发送所述设置单元设置的所述自适应偏移滤波器的参数。
[0539](19)根据以上(11)至(18)中的任一项所述的图像处理装置，其中所述编码单元以各自具有层级结构的单位执行编码处理。
[0540](20) —种图像处理方法，包括:
[0541]使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；
[0542]使用设置的所述参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；[0543]对被执行了自适应偏移滤波的图像执行编码处理，从而使用所述图像产生编码流；以及
[0544]发送设置的所述参数和产生的所述编码流，
[0545]其中由图像处理装置执行所述图像处理方法。
[0546]参考符号列表
[0547]11图像编码装置、26无损编码单元、31去块滤波器、41自适应偏移滤波器、42自适应环路滤波器、51图像解码装置、62无损解码单元、66去块滤波器、81自适应偏移滤波器、82自适应环路滤波器、211类型和偏移确定单元、212偏移处理单元、213图像缓冲器、214系数读取单元、215偏移缓冲器、215-1 EO缓冲器、215-2B0缓冲器、216参数设置单元、217系数写入单元、221语法写入单元、251语法读取单元、261参数接收单元、262系数读取单元、263偏移缓冲器、263-1 EO缓冲器、263-2 BO缓冲器、264系数写入单元、265偏移处理单元、266图像缓冲器。
【权利要求】
1.一种图像处理装置，包括: 获取单元，从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数； 解码单元，对所述编码流执行解码处理并且产生图像；以及 自适应偏移滤波器单元，使用所述获取单元获取的参数，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
2.根据权利要求1所述的图像处理装置，其中所述自适应偏移滤波器的参数包括所述自适应偏移滤波器的类型和偏移值。
3.根据权利要求1所述的图像处理装置，还包括: 去块滤波器单元，对所述解码单元产生的图像执行去块滤波， 其中所述自适应偏移滤波器单元对经过所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
4.根据权利要求1所述的图像处理装置，其中 所述获取单元从所述编码流获取标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同， 所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
5.根据权利要求1所述的图像处理装置，其中 所述获取单元从所述编码流获取标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数， 所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
6.根据权利要求1所述的图像处理装置，其中 所述获取单元从所述编码流获取标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数， 所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
7.根据权利要求1所述的图像处理装置，其中 所述获取单元从所述编码流获取标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位， 所述自适应偏移滤波器单元使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
8.根据权利要求1所述的图像处理装置，其中在最大编码单位开始时，发送所述自适应偏移滤波器的参数。
9.根据权利要求1所述的图像处理装置，其中所述解码单元以各自具有层级结构的单位执行解码处理。
10.一种图像处理方法，包括: 从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数； 对所述编码流执行解码处理以产生图像；以及 使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波， 其中由图像处理装置执行所述图像处理方法。
11.一种图像处理装置，所述图像处理装置包括: 设置单元，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数； 自适应偏移滤波器单元，使用所述设置单元设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波； 编码单元，对被所述自适应偏移滤波器执行了自适应偏移滤波的图像执行编码处理，并且使用所述图像产生编码流； 发送单元，发送所述设置单元设置的所述参数和所述编码单元产生的所述编码流。
12.根据权利要求11所述的图像处理装置，其中所述自适应偏移滤波器的参数包括所述自适应偏移滤波器的类型和偏移值。
13.根据权利要求11所述的图像处理装置，还包括: 去块滤波器单元，对经本地解码的图像执行去块滤波， 其中所述自适应偏移滤波器单元对被所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
14.根据权利要求11所述的图像处理装置，其中 所述设置单元设置标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，以及 所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
15.根据权利要求11所述的图像处理装置，其中 所述设置单元设置标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数， 所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
16.根据权利要求11所述的图像处理装置，其中 所述设置单元设置标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数， 所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
17.根据权利要求11所述的图像处理装置，其中 所述设置单元设置标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，以及 所述发送单元发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
18.根据权利要求11所述的图像处理装置，其中所述发送单元在最大编码单位开始时发送所述设置单元设置的所述自适应偏移滤波器的参数。
19.根据权利要求11所述的图像处理装置，其中所述编码单元以各自具有层级结构的单位执行编码处理。
20.—种图像处理方法，包括: 使用最大编码单位作为发送单位设置自适应偏移滤波器的参数； 使用设置的所述参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波； 对被执行了自适应偏移滤波的图像执行编码处理，从而使用所述图像产生编码流；以及 发送设置的所述参数和产生的所述编码流， 其中由图像处理装置执行所述图像处理方法。
【文档编号】H04N19/82GK104025597SQ201280064900
【公开日】2014年9月3日 申请日期:2012年12月21日 优先权日:2012年1月6日
【发明者】樱井裕音, 中神央二, 北村卓也, 矢崎阳一 申请人:索尼公司