图像处理装置和方法

图像处理装置和方法
【专利说明】图像处理装置和方法
[0001]本申请是申请号为201280064900.1，PCT国际申请日为2012年12月21日，发明名称为“图像处理装置和方法”的发明专利申请的分案申请。
技术领域
[0002]本公开涉及图像处理装置和方法，更具体地讲，涉及能够提高编码或解码的处理效率的图像处理装置和方法。
【背景技术】
[0003]近年来，以数字形式操纵图像信息并且在这种情况下利用图像信息特有的冗余来通过使用基于正交变换(诸如，离散余弦变换)进行的压缩和运动补偿的编码方案实现对图像的压缩和编码以有效发送和累积信息的装置正变得普遍。这个编码方案的示例包括MPEG(运动图像专家组)和H.264和MPEG-4部分10 (高级视频编码，下文中被称为H.264/AVC)。
[0004]另外，为了实现比H.264/AVC更高的编码效率，JCTVC(视频编码联合工作组)目前在从事称为HEVC(高效视频编码)的编码方案的标准化，JCTVC是ITU-T和IS0/IEC的联合标准组织(例如，参见非专利文献I)。
[0005]在HEVC的当前草案中，采用去块滤波器、自适应环路滤波器、自适应偏移滤波器(采样自适应偏移:SA0)作为环内滤波器。
[0006]在HEVC中，自适应环路滤波器的参数被总的发送到一帧的组中的解码器侧。相比之下，非专利文献2提出了以最大编码单位或IXU为单位执行自适应环路滤波器处理。
[0007]引用列表
[0008]非专利文献
[0009]非专利文献1:Thomas ffiegand> Woo-Jin Han、Benjamin Bross、Jens-RainerOhm>Gary J.Sullivan,“Working Draft 4of High-Efficiency Video Coding(高效视频编码的工作草案4)”，JCTVC-F803，视频编码联合工作组(JCT-VC)的ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的第六届会议:意大利托里诺(Torino, IT)，2011年7月14-22日
[0010]非专利文献2:A.Fuldseth、Cisco Systems、G.bjontegaard、Cisco Systems,“Improved ALF with low latency and reduced complexity(延迟短且复杂度降低的改进的 ALF)”，JCTVC-G499，视频编码联合工作组(JCT-VC)的 ITU-T SG16WP3 和 IS0/IEC JTCl/SC29/WG11的第七届会议:瑞士日内瓦(Geneva, CH), 2011年11月21-30日

【发明内容】

[0011]技术问题
[0012]此外，在HEVC中，自适应偏移滤波器适于被称为四叉树区域的区域，这些四叉树区域是专门针对自适应偏移滤波器定义的。另外，自适应偏移滤波器的参数被用一帧的组中的sao_param()来总的定义。
[0013]sao_param()被设置在编码流中的数据(视频信息)之前。因此在编码器侧，必须将一帧的数据保持在缓冲器中，直到完成自适应偏移滤波器处理、确定自适应偏移滤波器的系数和形成sao_param()为止。
[0014]本公开是依据这种情形形成的，并且能够提高编码或解码的处理效率。
[0015]问题的解决方案
[0016]本公开的第一方面的一种图像处理装置包括:获取单元，从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；解码单元，对所述编码流执行解码处理并且产生图像；以及自适应偏移滤波器单元，使用所述获取单元获取的参数，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0017]所述自适应偏移滤波器的参数可以包括所述自适应偏移滤波器的类型和偏移值。
[0018]所述图像处理装置还可以包括去块滤波器单元，对所述解码单元产生的图像执行去块滤波，所述自适应偏移滤波器单元可以对经过所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0019]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0020]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0021]所述获取单元可以从所述编码流获取标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0022]所述获取单元可以从所述编码流获取标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，所述自适应偏移滤波器单元可以使用所述获取单元获取的所述标识数据，以最大编码单位为单位对所述解码单元产生的图像执行自适应偏移滤波。
[0023]在最大编码单位开始时，发送所述自适应偏移滤波器的参数。
[0024]所述解码单元可以各自具有层级结构的单位执行解码处理。
[0025]由图像处理装置执行根据本公开的第一方面的图像处理方法，所述图像处理方法包括:从编码流中以最大编码单位为单位获取自适应偏移滤波器的参数，在所述编码流中使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；对所述编码流执行解码处理以产生图像；以及使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波。
[0026]本公开的第二方面的一种图像处理装置包括:设置单元，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；自适应偏移滤波器单元，使用所述设置单元设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；编码单元，对被所述自适应偏移滤波器执行了自适应偏移滤波的图像执行编码处理，并且使用所述图像产生编码流；发送单元，发送所述设置单元设置的所述参数和所述编码单元产生的所述编码流。
[0027]所述自适应偏移滤波器的参数可以包括所述自适应偏移滤波器的类型和偏移值。
[0028]所述图像处理装置还可以包括去块滤波器单元，对经本地解码的图像执行去块滤波，所述自适应偏移滤波器单元可以对被所述去块滤波器单元执行了去块滤波的图像执行自适应偏移滤波。
[0029]所述设置单元可以设置标识数据，所述标识数据标识在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数与当前最大编码单位的参数相同，以及所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0030]所述设置单元可以设置标识数据，所述标识数据标识是否要使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0031]所述设置单元可以设置标识数据，所述标识数据标识是否要复制并使用在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位的参数，所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0032]所述设置单元可以设置标识数据，所述标识数据指定在当前最大编码单位之前被执行自适应偏移滤波的先前最大编码单位内的在参数方面与当前最大编码单位相同的最大编码单位，以及所述发送单元可以发送所述设置单元设置的所述标识数据和所述编码单元产生的所述编码流。
[0033]所述发送单元可以在最大编码单位开始时发送所述设置单元设置的所述自适应偏移滤波器的参数。
[0034]所述编码单元可以各自具有层级结构的单位执行编码处理。
[0035]由图像处理装置执行本公开的第二方面的图像处理方法，所述图像处理方法包括:使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；使用设置的所述参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波；对被执行了自适应偏移滤波的图像执行编码处理，从而使用所述图像产生编码流；以及发送设置的所述参数和产生的所述编码流。
[0036]在本公开的第一方面中，从编码流以最大编码单位为单位获取自适应偏移滤波器的参数，其中，使用所述最大编码单位作为发送单位来设置所述自适应偏移滤波器的参数；对所述编码流执行解码处理以产生图像。然后，使用获取的参数，以最大编码单位为单位对产生的图像执行自适应偏移滤波。
[0037]在本公开的第二方面中，使用最大编码单位作为发送单位设置自适应偏移滤波器的参数；使用设置的参数，以最大编码单位为单位，在图像被编码的情况下对经历了本地解码处理的图像执行自适应偏移滤波。然后，对被执行了自适应偏移滤波的图像执行编码处理，以使用所述图像产生编码流；发送设置的所述参数和产生的所述编码流。
[0038]注意的是，上述图像处理装置中的每个可以是独立的装置或者被包括在单个图像编码装置或图像解码装置中的内部块。
[0039]根据本公开的第一方面，可以解码图像。具体地讲，可以提高处理效率。
[0040]根据本公开的第二方面，可以编码图像。具体地讲，可以提高处理效率。
【附图说明】
[0041]图1是示出图像编码装置的主要示例构造的框图。
[0042]图2是不出编码处理的流程不例的流程图。
[0043]图3是示出图像解码装置的主要示例构造的框图。
[0044]图4是不出解码处理的流程不例的流程图。
[0045]图5是示出HEVC方案中的四叉树结构的示图。
[0046]图6是示出带偏移的示图。
[0047]图7是示出边缘偏移的示图。
[0048]图8是示出边缘偏移的分类规则的示图。
[0049]图9是示出本技术的概况的示图。
[0050]图10是示出本技术的优点的示图。
[0051]图11是示出sao_param()的语法示例的示图。
[0052]图12是不出sao_type_idx的不图。
[0053]图13是示出应用本公开的自适应偏移滤波器的示例构造的框图。
[0054]图14是示出自适应偏移滤波器处理的流程图。
[0055]图15是示出系数写入处理的流程图。
[0056]图16是示出系数写入处理的示图。
[0057]图17是示出应用本公开的自适应偏移滤波器的示例构造的框图。
[0058]图18是示出自适应偏移滤波处理的流程图。
[0059]图19是示出系数读取处理的流程图。
[0060]图20是示出系数读取处理的示图。
[0061]图21是示出多视点图像编码方案的示例的示图。
[0062]图22是示出应用本技术的多视点图像编码装置的主要示例构造的示图。
[0063]图23是示出应用本技术的多视点图像解码装置的主要示例构造的示图。
[0064]图24是示出分层图像编码方案的示例的示图。
[0065]图25是示出应用本技术的分层图像编码装置的主要示例构造的示图。
[0066]图26是示出应用本技术的分层图像解码装置的主要示例构造的示图。
[0067]图27是示出计算机的主要示例构造的框图。
[0068]图28是示出电视设备的示意性构造的示例的框图。
[0069]图29是示出移动电话的示意性构造的示例的框图。
[0070]图30是示出记录/再现设备的示意性构造的示例的框图。
[0071]图31是示出成像设备的示意性构造的示例的框图。
[0072]图32是示出使用可分级编码的示例的框图。
[0073]图33是示出使用可分级编码的另一个示例的框图。
[0074]图34是示出使用可分级编码的又一个示例的框图。
【具体实施方式】
[0075]下文中，将描述用于执行本公开的模式(下文中，称为实施例)。注意的是，将按以下次序进行描述。
[0076]1.装置和操作的概况
[0077]2.对相关技术的说明
[0078]3.第一实施例(图像处理装置)
[0079]4.第二实施例(多视点图像编码/多视点图像解码装置)
[0080]5.第三实施例(分层图像编码/分层图像解码装置)
[0081]6.第四实施例(计算机)
[0082]7.示例性应用
[0083]8.可分级编码的示例性应用
[0084]〈1.装置和操作的概况〉
[0085][图像编码装置的示例构造]
[0086]图1示出应用本公开的用作图像处理装置的图像编码装置的实施例的构造。
[0087]图1中示出的图像编码装置11使用预测处理编码图像数据。这里使用的编码方案的示例包括HEVC (高效视频编码)方案。在HEVC方案中，编码单位⑶、最大编码单位IXU、最小编码单位SCU、预测单位PU和变换单位TU是指定的，以各自具有层级结构的单位执行编码/解码。
[0088]在图1的示例中，图像编码装置11包括A/D(模拟/数字)转换单元21、画面重排缓冲器22、计算单元23、正交变换单元24、量化单元25、无损编码单元26、累积缓冲器27。图像编码装置11还包括逆量化单元28、逆正交变换单元29、计算单元30、去块滤波器31、帧存储器32、选择单元33、帧内预测单元34、运动预测和补偿单元35、预测图像选择单元36和速率控制单元37。
[0089]图像编码装置11还在去块滤波器31和帧存储器32之间包括自适应偏移滤波器41和自适应环路滤波器42。
[0090]A/D转换单元21对输入图像数据执行A/D转换，并且将所得的图像数据输出到画面重排缓冲器22进行存储。
[0091]画面重排缓冲器22将具有以显示次序排列的帧的存储图像重排成具有以根据GOP(图片组)结构的编码次序排列的帧的图像。画面重排缓冲器22将其中帧已经被重新排序的图像供应到计算单元23。画面重排缓冲器22还将其中帧已经被重新排序的图像供应到帧内预测单元34以及运动预测和补偿单元35。
[0092]计算单元23从画面重排缓冲器22读取的图像中减去通过预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35供应的预测图像，并且将关于其间差异的差异信息输出到正交变换单元24。
[0093]例如，在图像被帧内编码的情况下，计算单元23从画面重排缓冲器22读取的图像中减去从帧内预测单元34供应的预测图像。另外，例如，在图像被帧间编码的情况下，计算单元23从画面重排缓冲器22读取的图像中减去从运动预测和补偿单元35供应的预测图像。
[0094]正交变换单元24对计算单元23供应的差异信息执行正交变换(诸如，离散余弦变换或Karhunen-Loeve变换)，并且将得到的变换系数供应到量化单元25。
[0095]量化单元25量化正交变换单元24输出的变换系数。量化单元25将经量化的变换系数供应到无损编码单元26。
[0096]无损编码单元26对经量化的变换系数执行无损耗编码，诸如，长度可变的编码或算术编码。
[0097]无损编码单元26从帧内预测单元34获取参数(诸如，指示帧内预测模式的信息)，从运动预测和补偿单元35获取参数(诸如，指示帧间预测模式的信息和运动向量信息)。
[0098]无损编码单元26编码经量化变换系数和所获取的各个参数(语法元素)，将编码后的经量化变换系数和参数组织(多路复用)在经编码数据的头信息的一部分中。无损编码单元26将通过编码得到的经编码数据供应到累积缓冲器27中进行累积。
[0099]在无损编码单元26中，例如，执行无损耗编码处理(诸如，可变长度编码或算术编码)。可变长度编码的示例包括CAVLC (上下文自适应性可变长度编码)。算术编码的示例包括CABAC (上下文自适应性二进制算术编码)。
[0100]累积缓冲器27暂时保持从无损编码单元26供应的编码流(数据)，并且以某个时刻将编码流(数据)作为已经经受编码的经编码图像输出到未示出的下游装置(诸如，记录装置)和发送路径。也就是说，累积缓冲器27还用作发送编码流的发送单元。
[0101]另外,被量化单元25量化的变换系数还被供应到逆量化单元28。逆量化单元28使用与量化单元25执行的量化方法对应的方法逆量化经量化的变换系数。逆量化单元28将得到的变换系数供应到逆正交变换单元29。
[0102]逆正交变换单元29使用与正交变换单元24执行的正交变换处理对应的方法对供应的变换系数执行逆正交变换。经历逆正交变换的输出(恢复的差异信息)被供应到计算单元30。
[0103]计算单元30将通过预测图像选择单元36从帧内预测单元34或运动预测和补偿单元35供应的预测图像与逆正交变换单元29供应的逆正交变换结果(也就是说，恢复的差异信息)相加，得到本地经解码图像(经解码图像)。
[0104]例如，如果差异信息对应于将被帧内解码的图像，则计算单元30将帧内预测单元34供应的预测图像与差异信息相加。另外，例如，如果差异信息对应于将被帧间解码的图像，则计算单元30将运动预测和补偿单元35供应的预测图像与差异信息相加。
[0105]作为相加结果的经解码图像被供应到去块滤波器31和帧存储器32。
[0106]去块滤波器31酌情执行去块滤波处理，以消除经解码图像中的块失真。去块滤波器31将滤波处理的结果供应到自适应偏移滤波器41。
[0107]自适应偏移滤波器41对经去块滤波器31滤波的图像执行偏移滤波(SA0:采样自适应偏移)处理，以主要消除振铃现象。
[0108]总共有九种偏移滤波类型:两种带偏移、六种边缘偏移和无偏移。自适应偏移滤波器41针对作为最大编码单位的各LCU确定偏移滤波器的种类(类型)和偏移(值)，并且使用确定的类型和偏移对经去块滤波器31滤波的图像执行滤波处理。在自适应偏移滤波器41中，上述的偏移是滤波器的系数。根据需要，偏移在下文中也被称为系数。
[0109]注意的是，以下将参照图13描述自适应偏移滤波器41的细节，自适应偏移滤波器41具有用于存储系数的缓冲器。如果缓冲器在其内存储有与针对各LCU确定的系数相同的系数，则自适应偏移滤波器41将指示存储了系数的标志、指示缓冲器中的系数存储位置的索引、指示类型的信息供应到无损编码单元26，以将其编码。
[0110]另一方面，如果缓冲器在其内没有存储与针对各LCU确定的系数相同的系数，则自适应偏移滤波器41将指示没有存储系数的标志、系数、指示类型的信息供应到无损编码单元26，以将其编码。
[0111]自适应偏移滤波器41将已经经历滤波处理的图像供应到自适应环路滤波器42。
[0112]自适应环路滤波器42(例如)针对作为最大编码单位的各LCU执行自适应环路滤波(ALF)处理。在自适应环路滤波器42中，例如，使用二维维纳滤波器(Wiener filter)作为滤波器。当然，可以使用除了维纳滤波器之外的任何滤波器。
[0113]自适应环路滤波器42使用滤波系数针对各IXU对经自适应偏移滤波器41滤波的图像执行滤波处理，并且将滤波处理的结果供应到帧存储器32。
[0114]注意的是，在图像编码装置11中，由适应环路滤波器42针对各IXU计算滤波系数，以使来自画面重排缓冲器12的原始图像的残留最少，并且使用该滤波系数，本文中将不对此进行详细描述。计算出的滤波系数被无损编码单元26编码，并且被发送到下述图3的图像解码装置51。此外，虽然在本文中描述了针对各IXU执行处理的示例，但自适应环路滤波器42的处理单位不限于此。
[0115]帧存储器32在某个定时通过选择单元将其内累积的参考图像输出到帧内预测单元34或运动预测和补偿单元35。
[0116]例如，在图像将被帧内编码的情况下，帧存储器32通过选择单元33将参考图像供应到帧内预测单元34。另外，例如，在将执行帧间编码的情况下，帧存储器32通过选择单元33将参考图像供应到运动预测和补偿单元35。
[0117]如果帧存储器32供应的参考图像是用于帧内编码的图像，则选择单元33将参考图像供应到帧内预测单元34。另外，如果帧存储器32供应的参考图像是用于帧间编码的图像，则选择单元33将参考图像供应到运动预测和补偿