图像处理装置及方法
【技术领域】
[0001]本公开内容涉及图像处理装置及方法，具体地，涉及能够抑制量化误差增大的图像处理装置及方法。
【背景技术】
[0002]最近，以下装置已经普及:该装置将图像信息处理为数字，并且为了高效的信息传输或累积的目的通过使用图像信息特有的冗余以及通过利用其中通过正交变换(如离散余弦变换和运动补偿)执行压缩的编码方案来对图像进行压缩和编码。作为该编码方案，例如，存在MPEG(运动图片专家组)等。
[0003]具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方案，并且是覆盖隔行扫描(interlaced scanning)图像和逐行扫描(progressive scanning)图像两者、标准分辨率图像和高清晰度图像的标准。例如，目前，MPEG2已广泛用于出于专业目的和消费者目的的各种应用中。通过使用MPEG2压缩方案，在具有例如720 X 480像素的标准分辨率隔行扫描图像的情况下，可以分配4至8Mbps的编码量(比特率)。另外，通过使用MPEG2压缩方案，在具有例如1920 X 1088像素的高分辨率隔行扫描图像的情况下，可以分配18至22Mbps的编码量(比特率)。因此，可以实现高的压缩率和良好的图像质量。
[0004]MPEG2主要意在适合于广播的高图像质量编码，但是其不能应对比MPEGl的编码量更高的编码量(比特率)，即，较高的压缩率的编码方案。随着移动终端的普及，认为未来对于这样的编码方案的要求将增加，从而，MPEG4编码方案用于应对这而被标准化。对于图像编码方案，该标准在1998年12月被批准为国际标准IS0/IEC 14496-2。
[0005]另外，近年来，本来出于电视会议的图像编码的目的，H.26L(ITU_T(国际电信联盟电信标准化部))Q6/16VCEG(视频编码专家组)的标准已经着手。已知的是，与现有技术中的编码方案如MPEG2或MPEG4相比，H.26L通过编码和解码要求大的计算量，但是实现较高的编码效率。另外，目前，作为MPEG4的活动的一部分，基于H.26L并且合并H.26L不支持的功能以便实现较高的编码效率的标准化已经着手作为高级压缩视频编码的联合模型。
[0006]作为标准化的进程，在2003年3月，基于此以H.264和MPEG-4部分10 (高级视频编码，在下文中，被称作AVC)的名义制定了国际标准。
[0007]此外，作为H.264/AVC的扩展，在2005年2月完成了如RGB、4:2:2或4:4:4的包括商业需要的编码工具、由MPEG-2定义的8X8 DCT或量化矩阵的FRExt (保真度范围扩展)的标准化。因此，通过使用H.264/AVC，甚至能够良好地表示包括在电影中的胶卷噪声的编码方案，使得其用于发展中的各种应用如蓝光光盘(注册商标)中。
[0008]然而，近年来，期望压缩其是高清晰度图像的分辨率的四倍的约4000X2000像素的图像或期望在有限的传输能力的环境如因特网中递送高清晰度图像的更高压缩比编码的要求增加了。因此，在ITU-T的上面提到的VCEG中，继续进行对提高编码效率的研宄。
[0009]因此，目前，出于比AVC进一步提高编码效率的目的，为ITU-T和IS0/IEC的联合标准组织的JCTVC (联合合作组-视频编码)已经着手称作HEVC (高效视频编码)的编码方案的标准化。关于HEVC标准，在2012年2月发布了委员会草案作为规范的第一草案(例如，参考非专利文献I)。
[0010]在非专利文献I中公开的HEVC标准中，利用了被称作“帧内变换跳过”的方案(例如，参考非专利文献2)。
[0011]S卩，首先，发送关于是否对图片应用变换跳过(有时，被称作正交变换跳过)的PPS(图片参数集合)中的标志。正交变换跳过表示跳过(省略)正交变换处理/逆正交变换处理。
[0012]当该值为I时，可以对4X4正交变换块(TU)应用正交变换跳过。对于每个块，发送关于正交变换跳过的跳过/不跳过的标志。对于应用了正交变换跳过的块，在处理如熵编码、量化和环路滤波方面没有变化。
[0013]换言之，对于应用了正交变换跳过的块，不执行正交变换/逆正交变换，但是执行编码或解码。例如，正交变换之前的差分值被量化和无损编码。在对以这种方式获得的编码数据进行解码的情况下，理所当然，不要求逆正交变换处理。
[0014]在提高CG图像或画面内容如字幕的图像质量方面，正交变换跳过尤其有效。
[0015]引用列表
[0016]非专利文献
[0017]非专利文献1:Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, GaryJ.Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) textspecificat1n draft 6〃，JCTVC_H1003ver21，Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG117thMeeting:Geneva, CH, 2011年 11 月 21 至 30 日
[0018]非专利文献2:Cuiling Lan, Jizheng Xu, Gary J.SulIivan, FengWu,〃Intra transform skipping",JCTVC-10408，Joint Collaborative Teamon Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG119thMeeting:Geneva, CH, 2012 年 4 月 27 日至 5 月 7 日
【发明内容】
[0019]本发明要解决的问题
[0020]跳过正交变换处理的情况与执行正交变换处理的情况在量化系数方面不同。然而，在现有技术的方法中，不考虑正交变换跳过对量化的影响。因此，存在风险在于:用于量化处理的缩放列表不适当，并且不必要地增大了量化误差。
[0021]本公开内容通过考虑上述情况被作出，并且用于抑制量化误差增大。
[0022]问题的解决方案
[0023]根据本技术的一个方面，提供了一种图像处理装置，包括:设置单元，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表；以及解码单元，使用由设置单元设置的缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。
[0024]定制缩放列表可以被配置成:使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。
[0025]定制缩放列表被配置成:使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长被设置成大于默认定制缩放列表情况下的值。
[0026]定制缩放列表中的与具有要帧内预测中被参考的可能性的像素对应的部分的每个量化步长可具有根据对应的像素在帧内预测中被参考的可能性的等级的值。
[0027]在当前块是不跳过正交变换处理的块的情况下，设置单元可设置如下默认缩放列表作为用于对当前块进行逆量化处理的缩放列表:在默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。
[0028]图像处理装置还可以包括端部检测单元，该端部检测单元检测帧内预测中的参考可变范围的端部，并且在当前块是由端部检测单元检测到的参考可变范围的端部中的块的情况下，设置单元可以将根据参考可变范围的端部的位置的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。
[0029]图像处理装置还可以包括接收单元和确定单元，接收单元接收关于正交变换处理的跳过的信息，确定单元基于由接收单元接收的关于正交变换处理的跳过的信息确定当前块是否是跳过正交变换处理的块，并且在由确定单元确定当前块是跳过正交变换处理的块的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。
[0030]在被包括在关于正交变换处理的跳过的信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，确定单元可以禁止图片中的正交变换处理的跳过。
[0031]确定单元还还可以确定当前块的切片类型，并且在由确定单元确定当前块是跳过正交变换处理的块并且当前切片是对其仅执行帧内预测的切片的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。
[0032]根据本技术的一个方面，提供了一种图像处理装置的图像处理方法，包括图像处理装置进行:在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表；以及使用所设置的缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。
[0033]根据本技术的另一方面，提供了一种图像处理装置，包括:设置单元，在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行量化处理的缩放列表；以及编码单元，其使用由设置单元设置的缩放列表执行包括量化处理的编码处理，并且对图像数据进行编码。
[0034]定制缩放列表可以被配置成:使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。
[0035]定制缩放列表可以被配置成:使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长大于默认定制缩放列表情况下的值。
[0036]定制缩放列表中的与具有要在帧内预测中被参考的可能性的像素对应的部分的每个量化步长可以具有根据对应的像素在帧内预测中被参考的可能性的等级的值。
[0037]在当前块是不跳过正交变换处理的块的情况下，设置单元可以设置如下默认缩放列表作为用于对当前块进行量化处理的缩放列表:在默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。
[0038]图像处理装置还可以包括端部检测单元，该端部检测单元检测帧内预测中的参考可变范围的端部，并且在当前块是由端部检测单元检测到的参考可变范围的端部中的块时，设置单元可以将根据参考可变范围的端部的位置的定制缩放列表设置为用于对当前块进行量化处理的缩放列表。
[0039]图像处理装置还可以包括确定单元，该确定单元基于关于正交变换处理的跳过的信息确定对当前块是否跳过正交变换处理，并且在由确定单元确定对当前块跳过正交变换处理的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行量化处理的缩放列表。
[0040]在被包括在关于正交变换处理的跳过的信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，确定单元可以禁止图片中的正交变换处理的跳过。
[0041]确定单元还可以确定当前块的切片类型，并且在由确定单元确定当前块是跳过正交变换处理的块并且当前切片是对其仅执行帧内预测的切片的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行量化处理的缩放列表。
[0042]根据本技术的另一方面，提供了一种图像处理装置的图像处理方法，包括图像处理器装置进行:在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行量化处理的缩放列表；以及使用所设置的缩放列表执行包括量化处理的编码处理，并且对图像数据进行编码。
[0043]根据本技术的一个方面，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，用于跳过正交变换处理的块的定制缩放列表被设置为用于对当前块进行逆量化处理的缩放列表，使用该缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。
[0044]根据本技术的一个方面，在对图像数据进行编码中，在跳过当前块的正交变换处理的情况下，用于跳过正交变换处理的块的定制缩放列表被设置为用于对当前块进行量化处理的缩放列表，使用所设置的缩放列表执行包括量化处理的编码处理，并且图像数据被编码。
[0045]发明效果
[0046]根据本公开内容，可以对图像进行编码/解码。具体地，可以抑制量化误差增大。
【附图说明】
[0047]图1是示出了编码单位的配置示例的图。
[0048]图2是示出了帧内预测的参考像素的示例的图。
[0049]图3是示出了默认缩放列表的示例的图。
[0050]图4是示出了默认缩放列表的另一示例的图。
[0051]图5是示出了定制缩放列表的示例的图。
[0052]图6是示出了定制缩放列表的另一示例的图。
[0053]图7是示出了定制缩放列表的又一示例的图。
[0054]图8是示出了图像编码装置的主要配置的示例的框图。
[0055]图9是示出了量化控制器的主要配置的示例的框图。
[0056]图10是示出了编码处理流的示例的流程图。
[0057]图11是示出了量化控制处理流的示例的流程图。
[0058]图12是示出了图像解码装置的主要配置的示例的框图。
[0059]图13是示出了逆量化控制器的主要配置的示例的框图。
[0060]图14是示出了解码处理流的示例的流程图。
[0061]图15是示出了逆量化控制处理流的流程图。
[0062]图16是示出了定制缩放列表的又一示例的图。
[0063]图17是示出了定制缩放列表的又一示例的图。
[0064]图18是示出了量化控制器的主要配置的示例的框图。
[0065]图19是示出了量化控制处理流的示例的流程图。
[0066]图20是示出了逆量化控制器的主要配置的示例的框图。
[0067]图21是示出了逆量化控制处理流的示例的流程图。
[0068]图22是示出了多视图图像编码方案的示例的图。
[0069]图23是示出了应用本技术的多视图图像编码装置的主要配置的示例的图。
[0070]图24是示出了应用本技术的多视图图像解码装置和分层图像编码装置的主要配置的示例的图。
[0071]图25是示出了分层图像编码方案的示例的图。
[0072]图26是示出了应用本技术的分层图像编码装置的主要配置的示例的图。
[0073]图27是示出了应用本技术的分层图像解码装置的主要配置的示例的图。
[0074]图28是示出了计算机的主要配置的示例的框图。
[0075]图29是示出了电视设备的示意性配置的示例的框图。
[0076]图30是示出了移动电话的示意性配置的示例的框图。
[0077]图31是示出了记录/再现装置的示意性配置的示例的框图。
[0078]图32是示出了成像装置的示意性配置的示例的框图。
[0079]图33是示出了可伸缩编码的使用的示例的框图。
[0080]图34是示出了可伸缩编码的另一使用的示例的框图。
[0081]图35是示出了可伸缩编码的又一使用的示例的框图。
【具体实施方式】
[0082]在下文中，将描述用于执行本公开内容的模式(在下文中，被称作实施方式)。将按照下面的顺序进行描述。
[0083]0.概述
[0084]1.第一实施方式(图像编码装置)
[0085]2.第二实施方式(图像解码装置)
[0086]3.第三实施方式(图像编码装置)
[0087]4.第四实施方式(图像解码装置)
[0088]5.第五实施方式(多视图图像编码/多视图图像解码装置)
[0089]6.第六实施方式(分层图像编码/分层图像解码装置)
[0090]7.第七实施方式(计算机)
[0091]8.应用示例
[0092]9.可伸缩编码的应用示例
[0093]〈0.概述〉
[0094][编码方案]
[0095]在下文中，本公开内容将被描述为应用于HEVC(高效视频编码)方案的图像编码/解码的示例。
[0096][编码单位]
[0097]在AVC(高级视频编码)方案中，定义了根据宏块和子宏块的分层结构。然而，对于为下一代编码方案的目标的称作UHD(超高清晰度；4000像素X2000像素)的大图像帧而言，16像素X 16像素的宏块不是最佳的。
[0098]另一方面，在HEVC方案中，如图1中所示，定义了编码单位(⑶)。
[0099]CU是以图片为单位的图像的部分区域，其被称作编码树块(CTB)，并且具有与AVC方案中的宏块相同的功能。在下文中，尺寸被固定成16X16像素。然而，在上文中，尺寸不固定，但是在每个序列中，在图像压缩信息中指定尺寸。
[0100]例如，在被包括在要被输出的编码数据中的序列参数集合(SPS)中定义CU的最大尺寸(LCU (最大编码单位))和最小尺寸(SCU (最小编码单位))。
[0101]在每个IXU中，在不小于S⑶的尺寸的范围内，通过设置split_f Iag= 1，⑶可以被分割成(split into)具有较小尺寸的⑶。在图1的示例中，IXU的尺寸为128，并且最大分层深度为5。当split_flag的值为I时，具有2NX2N尺寸的⑶被分割成具有NXN尺寸的⑶，具有NX N尺寸的⑶是位于下一个等级的层。
[0102]另外，CU被分割成预测单位(TO)，预测单位(PU)是作为帧内预测或帧间预测的处理单位的区域(以图片为单位的图像的部分区域)，或者CU被分割成变换单位(TU)，变换单位(TU)是作为正交变换的处理单位的区域(以图片为单位的图像的部分区域)。目前，在HEVC方案中，除了 4X4变换和8X8正交变换以外，16X16和32X32正交变换也可用。
[0103]类似于上述HEVC方案，在其中定义⑶并且以⑶为单位执行各种处理的编码方案的情况下，可以考虑，AVC方案中的宏块与LCU对应，并且块(子块)与CU对应。另外，可以考虑，AVC方案中的运动补偿块与PU对应。然而，由于CU具有分层结构，所以最高层的IXU的尺寸通常被设置成大于AVC方案的宏块例如128 X 128像素。
[0104]因此，在下文中，假定IXU包括AVC方案的宏块并且⑶包括AVC方案的块(子块)。换言之，在下文用于描述中的术语“块”表示图片中的任何部分区域，但是其尺寸、形状、特性等不受限制。即，“块”包括任何区域(处理单位)例如TU、PU、S⑶、⑶、IXU、子块、宏块、切片等。当然，还包括其他部分区域(处理单位)。在需要限制尺寸、处理单位等的情况下，将适当给出其描述。
[0105][模式选择]
[0106]在AVC和HEVC编码方案中，为了实现更高的编码效率，选择适当的预测模式是重要的。
[0107]作为这样的选择方案的示例，存在安装在称作H.264/MPEG-4AVC的JM (联合模式)的参考软件(在 http://iphome.hh1.de/suehring/tml/index, htm 中公布)上的方法。
[0108]在JM中，可以选择下文描述的高复杂度模式和低复杂度模式的两种模式确定方法。在该方法的任一种方法中，计算关于每种预测模式的成本函数值，并且将使成本函数值最小化的预测模式选择为用于关联块或宏块的最佳模式。
[0109]高复杂度模式下的成本函数由下面的等式(I)来表达。
[0110]Cost (Mode e Ω ) =D+X*R…(I)
[0111]在本文中，Ω表示用于对关联块或宏块进行编码的候选模式的全部集合，以及D表示在相关联预测模式下进行编码的情况下解码图像和输入图像的差分能量。λ表示作为量化参数的函数给出的拉格朗日未定乘子。R表示在相关联模式下进行编码的情况下包括正交变换系数的总编码量。
[0112]S卩，在高复杂度模式下进行编码的情况下，为了计算上述参数D和R，需要通过所有候选模式执行临时编码处理一次，并且因此要求较大的计算量。
[0113]低复杂度模式下的成本函数由下面的等式(2)来表达。
[0114]Cost (Mode e Ω ) = D+QP2Quant (QP) *HeaderBit...(2)
[0115]在本文中，不同于高复杂度模式的情况，D表示预测图像和输入图像的差分能量。QP2Quant (QP)作为量化参数QP的函数被给出，并且HeaderBit表示关于被包括在不包括正交变换系数的称作运动矢量或模式的报头中的信息的编码量。
[0116]S卩，在低复杂度模式下，需要对每种候选模式执行预测处理，但是由于未获取解码图像，所以不需要执行编码处理。因此，可以以比高复杂度模式更低的计算量实现低复杂度模式。
[0117][帧内预测]
[0118]在现有技术中，作为在编码或解码中生成预测图像的方法，存在通过使用画面中的其他像素执行预测的帧内预测。
[0119]在帧内预测中，多个模式被准备为帧内预测模式，参考作为处理目标的当前块的附近的根据模式的位置处的像素，并且通过使用像素值执行当前块的预测。用于帧内预测中的像素被称为参考像素。另外，作为参考像素，利用先前被处理的编码完成像素。
[0120]在图2中示出了参考像素的位置的示例。在图2中，白色正方形表示当前块的像素(预测目标像素)，而白色正方形附近的具有斜线的正方形表示作为编码完成像素的参考像素。换言之，通过使用具有斜线的正方形表示的像素中的与帧内预测模式对应的像素的像素值来执行当前块的预测。
[0121][量化]
[0122]在编码方案如AVC或HEVC的情况下，为了提高编码效率，对正交变换系数进行量化。接下来，对所获得的经量化的系数进行无损编码。因此，在解码处理中，对通过无损解码从编码数据获得的经量化的系数进行逆量化。
[0123]通过使用用于例如正交变换处理的每个单位块(例如，TU)的预定缩放列表来执行量化/逆量化。缩放列表是采集与关联块