图像处理装置和方法
【专利摘要】本技术涉及能够对图像的内容执行更适当的量化处理或逆量化处理的图像处理装置和方法。本公开的图像处理装置包括：量化值设置单元，用于独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用；量化单元，用于使用由量化值设置单元设置的深度图像的量化值来对深度图像的系数数据进行量化并生成量化数据；以及编码单元，用于对由量化单元生成的量化数据进行编码以生成编码流。本公开可以应用于图像处理装置。
【专利说明】图像处理装置和方法
【技术领域】
[0001 ] 本公开内容涉及图像处理装置和方法，并且涉及用于执行量化处理和逆量化处理的图像处理装置和方法。
【背景技术】
[0002]近来，为了将图像信息处理为数字信息并且在这样做时实现高效信息传输和累积，如下设备在分配信息的广播站当中以及在接收信息的一般家庭当中都已得到普及:该设备遵循用于利用图像信息所固有的冗余性通过诸如离散余弦变换的正交变换和运动补偿来压缩图像信息的标准，诸如MPEG (运动图像专家组)。
[0003]如今，对于以更高压缩率进行编码以对分辨率为约4096X2048像素(比高清图像分辨率高四倍)的图像进行压缩或者在如在因特网中一样传输容量受限的情况下分配高清图像的要求越来越多。因此，ITU-T (国际电信联盟电信标准化部)下属的VCEG (视频编码专家组)仍然在继续关于编码效率改进的研究。
[0004]作为图像中的部分区域并用作根据传统图像编码系统(诸如，MPEGU MPEG2或ITU-T H.264/MPEG4-AVC (高级视频编码))的图像编码中的图像分割单位(编码单位)的宏块的像素大小通常为16X16像素。同时，非专利文献I提出了增加宏块在水平方向和垂直方向上的像素数量作为下一代图像编码标准中的关键技术。该文献提出了使用每个均由32X32像素或64X64像素构成的宏块以及由MPEGl、MPEG2、ITU-TH.264/MPEG4-AVC等指定的每个均由16X16像素构成的宏块。这旨在通过对具有类似运动的区域当中作为单位的较大区域执行运动补偿和正交变换来提高编码效率，因为期望要编码的图像的水平像素大小和垂直像素大小将来变得更大，如UHD (超高清晰度；4000X2000像素)一样。
[0005]在非专利文献I中，通过采用层级结构来针对16X16像素以下的块维持与当前AVC的宏块的匹配性，并且将更大的块定义为这些传统块的超集。
[0006]非专利文献I提出了对于片间(inter slice)使用扩展宏块，而非专利文献2提出了对于片内(intra slice)使用扩展宏块。
[0007]在非专利文献I或非专利文献2中所公开的图像编码中，执行量化处理以提高编码效率。
[0008]同时，为了对多视点图像进行编码，提出了对纹理图像(诸如辉度和色差)以及作为表示视差和深度的信息的深度图像进行编码的方法(例如，参见非专利文献3)。
[0009]引用列表
[0010]非专利文献
[0011]非专利文献1:Peisong Chenn, Yan Ye, Marta Karczewicz, "Video Coding UsingExtended Block Sizes' C0M16-C123-E，Qualcomm Inc
[0012]非专利文献2:Sung_Chang Limj Hahyun Lee, Jinho Lee，Jongho Kim，HaechulChoi,Seyoon Jeong，Jin Soo Choi, 〃Intra coding using extended blocksize"，VCEG-AL28, 2009 年 7 月[0013]非专利文献3:"Call for Proposals on3D Video Coding Technology", IS0/IECJTC1/SC29/WG11MPEG2011/N12036, Geneva, Switzerland, March2011
【发明内容】
[0014]发明要解决的问题
[0015]如上所述，由于现在对多视点图像进行编码，因此需要对深度图像执行更适当的量化。然而，这难以通过传统方法来实现。
[0016]本公开是鉴于这些状况而作出的，并且旨在执行更适当的量化处理并防止解码图像的主观图像质量的劣化。
[0017]针对问题的解决方案
[0018]本公开的一个方面是一种图像处理装置，包括:量化值设置器，其被配置为独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用；量化器，其被配置为通过使用由量化值设置器设置的深度图像的量化值对深度图像的系数数据进行量化，来生成量化数据；以及编码器，其被配置为通过对由量化器生成的量化数据进行编码来生成编码流。
[0019]量化值设置器可针对深度图像中的每个预定区域设置深度图像的量化值。
[0020]编码器可针对具有层级结构的每个单位执行编码，并且该区域可以是编码单位。
[0021]图像处理装置还可以包括:量化参数设置器，其使用由量化值设置器设置的深度图像的量化值来设置深度图像的当前图片的量化参数；以及传送器，其发送由量化参数设置器设置的量化参数和由编码器生成的编码流。
[0022]图像处理装置还可以包括:差分量化参数设置器，其使用由量化值设置器设置的深度图像的量化值来设置作为下述差分值的差分量化参数:当前图片的量化参数与当前切片(slice)的量化参数之间的差分值；以及传送器，其发送由差分量化参数设置器设置的差分量化参数和由编码器生成的编码流。
[0023]差分量化参数设置器可以使用量化值设置器设置的深度图像的量化值来设置下述差分值的差分量化参数:在当前编码单位之前一个单位量化的编码单位的量化参数与当前编码单位的量化参数之间的差分值。
[0024]图像处理装置还可以包括:标识信息设置器，其被配置为设置用于表示是否已设置深度图像的量化参数的标识信息；以及传送器，其被配置为发送由标识信息设置器设置的标识信息和由编码器生成的编码流。
[0025]本公开的一方面还在于一种用于图像处理装置的图像处理方法，该方法包括:独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用，设置深度图像的量化值由量化值设置器执行；通过使用深度图像的量化值对深度图像的系数数据进行量化，生成量化数据，所述生成量化数据由量化器执行；以及通过对量化器生成的量化数据进行编码来生成编码流，所述生成编码流由编码器执行。
[0026]本公开的另一方面在于一种图像处理装置，包括:接收器，其被配置为接收独立于纹理图像而设置的深度图像的量化值以及通过对深度图像的系数数据进行量化和编码而生成的编码流，该深度图像与纹理图像被复用；解码器，其被配置为对由接收器接收到的编码流进行解码，以获取通过对深度图像的系数数据进行量化而生成的量化数据；以及逆量化器，其被配置为使用由接收器接收到的深度图像的量化值来对由解码器获取的量化数据进行逆量化。
[0027]接收器可以接收针对深度图像中的每个预定区域设置的深度图像的量化值。
[0028]解码器可以对针对具有层级结构的每个单位进行编码的编码流进行解码，并且该区域可以是编码单位。
[0029]接收器可以接收深度图像的量化值作为深度图像的当前图片的量化参数，该当前图片的量化参数是通过使用深度图像的量化值来设置的。图像处理装置还可以包括量化值设置器，该量化值设置器使用接收器接收到的深度图像的当前图片的量化参数来设置深度图像的量化值。逆量化器可以使用量化值设置器设置的深度图像的量化值来对解码器获取的量化数据进行逆量化。
[0030]接收器可以接收深度图像的量化值作为是下述差分值的差分量化参数:当前图片的量化参数与当前切片的量化参数之间的差分值，当前图片和当前切片的量化参数是通过使用深度图像的量化值来设置的。图像处理装置还可以包括量化值设置器，该量化值设置器使用接收器接收到的差分量化参数来设置深度图像的量化值。逆量化器可以使用量化值设置器设置的深度图像的量化值来对解码器获取的量化数据进行逆量化。
[0031]接收器可以接收是下述差分值的差分量化参数:在当前编码单位之前一个单位量化的编码单位的量化参数与当前编码单位的量化参数之间的差分值，量化参数是通过使用深度图像的量化值来设置的。
[0032]接收器还可以接收用于表示是否已设置深度图像的量化参数的标识信息，并且逆量化器可以仅当标识信息表示已设置深度图像的量化参数时才对深度图像的系数数据进行逆量化。
[0033]本公开的其他方面还在于一种用于图像处理装置的图像处理方法，该方法包括:接收独立于纹理图像而设置的深度图像的量化值以及通过对深度图像的系数数据进行量化和编码而生成的编码流，该深度图像与纹理图像被复用，所述接收深度图像的量化值和编码流由接收器执行；对接收到的编码流进行解码，以获取通过对深度图像的系数数据进行量化而生成的量化数据，所述对接收到的编码流进行解码由解码器执行；以及通过使用接收到的深度图像的量化值来对所获取的量化数据进行逆量化，所述对所获取的量化数据进行逆量化由逆量化器执行。
[0034]在本公开的一方面，独立于纹理图像而设置要与纹理图像复用的深度图像的量化值，对深度图像的系数数据进行量化以通过使用所设置的深度图像的量化值生成量化数据，并且对所生成的量化数据进行编码以生成编码流。
[0035]在本公开的其他方面，接收独立于纹理图像而设置的深度图像的量化参数值、与纹理图像复用的深度图像、以及通过对深度图像的系数数据进行量化和编码而生成的编码流。对所接收到的编码流进行解码以获取通过对深度图像的系数数据进行量化而生成的量化数据，并且通过使用所接收到的深度图像的量化值来对所获取的量化数据进行逆量化。
[0036]发明效果
[0037]根据本公开内容，能够处理图像。特别地，能够防止解码图像的主观图像质量的劣化。【专利附图】
【附图说明】
[0038]图1是示出执行图像处理的系统的典型示例结构的框图。
[0039]图2是示出图像编码装置的典型示例结构的框图。
[0040]图3是用于说明编码单位的示例结构的图。
[0041]图4是示出分配给各个编码单位的量化参数的示例的图。
[0042]图5是示出量化器的典型示例结构的框图。
[0043]图6是示出深度量化器的典型示例结构的框图。
[0044]图7是示出图片参数集中的构成(syntax)的示例的表。
[0045]图8是示出片报头中的构成的示例的表。
[0046]图9是示出变化系数构成的示例的表。
[0047]图10是用于说明编码处理的示例流程的流程图。
[0048]图11是用于说明量化参数计算处理的示例流程的流程图。
[0049]图12是用于说明深度量化参数计算处理的示例流程的流程图。
[0050]图13是用于说明量化处理的示例流程的流程图。
[0051]图14是示出应用了本技术的图像解码装置的典型示例结构的框图。
[0052]图15是示出逆量化器的典型示例结构的框图。
[0053]图16是示出深度逆量化器的典型示例结构的框图。
[0054]图17是用于说明解码处理的示例流程的流程图。
[0055]图18是用于说明逆量化处理的示例流程的流程图。
[0056]图19是用于说明深度逆量化处理的示例流程的流程图。
[0057]图20是用于说明深度量化参数计算处理的另一示例流程的流程图。
[0058]图21是用于说明量化处理的另一示例流程的流程图。
[0059]图22是用于说明深度逆量化处理的另一示例流程的流程图。
[0060]图23是用于说明视差和深度的图。
[0061]图24是示出应用了本技术的计算机的典型示例结构的框图。
[0062]图25是示出应用了本技术的电视设备的典型示例结构的框图。
[0063]图26是示出应用了本技术的移动装置的典型示例结构的框图。
[0064]图27是示出应用了本技术的记录/再现装置的典型示例结构的框图。
[0065]图28是示出应用了本技术的成像装置的典型示例结构的框图。
【具体实施方式】
[0066]以下将描述用于实现本公开内容(下文中，称为实施例)的模式。将按以下顺序来说明。
[0067]1.第一实施例(图像编码装置)
[0068]2.第二实施例(图像解码装置)
[0069]3.第三实施例(图像编码装置和图像解码装置)
[0070]4.第四实施例(计算机)
[0071]5.第五实施例(电视接收器)
[0072]6.第六实施例(便携式电话装置)[0073]7.第七实施例(记录/再现装置)
[0074]8.第八实施例(成像设备)
[0075]〈1.第一实施例>
[0076][对本说明书中的深度图像(视差图像)的说明]
[0077]图23是用于说明视差和深度的图。 [0078]如图23所示，当通过位于位置Cl的摄像装置Cl和位于位置C2的摄像装置c2捕捉对象M的彩色图像时，对象M具有深度Z，Z为在深度方向上距摄像装置Cl(摄像装置c2)的距离且通过以下等式(a)来定义。
[0079][数学式I]
[0080]
【权利要求】
1.一种图像处理装置，包括: 量化值设置器，其被配置为独立于纹理图像而设置深度图像的量化值，所述深度图像与所述纹理图像被复用； 量化器，其被配置为通过使用由所述量化值设置器设置的所述深度图像的量化值对所述深度图像的系数数据进行量化，来生成量化数据；以及 编码器，其被配置为通过对由所述量化器生成的量化数据进行编码，来生成编码流。
2.根据权利要求1所述的图像处理装置，其中， 所述量化值设置器针对所述深度图像中的每个预定区域来设置所述深度图像的量化值。
3.根据权利要求2所述的图像处理装置，其中， 所述编码器针对具有层级结构的每个单位执行所述编码，以及 所述区域为编码单位。
4.根据权利要求3所述 的图像处理装置，还包括: 量化参数设置器，其被配置为使用由所述量化值设置器设置的所述深度图像的量化值来设置所述深度图像的当前图片的量化参数；以及 传送器，其被配置为发送由所述量化参数设置器设置的所述量化参数和由所述编码器生成的所述编码流。
5.根据权利要求3所述的图像处理装置，还包括: 差分量化参数设置器，其被配置为使用由所述量化值设置器设置的所述深度图像的量化值来设置作为下述差分值的差分量化参数:当前图片的量化参数与当前切片的量化参数之间的差分值；以及 传送器，其被配置为发送由所述差分量化参数设置器设置的所述差分量化参数和由所述编码器生成的所述编码流。
6.根据权利要求5所述的图像处理装置，其中，所述差分量化参数设置器使用由所述量化值设置器计算出的所述深度图像的量化值来设置作为下述差分值的差分量化参数:在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值。
7.根据权利要求1所述的图像处理装置，还包括: 标识信息设置器，其被配置为设置用于表示是否已设置所述深度图像的量化参数的标识信息；以及 传送器，其被配置为发送由所述标识信息设置器设置的所述标识信息和由所述编码器生成的所述编码流。
8.一种用于图像处理装置的图像处理方法，所述方法包括以下步骤: 独立于纹理图像来设置深度图像的量化值，所述深度图像与所述纹理图像被复用，通过量化值设置器执行所述设置深度图像的量化值的步骤； 通过使用所设置的所述深度图像的量化值对所述深度图像的系数数据进行量化，来生成量化数据，通过量化器执行所述生成量化数据的步骤；以及 通过对由所述量化器生成的量化数据进行编码来生成编码流，通过编码器执行所述生成编码流的步骤。
9.一种图像处理装置，包括: 接收器，其被配置为接收独立于纹理图像而设置的深度图像的量化值以及通过对所述深度图像的系数数据进行量化和编码而生成的编码流，所述深度图像与纹理图像被复用；解码器，其被配置为对由所述接收器所接收的所述编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据；以及 逆量化器，其被配置为使用由所述接收器所接收的所述深度图像的量化值，来对通过所述解码器所获取的所述量化数据进行逆量化。
10.根据权利要求9所述的图像处理装置，其中，所述接收器接收针对所述深度图像中的每个预定区域设置的所述深度图像的量化值。
11.根据权利要求10所述的图像处理装置，其中，所述解码器对针对具有层级结构的每个单位编码的编码流进行解码，并且 所述区域是编码单位。
12.根据权利要求11所述的图像处理装置，其中， 所述接收器接收所述深度图像的量化值作为所述深度图像的当前图片的量化参数，所述当前图片的量化参数是通过使用所述深度图像的量化值来设置的， 所述图像处理装置还包括量化值设置器，所述量化值设置器被配置为使用由所述接收器所接收的所述深度图像的当前图片的量化参数来设置所述深度图像的量化值，并且 所述逆量化器使用由所述量化值设置器设置的所述深度图像的量化值来对通过所述解码器所获取的所述量化数据进行逆量化。
13.根据权利要求11所述的图像处`理装置，其中， 所述接收器接收所述深度图像的量化值作为是下述差分值的差分量化参数:当前图片的量化参数与当前切片的量化参数之间的差分值，所述当前图片和所述当前切片的量化参数是通过使用所述深度图像的量化值来设置的， 所述图像处理装置还包括量化值设置器，所述量化值设置器被配置为使用由所述接收器所接收的所述差分量化参数来设置所述深度图像的量化值，并且 所述逆量化器使用由所述量化值设置器设置的所述深度图像的量化值，来对通过所述解码器所获取的所述量化数据进行逆量化。
14.根据权利要求13所述的图像处理装置，其中，所述接收器接收所述深度图像的量化值作为是下述差分值的差分量化参数:在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值，所述量化参数是通过使用所述深度图像的量化值来设置的。
15.根据权利要求9所述的图像处理装置，其中， 所述接收器还接收用于表示是否已设置所述深度图像的量化参数的标识信息，并且所述逆量化器仅当所述标识信息表示已设置所述深度图像的量化参数时才对所述深度图像的系数数据进行逆量化。
16.一种用于图像处理装置的图像处理方法，所述方法包括以下步骤: 接收独立于纹理图像而设置的深度图像的量化值以及通过对所述深度图像的系数数据进行量化和编码而生成的编码流，所述深度图像与所述纹理图像被复用，通过接收器执行所述接收所述深度图像的量化值和编码流的步骤；对接收到的所述编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据，通过解码器执行所述对接收到的编码流进行解码的步骤；以及 使用接收到的所述深度图 像的量化值来对所获取的所述量化数据进行逆量化，通过逆量化器执行所述对所获取的量化数据进行逆量化的步骤。
【文档编号】H04N19/50GK103748878SQ201280040896
【公开日】2014年4月23日 申请日期:2012年8月21日 优先权日:2011年8月31日
【发明者】高桥良知 申请人:索尼公司