图像处理装置和图像处理方法
【专利摘要】本技术涉及能够通过使用与视差图像有关的信息来提高视差图像的编码效率的图像处理装置和图像处理方法。校正单元设定在以视差图像作为目标使用深度加权系数和深度偏差的深度加权预测处理时使用的计算的计算精度。校正单元根据所设定的计算精度针对深度图像执行深度加权预测处理，并生成深度预测图像。计算单元通过使用深度预测图像对深度图像进行编码来生成深度流。本技术可以应用至例如视差图像的编码装置。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001 ] 本技术涉及图像处理装置和图像处理方法；特别是涉及能够通过使用与视差图像相关的信息来提高视差图像编码效率的图像处理装置和图像处理方法。
【背景技术】
[0002]近年来，存在对3D图像的关注，并提议了用于生成多视点3D图像的视差图像的编码方法(例如，参照NPL1)。此外，视差图像是由如下视差值形成的图像:表示与视差图像相对应的视点的彩色图像的各像素与为基准点的视点的彩色图像的像素在屏幕上的位置之间沿水平方向的距离的视差值，该视差值与那些像素相对应。
[0003]另外，为了与闻级视频编码(AVC)相比进一步提闻编码效率，在已知为闻效率视频编码(HEVC)的编码方法的标准化中已经取得了进展，并且在2011年8月起草的时候，作为草案已经出版了 NPL2。
[0004]引用列表
[0005]非专利文献
[0006]NPLlCalI for Proposals on3D Video Coding Technology”，10S/IECJTC1/SC29/WG11, MPEG2011/N12036,瑞士，日内瓦，2011 年 3 月
[0007]NPL2:Thomas ffiegand, Woo-jin Han, Benjamin Bross, Jens-Rainer Ohm, GaryJ.Sullivian, “WD3:Working Draft3of High-Efficiency Video Coding，，，JCTVC_E603_d5(第5版)，2011年5月20日
【发明内容】
[0008]技术问题
[0009]然而，未设计通过使用于视差图像有关的信息来提高视差图像编码效率的编码方法。
[0010]本技术是考虑了该情形而做出的，并且本技术能够通过使用与视差图像相关的信息来提高视差图像的编码效率。
[0011]解决方案
[0012]本技术第一方面的图像处理装置为如下图像处理装置:所述图像处理装置包括:设定单元，所述设定单元设定在以深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成深度预测图像；以及编码单元，所述编码单元通过使用由所述深度加权预测单元生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
[0013]本技术的第一方面的图像处理方法与本技术的第一方面的图像处理设备相对应。
[0014]在本技术的第一方面中，设定在以深度图像作为目标使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度，通过根据由所述设定步骤的处理设定的所述计算精度使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理来生成深度预测图像，以及通过使用由所述深度加权预测步骤的处理生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
[0015]本技术的第二方面的图像处理装置为如下图像处理装置:所述图像处理装置包括:接收单元，所述接收单元接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；解码单元，所述解码单元通过对由所述接收单元接收到的所述深度流进行解码来生成所述深度图像；设定单元，所述设定单元设定在以由所述解码单元生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与由所述接收单元接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测，来生成所述深度预测图像，其中，所述解码单元使用由所述深度加权预测单元生成的所述深度预测图像，对所述深度流进行解码。
[0016]本技术的第二方面的图像处理方法与本技术的第二方面的图像处理装置相对应。
[0017]在本技术的第二方面中，接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；通过对由所述接收步骤的处理接收到的所述深度流进行解码来生成所述深度图像；设定在以由所述解码步骤的处理生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及通过根据由所述设定步骤的处理设定的所述计算精度、使用与由所述接收步骤的处理接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成所述深度预测图像。深度预测图像在对深度流解码期间使用。
[0018]发明的有益效果
[0019]根据本技术的第一方面，可以使用与视差图像相关的信息提高视差图像的编码效率。
[0020]另外，根据本技术的第二方面，可以对视差图像的编码数据(其中通过使用与视差图像相关的信息进行编码来提高编码效率)进行解码。
【专利附图】
【附图说明】
[0021]图1是示出应用本技术的编码装置的一个实施方式的配置示例的框图。
[0022]图2是说明视点生成信息的视差最大值和视差最小值的图示。
[0023]图3是说明视点生成信息的视差精度参数的图示。
[0024]图4是说明视点生成信息的摄像机间距离的图示。
[0025]图5是示出图1的多视点图像编码单元的配置示例的框图。
[0026]图6是示出编码单元的配置示例的框图。
[0027]图7是示出编码位流的配置示例的图示。
[0028]图8是示出图7的PPS的语法的示例的图示。
[0029]图9是示出片头的语法的示例的图示。
[0030]图10是示出片头的语法的示例的图示。
[0031]图11是说明图1的编码装置的编码处理的流程图。
[0032]图12是详细说明图11的多视点编码处理的流程图。
[0033]图13是详细说明图12的视差图像编码处理的流程图。
[0034]图14是详细说明图12的视差图像编码处理的流程图。
[0035]图15是示出应用本技术的解码装置的一个实施方式的配置示例的框图。
[0036]图16是示出图15的多视点图像解码单元的配置示例的框图。
[0037]图17是示出解码单元的配置示例的框图。
[0038]图18是说明图15的解码装置150的解码处理的流程图。
[0039]图19是详细说明图18的多视点解码处理的流程图。
[0040]图20是详细说明图16的视差图像解码处理的流程图。
[0041]图21是说明在视差图像的校正中使用的信息的递送方法的图示。
[0042]图22是示出第二递送方法中的编码位流的配置示例的图示。
[0043]图23是示出第三递送方法中的编码位流的配置示例的图示。
[0044]图24是示出片编码单元的配置示例的框图。
[0045]图25是示出编码单元的配置示例的框图。
[0046]图26是示出校正单元的配置示例的框图。
[0047]图27是用于说明视差值和沿深度方向的位置的图示。
[0048]图28是示出经成像的对象之间的位置关系的示例的图示。
[0049]图29是说明沿深度方向的最大位置和最小位置之间的关系的图示。
[0050]图30是用于说明经成像的对象之间的位置关系和亮度的图示。
[0051]图31是用于说明经成像的对象之间的位置关系和亮度的图示。
[0052]图32是用于说明经成像的对象之间的位置关系和亮度的图示。
[0053]图33是详细说明视差图像编码处理的流程图。
[0054]图34是详细说明视差图像编码处理的流程图。
[0055]图35是用于说明预测图像生成处理的流程图。
[0056]图36是示出片解码单元的配置示例的框图。
[0057]图37是示出解码单元的配置示例的框图。
[0058]图38是示出校正单元的配置示例的框图。
[0059]图39是详细说明视差图像解码处理的流程图。
[0060]图40是用于说明预测图像生成处理的流程图。
[0061]图41是示出计算机的一个实施方式的配置示例的图示。
[0062]图42是示出应用本技术的电视机装置的示意性配置示例的图示。
[0063]图43是示出应用本技术的移动电话的示意性配置示例的图示。
[0064]图44是示出应用本技术的记录和再现装置的示意性配置示例的图示。
[0065]图45是示出应用本技术的成像装置的示意性配置示例的图示。
【具体实施方式】
[0066]< 一个实施方式>
[0067][编码装置的一种实施方式的配置示例]
[0068]图1是应用本技术的编码装置的一种实施方式的配置示例的框图。
[0069]图1的编码装置50被配置有多视点彩色图像成像单元51、多视点彩色图像校正单元52、多视点视差图像生成单元53、视点生成信息生成单元54以及多视点图像编码单元55。
[0070]编码装置50使用与视差图像有关的信息对预定视点的视差图像进行编码。
[0071]特别地，编码装置50的多视点彩色图像成像单元51对多个视点的彩色图像进行成像，并将该图像作为多视点彩色图像提供给多视点彩色图像校正单元52。另外，多视点彩色图像成像单元51生成外部参数、视差最大值和视差最小值(在下文中详细描述的)。多视点彩色图像成像单元51将外部参数、视差最大值和视差最小值提供给视点生成信息生成单元54，并且将视差最大值和视差最小值提供给多视点视差图像生成单元53。
[0072]此外，外部参数为定义在多视点彩色图像成像单元51的水平方向的位置的参数。另外，视差最大值和视差最小值分别为可以在多视点视差图像中假设的在全局坐标上的视差值中的最大值和最小值。
[0073]多视点彩色图像校正单元52针对从多视点彩色图像成像单元51提供的多视点彩色图像执行色彩校正、亮度校正、失真校正等。因此，将在校正后的多视点彩色图像中的沿多视点彩色图像成像单元51的水平方向(X方向)的焦距由所有视点共享。多视点彩色图像校正单元52将校正后的多视点彩色图像作为经多视点校正的彩色图像提供给多视点视差图像生成单元53和多视点图像编码单元55。
[0074]多视点视差图像生成单元53基于从多视点彩色图像成像单元51提供的视差最大值和视差最小值，从自多视点彩色图像校正单元52提供的经多视点校正的彩色图像生成多视点视差图像。特别地，多视点视差图像生成单元53针对多个视点中的每个视点从经多视点校正的彩色图像获得每个像素的视差值，并基于视差最大值和视差最小值对该视差值进行规范化。此外，多视点视差图像生成单元53生成视差图像，在该视差图像中将针对多个视点中的每个视点规范化的每个像素的视差值设定为视差图像的每个像素的像素值。
[0075]另外，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供给多视点图像编码单元55。此外，多视点视差图像生成单元53生成表示多视点视差图像的像素值的精度的视差精度参数，并将该视差精度参数提供给视点生成信息生成单元54。
[0076]使用经多视点校正的彩色图像和视差图像，视点生成信息生成单元54生成在生成除了该多个视点之外的视点的彩色图像时使用的视点生成信息。特别地，视点生成信息生成单元54基于从多视点彩色图像成像单元51提供的外部参数获得摄像机间距离。对于多视点视差图像的每个视点，摄像机间距离为如下距离:在多视点彩色图像成像单元51在对该视点的彩色图像成像时沿水平方向的位置与多视点彩色图像成像单元51在对具有与该彩色图像和视差图像相对应的视差的彩色图像成像时沿水平方向的位置之间的距离。
[0077]视点生成信息生成单元54将来自多视点彩色图像成像单元51的视差最大值、视差最小值和摄像机间距离，以及来自多视点视差图像生成单元53的视差精度参数设定为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供给多视点图像编码单元55。
[0078]多视点图像编码单元55使用HEVC方法对从多视点彩色图像校正单元52提供的经多视点校正的彩色图像进行编码。另外，对于从视点生成信息生成单元54提供的视点生成信息，多视点图像编码单元55使用视差最大值、视差最小值和摄像机间距离作为与视差有关的信息，并使用与HEVC方法相一致的方法对从多视点视差图像生成单元53提供的多视点视差图像进行编码。
[0079]另外，对于从视点生成信息生成单元54提供的视点生成信息，多视点图像编码单元55使视差最大值、视差最小值和摄像机间距离经受差分编码(delta encoding)。多视点图像编码单元55将经差分编码的视差最大值、视差最小值和摄像机间距离包含在对多视点视差图像进行编码时使用的、与编码有关的信息中。此外，多视点图像编码单元55递送由经编码的经多视点校正的彩色图像和多视点视差图像、与编码有关的信息(包括经差分编码的视差最大值、视差最小值和摄像机间距离)以及来自视点生成信息生成单元54的视差精度参数等构成的位流作为经编码的位流。
[0080]如上所述，由于多视点图像编码单元55使视差最大值、视差最小值和摄像机间距离经受差分编码，然后执行递送，所以可以减少视点生成信息的编码量。由于存在为了提供舒服的3D图像在图像之间不会使视差最大值、视差最小值和摄像机间距离极大改变的高可能性，所以执行差分编码在减少代码量方面是有效的。
[0081]此外，在编码装置50中，多视点视差图像是从经多视点校正的彩色图像生成的；然而，多视点视差图像可以由在对多视点彩色图像成像期间检测视差值的传感器生成。
[0082][对视点生成信息的描述]
[0083]图2是说明视点生成信息的视差最大值和视差最小值的图示。
[0084]此外,在图2中，水平轴为预规范化(pre-normalizat1n)视差值,而垂直轴为视差图像的像素值。
[0085]如图2所示，多视点视差图像生成单元53使用视差最小值Dmin和视差最大值Dmax将每个像素的视差值规范化成例如O至255的值。此外，多视点视差图像生成单元53生成如下视差图像:在该视差图像中，将在规范化之后的、为O至255之一的值的每个像素的视差值设定成像素值。
[0086]换言之，视差图像的每个像素的像素值1、像素的预规范化视差值d、视差最小值Dmin和视差最大值Dmax由下面式(I)来表不:
[0087][公式I]
【权利要求】
1.一种图像处理装置，包括: 设定单元，所述设定单元设定在以深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度； 深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成深度预测图像；以及 编码单元，所述编码单元通过使用由所述深度加权预测单元生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
2.根据权利要求1所述的图像处理装置， 其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。
3.根据权利要求2所述的图像处理装置， 其中，所述设定单元设定计算所述深度加权系数时的计算精度。
4.根据权利要求3所述的图像处理装置， 其中，所述设定单元设定计算所述深度偏差时的计算精度。
5.根据权利要求3所述的图像处理装置， 其中，所述设定单元将所述计算精度设定为定点数精度。
6.根据权利要求5所述的图像处理装置， 其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算。
7.根据权利要求6所述的图像处理装置， 其中，所述设定单元将根据所述移位计算的小数精度设定为所述深度图像的小数精度或更大的小数精度。
8.根据权利要求6所述的图像处理装置， 其中，所述设定单元将所述深度图像的小数精度设定为根据所述移位计算的小数精度或更小的小数精度。
9.根据权利要求6所述的图像处理装置， 其中，所述设定单元设定表示所述移位计算的移位量的移位参数，以及 其中，所述图像处理装置还包括递送单元，所述递送单元将由所述编码单元生成的所述深度流和由所述设定单元设定的所述移位参数进行递送。
10.根据权利要求2所述的图像处理单元， 其中，所述设定单元设定计算所述深度加权系数时的计算顺序。
11.根据权利要求10所述的图像处理单元， 其中，所述设定单元设定计算所述深度偏差时的计算顺序。
12.—种图像处理方法， 其中，所述图像处理方法包括: 设定步骤，所述设定步骤设定在以深度图像作为目标使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度； 深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理来生成深度预测图像；以及 编码步骤，所述编码步骤通过使用由所述深度加权预测步骤的处理生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
13.一种图像处理装置，包括: 接收单元，所述接收单元接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关； 解码单元，所述解码单元通过对由所述接收单元接收到的所述深度流进行解码来生成所述深度图像； 设定单元，所述设定单元设定在以由所述解码单元生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及 深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与由所述接收单元接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测，来生成所述深度预测图像， 其中，所述解码单元使用由所述深度加权预测单元生成的所述深度预测图像，对所述深度流进行解码。
14.根据权利要求13所述的图像处理装置， 其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。
15.根据权利要求14所述的图像处理装置， 其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算精度。
16.根据权利要求15所述的图像处理装置， 其中，所述设定单元将所述计算精度设定为定点数精度。
17.根据权利要求16所述的图像处理装置， 其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算，以及 其中，所述设定单元将根据所述移位计算的小数精度设定成所述深度图像的小数精度或更大的小数精度。
18.根据权利要求17所述的图像处理装置， 其中，所述接收单元接收被设定为表示所述移位计算的移位量的参数的移位参数，以及 其中，所述深度加权预测处理基于所述移位参数执行所述移位计算。
19.根据权利要求14所述的图像处理装置， 其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算顺序。
20.—种图像处理方法， 其中，所述图像处理方法包括: 接收步骤，所述接收步骤接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；解码步骤，所述解码步骤通过对由所述接收步骤的处理接收到的所述深度流进行解码来生成所述深度图像；设定步骤，所述设定步骤设定在以由所述解码步骤的处理生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度、使用与由所述接收步骤的处理接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成所述深度预测图像，并且 其中，在所述解码步骤的处理中，使用由所述深度加权预测步骤的处理生成的所述深度预测图像，对所述深 度流进行解码。
【文档编号】H04N19/597GK104081780SQ201380006508
【公开日】2014年10月1日 申请日期:2013年1月23日 优先权日:2012年1月31日
【发明者】樱井裕音, 高桥良知, 服部忍 申请人:索尼公司