图像处理设备、图像处理方法和计算机可读存储介质与流程

本申请是申请日为2012年3月9日、发明名称为“图像处理设备和图像处理方法”以及申请号为201280012933.1的发明专利申请的分案申请。

本技术涉及一种图像处理设备和图像处理方法，更具体地，涉及一种能够使用预定视点的彩色图像和深度图像来生成显示视点的彩色图像的图像处理设备和图像处理方法。

背景技术：

近年来，3d图像引起了注意。用于观看3d图像的常用方法是使得人佩戴在显示两个视点的图像之一期间打开左眼快门并且在显示另一图像期间打开右眼快门的眼镜，并且人观看交替显示的两个视点的图像(下文中称为“使用眼镜的方法”)。

然而，对于这种使用眼镜的方法，除了3d图像显示装置之外，观看者需要购买眼镜，这降低了购买的欲望。另外，观看者需要在观看期间佩戴眼镜，这是麻烦的。因此，需要用于在不佩戴眼镜的情况下观看3d图像的观看方法(下文中称为“不用眼镜的方法”)。

在不用眼镜的方法中，以使得可观看角度对每个视点不同的方式来显示三个或更多个视点的图像，并且当观看者利用右眼和左眼看到两个视点的图像时，观看者可以在不佩戴眼镜的情况下看到3d图像。

以下方法已成为根据不用眼镜的方法的3d图像显示方法。在该方法中，获得预定视点的彩色图像和深度图像，并且使用彩色图像和深度图像，生成并显示多个视点的彩色图像，这多个视点是包括除预定视点之外的视点的显示视点。应注意，“多个视点”表示三个或更多个视点。

作为用于对多个视点的彩色图像和深度图像进行编码的方法，提出了用于对彩色图像和深度图像分开进行编码的方法(例如，参见专利文献1)。

引用列表

非专利文献

非专利文献1：internationalorganisationforstandardisationorganisationinternationaledenormalisationiso/iecjtc1/sc29/wg11codingofmovingpicturesandaudio,广州,中国,2010年10月

技术实现要素：

本发明要解决的问题

在传统的编码标准等中，没有考虑适合于根据不用眼镜的方法的3d图像显示的信息传送。因此，在传统编码标准中，传送大量信息，这对于使用预定视点的彩色图像和作为与视差有关的图像(深度图像)的视差相关图像(诸如深度图像)生成多个视点的彩色图像是不必要的，并且此外，传送所需信息，这多个视点是包括除预定视点之外的视点的显示视点。

结果，接收侧无法使用预定视点的彩色图像和视差相关图像生成除预定视点之外的视点的彩色图像。

本技术是鉴于这样的情形而做出的，并且允许使用预定视点的彩色图像和视差相关图像生成显示视点的彩色图像。

问题的解决方案

提供了一种图像处理设备，包括：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的深度图像标识信息而生成显示视点的彩色图像。

还提供了一种用于图像处理设备的图像处理方法，包括：接收步骤，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码步骤，用于通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像；以及生成步骤，用于通过使用在解码步骤的处理中生成的彩色图像和深度图像以及在接收步骤的处理中接收的深度图像标识信息而生成显示视点的彩色图像。

还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序，该程序在由处理器执行时使得处理器执行：接收步骤，用于接收作为对视点的彩色图像和该视点的深度图像的编码结果而获得的位流以及指示深度图像是深度方向图像还是视差图像的深度图像标识信息；解码步骤，用于通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像；以及生成步骤，用于通过使用在解码步骤的处理中生成的彩色图像和深度图像以及在接收步骤的处理中接收的深度图像标识信息而生成显示视点的彩色图像。

根据本技术的第一方面的图像处理设备是包括如下单元的图像处理设备：编码单元，用于通过对视点的彩色图像和该视点的深度图像进行编码而生成位流；生成单元，用于根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息；传送单元，用于传送编码单元生成的位流和生成单元生成的视点生成信息。

根据本技术的第一方面的图像处理方法对应于根据本技术的第一方面的图像处理设备。

在本技术的第一方面，通过对视点的彩色图像和该视点的深度图像进行编码来生成位流，并且根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成显示视点的彩色图像的视点生成信息，并且传送位流和视点生成信息。

根据本技术的第二方面的图像处理设备是包括如下单元的图像处理设备：接收单元，用于接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的；解码单元，用于通过对接收单元接收的位流进行解码而生成彩色图像和深度图像；以及生成单元，用于通过使用解码单元生成的彩色图像和深度图像以及接收单元接收的视点生成信息执行翘曲处理而生成显示视点的彩色图像。

根据本技术的第二方面的图像处理方法对应于根据本技术的第二方面的图像处理设备。

在本技术的第二方面，接收作为对视点的彩色图像和该视点的深度图像进行编码的结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，该视点生成信息是根据通过使用彩色图像和深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法所生成的，并且通过对在接收步骤的处理中接收的位流进行解码而生成彩色图像和深度图像，并通过使用彩色图像和深度图像以及视点生成信息执行翘曲处理而生成显示视点的彩色图像。

根据第一和第二方面的图像处理设备可以通过使得计算机执行程序来实现。

为了实现根据第一和第二方面的图像处理设备，可以通过经由传送介质传送程序或将程序记录到记录介质来提供计算机执行的程序。

本发明的效果

根据本技术的第一方面，可以传送用于使用预定视点的彩色图像和深度图像生成显示视点的彩色图像的必要信息。

根据本技术的第二方面，可以使用预定视点的彩色图像和深度图像生成显示视点的彩色图像。

附图说明

图1是示出多视点获取信息sei的语法的图。

图2是示出用作应用本技术的图像处理设备的编码装置的第一实施例的配置示例的框图。

图3是示出编码位流的访问单位的配置示例的图。

图4是示出sei的一部分的描述示例的图。

图5是说明图2的编码装置的编码处理的流程图。

图6是说明图5的多视点编码处理的细节的流程图。

图7是示出用作应用本技术的图像处理设备的解码装置的第一实施例的配置示例的框图。

图8是说明深度图像的翘曲处理的图。

图9是说明图7的解码装置的解码处理的流程图。

图10是说明图9的多视点解码处理的细节的流程图。

图11是示出用作应用本技术的图像处理设备的编码装置的第二实施例的配置示例的框图；

图12是说明视点生成信息的视差相关最大值和视差相关最小值的图。

图13是说明视点生成信息的视差精度参数的图。

图14是说明视点生成信息的摄像装置间距离的图。

图15是示出图11的多视点图像编码单元的配置示例的框图。

图16是示出编码位流的配置示例的图。

图17是示出图16的pps的语法示例的图。

图18是示出切片报头的语法示例的图。

图19是示出切片报头的语法示例的图。

图20是说明图11的编码装置的编码处理的流程图。

图21是说明图20的多视点编码处理的流程图。

图22是示出用作应用本技术的图像处理设备的解码装置的第二实施例的配置示例的框图。

图23是示出图22的多视点图像解码单元的配置示例的框图。

图24是说明图22的多视点图像解码单元的多视点解码处理的流程图。

图25是说明视差和深度的图。

图26是示出计算机的实施例的配置示例的框图。

图27是示出应用本技术的电视机装置的示意配置示例的图。

图28是示出应用本技术的便携式电话的示意配置示例的图。

图29是示出应用本技术的记录/再现装置的示意配置示例的图。

图30是示出应用本技术的图像捕获装置的示意配置示例的图。

具体实施方式

<本说明书中关于深度图像(视差相关图像)的说明>

图25是说明视差和深度的图。

如图25所示，当由设置在位置c1处的摄像装置c1和设置在位置c2处的摄像装置c2来捕获主体m的彩色图像时，作为在深度方向上距摄像装置c1(摄像装置c2)的距离的、主体m的深度z由以下表达式(a)来定义。

z＝(l/d)×f···(a)

应注意，l表示在水平方向上位置c1与位置c2之间的距离(下文中称为摄像装置间距离)。变量d表示通过从由摄像装置c1捕获的彩色图像上的对象m的位置在水平方向上距彩色图像的中心的距离u1减去由摄像装置c2捕获的彩色图像上的对象m的位置在水平方向上距彩色图像的中心的距离u2而获得的值。更具体地，d表示视差。此外，f表示摄像装置c1的焦距。在表达式(a)中，摄像装置c1和摄像装置c2的焦距是相同的。

如表达式(a)所示，视差d和深度z可以被唯一地转换。因此，在该说明书中，表示由摄像装置c1和摄像装置c2获取的两个视点的彩色图像的视差d的视差图像和表示深度z的深度图像被共同称为深度图像(视差相关图像)。

应注意，深度图像(视差相关图像)可以是表示视差d或深度z的图像，并且深度图像(视差相关图像)的像素值可以不是视差d或深度z本身。例如，可采用通过对视差d进行归一化而获得的值或者通过对深度z的倒数1/z进行归一化而获得的值。

可以根据以下表达式(b)获得通过以8位(0至255)对视差d进行归一化而获得的值i。视差d的归一化位数不限于八位。可以是诸如10位和12位的位数。

[数学式4]

在表达式(b)中，dmax是视差d的最大值，dmin是视差d的最小值。最大值dmax和最小值dmin可以以画面为单位来设置，或者可以以多个画面为单位来设置。

可以根据以下表达式(c)获得通过以8位(0至255)对深度z的倒数1/z进行归一化而获得的值y。深度z的倒数1/z的归一化位数不限于8位。可以是诸如10位和12位的其它位数。

[数学式5]

在表达式(c)中，zfar表示深度z的最大值，并且znear表示深度z的最小值。最大值zfar和最小值znear可以以画面为单位来设置，或者可以以多个画面为单位来设置。

如上所述，在该说明书中，由于视差d和深度z可以唯一地来转换，因此通过对视差d进行归一化而获得的值i是像素值的视差图像和通过对深度z的倒数1/z进行归一化而获得的值y是像素值的深度图像被共同称为深度图像(视差相关图像)。在该情况下，深度图像(视差相关图像)的颜色格式是yuv420或yuv400，但是可以是其它颜色格式。

当值i或值y没有用作深度图像(视差相关图像)的像素值并且注意值i或值y本身的信息时，值i或值y被用作深度信息。此外，通过映射值i或值y所获得的将称为深度图。

<第一实施例>

[编码装置的第一实施例的配置示例]

图2是示出用作应用本技术的图像处理设备的编码装置的第一实施例的配置示例的框图。

图2的编码装置10包括多视点彩色图像图像捕获单元11、多视点彩色图像校正单元12、多视点视差相关图像生成单元13、视点生成信息生成单元14和多视点图像编码单元15。

编码装置10对预定视点的彩色图像和视差相关图像进行编码，并且使用预定视点的彩色图像和视差相关图像，以添加和传送作为用于生成除预定视点之外的视点的彩色图像的信息的视点生成信息。

编码装置10的多视点彩色图像图像捕获单元11捕获多个视点的彩色图像，并且将其作为多视点彩色图像提供到多视点彩色图像校正单元12。多视点彩色图像图像捕获单元11生成关于图像捕获的信息(诸如彩色图像的视点数量、外部参数和范围信息)作为图像捕获信息，并且将该信息提供到视点生成信息生成单元14。

应注意，外部参数是用于定义多视点彩色图像图像捕获单元11在水平方向上的位置的参数。

当多视点视差相关图像生成单元13生成的视差相关图像是深度图像时，范围信息包括将出现在多视点视差相关图像(多视点深度图像)中的深度方向上的位置处的世界坐标值的最小值(最小值znear)和最大值(最大值zfar)。最小值和最大值在下文中将分别被称为深度最小值和深度最大值。另一方面，当多视点视差相关图像生成单元13生成的视差相关图像是视差图像时，范围信息包括将出现在多视点视差相关图像中的世界坐标的视差的最小值(最小值dmin)和最大值(最大值dmax)并且还有用于标识用作当获得视差值时的基点的视点的彩色图像的信息。最小值和最大值在下文中将分别被称为视差最小值和视差最大值。

多视点彩色图像校正单元12对从多视点彩色图像图像捕获单元11提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。因此，在校正后的多视点彩色图像中，多视点彩色图像图像捕获单元11在水平方向(x方向)上的焦距在所有视点都相同。多视点彩色图像校正单元12将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差相关图像生成单元13和多视点图像编码单元15。多视点彩色图像校正单元12生成关于多视点校正彩色图像的信息(诸如内部参数)作为彩色图像信息，并且将该信息提供到视点生成信息生成单元14。

内部参数包括在多视点校正彩色图像中对所有视点都相同的、多视点彩色图像图像捕获单元11在水平方向上的焦距、以及作为图像中心的主点(即，透镜的光学中心在水平方向上的位置)。主点在水平方向上的位置对于各个视点可以不同。

多视点视差相关图像生成单元13根据从多视点彩色图像校正单元12提供的多视点校正彩色图像而生成多个视点的视差相关图像。然后，多视点视差相关图像生成单元13将所生成的多个视点的视差相关图像作为多视点视差相关图像提供到多视点图像编码单元15。

多视点视差相关图像生成单元13生成关于多视点视差相关图像的信息(诸如多视点视差相关图像的视点数量、指示多视点视差相关图像是深度图像还是视差图像的图像类型信息(深度图像标识信息))作为视差相关图像信息(深度图像信息)。然后，多视点视差相关图像生成单元13将视差相关图像信息提供到视点生成信息生成单元14。

视点生成信息生成单元14用作生成单元，并且使用多视点校正彩色图像和多视点视差相关图像来根据用于生成其它视点的彩色图像的预定方法而生成视点生成信息。更具体地，视点生成信息生成单元14基于从多视点彩色图像图像捕获单元11提供的彩色图像的视点数量和从多视点视差相关图像生成单元13提供的视差相关图像的视点数量而生成彩色图像标识信息和视差相关图像标识信息(深度图像标识信息)。应注意，彩色图像标识信息是用于标识彩色图像的信息，并且视差相关图像标识信息是用于标识视差相关图像的信息。

视点生成信息生成单元14基于由多视点彩色图像图像捕获单元11提供的图像捕获信息中包括的外部参数而生成指示与多视点视差相关图像对应的各个视点处的外部参数的存在/不存在的内部参数标志。此外，视点生成信息生成单元14基于多视点彩色图像校正单元12提供的彩色图像信息中包括的内部参数而生成指示与多视点视差相关图像对应的各个视点处的内部参数的存在/不存在的内部参数标志。然后，视点生成信息生成单元14根据彩色图像标识信息、视差相关图像标识信息、外部参数标志、内部参数标志、图像捕获信息、彩色图像信息和视差相关图像信息而生成视点生成信息。视点生成信息由彩色图像标识信息、视差相关图像标识信息、外部参数信息、内部参数信息、彩色图像的视点数量、范围信息、视差相关图像的视点数量和图像类型信息构成。应注意，外部参数信息由外部参数标志和与多视点视差相关图像对应的视点的外部参数构成，并且内部参数信息由内部参数标志和与多视点视差相关图像对应的视点的内部参数构成。视点生成信息生成单元14将所生成的视点生成信息提供到多视点图像编码单元15。

多视点图像编码单元15用作编码单元，并且根据与mvc(多视点视频编码)方法相同的方法，对多视点彩色图像校正单元12提供的多视点校正彩色图像和多视点视差相关图像生成单元13提供的多视点视差相关图像进行编码，并且添加视点生成信息生成单元14提供的视点生成信息。多视点图像编码单元15用作传送单元，并且传送作为结果获得的位流作为编码位流。

[编码位流的配置示例]

图3是示出图2的编码装置10生成的编码位流的访问单位的配置示例的图。

如图3所示，编码位流的访问单位由sps(序列参数集)、子集sps(subsetsps)、pps(图片参数集)、sei和切片构成。

在图3的示例中，多视点校正彩色图像和多视点视差相关图像的视点数量是两个。作为两个视点的多视点校正彩色图像的视点之一的校正彩色图像a被编码作为基本视图。另一视点的校正彩色图像b、与彩色图像a对应的视差相关图像a以及与彩色图像b对应的视差相关图像b被编码作为非基本视图。

结果，切片例如以以下顺序来布置：被编码作为基本视图的彩色图像a的切片、被编码作为非基本视图的视差相关图像a的切片以及彩色图像b的切片、然后是视差相关图像b的切片。在每个切片的报头部分中，描述用于标识pps的信息。

sps是包括关于基本视图的编码的信息的报头。子集sps是包括关于基本视图和非基本视图的编码的信息的扩展报头。pps是包括指示整个图片的编码模式的信息和用于标识sps和子集sps的信息的报头。sei是进行解码不必须的附加信息，并且包括视点生成信息等。

在被编码作为基本视图的彩色图像a的解码期间，基于在彩色图像a的报头部分中描述的用于标识pps的信息而查找pps，并且基于在pps中描述的用于标识sps的信息而查找sps。

另一方面，在被编码作为非基本视图的视差相关图像a的解码期间，基于在视差相关图像a的报头中描述的用于标识pps的信息而查找pps。基于在pps中描述的用于标识子sps的信息而查找子sps。在被编码作为非基本视图的彩色图像b和视差相关图像b的解码期间，与视差相关图像a的解码期间一样，同样查找pps并且同样查找子sps。

[sei的一部分的描述示例]

图4是示出sei的一部分的描述示例的图。

在图4的sei的左侧从顶部开始的第二行中，描述了彩色图像的视点数量(num_color_view_minus_1)。在第三行中，描述了视差相关图像的视点数量(num_depth_view_minus_1)。

在图4的左侧从顶部开始的第五行中，描述了作为各个视点的彩色图像的彩色图像标识信息的、彩色图像的视图id(color_view_id)。在第七行中，描述了作为各个视点的视差相关图像的视差相关图像标识信息的、视差相关图像的视图id(depth_view_id)。在图4的左侧从顶部开始的第八行中，描述了对于与多视点视差相关图像对应的各个视点的内部参数信息中的内部参数标志。在第九行中，描述了对于与多视点视差相关图像对应的各个视点的外部参数信息中的外部参数标志。

在图4的左侧从顶部开始的第11行以及第13行至第15行中，描述了内部参数中的水平方向上的焦距。

在图4的sei中，实数x被描述为由以下表达式(1)定义的使用精确值(precvalue)、符号值(signvalue)、指数值(exponentvalue)和尾数值(mantissavalue)的浮点数。

当e＝0成立时，

v＝max(0,prec-30)

x＝(-1)^s·2^-(30+v)·n

当0<e≤62成立时，

x＝(-1)^s·2^e-31·(1+n/2^v)

···(1)

在表达式(1)中，prec表示精确值，s表示符号值，e表示指数值，并且n表示尾数值。因此，符号值、指数值、尾数值分别表示实数x的符号、指数、尾数。

如上所述，实数x被描述为浮点数，因此，在图4的左侧从顶部开始的第11行以及第13行至第15行中，分别描述了水平方向上的焦距的精确值(prec_focal_length)、符号值(sign_focal_length_x)、指数值(exponent_focal_length_x)、尾数值(mantissa_focal_length_x)。

在图4的左侧从顶部开始的第12行中，描述了作为主点在水平方向上的位置处的精确值(prec_principal_point)的、对与多视点视差相关图像对应的各个视点共同的值。在图4的左侧从顶部开始的第17行至第19行中，描述了对于与多视点视差相关图像对应的各个视点，主点在水平方向上的位置处的符号值(sign_principal_point_x)、指数值(exponent_principal_point_x)、尾数值(mantissa_principal_point_x)。

在图4的右侧从顶部开始的第2行中，描述了作为外部参数的精确值(prec_translation_param)的、对与多视点视差相关图像对应的各个视点共同的值。在图4的右侧从顶部开始的第4行至第6行中，描述了对于与多视点视差相关图像对应的各个视点的外部参数，即，符号值(sign_translation_x)、指数值(exponent_translation_x)、尾数值(mantissa_translation_x)。

在图4的右侧从顶部开始的第9行中，描述了图像类型信息(depth_map_flag)。在图4的右侧从顶部开始的第11行至第12行中，当图像类型信息指示深度图像时，在范围信息中描述了对与多视点视差相关图像对应的各个视点共同的深度最小值(depth_nearest)和深度最大值(depth_farthest)。

此外，在图4的右侧从顶部开始的第16行至第18行中，描述了图像类型信息指示视差图像的范围信息。更具体地，在第16行和第17行中，分别描述了视差最小值(disparity_minimum)和视差最大值(disparity_maximum)。视差最小值和视差最大值根据视点而不同，因此，针对各个视点来生成并描述视差最小值和视差最大值。

在第18行中，描述了对于与多视点视差相关图像对应的各个视点，作为用于标识被用作推出视差值时的基点的视点的彩色图像的信息的、彩色图像的视图id(reference_depth_view)。

[关于编码装置的处理的说明]

图5是说明图2的编码装置10的编码处理的流程图。

在图5的步骤s10中，编码装置10的多视点彩色图像图像捕获单元11捕获多个视点的彩色图像，并且将其作为多视点彩色图像提供到多视点彩色图像校正单元12。

在步骤s11中，多视点彩色图像图像捕获单元11生成图像捕获信息，并且将其提供到视点生成信息生成单元14。

在步骤s12中，多视点彩色图像校正单元12对从多视点彩色图像图像捕获单元11提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。多视点彩色图像校正单元12将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差相关图像生成单元13和多视点图像编码单元15。

在步骤s13中，多视点彩色图像校正单元12生成彩色图像信息，并且将其提供到视点生成信息生成单元14。

在步骤s14中，多视点视差相关图像生成单元13根据从多视点彩色图像校正单元12提供的多视点校正彩色图像生成多个视点的视差相关图像。然后，多视点视差相关图像生成单元13将所生成的多个视点的视差相关图像作为多视点视差相关图像提供到多视点图像编码单元15。

在步骤s15中，多视点视差相关图像生成单元13生成视差相关图像信息，并且将其提供到视点生成信息生成单元14。

在步骤s16中，视点生成信息生成单元14基于图像捕获信息、彩色图像信息和视差相关图像信息而生成彩色图像标识信息、视差相关图像标识信息、内部参数标志和外部参数标志。

在步骤s17中，视点生成信息生成单元14生成视点生成信息。更具体地，视点生成信息生成单元14生成彩色图像标识信息、视差相关图像标识信息、彩色图像的视点数量、外部参数信息、内部参数信息、范围信息、视差相关图像的视点数量和图像类型信息作为视点生成信息。视点生成信息生成单元14将所生成的视点生成信息提供到多视点图像编码单元15。

在步骤s18中，多视点图像编码单元15执行用于对多视点校正彩色图像和多视点视差相关图像进行编码并且添加视点生成信息等的多视点编码处理。将参照稍后说明的图6说明多视点编码处理的细节。

在步骤s19中，多视点图像编码单元15传送作为步骤s18的结果而生成的编码位流，并且终止处理。

图6是说明图5的步骤s18中的多视点编码处理的细节的流程图。该多视点编码处理例如以切片为单位来进行。在图6的多视点编码处理中，要进行编码的图像是彩色图像a、彩色图像b、视差相关图像a和视差相关图像b。

在图6的步骤s31中，多视点图像编码单元15生成作为处理目标切片的目标切片的sps，并且给出对sps唯一的id。在步骤s32中，多视点图像编码单元15生成目标切片的子集sps，并且给出对子集sps唯一的id。

在步骤s33中，多视点图像编码单元15生成包括在步骤s31和s32中给出的id的目标切片的pps，并且给出对pps唯一的id。在步骤s34中，多视点图像编码单元15生成包括目标切片的视点生成信息的sei。

在步骤s35中，多视点图像编码单元15对作为基本视图的彩色图像a的目标切片进行编码，并且添加包括在步骤s33中给出的id的报头部分。在步骤s36中，多视点图像编码单元15对作为非基本视图的视差相关图像a的目标切片进行编码，并且添加包括在步骤s33中给出的id的报头部分。

在步骤s37中，多视点图像编码单元15对作为非基本视图的彩色图像b的目标切片进行编码，并且添加包括在步骤s33中给出的id的报头部分。在步骤s38中，多视点图像编码单元15对作为非基本视图的视差相关图像b的目标切片进行编码，并且添加包括在步骤s33中给出的id的报头部分。

然后，多视点图像编码单元15通过按顺序布置如此生成的sps、子集sps、pps、sei、彩色图像a的目标切片、视差相关图像a的目标切片、彩色图像b的目标切片和视差相关图像b的目标切片而生成编码位流。然后，再次执行图5的步骤s18中的处理，随后执行步骤s19。

在图6的多视点编码处理中，为了进行说明，以切片为单位来生成sps，但是在当前目标切片的sps与先前目标切片的sps相同时，不生成这样的sps。这同样可以适用于子集sps、pps和sei。

如上所述，编码装置10使用多视点校正彩色图像和多视点视差相关图像来根据用于生成其它视点的彩色图像的预定方法而生成视点生成信息，并且将该视点生成信息连同预定视点的彩色图像和视差相关图像一起进行传送。因此，稍后说明的解码装置可以使用预定视点的彩色图像、视差相关图像和视点生成信息来生成与预定视点不同的视点的彩色图像。

[解码装置的第一实施例的配置示例]

图7是示出用作应用本技术的图像处理设备的解码装置的第一实施例的配置示例的框图，该解码装置对从图2的编码装置10传送的编码位流进行解码。

图7的解码装置30由多视点图像解码单元31、视点合成单元32和多视点图像显示单元33构成。

解码装置30的多视点图像解码单元31用作接收单元，并且接收从图2的编码装置10传送的编码位流。多视点图像解码单元31从所接收的编码位流的sei提取视点生成信息，并且将视点生成信息提供到视点合成单元32。多视点图像解码单元31用作解码单元，并且根据与图2的多视点图像编码单元15的编码方法对应的解码方法对编码位流进行解码，并且生成多视点校正彩色图像和多视点视差相关图像。多视点图像解码单元31将多视点校正彩色图像和多视点视差相关图像提供到视点合成单元32。

视点合成单元32对于数量与对应于多视点图像显示单元33的视点数量相同的显示视点，使用多视点图像解码单元31提供的视点生成信息来对多视点图像解码单元31提供的多视点视差相关图像执行翘曲处理(稍后将说明其细节)。

更具体地，视点合成单元32基于包括在视点生成信息中的视差相关图像标识信息，从多视点图像解码单元31提供的多视点视差相关图像和多视点校正彩色图像中标识视点数量与视差相关图像的视点数量相同的多视点视差相关图像。然后，当包括在视点生成信息中的内部参数标志指示内部参数存在时，视点合成单元32从视点生成信息获得内部参数。然后，当包括在视点生成信息中的外部参数标志指示外部参数存在时，视点合成单元32从视点生成信息获得外部参数。然后，视点合成单元32基于如此获得的内部参数和外部参数以及包括在视点生成信息中的图像类型信息和范围信息，对多视点视差相关图像执行翘曲处理以根据显示视点对多视点视差相关图像进行翘曲。

翘曲处理是用于将特定视点的图像在几何上转换为其它视点的图像的处理。显示视点包括除了与多视点彩色图像对应的视点之外的视点。

视点合成单元32使用视点生成信息和作为翘曲处理的结果而获得的显示视点的视差相关图像，对多视点图像解码单元31提供的多视点校正彩色图像执行翘曲处理以根据显示视点对其进行翘曲。更具体地，视点合成单元32基于包括在视点生成信息中的彩色图像标识信息，从多视点图像解码单元31提供的多视点校正彩色图像和多视点视差相关图像中标识视点数量与彩色图像的视点数量相同的多视点彩色图像。然后，视点合成单元32使用作为翘曲处理的结果而获得的显示视点的视差相关图像对多视点校正彩色图像执行翘曲处理以根据显示视点对其进行翘曲。

视点合成单元32将作为结果获得的显示视点的彩色图像作为多视点合成彩色图像提供到多视点图像显示单元33。

多视点图像显示单元33以使得可视角度对每个视点不同的方式来显示视点合成单元32提供的多视点合成彩色图像。观看者利用其右眼和左眼看到两个给定视点的图像，从而在不佩戴眼镜的情况下从多个视点看到3d图像。

[关于深度图像的翘曲处理的说明]

图8是说明深度图像的翘曲处理的图。

在深度图像的翘曲处理中，首先，如图8所示，经由三维空间使得处理目标位置t(tx,ty,tz)处的视点的深度图像的每个像素的位置m(x,y,z)与翘曲处理后的位置t'(t'x,t'y,t'z)处的显示视点的深度图像的位置m'(x',y',z')相关联。

更具体地，根据以下表达式(2)获得与画面上的位置m(x,y,z)对应的世界坐标上的位置m(x,y,z)，其中，位置m(x,y,z)的像素的深度值(值y)是与位置t(tx,ty,tz)处的视点的深度图像中的世界坐标的深度方向上的位置z(深度z)对应的值，并且获得与位置m(x,y,z)对应的、位置t'(t'x,t'y,t'z)处的显示视点的深度图像的画面上的位置m'(x',y',z')。

(x,y,z)^t＝ra^-1(x,y,1)^tz+(tx,ty,tz)^t

s(x',y',1)^t＝a’r'^-1[(x,y,z)^t-(t'x,t'y,t'z)^t]

···(2)

在表达式(2)中，r是用于将多视点彩色图像图像捕获单元11上的坐标转换成世界坐标的旋转矩阵，并且是预先确定的固定矩阵。r’是用于将用于捕获与翘曲处理后的深度图像对应的彩色图像的虚拟图像捕获单元上的坐标转换成世界坐标的旋转矩阵。

在表达式(2)中，a是用于将多视点彩色图像图像捕获单元11上的坐标转换成画面上的坐标的矩阵，并且由以下表达式(3)来表示。

[数学式1]

在表达式(3)中，focal_length_x、focal_length_y分别表示多视点彩色图像图像捕获单元11在水平方向和垂直方向(y方向)上的焦距。应注意，principal_point_x、principal_point_y分别表示多视点彩色图像图像捕获单元11的主点在水平方向和垂直方向上的位置。radial_distortion表示半径方向上的应变系数。

然而，视点合成单元32不使用表达式(3)中的垂直方向上的焦距和主点在垂直方向上的位置。多视点彩色图像校正单元12进行校正以使得半径方向上的应变系数变为零。

a’是以与a相同的方式表示的、用于将用于捕获与翘曲处理后的深度图像对应的彩色图像的虚拟图像捕获单元的坐标转换为画面上的坐标的矩阵，并且是预先确定的。在表达式(2)中，s是比例因数，并且是预先确定的固定值。在该情况下，ty和tz是预先确定的固定值。

因此，除深度图像之外将位置m(x,y,z)与位置m'(x',y',z')相关联所需的信息是水平方向上的焦距、主点在水平方向上的位置、多视点彩色图像图像捕获单元11在水平方向上的位置以及将深度值转换为位置z所需的深度最小值和深度最大值。这样的信息包括在视点生成信息中。

在如上所述进行关联之后，基于与每个像素的位置m(x,y,z)对应的位置m'(x',y',z')而确定与处理目标的深度图像的每个像素对应的、已经受了翘曲处理的深度图像的像素。然后，采用处理目标的深度图像的每个像素的深度值作为与该像素对应的翘曲处理后的深度图像的像素的深度值。

应注意，除了以视差值(值i)替换深度值(值y)之外，以与对深度图像执行的翘曲处理相同的方式来进行对视差图像的翘曲处理。

[关于解码装置的处理的说明]

图9是说明图7的解码装置30的解码处理的流程图。该解码处理例如在从图2的编码装置10传送编码位流时开始。

在图9的步骤s51中，解码装置30的多视点图像解码单元31接收从图2的编码装置10传送的编码位流。

在步骤s52中，多视点图像解码单元31对所接收的编码位流进行解码，并且执行用于提取视点生成信息的多视点解码处理。将参照稍后说明的图10来说明多视点解码处理的细节。

在步骤s53中，视点合成单元32用作生成单元，并且使用多视点图像解码单元31提供的视点生成信息、多视点校正彩色图像和多视点视差相关图像而生成多视点合成彩色图像。

在步骤s54中，多视点图像显示单元33以使得可视角度对每个视点不同的方式显示视点合成单元32提供的多视点合成彩色图像，并且终止处理。

图10是说明图9的步骤s52中的多视点解码处理的细节的流程图。该多视点解码处理例如以切片为单位来进行。在图10的多视点解码处理中，解码目标的图像是彩色图像a、彩色图像b、视差相关图像a和视差相关图像b。

在图10的步骤s71中，多视点图像解码单元31从所接收的编码位流提取sps。在步骤s72中，多视点图像解码单元31从编码位流提取子集sps。在步骤s73中，多视点图像解码单元31从编码位流提取pps。

在步骤s74中，多视点图像解码单元31从编码位流提取sei，并且将包括在sei中的视点生成信息提供到视点合成单元32。

在步骤s75中，基于包括在彩色图像a的目标切片的报头中的pps的id，多视点图像解码单元31激活给出了id的pps。在步骤s76中，基于在步骤s75中激活的pps中所包括的sps的id，多视点图像解码单元31激活给出了id的sps。

在步骤s77中，多视点图像解码单元31查找所激活的pps和sps，并且对作为基本视图的彩色图像a的目标切片进行解码，并将其提供到视点合成单元32。

在步骤s78中，基于激活的pps中所包括的子集sps的id，多视点图像解码单元31激活给出了id的子集sps。在步骤s79中，多视点图像解码单元31查找所激活的pps和子集sps，并且对作为非基本视图的视差相关图像a的目标切片进行解码，并将其提供到视点合成单元32。

在步骤s80中，多视点图像解码单元31查找所激活的pps和子集sps，并且对作为非基本视图的彩色图像b的目标切片进行解码，并将其提供到视点合成单元32。在步骤s81中，多视点图像解码单元31查找所激活的pps和子集sps，并且对作为非基本视图的视差相关图像b的目标切片进行解码，并将其提供到视点合成单元32。然后，再次执行图9的步骤s52中的处理，并且随后执行步骤s53。

在图10的多视点解码处理中，为了进行说明，sps、子集sps、pps和sei被认为是针对所有切片生成的，并且被配置成对于每个切片始终被提取，但是当存在没有生成sps、子集sps、pps和sei的切片时，跳过用于提取sps、子集sps、pps和sei的处理。

如上所述，解码装置30从编码装置10接收预定视点的彩色图像和视差相关图像以及视点生成信息。因此，解码装置30可以使用预定视点的彩色图像、视差相关图像和视点生成信息来生成与预定视点不同的视点的彩色图像。

相反，根据作为传统编码方法的mvc方法所编码的位流不包括用于使用预定视点的彩色图像和视差相关图像来生成与预定视点不同的视点的图像的必要信息。更具体地，其不包括用于标识彩色图像和视差相关图像的信息、用于标识视差图像和深度图像的信息以及范围信息。

如图1所示的多视点获取信息sei包括摄像装置的内部和摄像装置的外部的参数，但是包括除视点生成信息之外的较多不必要的信息。此外，在多视点获取信息sei中，针对所有视点或者仅针对特定视点描述摄像装置的内部的参数，而与参数类型无关。因此，当针对所有视点描述摄像装置的内部的参数时，其包括较多冗余信息，而当仅针对特定视点描述该参数时，这样的信息是不够的。在多视点获取信息sei中，针对所有视点描述摄像装置的外部的参数，因此，包括较多冗余信息。

在编码装置10中，根据多视点校正彩色图像生成多视点视差相关图像，但是多视点视差相关图像可在多视点彩色图像的图像捕获期间通过传感器检测视差值和深度值来生成。这适用于稍后说明的编码装置50。

视点生成信息可包括彩色图像标识信息和视差相关图像标识信息中的任一个。在该情况下，解码装置30将多视点彩色图像和多视点视差相关图像中的未标识的一个图像标识为未标识的图像。例如，视点生成信息仅包括彩色图像标识信息，解码装置30基于彩色图像标识信息而标识多视点彩色图像，并且确定除此之外的图像是多视点视差相关图像。

在第一实施例中，在sei中传送视点生成信息。替选地，视点生成信息可包括在vcl(视频编码层)、nal(网络抽象层)的sps(序列参数集)和pps(图片参数集)等中。

<第二实施例>

[编码装置的第二实施例的配置示例]

图11是示出用作应用本技术的图像处理设备的编码装置的第二实施例的配置示例的框图。

图11的编码装置50包括多视点彩色图像图像捕获单元51、多视点彩色图像校正单元52、多视点视差相关图像生成单元53、视点生成信息生成单元54和多视点图像编码单元55。编码装置50传送视点生成信息的一部分作为关于编码的信息(编码参数)。

更具体地，编码装置10的多视点彩色图像图像捕获单元51捕获多个视点的彩色图像，并且将其作为多视点彩色图像提供到多视点彩色图像校正单元52。多视点彩色图像图像捕获单元51生成外部参数、视差相关最大值(深度最大值)和视差相关最小值(深度最小值)(稍后将说明其细节)。多视点彩色图像图像捕获单元51将外部参数、视差相关最大值和视差相关最小值提供到视点生成信息生成单元54，并且将视差相关最大值和视差相关最小值提供到多视点视差相关图像生成单元53。

当多视点视差相关图像生成单元53生成的视差相关图像是深度图像时，视差相关最大值是深度最大值，而当其是视差图像时，视差相关最大值是视差最大值。当多视点视差相关图像生成单元53生成的视差相关图像是深度图像时，视差相关最小值是深度最小值，而当其是视差图像时，视差相关最小值是视差最小值。

多视点彩色图像校正单元52对从多视点彩色图像图像捕获单元51提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。因此，在校正后的多视点彩色图像中多视点彩色图像图像捕获单元51在水平方向(x方向)上的焦距在所有视点都相同。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差相关图像生成单元53和多视点图像编码单元55。

基于从多视点彩色图像图像捕获单元51提供的视差相关最大值和视差相关最小值，多视点视差相关图像生成单元53根据从多视点彩色图像校正单元52提供的多视点校正彩色图像而生成多个视点的视差相关图像。更具体地，多视点视差相关图像生成单元53针对多个视点中的每个视点从多视点校正彩色图像获得在每个像素处尚未归一化的视差相关值(深度z的倒数1/z或视差d)，并且基于视差相关最大值和视差相关最小值对尚未归一化的视差相关值进行归一化。然后，多视点视差相关图像生成单元53针对多个视点中的每个视点生成归一化后的每个像素的视差相关值(值y，值i)是视差相关图像的像素的像素值的视差相关图像。

然后，多视点视差相关图像生成单元53将所生成的多个视点的视差相关图像作为多视点视差相关图像提供到多视点图像编码单元55。此外，多视点视差相关图像生成单元53生成表示多视点视差相关图像的像素值的精度的视差精度参数(深度精度参数)，并且将视差精度参数提供到视点生成信息生成单元54。

视点生成信息生成单元54用作生成单元，并且使用多视点校正彩色图像和多视点视差相关图像来根据用于生成其它视点的彩色图像的预定方法而生成视点生成信息。更具体地，视点生成信息生成单元54基于多视点彩色图像图像捕获单元51提供的外部参数而获得摄像装置间距离。摄像装置间距离是当多视点彩色图像图像捕获单元51捕获多视点视差相关图像的各个视点处的彩色图像时多视点彩色图像图像捕获单元51在水平方向上的位置与当多视点彩色图像图像捕获单元51捕获具有与关于如此捕获的彩色图像的视差相关图像对应的视差的彩色图像时多视点彩色图像图像捕获单元51在水平方向上的位置之间的距离。

视点生成信息生成单元54采用多视点彩色图像图像捕获单元51提供的视差相关最大值和视差相关最小值、摄像装置间距离和多视点视差相关图像生成单元53提供的视差精度参数作为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供到多视点图像编码单元55。

多视点图像编码单元55用作编码单元，并且根据依照hevc(高效视频编码)方法的方法对多视点彩色图像校正单元52提供的多视点校正彩色图像和多视点视差相关图像生成单元53提供的多视点视差相关图像进行编码。在2011年8月，thomaswiegand,woo-jinhan,benjaminbross,jens-rainerohm,garyj.sullivian,"wd3:workingdraft3ofhigh-efficiencyvideocoding",jctvc-e603_d5(version5),may20,2011被发布作为关于hevc方法的草案。

多视点图像编码单元55对视点生成信息生成单元54提供的视点生成信息中的视差相关最大值、视差相关最小值和摄像装置间距离执行差分编码，并且使得这样的信息包括关于多视点视差相关图像的编码的信息。然后，多视点图像编码单元55传送包括被编码的多视点校正彩色图像和多视点视差相关图像、被差分编码的视差相关最大值和视差相关最小值、包括摄像装置间距离的关于编码的信息、视点生成信息生成单元54提供的视差精度参数等的位流作为编码位流。

如上所述，多视点图像编码单元55对视差相关最大值、视差相关最小值和摄像装置间距离进行差分编码并进行传送，因此可以减少视点生成信息的代码量。为了提供舒服的3d图像，可以不大大改变图片之间的视差相关最大值、视差相关最小值和摄像装置间距离，因此，差分编码对于减少代码量是有效的。

[关于视点生成信息的说明]

图12是说明视点生成信息的视差相关最大值和视差相关最小值的图。

在图12中，水平轴表示未归一化的视差相关值，并且垂直轴表示视差相关图像的像素值(深度信息)。

如图12所示，多视点视差相关图像生成单元53使用视差相关最小值dmin和视差相关最大值dmax，将每个像素的未归一化视差相关值(深度z的倒数1/z或视差d)归一化为例如0至255的值。然后，多视点视差相关图像生成单元53生成作为0至255中的任一个值的每个像素的归一化视差相关值(深度信息)是像素值的视差相关图像。

更具体地，如上所述，视差相关图像中的每个像素的像素值i由使用该像素的未归一化视差相关值d(视差d)、视差相关最小值dmin和视差相关最大值dmax的以下表达式(4)来表示。

[数学式2]

因此，在稍后说明的解码装置中，需要根据使用视差相关最小值dmin和视差相关最大值dmax的以下表达式(5)，从视差相关图像中的每个像素的像素值i恢复未归一化视差相关值d。

[数学式3]

更具体地，如上所述，视差相关图像中的每个像素的像素值y由使用该像素的非归一化视差相关值z(视差z)、视差相关最小值znear和视差相关最大值zfar的表达式(c)来表示。因此，在稍后说明的解码装置中，需要使用视差相关最小值znear和视差相关最大值zfar来从视差相关图像中的每个像素的像素值y恢复视差相关值z。因此，视差相关最小值和视差相关最大值被传送到解码装置。

图13是说明视点生成信息的视差精度参数的图。

如图13的上段所示，当每个归一化视差相关值(深度信息)的非归一化视差相关值(深度z的倒数1/z或视差d)是0.5时，视差精度参数表示0.5，其是归一化视差相关值(深度信息)的精度。如图13的下段所示，当每个归一化视差相关值的非归一化视差相关值是1时，视差精度参数表示1.0，其是视差相关值的精度。

在图13的示例中，第一视点的视点#1处的非归一化视差相关值是1.0，并且第二视点的视点#2处的非归一化视差相关值是0.5。因此，尽管视差相关值的精度是0.5或1.0，但是视点#1的归一化视差相关值是1.0。另一方面，尽管视差相关值的精度是0.5，但是视点#2的视差相关值是0.5，并且尽管视差相关值的精度是1.0，但是视点#2的视差相关值是0。

图14是说明视点生成信息的摄像装置间距离的图。

如图14所示，相对于视点#2的视点#1的视差相关图像的摄像装置间距离是由视点#1的外部参数表示的位置与由视点#2的外部参数表示的位置之间的距离。

[多视点图像编码单元的配置示例]

图15是示出图11的多视点图像编码单元55的配置示例的框图。

图15的多视点图像编码单元55包括切片编码单元61、切片报头编码单元62、pps编码单元63和sps编码单元64。

多视点图像编码单元55的切片编码单元61以切片为单位，根据依照hevc方法的方法，对多视点彩色图像校正单元52提供的多视点校正彩色图像和多视点视差相关图像生成单元53提供的多视点视差相关图像进行编码。切片编码单元61将作为编码结果获得的以切片为单位的编码数据提供给切片报头编码单元62。

切片报头编码单元62确定视点生成信息生成单元54提供的视点生成信息中的视差相关最大值、视差相关最小值和摄像装置间距离是当前处理目标的切片的视差相关最大值、视差相关最小值和摄像装置间距离，并且保持它们。

切片报头编码单元62还确定当前处理目标的切片的视差相关最大值、视差相关最小值和摄像装置间距离与关于该切片按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离相同，并且以给出同一pps的单位(下文中称为同一pps单位)进行该确定。

然后，当确定构成同一pps单位的切片的所有视差相关最大值、视差相关最小值和摄像装置间距离与按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离相同时，切片报头编码单元62添加除了该切片的视差相关最大值、视差相关最小值和摄像装置间距离之外的关于编码的信息作为构成同一pps单位的每个切片的编码数据的切片报头，并且将该信息提供到pps编码单元63。切片报头编码单元62将指示对视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的传送不存在的传送标志提供给pps编码单元63。

另一方面，当确定构成同一pps单位的至少一个切片的所有视差相关最大值、视差相关最小值和摄像装置间距离与按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离不同时，切片报头编码单元62将包括该切片的视差相关最大值、视差相关最小值和摄像装置间距离的关于编码的信息作为切片报头添加到帧内类型切片的编码数据，并且将该信息提供到pps编码单元63。

切片报头编码单元62对帧间类型切片的视差相关最大值、视差相关最小值和摄像装置间距离执行差分编码。更具体地，切片报头编码单元62从帧间类型切片的视差相关最大值、视差相关最小值和摄像装置间距离分别减去关于该切片按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离，并且获得差分编码结果。然后，切片报头编码单元62将包括对视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的关于编码的信息作为切片报头添加到帧间类型切片的编码数据，并且将该信息提供到pps编码单元63。

在该情况下，切片报头编码单元62将指示对视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的传送存在的传送标志提供给pps编码单元63。

pps编码单元63生成包括从切片报头编码单元62提供的传送标志和从图11的视点生成信息生成单元54提供的视点生成信息中的视差精度参数的pps。pps编码单元63以同一pps单位将pps添加到以切片为单位的添加了从切片报头编码单元62提供的切片报头的编码数据，并且将其提供到sps编码单元64。

sps编码单元64生成sps。然后，sps编码单元64以序列为单位将sps添加到添加了从pps编码单元63提供的pps的编码数据。sps编码单元64传送作为结果获得的位流作为编码位流。

[编码位流的配置示例]

图16是示出编码位流的配置示例的图。

在图16中，为了进行说明，仅描述了多视点视差相关图像的切片的编码数据。但是实际上，编码位流还布置有多视点彩色图像的切片的编码数据。

在图16的示例中，构成作为第0个pps的pps#0的同一pps单位的两个帧间类型切片和一个帧内类型切片的视差相关最大值、视差相关最小值和摄像装置间距离分别与按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离不同。因此，pps#0包括指示传送存在的传送标志“1”。在图16的示例中，构成pps#0的同一pps单位的切片的视差精度是0.5，并且pps#0包括表示视差精度0.5的“1”作为视差精度参数。

此外，在图16的示例中，构成pps#0的同一pps单位的帧内类型切片的视差相关最小值是10，并且其视差相关最大值是50，且其摄像装置间距离是100。因此，切片的切片报头包括视差相关最小值“10”、视差相关最大值“50”和摄像装置间距离“100”。

在图16的示例中，构成pps#0的同一pps单位的第一帧间类型切片的视差相关最小值是9，并且其视差相关最大值是48，且其摄像装置间距离是105。因此，切片的切片报头包括通过从切片的视差相关最小值“9”减去按编码顺序布置在该切片之前的帧内类型切片的视差相关最小值“10”而获得的差“-1”作为视差相关最小值的差分编码结果。同样，视差相关最大值的差“-2”被包括作为视差相关最大值的差分编码结果，并且摄像装置间距离的差“5”被包括作为摄像装置间距离的差分编码结果。

此外，在图16的示例中，构成pps#0的同一pps单位的第二帧间类型切片的视差相关最小值是7，并且其视差相关最大值是47，且其摄像装置间距离是110。因此，切片的切片报头包括通过从该切片的视差相关最小值“7”减去按编码顺序布置在该切片之前的第一帧间类型切片的视差相关最小值“9”而获得的差“-2”作为视差相关最小值的差分编码结果。同样，视差相关最大值的差“-1”被包括作为视差相关最大值的差分编码结果，并且摄像装置间距离的差“5”被包括作为摄像装置间距离的差分编码结果。

在图16的示例中，构成作为第1个pps的pps#1的同一pps单位的两个帧间类型切片和一个帧内类型切片的视差相关最大值、视差相关最小值和摄像装置间距离分别与按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离相同。更具体地，构成作为第1个pps的pps#1的同一pps单位的两个帧间类型切片和一个帧内类型切片的视差相关最大值、视差相关最小值和摄像装置间距离分别是“7”、“47”和“110”，其与构成pps#0的同一pps单位的第二帧间类型切片的视差相关最大值、视差相关最小值和摄像装置间距离相同。因此，pps#1包括指示传送不存在的传送标志“0”。在图16的示例中，构成pps#1的同一pps单位的切片的视差精度是0.5，并且pps#1包括表示视差精度0.5的“1”作为视差精度参数。

[pps的语法示例]

图17是示出图16的pps的语法示例的图。

如图17所示，pps包括视差精度参数(disparity_precision)和传送标志(dsiparity_pic_same_flag)。例如，当指示视差精度(深度信息的精度)1时，视差精度参数是“0”，而当指示视差精度(深度信息的精度)0.25时，视差精度参数是“2”。如上所述，当指示视差精度(深度信息的精度)0.5时，视差精度参数是“1”。如上所述，当指示传送存在时，传送标志是“1”，而当指示传送不存在时，传送标志是“0”。

[切片报头的语法示例]

图18和图19是示出切片报头的语法示例的图。

如图19所示，当传送标志是1并且切片类型是帧内类型时，切片报头包括视差相关最小值(minimum_disparity)、视差相关最大值(maximum_disparity)和摄像装置间距离(translation_x)。

另一方面，当传送标志是1并且切片类型是帧间类型时，切片报头包括视差相关最小值的差分编码结果(delta_minimum_disparity)、视差相关最大值的差分编码结果(delta_maximum_disparity)和摄像装置间距离的差分编码结果(delta_translation_x)。

[关于编码装置的处理的说明]

图20是说明图11的编码装置50的编码处理的流程图。

在图20的步骤s111中，编码装置50的多视点彩色图像图像捕获单元51捕获多个视点的彩色图像，并且将其作为多视点彩色图像提供到多视点彩色图像校正单元52。

在步骤s112中，多视点彩色图像图像捕获单元51生成视差相关最大值、视差相关最小值和外部参数。多视点彩色图像图像捕获单元51将视差相关最大值、视差相关最小值和外部参数提供到视点生成信息生成单元54，并且将视差相关最大值和视差相关最小值提供到多视点视差相关图像生成单元53。

在步骤s113中，多视点彩色图像校正单元52对从多视点彩色图像图像捕获单元51提供的多视点彩色图像执行颜色校正、亮度校正、失真校正等。因此，校正后的多视点彩色图像中多视点彩色图像图像捕获单元51在水平方向(x方向)上的焦距在所有视点都相同。多视点彩色图像校正单元52将校正后的多视点彩色图像作为多视点校正彩色图像提供到多视点视差相关图像生成单元53和多视点图像编码单元55。

在步骤s114中，基于从多视点彩色图像图像捕获单元51提供的视差相关最大值和视差相关最小值，多视点视差相关图像生成单元53根据从多视点彩色图像校正单元52提供的多视点校正彩色图像而生成多个视点的视差相关图像。然后，多视点视差相关图像生成单元53将所生成的多个视点的视差相关图像作为多视点视差相关图像提供到多视点图像编码单元55。

在步骤s115中，多视点视差相关图像生成单元53生成视差精度参数，并且将视差精度参数提供到视点生成信息生成单元54。

在步骤s116中，视点生成信息生成单元54基于多视点彩色图像图像捕获单元51提供的外部参数而获得摄像装置间距离。

在步骤s117中，视点生成信息生成单元54生成多视点彩色图像图像捕获单元51提供的视差相关最大值和视差相关最小值、摄像装置间距离和多视点视差相关图像生成单元53提供的视差精度参数作为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供到多视点图像编码单元55。

在步骤s118中，多视点图像编码单元55根据依照hevc方法的方法，执行用于对多视点彩色图像校正单元52提供的多视点校正彩色图像和多视点视差相关图像生成单元53提供的多视点视差相关图像进行编码的多视点编码处理。将参照稍后说明的图21来说明多视点编码处理的细节。

在步骤s119中，多视点图像编码单元55传送作为多视点编码处理的结果而获得的编码位流，并且终止处理。

图21是说明图20的步骤s118中的多视点编码处理的流程图。

在图21的步骤s131中，多视点图像编码单元55(图15)的切片编码单元61以切片为单位，根据依照hevc方法的方法，对多视点彩色图像校正单元52提供的多视点校正彩色图像和多视点视差相关图像生成单元53提供的多视点视差相关图像进行编码。切片编码单元61将作为编码结果获得的以切片为单位的编码数据提供给切片报头编码单元62。

在步骤s132中，切片报头编码单元62确定视点生成信息生成单元54提供的视点生成信息中的视差相关最大值、视差相关最小值和摄像装置间距离是当前处理目标的切片的视差相关最大值、视差相关最小值和摄像装置间距离，并且保持它们。

在步骤s133中，切片报头编码单元62确定构成同一pps单位的所有切片的视差相关最大值、视差相关最小值和摄像装置间距离是否与关于该切片按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离相同。

当在步骤s133中确定摄像装置间距离、视差相关最大值和视差相关最小值相同时，切片报头编码单元62生成指示对视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的传送不存在的传送标志，并且在步骤s134中将其提供到pps编码单元63。

在步骤s135中，切片报头编码单元62将除该切片的摄像装置间距离、视差相关最大值和视差相关最小值之外的关于编码的信息作为切片报头添加到构成作为步骤s133的处理目标的同一pps单位的各个切片的编码数据。然后，切片报头编码单元62将作为结果获得的构成同一pps单位的各个切片的编码数据提供给pps编码单元63，并且进行到步骤s140中的处理。

另一方面，当在步骤s133中确定摄像装置间距离、视差相关最大值和视差相关最小值不同时，切片报头编码单元62生成指示对视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的传送存在的传送标志，并且在步骤s136中将其提供到pps编码单元63。对构成作为步骤s133的处理目标的同一pps单位的各个切片执行稍后说明的步骤s137至s139中的处理。

在步骤s137中，切片报头编码单元62确定构成作为步骤s133的处理目标的同一pps单位的切片的类型是否是帧内类型。当在步骤s137中确定切片的类型是帧内类型时，在步骤s138中，切片报头编码单元62将包括该切片的视差相关最大值、视差相关最小值和摄像装置间距离的关于编码的信息作为切片报头添加到该切片的编码数据。然后，切片报头编码单元62将作为结果获得的以切片为单位的编码数据提供给pps编码单元63，并且进行到步骤s140中的处理。

另一方面，当在步骤s137中确定切片的类型不是帧内类型时，更具体地，当确定切片的类型是帧间类型时，执行步骤s139中的处理。在步骤s139中，切片报头编码单元62对该切片的摄像装置间距离、视差相关最大值和视差相关最小值执行差分编码，并且将包括差分编码结果的关于编码的信息作为切片报头添加到该切片的该编码数据。然后，切片报头编码单元62将作为结果获得的以切片为单位的编码数据提供给pps编码单元63，并且进行到步骤s140中的处理。

在步骤s140中，pps编码单元63生成包括从切片报头编码单元62提供的传送标志和从图11的视点生成信息生成单元54提供的视点生成信息中的视差精度参数的pps。

在步骤s141中，pps编码单元63以同一pps单位将pps添加到以切片为单位的添加了从切片报头编码单元62提供的切片报头的编码数据，并且将其提供到sps编码单元64。

在步骤s142中，sps编码单元64生成sps。

在步骤s143中，sps编码单元64以序列为单位将sps添加到添加了从pps编码单元63提供的pps的编码数据，并且生成编码位流。

如上所述，编码装置50将切片报头中的摄像装置间距离、视差相关最大值和视差相关最小值布置为关于编码的信息。因此，例如，摄像装置间距离、视差相关最大值和视差相关最小值可以用于编码。

[解码装置的第二实施例的配置示例]

图22是示出用作应用本技术的图像处理设备的解码装置的第二实施例的配置示例的框图，该解码装置对从图11的编码装置50传送的编码位流进行解码。

在如图22所示的配置中，与图7的配置相同的配置以相同的附图标记来表示。根据需要省略重复的说明。

图22的解码装置80的配置与图7的配置的不同之处在于，取代多视点图像解码单元31和视点合成单元32，解码装置80包括多视点图像解码单元81和视点合成单元82。解码装置80基于从编码装置50传送的视点生成信息而显示多视点合成彩色图像。

更具体地，解码装置80的多视点图像解码单元81用作接收单元，并且接收从图11的编码装置50传送的编码位流。多视点图像解码单元81从包括在所接收的编码位流中的pps提取视差精度参数和传送标志。多视点图像解码单元81根据传送标志从编码位流的切片报头提取摄像装置间距离、视差相关最大值和视差相关最小值。多视点图像解码单元81生成包括视差精度参数、摄像装置间距离、视差相关最大值和视差相关最小值的视点生成信息，并且将其提供到视点合成单元82。

多视点图像解码单元81用作解码单元，并且根据与图11的多视点图像编码单元15的编码方法对应的方法对包括在编码位流中的以切片为单位的编码数据进行解码，并且生成多视点校正彩色图像和多视点视差相关图像。多视点图像解码单元81将多视点校正彩色图像和多视点视差相关图像提供到视点合成单元82。

视点合成单元82使用多视点图像解码单元81提供的视点生成信息来对多视点图像解码单元81提供的多视点视差相关图像执行翘曲处理，以根据显示视点对图像进行翘曲。更具体地，视点合成单元82基于包括在视点生成信息中的摄像装置间距离、视差相关最大值、视差相关最小值等，以与视差精度参数对应的精度对多视点视差相关图像执行翘曲处理，以根据显示视点对图像进行翘曲。视点合成单元82使用作为翘曲处理的结果而获得的显示视点的视差相关图像来对多视点图像解码单元81提供的多视点校正彩色图像执行翘曲处理，以根据显示视点对其进行翘曲。视点合成单元82将作为结果获得的显示视点的彩色图像作为多视点合成彩色图像提供到多视点图像显示单元33。

如上所述，视点合成单元82基于视差精度参数，以与视点精度参数对应的精度对多视点视差相关图像执行翘曲处理，以根据显示视点对其进行翘曲，因此，视点合成单元82不需要浪费以高精度来执行翘曲处理。

另外，视点合成单元82对多视点视差相关图像执行翘曲处理以根据摄像装置间距离对其进行翘曲，因此，当与已经受了翘曲处理的多视点视差相关图像的视差相关值对应的视差不在适当范围中时，可以基于摄像装置间距离将视差相关值校正为与适当范围中的视差对应的值。

[多视点图像解码单元的配置示例]

图23是示出图22的多视点图像解码单元81的配置示例的框图。

图23的多视点图像解码单元81包括sps解码单元101、pps解码单元102、切片报头解码单元103和切片解码单元104。

多视点图像解码单元81的sps解码单元101接收从图11的编码装置50传送的编码位流，并且提取编码位流中的sps。sps解码单元101将除sps之外的编码位流和所提取的sps提供给pps解码单元102。

pps解码单元102从由sps解码单元101提供的除sps之外的编码位流提取pps。pps解码单元102将除sps和pps之外的编码位流以及所提取的pps和sps提供给切片报头解码单元103。

切片报头解码单元103从由pps解码单元102提供的除sps和pps之外的编码位流提取切片报头。当包括在pps解码单元102提供的pps中的传送标志是指示传送存在的“1”时，切片报头解码单元103保持包括在切片报头中的摄像装置间距离、视差相关最大值和视差相关最小值，或者基于摄像装置间距离、视差相关最大值和视差相关最小值的差分编码结果而更新其中保持的摄像装置间距离、视差相关最大值和视差相关最小值。切片报头解码单元103根据所保持的摄像装置间距离、视差相关最大值和视差相关最小值以及包括在pps中的视差精度参数而生成视点生成信息，并且将其提供到视点合成单元82。此外，切片报头解码单元103将作为除sps、pps和切片报头之外的编码位流的以切片为单位的编码数据以及sps、pps和切片报头提供给切片解码单元104。

切片解码单元104基于从切片报头解码单元103提供的sps、pps和切片报头，根据与切片编码单元61(图15)的编码方法对应的方法而对以切片为单位的编码数据进行解码。切片报头解码单元103将作为解码结果获得的多视点校正彩色图像和多视点视差相关图像提供给图22的视点合成单元82。

[关于解码装置的处理的说明]

除了图9的步骤s52中的多视点解码处理之外，图22的解码装置80的解码处理以相同的方式来进行，因此，在以下说明中，将仅说明多视点解码处理。

图24是说明图22的解码装置80的多视点图像解码单元81的多视点解码处理的流程图。

在图24的步骤s161中，多视点图像解码单元81(图23)的sps解码单元101从所接收的编码位流提取sps。sps解码单元101将除sps之外的编码位流和所提取的sps提供给pps解码单元102。

在步骤s162中，pps解码单元102从由sps解码单元101提供的除sps之外的编码位流提取pps。pps解码单元102将除sps和pps之外的编码位流以及所提取的pps和sps提供给切片报头解码单元103。

在步骤s163中，切片报头解码单元103将包括在从pps解码单元102提供的pps中的视差精度参数作为视点生成信息的一部分提供到视点合成单元82。

在步骤s164中，切片报头解码单元103确定包括在pps解码单元102提供的pps中的传送标志是否是指示传送存在的“1”。应注意，以切片为单位进行步骤s165至s174中的随后处理。

当在步骤s164中确定传送标志是指示传送存在的“1”时，随后执行步骤s165中的处理。在步骤s165中，切片报头解码单元103从由pps解码单元102提供的除sps和pps之外的编码位流提取包括视差相关最大值、视差相关最小值和摄像装置间距离或者视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的切片报头。

在步骤s166中，切片报头解码单元103确定切片的类型是否是帧内类型。当在步骤s166中确定切片的类型是帧内类型时，随后执行步骤s167中的处理。

在步骤s167中，切片报头解码单元103保持在步骤s165中提取的切片报头中所包括的视差相关最小值，并且将其作为视点生成信息的一部分提供到视点合成单元82。

在步骤s168中，切片报头解码单元103保持在步骤s165中提取的切片报头中所包括的视差相关最大值，并且将其作为视点生成信息的一部分提供到视点合成单元82。

在步骤s169中，切片报头解码单元103保持在步骤s165中提取的切片报头中所包括的摄像装置间距离，并且将其作为视点生成信息的一部分提供到视点合成单元82。然后，执行步骤s175中的处理。

另一方面，在步骤s166中确定切片的类型不是帧内类型时，更具体地，当确定切片的类型是帧间类型时，执行步骤s170中的处理。

在步骤s170中，切片报头解码单元103将在步骤s165中提取的切片报头中所包括的视差相关最小值的差分编码结果添加到所保持的视差相关最小值。切片报头解码单元103将通过添加操作而恢复的视差相关最小值作为视点生成信息的一部分提供到视点合成单元82。

在步骤s171中，切片报头解码单元103将在步骤s165中提取的切片报头中所包括的视差相关最大值的差分编码结果添加到所保持的视差相关最大值。切片报头解码单元103将通过添加操作而恢复的视差相关最大值作为视点生成信息的一部分提供到视点合成单元82。

在步骤s172中，切片报头解码单元103将在步骤s165中提取的切片报头中所包括的摄像装置间距离的差分编码结果添加到所保持的摄像装置间距离。切片报头解码单元103将通过添加操作而恢复的摄像装置间距离作为视点生成信息的一部分提供到视点合成单元82。然后，执行步骤s175中的处理。

当在步骤s164中确定传送标志不是指示传送存在的“1”时，即，当确定传送标志是指示传送不存在的“0”时，随后执行步骤s173中的处理。

在步骤s173中，切片报头解码单元103从由pps解码单元102提供的除sps和pps之外的编码位流提取不包括视差相关最大值、视差相关最小值和摄像装置间距离以及视差相关最大值、视差相关最小值和摄像装置间距离的差分编码结果的切片报头。

在步骤s174中，切片报头解码单元103确定所保持的视差相关最大值、视差相关最小值和摄像装置间距离(即，按编码顺序的先前切片的视差相关最大值、视差相关最小值和摄像装置间距离)是处理目标的切片的视差相关最大值、视差相关最小值和摄像装置间距离，从而恢复处理目标的切片的视差相关最大值、视差相关最小值和摄像装置间距离。然后，切片报头解码单元103将如此恢复的视差相关最大值、视差相关最小值和摄像装置间距离作为视点生成信息的一部分提供到视点合成单元82，并且进行到步骤s175中的处理。

在步骤s175中，切片解码单元104基于从切片报头解码单元103提供的sps、pps和切片报头，根据与切片编码单元61(图15)的编码方法对应的方法对以切片为单位的编码数据进行解码。切片报头解码单元103将作为解码结果获得的多视点校正彩色图像和多视点视差相关图像提供给图22的视点合成单元82。

如上所述，解码装置80可以对视差相关最大值、视差相关最小值和摄像装置间距离被布置为切片报头中的关于编码的信息的编码位流进行解码。因此，例如，可以对视差相关最大值、视差相关最小值和摄像装置间距离用于编码的编码位流进行解码。

在第二实施例中，视点生成信息中的视差相关最大值、视差相关最小值和摄像装置间距离包括在切片报头中，但是可在sps、pps、sei等中描述。在第二实施例中，视点生成信息还可包括彩色图像标识信息、视差相关图像标识信息、外部参数信息、内部参数信息、彩色图像的视点数量、用于标识用作用于获得视差值的基点的视点的彩色图像的信息、视差相关图像的视点数量、图像类型信息等。

<第三实施例>

[关于应用本技术的计算机的说明]

随后，上述系列处理可由硬件或软件来执行。当该系列处理由软件执行时，构成该软件的程序安装在通用计算机等中。

图26是安装了用于执行上述系列处理的程序的计算机的实施例的示例性配置。

程序可预先存储在用作并入计算机中的记录介质的存储单元808和rom(只读存储器)802中。

替选地，程序可被存储(记录)到可拆卸介质811。该可拆卸介质811可被提供作为所谓的封装软件。在该情况下，可拆卸介质811的示例包括例如软盘、cd-rom(致密盘只读存储器)、mo(磁光)盘、dvd(数字通用盘)、磁盘、半导体存储器等。

程序可以使用驱动器810从如上所述的可拆卸介质811安装到计算机。替选地，程序可经由通信网络或广播网络而被下载到计算机，或者程序可以被安装到其中设置的存储单元808。更具体地，程序可以例如经由用于数字卫星广播的人造卫星而无线地从下载站点传递到计算机，或者可经由有线(即，诸如lan(局域网)和因特网的网络)而被传递到计算机。

计算机具有cpu(中央处理单元)801。cpu801经由总线804连接到输入/输出接口805。

当用户经由输入/输出接口805操作输入单元806以将命令输入到cpu801时，cpu801响应于该命令而执行存储在rom802中的程序。替选地，cpu801将存储在存储单元808中的程序加载到ram(随机存取存储器)803并执行该程序。

因此，cpu801执行根据以上流程图的处理或者利用如上所述的框图中的配置执行的处理。然后，根据需要，cpu801经由输入/输出接口805从输出单元807输出其处理结果，从通信单元809传送其处理结果，或者将其处理结果记录到例如存储单元808。

输入单元806由键盘、鼠标、麦克风等构成。输出单元807由lcd(液晶显示器)、扬声器等构成。

在该情况下，在该说明书中，由计算机根据程序执行的处理可以不一定根据流程图中描述的顺序以时间序列来执行。换言之，由计算机根据程序执行的处理包括独立地或并行地执行的处理(例如，关于对象执行的处理或者并行处理)。

程序可由一个计算机(处理器)来处理，或者可由多个计算机作为分布式处理来处理。此外，程序可被传递到位于远处的计算机并且可被执行。

本技术可以应用于用于经由网络介质(诸如卫星广播、有线电视(电视机)、因特网和便携式电话)的通信或者用于对记录介质(诸如光盘、磁盘和闪存)的处理的图像处理设备。

以上说明的图像处理设备可以应用于任意给定电子装置。在下文中，将说明其示例。

<第四实施例>

[电视机装置的配置示例]

图27示出了应用本技术的电视机装置的示意配置示例。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外，电视机装置900包括控制单元910和用户接口单元911。

调谐器902从由天线901接收的广播信号当中调谐为期望频道并对该期望信道进行解码，并且将如此获得的编码位流输出到解复用器903。

解复用器903从编码位流提取作为观看目标的节目的视频和音频的分组，并且将所提取的分组的数据输出到解码器904。解复用器903还将诸如epg(电子节目指南)的数据分组提供到控制单元910。当被加扰时，解复用器等执行解扰。

解码器904执行分组的解码处理，并且将通过解码处理生成的视频数据输出到视频信号处理单元905，并将音频数据输出到音频信号处理单元907。

视频信号处理单元905对视频数据执行降噪和根据用户设置的视频处理。视频信号处理单元905生成例如显示在显示单元906上的节目的视频数据和通过基于经由网络提供的应用的处理而得到的图像数据。视频信号处理单元905生成用于显示用于允许选择项目的菜单画面等的视频数据，并且将该视频数据叠加在节目的视频数据上。视频信号处理单元905基于如此生成的视频数据而生成驱动信号，并且驱动显示单元906。

显示单元906通过基于视频信号处理单元905提供的驱动信号驱动显示装置(例如，液晶显示装置等)而显示例如节目的视频。

音频信号处理单元907对音频数据执行诸如降噪的预定处理，并且对已处理后的音频数据执行d/a转换处理和放大处理，并将数据提供到扬声器908，从而输出音频。

外部接口单元909是用于连接外部装置和网络以及交换数据(诸如视频数据和音频数据)的接口。

控制单元910连接到用户接口单元911。用户接口单元911由例如操作开关和远程控制信号接收单元构成，并且将根据用户操作的操作信号提供到控制单元910。

控制单元910由cpu(中央处理单元)、存储器等构成。存储器存储例如cpu执行的程序、当利用cpu执行处理时所需的各种数据、epg数据和经由网络获得的数据。由cpu关于预定定时(诸如在启动电视机装置900期间)读取并执行存储在存储器中的程序。cpu执行程序，从而控制各个单元以使得电视机装置900根据用户操作而进行操作。

电视机装置900设置有用于连接调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910的总线912。

在如上所述配置的电视机装置中，解码器904设置有本申请的图像处理设备(图像处理方法)的功能。因此，使用预定视点的彩色图像和视差相关图像，可以生成除该预定视点之外的视点的彩色图像。

<第五实施例>

[便携式电话的配置示例]

图28示出了应用本技术的便携式电话的示意配置示例。便携式电话920包括通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、解复用器928、记录/再现单元929、显示单元930和控制单元931。它们经由总线933彼此连接。

通信单元922连接到天线921，并且音频编解码器923连接到扬声器924和麦克风925。此外，控制单元931连接到操作单元932。

便携式电话920以各种模式(诸如音频电话呼叫模式和数据通信模式)执行各种操作，诸如音频信号的传送和接收、电子邮件和图像数据的传送和接收、图像捕获或者数据的记录。

在音频电话呼叫模式中，麦克风925生成的模拟音频信号例如由音频编解码器923转换为音频数据并被压缩，并且被提供到通信单元922。通信单元922对音频数据执行例如调制处理和频率转换处理，并且生成传送信号。通信单元922将传送信号提供到天线921，并且将传送信号传送到未示出的基站。通信单元922对天线921接收的接收信号执行例如放大、频率转换处理和解调处理，并且将所获得的音频数据提供到音频编解码器923。音频编解码器923执行例如音频数据的数据扩展和到模拟音频信号的转换，并且将数据输出到扬声器924。

当以数据通信模式传送邮件时，控制单元931接收通过利用操作单元932的操作而输入的字符数据，并且在显示单元930上显示所输入的字符。控制单元931还基于例如利用操作单元932的用户指令而生成邮件数据，并且将该邮件数据提供到通信单元922。通信单元922对邮件数据执行例如调制处理和频率转换处理，并且经由天线921传送所获得的传送信号。通信单元922对天线921接收的接收信号执行例如放大、频率转换处理和解调处理，并且恢复邮件数据。邮件数据被提供到显示单元930，并且显示邮件的内容。

便携式电话920还可以使用记录/再现单元929将所接收的邮件数据存储到存储介质。存储介质可以是任意给定的可重写存储介质。例如，存储介质可以是诸如ram和内部闪存的半导体存储器、硬盘或可拆卸介质(诸如磁盘、磁光盘、光盘、usb存储器或存储卡)。

当以数据通信模式传送图像数据时，摄像装置单元926生成的图像数据被提供到图像处理单元927。图像处理单元927执行图像数据的编码处理并且生成编码数据。

解复用器928根据预定方法对图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行复用，并且将数据提供到通信单元922。通信单元922对复用后的数据执行例如调制处理和频率转换处理，并且经由天线921传送所获得的传送信号。通信单元922对天线921接收的接收信号执行例如放大、频率转换处理和解调处理，并且恢复复用后的数据。复用后的数据被提供到解复用器928。解复用器928分离复用后的数据，并且将编码数据提供到图像处理单元927且将音频数据提供到音频编解码器923。图像处理单元927执行编码数据的解码处理并且生成图像数据。图像数据被提供到显示单元930，并且显示所接收的图像。音频编解码器923将音频数据转换成模拟音频信号，并且将模拟音频信号提供到扬声器924以输出所接收的音频。

在如上所述配置的便携式电话中，图像处理单元927设置有本申请的图像处理设备(图像处理方法)的功能。因此，使用预定视点的彩色图像和视差相关图像，可以传送生成除预定视点之外的视点的彩色图像所需的信息。使用预定视点的彩色图像和视差相关图像，可以生成除预定视点之外的视点的彩色图像。

<第六实施例>

[记录/再现装置的配置示例]

图29示出了应用本技术的记录/再现装置的示意配置示例。例如，记录/再现装置940将所接收的广播节目的音频数据和视频数据记录到记录介质，并且关于根据用户指令的定时将所记录的数据提供给用户。例如，记录/再现装置940可以从其它装置获得音频数据和视频数据，并且可以将其记录到记录介质。此外，记录/再现装置940对记录在记录介质中的音频数据和视频数据进行解码并输出，从而允许利用监视器装置等的图像显示和音频输出。

记录/再现装置940包括调谐器941、外部接口单元942、编码器943、hdd(硬盘驱动器)单元944、磁盘驱动器945、选择器946、解码器947、osd(在屏显示)单元948、控制单元949和用户接口单元950。

调谐器941从由未示出的天线接收的广播信号调谐到期望信道。调谐器941将通过对期望信道的接收信号进行放大而获得的编码位流输出到选择器946。

外部接口单元942可由例如ieee1394接口、网络接口单元、usb接口、闪存接口等中的任一个构成。外部接口单元942是用于连接到外部装置、网络、存储卡等的接口，并且接收如此记录的数据(诸如视频数据、音频数据等)。

当从外部接口单元942提供的视频数据和音频数据没有被编码时，编码器943根据预定方法执行编码，并且将编码位流输出到选择器946。

hdd单元944将诸如视频和音频的内容数据、各种程序的其它数据等记录到内部硬盘，并且在回放等期间从硬盘读取它们。

磁盘驱动器945将信号记录到所加载的光盘并且再现来自所加载的光盘的信号。例如，光盘是dvd盘(dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+r、dvd+rw等)、蓝光盘等。

在视频和音频的记录期间，选择器946从调谐器941和编码器943中的任一个选择编码位流，并且将其提供到hdd单元944和磁盘驱动器945中的任一个。在视频和音频的再现期间，选择器946将从hdd单元944或磁盘驱动器945输出的编码位流提供给解码器947。

解码器947执行编码位流的解码处理。解码器947执行解码处理，从而将所生成的视频数据提供到osd单元948。解码器947执行解码处理，从而输出所生成的音频数据。

osd单元948生成用于显示菜单画面等(诸如项目选择)的视频数据，并且将其叠加在从解码器947输出的视频数据上并输出。

控制单元949连接到用户接口单元950。用户接口单元950由例如操作开关和远程控制信号接收单元构成，并且将根据用户操作的操作信号提供到控制单元949。

控制单元949由cpu、存储器等构成。存储器存储例如由cpu执行的程序、当利用cpu执行处理时所需的各种数据。cpu关于预定定时(诸如启动记录/再现装置940期间)读取并执行存储在存储器中的程序。cpu执行程序，从而控制各个单元以使得记录/再现装置940根据用户操作进行操作。

在如上所述配置的记录/再现装置中，解码器947设置有本申请的图像处理设备(图像处理方法)的功能。因此，使用预定视点的彩色图像和视差相关图像，可以生成除预定视点之外的视点的彩色图像。

<第七实施例>

[图像捕获装置的配置示例]

图30示出了应用本技术的图像捕获装置的示意配置示例。图像捕获装置960捕获主体的图像，在显示单元上显示主体的图像，并且将图像数据记录到记录介质。

图像捕获装置960包括光学组件961、图像捕获单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、osd单元969和控制单元970。控制单元970连接到用户接口单元971。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、osd单元969、控制单元970等经由总线972连接。

光学组件961包括例如聚焦透镜和光圈机构。光学组件961使得主体的光学图像形成在图像捕获单元962的图像捕获表面上。图像捕获单元962包括ccd或cmos图像传感器，并且通过光电转换根据光学图像生成电信号，并且将电信号提供到摄像装置信号处理单元963。

摄像装置信号处理单元963对图像捕获单元962提供的电信号执行各种摄像装置信号处理，诸如膝点校正、伽马校正和颜色校正。摄像装置信号处理单元963将经受了摄像装置信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从摄像装置信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供给外部接口单元966和介质驱动器968。图像数据处理单元964对由外部接口单元966和介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供给显示单元965。图像数据处理单元964执行用于将从摄像装置信号处理单元963提供的图像数据提供给显示单元965的处理，并且将从osd单元969获得的显示数据叠加在该图像数据上，并将该数据提供到显示单元965。

osd单元969生成显示数据(诸如菜单画面和包括符号、字符或图形的图标)，并且将显示数据输出到图像数据处理单元964。

外部接口单元966由例如usb输入/输出端子构成，并且当打印图像时，其连接到打印机。外部接口单元966还在需要时连接到驱动器，并且在需要时加载可拆卸介质(诸如磁盘、光盘等)，并且在必要时安装从其读取的计算机程序。此外，外部接口单元966包括连接到预定网络(诸如lan或因特网)的网络接口。例如，控制单元970根据来自用户接口单元971的命令而从存储器单元967读取编码数据，并且可以从外部接口单元966将数据提供到经由网络连接的其它装置。控制单元970经由外部接口单元966获得经由网络从其它装置提供的编码数据和图像数据，并且可以将数据提供到例如图像数据处理单元964。

由介质驱动器968驱动的记录介质可以是可以被读取和写入的任意给定可拆卸介质，诸如磁盘、光磁盘、光盘或半导体存储器。记录介质可以是作为可拆卸介质的任意类型，并且可以是磁带装置、或磁盘、或存储卡。应理解，可以是非接触ic卡等。

介质驱动器968和记录介质可被集成，例如，如内部硬盘驱动器和ssd(固态驱动器)一样，介质驱动器968和记录介质可由不可移动存储介质来配置。

控制单元970由cpu、存储器等构成。存储器存储例如cpu执行的程序、当利用cpu执行处理时所需的各种数据。cpu关于预定定时(诸如启动图像捕获装置960期间)读取并执行存储在存储器中的程序。cpu执行该程序，从而控制各个单元以使得图像捕获装置960根据用户操作进行操作。

在如上所述配置的图像捕获装置中，图像数据处理单元964设置有本申请的图像处理设备(图像处理方法)的功能。因此，使用预定视点的彩色图像和视差相关图像，可以传送生成除预定视点之外的视点的彩色图像所需的信息。使用预定视点的彩色图像和视差相关图像，可以生成除预定视点之外的视点的彩色图像。

更具体地，本技术的实施例不限于以上说明的实施例，并且可以以各种方式进行改变，只要在本技术的主旨内即可。

应注意，本技术可如下配置。

(1)一种图像处理设备，包括：编码单元，用于通过对视点的彩色图像和所述视点的深度图像进行编码而生成位流；生成单元，用于根据通过使用所述彩色图像和所述深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成所述显示视点的彩色图像的视点生成信息；以及传送单元，用于传送所述编码单元生成的位流和所述生成单元生成的视点生成信息。

(2)根据(1)所述的图像处理设备，其中，所述传送单元传送所述视点生成信息作为用于编码或解码的编码参数。

(3)根据(1)或(2)所述的图像处理设备，其中，所述传送单元传送所述深度图像的视点生成信息与按编码顺序位于所述深度图像之前的深度图像的视点生成信息之间的差。

(4)根据(3)所述的图像处理设备，其中，当所述位流的切片是帧内切片时，所述传送单元传送所述切片的视点生成信息，并且当所述切片是帧间切片时，所述传送单元传送所述切片的所述差。

(5)根据(3)或(4)所述的图像处理设备，还包括：设置单元，用于设置用于标识所述差的存在/不存在的差标识信息，其中，所述传送单元传送所述设置单元设置的差标识信息。

(6)根据(5)所述的图像处理设备，其中，所述传送单元以使得所述差标识信息包括在所述位流的图片参数集pps中的方式来传送所述设置单元设置的差标识信息。

(7)根据(1)至(6)中任一项所述的图像处理设备，其中，所述生成单元生成用于标识所述彩色图像的信息或用于标识所述深度图像的信息作为所述视点生成信息。

(8)根据(1)至(7)中任一项所述的图像处理设备，其中，所述深度图像是包括深度值的深度方向图像，或者是包括视差值的视差图像，所述深度值表示在所述彩色图像的每个像素处主体在深度方向上的位置，所述视差值表示所述彩色图像的每个像素与在对应于该像素的基点处的彩色图像的像素之间的距离，以及所述生成单元生成指示所述深度图像是所述深度方向图像还是所述视差图像的深度图像标识信息作为所述视点生成信息。

(9)根据(8)所述的图像处理设备，其中，当所述深度图像是所述深度方向图像时，所述生成单元生成指示能够出现在所述深度图像中的深度方向上的位置处的世界坐标值的最小值和最大值的信息作为所述视点生成信息，以及当所述深度图像是所述视差图像时，所述生成单元生成指示在能够出现在所述视差图像中的世界坐标的视差的最小值和最大值的信息以及用于标识所述基点的彩色图像的信息作为所述视点生成信息。

(10)根据(1)至(8)中任一项所述的图像处理设备，其中，所述生成单元生成表示能够作为所述深度图像的像素值出现的最小值的深度最小值、表示能够作为所述深度图像的像素值出现的最大值的深度最大值和作为对应于所述深度图像的多个彩色图像的图像捕获位置之间的距离的图像捕获位置距离作为所述视点生成信息，以及所述传送单元传送所述视点生成信息作为所述位流的切片报头。

(11)一种用于图像处理设备的图像处理方法，包括：编码步骤，用于通过对视点的彩色图像和所述视点的深度图像进行编码而生成位流；生成步骤，用于根据通过使用所述彩色图像和所述深度图像执行翘曲处理而获得的显示视点的彩色图像的生成方法，生成用于生成所述显示视点的彩色图像的视点生成信息；以及传送步骤，用于传送在所述编码步骤的处理中生成的位流和在所述生成步骤的处理中生成的视点生成信息。

(12)一种图像处理设备，包括：接收单元，用于接收作为对视点的彩色图像和所述视点的深度图像的编码结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，所述视点生成信息是根据通过使用所述彩色图像和所述深度图像执行翘曲处理而获得的所述显示视点的彩色图像的生成方法所生成的；解码单元，用于通过对所述接收单元接收的位流进行解码而生成所述彩色图像和所述深度图像；以及生成单元，用于通过使用所述解码单元生成的彩色图像和深度图像以及所述接收单元接收的所述视点生成信息执行翘曲处理而生成所述显示视点的彩色图像。

(13)根据(12)所述的图像处理设备，其中，所述接收单元接收所述视点生成信息作为用于编码或解码的编码参数。

(14)根据(12)或(13)所述的图像处理设备，其中，所述接收单元接收所述深度图像的视点生成信息与按编码顺序位于所述深度图像之前的深度图像的视点生成信息之间的差；所述生成单元使用所述接收单元接收的、所述差和按编码顺序位于对应于所述差的深度图像之前的深度图像的视点生成信息而恢复对应于所述差的所述深度图像的视点生成信息，并且使用所恢复的视点生成信息、所述彩色图像和所述深度图像而执行翘曲处理，从而生成所述显示视点的彩色图像。

(15)根据(14)所述的图像处理设备，其中，当所述位流的切片是帧内切片时，所述接收单元接收所述切片的视点生成信息，并且当所述切片是帧间切片时，所述接收单元接收所述切片的所述差。

(16)根据(14)或(15)所述的图像处理设备，其中，所述接收单元接收用于标识所述差的存在/不存在的差标识信息，以及所述生成单元基于所述接收单元接收的差标识信息而恢复所述视点生成信息。

(17)根据(16)所述的图像处理设备，其中，所述接收单元接收包括在所述位流的图片参数集pps中的差标识信息。

(18)根据(12)至(17)中任一项所述的图像处理设备，其中，所述接收单元接收用于标识所述彩色图像的信息或用于标识所述深度图像的信息作为所述视点生成信息，以及所述生成单元基于所述视点生成信息而标识所述接收单元接收的彩色图像和深度图像，对所述深度图像执行翘曲处理，并且通过使用已经受所述翘曲处理的所述显示视点的深度图像对所述彩色图像执行翘曲处理而生成所述显示视点的彩色图像。

(19)根据(12)至(18)中任一项所述的图像处理设备，其中，所述深度图像是包括深度值的深度方向图像，或者是包括视差值的视差图像，所述深度值表示在所述彩色图像的每个像素处主体在深度方向上的位置，所述视差值表示所述彩色图像的每个像素与对应于该像素的基点处的彩色图像的像素之间的距离，以及所述接收单元接收指示所述深度图像是深度方向图像还是视差图像的信息作为所述视点生成信息。

(20)根据(19)所述的图像处理设备，其中，当所述深度图像是所述深度方向图像时，所述接收单元接收指示能够出现在所述深度图像中的所述深度方向上的位置的世界坐标值的最小值和最大值的信息作为所述视点生成信息，并且当所述深度图像是所述视差图像时，所述接收单元接收能够出现在所述视差图像中的世界坐标的视差的最小值和最大值的信息以及用于标识所述基点的彩色图像的信息。

(21)根据(12)至(19)中任一项所述的图像处理设备，其中，所述接收单元接收包括深度最小值、深度最大值和图像捕获位置距离的视点生成信息作为所述位流的切片报头，所述深度最小值表示能够作为所述深度图像的像素值出现的最小值，所述深度最大值表示能够作为所述深度图像的像素值出现的最大值，所述图像捕获位置距离是对应于所述深度图像的多个彩色图像的图像捕获位置之间的距离。

(22)一种用于图像处理设备的图像处理方法，包括：接收步骤，用于接收作为对视点的彩色图像和所述视点的深度图像的编码结果而获得的位流以及用于生成显示视点的彩色图像的视点生成信息，所述视点生成信息是根据通过使用所述彩色图像和所述深度图像执行翘曲处理而获得的所述显示视点的彩色图像的生成方法所生成的；解码步骤，用于通过对在所述接收步骤的处理中接收的位流进行解码而生成所述彩色图像和所述深度图像；以及生成步骤，用于通过使用在所述解码步骤的处理中生成的彩色图像和深度图像以及在所述接收步骤的处理中接收的视点生成信息执行翘曲处理而生成所述显示视点的彩色图像。

附图标记列表

10编码装置，14视点生成信息生成单元，15多视点图像编码单元，30解码装置，31多视点图像解码单元，32视点合成单元。