图像处理装置及图像处理方法与流程

本公开涉及一种图像处理装置和图像处理方法，并且具体地涉及一种能够使用全方位图像在预定视点处生成高图像质量的纹理图像的图像处理装置及图像处理方法。

背景技术：

一种存储装置可用于生成全方位图像并且编码和存储生成的全方位图像(例如，参见ptl1)，在生成全方位图像中，利用多个相机在水平方向上环绕360度和在垂直方向上环绕180度成像的拾取图像被映射到2d图像(平面图像)。

此外，一种再现装置可用于对由存储装置存储的全方位图像的编码流进行解码，并使用作为解码结果获得的全方位图像在观看者的观看范围内显示纹理图像。当从视点沿观看者的视线方向观看粘贴有全方位图像的诸如球体，立方体等的3d模型的表面时，刚刚所述的这种再现装置在观看者的观看范围内显示纹理图像，所述视点为该3d模型内的一个点。因此，再现了从预定视点观看观看者范围内的拾取图像。

引用列表

专利文献

[ptl1]

日本专利公开no.2006-14174

技术实现要素：

技术问题

然而，在全方位图像的生成视点和再现视点彼此不同的情况下，

在从全方位图像的生成视点的图像的图像，再现所生成的全方位图像时的视点的观看者的观看范围内再现纹理图像时纹理和立体效果的表征存在限制。从生成全方位图像的观点来看，从图像再现。

所生成的全方位图像的再现视点的观看者的观看范围内的纹理图像的再现

鉴于如上所述的这种情况提出了本公开，使得可以使用全方位图像在预定视点处生成高图像质量的纹理图像。

[技术方案]

本公开的第一方面的一种图像处理装置，该图像处理装置包括虚拟视点图像生成部，该虚拟视点图像生成部被配置为从多个参考图像生成要成像在具有虚拟视点位置和视线方向的虚拟视点处的虚拟视点图像，所述多个参考图像在多个视线方向上的多个视点位置处成像。

所述虚拟视点图像生成部可以基于虚拟视点的视线方向和沿其成像多个参考图像的视线方向，混合所述多个参考图像，以生成所述虚拟视点图像。

所述虚拟视点图像生成部响应于所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性，可以分别向所述多个参考图像施加权重，以通过加权平均来生成所述虚拟视点图像。

所述虚拟视点图像生成部响应于所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性，可以分别向所述多个参考图像施加权重，使得将较大的权重设置给具有较高相似性的参考图像，以通过加权平均来生成所述虚拟视点图像。

所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性可以是由所述虚拟视点的视线方向和所述多个参考图像的视线方向限定的角度，或所述虚拟视点和所述多个参考图像的视点位置之间的距离。

所述虚拟视点图像生成部可以获取包括指定所述多个参考图像的信息的元数据，并且分别向由所述元数据指定的所述多个参考图像施加权重，以通过加权平均来生成所述虚拟视点图像。

当响应于分别用于多个微视差虚拟视点的所述多个参考图像的视线方向的相似性，分别向所述多个参考图像施加权重，使得将较大的权重设置给具有较高相似性的参考图像以计算加权平均时，由所述元数据指定的所述多个参考图像可以是指示最大权重的参考图像，所述多个微视差虚拟视点提供不同的关于所述虚拟视点的微视差。

对应于所述虚拟视点的参考图像和多个微视差虚拟视点的多个参考图像构成立体图像，在所述微视差虚拟视点处关于所述虚拟视点生成微视差。

所述参考图像中的每一个均可以为全方位图像，并且所述虚拟视点图像生成部可以针对构成所述全方位图像的每个面，从所述多个参考图像生成要在具有所述虚拟视点位置和所述视线方向的所述虚拟视点处成像的虚拟视点图像。

所述参考图像可以包括具有全方位图像的纹理图像和深度图像的第一层图像。

所述参考图像还可以包括第二层图像，所述第二层图像具有在所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

所述虚拟视点可以由头戴式显示器检测，并且所述虚拟视点图像由所述头戴式显示器显示。

本公开的第一方面的图像处理方法是一种图像处理方法，包括步骤：从在多个视线方向上的多个视点位置处成像的多个参考图像，生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像。

在本公开的第一方面中，所述图像处理方法包括步骤：从在多个视线方向上的多个视点位置处成像的多个参考图像，生成要在具有虚拟视点位置和视线方向的虚拟视点中成像的虚拟视点图像。

本公开的第二方面的图像处理装置是包括元数据生成部的图像处理装置，该元数据生成部被配置为使用在多个视线方向上的多个视点位置处成像的多个参考图像，来生成用于生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的元数据。

所述元数据生成部可以基于所述虚拟视点和沿其成像所述多个参考图像的视线方向混合所述多个参考图像，以生成用于生成所述虚拟视点图像的元数据。

元数据生成部响应于所述虚拟视点与沿其成像所述多个参考图像的视线方向之间的相似性，可以分别对所述多个参考图像设置权重，通过加权平均混合多个参考图像，生成所述虚拟视点图像，并生成指定权重最大的参考图像的信息作为元数据。

所述元数据生成部生成元数据，所述元数据包括：响应于具有关于所述虚拟视点的微视差的微视差虚拟视点和沿其成像所述多个参考图像的视线方向之间的相似性，用于分别对所述多个参考图像设置权重、通过加权平均混合多个参考图像、生成所述虚拟视点图像以及指定权重最大的参考图像的信息；以及响应于所述虚拟视点和沿其成像所述多个参考图像的视线方向之间的相似性，用于分别对所述多个参考图像设置权重、通过加权平均混合所述多个参考图像、生成所述虚拟视点图像以及指定权重最大的参考图像的信息。

所述参考图像可以包括具有全方位图像的纹理图像和深度图像的第一层图像。

所述参考图像还可以包括第二层图像，所述第二层图像具有在所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

本公开的第二方面的图像处理方法是一种图像处理方法，包括步骤：使用在多个视线方向上的多个视点位置处成像的多个参考图像，来生成用于生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的元数据。

在本公开的第二方面中，使用在多个视线方向上的多个视点位置处成像的多个参考图像，来生成用于生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的元数据。

应注意，这里描述的效果不一定是限制性的，并且可以是本公开中所述的一些效果。

附图说明

图1是描绘应用本公开的图像显示系统的第一实施例的配置示例的框图。

图2是描绘内容服务器的配置示例的框图。

图3是描绘高分辨率图像处理部的配置示例的框图。

图4是示出距离z和距离r的视图。

图5是示出最小值zmin和另一个最小值rmin的视图。

图6是示出深度方向的变化的视图。

图7是描绘当第一层的六个面的深度图像被映射在球体上时，球体上的每个像素的位置的示例的视图。

图8是描绘第一层的面的示例的视图。

图9是描绘用于第一层的视点位置信息和面信息的表的配置示例的视图。

图10是描绘与第一层的预定面对应的成像对象的深度方向上的位置的视图。

图11是描绘第一层和第二层的纹理图像的配置示例的视图。

图12是示出第一层和第二层的纹理图像的示例的视图。

图13是示出第一层和第二层的纹理图像的另一示例的视图。

图14是描绘第二层的视点的第一示例的视图。

图15是描绘第二层的视点位置信息和面信息的表的第一配置示例的视图。

图16是描绘第二层的视点的第二示例的视图。

图17是描绘第二层的视点位置信息和面信息的表的第二配置示例的视图。

图18是示出流生成处理的流程图。

图19是描绘家庭服务器的配置示例的框图。

图20是描绘ml3d模型生成部的配置示例的框图。

图21是示出连接信息的示例的视图。

图22是示出连接信息的另一示例的视图。

图23是示出采样点的示例的视图。

图24是示出采样点的另一示例的视图。

图25是示出遮挡处理的视图。

图26是示出再现处理的流程图。

图27是示出三维数据生成处理的细节的流程图。

图28是示出三角面片有效性信息的视图。

图29是描绘应用本公开的图像显示系统的第二实施例的配置示例的框图。

图30是描绘第一层的纹理图像的不同示例的视图。

图31是描绘应用本公开的图像显示系统的第三实施例的配置示例的框图。

图32是描绘制31的内容服务器的高分辨率图像处理部的配置示例的框图。

图33是描绘制32的视点信息元数据生成部的配置示例的框图。

图34是示出像素绘制的示例的视图。

图35是示出通过图34的视点绘制部的像素绘制的示例的视图。

图36是示出虚拟视点和微视差虚拟视点处的视点信息元数据的全局层的视图。

图37是示出视点信息元数据的视图。

图38是示出视点信息元数据的视图，其中全局层的层数对于每个面是不同的。

图39是示出虚拟视点图像生成处理的流程图。

图40是示出图31的家庭服务器的配置示例的框图。

图41是示出图40的ml3d模型生成部的配置示例的框图。

图42是示出合成部的合成处理的视图。

图43是说明图31的家庭服务器的再现处理的流程图。

图44示出了图31的家庭服务器的三维数据生成处理的流程图。

图45是示出将微视差应用于立体图像的示例的视图。

图46是描绘计算机的硬件的配置示例的框图。

图47是描绘车辆控制系统的示意性配置的示例的框图。

图48是帮助说明车外信息检测部和成像部的安装位置的示例的视图。

具体实施方式

在下文中，描述了用于执行本公开的模式(下文中称为实施例)。应注意，以下列顺序给出描述。

1.第一实施例：图像显示系统(图1至28)

2.第二实施例：图像显示系统(图29)

3.纹理图像的不同示例(图30)

4.第三实施例：图像显示系统(图31)

5.立体图像的应用示例(图45)

6.第四实施例：计算机(图46)

7.应用示例(图47和48)

<第一实施例>

(图像显示系统的第一实施例的配置示例)

图1是描绘应用本公开的图像显示系统的第一实施例的配置示例的框图。

图1的图像显示系统10由多相机11、内容服务器12、家庭服务器13、转换装置14和头戴式显示器15构成。图像显示系统10根据拾取图像生成全方位图像并从全方位图像内显示观看者的观看范围的图像，该拾取图像是由多相机11拾取的ycbcr图像(yuv图像)。

特别地，图像显示系统10的多相机11由多个(在图1的示例中为六个)相机构成，这些相机向外设置，使得其成像范围为水平方向360度和垂直方向180度。每个相机执行成像以生成以帧为单位的拾取图像。多相机11将所拍摄的相机图像提供给内容服务器12。

内容服务器12(图像处理装置)根据由多相机11提供的相机的拾取图像，生成预定视点的全方位图像的纹理图像和深度图像。在第一实施例中，深度图像是其像素值由从预定视点到每个像素上的成像对象的直线的距离r的倒数1/r给出的图像，距离r是8位二进制码的值。

内容服务器12降低全方位图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12通过诸如avc(高级视频编码)、hevc(高效视频编码)/h.265等的编码方法对该低分辨率纹理图像和低分辨率深度图像进行压缩编码。内容服务器12存储压缩编码后获得的低分辨率纹理图像的编码流(下文中称为低分辨率纹理流)和低分辨率深度图像的编码流(下文中称为低分辨率深度流)。

此外，内容服务器12使用相机的拾取图像来生成纹理图像和深度图像，该纹理图像和深度图像对应于以层次关系构成以全方位图像的视点为中心的立方体的六个面。具体地，内容服务器12生成六个面的第一层和第二层的纹理图像和深度图像。应注意，全方位图像的视点和立方体的中心可以彼此不同。

按照例如avc、hevc等编码方法对每个面、每一类图像和每一层进行编码，内容服务器12压缩编码由各面的第一层的纹理图像和深度图像构成的第一层图像和由各面的第二层的纹理图像和深度图像构成的第二层图像。内容服务器12存储压缩编码后获得的各面的第一层的纹理图像的编码流(下文中称为第一层纹理流)、第一层的深度图像的编码流(下文中称为第一层深度流)、第二层的纹理图像的编码流(下文中称为第二层纹理流)和第二层的深度图像的编码流(下文中称为第二层深度流)。应注意，第一层图像和第二层图像的编码方法可以是mvc(多视图视频编码)方法、3d-hevc方法等。

此外，内容服务器12生成并存储与第一层和第二层的面有关的信息等作为元数据。内容服务器12通过未示出的网络将低分辨率纹理流和低分辨率深度流，六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及存储在其中的元数据传送到家庭服务器13。

应注意，内容服务器12还可以重建(下文中描述细节)六个面的第一层纹理流、第一层深度流、第二层纹理流和和第二层深度流。在这种情况下，内容服务器12也可以将重建之后的第一层纹理流、第一层深度流、第二层纹理流和第二层纹理流以及与其对应的元数据传送到家庭服务器13。然而，在以下描述中，假设即使在执行重建的情况下，也将重建之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流传送到内容服务器12。

家庭服务器13(图像处理装置)接收内容服务器12传送至其的低分辨率纹理流和低分辨率深度流，六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

此外，家庭服务器13具有内置在其中的相机13a，并且对在安装于观看者头部上的头戴式显示器15上施加的标记15a成像。然后，家庭服务器13基于标记15a的拾取图像来检测观看位置。此外，家庭服务器13通过转换装置14从头戴式显示器15接收头戴式显示器15的陀螺仪传感器15b的检测结果。家庭服务器13基于陀螺仪传感器15b的检测结果确定观看者的视线方向，并且基于观看位置和视线方向确定观看者的观看范围。

家庭服务器13具有与第一层的六个面中的与观看者的视线方向对应的三个面。然后，家庭服务器13对与所选择的三个面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流进行解码。最终，家庭服务器13生成与所选择的三个面相对应的第一层和第二层的纹理图像和深度图像。

此外，家庭服务器13对低分辨率纹理流和低分辨率深度流进行解码，以生成低分辨率纹理图像和低分辨率深度图像。家庭服务器13使用与所选择的三个面对应的第一层和第二层的纹理图像和深度图像以及低分辨率纹理图像和低分辨率深度图像，来生成观看者的观看范围的图像作为显示图像。家庭服务器13通过未示出的hdmi(注册商标)(高清晰度多媒体接口)电缆将该显示图像传送到转换装置14。

转换装置14将从家用服务器13传送到其上的显示图像上的坐标转换成头戴式显示器15中的坐标。转换装置14将坐标转换后的显示图像提供给头戴式显示器15。

头戴式显示器15具有标记15a和陀螺仪传感器15b，并安装在观看者的头部上。头戴式显示器15显示从转换装置14提供的显示图像。此外，内置在头戴式显示器15中的陀螺仪传感器15b检测头戴式显示器15的倾斜并将检测结果通过转换装置14传送到家用服务器13。

(内容服务器的配置示例)

图2是描绘制1的内容服务器12的配置示例的框图。

图2的内容服务器12由深度检测部31、量化部32、低分辨率图像处理部33和高分辨率图像处理部34构成。

内容服务器12的深度检测部31针对从图1的多相机11提供的相机的拾取图像的每个像素，检测垂直于包括像素处的成像对象深度方向的深度平面与相机之间的深度方向上的距离z的倒数1/z。深度检测部31将检测获得的相机的拾取图像的像素的倒数1/z提供给量化部32。

当设置为全方位图像中的视点的多相机11的三维坐标系(以下称为相机坐标系)中的预定三维位置被设置为视点时，量化部32将从深度检测部31提供给其的相机的拾取图像的每个像素的倒数1/z转换为倒数1/r。然后，量化部32根据以下表达式(1)对倒数1/r执行8位量化。

[公式1]

应注意，id(r)是8位量化之后的距离r的倒数1/r的值。rmax和rmin分别是所有相机的拾取图像中的距离r的最大值和最小值。

量化部32将8位量化之后的相机的拾取图像的像素的倒数1/r的值设置为像素值，以生成相机的深度图像，并将该深度图像提供给低分辨率图像处理部33和高分辨率图像处理部34。

低分辨率图像处理部33将从多相机11提供的相机的拾取图像映射(透视投影)到以设置给相机坐标系中的预定三维位置的视点为中心的正八面体，以生成全方位图像的纹理图像。此外，低分辨率图像处理部33将从量化部32提供的相机的深度图像映射到与拾取图像类似的正八面体，以生成全方位图像的深度图像。

低分辨率图像处理部33降低全方位图像的纹理图像和深度图像的分辨率，以产生低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理部33对低分辨率纹理图像和低分辨率深度图像进行压缩编码，并存储压缩编码后获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理部33将存储在其中的低分辨率纹理流和低分辨率深度流传送到图1的家庭服务器13。

高分辨率图像处理部34使用从多相机11提供的相机的拾取图像来生成对应于构成具有与低分辨率图像处理部33的正八面体的中心相同的中心的立方体的六个面的第一层和第二层的纹理图像。高分辨率图像处理部34使用从量化部32提供的相机的深度图像来生成对应于与拾取图像类似的六个面的第一层和第二层的深度图像。

高分辨率图像处理部34针对每个面，每种图像和每个层，对第一层和第二层的纹理图像和深度图像进行压缩编码。内容服务器12存储作为压缩编码的结果而获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

此外，高分辨率图像处理部34生成并存储元数据。内容服务器12通过未示出的网络将存储在其中的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层纹理流以及元数据传送到家庭服务器13。

(高分辨率图像处理部的配置示例)

图3是描绘制2的高分辨率图像处理部34的配置示例的框图。

图3的高分辨率图像处理部34由第一层生成部52、编码器53、第二层生成部54、另一编码器55、设置部56、元数据生成部57、存储器58、重建部59和传送部60构成。

设置部56向第一层生成部52提供视点位置信息，该视点位置信息指示三维坐标系中第一层的视点的三维位置的原点，该三维坐标系的原点是由相机坐标系(以下称为3d模型坐标系)中的全方位图像的视点给出的。此外，将指示分别包括构成以3d模型坐标系的原点为中心的立方体的六个面的六个面的3d模型坐标系中的三维位置和尺寸的面信息提供给第一层生成部52。

第一层生成部52将由视点位置信息指示的原点设置给第一层的视点(第一视点)。第一层生成部52(图像生成部)将相机坐标系中的全方位图像的视点设置为原点，将从图1的多相机11提供的拾取图像分别映射到由第一层的视点的六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部52生成第一层的六个面的纹理图像。

此外，第一层生成部52(图像生成部)将相机坐标系中的全方位图像的视点设置为原点，将从图2的量化部32提供的深度图像分别映射到由第一层的视点的六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部52生成第一层的六个面的深度图像。

由于对应于第一层的六个面的视点彼此相同，因此可以认为第一层的六个面的纹理图像是通过将映射到以第一层的视点为中心的3d模型的全方位图像映射到六个面而获得的图像。类似地，可以认为第一层的六个面的深度图像是通过将映射到以第一层的视点为中心的3d模型的全方位图像的深度图像映射到六个面而获得的图像。第一层生成部52将第一层的六个面的纹理图像和深度图像提供给编码器53。

编码器53针对每个面和每种图像，对从第一层生成部52提供的第一层的六个面的纹理图像和深度图像进行压缩编码，以生成第一层纹理流和第一层深度流。编码器53将该第一层纹理流和第一层深度流提供给存储器58。

将对应于第一层的每个面的第二层的每个面的视点(第二视点)(与第一层的视点不同)的视点位置信息和对应于第一层的每个面的第二层的每个面的面信息，从设置部56提供给第二层生成部54。对于第二层的每个面，第二层生成部54将由对应于面的视点位置信息指示的三维位置设置给第二层的视点。

第二层生成部54(图像生成部)针对第二层的每个面，将多镜头11从对应于第二层的面的第二层的视点提供的拾取图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部54生成第二层的六个面的纹理图像。

此外，第二层生成部54(图像生成部)为第二层的每个面，将量化部32从对应于第二层的面的第二层的视点提供的深度图像内的第一层的视点处的遮挡区域映射到第二层的面上。因此，第二层生成部54生成第二层的六个面的深度图像。

特别地，由于多相机11的相机的位置彼此不同，当相机坐标系中的一个三维位置被设置为视点时，该视点处的遮挡区域被包括在拾取的图像中。然而，由于通过映射一个视点处的全方位图像来生成第一层的纹理图像，因此在该视点处的遮挡区域的拾取图像不包括在第一层的纹理图像中。因此，第二层生成部54将拾取的图像放置在遮挡区域中作为第二层的纹理图像。这同样适用于深度图像。

对于每个面和每种图像，编码器55对从第二层生成部54提供的六个面的第二层的纹理图像和深度图像进行压缩编码，以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供给存储器58。

设置部56将3d模型坐标系的原点设置为第一层的视点。设置部56将分别包括构成以第一层的视点为中心的立方体的六个矩形面的六个面设置为第一层的面。此外，对于第一层的每个面，设置部56设置第二层的视点和矩形面。

设置部56将第一层的一个视点的视点位置信息和第一层的六个面的面信息提供给第一层生成部52和元数据生成部57。此外，设置部56将第二层的六个视点的视点位置信息和对应于第一层的六个面的第二层的六个面的面信息提供给第二层生成部54和元数据生成部57。

元数据生成部57生成包括由设置部56提供给其作为元数据的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表，并将元数据提供给存储器58。

存储器58存储由编码器53提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流。此外，存储器58存储由元数据生成部57提供的元数据。

此外，存储器58存储从重建部59提供的重建后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

根据需要，重建部59读出并重建存储在存储器58中的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

具体地，重建部59使用重建之前的第一层纹理流来改变与第一层纹理流相对应的面的数量或视角，并使用重建之前的第一层深度流来改变对应于第一层深度流的面的数量或视角。例如，重建部59将第一层的面从分别包括构成立方体的六个面改变为18个面，这18个面除了六个面之外，还包括12个面，12个面中的分别通过六个面的中心的法线是穿过该立方体的12个边的中点和视点的线条。

或者，重建部59使用重建前的第一层纹理流来改变与第一层纹理流相对应的面之间的距离(密度)，并使用重建前的第一层深度流来改变对应于第一层深度流的面之间的距离。例如，重建部59将第一层的面从分别包括构成立方体(其中通过中心的法线之间的距离是90度)的六个面的六个面改变为18个面，通过18个面的中心的法线的距离为45度。

随着第一层的面之间的距离减小，总数据容量因为面的数量增加而增加，并且家庭服务器13可以使用对应于更接近观看者的观看范围的第一层的平面的纹理图像和深度图像来生成显示图像。结果，使用显示图像中的第一层或第二层的纹理图像和深度图像生成的高分辨率区域增加，并且显示图像的图像质量得到改善。

要注意的是，重建部59可以使用重建之前的第一层纹理流来改变对应于第一层纹理流的面的位置，并且可以使用重建之前的第一层深度流来改变对应于第一层纹理流的面的位置，以执行重建。在这种情况下，重建部59通过旋转对应于第一层的六个面的立方体来执行重建，使得例如当主成像对象存在于第一层的面的边界上时，该主成像对象存在于除第一层边界之外的位置(例如，在中心)。

此外，重建部59可以使用重建之前的第一层纹理流来改变与第一层纹理流相对应的面的倾斜，并且可以使用重建之前的第一层深度流来改变与第一层深度流对应的面的倾斜，以执行重建。在这种情况下，当第一层的纹理图像中的主成像对象倾斜时，重建部59例如通过旋转对应于第一层的六个面的立方体来执行重建，使得倾斜消失。

重建部59相对于以上述方式改变的第一层的面设置重建之后的第二层的视点和面。然后，重建部59使用重建之前的第二层纹理流，以将第二层纹理流的视点和面改变为设置重建之后的第二层的视点和面。此外，重建部59改变重建之前的第二层深度流，以将对应于第二层深度流的视点和面改变为设置重建后的第二层的视点和面。

重建部59将重建后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给存储器58。此外，重建部59生成包括重建后的作为元数据的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表，并将该元数据提供给存储器58。

传送部60从存储器58中读出六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们传送到图1的家庭服务器13。

以这种方式，高分辨率图像处理部34通过透视投影生成第一层图像和第二层图像。因此，家庭服务器13可以对第一层图像和第二层图像执行普通图像处理。此外，高分辨率图像处理部34可以通过用于图像的编码流的普通传输方法来传送第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

(深度图像的效果的描述)

图4是示出距离z和距离r的视图，图5是示出距离z的最小值zmin和距离r的最小值rmin的视图。

应注意，图4和5是在对应于第一层的立方体的预定面时的视图。

距离z是从视点到垂直于包括每个像素上的成像对象的深度方向的深度平面的深度方向上的距离。此外，第一层的每个面的深度方向是垂直于第一层的面的方向。因此，第一层的每个面和深度平面彼此平行。因此，作为与第一层的面的距离z彼此相等的深度平面的等距离z面的形状是以第一层的视点o为中心的立方体形状。因此，从对应于第一层的立方体的预定面上方观看的等距离z平面的形状是正方形，如图4的a中的虚线所示。

因此，在第一层的每个面的视角改变的情况下，到所有面的距离z的最小值zmin变化。例如，如图5的a所示，在第一层的每个面的横向(图5中的向上和向下方向)的视角从90度改变到120度的情况下，改变后的每个面的纹理图像包括两个面的纹理图像，其与横向变化之前的面相邻并且具有与该面的深度方向不同的深度方向。因此，在第一层的每个面的横向方向上的视角为120度的情况下，最小值zmin是深度平面与视点o之间的深度方向上的距离z的最小值。在包括在视角中并且对应于在横向方向上相邻的两个面的第一层的每个面的横向方向上的视角为90°的情况下，最小值zmin的等距离z面61的位置是90°度。刚刚关于最小值zmin的描述同样适用于距离z的最大值zmax。

此外，在对应于第一层的立方体80围绕由通过视点o的线提供的轴线旋转以改变如图6所示的第一层的每个相位的位置的情况下，改变前的面的深度方向p和面的深度方向q彼此不同。因此，距离z的最小值zmin和最大值zmax变化。应注意，在图6中，虚线表示变化前的面的等距离z面，点划线表示变化后的面的等距离z面。

此外，尽管未示出，但是在第一层的面的数量或面之间的距离将被改变的情况下，由于深度方向的变化与第一层的每个相位的位置改变的情况类似，因此最小值zmin和最大值zmax变化。

如上所述，在改变第一层的视角、位置、数量或距离的情况下，距离z的最小值zmin和最大值zmax变化。因此，如果距离z的倒数1/z被用作第一层的深度图像的每个像素的y值(亮度值)，则在由重建部59重建时需要重对深度图像进行8位量化。

相反，距离r是从视点到每个像素中的成像对象的线性距离。此外，从第一层的每个面的视点o到成像对象的直线的方向，与面无关，而是以视点o为中心的圆的径向。因此，等距离r面的形状是以第一层的视点o为中心的球形，第一层的面到等距离r面的距离彼此相等。因此，当从与第一层对应的立方体的预定面上方观看等距离r面时的形状是圆形形状，如图4的b中虚线所示。

如上所述，由于即使在第一层的每个面的视角改变的情况下，从第一层的面的视点o到成像对象的的线性线的方向也是相等的而与面无关，因此到所有面的距离r的最小值rmin不会被改变，如图5的b中所示。

例如，关于在横向方向(图5中的向上和向下方向)上相邻的两个面的第一层的面的视点o的直线的方向与改变成像对象之前的面相等彼此。因此，如图5的b所示，第一层的面之间在横向方向上的视角从90度变为120度，并且即使在改变后的每个面的纹理图像包括在改变前的面中横向方向上的相邻两个面的纹理图像的情况下，最小值rmin也不改变。刚刚关于最小值rmin的描述同样适用于距离r的最大值rmax。

此外，尽管未示出，但是即使在第一层的面的位置、数量或距离改变的情况下，由于从第一层的每个面的视点o到成像对象的直线的方向不会改变(类似于第一层的每个面的视角)，最小值rmin和最大值rmax不会变化。

因此，图2的量化部32通过使用不是倒数1/z而是倒数1/r的量化值作为第一层的深度图像的每个像素的y值，可以减少对由重建部59重建的深度图像的重做8位量化的处理。

应注意，虽然在前面的描述中，没有重建低分辨率纹理流和低分辨率深度流，但是可以以其他方式重建它们。同样在这种情况下，由于低分辨率深度图像的每个像素的y值是倒数1/r的量化值，所以可以类似于重建第一层的深度图像，减少重建时低分辨率深度图像的重做8位量化的处理。

(第一层的六个面的深度图像的每个像素的球体上的位置示例)

图7是描绘当第一层的六个面的深度图像被映射到球体时，球体上的每个像素的位置的示例的视图。

应注意，在图7中，当第一层的六个面的深度图像被映射到球体时，球体上的每个像素的位置由点表示。

第一层的面的深度图像的像素的深度图像上的位置之间的距离彼此相等。但是，如图7所示，当第一层的六个面的深度图像被映射到球体时，像素的球体上的位置之间的距离不是相等的距离。换言之，当第一层的六个面的深度图像被映射到球体时，球体上的像素的位置的密度是不确定的。

(第一层的面示例)

图8是描绘第一层的面的示例的视图。

应注意，在以下描述中，将通过第一层的视点o和构成对应于第一层的立方体80的六个面81至86的中心的六个轴线中的彼此正交的三个轴线称为x轴、y轴和z轴。此外，当视点o和六个面81至86之间的距离由r表示时，满足x＝r的面81适当地被称为+x面81，满足x＝-r的面82适当地被称为-x面82。类似地，满足y＝r的面83、满足y＝-r的面84、满足z＝r的面85和满足z＝-r的面86，分别适当地被称为+y面83、-y面84，+z面85和-z面86。

此外，图8的a是第一层的立方体80的透视图，图8的b是当沿y轴的负方向观看第一层的立方体80时的视图。

如图8的a所示，第一层的一个面91是包括构成以视点o为中心的立方体80的六个面81至86中的+y面83的面。更具体地，面91是设置为位置与+y面83的位置相同，并且在横向和垂直方向上的视角大于90度(即，+y面83的视角)但小于180度的面。

因此，如图8的b所示，面91的纹理图像不仅包括映射到+y面83的纹理图像，还包括映射到与+y面83相邻的+x面81、-x面82、+z面85和-z面86的纹理图像的一部分。刚刚给出的关于纹理图像的描述类似地也适用于面91的深度图像。

虽然图8中仅描绘了第一层的一个面91，但其他五个面也是被设定为位置与+x面81、-x面82、-y面84、+z面85和-z面86的位置相同，并且类似于面91，在横向和垂直方向上的视角大于90度但小于180度的。

如上所述，由于第一层的六个面被配置为分别包括构成立方体的六个面81至86，所以全方位图像必定被映射到第一层的六个面中的一个面。因此，如果家庭服务器13使用第一层的六个面中的彼此相邻的三个面，则它可以在水平方向上360度和垂直方向上180度上的任意方向上生成显示图像，将视点o设定为观看位置。

(第一层的视点位置信息和面信息的表的配置示例)

图9是描绘由图3的元数据生成部57生成的元数据中的第一层的视点位置信息和面信息的表的配置示例的视图。

在图9的示例中，从面信息来看，指示3d模型坐标系中的面的三维位置的信息是方位角、仰角、旋转角和视线矢量，指示尺寸的信息是横向视角和垂直视角。

方位角是在由视点与每个面的中心和z轴互连的线限定的xz平面方向上的角度，仰角是由视点和每个面的中心和xz平面互连的线限定的角度。这里，在方位角中，顺时针方向是正方向，而在仰角中，逆时针方向是正方向。当从视点沿z轴方向延伸的线在xz平面上水平旋转方位角，然后在y轴方向上向上或向下旋转仰角的线是法线时，线通过面的中心。

当将视点和面的中心互连的线作为轴线时，旋转角是每个面的旋转方向上的角度。这里，在旋转角中，顺时针方向是正方向。视线矢量是从视点给出的起点指向每个面的中心并且长度为1的矢量，即，是通过每个面的中心的法线矢量。横向视角是由每个面的横向方向上的两个端部和视点互连的两条线限定的角度，垂直视角是由每个面的垂直方向上的两个端部和视点互连的两条线限定的角度。

如图9中所示，在第一层的视点位置信息和面信息的表中，每个面的第一层纹理流和放置第一层深度流的文件的文件名的公共部分被登记在图3的存储器58中。

特别地，在图9的示例中，包括+z面85、-z面86、+x面81、-x面82、+y面83和-y面84的面的第一层纹理流的文件名分别是posz_texture、negz_texture、posx_texture、negx_texture、posy_texture和negy_texture。此外，包括+z面85、-z面86、+x面81、-x面82、+y面83和-y面84的面的第一深度流的文件名分别是posz_depth、negz_depth、posx_depth、negx_depth、posy_depth和negy_depth。因此，在图9的表中，登记为第一层的面的文件名的公共部分posz、negz、posx、negx、posy和negy被登记。

此外，在第一层的视点位置信息和面信息的表中，登记了文件名的公共部分、面信息、视点位置信息、和与文件名的公共部分对应的面的纹理图像和深度图像的横向像素数及垂直像素数的相关关系。

特别地，由包括+z面85、-z面86、+x面81、-x面82、+y面83和-y面84的第一层的面的中心和视点o及z轴分别互连的线限定的xz平面方向上的角度分别为0度、-180度、90度、-90度、0度和0度，相对于xz平面的角度分别为0度、0度、0度、0度、90度和-90度。因此，方位角“0度”、“-180度”、“90度”、“-90度”、“0度”和“0度”，仰角“0度”，“0度”，“0度”，“0度”，“90度”和“-90度”分别以与文件名的公共部分“posz”、“negz”、“posx”、“negx”、“posy”相关联的关系登记。

此外，在图9的示例中，第一层的所有面的旋转角是0度。因此，旋转角度“0度”以与文件名的公共部分“posz”、“negz”、“posx”、“negx”、“posy”和“negy”相关联的关系登记。此外，作为视点位置信息的原点的坐标(0，0，0)以与文件名的公共部分“posz”、“negz”、“posx”、“negx”、“posy”和“negy”相关联的关系登记。

此外，从视点o开始的分别包括+z面85、-z面86、+x面81、-x面82、+y面83和-y面84的第一层的面的视线矢量为(0，0，1)、(0，0，-1)、(1，0，0)、(-1，0，0)、(0，1，0)和(0，-1，0)。因此，视线向量(0，0，1)，(0，0，-1)，(1，0，0)，(-1，0，0)，(0，1，0)和(0，-1，0)分别以与文件名的公共部分“posz”、“negz”、“posx”、“negx”、“posy”和“negy”相关联的关系登记。

此外，在图9的示例中9，第一层的所有面的横向视角和垂直视角是大于90度的100度，横向像素数是纹理图像和深度图像的横向方向上的像素数，垂直像素数是纹理图像和深度图像的垂直方向上的像素数，横向像素数和垂直像素数是1024。因此，横向视角“100度”、垂直视角“100度”、横向像素数“1024”和垂直像素数“1024”分别以与文件名的公共部分“posz”、“negz”、“posx”、“negx”、“posy”和“negy”相关联的关系登记。

(层次结构描述)

图10是表示与第一层的预定面对应的成像对象的深度方向的位置的图。图11是描绘在第一层和第二层的视点相同的情况下，图10的成像对象的第一层和第二层的纹理图像的配置示例的视图。

应注意，图10是从上方观看第一层的视点o和成像对象的视图，图10的向上和向下方向是在包括视角中的成像对象的第一层的预定平面的深度方向。此外，在图11中，向左和向右方向以及向上和向下方向分别表示纹理图像的横向方向和深度方向。图10和11的向下方向是这侧，向上方向是深侧。

在图10和图11的示例中，中间前景111和前景后面的背景112是包括在第一层的预定视角中的成像对象。在这种情况下，如图11所示，第一层的预定面的纹理图像由前景111的拾取图像121和背景112的未被前景111隐藏的区域112a中的拾取图像122a构成。

另一方面，对应于第一层的预定面的第二层的面的纹理图像包括由多相机11从由图11所示的前景111遮蔽的背景112的遮挡区域112b内成像的成像遮挡区域112c中的拾取图像122c(作为有效区域)。

尽管可以在第二层的面的纹理图像内的除有效区域之外的区域中放置任何东西，但是如果放置诸如无效值等的特殊值，则特殊值的值会通过压缩编码变化，导致难以通过家庭服务器13解码再现特殊值。

因此，将除了第二层的面的纹理图像的有效区域之外的区域划分为对应于区域112a的不必要区域(背景区域)，以及对应于遮挡区域112b内的成像遮挡区域112c之外的区域的虚拟区域。

然后，在与不存在遮挡区域的区域112a对应的不必要区域中，可以与第一层类似地布置拾取图像122a，也可以布置边缘部分不陡峭的平坦图像。在将拾取图像122a布置在不必要区域中的情况下，由于第一层和第二层中的纹理图像在不必要区域中变得相同，所以在第一层的纹理图像通过参考第二层的纹理图像的mvc方法、3d-hevc方法等被压缩编码的情况下，可以提高压缩比。此外，在不必要区域中显示平坦图像的情况下，与其中布置具有陡峭边缘部分的图像的替代情况相比，可以提高第二层图像的压缩比。应注意，拾取图像122a可以布置在不必要区域的一部分中，而平坦图像布置在另一部分中。

此外，虚拟区域是这样的区域，在该区域中，尽管存在遮挡区域，但是多相机11不执行成像，并且该区域对应于遮挡区域112b内的成像遮挡区域112c以外的区域。因此，在虚拟区域中，布置使用成像遮挡区域112c的拾取图像122c推测(修复)的修复图像，或者类似于第一层布置拾取图像121。

应注意，对于修复，可以使用过去拾取的图像。在内容服务器12执行修复的情况下，家庭服务器13可以将虚拟区域等效于有效区域。此外，在内容服务器12在再现之前执行修复的情况下，也可以执行处理负荷高并且需要很多时间的修复。

此外，在拾取图像121布置在虚拟区域中的情况下，当虚拟区域被分散或难以进行修复时，也可以容易地生成虚拟区域。修复图像可以布置在虚拟区域的一部分上，而拾取图像121布置在另一部分上。

应注意，由于第一层和第二层的深度图像的配置类似于第一层和第二层的纹理图像的配置，除了将拾取图像替换为深度图像，因此省略相同的描述。此外，在下文中，描述了这样的情况，其中将拾取图像或类似于第一层的深度图像放置在第二层的不必要区域和虚拟区域中。

(第一层和第二层的视点描述)

图12是示出在第一层和第二层的视点相同的情况下，第一层和与第一层的预定面对应的第二层的纹理图像的视图。图13是示出在第一层和第二层的视点彼此不同的情况下，第一层和对应于第一层的预定面的第二层的纹理图像的视图。

图12的a和图13的a是从上方观看第一层的视点o和成像对象的视图，图12的a和图13的a中的向上和向下方向是包括视角中的成像对象的第一层的预定面的深度方向。

如图12的a所示，在第二层的视点是第一层的视点o的情况下，条形成像对象141延伸到第一层的预定面131的视角中的视点o，在第一层的纹理图像151和第二层的纹理图像152中形成点。

特别地，由于从第一层和第二层的视点o朝向面131的方向相同，因此成像对象141在第一层的纹理图像151和第二层的纹理图像152中都退化为一点。因此，在纹理图像151和纹理图像152中，不能表现出在朝向视点o的方向上延伸的成像对象141的长度。

相反，在第二层的视点是与第一层的视点o不同的视点o的情况下，包括在第一层的面131和第二层的面161的视角中的成像对象141在第二层的纹理图像172中变成直线。

特别地，从第一层的视点o朝向面131的方向和从第二层的视点o′朝向面161的方向彼此不同。因此，即使成像对象141在第一层的纹理图像151中退化成一点，成像对象141也不会在第二层的纹理图像172中退化为一点。因此，在纹理图像172中，可以表现出在朝向视点o的方向上延伸的成像对象141的长度。

根据前述内容，在内容服务器12中，第一层和第二层的视点被设置为彼此不同。

(第二层的视点的第一示例)

图14是描绘第二层的视点的第一示例的视图。

图14的a是第一层的立方体80的透视图，图14的b是从y轴的负方向观看的立方体80的视图。这同样适用于图16。

在图14的示例中，对应于包括第一层的+x面81的面的第二层的面的视点191被设置为从第一层的视点o沿y轴的正方向移动长度a的位置，该长度a等于立方体80的每个边的长度的一半。如应用于图14中的视点191的箭头标记所示，与包括第一层的+x面81的面相对应的第二层的面的视线矢量是与第一层类似的(1，0，0)。

对应于包括第一层的-x面82的面的第二层的面的视点192被设置为从视点o沿y轴的负方向移动长度a的位置。如应用于图14中的视点192的箭头标记所示，与包括第一层的-x面82的面相对应的第二层的面的视线矢量是与第一层类似的(-1，0，0)。

此外，对应于包括第一层的+y面83的面91的第二层的面的视点193和对应于包括-y面84的面的第二层的面的视点194被设置为从视点o分别沿z轴的正方向和负方向移动长度a的位置。如应用于图14中的视点193和视点194的箭头标记所示，与第一层的面91对应的第二层的面的视线矢量和与包括-y面84的面对应的第二层的视线矢量分别是与第一层类似的(0，1，0)和(0，-1，0)。

此外，对应于包括第一层的+z面85的面的第二层的面的视点195和对应于包括-z面86的面的第二层的面的视点196被设置为从第一层的视点o分别沿x轴的正方向和负方向移动长度a的位置。如应用于图14中的视点195和视点196的箭头标记所示，对应于第一层的+z面85的第二层的面的视线矢量和对应于包括-z面86的面的第二层的面的视线矢量分别是与第一层类似的(0，0，1)和(0，0，-1)。

以这种方式，在图14的示例中，第二层的面的视点191至196被设置为从第一层的视点o沿垂直于视线矢量的一个方向上移动长度a的位置。此外，第二层的面的视线矢量与第一层的相应面的视线矢量相同。此外，第二层的面的视点191至196相对于视点o的位移方向对于每个面是不同的。

应注意，第二层的面的视点191至196与视点o之间在x轴方向，y轴方向或z轴方向上的距离不限于等于立方体80的每个边的长度的一半的长度a。

(第二层的视点位置信息和面信息的表的第一配置示例)

图15是描绘在将图14的视点191至196设定为第二层的面的视点的情况下，由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表的配置示例的视图。

图15的表与图9的表相同，除了文件名的共同部分和视点位置信息。

特别地，在图15的示例中，对应于包括+z面85、-z面86、+x面81、-x面82、+y面83和-yface84的第一层的面的第二层的面的纹理图像的文件名分别是posz2_texture、negz2_texture、posx2_texture、negx2_texture、posy2_texture和negy2_texture。此外，对应于包括+z面85、-z面86、+x面81、-x面82、+y面83和-yface84的第一层的面的第二层的面的深度图像的文件名分别是posz2_depth、negz2_depth、posx2_depth、negx2_depth、posy2_depth和negz2_depth。因此，在图15的表中，“posz2”、“negz2”、“posx2”、“negx2”、“posy2”和“negy2”被登记为第二层的面的文件名的公共部分。

此外，当视点o被确定为原点时，视点191至196的坐标(a，0，0)、(-a，0，0)、(0，a，0)、(0，-a，0)、(0，0，a)和(0，0，-a)分别以与文件名的公共部分“posz2”，“negz2”，“posx2”，“negx2”，“posy2”和“negy2”的相关关系登记。

(第二层的视点的第二示例)

图16是描绘第二层的视点的第二示例的视图。

在图16的示例中，对应于包括第一层的+x面81的面的第二层的面的视点211和对应于包括第一层的-x面82的面的第二层的面的视点212，分别被设置为从第一层的视点o沿y轴的正方向和z轴的负方向移动长度a的位置，和从第一层的视点o沿y轴的负方向和z轴的正方向移动长度a的位置。如应用于图16中的视点211和视点212的箭头标记所示，与包括第一层的+x面81的面相对应的第二层的面的视线矢量，和对应于包括第一层的-x面82的面的第二层的面的视线矢量是与第一层类似的(1，0，0)和(-1，0，0)。

对应于包括第一层的+y面83的面91的第二层的面的视点213和对应于包括-y面84的面的第二层的面的视点214被设置为从视点o分别沿x轴的负方向和z轴的正方向以及沿x轴的正方向和z轴的负方向移动长度a的位置。如应用于图16中的视点213和视点214的箭头标记所示，与第一层的面91对应的第二层的面的视线矢量和与包括-y面84的面对应的第二层的面的视线矢量是与第一层类似的(0，1，0)和(0，-1，0)。

此外，对应于包括第一层的+z面85的面的第二层的面的视点215和对应于包括第一层的-z面86的面的第二层的面的视点216，被设置为从视点o分别沿x轴的正方向和y轴的负方向移动长度a的位置和沿x轴的负方向和y轴的正方向移动长度a的位置。如应用于图16中的视点215和视点216的箭头标记所示，与包括第一层的+z面85的面相对应的第二层的面的视线矢量和与包括-z面86的面相对应的第二层的视线矢量分别是与第一层类似的(0，0，1)和(0，0，-1)。

以这种方式，在图16的示例中，第二层的面的视点211至216被设置为从第一层的视点o沿垂直于视线矢量的两个方向上移动长度a的位置。此外，第二层的面的视线矢量与第一层的相应面的视线矢量相同。此外，第二层的面的视点211至216相对于视点o的位移方向在不同的面之间不同。此外，视点211至216相对于视点o呈对称关系。

应注意，第二层的面的视点199至196与视点o之间在x轴方向、y轴方向和z轴方向的两个方向上的距离不限于等于立方体80的每个边的长度的一半的长度a。

(第二层的视点位置信息和面信息的表的第二配置示例)

图17是描绘在将图16的视点211至216设定为第二层的面的视点的情况下，由图3的元数据生成部57生成的元数据内的第二层的视点位置信息和面信息的表的配置示例的视图。

图17的表与图15的表相同，除了视点位置信息。

特别地，在图17的表中，当视点o被确定为原点时，视点211到216的坐标(a，-a，0)、(-a，a，0)、(0，a，-a)、(0，-a，a)、(-a，0，a)和(a，0，-a)分别以与文件名的公共部分“posz2”、“negz2”、“posx2”、“negx2”、“posy2”和“negy2”的相关关系登记。

(内容服务器的处理描述)

图18是示出图2的内容服务器12的流生成处理的流程图。当从图1的多相机11提供相机的拾取图像时，开始该流生成处理。

在图18的步骤s10，内容服务器12的深度检测部31从多相机11提供的每个相机的拾取图像中检测每个相机的拾取图像的每个像素的倒数1/z，并将该倒数1/z提供给量化部32。

在步骤s11，量化部32在相机坐标系中的预定三维位置(其是全方位图像中的视点)被设置为视点时，将相机的拾取图像的像素的倒数1/z转换为倒数1/r并对该倒数1/r执行8位量化。量化部32将相机的拾取图像的像素的倒数1/r的8位量化的值确定为像素值，以生成相机的深度图像，并将该深度图像提供给低分辨率图像处理部33和高分辨率图像处理部34。

在步骤s12，低分辨率图像处理部33使用相机坐标系中的预定三维位置作为视点，以从由多相机11提供的相机的拾取图像生成全方位图像的纹理图像，以降低分辨率。

在步骤s13，低分辨率图像处理部33根据从量化部32提供的相机的深度图像生成全方位图像的深度图像(类似于全方位图像的纹理图像)，以降低分辨率。

在步骤s14，低分辨率图像处理部33对通过步骤s12的处理生成的低分辨率纹理图像和通过步骤s13的处理生成的低分辨率深度图像进行压缩编码和存储。

在步骤s15，低分辨率图像处理部33将存储在其中的低分辨率纹理流和低分辨率深度流传送到图1的家庭服务器13。

在步骤s16，高分辨率图像处理部34的设置部56(图3)将3d模型坐标系的原点设置为第一层中公共的一个视点，并设置包括构成以第一层的视点为中心的立方体的六个面的六个面作为第一层的面。此外，设置部56设置六个视点和与第一层的面相对应的第二层的六个面。设置部56将第一层的一个视点的视点位置信息和六个面的面信息提供给第一层生成部52和元数据生成部57。此外，设置部56将第二层的六个视点的视点位置信息和第二层的六个面的面信息提供给第二层生成部54和元数据生成部57。

在步骤s17，在将相机坐标系中的全方位图像的视点设置为原点，并将由第一层的视点位置信息指示的原点设置为视点时，第一层生成部52根据相机的拾取图像生成对应于第一层的面信息的面的纹理图像。此外，类似于纹理图像，第一层生成部52根据相机的深度图像生成与第一层的面信息对应的面的深度图像。

在步骤s18，在将相机坐标系中的全方位图像的视点设置为原点并将由第二层的视点位置信息指示的三维位置设置为视点时，第二层生成部54为与第二层的面信息相对应的每个面，根据相机的拾取图像生成纹理图像。此外，类似于纹理图像，第二层生成部54为与第二层的面信息相对应的每个面，根据相机的深度图像生成第二层的深度图像。

在步骤s19，编码器53针对每个面和每种图像，对从第一层生成部52提供的第一层的面的纹理图像和深度图像进行压缩编码，并将得到的图像存储到存储器58中，以便存储。

在步骤s20，编码器55针对每个面和每种图像，对从第二层生成部54提供的第二层的面的纹理图像和深度图像进行压缩编码，并将得到的图像存储到存储器58中，以便存储。

在步骤s21，元数据生成部57生成包括作为元数据的第一层的视点位置信息和面信息以及从设置部56提供的第二层的视点位置信息和面信息的表，并将元数据提供和存储到存储器58中。

在步骤s22，重建部59确定是否有必要重建第一层的纹理图像和深度图像。例如，在从用户发出改变第一层的面的数量、视角、距离、位置或倾斜的指令的情况下，重建部59确定需要重建第一层的纹理图像和深度图像。

在步骤s22确定需要重建第一层的纹理图像和深度图像的情况下，处理进入步骤s23。在步骤s23，重建部59设置重建后的第一层的面和与重建后的第一层的面对应的第二层的视点和面。

在步骤s24，重建部59生成包括作为元数据的第一层的视点位置信息和面信息以及重建后的第二层的视点位置信息和面信息的表，并将元数据提供给存储器58。

在步骤s25，重建部59将存储在存储器58中的面的第一层纹理流重建为在步骤s23设置的重建后的第一层的面的纹理流，并将得到的纹理流提供给存储器58，以便存储。此外，重建部59将存储在存储器58中的第一层深度流重建为在步骤s23设置的重建后的第一层的面的第一层深度流，并将得到的深度流提供给存储器58，以便存储。

此外，重建部59将存储在存储器58中的面的第二层纹理流重建为在步骤s23设置的重建后的第二层的视点和面的第二层纹理流，并将得到的纹理流提供给存储器58，以便存储。重建部59将存储在存储器58中的第二层深度流重建为在步骤s23设置的重建后的第二层的视点和面的第二层深度流，并将得到的深度流提供给存储器58，以便存储。然后，处理进入步骤s26。

另一方面，在步骤s22确定不需要重建第一层的纹理图像和深度图像的情况下，处理进入步骤s26。

在步骤s26，传送部60读出重建前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层纹理流以及来自存储器58的元数据，并将读出的流和元数据传送到家庭服务器13。

内容服务器12以如上所述的方式分别在第一层的视点处的遮挡区域中生成纹理图像和深度图像作为第二层的纹理图像和深度图像。因此，在观看位置与视点o不同的情况下，家庭服务器13可以通过使用第二层的纹理图像和深度图像来生成包括在显示图像中的视点o的遮挡区域。因此，家庭服务器13可以生成高图像质量的显示图像。

此外，内容服务器12将第二层的视点设置为与第一层的视点o不同的三维位置。因此，在第二层中，可以显示成像对象在其延伸到视点o的方向上的长度(其延伸到视点o)。

此外，内容服务器12将深度图像的每个像素的y值设置为通过倒数1/r的8位量化获得的值。因此，内容服务器12不必在重建时重做深度图像的8位量化。

(家庭服务器的配置示例)

图19是描绘制1的家庭服务器13的配置示例的框图。

图1的家庭服务器13由相机13a、接收部231、存储器232、另一个接收部233、视线检测部234、ml3d模型生成部235、另一个ml3d模型生成部236、另一个ml3d模型生成部237、3d模型生成部238和绘制部239构成。

家庭服务器13的接收部231接收低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及从内容服务器12传送到其的元数据，并将它们提供给存储器232。

存储器232存储低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及从接收部231提供的元数据。

接收部233从头戴式显示器15接收图1的陀螺仪传感器15b的检测结果，并将检测结果提供给视线检测部234。

视线检测部234基于从接收部233提供的陀螺仪传感器15b的检测结果，确定3d模型坐标系中的观看者的视线方向。此外，视线检测部234从相机13a获取标记15a的拾取图像，并基于该拾取图像检测3d模型坐标系中的观看位置。

视线检测部234从存储器232中的元数据内读出第一层的表。视线检测部234基于3d模型坐标系中的观看位置和视线方向以及第一层的表，从六个面中确定三个面作为选择面，该三个面对应于最靠近从观看位置在视线方向上延伸的视线的视线矢量。具体地，视线检测部234选择包括+x面81和-x面82中的一个的面，包括+y面83和-y面84中的一个的面和包括+z面85和-z面86中的一个的面作为选择面。

由于以如上所述的方式确定选择面，因此由绘制部239(下文描述)使用对应于选择面的第一层和第二层的纹理图像和深度图像生成的显示图像中的高分辨率区域的比例是最高的。此外，由于确定了三个选择面，因此在视线指向立方体80的顶点附近的情况下，可以增加显示图像中的高分辨率区域的比例(与在选择一个选择面的替代情况相比)

视线检测部234从存储器232中读出对应于三个选择面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234将独读出的每个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供到ml3d模型生成部235至237。此外，视线检测部234从存储器232读出低分辨率纹理流和低分辨率深度流，并将它们提供给3d模型生成部238。

此外，视线检测部234基于3d模型坐标系中的观看位置和视线方向来确定3d模型坐标系中的观看者的观看范围。视线检测部234将观看者的观看范围和观看位置提供给绘制部239。视线检测部234将三个选择面以及对应于三个选择面的第二层的视点位置信息和面信息提供给绘制部239。

ml3d模型生成部235至237分别使用第一层纹理流和第一层深度流，来生成包括对应于第一层的纹理图像的像素的采样点的纹理图像坐标系中的三维位置(u，v，z)和连接信息的三维数据和作为颜色信息的rgb值。应注意，每个采样点的连接信息是表示采样点(顶点)和不同采样点之间的连接的信息。纹理图像坐标系是具有由纹理图像的横向给出的u轴，由垂直方向给出的v轴和在深度方向上的z轴的坐标系。

此外，ml3d模型生成部235至237使用从视线检测部234提供的第二层纹理流和第二层深度流，来生成对应于第二层的纹理图像的每个像素的采样点的三维数据。ml3d模型生成部235至237将第一层和第二层的三维数据提供给绘制部239。

3d模型生成部238对从视线检测部234提供的低分辨率纹理流和低分辨率深度流进行解码，以生成低分辨率纹理图像和低分辨率深度图像。3d模型生成部238将作为低分辨率纹理图像的每个像素的像素值的ycbcr值转换为rgb值，以形成对应于每个像素的采样点的rgb值。此外，3d模型生成部238对低分辨率深度图像的每个像素的像素值执行8位去量化，并获得倒数1/r。然后，3d模型生成部238基于低分辨率深度图像的像素的这种倒数1/r计算每个像素的三维位置(u，v，z)，作为对应于像素的采样点的三维位置(u，v，z)。

此外，3d模型生成部238基于采样点的三维位置(u，v，z)生成采样点的连接信息，使得每三个相邻的采样点彼此连接。3d模型生成部238将作为低分辨率纹理图像的三维数据的采样点的三维位置(u，v，z)、连接信息和rgb值提供给绘制部239。

绘制部239基于从3d模型生成部238提供的低分辨率纹理图像的三维数据，在3d模型坐标系中执行低分辨率纹理图像的三角面片绘制(点云绘制)。此后，绘制部239基于从ml3d模型生成部235至237提供的第一层和第二层的三维数据以及从视线检测部234提供的视点位置信息和面信息，在3d模型坐标系中执行第一层和第二层的纹理图像的三角面片绘制。

特别地，低分辨率纹理图像的视点是3d模型坐标系的原点，并且预先确定作为3d模型的正八面体的每个面的位置和尺寸。因此，绘制部239可以计算与正八面体的面相对应的相机的内部参数和外部参数。因此，绘制部239可以使用该内部参数和外部参数从低分辨率纹理图像的采样点的三维位置(u，v，z)识别屏幕上的位置(u，v)和每个采样点的3d模型坐标系中的三维位置(x，y，z)。结果，可以使用屏幕上的位置(u，v)和三维位置(x，y，z)、低分辨率纹理图像的采样点的连接信息和rgb值来执行三角面片绘制。

此外，绘制部239可以基于第一层和第二层的视点位置信息和面信息，来计算与第一层和第二层的面相对应的相机的内部参数和外部参数。因此，绘制部239可以使用该内部参数和外部参数来识别屏幕上的位置(u，v)和来自第一层和第二层的采样点的三维位置(u，v，z)的采样点的三维位置(x，y，z)。结果，绘制部239可以使用屏幕上的位置(u，v)和第一层和第二层的采样点的三维位置(x，y，z)、连接信息和rgb值来执行三角面片绘制。

绘制部239(图像生成部)通过透视地投影(映射)在从作为由视线检测部234提供的观看位置的视点范围内的3d模型坐标系中绘制的三角面片，来生成显示图像。绘制部239将该显示图像传送给图1的转换装置14。

(ml3d模型生成部的配置示例)

图20是描绘制19的ml3d模型生成部235的配置示例的框图。

图20的ml3d模型生成部235由解码器251、rgb转换部252、另一解码器253、深度转换部254、不连续性检测部255、3d模型生成部256、另一解码器257、另一rgb转换部258、另外的解码器259、另一深度转换部260，遮挡处理部261和3d模型生成部262构成。

ml3d模型生成部235的解码器251对从图19的视线检测部234提供的第一层纹理流进行解码，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给rgb转换部252。

rgb转换部252将作为第一层的纹理图像的像素的像素值的ycbcr值转换为rgb值，以获得与像素对应的采样点的rgb值。然后，rgb转换部252将采样点的rgb值提供给3d模型生成部256。

解码器253对从视线检测部234提供的第一层深度流进行解码，以生成第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

深度转换部254对从解码器253提供的第一层的深度图像的像素的像素值执行8位去量化，以获得倒数1/r。然后，深度转换部254基于第一层的深度图像的像素的倒数1/r计算像素的三维位置(u，v，z)作为对应于像素的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续性检测部255和3d模型生成部256。

不连续性检测部255基于从深度转换部254提供的采样点的三维位置(u，v，z)检测不连续像素，该不连续像素是第一层的深度图像的像素中的、对应于其中每一个与相邻采样点的z坐标差等于或大于阈值的采样点的像素。不连续性检测部255将对应于不连续性像素的采样点的三维位置(u，v，z)提供给3d模型生成部256。

3d模型生成部256(连接信息生成部)基于从深度转换部254提供的采样点的三维位置(u，v，z)生成采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。具体地，3d模型生成部256针对每个采样点生成表示包括作为顶点的采样点的三角面片的三个顶点之间的连接的连接信息。然后，3d模型生成部256基于与从不连续性检测部255提供的不连续像素相对应的采样点的三维位置(u，v，z)，从所生成的采样点的连接信息中，删除表示对应于不连续像素的采样点的连接的连接信息。

3d模型生成部256在删除第一层的采样点之后生成作为第一层的三维数据的三维位置(u，v，z)、rgb值和连接信息，并提供该三维数据到图19的绘制部239。

解码器257、rgb转换部258、解码器259和深度转换部260的处理类似于解码器251、rgb转换部252、解码器253和深度转换部254的处理，除了处理目标的层从第一层变为第二层之外。因此省略相同的描述。

遮挡处理部261基于从深度转换部260提供的采样点的三维位置(u，v，z)，从第二层的深度图像的像素中检测不连续像素。遮挡处理部261基于第二层的采样点的三维位置(u，v，z)，执行用于校正对应于不连续像素的采样点的三维位置(u，v，z)的遮挡处理。

具体地，遮挡处理部261将对应于不连续像素的每个采样点的二维位置(u，v)，校正为近侧邻近于该采样点的采样点的二维位置(u，v)。遮挡处理部261将第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3d模型生成部262。

三维模型生成部262基于遮挡处理部261提供的采样点的三维位置(u，v，z)，为每个采样点生成表示与该采样点相邻的两个采样点连接的连接信息。三维模型生成部262生成采样点的三维位置(u、v、z)和连接信息以及从rgb转换部258提供的rgb值，作为第二层的三维数据。三维模型生成部256将第二层的三维数据提供给图19的绘制部239。

应注意，尽管未示出，但是ml3d模型生成部236和ml3d模型生成部237与图20的ml3d模型生成部235的配置类似。

(删除连接信息和遮挡处理的效果说明)

图21是示出在未删除表示与第一层的连接信息中的不连续像素对应的采样点的连接的连接信息的情况下的连接信息的图，图22是示出在删除这种连接信息的情况下的连接信息的视图。

参见图21和22，向左和向右方向表示纹理图像的横向方向，向上和向下方向表示纹理图像的深度方向。图2中的向上方向。21和22是近侧，向下方向是深侧。此外，在图21和22中，实线表示第一层的采样点的三维位置(u，v，z)，虚线表示第二层的采样点的三维位置(u，v，z)。此外，在图21和22的示例中，图10的前景111和背景112是成像对象。

在第一层和第二层中都不执行遮挡处理的情况下，对应于第一层的前景111的拾取图像121和背景112的区域112a的拾取图像122a的边界上的不连续像素的采样点的三维位置如图21的a所示。

此外，在表示与第一层和第二层两者中的不连续像素对应的采样点的连接的连接信息的情况下，对应于第一层和第二层的不连续像素的采样点连接到两个相邻采样点，如图21的a中所示。

因此，生成在对应于第一层的不连续像素的采样点和两个相邻采样点处具有顶点的三角面片，并且通过该三角面片填充有效区域中的拾取图像122c。因此，在要生成包括成像遮挡区域112c的显示图像的情况下，不能使用其中布置有成像遮挡区域112c的拾取图像122c的第二层的有效区域，该成像遮挡区域112c与从图中的右下部指向左上部的视线v对应。

另一方面，在未删除表示与对应于不连续像素的采样点的连接的连接信息，但是在第一层和第二层中都执行遮挡处理的情况下，如图21的b所示，对应于第一层和第二层中的不连续像素的采样点的二维位置被校正为与该采样点在近侧相邻的采样点的二维位置。

因此，在要生成与视线v对应的显示图像的情况下，第一层的区域112a的拾取图像122a可以用作成像遮挡区域112c的显示图像。结果，改善了显示图像的图像质量。

然而，与遮挡处理之后的第一层的不连续像素对应的采样点连接到两个相邻的采样点，并且生成三角面片。因此，类似于图21的a的情况，在要生成与视线v对应的显示图像的情况下，不能使用其中布置有成像遮挡区域112c的拾取图像122c的第二层的有效区域。

相反，3d模型生成部256删除表示连接到第一层的不连续像素的连接信息，如图22所示。因此，不产生在与第一层的不连续像素对应的采样点处具有顶点的三角面片。因此，在要生成与视线v对应的显示图像的情况下，可以使用其中布置有成像遮挡区域112c的拾取图像122c的第二层的有效区域。由于在第二层中不执行连接信息的删除，因此在不存在第一层的三角面片的区域中必定存在第二层的三角面片。

此外，遮挡处理部261对第二层执行遮挡处理。因此，如图22所示，将与第二层的有效区域和虚拟区域之间的边界上的不连续像素对应的采样点之间的深度侧上的采样点的二维位置，连接到深度侧上采样点的近侧相邻采样点的二维位置。因此，在第二层中，减少了遮挡区域。因此，改善了在要生成对应于视线v的显示图像时使用的第二层的图像质量，并因此改善了显示图像的图像质量。

(第一层的面的视角的效果的描述)

图23和图24是示出在第一层的每个面的视角分别为90度和100度的情况下的采样点的视图。

在图23和图24的示例中，为了便于描述，假设在第一层的每个面的视角为90度和100度的情况下，第一层的纹理图像和深度图像的分辨率分别为4×4像素和6×6像素。

如图23的b所示，在第一层的每个面的视角是90度的情况下，第一层的六个面是构成立方体80的六个面81至86。

但是，如图23的a所示，第一层的-z面86的纹理图像280上的采样点291的位置(u，v)，即，从3d模型坐标系中的视点o指向采样点291的线与-z面86交叉的位置，是每个像素281的中心。与-z面86类似，其他面81至85的采样点的位置(u，v)也是像素的中心。

因此，所有三角面片的面81至86上的区域283的u方向和v方向上的尺寸与面81至86相比小于像素尺寸的一半，所述三角面片由采样点(在图23的b中，每个采样点由黑色圆形标记表示)中的彼此相邻的每三个采样点连接构成。因此，不会产生与面81至86的边界对应的三角面片，由此，难以以高图像质量生成通过面81至86之间的边界的视线的显示图像。

相反，在第一层的每个面的视角为100度的情况下，包括-z面86的第一层的面的纹理图像310的尺寸变为6×6个像素(如图24的a所示)，比图23的纹理图像280的尺寸大。类似地，包括其他面81至85的第一层的每个面的纹理图像的尺寸也变为6×6像素。

因此，如图2的b所示。在图24中，所有三角面片的-z面86上的区域311的u方向和v方向上的尺寸大于z面86的像素尺寸的一半，所述三角面片由采样点(每个采样点在图中由黑色圆形标记表示)中的彼此相邻的每三个采样点连接构成。尽管未示出，但是类似于区域311，包括其他面81至85的第一层的每个面的三角面片的区域的u方向和v方向的尺寸也都大于面81至85的像素尺寸的一半。因此，生成对应于面81至86中的每个面的边界的三角面片，并且由此，可以以高图像质量生成包括通过面81至86中的每个面的边界的视线的任意视线的显示图像。

尽管参考图23和24描述了在第一层的每个面的视角为100度的情况下的效果。但是如果第一层的每个面的视角大于90度，则即使在视角不是100度的情况下也会产生类似的效果。

(第二层的面的视角的效果的描述)

图25是示出在第二层的每个面的视角是90度和100度的情况下的遮挡处理的视图。

参考图25，横坐标轴表示u轴，纵坐标轴表示z轴。此外，圆形标记表示采样点。此外，在图25的示例中，深度方向上的位置的z坐标朝向深侧增加。

在第二层的每个面的视角是90度的情况下，采样点仅被映射到第二层的一个面。因此，如图25的a所示，与被映射到处理目标的面的u方向上的端部的采样点331相邻的采样点332没有被映射到处理目标的面，并且在处理目标的面的遮挡处理时，采样点332在z轴上的位置是未知的。

因此，即使在采样点331和采样点332的z坐标之间的差等于或大于阈值的情况下，对应于采样点331的像素也不会被检测为不连续像素。类似地，同样在采样点332被映射到的面是处理目标的面的情况下，对应于采样点332的像素不会被检测为不连续像素。因此，不能对采样点331和采样点332执行遮挡处理。换言之，为了对采样点331和采样点332执行遮挡处理，除了使用处理目标的面的深度图像之外，还需要使用与处理目标的面相邻的面的深度图像。

相反，在第二层的每个面的视角是100度的情况下，映射到与该面邻近的面的端部以外的区域的采样点，以重叠关系作为边缘映射在每个面的端部处。例如，映射在与处理目标的面相邻的面的端部之外的区域中的采样点332被映射在采样点331被映射到的处理目标的面的端部处。

因此，在采样点331和采样点332的z坐标差等于或大于阈值的情况下，对应于采样点331和采样点332的像素被检测为不连续像素。因此，可以对采样点331和采样点332执行遮挡处理，如图25的b所示。结果，对应于不连续像素的采样点332的u坐标被校正为采样点332的u坐标，该采样点333位于采样点332附近并且在采样点332(具有较小的z坐标)较近侧。

应注意，在图25的示例中，因为采样点334和映射到处理目标的面的端部以外的区域的采样点335之间的z坐标差等于或大于阈值，对应于采样点334和采样点335同样被检测为不连续像素。结果，如图25的b所示，采样点334的u坐标被校正为采样点336的u坐标，该采样点336位于采样点334附近并且在采样点334较近侧。

此外，处理目标的面的端部处的采样点337(具有最大u坐标)被映射到与处理目标的面相邻的面的端部之外的区域。因此，在将该面设置为处理目标的面的情况下，确定与采样点337对应的像素是否为不连续像素，当确定该像素是不连续像素时，可以对采样点337执行遮挡处理。

如上所述，在第二层的每个面的视角是100度的情况下，也可以仅使用每个面的采样点来对映射到每个面的端部之外的区域的端部的采样点331执行遮挡处理。由此，减小了第二层的遮挡区域，并且可以提高显示图像的图像质量。

虽然参考图25描述了在第二层的每个面的视角为100度的情况下的效果，但是如果第二层的每个面的视角大于90度，则即使视角不是100度，也会产生类似的效果。

应注意，ml3d模型生成部235至237可以执行图像处理，诸如使用周边像素等对解码获得的纹理图像或深度图像进行滤波处理。在这种情况下，由于第一层和第二层的各个面的视角大于90度，所以在每个面的端部之外的区域的端部处也可以执行与遮挡处理类似效果的图像处理。

(家庭服务器的处理的描述)

图26是示出图19的家庭服务器13的再现处理的流程图。当将低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据例如从内容服务器12传送到家庭服务器13时，开始该再现处理。

在图26的步骤s41，家庭服务器13的接收部231接收从内容服务器12传送的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据，并将它们提供给存储器232。

在步骤s42，存储器232存储低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。

在步骤s43，接收部233从头戴式显示器15接收图1的陀螺仪传感器15b的检测结果，并将该检测结果提供给视线检测部234。

在步骤s44，视线检测部234基于接收部233提供的陀螺仪传感器15b的检测结果，确定3d模型坐标系中观看者的视线方向。在步骤s45，相机13a对施加在头戴式显示器15的标记15a进行成像，并将作为成像结果获得的拾取图像提供给视线检测部234。

在步骤s46，视线检测部234基于相机13a提供的标记15a的拾取图像，检测3d模型坐标系中的观看位置，并将该观看位置提供给绘制部239。

在步骤s47，视线检测部234基于存储在存储器232中的元数据内的第一层的表以及3d模型坐标系中的观看位置和视线方向，确定六个面中的与最接近视线的视线向量对应的三个面作为选择面。

在步骤s48，视线检测部234基于3d模型坐标系中的观看位置和视线方向确定3d模型坐标系中的观看者的观看范围，并将该观看范围提供给绘制部239。

在步骤s49，视线检测部234从存储器232读出低分辨率纹理流和低分辨率深度流，并将它们提供给3d模型生成部238。此外，视线检测部234从存储器232读出对应于三个选择面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部234将读出的每个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流提供给ml3d模型生成部235至237。此外，视线检测部234从存储器232读出对应于三个选择面的视点位置信息和面信息并提供他们到绘制部239。

在步骤s50，ml3d模型生成部235至237针对每个面执行用于生成第一层和第二层的采样点的三维数据的三维数据生成处理。下面参考图27描述三维数据生成处理的细节。

在步骤s51，3d模型生成部238从视线检测部234提供的低分辨率纹理流和低分辨率深度流，生成低分辨率纹理图像的采样点的三维数据，并将该三维数据提供给绘制部239。

在步骤s52，绘制部239基于3d模型生成部238提供的低分辨率纹理图像的三维数据，在3d模型坐标系中执行低分辨率纹理图像的三角面片绘制。此后，绘制部239基于ml3d模型生成部235至237提供的第一层和第二层的三维数据以及视线检测部234提供的视点位置信息和面信息，在3d模型坐标系中执行第一层和第二层的纹理图像的三角面片绘制。

在步骤s53，绘制部239通过将在3d模型坐标系中绘制的三角面片透视投影到相对于视线检测部234提供的作为观看位置的视点的观看范围来生成显示图像。在步骤s54，绘制部239将显示图像传送到图1的转换装置14。

图27是示出在图26的步骤s50，由ml3d模型生成部235执行的三维数据生成处理的细节的流程图。

在图27的步骤s71，ml3d模型生成部235的解码器251(图20)对从图19的视线检测部234提供的第一层纹理流进行解码，以生成第一层的纹理图像。解码器251将第一层的纹理图像提供给rgb转换部252。

在步骤s72，rgb转换部252将作为第一层的纹理图像的像素的像素值的ycbcr值转换为rgb值，并将它们确定为与像素对应的采样点的rgb值。然后，rgb转换部252将采样点的rgb值提供给3d模型生成部256。

在步骤s73，解码器253对从视线检测部234提供的第一层深度流进行解码，以产生第一层的深度图像。解码器253将第一层的深度图像提供给深度转换部254。

在步骤s74，深度转换部254对解码器253提供的第一层的深度图像的每个像素的像素值执行8位去量化，并获得第一层的深度图像的每个像素的倒数1/r。

在步骤s75，深度转换部254基于第一层的深度图像的每个像素的倒数1/r，计算第一层的深度图像的每个像素的三维位置(u，v，z)，作为对应于像素的采样点的三维位置(u，v，z)。深度转换部254将采样点的三维位置(u，v，z)提供给不连续性检测部255和3d模型生成部256。

在步骤s76，不连续性检测部255基于深度转换部254提供的采样点的三维位置(u，v，z)，从第一层的深度图像的像素中检测不连续像素。不连续性检测部255将对应于不连续像素的采样点的三维位置(u，v，z)提供给3d模型生成部256。

在步骤s77，3d模型生成部256基于深度转换部254提供的采样点的三维位置(u，v，z)，生成第一层的采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。

在步骤s78，3d模型生成部256基于与不连续性检测部255提供的不连续像素对应的采样点的三维位置(u，v，z)，从在步骤s77生成的采样点的连接信息中，删除表示对应于不连续像素的采样点连接的连接信息。

在步骤s79，3d模型生成部256生成第一层的采样点的三维位置(u，v，z)、rgb值和通过步骤s78的处理删除后的连接信息，作为第一层的三维数据。3d模型生成部256将该第一层的三维数据提供给图19的绘制部239。

在步骤s80，解码器257对视线检测部234提供的第二层纹理流进行解码，以生成第二层的纹理图像。解码器257将该第二层的纹理图像提供给rgb转换部258。

在步骤s81，rgb转换部258将作为第二层的纹理图像的像素的像素值的ycbcr值转换为rgb值，并将它们确定为与像素对应的采样点的rgb值。然后，rgb转换部258将该采样点的rgb值提供给3d模型生成部262。

在步骤s82，解码器259对视线检测部234提供的第二层深度流进行解码，以生成第二层的深度图像。解码器259将该第二层的深度图像提供给深度转换部260。

在步骤s83，深度转换部260对从解码器259提供的第二层的深度图像的像素的像素值执行8位去量化，并获得第二层的深度图像的像素的倒数1/r。

在步骤s84，深度转换部260基于第二层的深度图像的像素的倒数1/r，计算第二层的深度图像的像素的三维位置(u，v，z)，作为与像素对应的采样点的三维位置(u，v，z)。深度转换部260将采样点的三维位置(u，v，z)提供给遮挡处理部261和3d模型生成部262。

在步骤s85，遮挡处理部261基于深度转换部260提供的采样点的三维位置(u，v，z)，检测第二层的深度图像的像素中的不连续像素。

在步骤s86，遮挡处理部261基于第二层的采样点的三维位置(u，v，z)，执行用于校正对应于不连续像素的采样点的三维位置(u，v，z)的遮挡处理。遮挡处理部261将第二层的采样点的遮挡处理之后的三维位置(u，v，z)提供给3d模型生成部262。

在步骤s87，3d模型生成部262基于遮挡处理部261提供的采样点的三维位置(u，v，z)，生成第二层的采样点的连接信息，使得采样点中的每三个相邻采样点彼此连接。

在步骤s88，3d模型生成部262生成采样点的三维位置(u，v，z)和连接信息以及从rgb转换部258提供的rgb值，作为第二层的三维数据。层。3d模型生成部256将第二层的三维数据提供给图19的绘制部239。

应注意，由ml3d模型生成部236和ml3d模型生成部237执行的三维数据生成处理与图27的三维数据处理类似地执行。

如上所述，家庭服务器13使用第一层和第二层生成显示图像。因此，在观看位置与视点o不同的情况下，可以使用第二层生成包括在显示图像中的视点o的遮挡区域。因此，可以生成高图像质量的显示图像。

此外，家庭服务器13不仅使用纹理图像而且使用深度图像来生成显示图像。因此，通过三角面片绘制，可以根据成像对象将纹理图像映射到三维形状的三角面片，并使用该三角面片生成显示图像。因此，与通过仅使用纹理图像将纹理图像映射到预定面而生成显示图像的替代情况相比，可以生成更高图像质量的显示图像。

此外，第一层的纹理图像和深度图像分别是通过将全方位图像的纹理图像和深度图像映射而获得的纹理图像和深度图像。因此，仅再现通过将全方位图像的纹理图像和深度图像映射到预定面而获得的纹理图像和深度图像的再现装置，可以再现第一层的纹理图像和深度图像。

特别地，由内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式与通过映射全方位图像的纹理图像和深度图像而获得的纹理图像和深度图像的格式具有兼容性。此外，通过家庭服务器13的再现方法，与仅再现通过将全方位图像的纹理图像和深度图像映射到预定面而获得的纹理图像和深度图像的再现装置的再现方法兼容。

应注意，家庭服务器13可以仅使用第一层的纹理图像和深度图像来生成显示图像。在这种情况下，对于第一层，执行遮挡处理来代替删除连接信息。

此外，虽然在前面的描述中，3d模型生成部256删除表示与由不连续性检测部255检测到的不连续像素对应的采样点的连接的连接信息，但是可以基于内容服务器12传送的三角面片有效性信息(下文中将详细描述)，以其他方式来删除连接信息。在这种情况下，不提供不连续性检测部255。

(三角面片有效性信息的说明)

图28是示出在刚刚描述的这种情况下从内容服务器12传送的三角面片有效性信息的视图。

在图28的示例中，第一层的采样点351的数量是12。因此，三角面片352的数量为12，三角面片352的每个在三个相邻采样点351处具有顶点。

在这种情况下，内容服务器12类似于不连续性检测部255检测不连续像素。然后，内容服务器12将在每个不连续像素对应的采样点处具有顶点的三角面片352设置为无效(off)，并将不包括与任何不连续像素对应的采样点的各三角面片352设置为有效(on)。

内容服务器12(生成部)生成指示各三角面片352有效或无效的三角面片有效性信息，并将该三角面片有效性信息放入元数据中。

家庭服务器13的3d模型生成部256基于三角面片有效性信息，删除表示构成各无效三角面片的顶点的采样点之间的连接的连接信息。结果，不绘制其三角面片有效性信息表示无效的任何三角面片。

应注意，通过右端和下端的采样点之外的各采样点中的两个来生成三角面片。此外，三角面片有效性信息是指示三角面片有效或无效的1位的信息。因此，如果第一层的纹理图像的水平方向上的像素数由宽度表示，并且垂直方向上的像素数由高度表示，则所有三角面片的三角面片有效性信息的比特数是(宽度-1)*(高度-1)*2位。

三角面片有效性信息在无损压缩状态或非压缩状态下从内容服务器12传送到家庭服务器13。应注意，三角面片有效性信息可被设置为深度图像的cb和cr值。

<第二实施例>

(图像显示系统的第二实施例的配置示例)

图29是描绘应用本公开的图像显示系统的第二实施例的配置示例的框图。

图29中示出的与图1中相同的部件用相同的标号表示。适当省略重复描述。

图29的图像显示系统400由多相机11、内容服务器12、转换装置14、头戴式显示器15、分发服务器401、网络402和再现装置403构成。在图像显示系统400中，仅将六个面中对应于视线的一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流分发至再现装置403，并通过再现装置403进行再现。

特别地，图像显示系统400的分发服务器401接收并存储低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以及从内容服务器12传送到其的元数据。

此外，分发服务器401通过网络402连接到再现装置403。响应于再现装置403的请求，分发服务器401将一个面的低分辨率纹理流和低分辨率深度流、第一层纹理流、第一层深度流，第二层纹理流和第二层深度流以及存储在其中的元数据，通过网络402传送到再现装置403。

再现装置403(图像处理装置)通过网络402向分发服务器401请求低分辨率纹理流、低分辨率深度流和元数据，并接受低根据请求传送到其的分辨率纹理流、低分辨率深度流和元数据。

此外，再现装置403具有内置的相机13a。类似于家庭服务器13，再现装置403检测3d模型坐标系中的观看位置，并确定3d模型坐标系中的观看者的视线方向和观看范围。

然后，再现装置403基于3d模型坐标系中的观看位置和视线方向以及元数据中包括的第一层的表，从第一层的六个面中确定与最接近视线的视线向量对应的一个面作为选择面。再现装置403通过网络402请求对应于该一个选择面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。再现装置403接收响应于该请求而向其传送的对应于一个选择面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。

再现装置403使用低分辨率纹理流和低分辨率深度流，以及与该一个选择面对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，来生成显示图像。除了选择面的数量以外，用于生成再现装置403的显示图像的处理类似于家庭服务器13的处理，因此，省略对其的描述。再现装置403通过未示出的hdmi线缆将显示图像传送到转换设备14。

<纹理图像的不同示例>

图30是描绘第一层的纹理图像的不同示例的视图。

虽然在前面的描述中，第一层的每个面的纹理图像是一个视点o的纹理图像，但是它可以是对应于视点o的左眼的视点和右眼的视点的纹理图像的合成图像。

特别地，如图30所示，第一层的每个面的纹理图像可以是例如通过在横向方向(水平方向)上，打包对应于视点o的左眼的视点的第一层的各面的纹理图像421和右眼的视点的第一层的各面的纹理图像422而获得的打包图像420。

此外，如图30的b所示，第一层的每个面的纹理图像可以是例如通过在垂直方向(垂直方向)上对纹理图像421和纹理图像422进行打包而获得的打包图像440。

类似地，第二层的每个面的纹理图像可以是例如通过在横向或垂直方向上，将对应于一个面上的第二层的一个视点的左眼的视点的第二层的纹理图像和右眼的视点的第二层的纹理图像打包，而获得的打包图像。

如上所述，在第一层和第二层的每个面的纹理图像是通过用于左眼的视点和用于右眼的视点的打包图像而获得的纹理图像的情况下，解码获得的纹理图像被分成用于左眼的视点的纹理图像和用于右眼的视点的纹理图像。然后，对于第一层和第二层，生成用于左眼的三维数据和用于右眼的三维数据。

然后，基于与观看者的观看方向和观看位置对应的左眼的观看方向和观看位置，从用于左眼的三维数据生成用于左眼的显示图像。此外，基于与观看者的观看方向和观看位置相对应的右眼的观看方向和观看位置，从右眼的三维数据生成用于右眼的显示图像。然后，在头戴式显示器15可以执行3d显示的情况下，头戴式显示器15将用于左眼的显示图像显示为用于左眼的图像，将用于右眼的显示图像显示为用于右眼的图像，以3d显示显示图像。

要注意的是，虽然在第一和第二实施例中，拾取图像被映射到正八面体以生成全方位图像，但是除了正八面体之外，映射有拾取图像的3d模型还可以是球体、立方体等。在拾取图像被映射到球体的情况下，全方位图像是例如根据映射有拾取图像的球体的正金字塔投影的图像。

此外，可以不生成低分辨率纹理流和低分辨率深度流。可以不生成第一层和第二层的深度图像。此外，可以仅在映射有重要成像对象的拾取图像的一个面上生成第二层的纹理图像和深度图像。

另外，与高分辨率的纹理图像和深度图像类似，也可以在分级状态下生成低分辨率纹理图像和低分辨率深度图像。

<第三实施例>

(使用由多个多相机拾取的图像进行再现的示例)

虽然以上描述了使用一个多相机11的图像再现全方位图像的示例，但在从成像时的位置移动视点的状态下连续执行再现处理的情况下，随着运动距离的增加，对基于一个多相机11的纹理图像或深度图像可以再现的图像中的纹理和立体效果的表征存在限制。

因此，即使在视点位置通过使用由多个多相机11拍摄的纹理图像和深度图像，或者使用从利用上述多相机11中的纹理图像和深度图像以及元数据格式的多个多相机拍摄的纹理图像和深度图像渲染的纹理图像和深度图像移动的情况下，也可以增强纹理和立体效果的表征性能。

图31是描绘制像显示系统的第三实施例的配置的示例的框图，该图像显示系统使得即使移动视点位置也可以使用多个多相机11来增加纹理和立体效果的表征性能。应注意，在图31中，具有与图1中的部件相同功能的部件用相同的参考标号表示，并且适当地省略对它们的描述。

特别地，在图31的图像显示系统10中，多个多相机11提供为由多相机11-1至11-n所示，并且新提供内容服务器501和家庭服务器502来分别代替内容服务器12和家庭服务器13。

虽然内容服务器501在基本功能上类似于内容服务器12，但是它根据多个多相机11-1至11-n提供的拾取图像，生成在各自的预定视点处构成全方位图像的第一层和第二层的纹理图像和深度图像。此外，内容服务器501基于多相机11的预定视点处的全方位图像的纹理图像和深度图像，生成元数据(视点信息元数据)并将生成的元数据提供给家庭服务器502，根据该元数据可以在单独的虚拟视点(成像位置)处生成全方位图像的第一层和第二层的纹理图像和深度图像，在该虚拟视点处不存在多相机11-1至11-n，并且该虚拟视点由虚拟视线方向(成像方向)指定。

虽然家庭服务器502在基本功能上类似于家庭服务器13，但是家庭服务器502基于观看位置和视线方向从观看者的观看范围确定相应的虚拟视点，基于由虚拟视点指定的视点信息元数据生成纹理图像和深度图像，并且使得纹理图像和深度图像通过转换装置14显示在头戴式显示器15上。

(图31的内容服务器的高分辨率图像处理部的配置示例)

现在，参考图32描述图31的内容服务器501的高分辨率图像处理部34的配置示例。应注意，因为，在图31的内容服务器501的配置中，仅高分辨率图像处理部34的配置与内容服务器12的配置不同，因此仅描述了高分辨率图像处理部34的配置。

图32的高分辨率图像处理部34与图3的高分辨率图像处理部34的不同在于，图32的高分辨率图像处理部34其中新设置了解码器511、视点信息元数据生成部512和编码器513。

解码器511类似于图20的ml3d模型生成部235的解码器251和257。此外，编码器513类似于编码器53。

视点信息元数据生成部512控制解码器511，以获取由参考图18的流程图所述的流生成处理生成的多相机11-1至11-n的第一层纹理流、第一层深度流，第二层纹理流和第二层深度流，然后将它们存储在存储器58中。

视点信息元数据生成部512利用所获取的多相机11-1到11-n的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，在多相机11虚拟地安装在实际设置多相机11的空间中时，在各种虚拟视点处生成第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，并根据生成结果生成视点信息元数据。

然后，视点信息元数据生成部512将所生成的用于生成各种虚拟视点处的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的视点信息元数据通过编码器513存储到存储器58中。

(视点信息元数据生成部的配置示例)

现在，参考图33的框图描述视点信息元数据生成部512的配置示例。视点信息元数据生成部512包括视点绘制部521和视点信息生成部522。

视点绘制部521基于真实相机参数和虚拟相机参数，使用由真实多相机11-1至11-n成像的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流，在多相机11虚拟地存在于虚拟视点处时，绘制各个虚拟视点处的多个相机11的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，其中，真实相机参数包括实际安装有多相机11的真实空间中的成像位置和视线方向，虚拟相机参数包括虚拟安装在真实空间中的多相机11的成像位置和视线方向。

视点信息生成部522生成并输出在虚拟视点处生成多相机11-1至11-n的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流所需的视点信息参数，该视点信息参数是由视点绘制部521根据由真实多相机11-1至11-n成像的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流绘制的部图像中的虚拟相机参数。

(视图相关)

作为视点绘制部521在虚拟视点处绘制第一层纹理流、第一层深度、第二层纹理流和第二层深度流的技术，例如如图34中所示的各种技术是可用的。

作为第一技术，在当要绘制成像对象a的顶点t时，通过真实相机cam0至cam2从三个方向上的视点执行成像的情况下，例如，如图34的左上部所示，可想到例如通过对应于由相机cam0至cam2成像的顶点t的像素位置处的像素值的简单平均等，绘制从顶点下方的虚拟视点v1观看的顶点t，而不管图34的左下部处所显示的虚拟视点v1。

同时，作为第二技术，在通过实际相机cam0至cam2从三个方向上的视点执行成像的情况下，例如如图34的中上部所示，可以想到根据图34的中下部显示的虚拟视点v1的位置，来为对应于由相机cam0至cam2成像的顶点t的像素位置的像素值设置权重，使得为具有更接近于角度(在该角度，成像对象a与虚拟视点v1类似地直接面对(因为相似度更高))的视线方向(相似的视线方向)的相机设置更大的权重，并且通过使用设定权重的加权平均来绘制从顶点基底上的虚拟视点v1观看的顶点t。

此外，作为第三技术，可以想到一种方法，其中使用通过真实相机cam0至cam2从三个方向上的视点成像的图像p0至p2，在输出图像基底上设置在虚拟视点处成像的图像pv，例如如图34的右侧部分所示，并且根据图34的右侧部分所示的虚拟视点v1的位置，通过使用对应于顶点t的像素t0至t2的像素值进行光束跟踪，来绘制从虚拟视点v1观看的顶点t。

特别地，在图34中，左侧部分表示不依赖于视点方向的绘制方法(视图独立)，中央部分和右侧部分表示依赖于视点方向的绘制方法(视图相关)。

这里，为了增强全方位图像的表征性能，期望一种考虑视点方向的绘制方法(视图相关)，即，依赖于视点方向的绘制方法。

因此，本公开的视点绘制部521通过依赖于视点方向的绘制方法(视图相关)在虚拟视点处绘制图像。

特别地，例如如图34的中心部分所示，当要通过相机在虚拟视点v1处绘制成像对象a的顶点t时，视点绘制部521为由相机cam0至cam2成像的图像施加权重，使得权重从虚拟视点v1减小，即，按照相机cam1，cam0和cam2的顺序，并用加权平均值在虚拟视点处绘制像素。

然后，当要计算加权平均值时，视点信息生成部522将由真实相机cam1成像的权重最大的纹理图像和深度图像的视线方向(旋转)和视点位置(平移)登记为视点信息元数据。

此外，假设将相机放置在虚拟位置处对要成像图像的虚拟视点，设置相对于该虚拟视点具有微视差的微视差虚拟视点。可以将多个微视差虚拟视点设置为一个虚拟视点。

因此，类似于绘制虚拟视点图像的情况，视点绘制部521通过加权平均来绘制微视差虚拟视点图像，该微视差虚拟视点图像是关于每个虚拟视点具有微视差的微视差虚拟视点的图像。

当要计算用于绘制微视差虚拟视点图像的加权平均值时，视点信息生成部522将由权重最大的真实多相机11成像的纹理图像和深度图像的视线方向(旋转)和视点位置(平移)登记为视点信息元数据。

特别地，如果设置了一个虚拟视点，则会找到与虚拟视点相关的第一层和第二层的纹理图像和深度图像，并生成视点信息元数据。此外，生成关于参考虚拟视点的微视差虚拟视点的第一层和第二层的纹理图像和深度图像的视点信息元数据，并且基于生成的结果生成视点信息元数据。

更具体地，例如，当要绘制与虚拟视点图像pv中的顶点c对应的像素pixv时，如图35所示，视点绘制部521从由多个多相机11成像的图像中提取例如图像p0至p2作为包括与顶点c对应的像素的图像。

然后，视点绘制部521为通过其拾取图像p0至p2的实际存在的相机的视线方向v0至v2设置权重w0，w1和w2，使得权重朝成像虚拟视点图像pv的相机的视线方向vt增加，视点绘制部521通过它们与像素pix0至pix2的乘积和来计算加权平均值，并绘制虚拟视点图像pv的像素pixv(＝w0×pix0+w1×pix1+w2×pix2)。

这里，在图35中，由于视线方向v1最接近视线方向vt，视线方向v0是第二最接近视线方向vt，而视线方向v2距离视线方向vt最远，所以满足w1>w0>w2。但是应注意，在图35中，视线方向越接近表示由该视线方向和各个方向限定的角度越小，这不是唯一的例子。例如，可以选择空间距离较小的视线方向。

视点信息生成部522生成视点信息元数据，该视点信息元数据包括图像p0至p2中的权重最大的图像p0，该图像p0至p2与要通过视点绘制部521绘制虚拟视点图像pv的像素tv的生成有关，当形成虚拟视点图像pv时，视点信息生成部522生成图像p0的视线方向(旋转)和视点位置(平移)。

此外，视点绘制部521还针对相对于每个虚拟视点具有微视差的微视差虚拟视点，绘制具有关于类似虚拟视点的微视差的微视差虚拟视点的图像。

视点信息生成部522还生成在与要由视点绘制部521绘制的微视差虚拟视点图像一起配置微视差虚拟视点图像时所需的视点信息元数据。

(全局层)

视点信息生成部522使用关于用作参考的虚拟视点的第一层和第二层的纹理图像和深度图像的视点信息元数据的层的概念，管理各微视差虚拟视点的第一层和第二层的纹理图像和深度图像的视点信息元数据。

更具体地，针对构成以第一层和第二层的3d模型坐标系中的原点为中心的立方体的六个面81至86中的每一个面，设置对应于一个虚拟视点的第一层和第二层的纹理图像和深度图像的视点信息元数据，在下文中参考图8描述。

如果六个面被表示为布置在图36中所示的六面体的展开图(立方体图)中的六个面。然后，为被设置为图36中的全局层gl0的每个面gl01至gl06设置关于虚拟视点的每个面的视点信息元数据。

然后，将微视差虚拟视点的第一层和第二层的纹理图像和深度图像的六个面的视点信息元数据设置给设置为全局层gl1的面gl11至gl16中每一个，该微视差虚拟视点是关于作为参考的虚拟视点的第一微视差。

此外，将微视差虚拟视点的第一层和第二层的纹理图像和深度图像的六个面的视点信息元数据设置给设置为全局层gl2的面gl21至gl26中每一个，该微视差虚拟视点是与相对于作为参考的虚拟视点的第一微视差不同的第二微视差。

特别地，在图36中，将要被设置给关于作为参考的一个虚拟视点的六个面81至86的视点信息元数据设置为全局层gl0，将关于微视差虚拟视点(关于作为参考的该一个虚拟视点)的面81至86设置为全局层gl1和gl2。

应注意，参考图10和图11描述的第一层和第二层是主要用于区分前景和背景的层，而参考图36描述的全局层是用于区分虚拟视点和要被分别设置给第一层和第二层的纹理图像和深度图像的六个面81至86的微视差虚拟视点的视点信息元数据的层，其被设置给虚拟视点和微视差虚拟视点。

此外，通过为由存在于虚拟视点附近的多个真实相机成像的多个图像(包括通过渲染由真实相机成像的图像生成的图像)设置权重，使得对具有更接近虚拟视点的视线方向的视线方向的相机设置更大的权重，找到在相机虚拟安装在一个虚拟视点处的情况下的第一层和第二层的纹理图像和深度图像。

因此，关于一个虚拟视点的一个面的视点信息元数据是与图36的面gl06，gl16和gl26(尾端是面板id＝6)相对应并且在图37的上部用虚线包围的视点信息元数据，其如图37的下部所示设定。图37的下部的视点信息元数据包括用于识别全局层的全局层id，旋转和从左侧的平移。

更具体地，在图37的下部的视点信息元数据中，示出了一个虚拟视点和关于该虚拟视点的微视差虚拟视点处的视点信息元数据，并且描绘了由真实多相机11在图36中所示的全局层gl0至gl2中成像的六个面的视线方向(旋转)为r1，r2和r3，视点位置(平移)由t1，t2和t3设定。以图37中所示的配置为六个面中的每一个设置视点信息元数据。

应注意，虽然为由实际存在的多个相机11之一成像的图像指定了关于图37中所示的一个虚拟视点的六个面的纹理图像和深度图像，微视差虚拟视点以及视点信息元数据，但是也可以应用设置给其他虚拟视点的六个面之一的纹理图像和深度图像的视点信息元数据。

此外，虽然前面的描述涉及这样的示例，其中，作为全局层，为每层中的各个图像设置，由通过在虚拟视点或相对于该虚拟视点的微视差虚拟视点处虚拟提供多相机11来设置的虚拟相机成像的图像，如上文所述，当要合成图像时，根据在其中包括共同成像对象的多个图像是否接近视线方向来加权平均，以找到全局图像层。因此，全局层的层数可以在六个面之间不相等，并且如图所示，例如，在图38的右上部，可以为图中用“1”表示的特定面设置多个全局层，而将单个全局层设置到其他面的每一个。

在这种情况下，如图38的左侧部分所示，将用于设置指示全局层的层数的层数的视点信息元数据添加到与用于识别每个面的面板id的相关关系中。在图38中，示出了由图38的右上部所示的“1”表示的面板id＝1的面的全局层的层数为3，其他面的全局层的层数为1。

此外，示出了为与panelid＝1对应的面设置全局层gl0至gl2。

特别地，针对虚拟视点和多个微视差虚拟视点中的每一个找到的视点信息元数据的全局层的层数小，表示在虚拟视点附近，即使视线方向改变，由此获得的图像之间也没有很大的变化。相反，表明如果虚拟视点和多个微视差虚拟视点之间的全局层的层数很大并且视线方向还稍微改变，则要观看的图像会显着改变。

(虚拟视点图像生成处理的描述)

现在，参考图39的流程图描述虚拟视点图像生成处理。应注意，虚拟视点图像生成处理是在上文参考图18的流程图描述的流生成处理执行之后执行的处理。此外，以下处理是为六个面中的每一个面执行的处理。

在步骤s101，解码器511将未处理的虚拟视点设置为处理目标虚拟视点。应注意，虚拟视点被任意地设置到其中设置多个多相机11的空间，并且可以任意地设置它们的位置之间的距离与其视线方向。这里，将多个虚拟视点中未处理的一个虚拟视点设置为处理目标虚拟视点。

在步骤s102，解码器511读出存储在存储器58中的虚拟视点附近的多相机11的第一层和第二层的面的纹理图像和深度图像。

在步骤s103，解码器511将读出的在虚拟视点附近的多相机11的第一层和第二层的面的纹理图像和深度图像进行解码，并将解码结果提供给视点信息元数据生成部512。

在步骤s104，视点信息元数据生成部512的视点绘制部521使用由虚拟视点附近的多相机11成像的第一层和第二层的纹理图像和深度图像，通过使用上文参考图35描述的技术，来绘制关于虚拟视点的第一层和第二层的纹理图像和深度图像，并将绘制的第一层和第二层的纹理图像和深度图像提供给视点信息生成部522。

在步骤s105，视点信息生成部522基于关于视点绘制部521向其提供的虚拟视点的第一层和第二层的纹理图像和深度图像，生成视点信息元数据并将该视点信息元数据提供给编码器513，该视点信息元数据是生成各个虚拟视点的第一层和第二层的纹理图像和深度图像所必需的。

在步骤s106，编码器513将视点信息元数据编码并存储到存储器58中。注意，假设从存储器58读出的元数据还包括视点信息元数据。

在步骤s107中，视点绘制部521将关于处理目标虚拟视点的未处理的微视差虚拟视点设置为处理目标微视点虚拟视点。应注意，该微视差虚拟视点是相对于处理目标虚拟视点提供微视差的虚拟视点，并且可以相对于处理目标虚拟任意地设置微视差虚拟视点。这里，将未处理的一组微视差虚拟视点设置为处理目标微视差虚拟视点。

在步骤s108，视点绘制部521使用视点附近的多相机11成像的第一层和第二层的纹理图像和深度图像，通过上面参考图35所述的技术，来绘制关于处理目标微视差虚拟视点的第一层和第二层的纹理图像和深度图像，并将绘制第一层和第二层的纹理图像和深度图像提供给视点信息生成部522。

在步骤s109，视点信息生成部522基于视点绘制部521向其提供的处理目标微视差虚拟视点的第一层和第二层的纹理图像和深度图像，生成在处理目标微视差虚拟视点处生成第一层和第二层的纹理图像和深度图像所需的视点信息元数据，并将该视点信息元数据提供给编码器513。

在步骤s110，编码器513将第一层和第二层的纹理图像和深度图像的视点信息元数据存储到存储器58中。

在步骤s111，视点绘制部521确定是否存在未处理的微视差虚拟视点，并且在微视差虚拟视点存在的情况下，处理返回到步骤s107。换言之，只要存在未处理的微视差虚拟视点，就重复步骤s107至s111的处理以重复将未处理的微视差虚拟视点设置为处理目标微视差虚拟视点的处理，从而连续生成用于面的第一层和第二层的纹理图像和深度图像的视点信息元数据，并将该视点信息元数据存储到存储器58中。然后，在步骤s111确定未处理的微视差虚拟视点不存在的情况下，处理进入步骤s112。

在步骤s112，编码器513确定是否存在未处理的虚拟视点，并且如果存在未处理的虚拟视点，则处理返回到步骤s101。具体地，只要存在未处理的虚拟视点，就重复步骤s101至s112的处理以重复处理：连续设置未处理的虚拟视点为处理目标虚拟视点；连续生成第一层纹理流，第一层深度流和视点信息元数据连同微视差虚拟视点；并将它们存储在存储器58中。然后，在步骤s112中确定不存在未处理的虚拟视点的情况下，处理进入步骤s113。

在步骤s113，传送部60从存储器58中读出与虚拟视点有关的六个面的视点信息元数据以及与虚拟视点的视点位置和视线方向有关的信息，并将它们传送到家庭服务器13。

以这种方式，内容服务器12可以生成在虚拟位置的虚拟视线方向中的虚拟视点处设置多相机11时成像的六个面的视点信息元数据，在该虚拟位置处实际上没有多相机11存在并且可以基于由多个多相机11成像的图像任意设置该虚拟位置。此外，在每个虚拟视点处，可以通过微视差虚拟视点的视点信息元数据实现通过多个全局层的多层化，该微视差虚拟视点是提供关于所设置的虚拟视点的微视差的虚拟视点。

此外，面的全局层的层数不一定彼此相等。

此外，虚拟视点可以是实际提供多相机11的位置，这使得可以处理由实际上以多层方式提供为全局层的多相机11生成的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的视点位置元数据。

在以下描述中，假设在提供多个多相机11时，关于六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的视点信息元数据是对应于每个虚拟视点的微视差的多个全局层构成的多层结构。

(图31的家庭服务器的配置示例)

现在，参考图40的框图描述图31的家庭服务器13的配置示例。应注意，由于图31的家庭服务器13的配置示例与图1的家庭服务器13不同仅在于高分辨率图像处理部34的配置，所以描述图31中的家庭服务器13中的高分辨率图像处理部34的配置。

如上所述，通过由用于每个虚拟视点的视差虚拟视点设置的全局层，以多层状态设置关于由一个多相机11设置的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的视点信息元数据。

因此，家庭服务器13指定观看者的观看位置和具有最近视线方向的虚拟视点，并且使用关于相应虚拟视点的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据来执行再现处理。

图40的高分辨率图像处理部34与图19的高分辨率图像处理部34的不同在于：提供视线检测部531和ml3d模型生成部532至534来代替视线检测部234和ml3d模型生成部235至237。

此外，接收部231除了接收内容服务器12向其传送的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流的视点信息元数据之外，还接收虚拟视点的视点位置和视线方向的信息，并将它们提供给存储器232。

尽管视线检测部531具有与视线检测部234基本相似的功能，但它还基于接收部233提供的陀螺仪传感器15b的检测结果，确定3d模型坐标系中观看者的观看位置和视线方向，并找到最接近的虚拟视点。

注意，关于观看者的观看位置和视线方向，假设虚拟视点的视点位置和视线方向以及其中多相机11布置在真实空间中的坐标系，预先设定相应的3d模型坐标系。

视线检测部531从最接近存储器232中的3d模型坐标系中的观看位置和视线方向的虚拟视点的六个面中，确定对应于最接近从观看位置沿视线方向延伸的视线的视线矢量的三个面作为选择面。

视线检测部531从存储器232读出通过视点信息元数据以与虚拟视点相关联的关系存储的并且对应于三个选择面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。视线检测部531将读出的包括那些作为全球层设置给具有用于各个面的微视差虚拟视点的多个层的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流提供到ml3d模型生成部532至534。

尽管ml3d模型生成部532至534具有与ml3d模型生成部235至237基本相同的功能，但是它们相对于在作为全局层的多个层中，以与用于各虚拟视点的多个微视差相关联的关系设置的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流，以与观看者的视线方向相关联的关系合成第一层纹理图像、第一层深度图像、第二层纹理图像和第二层深度图像。

(图41的ml3d模型生成部的配置示例)

现在，参考图41的框图说明图41的ml3d模型生成部532的配置示例。应注意，在图41的ml3d模型生成部532中，具有与图20的ml3d模型生成部235的功能相同的功能的部件用相同的名称和相同的参考符号表示，并且适当地省略对它们的描述。

特别地，图41的ml3d模型生成部532与图20的ml3d模型生成部235不同，因为它包括合成部541至544。

合成部541通过rgb转换部252为用于设置为具有用于虚拟视点的微视差虚拟视点的全局层的各个面的多个图像设置权重，使得为具有对应于更接近观看者的视点方向的图像的微视差虚拟视点的视线方向的图像设置较大的权重，计算加权乘积和并合成为各个全局层设置的图像。

特别地，假设例如如图42中所示，设置到视点信息元数据的全局层gl0，gl1和gl2的图像的虚拟视点和微视差虚拟视点的视线方向分别是视线方向v0，v1和v2，观看者的视线方向是视线方向vt。在这种情况下，在图42中，由于全局层gl1中的视线方向v1和视线方向vt彼此最接近(由它们限定的角度最小)，因此合成部541将最大权重设置给全局层gl1。此外，全局层gl0的视线方向v0和视线方向vt是第二最接近的，并且全局层gl2的视线方向v2和视线方向vt是不同的视线方向。

因此，在图42的情况下，合成部541以降序为全局层gl1，gl0和gl2设置权重(以高，中和低比率)，并且通过使用所设置的权重进行乘积和来合成要设置用于具有微视差的全局层gl0，gl1和gl2的图像。

由于通过上述处理生成考虑了微视差的第一层纹理图像，因此可以进一步增强要再现的图像的纹理或立体效果的表示。

此外，当合成部542至544分别生成第一层深度图像、第二层纹理图像和第二层深度图像时，它们可以适当地合成并表示具有微视差的多个图像，以响应观看者的微视差虚拟视点和视线方向的变化。

(家庭服务器的处理的描述)

现在，参考图43的流程图描述图31的家庭服务器13的再现处理。应注意，适当省略任何与参照图26的流程图描述的处理相同的处理。

在图43的步骤s141，家庭服务器13的接收部231从内容服务器12接收低分辨率纹理流和低分辨率深度流，六个面的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流以及包括用于每个虚拟视点的视点信息元数据的元数据的全部，并将它们提供给存储器232。

在步骤s142，存储器232存储低分辨率纹理流和低分辨率深度流，六个面的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流以及包括视点信息元数据的元数据。

在步骤s143，接收部233从头戴式显示器15接收图1的陀螺仪传感器15b的检测结果，并将检测结果提供给视线检测部234。

在步骤s144，视线检测部531基于接收部233提供的陀螺仪传感器15b的检测结果，确定3d模型坐标系中的观看者的视线方向。

在步骤s145，相机13a对应用于施加在头戴式显示器15的标记15a进行成像，并将作为成像结果获得的拾取图像提供给视线检测部531。

在步骤s146，视线检测部531基于相机13a提供的标记15a的拾取图像检测3d模型坐标系中的观看位置，并将观看位置提供给绘制部239。

在步骤s147，视线检测部531基于接收部233提供的陀螺仪传感器15b的检测结果，确定3d模型坐标系中的观看者的观看位置和视线方向，并确定最接近的虚拟观点。

在步骤s148，从存储器232中的三维模型坐标系中的观看位置和最接近视线方向的虚拟视点处的六个面中，确定对应于最接近视线的视线矢量的三个面为选择面。

在步骤s149，视线检测部531基于3d模型坐标系中的观看位置和视线方向，确定3d模型坐标系中的观看者的观看范围，并将观看者的观看范围提供给绘制部239。

在步骤s150，视线检测部531从存储器232读出所有低分辨率纹理流和所有低分辨率深度流，并将它们提供给3d模型生成部238。此外，视线检测部531基于对应于三个选择面并且对应于所确定的虚拟视点的视点信息元数据，从存储器232读出通过微视差虚拟视点向其设置多个全局层的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流。视线检测部531将读出的第一层纹理流，第一层深度流，第二层纹理流和第二层深度流提供给用于每个面的ml3d模型生成部532至534。此外，视线检测部531从存储器232读出与三个选择面相对应的视点位置信息和面信息，并将它们提供给绘制部239。

在步骤s151，ml3d模型生成部532至534针对每个面执行用于生成第一层和第二层的采样点的三维数据的三维数据生成处理。下面参考图44描述该三维数据生成处理的细节。

在步骤s152，3d模型生成部238根据视线检测部234提供的低分辨率纹理流和低分辨率深度流，生成低分辨率纹理图像的采样点的三维数据，并将该三维数据提供到绘制部239。

在步骤s153，绘制部239基于3d模型生成部238提供的低分辨率纹理图像的三维数据，在3d模型坐标系中绘制低分辨率纹理图像的三角面片。此后，绘制部239基于ml3d模型提供的第一层和第二层的三维数据以及视线检测部531提供的视点位置信息和面信息，在3d模型坐标系中绘制第一层和第二层的纹理图像的三角面片绘制。

在步骤s154，绘制部239将在3d模型坐标系中绘制的三角面片以透视方式投影到将视线检测部531提供的观看位置设置为视点的观看范围，以生成显示图像。在步骤s155，绘制部239将该显示图像传送到图1的转换装置14。

(三维数据的生成处理)

现在，参考图44的流程图详细说明由ml3d模型生成部532在图43的步骤s151执行的三维数据生成处理。应注意，适当省略上文参照图27的流程图所述的处理的描述。特别地，在图44的流程图中，图44与图4不同。与图27的不同在于步骤s203，s206，s214和s217的处理，其他处理与步骤s71至s88的处理相同。

具体地，在步骤s203，合成部541可以通过基于虚拟视点的指定视点信息元数据找到设置给全局层的多个层的第一层纹理图像，来生成考虑微视差的第一层纹理图像，其中，根据微视差虚拟视点和观看者的视线方向之间的关系，通过加权平均响应于具有微视差的微视差虚拟视点来设置全局层的多个层，类似于上文参考图42所述的处理。

此外，在步骤s206，合成部542可以通过基于虚拟视点的指定视点信息元数据找到单独设置为全局层的多个层的第一层深度图像，来生成考虑微视差的第一层深度图像，其中，根据微视差虚拟视点和观看者的视线方向之间的关系，通过加权平均响应于具有微视差的微视差虚拟视点来设置全局层的多个层，类似于上文参考图42所述的处理。

此外，在步骤s214，合成部543可以通过基于虚拟视点的指定视点信息元数据找到单独设置为全局层的多个层的第二层纹理图像，来生成考虑微视差的第一层纹理图像，其中，根据微视差虚拟视点和观看者的视线方向之间的关系，通过加权平均响应于具有微视差的微视差虚拟视点来设置全局层的多个层，类似于上文参考图42所述的处理。

此外，在步骤s217，合成部544可以通过基于虚拟视点的指定视点信息元数据找到单独设置为全局层的多个层的第二层深度图像，来生成考虑微视差的第二层深度图像，其中，根据微视差虚拟视点和观看者的视线方向之间的关系，通过加权平均响应于具有微视差的微视差虚拟视点来设置全局层的多个层，类似于上文参考图42所述的处理。

由于图31的家庭服务器13可以设置被设置为用于多个微视差虚拟视点中的每一个的全局层的多个层的纹理图像或深度图像，其中在多个微视差虚拟视点之间生成用于一个虚拟视点的微视差，因此即使在虚拟视点发生非常小的移动的情况下，也可以再现杂色纹理图像或深度图像，并且也可以增强纹理或立体效果。此外，由于即使在非常小的移动中也可以再现杂色纹理图像或深度图像，所以即使深度图像的精度稍低，也可以将其显示为提供立体效果的图像。

<立体图像的应用示例>

前面的描述针对一示例，其中，使用由多个多相机11成像的图像，并且基于视点信息元数据，为每个虚拟视点，使用考虑微视差虚拟视点的多个全局层来设置低分辨率纹理流，低分辨率深度流，第一层纹理流，第一层深度流，第二层纹理流和第二层深度流，使得合成它们并且在考虑微视差的情况下根据观看者的视线方向和虚拟视点之间的关系再现它们。

然而，通过在利用人的左眼和右眼观看图像时向视差图像设置考虑微视差的图像，还可以允许观看者根据观看者的视线方向观看立体图像。

特别地，在要生成用于观看如图45所示的成像对象a的顶点t的虚拟视点图像的情况下，通过对图像p0，p1和p2进行加权平均，可以生成与虚拟视点对应设置的图像pvr用作用于右眼的第一层和第二层的纹理图像和深度图像，而相对于虚拟视点的微视差虚拟视点的微视差虚拟视点处的图像pvl(设置为上述的全球层)，可以用作用于左眼的第一层和第二层的纹理图像和深度图像。

<第四实施例>

(应用本公开的计算机的描述)

虽然上述一系列处理可以由硬件执行，但是另外它也可以由软件执行。在通过软件执行一系列处理的情况下，将构建软件的程序安装到计算机中。这里，计算机包括结合在专用硬件中的计算机，例如，可以通过安装各种程序来执行各种功能的通用个人计算机等。

图46是描绘依照程序执行上文描述的一系列处理的计算机的硬件的配置示例的框图。

在图46所示的计算机中，cpu(中央处理单元)1001，rom(只读存储器)1002和ram(随机存取存储器)1003通过总线1004彼此连接。

总线1004还连接输入/输出接口1005。输入部1006，输出部1007，存储部1008，通信部1009和驱动器1010连接到输入/输出接口1005。

输入部1006由键盘，鼠标，麦克风等构成。输出部1007由显示器，扬声器等构成。存储部1008由硬盘，非易失性存储器等构成。通信部1009由网络接口等配置。驱动器1010驱动可移动介质1011，例如磁盘，光盘，磁光盘，半导体存储器等。

在以如上所述的方式配置的计算机1000中，cpu1001通过输入/输出接口1005和总线1004将例如存储在存储部1008中的程序加载到ram1003中，以执行如上所述的一系列处理。

由计算机(cpu1001)执行的程序可以被记录到可移动介质1011中并作为可移动介质1011提供，例如，作为封装介质等。此外，可以通过有线或诸如局域网，因特网，数字卫星广播等无线传输介质来提供程序。

在图46中所示的计算机中，通过在驱动器1010上安装可移动介质1011，可以通过输入/输出接口1005将程序安装到存储部1008中。此外，该程序可以由通信部1009通过有线或无线传输介质接收并且被安装到存储部1008中。此外，可以将该程序预先安装到rom1002或存储部1008中。

应注意，由图46中所示的计算机执行的程序可以是其中根据本文中所描述的顺序按时间序列执行处理的程序，或者可以是其中并行地或在必要的时间(例如，当调用程序时等)执行处理的程序。

<应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为结合在各种类型的移动体中的装置，该移动体例如汽车、混合动力电动汽车、摩托车，自行车、个人移动装置、飞机、无人驾驶飞机、船舶、机器人、建筑机械、农业机械(拖拉机)等。

图47是描绘作为可应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图47所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车载信息检测单元7500和集成控制单元7600。将多个控制单元彼此连接的通信网络7010例如可以是符合任意标准的车载通信网络，诸如控制器局域网(can)，本地互连网络(lin)，本地区域网络(lan)，flexray等。

每个控制单元包括：根据各种程序执行运算处理的微计算机；存储由微计算机执行的程序和用于各种操作的参数等的存储部；以及驱动各种控制目标装置的驱动电路。每个控制单元还包括：用于通过通信网络7010与其他控制单元进行通信的网络接口(i/f)；以及用于通过有线通信或无线电通信与车辆内外的设备、传感器等进行通信的通信i/f。图47中示出的集成控制单元7600的功能配置包括微计算机7610、通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载装置i/f7660、声音/图像输出部7670、车载网络i/f7680和存储部7690。其他控制单元类似地包括微计算机、通信i/f，存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作控制装置，用于产生车辆驱动力的驱动力产生装置，例如内燃机、驱动电动机等；用于将驱动力传递到轮子的驱动力传递机构；用于调节车辆的转向角的转向机构；用于产生车辆的制动力的制动装置等。驱动系统控制单元7100可以用作防抱死制动系统(abs)、电子稳定性控制(esc)等的控制装置。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括以下传感器中的至少一个：检测车体的轴向旋转运动的角速度的陀螺仪传感器；检测车辆加速度的加速度传感器；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮转速的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，并控制内燃机、驱动电机、电动转向助力装置、制动装置等。

车身系统控制单元7200根据各种程序控制提供给车身的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、转弯信号、雾灯等的各种灯的控制装置。在这种情况下，作为钥匙的替代的从移动装置传送的无线电波或各种开关的信号可以输入到车身系统控制单元7200。该车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制二次电池7310，二次电池7310是用于驱动电机的电源。例如，从包括二次电池7310的电池装置向电池控制单元7300提供关于电池温度、电池输出电压、电池中剩余电量等的信息。电池控制单元7300使用这些信号执行运算处理，并控制调节二次电池7310的温度或控制提供给电池装置等的冷却装置。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气条件或天气状况的环境传感器，和用于检测包括车辆控制系统7000的车辆周边的另一车辆、障碍物、行人等的外围信息检测传感器中的至少一个。

环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照度的阳光传感器和检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声波传感器、雷达设备和lidar设备(光检测和测距设备、或激光成像检测和测距设备)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以被提供为独立的传感器或装置，或者可以被提供为集成有多个传感器或装置的设备。

图48描绘了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916和7918例如设置在车辆7900的前鼻部、侧视镜、后保险杠和后门的至少一个位置上，以及车辆内部的挡风玻璃的上部上的位置。设置在前鼻的成像部7910和设置在车辆内部的挡风玻璃上部的成像部7918主要获得车辆7900的前部的图像。提供给侧视镜的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部7916主要获得车辆7900后部的图像。设置在车辆内部的挡风玻璃上部的成像部7918，主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

附带地，图48描绘了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示提供给前鼻部的成像部7910的成像范围。成像范围b和c分别表示提供给侧视镜的成像部7912和7914的成像范围。成像范围d表示提供给后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上方观看的车辆7900的鸟瞰图像。

设置在车辆7900的前、后、侧面和拐角处的车外信息检测部7920、7922、7924、7926、7928和7930以及车辆内部的挡风玻璃的上部可以是例如超声波传感器或雷达设备。设置在车辆7900的前鼻部的、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如lidar设备。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

回到图47继续描述。车外信息检测单元7400使成像部7410成像车辆外部的图像，并接收成像图像数据。另外，车外信息检测单元7400从连接到车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达设备或lidar设备的情况下，车外信息检测单元7400传送超声波、电磁波等，并接收所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可以执行检测诸如人、车辆、障碍物、标志，路面上的字符等物体或检测到其距离的处理。车外信息检测单元7400可以基于所接收的信息执行识别降雨、雾，路面状况等的环境识别处理。车外信息检测单元7400可以基于所接收的信息计算到车辆外部的物体的距离。

另外，基于所接收的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志，路面上的字符等的图像识别处理，或检测到其距离的处理。车外信息检测单元7400可以对接收的图像数据进行诸如失真校正、对准等的处理，并且组合由多个不同的成像部7410成像的图像数据以产生鸟瞰图像或者全景图像。车外信息检测单元7400可以使用由包括不同成像部的成像部7410成像的图像数据来执行视点转换处理。

车载信息检测单元7500检测关于车辆内部的信息。车载信息检测单元7500例如与检测驾驶员状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、在车辆内部收集声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等中，并检测坐在座椅中的乘员或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车载信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。车载信息检测单元7500可以对通过声音的收集获得的音频信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘员进行输入操作的设备实现，例如，作为触摸板、按钮、麦克风、开关、遥控杆等。可以向集成控制单元7600提供通过麦克风输入的语音的语音识别获得的数据。输入部7800例如可以是使用红外线或其他无线电波的遥控设备，或者是支持车辆控制系统7000的操作的外部连接设备，例如移动电话、个人数字助理(pda)等。输入部7800可以是例如相机。在这种情况下，乘员可以通过手势输入信息。或者，可以输入通过检测乘员佩戴的可穿戴设备的移动而获得的数据。此外，输入部7800可以例如包括基于乘员等使用上述输入部7800输入的信息生成输入信号，并输出所生成的输入信号输出到集成控制单元7600的输入控制电路等。乘员等通过操作输入部7800向车辆控制系统7000输入各种数据或提供处理操作的指令。

存储部7690可以包括存储由微计算机执行的各种程序的只读存储器(rom)，和存储各种参数、操作结果、传感器值等的随机存取存储器(ram)。另外，存储部7690可以由诸如硬盘驱动器(hdd)等的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等来实现。

通用通信i/f7620是广泛使用的通信i/f，该通信i/f与存在于外部环境7750中的各种装置进行通信。通用通信i/f7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm)、全球微波接入互操作性(wimax)、长期演进(lte))、高级lte(lte-a)等；或其他无线通信协议，例如无线lan(也称为无线保真(wi-fi)、蓝牙等。通用通信i/f7620可以例如通过基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信i/f7620可以例如使用对等(p2p)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人、商店的终端，或机器类型通信(mtc)终端)。

专用通信i/f7630是支持为车辆使用而开发的通信协议的通信i/f。专用通信i/f7630可以实现标准协议，例如车辆环境下无线接入(wave)、专用短程通信(dsrc)或蜂窝通信协议，该车辆环境下无线接入(wave)是作为下层的电气和电子工程师协会(ieee)802.11p和作为更高层ieee1609的组合。专用通信i/f7630通常执行v2x通信，该v2x通信作为包括车辆和车辆(车辆到车辆)之间的通信、道路和车辆(车辆到基础设施)之间的通信、车辆和家(车辆到家)之间的通信以及行人和车辆(车辆到行人)之间的通信中的一个或多个的概念。

定位部7640例如通过从gnss卫星接收全球导航卫星系统(gnss)信号(例如，来自全球定位系统(gps)卫星的gps信号)来执行定位，并生成包括车辆的纬度、经度和高度的位置信息。附带地，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(phs)或具有定位功能的智能电话的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电台传送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。附带地，信标接收部7650的功能可以包括在上述专用通信i/f7630中。

车载设备i/f7660是调解微计算机7610与车辆内存在的各种车载设备7760之间的连接的通信接口。车载设备i/f7660可以使用诸如无线lan、蓝牙、近场通信(nfc)或无线通用串行总线(wusb)的无线通信协议，来建立无线连接。另外，车载设备i/f7660可以经由未在图中示出的连接终端(如果需要，可以使用电缆)，通过通用串行总线(usb)、高清晰度多媒体接口(hdmi)、移动高清链路(mhl)等建立有线连接。车载设备7760可以例如包括由乘员拥有的移动设备和可穿戴设备，以及携带或附接到车辆的信息设备中的至少一个。车载设备7760还可以包括搜索到任意目的地的路径的导航设备。车载设备i/f7660与这些车载设备7760交换控制信号或数据信号。

车载网络i/f7680是调解微计算机7610和通信网络7010之间的通信的接口。车载网络i/f7680根据由通信网络7010支持的预定协议，传送和接收信号等。

集成控制单元7600的微计算机7610基于通过通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载设备i/f7660和车载网络i/f7680中的至少一个获得的信息，根据各种程序控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆内部和外部的信息，计算用于驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行用于实现高级驾驶员辅助系统(adas)的功能的协同控制，该功能包括车辆的防撞或减震、基于行车间距的跟随驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道的警告等。另外，微计算机7610可以执行用于自动驾驶的协同控制，其基于所获得的关于车辆周围环境的信息等，通过控制驱动力产生装置、转向机构、制动装置等使车辆自主行驶而不依赖于驾驶员的操作等。

微计算机7610基于通过通用通信i/f7620、专用通信i/f7630、定位部7640、信标接收部7650、车载设备i/f7660和车载网络i/f7680中的至少一个获得的信息，可以生成车辆和诸如周围结构、人等的对象之间的三维距离信息，并且生成包括关于车辆的当前位置的周围环境的信息的本地地图信息。另外，微计算机7610可以基于所获得的信息预测诸如车辆碰撞、接近行人等、进入封闭道路等的危险，并产生警告信号。该警告信号例如可以是用于产生警告声或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传送到输出装置，该输出装置能够在视觉上或听觉上将信息通知给车辆的乘员或车辆的外部。在图47的示例中，音频扬声器7710、显示部7720和仪表板7730被示出为输出设备。显示部7720可以例如包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(ar)显示功能。输出设备可以不是这些设备，还可以是诸如耳机、诸如由乘员等佩戴的眼镜型显示器之类的可穿戴设备、投影仪、灯等的其它设备。在输出设备是显示设备的情况下，该显示设备可视地显示通过微计算机7610执行的各种处理获得的结果，或者以各种形式(例如文本、图像、表格、表格、图表等)从另一控制单元接收的信息。另外，在输出设备是音频输出设备的情况下，该音频输出设备将由再现的音频数据或声音数据等构成的音频信号转换为模拟信号，并且听觉地输出模拟信号。

附带地，在图47所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。或者，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的另一控制单元。另外，由以上描述中的控制单元执行的功能的一部分或全部可以被分配给另一个控制单元。换言之，只要经由通信网络7010传送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到一个控制单元的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互传送和接收检测信息。

应注意，参考图1和图2，用于实现根据参照图1至图30的本实施例的图像显示系统10(400)的功能的计算机程序可以并入一些控制单元等。此外，还可以提供一种其中存储了刚才描述的此计算机程序的计算机可读记录介质。记录介质可以是例如磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以例如通过网络分发而不使用记录介质。

在上述车辆控制系统7000中，根据上文参考图1和图2描述的本实施例的图像显示系统10(400)可应用于图47所示的应用示例的车辆控制系统7000。例如，图像显示系统10(400)的多相机11至少对应于成像部7410的一部分。此外，内容服务器12、家庭服务器13(分发服务器401，网络402和再现装置403)和转换装置14被集成并与集成控制单元7600的微计算机7610和存储部7690对应。头戴式显示器15对应于显示部7720。应注意，在图像显示系统10(400)应用于车辆控制系统7000的情况下，不提供相机13a、标记15a和陀螺仪传感器15b，并且由是观看者的乘员通过输入部的操作输入观看者的视线方向和观看位置7800。通过以上述方式将图像显示系统10(400)应用于图47所示的应用示例的车辆控制系统7000，可以使用全方位图像生成高图像质量的显示图像。

此外，上面参考图1至图30描述的图像显示系统10(400)的至少一部分部件可以通过图47中所示的集成控制单元7600的模块(例如，通过由一个管芯配置的集成电路模块)来实现。作为替代方案，参考图1至图30描述的图像显示系统10(400)可以通过图47中所示的车辆控制系统7000的多个控制单元实现。

在本说明书中，术语系统用于表示包括多个组成元件(装置，模块(部件)等)的聚合，并且所有组成元件是否都容纳在同一壳体中无关紧要。因此，容纳在单独壳体中并通过网络彼此连接的多个装置构成系统，并且包括容纳在单个壳体中的多个模块的一个装置构成系统。

应注意，本文描述的有利效果是说明性的并且不是限制性的，并且可以获得其他优点。

此外，本公开的实施例不限于上文描述的实施例，并且在不脱离本公开的主题的情况下可以进行各种改变。

例如，本公开可以采用用于群组计算的配置，其中一个功能由多个设备通过网络共享并且协作处理。

此外，上面结合流程图描述的步骤可以由单个装置执行，或者可以通过多个装置共享来执行。

此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由单个设备执行，并且还可以通过多个装置共享来执行。

应注意，本公开可以采用如下所述的这种配置。

<1>

一种图像处理装置，包括：

虚拟视点图像生成部，其被配置为从多个参考图像生成要成像在具有虚拟视点位置和视线方向的虚拟视点处的虚拟视点图像，所述多个参考图像在多个视线方向上的多个视点位置处成像。

<2>

根据<1>所述的图像处理装置，其中，

所述虚拟视点图像生成部基于所述虚拟视点的所述视线方向和沿其成像所述多个参考图像的视线方向，混合所述多个参考图像，以生成所述虚拟视点图像。

<3>

根据<1>或<2>所述的图像处理装置，其中，

所述虚拟视点图像生成部响应于所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性，分别向所述多个参考图像施加权重，以通过加权平均来生成所述虚拟视点图像。

<4>

根据权利要求<3>所述的图像处理装置，其中，

所述虚拟视点图像生成部响应于所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性，分别向所述多个参考图像施加权重，使得将较大的权重设置给具有较高相似性的参考图像，以通过加权平均来生成所述虚拟视点图像。

<5>

根据权利要求<4>所述的图像处理装置，其中，

所述虚拟视点的视线方向与所述多个参考图像的视线方向之间的相似性是由所述虚拟视点的视线方向和所述多个参考图像的视线方向限定的角度，或所述虚拟视点和所述多个参考图像的视点位置之间的距离。

<6>

根据<1>至<5>之一所述的图像处理装置，其中，

所述虚拟视点图像生成部获取包括指定所述多个参考图像的信息的元数据，并且分别向由所述元数据指定的所述多个参考图像施加权重，以通过加权平均来生成所述虚拟视点图像。

<7>

根据<6>的图像处理装置，其中，

当响应于分别用于多个微视差虚拟视点的所述多个参考图像的视线方向的相似性，分别向所述多个参考图像施加权重，使得将较大的权重设置给具有较高相似性的参考图像以计算加权平均时，由所述元数据指定的所述多个参考图像是指示最大权重的参考图像，所述多个微视差虚拟视点提供不同的关于所述虚拟视点的微视差。

<8>

根据<1>至<7>之一所述的图像处理装置，其中，

对应于所述虚拟视点的参考图像和多个微视差虚拟视点的多个参考图像构成立体图像，在所述微视差虚拟视点处关于所述虚拟视点生成微视差。

<9>

根据<1>至<8>之一所述的图像处理装置，其中，

所述参考图像中的每一个均为全方位图像，并且

所述虚拟视点图像生成部针对构成所述全方位图像的每个面，从所述多个参考图像生成要在具有所述虚拟视点位置和所述视线方向的所述虚拟视点处成像的虚拟视点图像。

<10>

根据<1>至<9>之一所述的图像处理装置，其中

所述参考图像包括具有全方位图像的纹理图像和深度图像的第一层图像。

<11>

根据<10>所述的图像处理装置，其中

所述参考图像还包括第二层图像，所述第二层图像具有在所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

<12>

根据<1>所述的图像处理装置，其中

所述虚拟视点由头戴式显示器检测，并且

所述虚拟视点图像由所述头戴式显示器显示。

<13>

一种图像处理方法，包括：

从在多个视线方向上的多个视点位置处成像的多个参考图像，生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的步骤。

<14>

一种图像处理装置，包括：

元数据生成部，被配置为使用在多个视线方向上的多个视点位置处成像的多个参考图像，来生成用于生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的元数据。

<15>

根据<14>所述的图像处理装置，其中，

所述元数据生成部基于所述虚拟视点和沿其成像所述多个参考图像的视线方向混合所述多个参考图像，以生成用于生成所述虚拟视点图像的元数据。

<16>

根据<14>所述的图像处理装置，其中，

元数据生成部响应于所述虚拟视点与沿其成像所述多个参考图像的视线方向之间的相似性，分别对所述多个参考图像设置权重，通过加权平均混合多个参考图像，生成所述虚拟视点图像，并生成指定权重最大的参考图像的信息作为元数据。

<17>

根据<14>所述的图像处理装置，其中，

所述元数据生成部生成元数据，所述元数据包括：

响应于具有关于所述虚拟视点的微视差的微视差虚拟视点和沿其成像所述多个参考图像的视线方向之间的相似性，用于分别对所述多个参考图像设置权重、通过加权平均混合多个参考图像、生成所述虚拟视点图像以及指定权重最大的参考图像的信息，以及

响应于所述虚拟视点和沿其成像所述多个参考图像的视线方向之间的相似性，用于分别对所述多个参考图像设置权重、通过加权平均混合所述多个参考图像、生成所述虚拟视点图像以及指定权重最大的参考图像的信息。

<18>

根据<14>所述的图像处理装置，其中，

所述参考图像包括具有全方位图像的纹理图像和深度图像的第一层图像。

<19>

根据<18>所述的图像处理装置，其中

所述参考图像还包括第二层图像，所述第二层图像具有在所述第一层图像的视点处的遮挡区域中的纹理图像和深度图像。

<20>

一种图像处理方法，包括：

使用在多个视线方向上的多个视点位置处成像的多个参考图像，来生成用于生成要在具有虚拟视点位置和视线方向的虚拟视点处成像的虚拟视点图像的元数据。

参考标号列表

12内容服务器，13家庭服务器，52第一层生成部，54第二层生成部，57元数据生成部，239绘制部，2563d模型生成部，261遮挡处理部，403再现装置，501内容服务器，502家庭服务器，512视点信息元数据，521视点绘制部，522视点信息生成部。