图像处理设备和图像处理方法与流程
本公开涉及一种图像处理设备和一种图像处理方法，并且具体地涉及使得可以使用全方位图像生成预定视点处的高画面质量的纹理图像的一种图像处理设备和一种图像处理方法。
背景技术：
生成全方位图像(其中利用多相机围绕水平方向360度和围绕竖直方向180度成像的拾取图像被映射至2d图像)的存储设备是可获得的，并且编码和存储所生成的全方位图像(例如，参考专利文献1)。
此外，再现设备是可获得的，其将存储设备存储的全方位图像的编码流解码并且使用作为解码的结果获得的全方位图像显示观察者的观察范围内的纹理图像。如刚才所描述的这种再现设备显示当从视点(3d模型内部的一个点)在观察者的视线方向上观察3d模型(诸如球体、立方体等)的表面(全方位图像粘贴于其上)时观察者的观察范围内的纹理图像。因此，将从预定视点起在观察者的观察范围内的拾取图像再现。
[引用列表]
[专利文献]
[专利文献1]未审查的日本专利2006-14174
技术实现要素：
[技术问题]
然而，在全方位图像生成时的视点和再现时的视点彼此不同的情况下，全方位图像生成时的视点的遮挡区域被包括在再现时的视点处的观察者的观察范围内的所生成的纹理图像中。因此，再现时的视点处的观察者的观察范围中的纹理图像的画面质量降低。遮挡区域是被前方的另一个成像对象挡住的后方的成像对象的区域。
本公开已鉴于如上所述的这种情况作出并且使得可以使用全方位图像生成预定视点处的高画面质量的纹理图像。
[问题的解决方案]
本公开的第一方面的一种图像处理设备包括：接收部分，其被配置成接收传输信息，其中辅助信息被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个；以及辅助信息利用部分，其被配置成针对第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个使用辅助信息执行预定的图像处理。
本公开的第一方面的一种图像处理方法包括通过图像处理设备执行的以下步骤：接收传输信息，其中辅助信息被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个；以及针对第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个使用辅助信息执行预定的图像处理。
在本公开的第一方面，接收传输信息，其中辅助信息被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个；并且针对第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个，执行使用辅助信息的预定图像处理。
本公开的第二方面的一种图像处理设备包括：图像生成部分，其被配置成生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息；以及辅助信息生成部分，其被配置成生成将被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个的辅助信息。
本公开的第二方面的一种图像处理方法包括通过图像处理设备执行的以下步骤：生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息；以及生成将被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个的辅助信息。
在本公开的第二方面，生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息；并且生成将被添加至第一层的纹理信息、第一层的深度信息、第二层的纹理信息或第二层的深度信息中的至少一个的辅助信息。
图像处理设备可以是独立设备或可以是构成一个设备的内部块。
应当指出，本公开的第一和第二方面的图像处理设备可通过使计算机执行程序来实现。
此外，用于由计算机执行以便实现本公开的第一和第二方面的图像处理设备的程序可通过传输介质通过传输提供或通过将程序记录在记录介质上提供。
本发明的有益效果如下：
根据本公开的第一方面，可使用全方位图像生成预定视点处的高画面质量的纹理图像。
根据本公开的第二方面，图像可被生成，使得可使用全方位图像生成预定视点的高画面质量的纹理图像。
应当指出，此处所述的效果不必须是限制性的，并且可以是本公开中描述的一些效果。
附图说明
[图1]图1为描绘应用本公开的图像显示系统的第一实施例的配置实例的框图。
[图2]图2为描绘内容服务器的配置实例的框图。
[图3]图3为描绘高分辨率图像处理部分的配置实例的框图。
[图4]图4为示出距离z和距离r的视图。
[图5]图5为示出最小值zmin和另一个最小值rmin的视图。
[图6]图6为示出深度方向的变化的视图。
[图7]图7为描绘当第一层的六个面的深度图像映射在球体上时每个像素在该球体上的位置的实例的视图。
[图8]图8为描绘第一层的面的实例的视图。
[图9]图9为描绘第一层的视点位置信息和面信息的表格的配置实例的视图。
[图10]图10为描绘与第一层的预定面相对应的成像对象在深度方向上的位置的视图。
[图11]图11为描绘第一层和第二层的纹理图像的配置实例的视图。
[图12]图12为示出第一层和第二层的纹理图像的一个实例的视图。
[图13]图13为示出第一层和第二层的纹理图像的另一个实例的视图。
[图14]图14为描绘第二层的视点的第一实例的视图。
[图15]图15为描绘第二层的视点位置信息和面信息的表格的第一配置实例的视图。
[图16]图16为描绘第二层的视点的第二实例的视图。
[图17]图17为描绘第二层的视点位置信息和面信息的表格的第二配置实例的视图。
[图18]图18为示出流生成过程的流程图。
[图19]图19为描绘家庭服务器的配置实例的框图。
[图20]图20为描绘ml3d模型生成部分的配置实例的框图。
[图21]图21为示出连接信息的一个实例的视图。
[图22]图22为示出连接信息的另一个实例的视图。
[图23]图23为示出采样点的一个实例的视图。
[图24]图24为示出采样点的另一个实例的视图。
[图25]图25为示出遮挡过程的视图。
[图26]图26为示出再现过程的流程图。
[图27]图27为示出三维数据生成过程的细节的流程图。
[图28]图28为示出三角形小块(trianglepatch)有效性信息的视图。
[图29]图29为示出辅助信息的第一添加形式的视图。
[图30]图30为示出辅助信息的第二添加形式的视图。
[图31]图31为示出辅助信息的第三添加形式的视图。
[图32]图32为示出头信息(headerinformation)的视图。
[图33]图33为示出将放置在发射器头信息中的参数的视图。
[图34]图34为示出将放置在层级结构头信息中的参数的视图。
[图35]图35为描绘用于示出将放置在元素头信息中的参数的预定传输信息的结构的视图。
[图36]图36为示出将放置在元素头信息中的参数的视图。
[图37]图37为描绘在辅助信息被放置在不同层级结构中的情况下的第一设定实例的视图。
[图38]图38为描绘在辅助信息被放置在不同层级结构中的情况下的第二设定实例的视图。
[图39]图39为示出在辅助信息被放置在相同层级结构中的情况下的设定实例的视图。
[图40]图40为描绘在辅助信息被放置在cbcr分量中的情况下的第一设定实例的视图。
[图41]图41为描绘在辅助信息被放置在cbcr分量中的情况下的第二设定实例的视图。
[图42]图42为描绘图像显示系统的第二实施例中的高分辨率图像处理部分的配置实例的框图。
[图43]图43为描绘图42的传输信息生成部分的配置实例的框图。
[图44]图44为示出元素信息生成过程的流程图。
[图45]图45为示出传输信息生成过程的流程图。
[图46]图46为示出元素头信息设定过程的细节的流程图。
[图47]图47为示出辅助头信息设定过程的细节的流程图。
[图48]图48为示出yuv辅助头信息设定过程的细节的流程图。
[图49]图49为示出元素信息保存过程的细节的流程图。
[图50]图50为描绘图像显示系统的第二实施例中的ml3d模型生成部分的配置实例的框图。
[图51]图51为描绘传输信息分析部分的配置实例的框图。
[图52]图52为示出传输信息分析过程的流程图。
[图53]图53为示出元素头信息分析过程的细节的流程图。
[图54]图54为示出辅助头信息分析过程的细节的流程图。
[图55]图55为示出yuv辅助头信息分析过程的细节的流程图。
[图56]图56为示出元素信息分发过程的细节的流程图。
[图57]图57为与辅助信息的利用相关的功能框图。
[图58]图58为描绘辅助信息的具体实例和图像处理的实质的视图。
[图59]图59为示出辅助信息利用过程的流程图。
[图60]图60为描绘当视点从全方位图像的第一视点移动至第二视点时像素值的变化的视图。
[图61]图61为示出在辅助信息为多边形前方/后方信息的情况下图像处理的实例的视图。
[图62]图62为示出在辅助信息为多边形前方/后方信息的情况下图像处理的实例的视图。
[图63]图63为示出在辅助信息为区域标识信息的情况下图像处理的实例的视图。
[图64]图64为示出在辅助信息为区域标识信息的情况下图像处理的实例的视图。
[图65]图65为描绘应用本公开的图像显示系统的第三实施例的配置实例的框图。
[图66]图66为描绘第一层的纹理图像的一个不同实例的视图。
[图67]图67为描绘计算机的硬件的配置实例的框图。
[图68]图68为描绘车辆控制系统的示意性配置的实例的框图。
[图69]图69为说明车辆外部信息检测部分和成像部分的安装位置的实例的辅助图。
具体实施方式
在下文中，描述用于执行本公开的模式(在下文称为实施例)。应当指出，按以下顺序给出描述。
1.第一实施例：图像显示系统(图1至28)
2.第二实施例：图像显示系统(图29至64)
3.第三实施例：图像显示系统(图65)
4.纹理图像的不同实例(图66)
5.第四实施例：计算机(图67)
6.应用实例(图68和69)
<1.第一实施例>
(图像显示系统的第一实施例的配置实例)
图1为描绘应用本公开的图像显示系统的第一实施例的配置实例的框图。
图1的图像显示系统10由多相机11、内容服务器12、家庭服务器13、转换设备14、以及头戴式显示器15构成。图像显示系统10由作为通过多相机11拾取的ycbcr图像(yuv图像)的拾取图像生成全方位图像并且显示全方位图像内的观察者的观察范围的图像。
具体地讲，图像显示系统10的多相机11由向外设置的多个(在图1的实例中，六个)相机构成，以使其成像范围为围绕水平方向的360度和围绕竖直方向的180度。每个相机执行成像，以生成以帧为单位的拾取图像。多相机11将相机的拾取图像提供至内容服务器12。
内容服务器12(图像处理设备)由从多相机11提供的相机的拾取图像生成预定视点的全方位图像的纹理图像和深度图像。在第一实施例中，深度图像是其中像素值通过从预定视点到每个像素上的成像对象的直线的距离r的倒数1/r给定的图像，距离r为8比特的值。
内容服务器12降低全方位图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。内容服务器12通过诸如avc(高级视频编码)、hevc(高效视频编码)/h.265等编码方法对低分辨率纹理图像和低分辨率深度图像进行压缩编码。内容服务器12存储作为压缩编码的结果获得的低分辨率纹理图像的编码流(下文称为低分辨率纹理流)和低分辨率深度图像的编码流(下文称为低分辨率深度流)。
此外，内容服务器12使用相机的拾取图像生成处于层级关系的与构成中心位于全方位图像的视点处的立方体的六个面相对应的纹理图像和深度图像。具体地讲，内容服务器12生成六个面的第一层和第二层的纹理图像和深度图像。应当指出，全方位图像的视点和立方体的中心可以彼此不同。
内容服务器12针对每个面、每种类型的图像和每个层，根据诸如avc、hevc等等的编码方法对由每个面的第一层的纹理图像和深度图像构成的第一层图像以及由每个面的第二层的纹理图像和深度图像构成的第二层图像进行压缩编码。内容服务器12存储作为压缩编码的结果获得的每个面的第一层的纹理图像的编码流(下文称为第一层纹理流)、第一层的深度图像的编码流(下文称为第一层深度流)、第二层的纹理图像的编码流(下文称为第二层纹理流)以及第二层的深度图像的编码流(下文称为第二层深度流)。应当指出，用于第一层图像和第二层图像的编码方法可以是mvc(多视点视频编码)法、3d-hevc法等等。
此外，内容服务器12生成并存储与第一层和第二层的面相关的信息等等作为元数据。内容服务器12通过未描绘的网络将存储于其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据传输至家庭服务器13。
应当指出，内容服务器12还可以重建(细节在下文描述)六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。在这种情况下，内容服务器12还可以将重建后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及与它们相对应的元数据传输至家庭服务器13。然而，在以下描述中，假设即使在执行重建的情况下，重建之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流也被传输至内容服务器12。
家庭服务器13(图像处理设备)接收从内容服务器12传输到其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。
此外，家庭服务器13具有构建于其中且对施加至安装在观察者头部的头戴式显示器15的标记物15a成像的相机13a。接着，家庭服务器13基于标记物15a的拾取图像检测观察位置。此外，家庭服务器13通过转换设备14接收来自头戴式显示器15的头戴式显示器15的陀螺仪传感器15b的检测结果。家庭服务器13基于陀螺仪传感器15b的检测结果确定观察者的视线方向并且基于观察位置和视线方向确定观察者的观察范围。
家庭服务器13具有来自第一层的六个面的与观察者的视线方向相对应的三个面。接着，家庭服务器13将与所选的三个面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流解码。因此，家庭服务器13生成与所选的三个面相对应的第一层和第二层的纹理图像和深度图像。
此外，家庭服务器13将低分辨率纹理流和低分辨率深度流解码，以生成低分辨率纹理图像和低分辨率深度图像。家庭服务器13使用与所选的三个面相对应的第一层和第二层的纹理图像和深度图像以及低分辨率纹理图像和低分辨率深度图像生成观察者的观察范围的图像作为显示图像。家庭服务器13通过未描绘的hdmi(注册商标)(高清晰度多媒体接口)线缆将显示图像传输至转换设备14。
转换设备14将从家庭服务器13传输到其中的显示图像上的坐标转换成头戴式显示器15中的坐标。转换设备14将坐标转换后的显示图像提供至头戴式显示器15。
头戴式显示器15具有标记物15a和陀螺仪传感器15b并且安装在观察者的头部。头戴式显示器15显示从转换设备14提供的显示图像。此外，构建在头戴式显示器15中的陀螺仪传感器15b检测头戴式显示器15的倾斜度并且通过转换设备14将检测结果传输至家庭服务器13。
(内容服务器的配置实例)
图2为描绘图1的内容服务器12的配置实例的框图。
图2的内容服务器12由深度检测部分31、量化部分32、低分辨率图像处理部分33以及高分辨率图像处理部分34构成。
内容服务器12的深度检测部分31针对从图1的多相机11提供的相机的拾取图像的每个像素，检测包括该像素处的成像对象的垂直于深度方向的深度平面与相机之间在深度方向上的距离z的倒数1/z。深度检测部分31将作为检测结果获得的相机的拾取图像的像素的倒数1/z提供至量化部分32。
当将被设定为全方位图像中的视点的多相机11的三维坐标系(下文称为相机坐标系)中的预定三维位置设定为视点时，量化部分32将从深度检测部分31提供到其中的相机的拾取图像的每个像素的倒数1/z转换成倒数1/r。接着，量化部分32根据以下表达式(1)对倒数1/r执行8比特量化。
[数学式1]
应当指出，id(r)为8比特量化后距离r的倒数1/r的值。rmax和rmin分别为所有相机的拾取图像中距离r的最大值和最小值。
量化部分32将8比特量化后相机的拾取图像的像素的倒数1/r的值设定为像素值，以生成相机的深度图像，并且将深度图像提供至低分辨率图像处理部分33和高分辨率图像处理部分34。
低分辨率图像处理部分33执行从多相机11提供的相机的拾取图像到中心位于被设定为相机坐标系中的预定三维位置的视点处的正八面体的映射(透视投影)，以生成全方位图像的纹理图像。此外，低分辨率图像处理部分33与拾取图像类似地执行从量化部分32提供到其中的相机的深度图像到正八面体的映射，以生成全方位图像的深度图像。
低分辨率图像处理部分33降低全方位图像的纹理图像和深度图像的分辨率，以生成低分辨率纹理图像和低分辨率深度图像。低分辨率图像处理部分33对低分辨率纹理图像和低分辨率深度图像进行压缩编码并且存储作为压缩编码的结果获得的低分辨率纹理流和低分辨率深度流。低分辨率图像处理部分33将存储于其中的低分辨率纹理流和低分辨率深度流传输至图1的家庭服务器13。
高分辨率图像处理部分34使用从多相机11提供的相机的拾取图像生成与构成立方体的六个面相对应的第一层和第二层的纹理图像，所述立方体具有与低分辨率图像处理部分33中的正八面体相同的中心。高分辨率图像处理部分34使用从量化部分32提供的相机的深度图像与拾取图像类似地生成与六个面相对应的第一层和第二层的深度图像。
高分辨率图像处理部分34针对每个面、每种图像以及每个层，对第一层和第二层的纹理图像和深度图像进行压缩编码。内容服务器12存储作为压缩编码的结果获得的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。
此外，高分辨率图像处理部分34生成并存储元数据。内容服务器12通过未描绘的网络将存储于其中的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据传输至家庭服务器13。
(高分辨率图像处理部分的配置实例)
图3为描绘图2的高分辨率图像处理部分34的配置实例的框图。
图3的高分辨率图像处理部分34由第一层生成部分52、编码器53、第二层生成部分54、另一个编码器55、设定部分56、元数据生成部分57、存储装置58、重建部分59以及传输部分60构成。
从设定部分56向第一层生成部分52提供指示原点为三维坐标系中第一层的视点的三维位置的视点位置信息，所述三维坐标系的原点由相机坐标系(下文称为3d模型坐标系)中全方位图像的视点给出。此外，向第一层生成部分52提供指示各自包括构成中心位于3d模型坐标系的原点的立方体的六个面的六个面在3d模型坐标系中的三维位置和尺寸的面信息。
第一层生成部分52将由视点位置信息指示的原点设定为第一层的视点(第一视点)。第一层生成部分52(图像生成部分)执行：将相机坐标系中全方位图像的视点设定为原点，将从图1的多相机11提供的拾取图像从第一层的视点各自映射至由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部分52生成第一层的六个面的纹理图像。
此外，第一层生成部分52(图像生成部分)执行：将相机坐标系中全方位图像的视点设定为原点，将从图2的量化部分32提供的深度图像从第一层的视点各自映射至由六个面的面信息指示的三维位置和尺寸的面。因此，第一层生成部分52生成第一层的六个面的深度图像。
由于与第一层的六个面相对应的视点彼此相同，因此可以认为，第一层的六个面的纹理图像是通过将映射至中心位于第一层的视点处的3d模型的全方位图像映射至六个面获得的图像。类似地，可以认为，第一层的六个面的深度图像是通过将映射至中心位于第一层的视点处的3d模型的全方位图像的深度图像映射至六个面获得的图像。第一层生成部分52将第一层的六个面的纹理图像和深度图像提供至编码器53。
编码器53针对每个面且针对每种图像对从第一层生成部分52提供的第一层的六个面的纹理图像和深度图像进行压缩编码，以生成第一层纹理流和第一层深度流。编码器53将第一层纹理流和第一层深度流提供至存储装置58。
从设定部分56向第二层生成部分54提供与第一层的每个面相对应的第二层的每个面的不同于第一层的视点的视点(第二视点)的视点位置信息以及与第一层的每个面相对应的第二层的每个面的面信息。对于第二层的每个面，第二层生成部分54将由与面相对应的视点位置信息指示的三维位置设定为第二层的视点。
对于第二层的每个面，第二层生成部分54(图像生成部分)执行：来自从多相机11提供的拾取图像内的第一层的视点处的遮挡区域从与第二层的面相对应的第二层的视点到第二层的面上的映射。因此，第二层生成部分54生成第二层的六个面的纹理图像。
此外，对于第二层的每个面，第二层生成部分54(图像生成部分)执行：来自从量化部分32提供的深度图像内的第一层的视点处的遮挡区域从与第二层的面相对应的第二层的视点到第二层的面上的映射。因此，第二层生成部分54生成第二层的六个面的深度图像。
具体地讲，由于多相机11的相机的位置彼此不同，因此当将相机坐标系中的一个三维位置设定为视点时，该视点处的遮挡区域被包括在拾取图像中。然而，由于第一层的纹理图像是通过映射一个视点处的全方位图像生成的，因此视点处的遮挡区域的拾取图像不包括在第一层的纹理图像中。因此，第二层生成部分54将遮挡区域中的拾取图像放置为第二层的纹理图像。这还类似地应用深度图像。
编码器55针对每个面且针对每种图像对从第二层生成部分54提供的六个面的第二层的纹理图像和深度图像进行压缩编码，以生成第二层纹理流和第二层深度流。编码器55将第二层纹理流和第二层深度流提供至存储装置58。
设定部分56将3d模型坐标系的原点设定为第一层的视点。设定部分56将各自包括构成中心位于第一层的视点处的立方体的六个矩形面的六个面设定为第一层的面。此外，针对第一层的每个面，设定部分56设定第二层的视点和矩形面。
设定部分56将一个视点的视点位置信息和第一层的六个面的面信息提供至第一层生成部分52和元数据生成部分57。此外，设定部分56将六个视点的视点位置信息和与第一层的六个面相对应的第二层的六个面的面信息提供至第二层生成部分54和元数据生成部分57。
元数据生成部分57生成包括从设定部分56提供到其中的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表格作为元数据并且将元数据提供至存储装置58。
存储装置58存储从编码器53提供的第一层纹理流和第一层深度流以及从编码器55提供的第二层纹理流和第二层深度流。此外，存储装置58存储从元数据生成部分57提供的元数据。
此外，存储装置58存储从重建部分59提供的重建之后的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。
重建部分59根据需要读取和重建存储在存储装置58中的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。
具体地讲，重建部分59使用重建之前的第一层纹理流改变与第一层纹理流相对应的面的数量或视角并且使用重建之前的第一层深度流改变与第一层深度流相对应的面的数量或视角。例如，重建部分59将第一层的面从各自包括构成立方体的六个面的六个面改变成除了六个面还包括12个面的18个面，其中各自经过六个面的中心的法线为经过立方体的12条边的中点和视点的线。
作为一种替代方案，重建部分59使用重建之前的第一层纹理流改变与第一层纹理流相对应的面之间的距离(面的密度)并且使用重建之前的第一层深度流改变与第一层深度流相对应的面之间的距离。例如，重建部分59将第一层的面从各自包括构成立方体的六个面(其中经过中心的法线之间的距离为90度)的六个面改变成18个面(具有45度距离的其法线经过其中心)。
当第一层的面之间的距离减小时，由于面的数量增大，总数据容量增大，并且家庭服务器13可使用与更接近观察者的观察范围的第一层的平面相对应的纹理图像和深度图像生成显示图像。因此，显示图像中使用第一层或第二层的纹理图像和深度图像生成的高分辨率区域增加并且显示图像的画面质量得到改善。
应当指出，重建部分59可使用重建之前的第一层纹理流改变与第一层纹理流相对应的面的位置并且使用重建之前的第一层深度流改变与第一层深度流相对应的面的位置以执行重建。在这种情况下，重建部分59通过以下方式执行重建：旋转与第一层的六个面相对应的立方体，以使例如当主要成像对象存在于第一层的一个面的边界上时，主要成像对象存在于除第一层的边界之外的位置上(例如，存在于中心)。
此外，重建部分59可使用重建之前的第一层纹理流改变与第一层纹理流相对应的面的倾斜度并且可使用重建之前的第一层深度流改变与第一层深度流相对应的面的倾斜度以执行重建。在这种情况下，重建部分59例如通过以下方式执行重建：当第一层的纹理图像中的主要成像对象倾斜时，旋转与第一层的六个面相对应的立方体，以使倾斜度消失。
重建部分59以如上所述的这种方式使重建后第二层的视点和面相对于第一层的面改变。接着，重建部分59使用重建之前的第二层纹理流将第二层纹理流的视点和面改变成设定重建之后的第二层的视点和面。此外，重建部分59改变重建之前的第二层深度流，以将与第二层深度流相对应的视点和面改变成设定重建之后的第二层的视点和面。
重建部分59将重建后的第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流提供至存储装置58。此外，重建部分59生成包括重建后的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表格作为元数据并且将元数据提供至存储装置58。
传输部分60从存储装置58中读取六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将它们传输至图1的家庭服务器13。
以此方式，高分辨率图像处理部分34通过透视投影生成第一层图像和第二层图像。因此，家庭服务器13可执行第一层图像和第二层图像的普通图像处理。此外，高分辨率图像处理部分34可通过图像编码流的普通传输方法传输第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流。
(深度图像的效果的描述)
图4为示出距离z和距离r的视图，并且图5为示出距离z的最小值zmin和距离r的最小值rmin的视图。
应当指出，图4和5为当立方体的预定面对应于第一层时的视图。
距离z为在深度方向上从视点至包括每个像素上的成像对象的垂直于深度方向的深度平面的距离。此外，第一层的每个面的深度方向是垂直于第一层的面的方向。因此，第一层的每个面和深度平面彼此平行。因此，作为到第一层的面的距离z彼此相等的深度平面的等距离z面的形状为中心位于第一层的视点o处的立方体形状。因此，当从与第一层相对应的立方体的预定面的上方观察时等距离z平面的形状为如通过图4的a中的虚线所指示的正方形。
因此，在第一层的每个面的视角改变的情况下，到所有面的距离z的最小值zmin改变。例如，如图5的a中所描绘，在第一层的每个面的横向方向(图5中的向上和向下方向)上的视角从90度变成120度的情况下，改变后的每个面的纹理图像包括在横向方向上与改变前的面相邻且具有不同于该面的深度方向的两个面的纹理图像。因此，在第一层的每个面的横向方向上的视角为120度的情况下，最小值zmin为在深度方向上深度平面与视点o之间的距离z的最小值，包括在被包括在该视角中且与在横向方向上相邻的两个面相对应的第一层的每个面的横向方向上的视角为90度的情况下最小值zmin的等距离z面61的位置。刚才关于最小值zmin所述的描述还类似地应用于距离z的最大值zmax。
此外，在与第一层相对应的立方体80围绕由经过视点o的线提供的轴线旋转以改变第一层的每个相位的位置的情况下，如图6所描绘，改变前该面的深度方向p和该面的深度方向q彼此不同。因此，距离z的最小值zmin和最大值zmax变化。应当指出，在图6中，虚线指示改变前该面的等距离z面，并且点划线指示改变后该面的等距离z面。
此外，虽然未描绘，但是同样在第一层的面的数量或面之间的距离将改变的情况下，由于深度方向与在第一层的每个相位的位置改变的情况下类似地改变，因此最小值zmin和最大值zmax变化。
如上所述，在第一层的视角、位置、数量或距离改变的情况下，距离z的最小值zmin和最大值zmax变化。因此，如果使用距离z的倒数1/z作为第一层的深度图像的每个像素的y值(亮度值)，那么在通过重建部分59重建时必须重新进行深度图像的8比特量化。
相比之下，距离r为从视点到每个像素中的成像对象的线性距离。此外，无论哪个面，从第一层的每个面的视点o到成像对象的线性线的方向均为中心位于视点o的圆形的径向方向。因此，从第一层的面到其的距离r彼此相等的等距离r面的形状为中心位于第一层的视点o的球形形状。因此，当从与第一层相对应的立方体的预定面的上方观察等距离r面时的形状为如通过图4的b中的虚线所指示的圆形形状。
如上所述，由于无论哪个面，从第一层的面的视点o到成像对象的线性线的方向均是相等的，甚至在第一层的每个面的视角改变的情况下，因此到所有面的距离r的最小值rmin不变，如图5的b中所描绘的。
例如，关于在横向方向(图5中的向上和向下方向)上与改变前的面相邻的两个面，从第一层的面的视点o到成像对象的线性线的方向彼此相等。因此，如图5的b中所描绘，第一层的面之间在横向方向上的视角从90度变成120度，并且即使在改变后的每个面的纹理图像包括在改变前与所述面在横向方向上相邻的两个面的纹理图像的情况下，最小值rmin也不改变。刚才关于最小值rmin所述的描述还类似地应用于距离r的最大值rmax。
此外，尽管未描绘，即使在第一层的面的位置、数量或距离改变的情况下，由于从第一层的每个面的视点o到成像对象的线性线的方向不与在第一层的每个面的视角的情况下类似地改变，因此最小值rmin和最大值rmax不改变。
因此，图2的量化部分32可通过不使用倒数1/z而是使用倒数1/r的量化值作为第一层的深度图像的每个像素的y值而减少在通过重建部分59重建时用于重新进行深度图像的8比特量化的过程。
应当指出，虽然在以上描述中未重建低分辨率纹理流和低分辨率深度流，但是它们可另外重建。同样在这种情况下，由于低分辨率深度图像的每个像素的y值为倒数1/r的量化值，可以减少在重建时用于重新进行低分辨率深度图像的8比特量化的过程，这与第一层的深度图像的重建时类似。
(第一层的六个面的深度图像的每个像素在球体上的位置的实例)
图7为描绘当第一层的六个面的深度图像映射到球体上时每个像素在该球体上的位置的实例的视图。
应当指出，在图7中，当将第一层的六个面的深度图像映射到球体上时，每个像素在球体上的位置通过点表示。
第一层的面的深度图像的像素在深度图像上的位置之间的距离彼此相等。然而，如图7所描绘，当将第一层的六个面的深度图像映射到球体上时，像素在球体上的位置之间的距离不是相等距离。换句话讲，当将第一层的六个面的深度图像映射到球体上时，像素在球体上的位置的密度不是固定的。
(第一层的面的实例)
图8为描绘第一层的面的实例的视图。
应当指出，在以下描述中，经过第一层的视点o和构成与第一层相对应的立方体80的六个面81至86的中心的六条轴线中彼此正交的三条轴线被称为x轴、y轴和z轴。此外，当视点o与六个面81至86之间的距离通过r表示时，满足x＝r的面81被适宜地称为+x面81，并且满足x＝-r的面82被适宜地称为-x面82。类似地，满足y＝r的面83、满足y＝-r的面84、满足z＝r的面85以及满足z＝-r的面86分别被适宜地称为+y面83、-y面84、+z面85以及-z面86。
此外，图8的a为第一层的立方体80的透视图，并且图8的b为当在y轴的负方向上观察第一层的立方体80时的视图。
如图8的a中所描绘的，第一层的一个面91是包括构成中心位于视点o的立方体80的六个面81至86中的+y面83的面。更具体地讲，面91是被设定至与+y面83相同的位置的面并且具有大于90度(其为+y面83的视角)但小于180度的在横向方向和竖直方向上的视角。
因此，如图8的b中所描绘，面91的纹理图像不仅包括映射到+y面83上的纹理图像，而且还包括映射到与+y面83相邻的+x面81、-x面82、+z面85和-z面86上的纹理图像的一部分。刚才关于纹理图像给出的描述还类似地应用于面91的深度图像。
虽然在图8中仅描绘了第一层的一个面91，但是同样，类似于面91，另外五个面是被设定至与+x面81、-x面82、-y面84、+z面85和-z面86相同的位置的面并且具有大于90度但小于180度的在横向方向和竖直方向上的视角。
如上所述，由于第一层的六个面被配置成使得各自包括构成立方体的六个面81至86，因此全方位图像没有失败地映射到第一层的六个面中的一个上。因此，如果家庭服务器13使用第一层的六个面中彼此相邻的三个面，那么其可在围绕水平方向的360度和围绕竖直方向的180度的任意方向上生成显示图像，其中视点o被设定为观察位置。
(第一层的视点位置信息和面信息的表格的配置实例)
图9为描绘由图3的元数据生成部分57生成的元数据中第一层的视点位置信息和面信息的表格的配置实例的视图。
在图9的实例中，从面信息内，指示面在3d模型坐标系中的三维位置的信息是方位角、高度角、旋转角以及视线向量，并且指示尺寸的信息是横向视角和竖直视角。
方位角是xz平面方向上由将视点和每个面的中心互相连接的线和z轴限定的角，并且高度角是由将视点和每个面的中心互相连接的线和xz平面限定的角。此处，在方位角中，顺时针方向是正方向，并且在高度角中，逆时针方向是正方向。当在z轴方向上从视点延伸的线在xz平面上水平旋转方位角并且接着在y轴方向上向上或向下旋转高度角时的线是经过面的中心的法线。
旋转角是当将视点和面的中心互相连接的线取作轴线时在每个面的旋转方向上的角。此处，在旋转角中，顺时针方向是正方向。视线向量是从通过视点给出的起始点指向每个面的中心的向量并且具有1的长度，即经过每个面的中心的法线向量。横向视角是由将每个面在横向方向上的两个端部和视点互相连接的两条线限定的角，并且竖直视角是由将每个面在竖直方向上的两个端部和视点互相连接的两条线限定的角。
如图9所描绘，在第一层的视点位置信息和面信息的表格中，每个面的第一层纹理流和放置第一层深度流的文件的文件名的共同部分登记在图3的存储装置58中。
具体地讲，在图9的实例中，包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的面的第一层纹理流的文件名分别为posz_纹理、negz_纹理、posx_纹理、negx_纹理、posy_纹理以及negy_纹理。此外，包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的面的第一深度流的文件名分别为posz_深度、negz_深度、posx_深度、negx_深度、posy_深度以及negy_深度。因此，在图9的表格中，posz、negz、posx、negx、posy以及negy被登记为所登记的第一层的面的文件名的共同部分。
此外，在第一层的视点位置信息和面信息的表格中，与文件名的共同部分相对应的面的纹理图像和深度图像的面信息、视点位置信息、以及横向像素数量和竖直像素数量被登记与文件名的共同部分处于关联关系。
具体地讲，在xz平面方向上由各自互相连接包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的第一层的面的中心和视点o的线和z轴限定的角分别为0度、-180度、90度、-90度、0度以及0度，并且相对于xz平面的角分别为0度、0度、0度、0度、90度以及-90度。因此，方位角“0度”、“-180度”、“90度”、“-90度”、“0度”以及“0度”以及高度角“0度”、“0度”、“0度”、“0度”、“90度”以及“-90度”被登记分别与文件名的共同部分“posz”、“negz”、“posx”、“negx”、“posy”以及“negy”处于关联关系。
此外，在图9的实例中，第一层的所有面的旋转角为0度。因此，旋转角“0度”被登记与文件名的共同部分“posz”、“negz”、“posx”、“negx”、“posy”以及“negy”处于关联关系。此外，作为视点位置信息的原点的坐标(0,0,0)被登记与文件名的共同部分“posz”、“negz”、“posx”、“negx”、“posy”以及“negy”处于关联关系。
此外，从视点o开始的各自包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的第一层的面的视线向量为(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)以及(0,-1,0)。因此，视线向量(0,0,1)、(0,0,-1)、(1,0,0)、(-1,0,0)、(0,1,0)以及(0,-1,0)被登记分别与文件名的共同部分“posz”、“negz”、“posx”、“negx”、“posy”以及“negy”处于关联关系。
此外，在图9的实例中，第一层的所有面的横向视角和竖直视角比90度大100度，并且纹理图像和深度图像的为在横向方向上的像素的数量的横向像素数量和为在竖直方向上的像素的数量的竖直像素数量为1024。因此，横向视角“100度”、竖直视角“100度”、横向像素数量“1024”以及竖直像素数量“1024”被登记分别与文件名的共同部分“posz”、“negz”、“posx”、“negx”、“posy”以及“negy”处于关联关系。
(层级化的描述)
图10为描绘与第一层的预定面相对应的成像对象在深度方向上的位置的视图，并且图图11为描绘在第一层和第二层的视点相同的情况下，图10的成像对象的第一层和第二层的纹理图像的配置实例的视图。
应当指出，图10为当从上方观察时第一层的视点o和成像对象的视图，并且图10的向上和向下方向是包括处于该视角中的成像对象的第一层的预定平面的深度方向。此外，在图11中，向左和向右方向以及向上和向下方向分别代表纹理图像的横向方向和深度方向。图10和11中的向上方向是这侧，并且向下方向是深侧。
在图10和11的实例中，中间前景111和前景后面的背景112是包括在第一层的预定视角中的成像对象。在这种情况中，如图11所描绘，第一层的预定面的纹理图像由前景111的拾取图像121和背景112的未被前景111遮挡的区域112a中的拾取图像122a构成。
另一方面，与第一层的预定面相对应的第二层的面的纹理图像包括作为有效区域的来自被前景111遮蔽的背景112的遮挡区域112b内的通过多相机11成像的所成像的遮挡区域112c中的拾取图像122c，如图11中所描绘。
尽管任何东西都可以放置在除来自第二层的面的纹理图像内的有效区域之外的区域中，如果放置了诸如无效值之类的特定值，那么特定值的值通过压缩编码而变化，从而导致难以通过家庭服务器13的解码来再现特定值。
因此，将除第二层的面的纹理图像的有效区域之外的区域分成与区域112a相对应的不必要区域(背景区域)、以及与除来自遮挡区域112b内的所成像的遮挡区域112c之外的区域相对应的假想区域。
接着，在与区域112a相对应的不必要区域中(其中不存在遮挡区域)，拾取图像122a与在第一层中类似地设置或设置了边缘部分不陡峭的平坦图像。在拾取图像122a设置在不必要区域中的情况下，由于不必要区域中第一层和第二层的纹理图像变得相同，在通过mvc法、3d-hevc法等通过参考第二层的纹理图像对第一层的纹理图像进行压缩编码的情况下，压缩比率可以得到改善。此外，在平坦图像显示在不必要区域中的情况下，与其中设置了具有陡峭的边缘部分的图像的替代情况相比，第二层图像的压缩比率可以得到改善。应当指出，拾取图像122a可以设置在不必要区域中的一部分中，而平坦图像设置在另一部分中。
此外，假想区域是其中尽管存在遮挡区域，但是成像不通过多相机11执行并且与除来自遮挡区域112b内的所成像的遮挡区域112c之外的区域相对应的区域。因此，在假想区域中，设置了使用所成像的遮挡区域112c的拾取图像122c推测(修复)的修复图像或与在第一层中类似地设置拾取图像121。
应当指出，对于修复，可以使用过去拾取的图像。在内容服务器12执行修复的情况下，家庭服务器13可以与有效区域同样地处理假想区域。此外，在内容服务器12在再现之前执行修复的情况下，还可以执行处理负载高且需要许多时间的修复。
此外，在拾取图像121设置在假想区域中的情况下，以及当假想区域分散或修复困难时，可易于生成假想区域。修复图像可设置在假想区域的部分，而拾取图像121设置在另一部分。
应当指出，由于除了拾取图像替换为深度图像之外，第一层和第二层的深度图像的配置类似于第一层和第二层的纹理图像的配置，因此省略其描述。此外，在下文中，描述了其中与第一层类似的拾取图像或深度图像被放置在第二层的不必要区域和假想区域中的情况。
(第一层和第二层的视点的描述)
图12为示出在第一层和第二层的视点相同的情况下与第一层的预定面相对应的第一层和第二层的纹理图像的视图。图13为示出在第一层和第二层的视点彼此不同的情况下与第一层的预定面相对应的第一层和第二层的纹理图像的视图。
图12的a和图13的a为当从上方观察时第一层的视点o和成像对象的视图，并且图12的a和图13的a中的向上和向下方向是包括处于该视角中的成像对象的第一层的预定面的深度方向。
如图12的a中所描绘，在第二层的视点为第一层的视点o的情况下，条状成像对象141以第一层的预定面131的视角延伸至视点o，在第一层的纹理图像151和第二层的纹理图像152中形成点。
具体地讲，由于从第一层和第二层的视点o朝向面131的方向是相同的，因此成像对象141在第一层的纹理图像151和第二层的纹理图像152两者中简并成一个点。因此，在纹理图像151和纹理图像152中，不可表示在朝向视点o的方向上延伸的成像对象141的长度。
相比之下，在第二层的视点为不同于第一层的视点o的视点o的情况下，包括在第一层的面131和第二层的面161的视角中的成像对象141在第二层的纹理图像172中变成直线。
具体地讲，从第一层的视点o朝向面131的方向和从第二层的视点o’朝向面161的方向彼此不同。因此，即使成像对象141在第一层的纹理图像151中简并成一个点，但是成像对象141在第二层的纹理图像172中不简并成一个点。因此，在纹理图像172中，可表示在朝向视点o的方向上延伸的成像对象141的长度。
由上文，在内容服务器12中，第一层和第二层的视点被设定成使得彼此不同。
(第二层的视点的第一实例)
图14为描绘第二层的视点的第一实例的视图。
图14的a为第一层的立方体80的透视图，并且图14的b为当在y轴的负方向上观察时立方体80的视图。这还类似地应用于图16。
在图14的实例中，与第一层的包括+x面81的面相对应的第二层的面的视点191被设定为从第一层的视点o在y轴的正方向上移动等于立方体80的每条边的长度的一半的长度a的位置。如通过应用于图14中的视点191的箭头标记所指示的，与在第一层中类似地，与第一层的包括+x面81的面相对应的第二层的面的视线向量为(1,0,0)。
与第一层的包括-x面82的面相对应的第二层的面的视点192被设定为从视点o在y轴的负方向上移动长度a的位置。如通过应用于图14中的视点192的箭头标记所指示的，与第一层类似地，与第一层的包括-x面82的面相对应的第二层的面的视线向量为(-1,0,0)。
此外，与第一层的包括+y面83的面91相对应的第二层的面的视点193和与包括-y面84的面相对应的第二层的面的视点194分别被设定为从视点o在z轴的正方向和负方向上移动长度a的位置。如通过应用于图14中的视点193和视点194的箭头标记所指示的，与在第一层中类似地，与第一层的面91相对应的第二层的面的视线向量和与包括-y面84的面相对应的第二层的视线向量分别为(0,1,0)和(0,-1,0)。
此外，与第一层的包括+z面85的面相对应的第二层的面的视点195和与包括-z面86的面相对应的第二层的面的视点196分别被设定为从第一层的视点o在x轴的正方向和负方向上移动长度a的位置。如通过应用于图14中的视点195和视点196的箭头标记所指示的，与在第一层中类似地，与第一层的+z面85相对应的第二层的面的视线向量和与包括-z面86的面相对应的第二层的面的视线向量分别为(0,0,1)和(0,0,-1)。
以此方式，在图14的实例中，第二层的面的视点191至196被设定为从第一层的视点o在垂直于视线向量的一个方向上移动长度a的位置。此外，第二层的面的视线向量与第一层的对应面的视线向量相同。此外，对于每个面，第二层的面的视点191至196相对于视点o的位移方向不同。
应当指出，在x轴方向、y轴方向或z轴方向上第二层的面的视点191至196与视点o之间的距离不限于等于立方体80的每条边的长度的一半的长度a。
(第二层的视点位置信息和面信息的表格的第一配置实例)
图15为描绘在图14的视点191至196被设定为第二层的面的视点的情况下，来自由图3的元数据生成部分57生成的元数据内的第二层的视点位置信息和面信息的表格的配置实例的视图。
除了文件名的共同部分和视点位置信息之外，图15的表格与图9的表格相同。
具体地讲，在图15的实例中，与包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的第一层的面相对应的第二层的面的纹理图像的文件名分别为posz2_纹理、negz2_纹理、posx2_纹理、negx2_纹理、posy2_纹理以及negy2_纹理。此外，与包括+z面85、-z面86、+x面81、-x面82、+y面83以及-y面84的第一层的面相对应的第二层的面的深度图像的文件名分别为posz2_深度、negz2_深度、posx2_深度、negx2_深度、posy2_深度以及negz2_深度。因此，在图15的表格中，“posz2”、“negz2”、“posx2”、“negx2”、“posy2”以及“negy2”被登记为第二层的面的文件名的共同部分。
此外，当视点o被确定为原点时视点191至196的坐标(a,0,0)、(-a,0,0)、(0,a,0)、(0,-a,0)、(0,0,a)和(0,0,-a)被登记分别与文件名的共同部分“posz2”、“negz2”、“posx2”、“negx2”、“posy2”以及“negy2”处于关联关系。
(第二层的视点的第二实例)
图16为描绘第二层的视点的第二实例的视图。
在图16的实例中，与包括第一层的+x面81的面相对应的第二层的面的视点211和与包括第一层的-x面82的面相对应的第二层的面的视点212分别被设定为从第一层的视点o在y轴的正方向和z轴的负方向上移动长度a的位置和从第一层的视点o在y轴的负方向和z轴的正方向上移动长度a的位置。如通过应用于图16中的视点211和视点212的箭头标记所指示的，与在第一层中类似地，与第一层的包括+x面81的面相对应的第二层的面的视线向量和与第一层的包括-x面82的面相对应的第二层的面的视线向量为(1,0,0)和(-1,0,0)。
与第一层的包括+y面83的面91相对应的第二层的面的视点213和与包括-y面84的面相对应的第二层的面的视点214分别被设定为从视点o在x轴的负方向和z轴的正方向上和在x轴的正方向和z轴的负方向上移动长度a的位置。如通过应用于图16中的视点213和视点214的箭头标记所指示的，与第一层类似地，与第一层的面91相对应的第二层的面的视线向量和与包括-y面84的面相对应的第二层的面的视线向量类似地为(0,1,0)和(0,-1,0)。
此外，与包括+z面85的面相对应的第二层的面的视点215和与第一层的包括-z面86的面相对应的第二层的面的视点216分别被设定为从视点o在x轴的正方向和y轴的负方向上移动长度a的位置和在x轴的负方向和y轴的正方向上移动长度a的位置。如通过应用于图16中的视点215和视点216的箭头标记所指示的，与在第一层中类似地，与第一层的包括+z面85的面相对应的第二层的面的视线向量和与包括-z面86的面相对应的第二层的视线向量分别为(0,0,1)和(0,0,-1)。
以此方式，在图16的实例中，第二层的面的视点211至216被设定为从第一层的视点o在垂直于视线向量的两个方向上移动长度a的位置。此外，第二层的面的视线向量与第一层的对应面的视线向量相同。此外，第二层的面的视点211至216相对于视点o的位移方向在不同的面之间不同。此外，视点211至216相对于视点o处于对称关系。
应当指出，在x轴方向、y轴方向和z轴方向的两个方向上第二层的面的视点199至196与视点o之间的距离不限于等于立方体80的每条边的长度的一半的长度a。
(第二层的视点位置信息和面信息的表格的第二配置实例)
图17为描绘在图16的视点211至216被设定为第二层的面的视点的情况下，来自由图3的元数据生成部分57生成的元数据内的第二层的视点位置信息和面信息的表格的配置实例的视图。
除了视点位置信息之外，图17的表格与图15的表格相同。
具体地讲，在图17的表格中，当视点o被确定为原点时视点211至216的坐标(a,-a,0)、(-a,a,0)、(0,a,-a)、(0,-a,a)、(-a,0,a)和(a,0,-a)被登记分别与文件名的共同部分“posz2”、“negz2”、“posx2”、“negx2”、“posy2”以及“negy2”处于关联关系。
(内容服务器的处理的描述)
图18为示出图2的内容服务器的流生成过程的流程图。当从图1的多相机11提供相机的拾取图像时，该流生成过程开始。
在图18的步骤s10中，内容服务器12的深度检测部分31从由多相机11提供的每个相机的拾取图像中检测每个相机的拾取图像的每个像素的倒数1/z并且将此类倒数1/z提供至量化部分32。
在步骤s11处，当相机坐标系中的预定三维位置(其为全方位图像中的视点)被设定为视点时量化部分32将相机的拾取图像的像素的倒数1/z转换成倒数1/r，并且对倒数1/r执行8比特量化。量化部分32将相机的拾取图像的像素的倒数1/r的8比特量化的值确定为像素值，以生成相机的深度图像，并且将深度图像提供至低分辨率图像处理部分33和高分辨率图像处理部分34。
在步骤s12处，低分辨率图像处理部分33使用相机坐标系中的预定三维位置作为视点，以由从多相机11提供的相机的拾取图像生成全方位图像的纹理图像以降低分辨率。
在步骤s13处，低分辨率图像处理部分33与全方位图像的纹理图像类似地由从量化部分32提供的相机的深度图像生成全方位图像的深度图像以降低分辨率。
在步骤s14处，低分辨率图像处理部分33对通过步骤s12处的过程生成的低分辨率纹理图像和通过步骤s13处的过程生成的低分辨率深度图像进行压缩编码和存储。
在步骤s15处，低分辨率图像处理部分33将存储于其中的低分辨率纹理流和低分辨率深度流传输至图1的家庭服务器13。
在步骤s16处，高分辨率图像处理部分34的设定部分56(图3)将3d模型坐标系的原点设定为第一层中共用的一个视点并且将包括构成中心位于第一层的视点的立方体的六个面的六个面设定为第一层的面。此外，设定部分56设定与第一层的面相对应的第二层的六个视点和六个面。设定部分56将第一层的一个视点的视点位置信息和六个面的面信息提供至第一层生成部分52和元数据生成部分57。此外，设定部分56将第二层的六个视点的视点位置信息和六个面的面信息提供至第二层生成部分54和元数据生成部分57。
在步骤s17处，将相机坐标系中全方位图像的视点设定为原点并且将由第一层的视点位置信息指示的原点设定为视点，第一层生成部分52由相机的拾取图像生成与第一层的面信息相对应的面的纹理图像。此外，与纹理图像类似地，第一层生成部分52由相机的深度图像生成与第一层的面信息相对应的面的深度图像。
在步骤s18处，将相机坐标系中全方位图像的视点设定为原点并且将由第二层的视点位置信息指示的三维位置设定为视点，对于与第二层的面信息相对应的面中的每一个，第二层生成部分54由相机的拾取图像生成纹理图像。此外，与纹理图像类似地，对于与第二层的面信息相对应的面中的每一个，第二层生成部分54由相机的深度图像生成第二层的深度图像。
在步骤s19处，编码器53针对每个面且针对每种图像对从第一层生成部分52提供的第一层的面的纹理图像和深度图像进行压缩编码，并且将所得图像存储至存储装置58以便被存储。
在步骤s20处，编码器55针对每个面且针对每种图像对从第二层生成部分54提供的第二层的面的纹理图像和深度图像进行压缩编码，并且将所得图像存储至存储装置58以便被存储。
在步骤s21处，元数据生成部分57生成包括从设定部分56提供的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表格作为元数据并且将元数据提供并存储到存储装置58中。
在步骤s22处，重建部分59决定是否必须重建第一层的纹理图像和深度图像。例如，在从用户发出了改变第一层的面的数量、视角、之间的距离、位置或倾斜度的指令的情况下，重建部分59决定必须重建第一层的纹理图像和深度图像。
在步骤s22处决定必须重建第一层的纹理图像和深度图像的情况下，处理前进至步骤s23。在步骤s23处，重建部分59设定重建后第一层的面以及与重建后第一层的面相对应的第二层的视点和面。
在步骤s24处，重建部分59生成包括重建后的第一层的视点位置信息和面信息以及第二层的视点位置信息和面信息的表格作为元数据并且将元数据提供至存储装置58。
在步骤s25处，重建部分59将存储在存储装置58中的面的第一层纹理流重建为在步骤s23处设定的重建后的第一层的面的纹理流并且将所得的纹理流提供至存储装置58以便被存储。此外，重建部分59将存储在存储装置58中的第一层深度流重建为在步骤s23处设定的重建后的第一层的面的第一层深度流并且将所得的深度流提供至存储装置58以便被存储。
此外，重建部分59将存储在存储装置58中的面的第二层纹理流重建为在步骤s23处设定的重建后的第二层的视点和面的第二层纹理流并且将所得的纹理流提供至存储装置58以便被存储。重建部分59将存储在存储装置58中的第二层深度流重建为在步骤s23处设定的重建后的第二层的视点和面的第二层深度流并且将所得的深度流提供至存储装置58以便被存储。接着，处理前进至步骤s26。
另一方面，在步骤s22处决定不必须重建第一层的纹理图像和深度图像的情况下，处理前进至步骤s26。
在步骤s26处，传输部分60从存储装置58中读取重建之前的六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将读取的流和元数据传输至家庭服务器13。
内容服务器12以如上所述的这种方式生成第一层的视点处的遮挡区域中的纹理图像和深度图像，分别作为第二层的纹理图像和深度图像。因此，在观察位置不同于视点o的情况下，家庭服务器13可通过使用第二层的纹理图像和深度图像生成被包括在显示图像中的视点o的遮挡区域。因此，家庭服务器13可生成高画面质量的显示图像。
此外，内容服务器12将第二层的视点设定为不同于第一层的视点o的三维位置。因此，在第二层中，可以表示在其延伸至视点o的方向上延伸至视点o的成像对象的长度。
此外，内容服务器12将深度图像的每个像素的y值设定为通过倒数1/r的8比特量化获得的值。因此，内容服务器12不需要在重建时重新进行深度图像的8比特量化。
(家庭服务器的配置实例)
图19为描绘图1的家庭服务器13的配置实例的框图。
图19的家庭服务器13由相机13a、接收部分231、存储装置232、另一个接收部分233、视线检测部分234、ml3d模型生成部分235、另一个ml3d模型生成部分236、又一个ml3d模型生成部分237、3d模型生成部分238以及绘制部分239构成。
家庭服务器13的接收部分231接收从内容服务器12传输到其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将它们提供至存储装置232。
存储装置232存储从接收部分231提供的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。
接收部分233接收来自头戴式显示器15的图1的陀螺仪传感器15b的检测结果并且将检测结果提供至视线检测部分234。
视线检测部分234基于从接收部分233提供的陀螺仪传感器15b的检测结果确定3d模型坐标系中观察者的视线方向。此外，视线检测部分234从相机13a中获取标记物15a的拾取图像并且基于拾取图像检测3d模型坐标系中的观察位置。
视线检测部分234从来自存储装置232的元数据内读取第一层的表格。视线检测部分234基于3d模型坐标系中的观察位置和视线方向以及第一层的表格将六个面中与从观察位置在视线方向上延伸的视线最接近的视线向量相对应的三个面确定为选择面。具体地讲，视线检测部分234选择包括+x面81和-x面82中的一个的面、包括+y面83和-y面84中的一个的面、以及包括+z面85和-z面86中的一个的面作为选择面。
由于以如上所述的这种方式确定选择面，因此通过下文所述的绘制部分239使用与选择面相对应的第一层和第二层的纹理图像和深度图像所生成的显示图像中高分辨率区域的比率是最高的。此外，由于确定了三个选择面，与选择一个选择面的替代情况相比，在视线指向立方体80的顶点附近的情况下显示图像中高分辨率区域的比率可以增大。
视线检测部分234从存储装置232中读取与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流。视线检测部分234将每个面的所读取的第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流提供至ml3d模型生成部分235至237。此外，视线检测部分234从存储装置232中读取低分辨率纹理流和低分辨率深度流并且将它们提供至3d模型生成部分238。
此外，视线检测部分234基于3d模型坐标系中的观察位置和视线方向确定在3d模型坐标系中观察者的观察范围。视线检测部分234将观察者的观察范围和观察位置提供至绘制部分239。视线检测部分234将三个选择面以及与三个选择面相对应的第二层的三个面的视点位置信息和面信息提供至绘制部分239。
ml3d模型生成部分235至237各自使用第一层纹理流和第一层深度流生成包括与第一层的纹理图像的像素相对应的采样点的在纹理图像坐标系中的三维位置(u,v,z)和连接信息以及作为颜色信息的rgb值的三维数据。应当指出，每个采样点的连接信息是代表采样点(顶点)和不同采样点之间的连接的信息。纹理图像坐标系是具有由横向方向给出的u轴、由竖直方向给出的v轴以及处于纹理图像的深度方向上的z轴的坐标系。
此外，ml3d模型生成部分235至237使用从视线检测部分234提供的第二层纹理流和第二层深度流生成与第二层的纹理图像的每个像素相对应的采样点的三维数据。ml3d模型生成部分235至237将第一层和第二层的三维数据提供至绘制部分239。
3d模型生成部分238将从视线检测部分234提供的低分辨率纹理流和低分辨率深度流解码，以生成低分辨率纹理图像和低分辨率深度图像。3d模型生成部分238将作为低分辨率纹理图像的每个像素的像素值的ycbcr值转换为rgb值，以获得与每个像素相对应的采样点的rgb值。此外，3d模型生成部分238执行低分辨率深度图像的每个像素的像素值的8比特反量化并且获得倒数1/r。接着，3d模型生成部分238基于低分辨率深度图像的像素的此类倒数1/r计算每个像素的三维位置(u,v,z)，作为与像素相对应的采样点的三维位置(u,v,z)。
此外，3d模型生成部分238基于采样点的三维位置(u,v,z)生成采样点的连接信息，以使每三个相邻的采样点彼此连接。3d模型生成部分238将采样点的三维位置(u,v,z)、连接信息以及rgb值作为低分辨率纹理图像的三维数据提供至绘制部分239。
绘制部分239基于从3d模型生成部分238提供的低分辨率纹理图像的三维数据在3d模型坐标系中执行低分辨率纹理图像的三角形小块绘制(点云绘制)。之后，绘制部分239基于从ml3d模型生成部分235至237提供的第一层和第二层的三维数据以及从视线检测部分234提供的视点位置信息和面信息在3d模型坐标系中执行第一层和第二层的纹理图像的三角形小块绘制。
具体地讲，低分辨率纹理图像的视点为3d模型坐标系的原点，并且作为3d模型的正八面体的每个面的位置和尺寸提前确定。因此，绘制部分239可计算与正八面体的面相对应的相机的内部参数和外部参数。因此，绘制部分239可使用内部参数和外部参数由低分辨率纹理图像的采样点的三维位置(u,v,z)识别每个采样点在屏幕上的位置(u,v)和在3d模型坐标系中的三维位置(x,y,z)。因此，可使用低分辨率纹理图像的采样点的在屏幕上的位置(u,v)和三维位置(x,y,z)、连接信息以及rgb值执行三角形小块绘制。
此外，绘制部分239可基于第一层和第二层的视点位置信息和面信息计算与第一层和第二层的面相对应的相机的内部参数和外部参数。因此，绘制部分239可使用内部参数和外部参数由第一层和第二层的采样点的三维位置(u,v,z)识别采样点在屏幕上的位置(u,v)和三维位置(x,y,z)。因此，绘制部分239可使用第一层和第二层的采样点的在屏幕上的位置(u,v)和三维位置(x,y,z)、连接信息以及rgb值执行三角形小块绘制。
绘制部分239(图像生成部分)通过在从视线检测部分234提供的作为观察位置给出的视点开始的观察范围内将绘制在3d模型坐标系中的三角形小块透视投影(映射)来生成显示图像。绘制部分239将显示图像传输至图1的转换设备14。
(ml3d模型生成部分的配置实例)
图20为描绘图19的ml3d模型生成部分的配置实例的框图。
图20的ml3d模型生成部分235由解码器251、rgb转换部分252、另一个解码器253、深度转换部分254、间断检测部分255、3d模型生成部分256、又一个解码器257、另一个rgb转换部分258、又一个解码器259、另一个深度转换部分260、遮挡处理部分261以及3d模型生成部分262构成。
ml3d模型生成部分235的解码器251将从图19的视线检测部分234提供的第一层纹理流解码以生成第一层的纹理图像。解码器251将第一层的纹理图像提供至rgb转换部分252。
rgb转换部分252将作为第一层的纹理图像的像素的像素值的ycbcr值转换为rgb值，以获得与像素相对应的采样点的rgb值。接着，rgb转换部分252将采样点的rgb值提供至3d模型生成部分256。
解码器253将从视线检测部分234提供的第一层深度流解码以生成第一层的深度图像。解码器253将第一层的深度图像提供至深度转换部分254。
深度转换部分254针对从解码器253提供的第一层的深度图像的像素的像素值执行8比特反量化以获得倒数1/r。接着，深度转换部分254基于第一层的深度图像的像素的倒数1/r计算像素的三维位置(u,v,z)，作为与像素相对应的采样点的三维位置(u,v,z)。深度转换部分254将采样点的三维位置(u,v,z)提供至间断检测部分255和3d模型生成部分256。
间断检测部分255基于从深度转换部分254提供的采样点的三维位置(u,v,z)检测间断像素，其为与采样点相对应的像素，在其中的每一个处，与相邻采样点的z坐标的差等于或大于第一层的深度图像的像素间的阈值。间断检测部分255将与间断像素相对应的采样点的三维位置(u,v,z)提供至3d模型生成部分256。
3d模型生成部分256(连接信息生成部分)基于从深度转换部分254提供的采样点的三维位置(u,v,z)生成采样点的连接信息，以使采样点中每三个相邻的采样点彼此连接。具体地讲，3d模型生成部分256针对每个采样点生成代表包括采样点作为顶点的三角形小块的三个顶点之间的连接的连接信息。接着，3d模型生成部分256基于从间断检测部分255提供的与间断像素相对应的采样点的三维位置(u,v,z)从采样点的所生成的连接信息内删除代表与间断像素相对应的采样点的连接的连接信息。
3d模型生成部分256生成第一层的采样点的删除之后的三维位置(u,v,z)、rgb值以及连接信息作为第一层的三维数据并且将三维数据提供至图19的绘制部分239。
解码器257、rgb转换部分258、解码器259以及深度转换部分260的处理类似于解码器251、rgb转换部分252、解码器253以及深度转换部分254的处理，只是处理目标的层从第一层变成第二层，因此省略其描述。
遮挡处理部分261基于从深度转换部分260提供的采样点的三维位置(u,v,z)从第二层的深度图像的像素中检测间断像素。遮挡处理部分261基于第二层的采样点的三维位置(u,v,z)执行遮挡过程以用于校正与间断像素相对应的采样点的三维位置(u,v,z)。
具体地讲，遮挡处理部分261将与间断像素相对应的每个采样点的二维位置(u,v)校正为在近侧与该采样点相邻的采样点的二维位置(u,v)。遮挡处理部分261将第二层的采样点的遮挡过程之后的三维位置(u,v,z)提供至3d模型生成部分262。
3d模型生成部分262基于从遮挡处理部分261提供的采样点的三维位置(u,v,z)针对每个采样点生成代表与该采样点相邻的两个采样点的连接的连接信息。3d模型生成部分262生成采样点的三维位置(u,v,z)和连接信息以及从rgb转换部分258提供的rgb值作为第二层的三维数据。3d模型生成部分262将第二层的三维数据提供至图19的绘制部分239。
应当指出，虽然未描绘，但是ml3d模型生成部分236和ml3d模型生成部分237与图20的ml3d模型生成部分235类似地配置。
(连接信息的删除和遮挡过程的效果的描述)
图21为示出在第一层的连接信息中代表与间断像素相对应的采样点的连接的连接信息未被删除的情况下的连接信息的视图，并且图22为示出在这种连接信息被删除的情况下的连接信息的视图。
参考图21和22，向左和向右方向代表纹理图像的横向方向并且向上和向下方向代表纹理图像的深度方向。图21和22中的向上方向是近侧，并且向下方向是深侧。此外，在图21和22中，实线代表第一层的采样点的三维位置(u,v,z)，并且虚线代表第二层的采样点的三维位置(u,v,z)。此外，在图21和22的实例中，图10的前景111和背景112为成像对象。
在第一层和第二层中的任一个中未执行遮挡过程的情况下，与间断像素相对应的采样点的三维位置处于第一层的前景111的拾取图像121和背景112的区域112a的拾取图像122a的边界上，如图21的a中所描绘。
此外，在代表与对应于第一层和第二层中的间断像素的采样点的连接的连接信息的情况下，与第一层和第二层的间断像素相对应的采样点连接至两个相邻的采样点，如图21的a中所描绘。
因此，生成顶点处于与第一层的间断像素相对应的采样点和两个相邻采样点的三角形小块，并且通过三角形小块填充有效区域中的拾取图像122c。因此，在要生成包括与从图中的右下部指向左上部的视线v相对应的所成像的遮挡区域112c的显示图像的情况下，不可使用其中设置了所成像的遮挡区域112c的拾取图像122c的第二层的有效区域。
另一方面，在代表与对应于间断像素的采样点的连接的连接信息未被删除但在第一层和第二层中执行了遮挡过程的情况下，如图21的b中所描绘，第一层和第二层中与间断像素相对应的采样点的二维位置被校正为在近侧与该采样点相邻的采样点的二维位置。
因此，在要生成与视线v相对应的显示图像的情况下，可使用第一层的区域112a的拾取图像122a作为所成像的遮挡区域112c的显示图像。因此，显示图像的画面质量得到改善。
然而，遮挡过程后与第一层的间断像素相对应的采样点连接至两个相邻采样点并且生成三角形小块。因此，与在图21的a的情况下类似地，在要生成与视线v相对应的显示图像的情况下，不可使用其中设置了所成像的遮挡区域112c的拾取图像122c的第二层的有效区域。
相比之下，3d模型生成部分256删除代表与第一层的间断像素的连接的连接信息，如图22中所描绘。因此，不生成顶点处于与第一层的间断像素相对应的采样点的三角形小块。因此，在要生成与视线v相对应的显示图像的情况下，可使用其中设置了所成像的遮挡区域112c的拾取图像122c的第二层的有效区域。由于在第二层中未执行连接信息的删除，第二层的三角形小块没有失败地存在于第一层的三角形小块不存在的区域中。
此外，遮挡处理部分261执行第二层的遮挡过程。因此，如图22所描绘，来自与第二层的有效区域和假想区域之间的边界上的间断像素相对应的采样点之间的深度侧上的采样点的二维位置连接至与深度侧上的采样点相邻的近侧上的采样点的二维位置。因此，在第二层中，遮挡区域减小。因此，在要生成与视线v相对应的显示图像时使用的第二层的画面质量得到改善，并且因此显示图像的画面质量得到改善。
(第一层的面的视角的效果的描述)
图23和24分别为示出在第一层的每个面的视角为90度和100度的情况下的采样点的视图。
在图23和24的实例中，为便于描述，假设在第一层的每个面的视角为90度和100度的情况下，第一层的纹理图像和深度图像的分辨率分别为4×4像素和6×6像素。
如图23的b中所描绘，在第一层的每个面的视角为90度的情况下，第一层的六个面为构成立方体80的六个面81至86。
然而，如图23的a中所描绘，第一层的-z面86的纹理图像280上的采样点291的位置(u,v)，即在3d模型坐标系中从视点o指向采样点291的线与-z面86交叉的位置为每个像素281的中心。同样其他面81至85的采样点的位置(u,v)与在-z面86中类似地为像素的中心。
因此，在通过各自由图23的b中的黑色圆形标记指示的采样点中的每三个彼此相邻的采样点的连接构成的所有三角形小块的面81至86上，区域283在u方向和v方向上的尺寸与面81至86相比小一半像素的尺寸。因此，不生成与面81至86的边界相对应的三角形小块，并且因此，以高画面质量生成经过面81至86之间的边界的视线的显示图像变得困难。
相比之下，在第一层的每个面的视角为100度的情况下，包括-z面86的第一层的面的纹理图像310的尺寸变成比图23的纹理图像280的尺寸大6×6像素，如图24的a中所描绘。同样，包括其他面81至85的第一层的每个面的纹理图像的尺寸类似地变成6×6像素。
因此，如图24的b中所描绘，在通过各自由图中的黑色圆形标记指示的采样点中的每三个相邻采样点的连接构成的所有三角形小块的-z面86上，区域311在u方向和v方向上的尺寸与-z面86相比大一半像素的尺寸。虽然未描绘，类似于区域311，包括其他面81至85的第一层的每个面的三角形小块的区域在u方向和v方向上的尺寸与面81至85的那些相比也大一半像素的尺寸。因此，生成与面81至86中的每一个的边界相对应的三角形小块，并且因此，可以高画面质量生成包括经过面81至86中的每一个的边界的视线的任意视线的显示图像。
尽管参考图23和24描述了在第一层的每个面的视角为100度的情况下的效果，如果第一层的每个面的视角大于90度，那么即使在视角不为100度的情况下也产生类似效果。
(第二层的面的视角的效果的描述)
图25为示出在第二层的每个面的视角为90度和100度的情况下的遮挡过程的视图。
参考图25，横坐标轴代表u轴并且纵坐标轴代表z轴。此外，圆形标记代表采样点。此外，在图25的实例中，该位置在深度方向上的z坐标朝向深侧增加。
在第二层的每个面的视角为90度的情况下，采样点仅映射至第二层的面中的一个。因此，如图25的a中所描绘，与映射至处理目标的面在u方向上的端部的采样点331相邻的采样点332不映射至处理目标的面，并且在处理目标的面的遮挡过程时，采样点332在z轴上的位置是未知的。
因此，即使在采样点331和采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331相对应的像素也不被检测为间断像素。类似地，同样，在采样点332所映射的面为处理目标的面的情况下，与采样点332相对应的像素也不被检测为间断像素。因此，对于采样点331和采样点332不可执行遮挡过程。换句话讲，为了执行采样点331和采样点332的遮挡过程，除了处理目标的面的深度图像之外，还必须使用与处理目标的面相邻的面的深度图像。
相比之下，在第二层的每个面的视角为100度的情况下，在每个面的端部，映射至除与该面相邻的面的端部之外的区域的采样点被映射处于重叠关系，作为界限。例如，在采样点331所映射的处理目标的面的端部，映射了映射在除与处理目标的面相邻的面的端部之外的区域中的采样点332。
因此，在采样点331和采样点332的z坐标之间的差等于或大于阈值的情况下，与采样点331和采样点332相对应的像素被检测为间断像素。因此，可对采样点331和采样点332执行遮挡过程，如图25的b中所描绘。因此，与间断像素相对应的采样点332的u坐标被校正为在采样点332附近且处于比采样点332更近侧的采样点333(其具有更小的z坐标)的u坐标。
应当指出，在图25的实例中，由于被映射至除处理目标的面的端部之外的区域的采样点334和采样点335之间的z坐标的差等于或大于阈值，与采样点334和采样点335相对应的像素也被检测为间断像素。因此，如图25的b中所描绘，采样点334的u坐标连接至在采样点334附近且处于比其更近侧的采样点336的u坐标。
此外，具有最大u坐标的处理目标的面的端部处的采样点337映射至除与处理目标的面相邻的面的端部之外的区域。因此，在该面被设定为处理目标的面的情况下，决定与采样点337相对应的像素是否为间断像素，并且当决定该像素为间断像素时，可执行针对采样点337的遮挡过程。
如上所述，在第二层的每个面的视角为100度的情况下，可以仅使用每个面的采样点执行同样针对映射至除每个面的端部之外的区域的端部的采样点331的遮挡过程。因此，第二层的遮挡区域减小，并且显示图像的画面质量可得到改善。
虽然参考图25描述了在第二层的每个面的视角为100度的情况下的效果，如果第二层的每个面的视角大于90度，那么即使视角不是100度，也产生类似效果。
应当指出，ml3d模型生成部分235至237可执行图像处理，诸如针对作为解码的结果获得的纹理图像或深度图像的使用外围像素等的过滤过程。在这种情况下，由于第一层和第二层的每个面的视角大于90度，同样在除每个面的端部之外的区域的端部处，类似于遮挡过程，可以执行图像处理的效果。
(家庭服务器的处理的描述)
图26为示出图19的家庭服务器13的再现过程的流程图。当例如从内容服务器12到家庭服务器13传输低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据时，该再现过程开始。
在图26的步骤s41处，家庭服务器13的接收部分231接收从内容服务器12传输的低分辨率纹理流和低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据并且将它们提供至存储装置232。
在步骤s42处，存储装置232存储低分辨率纹理流和低分辨率深度流、以及六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流以及元数据。
在步骤s43处，接收部分233接收来自头戴式显示器15的图1的陀螺仪传感器15b的检测结果并且将其提供至视线检测部分234。
在步骤s44处，视线检测部分234基于从接收部分233提供的陀螺仪传感器15b的检测结果确定3d模型坐标系中观察者的视线方向。在步骤s45处，相机13a对施加至头戴式显示器15的标记物15a成像并且将作为成像的结果获得的拾取图像提供至视线检测部分234。
在步骤s46处，视线检测部分234基于从相机13a提供的标记物15a的拾取图像检测在3d模型坐标系中的观察位置并且将观察位置提供至绘制部分239。
在步骤s47处，视线检测部分234基于存储在存储装置232中的元数据内的第一层的表格以及在3d坐标系中的观察位置和视线方向从六个面中确定与最接近视线的视线向量相对应的三个面作为选择面。
在步骤s48处，视线检测部分234基于3d模型坐标系中的观察位置和视线方向确定在3d模型坐标系中观察者的观察范围，并且将观察范围提供至绘制部分239。
在步骤s49处，视线检测部分234从存储装置232中读取低分辨率纹理流和低分辨率深度流并且将它们提供至3d模型生成部分238。此外，视线检测部分234从存储装置232中读取与三个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流。视线检测部分234将每个面的所读取的第一层纹理流、第一层深度流、第二层纹理流以及第二层深度流提供至ml3d模型生成部分235至237。此外，视线检测部分234从存储装置232中读取与三个选择面相对应的视点位置信息和面信息并且将它们提供至绘制部分239。
在步骤s50处，ml3d模型生成部分235至237针对每个面执行用于生成第一层和第二层的采样点的三维数据的三维数据生成过程。下文参考图27描述三维数据生成过程的细节。
在步骤s51处，3d模型生成部分238由从视线检测部分234提供的低分辨率纹理流和低分辨率深度流生成低分辨率纹理图像的采样点的三维数据并且将三维数据提供至绘制部分239。
在步骤s52处，绘制部分239基于从3d模型生成部分238提供的低分辨率纹理图像的三维数据在3d模型坐标系中执行低分辨率纹理图像的三角形小块绘制。之后，绘制部分239基于从ml3d模型生成部分235至237提供的第一层和第二层的三维数据以及从视线检测部分234提供的视点位置信息和面信息在3d模型坐标系中执行第一层和第二层的纹理图像的三角形小块绘制。
在步骤s53处，绘制部分239通过将在3d模型坐标系中绘制的三角形小块透视投影至相对于作为从视线检测部分234提供的观察位置给出的视点的观察范围来生成显示图像。在步骤s54处，绘制部分239将显示图像传输至图1的转换设备14。
图27为示出在图26的步骤s50处通过ml3d模型生成部分235执行的三维数据生成过程的细节的流程图。
在图27的步骤s71处，ml3d模型生成部分235的解码器251(图20)将从图19的视线检测部分234提供的第一层纹理流解码以生成第一层的纹理图像。解码器251将第一层的纹理图像提供至rgb转换部分252。
在步骤s72处，rgb转换部分252将作为第一层的纹理图像的像素的像素值的ycbcr值转换为rgb值，并且将它们确定为与像素相对应的采样点的rgb值。接着，rgb转换部分252将采样点的rgb值提供至3d模型生成部分256。
在步骤s73处，解码器253将从视线检测部分234提供的第一层深度流解码以生成第一层的深度图像。解码器253将第一层的深度图像提供至深度转换部分254。
在步骤s74处，深度转换部分254针对从解码器253提供的第一层的深度图像的每个像素的像素值执行8比特反量化并且获得第一层的深度图像的每个像素的倒数1/r。
在步骤s75处，深度转换部分254基于第一层的深度图像的每个像素的倒数1/r计算第一层的深度图像的每个像素的三维位置(u,v,z)，作为与该像素相对应的采样点的三维位置(u,v,z)。深度转换部分254将采样点的三维位置(u,v,z)提供至间断检测部分255和3d模型生成部分256。
在步骤s76处，间断检测部分255基于从深度转换部分254提供的采样点的三维位置(u,v,z)从第一层的深度图像的像素中检测间断像素。间断检测部分255将与间断像素相对应的采样点的三维位置(u,v,z)提供至3d模型生成部分256。
在步骤s77处，3d模型生成部分256基于从深度转换部分254提供的采样点的三维位置(u,v,z)生成第一层的采样点的连接信息，以使采样点中每三个相邻的采样点彼此连接。
在步骤s78处，3d模型生成部分256基于从间断检测部分255提供的与间断像素相对应的采样点的三维位置(u,v,z)从在步骤s77处生成的采样点的连接信息内删除代表与间断像素相对应的采样点的连接的连接信息。
在步骤s79处，3d模型生成部分256生成通过步骤s78处的过程进行删除之后的第一层的采样点的三维位置(u,v,z)、rgb值以及连接信息，作为第一层的三维数据。3d模型生成部分262将第一层的三维数据提供至图19的绘制部分239。
在步骤s80处，解码器257将从视线检测部分234提供的第二层纹理流解码以生成第二层的纹理图像。解码器257将第二层的纹理图像提供至rgb转换部分258。
在步骤s81处，rgb转换部分258将作为第二层的纹理图像的像素的像素值的ycbcr值转换为rgb值，并且将它们确定为与像素相对应的采样点的rgb值。接着，rgb转换部分258将采样点的rgb值提供至3d模型生成部分262。
在步骤s82处，解码器259将从视线检测部分234提供的第二层深度流解码以生成第二层的深度图像。解码器259将第二层的深度图像提供至深度转换部分260。
在步骤s83处，深度转换部分260针对从解码器259提供的第二层的深度图像的像素的像素值执行8比特反量化并且获得第二层的深度图像的像素的倒数1/r。
在步骤s84处，深度转换部分260基于第二层的深度图像的像素的倒数1/r计算第二层的深度图像的像素的三维位置(u,v,z)，作为与像素相对应的采样点的三维位置(u,v,z)。深度转换部分260将采样点的三维位置(u,v,z)提供至遮挡处理部分261和3d模型生成部分262。
在步骤s85处，遮挡处理部分261基于从深度转换部分260提供的采样点的三维位置(u,v,z)在第二层的深度图像的像素中检测间断像素。
在步骤s86处，遮挡处理部分261基于第二层的采样点的三维位置(u,v,z)执行遮挡过程以用于校正与间断像素相对应的采样点的三维位置(u,v,z)。遮挡处理部分261将第二层的采样点的遮挡过程之后的三维位置(u,v,z)提供至3d模型生成部分262。
在步骤s87处，3d模型生成部分262基于从遮挡处理部分261提供的采样点的三维位置(u,v,z)生成第二层的采样点的连接信息，以使采样点中每三个相邻的采样点彼此连接。
在步骤s88处，3d模型生成部分262生成采样点的三维位置(u,v,z)和连接信息以及从rgb转换部分258提供的rgb值作为第二层的三维数据。3d模型生成部分262将第二层的三维数据提供至图19的绘制部分239。
应当指出，通过ml3d模型生成部分236和ml3d模型生成部分237执行的三维数据生成过程与图27的三维数据过程类似地执行。
家庭服务器13使用如上所述的第一层和第二层生成显示图像。因此，在观察位置不同于视点o的情况下，可使用第二层生成被包括在显示图像中的视点o的遮挡区域。因此，可生成高画面质量的显示图像。
此外，家庭服务器13不仅使用纹理图像而且还使用深度图像生成显示图像。因此，通过三角形小块绘制，可以根据成像对象将纹理图像映射至三维形状的三角形小块并且使用三角形小块生成显示图像。因此，与仅使用纹理图像通过将纹理图像映射至预定面来生成显示图像的替代情况相比，可以生成更高画面质量的显示图像。
此外，第一层的纹理图像和深度图像分别是通过映射全方位图像的纹理图像和深度图像获得的纹理图像和深度图像。因此，仅再现通过将全方位图像的纹理图像和深度图像映射至预定面获得的纹理图像和深度图像的再现设备可再现第一层的纹理图像和深度图像。
具体地讲，通过内容服务器12生成的第一层和第二层的纹理图像和深度图像的格式与通过映射全方位图像的纹理图像和深度图像获得的纹理图像和深度图像的格式具有兼容性。此外，通过家庭服务器13进行的再现方法与仅再现通过将全方位图像的纹理图像和深度图像映射至预定面获得的纹理图像和深度图像的再现设备的再现方法具有兼容性。
应当指出，家庭服务器13可仅使用第一层的纹理图像和深度图像生成显示图像。在这种情况下，对于第一层，执行遮挡过程，代替连接信息的删除。
此外，虽然在以上描述中3d模型生成部分256删除代表与由间断检测部分255检测到间断像素相对应的采样点的连接的连接信息，但是还可以基于从内容服务器12传输的三角形小块有效性信息(细节在下文描述)以另外的方式删除连接信息。在这种情况下，不提供间断检测部分255。
(三角形小块有效性信息的描述)
图28为示出在刚才所述的这种情况下从内容服务器12传输的三角形小块有效性信息的视图。
在图28的实例中，第一层的采样点351的数量为12。因此，各自具有处于三个相邻采样点351处的顶点的三角形小块352的数量为12。
在这种情况下，内容服务器12与间断检测部分255类似地检测间断像素。接着，内容服务器12将顶点处于与每个间断像素相对应的采样点的三角形小块352设定为无效的(关)并且将不包括与任何间断像素相对应的采样点的每个三角形小块352设定为有效的(开)。
内容服务器12(生成部分)生成指示每个三角形小块352是有效还是无效的三角形小块有效性信息并且将三角形小块有效性信息放置到元数据中。
家庭服务器13的3d模型生成部分256基于三角形小块有效性信息删除代表构成每个无效三角形小块的顶点的采样点之间的连接的连接信息。因此，不绘制三角形小块有效性信息指示无效的任何三角形小块。
应当指出，对于除了右端和下端的采样点之外的每个采样点，通过两个生成三角形小块。此外，三角形小块有效性信息是指示三角形小块是有效还是无效的1比特的信息。因此，如果第一层的纹理图像在水平方向上的像素数量通过宽度表示并且在竖直方向上的像素数量通过高度表示，那么所有三角形小块的三角形小块有效性信息的比特数为(宽度-1)*(高度-1)*2比特。
三角形小块有效性信息以无损压缩状态或非压缩状态从内容服务器12传输至家庭服务器13。应当指出，三角形小块有效性信息可设置为深度图像的cb和cr值。
<2.第二实施例>
现在，描述图像显示系统的第二实施例。
应当指出，在第二实施例的描述中，与上述第一实施例的那些重复的元件的描述被适宜地省略并且仅描述不同元件。
在第一实施例中，内容服务器12生成通过压缩编码为第一层的纹理信息的纹理图像获得的第一层纹理流和通过压缩编码为第一层的深度信息的深度图像获得的第一层深度流并且将它们提供至家庭服务器13。
此外，内容服务器12生成通过压缩编码为第二层的纹理信息的纹理图像获得的第二层纹理流和通过压缩编码为第二层的深度信息的深度图像获得的第二层深度流并且将它们提供至家庭服务器13。
因此，尽管内容服务器12传输每个层的纹理信息和深度信息，但是有时希望传输除了层的纹理信息和深度信息之外的另外的辅助信息。因此，下文所述的第二实施例针对可以添加和传输辅助信息且与层的纹理信息和深度信息一起传输的配置。
尽管之后描述辅助信息的细节，但是辅助信息是这样的附属信息：尽管不利用该信息可以生成显示图像，但是利用该信息，待使用纹理信息和深度信息生成的显示图像被制备成更高画面质量的图像或显示图像被制备得具有高功能性。
例如，在第一层的纹理图像通过使用yuv格式的各自具有8比特的y分量、cb分量和cr分量表示时，内容服务器12生成作为辅助信息各自被添加至cb分量和cr分量的2比特的颜色的高频分量。这使得家庭服务器13端可以生成hdr(高动态范围)图像，其中颜色信息通过10比特表示。
此外，尽管第二层的纹理图像被分成有效区域、不必要区域以及假想区域，如上文参考图11所描述，但是内容服务器12生成并传输用于标识所述区域的信息作为辅助信息。因此，关于第二层的纹理图像，家庭服务器13可以控制使得只有有效区域中的像素用于绘制。
前提是辅助信息是与添加目标的纹理信息相同的视点处的信息。此外，对于每个层的纹理信息和深度信息，不一定存在辅助信息，而且还存在不添加辅助信息的纹理信息和深度信息。
应当指出，虽然上述第一实施例针对第一层和第二层的两个层的层级结构，但是由于三个或更多个层的层级结构也是可能的，因此利用泛化为n个层的层数给出以下描述。在第二实施例的描述和附图中，层有时被描述为层级结构，以使第一层、第二层...被描述为第一层级结构、第二层级结构...。
(辅助信息的添加形式)
首先，参考图29至31描述辅助信息的添加形式。
图29描绘辅助信息的第一添加形式。
辅助信息的第一添加形式是以这种形式添加到每个层级结构的纹理信息和深度信息中：辅助信息被放置在与添加目标的纹理信息和深度信息相同的层级结构中。
待放置的辅助信息的条数对于每个层级结构可以是不同的。此外，辅助信息的分辨率可不同于纹理信息的分辨率。
在图29的实例中，两条不同的辅助信息(例如，辅助信息a和辅助信息b)放置在第一层中并且一条辅助信息放置在第二层中，而没有辅助信息放置在第三层中。放置在第一层中的两条辅助信息中的一条具有与纹理信息相同的分辨率，并且另一条辅助信息的分辨率低于纹理信息的分辨率。
图30描绘辅助信息的第二添加形式。
辅助信息的第二添加形式是其中辅助信息被放置在与放置添加目标的纹理信息和深度信息的层级结构不同的层级结构中的形式。在仅放置辅助信息的层级结构中，由参考层数(参考层信息)限定，辅助信息对应于所述层级结构的纹理信息和深度信息。
在图30的a的实例中，由参考层数限定的是放置在第三层中的辅助信息是与第一层的纹理信息和深度信息相对应的辅助信息并且放置在第四层中的辅助信息是与第二层的纹理信息和深度信息相对应的辅助信息。
在图30的a的实例中，虽然封装在第一层和第二层中的信息的条数是包括纹理信息和深度信息的两条，但是封装在第三层和第四层中的信息的条数仅为包括辅助信息的一条，并且数据的数量和大小在层之间是不同的。
因此，如图30的b中所描绘，通过将为添加目标的深度信息拷贝到第三层和第四层中，可以将与添加目标的相同的深度信息放置在同一层中，以使封装在每个层级结构中的信息的条数变成包括辅助信息和深度信息的两条，以使层级结构中数据的数量和大小统一。
图30的a的配置与图30的b的配置相比具有可减少冗余的深度信息的优点。另一方面，图30的b的配置与图30的a的配置相比具有层级结构的数据的数量和大小可以统一状态处理的优点。
图31描绘辅助信息的第三添加形式。
辅助信息的第三添加形式是可在深度信息以可通过解码器解码以用于通用使用的4:2:0格式传输的情况下利用的添加形式。
在深度信息以可通过解码器解码以用于通用使用的4:2:0格式传输的情况下，深度信息可仅使用y分量传输。因此，辅助信息的第三添加形式是其中辅助信息可放置在其余cbcr分量中的形式。因此，同样在这种情况下，与第一添加形式类似，辅助信息被放置在与相对应的纹理信息和深度信息相同的层中。这种添加形式是有效的，因为在辅助信息的分辨率低的情况下，可以减小传输带宽。
图31的a描绘了其中在第一层和第二层中的每一个中，深度信息放置在y分量中，而辅助信息放置在其余cbcr分量中且辅助信息不放置在第三层中的实例。第一层和第二层中的辅助信息条可具有相同的类型或不同的类型。
图31的b描绘了其中cbcr分量被分开成其中放置了不同种类的辅助信息的cb分量和cr分量的实例。
在第一层中，一种辅助信息放置在cbcr分量中。
在第二层中，cbcr分量被分开成cb分量和cr分量，并且不同种类的辅助信息放置在它们中。
在第三层中，cbcr分量被分开成cb分量和cr分量，并且辅助信息仅放置在cb分量中。
(头信息的定义)
为了使得可以任意地选择上述辅助信息的第一至第三添加形式，以使辅助信息可以与纹理信息和深度信息一起传输，内容服务器12定义了元素头信息、层级结构头信息以及传输头信息的各种头信息，如图32所描绘。
如果纹理信息、深度信息和辅助信息统称为元素信息，那么作为为最小单元的每条元素信息的头信息，添加元素头信息。元素头信息和元素信息组合构成元素传输信息。
作为其中放置了一条或多条元素传输信息的一个层级结构的头信息，添加层级结构头信息。层级结构头信息和放置在一个层级结构中的一条或多条元素传输信息组合构成层级结构传输信息。
作为n(n>1)条层级结构传输信息的头信息，添加传输头信息。此传输头信息和n条层级结构传输信息组合构成传输信息。
内容服务器12以传输信息单元将n个层级结构的纹理信息、深度信息和辅助信息传输至家庭服务器13。
(每种头信息的细节)
现在，描述将放置在多种头信息中的参数。
图33为示出放置在传输头信息中的参数的视图。
如图33的a中所描绘，在传输头信息中，放置了为代表包括在传输信息中的层级结构的数量的参数的maxlayernum。
例如，在传输信息具有图32所描绘的结构的情况下，maxlayernum为maxlayernum＝4，如图33的b中所描绘。
图34为示出放置在层级结构头信息中的参数的视图。
如图34的a中所描绘，在层级结构头信息中，放置了参数thislayerid、maxtexinfonum、maxdepinfonum和maxauxinfonum。thislayerid为指示层级结构传输信息属于什么编号的层级结构的层级结构索引。thislayerid使得可以证实信息属于哪个层级结构，即使不检查元素头信息中的参数(layerid)。
maxtexinfonum代表要在层级结构中传输的纹理信息的条数。maxdepinfonum代表要在层级结构中传输的深度信息的条数。maxauxinfonum代表要在层级结构中传输的辅助信息的条数。
图34的b描绘在传输信息具有图32中所描绘的结构的情况下层级结构的层级结构头信息的参数的值。
在图32的传输信息中，由于包括纹理信息和深度信息的两条元素信息放置在第一层中，因此层级结构头信息的参数的值为thislayerid＝0、maxtexinfonum＝1、maxdepinfonum＝1和maxauxinfonum＝0。
在图32的传输信息中，由于包括纹理信息和深度信息的两条元素信息放置在第二层中，因此层级结构头信息的参数的值为thislayerid＝1、maxtexinfonum＝1、maxdepinfonum＝1和maxauxinfonum＝0。
在图32的传输信息中，由于包括辅助信息和深度信息的两条元素信息放置在第三层中，因此层级结构头信息的参数的值为thislayerid＝2、maxtexinfonum＝0、maxdepinfonum＝1和maxauxinfonum＝0。
在图32的传输信息中，由于包括纹理信息和深度信息的两条元素信息放置在第三层中且此外辅助信息放置在深度信息中，因此层级结构头信息的参数的值为thislayerid＝3、maxtexinfonum＝1、maxdepinfonum＝1和maxauxinfonum＝1。
图35描绘示出将放置在元素头信息中的参数的预定传输信息的结构。
应当指出，在图35中，省略了已经描述的传输头信息和层级结构头信息。
元素头信息分成具有纹理信息、深度信息和辅助信息共同的参数的共同元素头信息、以及仅在元素信息为辅助信息的情况下添加的辅助头信息。作为辅助头信息，可获得相同层级结构辅助头信息、不同层级结构辅助头信息和yuv辅助头信息。
在元素信息仅为纹理信息或深度信息的情况下，只有共同元素头信息放置在元素信息的元素头信息中。
在元素信息为辅助信息且此外辅助信息放置在与添加目标的纹理信息和深度信息相同的层级结构中的情况下，共同元素头信息和相同层级结构辅助头信息放置在元素信息的元素头信息中。
在元素信息为辅助的且此外辅助信息放置在与添加目标的纹理信息和深度信息不同的层级结构中的情况下，共同元素头信息和不同层级结构辅助头信息放置在元素信息的元素头信息中。
在元素信息为深度信息和辅助信息的情况下，共同元素头信息和yuv辅助头信息放置在元素信息的元素头信息中。
图36为示出将放置在元素头信息中的参数的视图。
图36的a描绘了将放置在共同元素头信息中的参数。
在共同元素头信息中，放置了参数宽度、高度、layerid、infoid和infotype。
宽度代表元素信息在水平方向上的分辨率。高度代表元素信息在竖直方向上的分辨率。layerid为指示元素信息属于什么编号的层级结构的层级结构索引。infoid为指示元素信息是从层级结构顶部(图35中的左侧)开始层级结构中的什么编号的元素信息的索引。layerid和infoid具有如通过图35中的括号中的数字指示的从“0”开始的值。
infotype是指示元素信息是“tex”、“dep”、“samelayeraux”、“difflayeraux”和“depaux”中的哪种信息的标识。“tex”代表纹理信息；“dep”代表深度信息；“samelayeraux”代表与添加目标相同的层级结构的辅助信息；“difflayeraux”代表与添加目标不同的层级结构的辅助信息；并且“depaux”代表其中深度信息和辅助信息使用yuv格式混合的信息。
图36的b描绘了将放置在相同层级结构辅助头信息中的参数。
在相同层级结构辅助头信息中，放置了参数auxinfotype和auxinfoid。
auxinfotype是指示关于辅助信息是什么信息的辅助信息的信息种类的标识。auxinfoid是指示辅助信息是层级结构中的什么编号的辅助信息的索引。
图36的c描绘了将放置在不同层级结构辅助头信息中的参数。
在不同层级结构辅助头信息中，放置了参数auxinfotype、auxdeplayerid和auxinfoid。
auxinfotype是指示关于辅助信息是什么信息的辅助信息的信息种类的标识。auxdeplayerid是指示其中放置了与辅助信息相对应的深度信息的层级结构的层级结构索引，并且是上文所述的参考层信息。auxinfoid是指示辅助信息是层级结构中的什么编号的辅助信息的索引。
图36的d描绘了将放置在yuv辅助头信息中的参数。
在yuv辅助头信息中，放置了参数auxinfonum、auxinfotype、auxinfoid和depthauxtype。
auxinfonum代表包括在元素信息中的辅助信息的条数。auxinfotype代表指示关于辅助信息是什么信息的辅助信息的信息种类的标识。auxinfoid是指示辅助信息是层级结构中的什么编号的辅助信息的索引。depthauxtype指示其中放置了辅助信息的yuv格式的位置，并且在放置了cbcr分量的情况下为“cbcr”；在放置了cb分量的情况下为“cb”；并且在放置了cr分量的情况下为“cr”。
(头信息的设定实例)
现在，描述第一至第三添加形式的头信息的具体设定实例。
图37描绘了在辅助信息被放置在与放置添加目标的纹理信息和深度信息的层级结构不同的层级结构中的情况下的第一设定实例。
例如，在八条元素信息i0至i7在四个层级结构中传输的情况下，如图37的a中所描绘，八条元素信息i0至i7的元素头信息以如图37的b中所描绘的这种方式定义。
由于元素信息i0为纹理信息，因此在元素信息i0中仅定义共同元素头信息。元素信息i0在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i0是第一层级结构的第一元素信息，因此放置了layerid＝0和infoid＝0。在infotype中，“tex”代表放置了纹理信息。
由于元素信息i1为深度信息，因此在元素信息i1中仅定义共同元素头信息。元素信息i1在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i1是第一层级结构的第二元素信息，因此放置了layerid＝0和infoid＝1。在infotype中，“dep”代表放置了深度信息。
由于元素信息i2为纹理信息，因此在元素信息i2中仅定义共同元素头信息。元素信息i2在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i2是第二层级结构的第一元素信息，因此放置了layerid＝1和infoid＝0。在infotype中，“tex”代表放置了纹理信息。
由于元素信息i3为深度信息，因此在元素信息i3中仅定义共同元素头信息。元素信息i3在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i3是第二层级结构的第二元素信息，因此放置了layerid＝1和infoid＝1。在infotype中，“dep”代表放置了深度信息。
由于元素信息i4为辅助信息，因此在元素信息i4中定义了共同元素头信息和不同层级结构辅助头信息。
作为共同元素头信息，由于元素信息i4在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i4为第三层级结构的第一元素信息，因此放置了layerid＝2和infoid＝0，并且在infotype中，“difflayeraux”代表与放置添加目标的层级结构不同的层级结构的辅助信息。
作为不同层级结构辅助头信息，由于“a”放置在指示辅助信息的信息种类的auxinfotype中并且与辅助信息相对应的深度信息为元素信息i1，因此放置了auxdeplayerid＝0，并且由于元素信息i4为第三层级结构中的第一辅助信息，因此放置了auxinfoid＝0。
由于元素信息i5为深度信息，因此在元素信息i5中仅定义共同元素头信息。元素信息i5在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i5是第三层级结构的第二元素信息，因此放置了layerid＝2和infoid＝1。在infotype中，“dep”代表放置了深度信息。
由于元素信息i6为辅助信息，因此在元素信息i6中定义了共同元素头信息和不同层级结构辅助头信息。
作为共同元素头信息，由于元素信息i6在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i6为第四层级结构的第一元素信息，因此放置了layerid＝3和infoid＝0，并且在infotype中，“difflayeraux”代表与放置添加目标的层级结构不同的层级结构的辅助信息。
作为不同层级结构辅助头信息，由于“a”放置在指示辅助信息的信息种类的auxinfotype中并且与辅助信息相对应的深度信息为元素信息i3，因此放置了auxdeplayerid＝1，并且由于元素信息i6为第四层级结构中的第一辅助信息，因此放置了auxinfoid＝0。
由于元素信息i7为深度信息，因此在元素信息i7中仅定义共同元素头信息。元素信息i7在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080。由于元素信息i7是第四层级结构的第二元素信息，因此放置了layerid＝3和infoid＝1。在infotype中，“dep”代表放置了深度信息。
图38描绘了在辅助信息被放置在与放置添加目标的纹理信息和深度信息的层级结构不同的层级结构中的情况下的第二设定实例。
图37中描绘的第一设定实例与图38的第二设定实例之间的差异在于，虽然在第一设定实例中，放置辅助信息的层级结构具有拷贝在其中的相对应的深度信息，但是在第二设定实例中，未拷贝相对应的深度信息。
例如，在六条元素信息i0至i5在四个层级结构中传输的情况下，如图38的a中所描绘，六条元素信息i0至i5的元素头信息以如图38的b中所描绘的这种方式定义。
图38的b中描绘的六条元素信息i0至i5中的每一个的元素头信息具有在图37的b中所描绘的第一设定的元素头信息中从深度信息拷贝和存储的元素信息i5和i7被省略的形式。
图39描绘了在辅助信息被放置在与放置添加目标的纹理信息和深度信息的层级结构相同的层级结构中的情况下的设定实例。
例如，在八条元素信息i0至i7在三个层级结构中传输的情况下，如图39的a中所指示，八条元素信息i0至i7的元素头信息以如图39的b中所描绘的这种方式定义。
在图39中，由于在元素信息i为纹理信息或深度信息的情况下的元素头信息与上文所述实例中类似，因此省略其描述，并且仅描述元素信息i是辅助信息的情况。这还类似地应用于图40和41。
由于元素信息i2为辅助信息，在元素信息i2中，定义了共同元素头信息和相同层级结构辅助头信息。
作为共同元素头信息，由于元素信息i2在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i2为第一层级结构的第三元素信息，因此放置了layerid＝0和infoid＝2，并且在infotype中，“samelayeraux”代表与放置添加目标的层级结构相同的层级结构的辅助信息。
作为相同层级结构辅助头信息，由于“a”放置在指示辅助信息的信息种类的auxinfotype中并且元素信息i2为第一层级结构的第一辅助信息，因此放置了auxinfoid＝0。
由于元素信息i3为辅助信息，在元素信息i3中，定义了共同元素头信息和相同层级结构辅助头信息。
作为共同元素头信息，由于元素信息i3在水平方向上的分辨率为960且在竖直方向上的分辨率为540并且此外元素信息i3为第一层级结构的第四元素信息，因此放置了layerid＝0和infoid＝3，并且在infotype中，“samelayeraux”代表与放置添加目标的层级结构相同的层级结构的辅助信息。
作为相同层级结构辅助头信息，由于“b”放置在指示辅助信息的信息种类的auxinfotype中并且元素信息i3为第一层级结构的第二辅助信息，因此放置了auxinfoid＝1。
由于元素信息i6为辅助信息，在元素信息i6中，定义了共同元素头信息和相同层级结构辅助头信息。
作为共同元素头信息，由于元素信息i6在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i6为第二层级结构的第三元素信息，因此放置了layerid＝1和infoid＝2，并且在infotype中，“samelayeraux”代表与放置添加目标的层级结构相同的层级结构的辅助信息。
作为相同层级结构辅助头信息，由于“a”放置在指示辅助信息的信息种类的auxinfotype中并且元素信息i6为第一层级结构的第一辅助信息，因此放置了auxinfoid＝0。
图40描绘了在辅助信息被放置在添加目标的深度信息的cbcr分量中的情况下的第一设定实例。
例如，在六条元素信息i0至i5在三个层级结构中传输的情况下，如图40的a中所指示，六条元素信息i0至i5的元素头信息以如图40的b中所描绘的这种方式定义。
由于辅助信息放置在元素信息i1的cbcr分量中，在元素信息i1中，定义了共同元素头信息和yuv辅助头信息。
作为共同元素头信息，由于元素信息i1在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i1为第一层级结构的第二元素信息，因此放置了layerid＝0和infoid＝1，并且在infotype中，“depaux”代表放置了与深度信息混合的辅助信息。
作为yuv辅助头信息，由于一条辅助信息使用cbcr分量放置在元素信息i1中，因此放置了auxinfonum＝1和depthauxtype＝“cbcr”。此外，在指示辅助信息的信息种类的auxinfotype中，放置了“a”，并且由于元素信息i1为第一层级结构的第一辅助信息，因此放置了auxinfoid＝0。
由于辅助信息放置在元素信息i3的cbcr分量中，在元素信息i3中，定义了共同元素头信息和yuv辅助头信息。
作为共同元素头信息，由于元素信息i3在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i3为第二层级结构的第二元素信息，因此放置了layerid＝1和infoid＝1，并且在infotype中，“depaux”代表放置了与深度信息混合的辅助信息。
作为yuv辅助头信息，由于一条辅助信息使用cbcr分量放置在元素信息i3中，因此放置了auxinfonum＝1和depthauxtype＝“cbcr”。此外，由于“b”放置在指示辅助信息的信息种类的auxinfotype中并且元素信息i3为第二层级结构的第一辅助信息，因此放置了auxinfoid＝0。
图41描绘了在辅助信息被放置在添加目标的深度信息的cbcr分量中的情况下的第二设定实例。
图40中所描绘的第一设定实例与图41的第二设定实例之间的差异在于，虽然在第一设定实例中，一条辅助信息放置在cbcr分量中，但是在第二设定实例中，cbcr分量被分成cb分量和cr分量并且放置了两种辅助信息。
例如，在六条元素信息i0至i5在三个层级结构中传输的情况下，如图41的a中所描绘，六条元素信息i0至i5的元素头信息以如图41的b中所描绘的这种方式定义。
由于一种辅助信息放置在元素信息i1的cbcr分量中，在元素信息i1中，定义了共同元素头信息和yuv辅助头信息。
作为共同元素头信息，由于元素信息i1在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i1为第一层级结构的第二元素信息，因此放置了layerid＝0和infoid＝1，并且在infotype中，“depaux”代表放置了与深度信息混合的辅助信息。
作为yuv辅助头信息，由于一条辅助信息使用cbcr分量放置在元素信息i1中，因此放置了auxinfonum＝1和depthauxtype＝“cbcr”。此外，在指示辅助信息的信息种类的auxinfotype中，放置了“a”，并且由于元素信息i1为第一层级结构的第一辅助信息，因此放置了auxinfoid＝0。
由于元素信息i3的cbcr分量分开成cb分量和cr分量并且其中放置了两种辅助信息，因此在元素信息i3中，定义了共同元素头信息和yuv辅助头信息。
作为共同元素头信息，由于元素信息i3在水平方向上的分辨率为1920且在竖直方向上的分辨率为1080并且此外元素信息i3为第二层级结构的第二元素信息，因此放置了layerid＝1和infoid＝1，并且在infotype中，“depaux”代表放置了与深度信息混合的辅助信息。
在yuv辅助头信息中，定义了与被分开至cb分量和cr分量的两种辅助信息相对应的auxinfonum、auxinfotype、auxinfoid和depthauxtype中的每个参数的两条，即auxinfonum[0]和[1]、auxinfotype[0]和[1]、auxinfoid[0]和[1]以及depthauxtype[0]和[1]。
由于使用cb分量和cr分量放置两条辅助信息，因此在元素信息i1中放置了auxinfonum＝2。此外，对于使用cb分量的第一条辅助信息a，放置了auxinfotype＝“a”、auxinfoid＝0和depthauxtype＝“cb”。此外，对于使用cr分量的第二条辅助信息b，放置了auxinfotype＝“b”、auxinfoid＝1和depthauxtype＝“cr”。
(高分辨率图像处理部分的配置实例)
图42为描绘图像显示系统的第二实施例中的高分辨率图像处理部分34的配置实例的框图。
参考图42，与图3中描绘的第一实施例中的高分辨率图像处理部分34的部件相对应的部件通过类似的参考标号表示，并且适宜地省略其描述。
与图3中描绘的第一实施例相比，第二实施例中的高分辨率图像处理部分34被配置成使得新添加辅助信息生成部分601和传输信息生成部分602并且省略编码器53和55。然而，具有与编码器53和55类似的功能的编码器602a被包括在传输信息生成部分602中。
第一层生成部分52生成第一层的六个面的纹理图像和深度图像并且将它们提供至传输信息生成部分602。第二层生成部分54生成与第一层的面相对应的六个面的第二层的纹理图像和深度图像并且将它们提供至传输信息生成部分602。因此，第一层生成部分52和第二层生成部分54是用于生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息的图像生成部分。
辅助信息生成部分601在设定部分56的控制下生成将被添加至层级结构的纹理信息(纹理图像)和深度信息(深度图像)的辅助信息。待生成什么辅助信息由设定部分56指导。设定部分56例如基于用户的操作将用于标识待生成的辅助信息的辅助信息标识信息提供至辅助信息生成部分601。
辅助信息生成部分601根据需要根据待生成的辅助信息利用由多相机11生成的相机的拾取图像、由第一层生成部分52生成的面的第一层的纹理图像和深度图像、由第二层生成部分54生成的面的第二层的纹理图像和深度图像等等。由辅助信息生成部分601生成的辅助信息被提供至传输信息生成部分602。
传输信息生成部分602生成上文参考图29至31所描述的传输信息并且将其提供至存储装置58以便被存储。应当指出，当传输信息生成部分602将生成传输信息时，关于将使用上文参考图29至31所述的结构中的哪一个进行封装的控制信息从设定部分52提供至传输信息生成部分602。
(传输信息生成部分的配置实例)
图43为描绘图42的传输信息生成部分602的配置实例的框图。
传输信息生成部分602包括传输头信息设定部分621、层级结构头信息设定部分622、元素头信息设定部分623、元素信息设定部分624以及元素信息编码部分625。
传输头信息设定部分621设定传输头信息，所述信息为传输信息单元的头信息。具体地讲，传输头信息设定部分621设定代表将包括在传输信息中的层级结构的数量的maxlayernum。
层级结构头信息设定部分622设定层级结构头信息，所述信息为层级结构传输信息单元的头信息。具体地讲，层级结构头信息设定部分622设定指示层级结构传输信息属于什么编号的层级结构的thislayerid；代表将在层级结构中传输的纹理信息的条数的maxtexinfonum；代表将在层级结构中传输的深度信息的条数的maxdepinfonum；以及代表将在层级结构中传输的辅助信息的条数的maxauxinfonum。
元素头信息设定部分623设定元素头信息，所述信息为元素信息单元的头信息。具体地讲，元素头信息设定部分623设定共同元素头信息、相同层级结构辅助头信息、不同层级结构辅助头信息以及yuv辅助头信息。
共同元素头信息包括代表元素信息在水平方向上的分辨率的宽度、代表元素信息在竖直方向上的分辨率的高度、指示元素信息是什么编号的层级结构信息的layerid、代表元素信息在层级结构中是从层级结构内的顶部开始的什么编号的元素信息的infoid以及指示元素信息是“tex”、“dep”、“samelayeraux”、“difflayeraux”和“depaux”中的哪一个的infotype。
相同层级结构辅助头信息包括指示辅助信息的信息种类的auxinfotype以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
不同层级结构辅助头信息包括指示辅助信息的信息种类的auxinfotype、指示放置与辅助信息相对应的深度信息的层级结构的auxdeplayerid、以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
yuv辅助头信息包括代表元素信息中包括的辅助信息的条数的auxinfonum、指示辅助信息的信息种类的auxinfotype、指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid、以及指示放置了辅助信息的yuv格式的位置的depthauxtype。
元素信息设定部分624将作为元素信息存储在传输信息或辅助信息中的纹理信息、深度信息或辅助信息设定(保存)至编码缓冲器。
元素信息编码部分625对应于图42的编码器602a并且对作为元素信息保存在编码缓冲器中的纹理信息、深度信息或辅助信息进行压缩编码。元素信息编码部分625对传输信息中包括的多条元素信息中的每一条进行压缩编码并且将封装至上文参考图29至31所描述的结构中的一个的传输信息存储到存储装置58中。
(元素信息生成过程的描述)
图44为示出通过高分辨率图像处理部分34进行的用于生成将被提供至传输信息生成部分602的元素信息的元素信息生成过程的流程图。该过程在图18描绘的流生成过程的步骤s16之后执行。
首先，在步骤s101处，第一层生成部分52由通过多相机11的相机获得的拾取图像生成与六条面信息相对应的面的第一层的纹理图像和深度图像。该过程类似于图18的流生成过程在步骤s17处的过程。面的第一层的所生成的纹理图像和深度图像被提供至传输信息生成部分602。
在步骤s102处，第二层生成部分54生成与第一层的面相对应的面的第二层的纹理图像和深度图像。该过程类似于图18的流生成过程在步骤s18处的过程。面的第二层的所生成的纹理图像和深度图像被提供至传输信息生成部分602。
在步骤s103处，辅助信息生成部分601生成将被添加至层级结构的纹理图像和深度图像的辅助信息。辅助信息有时针对所有层级结构产生并且有时仅针对一个或多个预定的层级结构产生。所生成的辅助信息被提供至传输信息生成部分602。
通过上述过程，生成将作为元素信息放置到将由传输信息生成部分602生成的传输信息中的纹理信息、深度信息或辅助信息。
上述元素信息生成过程替换为图18中描绘的第一实施例中的流生成过程在步骤s17至s20处的过程。
接着，在图44的元素信息生成过程结束后，执行图45中描绘的传输信息生成过程。
(传输信息生成过程的描述)
图45为示出通过图42的传输信息生成部分602进行的传输信息生成过程的流程图。
首先在步骤s121处，传输信息生成部分602从设定部分56中获取封装的控制信息。具体地讲，当要生成传输信息时，传输信息生成部分602从设定部分56中获取关于将使用上文参考图29至31所描述的结构中的哪一个进行封装的控制信息。因此，其确定，例如，传输信息的层级结构的数量被设定成什么数量或每个层级结构的元素信息的条数被设定成什么数量。
在步骤s122处，传输信息生成部分602将用于对层级结构的数量计数的变量n设定为0。
在步骤s123处，传输头信息设定部分621设定传输头信息。具体地讲，传输头信息设定部分621设定代表将包括在传输信息中的层级结构的数量的maxlayernum。
在步骤s124处，层级结构头信息设定部分622设定第n层级结构的层级结构头信息。具体地讲，对于第n层级结构，层级结构头信息设定部分622设定指示层级结构传输信息属于什么编号的层级结构的thislayerid；代表将在层级结构中传输的纹理信息的条数的maxtexinfonum；代表将在层级结构中传输的深度信息的条数的maxdepinfonum；以及代表将在层级结构中传输的辅助信息的条数的maxauxinfonum。
在步骤s125处，元素头信息设定部分623将用于对第n层级结构中包括的元素信息条计数的变量m设定为0。
在步骤s126处，元素头信息设定部分623针对第n层级结构中包括的第m条元素信息执行用于设定元素头信息的元素头信息设定过程。下文参考图46的流程图描述该过程的细节。
在步骤s127处，元素信息设定部分624执行用于将第n层级结构中包括的第m元素信息保存到编码缓冲器中的元素信息保存过程。下文参考图49的流程图描述该过程的细节。
在步骤s128处，元素信息编码部分625对通过步骤s127处的过程保存在编码缓冲器中的包括在第n层级结构中的第m元素信息(即，纹理信息、深度信息或辅助信息)进行压缩编码。
在步骤s129处，传输信息生成部分602决定用于对元素信息计数的变量m是否等于计划在第n层级结构中传输的元素信息的条数，即(maxtexinfonum+maxdepinfonum+maxauxinfonum-1)的值。
在步骤s129处决定变量m不等于计划在第n层级结构中传输的元素信息的条数的情况下，处理前进至步骤s130。然后将用于对元素信息计数的变量m递增1，并且处理前进至步骤s126。然后，再次执行步骤s126至s129。
另一方面，在步骤s129处决定变量m等于计划在第n层级结构中传输的元素信息的条数的情况下，处理前进至步骤s131，在其处，传输信息生成部分602决定用于对层级结构数量计数的变量n是否等于计划包括在传输信息中的层级结构的数量，即(maxlayernum-1)。
在步骤s131处决定变量n不等于计划包括到传输信息中的层级结构的数量的情况下，处理前进至步骤s132，在其处，变量n递增1，之后处理返回步骤s124。然后，再次执行步骤s124至s131处的过程。
另一方面，在步骤s131处决定变量n等于计划包括在传输信息中的层级结构的数量的情况下，处理前进至步骤s133，在其处，元素信息编码部分625将所生成的传输信息存储到存储装置58中。
通过传输信息生成部分602进行的传输信息生成过程在此结束。
(元素头信息设定过程的描述)。
图46为示出在图45的步骤s126处执行的元素头信息设定过程的细节的流程图。
在此过程中，首先在步骤s151处，元素头信息设定部分623设定共同元素头信息。具体地讲，元素头信息设定部分623设定代表元素信息在水平方向上的分辨率的宽度、代表元素信息在竖直方向上的分辨率的高度、指示元素信息是什么编号的层级结构信息的layerid、代表元素信息在层级结构中是从层级结构中的顶部开始的什么编号的元素信息的infoid(图35中的左侧)以及指示元素信息是“tex”、“dep”、“samelayeraux”、“difflayeraux”和“depaux”中的哪一个的infotype。
在步骤s152处，元素头信息设定部分623决定元素信息是否包括辅助信息，即infotype为“samelayeraux”、“difflayeraux”或“depaux”。
在步骤s152处决定元素信息包括辅助信息的情况下，处理前进至步骤s153，在其处，元素头信息设定部分623执行用于设定辅助头信息的辅助头信息设定过程。
另一方面，在步骤s152处决定元素信息不包括辅助信息(即元素信息是纹理信息或深度信息)的情况下，处理前进至步骤s154，在其处，元素头信息设定部分623决定元素信息是否为纹理信息，即infotype是否为“tex”。
在步骤s154处决定元素信息为纹理信息的情况下，处理前进至步骤s155，在其处，元素头信息设定部分623设定纹理信息的分辨率，以便解决深度信息与纹理信息之间的分辨率差异。具体地讲，元素头信息设定部分623计算纹理信息在水平方向上的分辨率tex_div_x＝(相同层级结构的深度信息的宽度/纹理信息的宽度)和在竖直方向上的分辨率tex_div_y＝(相同层级结构的深度信息的高度/纹理信息的高度)。
另一方面，在步骤s154处决定元素信息不是纹理信息(是深度信息)的情况下，元素头信息设定过程结束并且处理返回图45。
(辅助头信息设定过程的描述)
图47为示出在图46的步骤s153处执行的辅助头信息设定过程的细节的流程图。
在此过程中，首先在步骤s171处，元素头信息设定部分623决定infotype是否为“difflayeraux”。
在步骤s171处决定infotype为“difflayeraux”的情况下，处理前进至步骤s172，在其处，元素头信息设定部分623设定不同层级结构辅助头信息。具体地讲，元素头信息设定部分623设定指示辅助信息的信息种类的auxinfotype、指示放置与辅助信息相对应的深度信息的层级结构的auxdeplayerid、以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
接着，在步骤s173处，元素头信息设定部分623设定辅助信息的分辨率以便解决深度信息与辅助信息之间的分辨率差异。具体地讲，元素头信息设定部分623计算辅助信息在水平方向上的分辨率aux_div_x＝(深度信息的宽度/辅助信息的宽度)和在竖直方向上的分辨率aux_div_y＝(深度信息的高度/辅助信息的高度)。在步骤s173处的过程结束后，处理返回图46。
另一方面，在步骤s171处决定infotype不是“difflayeraux”的情况下，处理前进至步骤s174，在其处，元素头信息设定部分623决定infotype是否为“samelayeraux”。
在步骤s174处决定infotype为“samelayeraux”的情况下，处理前进至步骤s175，在其处，元素头信息设定部分623设定相同层级结构辅助头信息。具体地讲，元素头信息设定部分623设定指示辅助信息的信息种类的auxinfotype以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
接着，在步骤s176处，元素头信息设定部分623设定辅助信息的分辨率以便解决深度信息与辅助信息之间的分辨率差异。具体地讲，元素头信息设定部分623计算辅助信息在水平方向上的分辨率aux_div_x＝(深度信息的宽度/辅助信息的宽度)和在竖直方向上的分辨率aux_div_y＝(深度信息的高度/辅助信息的高度)。在步骤s176处的过程结束后，处理返回图46。
另一方面，在步骤s174处决定infotype不是“samelayeraux”的情况下，处理前进至步骤s177，在其处，元素头信息设定部分623决定infotype是否为“depaux”。
在步骤s177处决定infotype不是“depaux”的情况下，处理返回图46的元素头信息设定过程。
另一方面，在步骤s177处决定infotype为“depaux”的情况下，处理前进至步骤s178，在其处，元素头信息设定部分623执行用于设定yuv辅助头信息的yuv辅助头信息设定过程。之后，处理返回图46。
(yuv辅助头信息设定过程的描述)
图48为示出在图47的步骤s178处执行的yuv辅助头信息设定过程的细节的流程图。
在此过程中，首先在步骤s191处，元素头信息设定部分623设定代表将包括在第n层级结构中的第m条元素信息中的辅助信息的条数的auxinfonum。
在步骤s192处，元素头信息设定部分623将用于对辅助信息的条数计数的变量i设定为0。
在步骤s193处，元素头信息设定部分623设定指示辅助信息的信息种类的auxinfotype、指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid、以及指示放置了辅助信息的yuv格式的位置的depthauxtype。
在步骤s194处，元素头信息设定部分623决定depthauxtype是否为“cbcr”。
在步骤s194处决定depthauxtype为“cbcr”的情况下，处理前进至步骤s195，在其处，元素头信息设定部分623设定与放置到“cbcr”分量中相对应的辅助信息的分辨率。具体地讲，元素头信息设定部分623设定在水平方向上的分辨率aux_div_x＝2和在竖直方向上的分辨率aux_div_y＝1。
另一方面，在步骤s194处决定depthauxtype不是“cbcr”(即，depthauxtype是“cb”或“cr”)的情况下，处理前进至步骤s196，在其处，元素头信息设定部分623设定与放置到“cb”或“cr”分量中相对应的辅助信息的分辨率。具体地讲，元素头信息设定部分623设定在水平方向上的分辨率aux_div_x＝2和在竖直方向上的分辨率aux_div_y＝2。
接着，在步骤s195或s196之后，元素头信息设定部分623在步骤s197处决定用于对辅助信息的条数计数的变量i是否等于(auxinfonum-1)。
在步骤s197处决定变量i不等于(auxinfonum-1)的情况下，处理前进至步骤s198，在其处，变量i递增1，之后处理返回步骤s193。然后，再次执行步骤s193至s197。
另一方面，在步骤s197处决定变量i等于(auxinfonum-1)的情况下，处理返回图47。
(元素信息保存过程的描述)
图49为示出在图45的步骤s127处执行的元素信息保存过程的细节的流程图。
在此过程中，首先在步骤s211处，元素信息设定部分624决定infotype是否为“tex”。
在步骤s211处决定infotype为“tex”的情况下，处理前进至步骤s212，在其处，元素信息设定部分624将纹理图像作为元素信息保存到编码缓冲器中。
另一方面，在步骤s211处决定infotype不是“tex”的情况下，处理前进至步骤s213，在其处，元素信息设定部分624决定infotype是否为“dep”。
在步骤s213处决定infotype为“dep”的情况下，处理前进至步骤s214，在其处，元素信息设定部分624将深度图像作为元素信息保存到编码缓冲器中。
另一方面，在步骤s213处决定infotype不是“dep”的情况下，处理前进至步骤s215，在其处，元素信息设定部分624决定infotype是否为“samelayeraux”或“difflayeraux”。
在步骤s215处决定infotype为“samelayeraux”或“difflayeraux”的情况下，处理前进至步骤s216，在其处，元素信息设定部分624将辅助信息作为元素信息保存到编码缓冲器中。
另一方面，在步骤s215处决定infotype不是“samelayeraux”和“difflayeraux”中的任一个的情况下，处理前进至步骤s217，在其处，元素信息设定部分624决定infotype是否为“depaux”。
在步骤s217处决定infotype不是“depaux”的情况下，处理返回图45。
另一方面，在步骤s217处决定infotype为“depaux”的情况下，处理前进至步骤s218，在其处，元素信息设定部分624将深度图像保存到编码缓冲器的y分量中。
在步骤s219处，元素信息生成部分624将用于对深度图像中包括的辅助信息的条数计数的变量c设定为0。
在步骤s220处，元素信息设定部分624将第c辅助信息保存到编码缓冲器的depthauxtype分量中。
在步骤s221处，元素信息设定部分624决定用于对辅助信息的条数计数的变量c是否等于(auxinfonum-1)。
在步骤s221处决定变量c不等于(auxinfonum-1)的情况下，处理前进至步骤s222，在其处，变量c递增1，之后处理返回步骤s220。然后，再次执行步骤s220和s221。
另一方面，在步骤s221处决定变量c等于(auxinfonum-1)的情况下，处理返回图45。
内容服务器12可生成和传输传输信息，其中辅助信息以如上所述的这种方式被添加至层级结构的纹理信息和深度信息。这使得接收传输信息的一端的设备可以使用辅助信息生成画面质量得到改善或功能得到改善的显示图像。
(家庭服务器)
现在，描述图像显示系统的第二实施例中家庭服务器13端的配置。
在第二实施例中，图19的家庭服务器13的接收部分231接收从内容服务器12传输到其中的六个面的传输信息和元数据并且将它们存储到存储装置232中。传输信息包括第一层和第二层的至少两个层的纹理信息和深度信息以及用于至少一个层的纹理信息和深度信息的辅助信息。
图19的家庭服务器13的视线检测部分234响应于观察位置和视线方向从六个面中确定三个面作为选择面，从存储装置232中读取与三个层相对应的传输信息并且将传输信息提供至ml3d模型生成部分235至237。
(ml3d模型生成部分的配置实例)
图50为描绘图像显示系统的第二实施例中的ml3d模型生成部分235的配置实例的框图。
与图19中描绘的第一实施例相比，第二实施例中的ml3d模型生成部分235被配置成使得新添加传输信息分析部分651并且省略解码器251、253、257和259。然而，具有与解码器251、253、257和259类似的功能的解码器651a被包括在传输信息分析部分651中。
从图19的视线检测部分234向传输信息分析部分651提供六个面中被确定为选择面的预定面的传输信息。
传输信息分析部分651对被提供到其中的传输信息中所包括的传输头信息、层级结构头信息以及元素头信息进行分析并且将元素信息解码以获取纹理信息、深度信息或辅助信息。
在所解码的元素信息为第一层的纹理图像的情况下，传输信息分析部分651将第一层的纹理图像提供至rgb转换部分252。在所解码的元素信息为第一层的深度图像的情况下，传输信息分析部分651将第一层的深度图像提供至深度转换部分254。
在所解码的元素信息为第二层的纹理图像的情况下，传输信息分析部分651将第二层的纹理图像提供至rgb转换部分258。在所解码的元素信息为第二层的深度图像的情况下，传输信息分析部分651将第二层的深度图像提供至深度转换部分260。
在所解码的元素信息为辅助信息的情况下，传输信息分析部分651将辅助信息提供至rgb转换部分252、深度转换部分254、rgb转换部分258、深度转换部分260、3d模型生成部分256、3d模型生成部分262或绘制部分239(图19)。
具体地讲，在辅助信息为将用于生成层的三维数据的信息的情况下，传输信息分析部分651将辅助信息提供至对应层的3d模型生成部分256或3d模型生成部分262。同时，在辅助信息为用于生成显示图像的信息的情况下，传输信息分析部分651将辅助信息提供至绘制部分239(图19)。另外，在辅助信息为与纹理图像相关的信息的情况下，辅助信息被传输至rgb转换部分252和rgb转换部分258中的一者或两者，但是在辅助信息为与深度图像相关的信息的情况下，辅助信息被传输至深度转换部分254和深度转换部分260中的一者或两者。
另外，ml3d模型生成部分236和237的配置类似于ml3d模型生成部分235的配置。
(传输信息分析部分的配置实例)
图51为描绘图50的传输信息分析部分651的配置实例的框图。
传输信息分析部分651由传输头信息分析部分671、层级结构头信息分析部分672、元素头信息分析部分673、元素信息解码部分674以及元素信息分发部分675构成。
传输头信息分析部分671分析传输头信息，所述信息为传输信息单元的头信息。具体地讲，传输头信息分析部分671提取代表包括在传输信息中的层级结构的数量的maxlayernum。
层级结构头信息分析部分672分析层级结构头信息，所述信息为层级结构传输信息单元的信息。具体地讲，层级结构头信息分析部分672提取指示层级结构传输信息属于什么编号的层级结构的thislayerid；代表将在层级结构中传输的纹理信息的条数的maxtexinfonum；代表将在层级结构中传输的深度信息的条数的maxdepinfonum；以及代表将在层级结构中传输的辅助信息的条数的maxauxinfonum。
元素头信息分析部分673分析元素头信息，所述信息为元素信息单元的头信息。具体地讲，元素头信息分析部分673提取共同元素头信息。此外，在infotype为“samelayeraux”、“difflayeraux”或“depaux”的情况下，元素头信息分析部分673还提取与infotype相对应的相同层级结构辅助头信息、不同层级结构辅助头信息或yuv辅助头信息。
元素信息解码部分674对应于图50的解码器651a，并且对以编码状态放置在传输信息中的元素信息进行解码并将作为解码的结果获得的纹理信息、深度信息或辅助信息提供至元素信息分发部分675。
元素信息分发部分675将作为从元素信息解码部分674提供的元素信息的纹理信息、深度信息或辅助信息提供至一个或多个预定的提供目的地，诸如rgb转换部分252、深度转换部分254、rgb转换部分258、深度转换部分260、3d模型生成部分256、3d模型生成部分262、绘制部分239等。
(传输信息分析过程的描述)
图52为示出通过图50的传输信息分析部分651进行的传输信息分析过程的流程图。
首先在步骤s321处，传输信息分析部分651获取从视线检测部分234提供的六个面中被确定为选择面的预定面的传输信息。所获取的传输信息处于封装在上文参考图29至31所描述的结构中的一个中的形式。
在步骤s322处，传输信息分析部分651将用于对层级结构数量计数的变量n设定为0。
在步骤s323处，传输头信息分析部分671分析传输头信息。具体地讲，传输头信息分析部分671提取代表包括在传输信息中的层级结构的数量的maxlayernum。
在步骤s324处，层级结构头信息分析部分672分析第n层级结构的层级结构头信息。具体地讲，关于第n层，层级结构头信息分析部分672提取指示层级结构传输信息属于什么编号的层级结构的thislayerid；代表将在层级结构中传输的纹理信息的条数的maxtexinfonum；代表将在层级结构中传输的深度信息的条数的maxdepinfonum；以及代表将在层级结构中传输的辅助信息的条数的maxauxinfonum。
在步骤s325处，元素头信息分析部分673将用于对第n层级结构中包括的元素信息条计数的变量m设定为0。
在步骤s326处，元素头信息分析部分673执行用于分析第n层级结构中包括的第m元素信息的元素头信息的元素头信息分析过程。下文参考图53的流程图描述该过程的细节。
在步骤s327处，元素信息解码部分674对作为包括在第n层级结构中的第m元素信息以压缩编码状态放置的元素信息进行解码。
在步骤s328处，元素信息分发部分675执行用于将在步骤s327处通过解码获得的纹理信息、深度信息或辅助信息提供至预定的提供目的地的元素信息分发过程。下文参考图56的流程图描述该过程的细节。
在步骤s329处，传输信息分析部分651决定用于对元素信息计数的变量m是否等于在第n层级结构中传输到其中的元素信息的条数，即(maxtexinfonum+maxdepinfonum+maxauxinfonum-1)的值。
在步骤s329处决定变量m不等于在第n层级结构中传输到其中的元素信息的条数的情况下，处理前进至步骤s330，在其处，用于对元素信息计数的变量m递增1，之后处理返回步骤s326。然后，再次执行步骤s326至s329。
另一方面，在步骤s329处决定变量m等于在第n层级结构中传输到其中的元素信息的条数的情况下，处理前进至步骤s331，在其处，传输信息分析部分651决定用于对层级结构的数量计数的变量n是否等于包括在传输信息中的层级结构数量，即(maxlayernum-1)。
在步骤s331处决定变量n不等于包括在传输信息中的层级结构数量的情况下，处理前进至步骤s332，在其处，变量n递增1，之后处理返回步骤s324。然后，再次执行步骤s324至s331。
另一方面，在步骤s331处决定变量n等于包括在传输信息中的层级结构数量的情况下，通过传输信息生成部分602进行的传输信息生成过程结束。
(元素头信息分析过程的描述)
图53为示出在图52的步骤s326处执行的元素头信息分析过程的细节的流程图。
在此过程中，首先在步骤s351处，元素头信息分析部分673提取共同元素头信息。具体地讲，元素头信息分析部分673提取代表元素信息在水平方向上的分辨率的宽度、代表元素信息在竖直方向上的分辨率的高度、指示元素信息是什么编号的层级结构信息的layerid、代表元素信息在层级结构中是从层级结构内的顶部开始的什么编号的元素信息的infoid以及指示元素信息是“tex”、“dep”、“samelayeraux”、“difflayeraux”和“depaux”中的哪一个的infotype。
在步骤s352处，元素头信息分析部分673决定元素信息是否包括辅助信息，即infotype是否为“samelayeraux”、“difflayeraux”或“depaux”。
在步骤s352处决定元素信息包括辅助信息的情况下，处理前进至步骤s353，在其处，元素头信息分析部分673执行用于分析辅助头信息的辅助头信息分析过程。
另一方面，在步骤s352处决定元素信息不包括辅助信息(即元素信息是纹理信息或深度信息)的情况下，处理前进至步骤s354，在其处，元素头信息分析部分673决定元素信息是否为纹理信息，即infotype是否为“tex”。
在步骤s354处决定元素信息为纹理信息的情况下，处理前进至步骤s355，在其处，元素头信息分析部分673设定纹理信息的分辨率，以便解决深度信息与纹理信息之间的分辨率差异。具体地讲，元素头信息分析部分673计算纹理信息在水平方向上的分辨率tex_div_x＝(相同层级结构中的深度信息的宽度/纹理信息的宽度)和纹理信息在竖直方向上的分辨率tex_div_y＝(相同层级结构中的深度信息的高度/纹理信息的高度)。
另一方面，在步骤s354处决定元素信息不是纹理信息(是深度信息)的情况下，元素头信息分析过程结束并且处理返回图52。
(辅助头信息分析过程的描述)
图54为示出在图53的步骤s353处执行的辅助头信息分析过程的细节的流程图。
在此过程中，首先在步骤s371处，元素头信息分析部分673决定infotype是否为“difflayeraux”。
在步骤s371处决定infotype为“difflayeraux”的情况下，处理前进至步骤s372，在其处，元素头信息分析部分673分析不同层级结构辅助头信息。具体地讲，元素头信息分析部分673提取指示辅助信息的信息种类的auxinfotype、指示放置与辅助信息相对应的深度信息的层级结构的auxdeplayerid、以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
接着，在步骤s373处，元素头信息分析部分673设定辅助信息的分辨率以便解决深度信息与辅助信息之间的分辨率差异。具体地讲，元素头信息分析部分673计算辅助信息在水平方向上的分辨率aux_div_x＝(深度信息的宽度/辅助信息的宽度)和在竖直方向上的分辨率aux_div_y＝(深度信息的高度/辅助信息的高度)。在步骤s373处的过程结束后，处理返回图53。
另一方面，在步骤s371处决定infotype不是“difflayeraux”的情况下，处理前进至步骤s374，在其处，元素头信息分析部分673决定infotype是否为“samelayeraux”。
在步骤s374处决定infotype为“samelayeraux”的情况下，处理前进至步骤s375，在其处，元素头信息分析部分673设定相同层级结构辅助头信息。具体地讲，元素头信息分析部分673设定指示辅助信息的信息种类的auxinfotype以及指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid。
接着，在步骤s376处，元素头信息分析部分673设定辅助信息的分辨率以便解决深度信息与辅助信息之间的分辨率差异。具体地讲，元素头信息分析部分673计算辅助信息在水平方向上的分辨率aux_div_x＝(深度信息的宽度/辅助信息的宽度)和在竖直方向上的分辨率aux_div_y＝(深度信息的高度/辅助信息的高度)。在步骤s376处的过程结束后，处理返回图53。
另一方面，在步骤s374处决定infotype不是“samelayeraux”的情况下，处理前进至步骤s377，在其处，元素头信息分析部分673决定infotype是否为“depaux”。
在步骤s377处决定infotype不是“depaux”的情况下，处理返回图53的元素头信息分析过程。
另一方面，在步骤s377处决定infotype为“depaux”的情况下，处理前进至步骤s378，在其处，元素头信息分析部分673执行用于分析yuv辅助头信息的yuv辅助头信息分析过程。然后处理返回图53。
(yuv辅助头信息分析过程的描述)
图55为示出在图54的步骤s378处执行的yuv辅助头信息分析过程的细节的流程图。
在此过程中，首先在步骤s391处，元素头信息分析部分673提取代表将包括在第n层级结构中的第m条元素信息中的辅助信息的条数的auxinfonum。
在步骤s392处，元素头信息分析部分673将用于对辅助信息的条数计数的变量i设定为0。
在步骤s393处，元素头信息分析部分673设定指示辅助信息的信息种类的auxinfotype、指示辅助信息是层级结构中的什么编号的辅助信息的auxinfoid、以及指示放置了辅助信息的yuv格式的位置的depthauxtype。
在步骤s394处，元素头信息分析部分673决定depthauxtype是否为“cbcr”。
在步骤s394处决定depthauxtype为“cbcr”的情况下，处理前进至步骤s395，在其处，元素头信息分析部分673设定与放置到“cbcr”分量中相对应的辅助信息的分辨率。具体地讲，元素头信息分析部分673设定在水平方向上的分辨率aux_div_x＝2和在竖直方向上的分辨率aux_div_y＝1。
另一方面，在步骤s394处决定depthauxtype不是“cbcr”(即，depthauxtype是“cb”或“cr”)的情况下，处理前进至步骤s396，在其处，元素头信息分析部分673设定与放置到“cb”或“cr”分量中相对应的辅助信息的分辨率。具体地讲，元素头信息分析部分673设定在水平方向上的分辨率aux_div_x＝2和在竖直方向上的分辨率aux_div_y＝2。
接着，在步骤s395或s396之后，元素头信息分析部分673在步骤s397处决定用于对辅助信息的条数计数的变量i是否等于(auxinfonum-1)。
在步骤s397处决定变量i不等于(auxinfonum-1)的情况下，处理前进至步骤s398，在其处，变量i递增1，之后处理返回步骤s393。然后，再次执行步骤s393至s397。
另一方面，在步骤s397处决定变量i等于(auxinfonum-1)的情况下，处理返回图54。
(元素信息分发过程的描述)
图56为示出在图52的步骤s328处执行的元素信息分发过程的细节的流程图。
在此过程中，首先在步骤s411处，元素信息分发部分675决定infotype是否为“tex”。
在步骤s411处决定infotype为“tex”的情况下，处理前进至步骤s412，在其处，元素信息分发部分675将作为解码的结果获得的纹理图像提供至rgb转换部分252和258中的一者或两者。
另一方面，在步骤s411处决定infotype不是“tex”的情况下，处理前进至步骤s413，在其处，元素信息分发部分675决定infotype是否为“dep”。
在步骤s413处决定infotype为“dep”的情况下，处理前进至步骤s414，在其处，元素信息分发部分675将作为解码的结果获得的深度图像提供至深度转换部分254和260中的一者或两者。
另一方面，在步骤s413处决定infotype不是“dep”的情况下，处理前进至步骤s415，在其处，元素信息分发部分675决定infotype是否为“samelayeraux”或“difflayeraux”。
在步骤s415处决定infotype为“samelayeraux”或“difflayeraux”的情况下，元素信息分发部分675将作为解码的结果获得的辅助信息提供至预定的提供目的地。
另一方面，在步骤s415处决定infotype不是“samelayeraux”和“difflayeraux”中的任一个的情况下，处理前进至步骤s417，在其处，元素信息分发部分675决定infotype是否为“depaux”。
在步骤s417处决定infotype不是“depaux”的情况下，处理返回图52。
另一方面，在步骤s417处决定infotype为“depaux”的情况下，处理前进至步骤s418，在其处，元素信息分发部分675将通过对yuv格式的y分量进行解码获得的深度图像提供至深度转换部分254和260中的一者或两者。
在步骤s419处，元素信息分发部分675将用于对深度图像中包括的辅助信息的条数计数的变量c设定为0。
在步骤s420处，元素信息分发部分675将通过对yuv格式的depthauxtype分量进行解码获得的辅助信息提供至预定的提供目的地。
在步骤s421处，元素信息分发部分675决定用于对辅助信息的条数计数的变量c是否等于(auxinfonum-1)。
在步骤s421处决定变量c不等于(auxinfonum-1)的情况下，处理前进至步骤s422，在其处，变量c递增1，之后处理返回步骤s420。然后，再次执行步骤s420和s421。
另一方面，在步骤s421处决定变量c等于(auxinfonum-1)的情况下，处理返回图52。
家庭服务器13可接收其中辅助信息被添加至层级结构的纹理信息和深度信息的传输信息并且以如上所述的这种方式将辅助信息提供至需要辅助信息的预定的提供目的地。因此，家庭服务器13可使用辅助信息生成画面质量得到改善或功能得到改善的显示图像。
(辅助信息的具体实例)
现在，描述辅助信息的具体实例。
图57为与辅助信息的利用相关的功能框图。
向辅助信息利用部分701中，提供通过对第一层纹理流解码获得的第一层的纹理图像、通过对第一层深度流解码获得的第一层的深度图像、通过对第二层纹理流解码获得的第二层的纹理图像、以及通过对第二层深度流解码获得的第二层的深度图像。此外，还向辅助信息利用部分701中提供通过解码压缩编码的辅助信息获得的辅助信息。应当指出，在辅助信息放置在yuv格式的cbcr分量中的情况下，辅助信息可通过对深度流解码获得。
辅助信息利用部分701针对第一层的纹理图像(纹理信息)和深度图像(深度信息)以及第二层的纹理图像(纹理信息)和深度图像(深度信息)中的至少一个使用辅助信息执行预定的图像处理。
辅助信息利用部分701响应于辅助信息的种类对应于如上所述的传输信息分析部分651、rgb转换部分252、深度转换部分254、rgb转换部分258、深度转换部分260、3d模型生成部分256、3d模型生成部分262以及绘制部分239。
图58描绘辅助信息的具体实例和其中使用辅助信息的图像处理的实质。
例如，辅助信息可以是代表比纹理数据(纹理图像)的颜色信息所具有的更高的频率分量的颜色的高频信息。在这种情况下，辅助信息利用部分701可使用纹理数据和辅助信息的高频分量的颜色信息生成和显示高画面质量的数据。例如，在纹理数据具有yuv格式并且其cb分量和cr分量各自通过8比特表示，同时在辅助信息中，cb分量和cr分量的高频分量各自通过2比特表示的情况下，辅助信息利用部分701可将cb分量和cr分量各自表示成10比特的颜色信息。
例如，辅助信息可以被制成用于代表多边形的前方和后方的多边形表示信息。在这种情况下，当辅助信息利用部分701执行剔除过程时，其可使用代表前方或后方的辅助信息来仅显示从其处观察多边形的视点前侧上的纹理图像。
例如，辅助信息可以被制成用于标识“有效区域”、“不必要区域”以及“假想区域”的区域标识信息。仅针对第二层下面的层的纹理数据存在辅助信息。在这种情况下，辅助信息利用部分701可响应于通过辅助信息指示的“有效区域”、“不必要区域”或“假想区域”的旗标改变用于纹理数据的处理的实质。
例如，辅助信息可以是代表透射率的透射率信息。在这种情况下，辅助信息利用部分701可针对纹理数据和深度数据使用代表透射率的辅助信息生成代表半透明对象的显示图像。
例如，辅助信息可以是代表光泽或反射的状态的材料感觉信息。在这种情况下，辅助信息利用部分701可使用通过辅助信息指示的材料感觉信息生成和显示通过用由反射模型计算得到的数据对纹理数据进行校正获得的重新写入之后的纹理数据。
例如，辅助信息可以是指示纹理数据内具有高优先级的区域的优先级信息。在这种情况下，辅助信息利用部分701可使用辅助信息向用户呈现用户期望观看的区域以指导用户。
例如，辅助信息可以是指示纹理数据的观察范围内的温度的温度信息。在这种情况下，辅助信息利用部分701可以利用纹理图像可视化和显示温度数据。
(辅助信息为高频信息的情况的实例)
图59为示出在辅助信息为高频信息的情况下通过辅助信息利用部分701进行的辅助信息利用过程的流程图。
首先在步骤s441处，辅助信息利用部分701决定作为辅助信息添加的高频信息是否可获得。
在步骤s441处决定作为辅助信息添加的高频信息不可获得的情况下，跳过步骤s442处的过程并且执行不使用辅助信息的处理。
另一方面，在步骤s441处决定作为辅助信息添加的高频信息可获得的情况下，辅助信息利用部分701使用辅助信息将作为纹理数据传输的8比特的cb分量和cr分量的颜色信息转换成10比特的cb分量和cr分量的颜色信息并且输出颜色信息。
这使得可以表示收缩且不可在8比特的颜色信息表示中表示的颜色的变化。
图60为描绘当视点从全方位图像的第一视点移动至第二视点时像素值的变化的视图。
图60中描绘的全方位图像具有：具有显示范围t1的显示视点v11和具有显示范围t2的显示视点v12。
在相对于全方位图像的下段的图中，横坐标轴代表显示视点并且纵坐标轴代表在该显示视点处全方位图像的像素值。
在图60的实例中，显示视点v11处全方位图像的像素值的最小值与最大值之间的范围为范围d1。同时，显示视点v12处全方位图像的像素值的最小值与最大值之间的范围为范围d2(d1<d2)。
在这种情况下，当显示视点从显示视点v11变成显示视点v12时，显示图像像素值的最小值与最大值之间的范围从范围d1逐步移动至范围d2。另一方面，当显示视点从显示视点v12变成显示视点v11时，显示图像像素值的最小值与最大值之间的范围从范围d2逐步移动至范围d1。
因此，由于显示图像像素值的最小值与最大值之间的范围随着时间的推移变成最佳值区域，与显示图像像素值的最小值与最大值之间的范围从范围d1快速变成范围d2的替代情况相比，观察者可使眼睛逐渐适应。
如果高频信息可作为辅助信息获得，那么在显示图像像素值的最小值与最大值之间的范围为较宽范围d2的这种情况下，可以表示更精细的变化并且可以实现高画面质量的显示。
在辅助信息为高频信息的情况下，由于对作为解码后的纹理图像的像素的像素值的ycbcr值执行了比特扩展(高频扩展)过程，因此辅助信息利用部分701对应于传输信息分析部分651。
(辅助信息为多边形前方/后方信息的情况的实例)
图61和62为示出在辅助信息为多边形前方/后方信息的情况下图像处理的实例的视图。
尽管多边形具有前方和后方(正常)，关于第一层的纹理图像和深度图像以及第二层的纹理图像和深度图像，前方和后方通过辅助信息表示，如图61的a中所描绘。通过使用此辅助信息执行剔除过程，如图61的b中所描绘，从箭头标记的方向上通常不可观察的第二层的后方的对象可被抑制显示，并且正确地显示在前方和后方不链接的多边形的显示。另外，在执行第二层的显示的情况下，不发生这种奇怪的事情。
由于作为辅助信息的多边形前方/后方信息可以被放置到例如yuv格式的cb分量和cr分量中并与其一起传输，因此对于通用使用可以传输，即使通过解码器。
多边形前方/后方信息可通过一比特的信号表示，以使“0”代表前方且“1”代表后方。假设多边形前方/后方信息代表定位在每个点721(其为纹理图像的采样点)的右下侧上的两个三角形小块722的前方/后方，如图62所描绘。根据欧拉公式，由于(顶点数-边数+面数)＝2，因此面(三角形小块722)的数量为顶点(点721)的数量的大约两倍。因此，通过如上所述将两个三角形小块722的前方/后方分配至一个点721，辅助信息的条数变得等于像素数并且辅助信息可以被放置到yuv格式的cb分量和cr分量中且与其一起传输。
在辅助信息为多边形前方/后方信息的情况下，辅助信息利用部分701对应于绘制部分239，其使用第一层的纹理图像和深度图像以及第二层的纹理图像和深度图像执行三角形小块绘制。
(辅助信息为区域标识信息的情况的实例)
图63和64为示出在辅助信息为区域标识信息的情况下的图像处理实例的视图。
如上文参考图11所描述，第二层的纹理图像可以被分成有效区域、不必要区域和假想区域。用于标识这三个区域的区域标识信息可被设定为辅助信息并添加。
在绘制部分239使用第一层的纹理图像和第二层的纹理图像从自第一层的视点位移一点点的视点执行透视投影(映射)的情况下，可以看到假想区域，如图63中所描绘。
因此，在作为辅助信息的区域标识信息不存在的情况下，由于第二层的纹理图像中的有效区域和假想区域彼此不可标识区分开，因此使用假想区域中的数据。
另一方面，在作为辅助信息的区域标识信息存在的情况下，由于在第二层的纹理图像中可以辨别该区域为假想区域，如图64所描绘，因此可以通过使用相邻的有效区域中的像素值执行更确定的显示。
此外，由于不必要区域是起初不发生遮挡的区域，因此可以优先使用第一层的纹理图像。因此，由于第二层的不必要区域可以利用区域标识信息标识，因此将优先使用第一层和第二层中的哪一个变得显而易见。
由于作为辅助信息的区域标识信息仅需代表有效区域、不必要区域和假想区域三个区域，因此比特数可为2比特。2比特的辅助信息可放置到yuv格式的cb分量和cr分量中且与其一起传输或可作为相同层级结构或不同层级结构的辅助信息添加和传输。
在辅助信息为区域标识信息的情况下，辅助信息利用部分701对应于绘制部分239，其使用第一层的纹理图像和深度图像以及第二层的纹理图像和深度图像执行三角形小块绘制。
(头信息的不同存储实例)
在第二实施例的以上描述中，描述了其中头信息与第一层和第二层的纹理图像和深度图像的比特流分开传输的情况。
然而，头信息可以被包括在比特流中的状态传输，以使其被放置到例如根据hevc(高效视频编码)法编码的比特流的用户数据未注册的sei(补充增强信息)中。
<3.第三实施例>
(图像显示系统的第三实施例的配置实例)
图65为描绘应用本公开的图像显示系统的第三实施例的配置实例的框图。
图65所描绘的与图1的那些相同的部件用相同的参考标号表示。适宜地省略重复描述。
图65的图像显示系统400由多相机11、内容服务器12、转换设备14、头戴式显示器15、分发服务器401、网络402、以及再现设备403构成。在图像显示系统400中，只有六个面中与视线相对应的一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流被分发至再现设备403并由其再现。
具体地讲，图像显示系统400的分发服务器401接收并存储从内容服务器12传输到其中的低分辨率纹理流和低分辨率深度流、六个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据。
此外，分发服务器401通过网络402连接至再现设备403。分发服务器401响应于来自再现设备403的请求通过网络402将存储于其中的低分辨率纹理流和低分辨率深度流、一个面的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流、以及元数据传输至再现设备403。
再现设备403(图像处理设备)通过网络402向分发服务器401请求低分辨率纹理流、低分辨率深度流和元数据并且接受根据请求传输到其中的低分辨率纹理流、低分辨率深度流和元数据。
此外，再现设备403具有构建于其中的相机13a。与家庭服务器13类似，再现设备403检测3d模型坐标系中的观察位置并且确定3d模型坐标系中的视线方向和观察者的观察范围。
接着，再现设备403基于3d模型坐标系中的观察位置和视线方向以及包括在元数据中的第一层的表格从第一层的六个面中确定与最接近视线的视线向量相对应的一个面作为选择面。再现设备403通过网络402请求与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。再现设备403接收响应于请求传输到其中的与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流。
再现设备403使用低分辨率纹理流和低分辨率深度流以及与一个选择面相对应的第一层纹理流、第一层深度流、第二层纹理流和第二层深度流来生成显示图像。再现设备403的用于生成显示图像的过程类似于家庭服务器13的过程，不同的是选择面的数量为一，因此省略其描述。再现设备403通过未描绘的hdmi线缆将显示图像传输至转换设备14。
<4.纹理图像的不同实例>
图66为描绘第一层的纹理图像的一个不同实例的视图。
虽然在以上描述中第一层的每个面的纹理图像是一个视点o的纹理图像，但是它可以是与视点o相对应的左眼的视点和左眼的视点的纹理图像的复合图像。
具体地讲，第一层的每个面的纹理图像可以是，如图66的a中所描绘，例如，通过在横向方向(水平方向)上布局与视点o相对应的左眼的视点的第一层的每个面的纹理图像421和右眼的视点的第一层的每个面的纹理图像422获得的布局图像(packingimage)420。
此外，如图66的b中所描绘，第一层的每个面的纹理图像可以是，例如，通过在竖直方向(竖直方向)上布局纹理图像421和纹理图像422获得的布局图像440。
类似地，第二层的每个面的纹理图像可以是，例如，通过在横向方向或竖直方向上布局与该面上第二层的一个视点相对应的左眼的视点的第二层的纹理图像和右眼的视点的第二层的纹理图像获得的布局图像。
如上所述，在第一层和第二层的每个面的纹理图像是通过布局左眼的视点和右眼的视点的图像获得的纹理图像的情况下，作为解码的结果获得的纹理图像被分开成左眼的视点的纹理图像和右眼的视点的纹理图像。接着，关于第一层和第二层生成左眼的三维数据和右眼的三维数据。
接着，基于与观察者的观察方向和观察位置相对应的左眼的观察方向和观察位置，由左眼的三维数据生成左眼的显示图像。此外，基于与观察者的观察方向和观察位置相对应的右眼的观察方向和观察位置，由右眼的三维数据生成右眼的显示图像。接着，在头戴式显示器15可执行3d显示的情况下，头戴式显示器15显示左眼的显示图像作为左眼的图像并显示右眼的显示图像作为右眼的图像以3d显示该显示图像。
应当指出，虽然在第一至第三实施例中拾取图像被映射至正八面体以生成全方位图像，但是除了正八面体之外，拾取图像将映射的3d模型还可以是球体、立方体等等。在拾取图像映射至球体的情况下，全方位图像是例如根据拾取图像所映射的球体的正棱锥投影的图像。
此外，可不生成低分辨率纹理流和低分辨率深度流。可不生成第一层和第二层的深度图像。此外，可仅在极大成像对象的拾取图像映射于其上的面中的一个上生成第二层的纹理图像和深度图像。
此外，类似于高分辨率的纹理图像和深度图像，同样可以生成处于层级化状态的低分辨率纹理图像和低分辨率深度图像。
<5.第四实施例>
(应用本公开的计算机的描述)
虽然上述系列过程可通过硬件执行，但是也可以其他方式通过软件执行。在通过软件执行该系列过程的情况下，将构造软件的程序安装到计算机中。此处，计算机包括结合在专用硬件中的计算机，例如，可通过安装各种程序执行各种功能的用于通用使用的个人计算机等等。
图67为描绘根据一个程序执行上文所述的系列过程的计算机的硬件的配置实例的框图。
在计算机500中，cpu(中央处理单元)501、rom(只读存储器)502和ram(随机存取存储器)503通过总线504彼此连接。
输入/输出接口505进一步连接至总线504。输入部分506、输出部分507、存储部分508、通信部分509以及驱动器510连接至输入/输出接口505。
输入部分506由键盘、鼠标、麦克风等构成。输出部分507由显示器、扬声器等构成。存储部分508由硬盘、非易失性存储器等构成。通信部分509由网络接口等构成。驱动器510驱动可移除介质511，诸如磁盘、光盘、磁光盘、半导体存储器等。
在以如上所述的这种方式配置的计算机500中，cpu501通过输入/输出接口505和总线504将存储在例如存储部分508中的程序加载到ram503中以执行上述的系列过程。
通过计算机500(cpu501)执行的程序可以记录到可移除介质511中并以所述介质(例如封装介质等)的形式提供。此外，程序可通过有线或无线传输介质提供，所述介质诸如局域网、互联网、数字卫星广播等。
在计算机500中，可通过输入/输出接口505通过将可移除介质511安装在驱动器510上而将程序安装到存储部分508中。此外，程序可通过有线或无线传输介质由通信部分509接收并安装到存储部分508中。此外，可将程序提前安装到rom502或存储部分508中。
应注意，通过计算机500执行的程序可以是其中根据本文所述的顺序以时间序列执行过程的程序，或可以是其中并行地或以必要的定时执行过程的程序，诸如当程序被调用时等等。
<6.应用实例>
根据本公开的技术可应用于各种产品。例如，根据本公开的技术可实现为结合在各种类型的移动体中的设备，所述移动体诸如汽车、混合动力电动汽车、摩托车、自行车、个人迁移体(personalmobilities)、飞机、无人机、船、机器人、工程机械、农业机械(拖拉机)等等。
图68为描绘可应用根据本公开的一个实施例的技术的作为移动体控制系统的一个实例的车辆控制系统7000的示意性配置的实例的框图。车辆控制系统7000包括通过通信网络7010彼此连接的多个电子控制单元。在图68所描绘的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车辆外部信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是，例如，符合任意标准的车载通信网络，诸如控制器区域网络(can)、本地互连网(lin)、局域网(lan)、flexray等等。
控制单元中的每一个包括：根据各种程序执行算术处理的微型计算机；存储由微型计算机执行的程序、用于各种操作的参数等的存储部分；以及驱动各种控制目标装置的驱动电路。控制单元中的每一个还包括：用于通过通信网络7010执行与其他控制单元的通信的网络接口(i/f)；以及用于通过有线通信或无线电通信执行与车辆内和外的装置、传感器等的通信的通信i/f。图68所示的集成控制单元7600的功能性配置包括微型计算机7610、通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车内装置i/f7660、声音/图像输出部分7670、车载网络i/f7680、以及存储部分7690。其他控制单元类似地包括微型计算机、通信i/f、存储部分等。
驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作以下各项的控制装置：用于生成车辆的驱动力的驱动力生成装置，诸如内燃机、驱动马达等；用于将驱动力传输至车轮的驱动力传输机构；用于调节车辆的转向角度的转向机构；用于生成车辆的制动力的制动装置等等。驱动系统控制单元7100可具有作为防抱死制动系统(abs)的控制装置、电子稳定性控制器等的功能。
驱动系统控制单元7100与车辆状态检测部分7110连接。车辆状态检测部分7110例如包括以下各项中的至少一个：检测车身的轴向旋转移动的角速度的陀螺仪传感器；检测车辆的加速度的加速度传感器；以及用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角度、发动机速度或车轮的旋转速度的传感器等等。驱动系统控制单元7100使用从车辆状态检测部分7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电子动力转向装置、制动装置等等。
车身系统控制单元7200根据各种程序控制被提供于车身的各种装置的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统、智能钥匙系统、电动窗装置、或诸如前灯、尾灯、刹车灯、转弯信号、雾灯的各种灯等等的控制装置。在这种情况下，可以将作为钥匙或各种开关的信号的替代方案从移动装置发射的无线电波输入至车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动窗装置、灯等等。
电池控制单元7300根据各种程序控制作为驱动马达的动力供应源的二次电池7310。例如，电池控制单元7300被提供来自包括二次电池7310的电池装置的关于电池温度、电池输出电压、电池中剩余的电荷的量等等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制被提供于电池装置的冷却装置等等。
车辆外部信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车辆外部信息检测单元7400与成像部分7410和车辆外部信息检测部分7420中的至少一个连接。成像部分7410包括渡越时间(tof)相机、立体相机、单目相机、红外线相机、以及其他相机中的至少一个。车辆外部信息检测部分7420例如包括用于检测当前大气状况或天气状况的环境传感器，以及用于检测包括车辆控制系统7000的车辆外周的另一个车辆、障碍物、行人等的外周信息检测传感器中的至少一个。
环境传感器例如可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器、以及检测下雪的雪传感器中的至少一个。外周信息检测传感器可以是超声波传感器、雷达装置、以及lidar装置(光检测与测距、或激光成像检测与测距装置)中的至少一个。成像部分7410和车辆外部信息检测部分7420中的每一个可以被提供为独立传感器或装置，或可以被提供为其中集成多个传感器或装置的装置。
图69描绘成像部分7410和车辆外部信息检测部分7420的安装位置的实例。成像部分7910、7912、7914、7916和7918例如设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置以及车辆内部挡风玻璃上部上的位置中的至少一个处。提供于前鼻的成像部分7910和提供于车辆内部挡风玻璃上部的成像部分7918主要获得车辆7900前方的图像。提供于侧视镜的成像部分7912和7914主要获得车辆7900侧面的图像。提供于后保险杠或后门的成像部分7916主要获得车辆7900后方的图像。提供于车辆内部挡风玻璃上部的成像部分7918主要用于检测前车、行人、障碍物、信号、交通标志、车道等。
附带地讲，图69描绘相应成像部分7910、7912、7914和7916的拍摄范围的实例。成像范围a代表提供于前鼻的成像部分7910的成像范围。成像范围b和c分别代表提供于侧视镜的成像部分7912和7914的成像范围。成像范围d代表提供于后保险杠或后门的成像部分7916的成像范围。当从上方观察时车辆7900的鸟瞰图像可以例如通过叠加由成像部分7910、7912、7914和7916成像的图像数据获得。
提供于车辆7900的前部、后部、侧面和拐角以及车辆内部挡风玻璃上部的车辆外部信息检测部分7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。提供于车辆7900的前鼻、后保险杠、车辆7900的后门、以及车辆内部挡风玻璃上部的车辆外部信息检测部分7920、7926和7930可以是例如lidar装置。这些车辆外部信息检测部分7920至7930主要用于检测前车、行人、障碍物等等。
返回图68，将继续描述。车辆外部信息检测单元7400使得成像部分7410对车辆外部的图像成像，并且接收所成像的图像数据。此外，车辆外部信息检测单元7400接收来自连接至车辆外部信息检测单元7400的车辆外部信息检测部分7420的检测信息。在车辆外部信息检测部分7420为超声波传感器、雷达装置、或lidar装置的情况下，车辆外部信息检测单元7400发射超声波、电磁波等并接收所接收的反射波的信息。基于所接收的信息，车辆外部信息检测单元7400可执行检测诸如道路表面上的人、车辆、障碍物、标志、字母等的对象的处理，或检测距其的距离的处理。车辆外部信息检测单元7400可基于所接收的信息执行识别下雨、雾、道路表面状况等的环境识别处理。车辆外部信息检测单元7400可基于所接收的信息计算距车辆外部的对象的距离。
此外，基于所接收的图像数据，车辆外部信息检测单元7400可执行识别道路表面上的人、车辆、障碍物、标志、字母等的图像识别处理，或检测距其的距离的处理。车辆外部信息检测单元7400可使所接收的图像数据经受诸如失真校正或对准等的处理，并且将通过多个不同的成像部分7410成像的图像数据组合以生成鸟瞰图像或全景图像。车辆外部信息检测单元7400可使用由包括不同的成像部件的成像部分7410成像的图像数据执行视点转换处理。
车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部分7510连接。驾驶员状态检测部分7510可包括用于对驾驶员成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如设置在座位表面、方向盘等中，并且检测坐在座位上的乘客或保持方向盘的驾驶员的生物信息。基于从驾驶员状态检测部分7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的集中程度，或可确定驾驶员是否在打盹。车内信息检测单元7500可使通过声音的收集获得的音频信号经受诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800通过能够由乘客进行输入操作的装置实现，诸如实现为触摸面板、按钮、麦克风、开关、杠杆等等。集成控制单元7600可通过麦克风被提供通过语音输入的语音识别获得的数据。输入部分7800可以是例如使用红外线或另外的无线电波的远程控制装置，或支持车辆控制系统7000的操作的外部连接装置，诸如移动电话、个人数字助理(pda)等等。输入部分7800可以是例如相机。在那种情况下，乘客可以通过手势输入信息。替代地，可以输入通过检测乘客穿戴的可穿戴装置的移动获得的数据。此外，输入部分7800可例如包括输入控制电路或类似物，其基于由乘客等使用上述输入部分7800输入的信息生成输入信号并且将所生成的输入信号输出至集成控制单元7600。乘客等通过操作输入部分7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。
存储部分7690可包括存储由微型计算机执行的各种程序的只读存储器(rom)，以及存储各种参数、操作结果、传感器值等的随机存取存储器(ram)。此外，存储部分7690可以通过磁存储装置诸如硬盘驱动器(hdd)等、半导体存储装置、光学存储装置、磁光存储装置等实现。
通用通信i/f7620是广泛使用的通信i/f，所述通信i/f介导与存在于外部环境7750中的各种设备的通信。通用通信i/f7620可实现蜂窝通信协议诸如全球移动通信系统(gsm)、全球微波接入互操作(wimax)、长期演进(lte))、高级长期演进(lte-a)等，或另一无线通信协议，诸如无线lan(也称为无线保真wi-fi(wi-fi))、蓝牙等。通用通信i/f7620可以，例如，通过基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信i/f7620可使用例如对等(p2p)技术连接至车辆附近存在的终端(所述终端为，例如，驾驶员、行人或商店的终端，或机器类型通信(mtc)终端)。
专用通信i/f7630是支持被开发用于在车辆中使用的通信协议的通信i/f。专用通信i/f7630可实现标准协议，诸如车辆环境中的无线接入(wave)(其为作为较低层的电气电子工程师协会(ieee)802.11p和作为较高层的ieee1609的组合)、专用近程通信(dsrc)、或蜂窝通信协议。专用通信i/f7630通常执行v2x通信，其为包括车辆与车辆之间的通信(车辆至车辆)、车辆与道路之间的通信(车辆至基础设施)、车辆与家庭之间的通信(车辆至家庭)、以及行人与车辆之间的通信(车辆至行人)中的一个或多个的概念。
定位部分7640，例如，通过接收来自gnss卫星的全球导航卫星系统(gnss)信号(例如，来自全球定位系统(gps)卫星的gps信号)执行定位，并且生成包括车辆的纬度、经度和海拔的位置信息。附带地讲，定位部分7640可通过与无线接入点交换信号来标识当前位置，或可从诸如移动电话、个人手持电话系统(phs)、或具有定位功能的智能电话的终端获得位置信息。
信标接收部分7650，例如，接收从安装在道路等上的无线电台发射的无线电波或电磁波，并且从而获得关于当前位置、拥堵、道路封闭、所需时间等的信息。附带地讲，信标接收部分7650的功能可包括在上述专用通信i/f7630中。
车内装置i/f7660是介导微型计算机7610与车辆内存在的各种车内装置7760之间的连接的通信接口。车内装置i/f7660可使用无线通信协议诸如无线lan、蓝牙、近场通信(nfc)、或无线通用串行总线(wusb)建立无线连接。此处，车内装置i/f7660可通过图中未描绘的连接终端(和线缆，如果必要的话)通过通用串行总线(usb)、高清晰度多媒体接口(hdmi)、移动高清晰度链路(mhl)等建立有线连接。车内装置7760可例如包括乘客所具有的移动装置和可穿戴装置、以及承载于或附接于车辆的信息装置中的至少一个。车内装置7760还可包括搜索到任意目的地的路径的导航装置。车内装置i/f7660与这些车内装置7760交换控制信号或数据信号。
车载网络i/f7680是介导微型计算机7610与通信网络7010之间的通信的接口。车载网络i/f7680根据通信网络7010所支持的预先确定的协议发射和接收信号等。
集成控制单元7600的微型计算机7610基于通过通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车内装置i/f7660、以及车载网络i/f7680中的至少一个获得的信息根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于关于车辆内部和外部的所获得的信息计算驱动力生成装置、转向机构、或制动装置的控制目标值，并且将控制命令输出至驱动系统控制单元7100。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(adas)的功能的协同控制，所述功能包括车辆的碰撞避免或冲击减轻、基于跟车距离的跟车、保持车辆速度的驾使、车辆碰撞的警告、车辆偏离车道的警告等。此外，微型计算机7610可执行旨在用于自动驾驶的协同控制，其基于关于车辆周围的所获得信息通过控制驱动力生成装置、转向机构、制动装置等使得车辆自动行驶而不取决于驾驶员的操作等等。
微型计算机7610可基于通过通用通信i/f7620、专用通信i/f7630、定位部分7640、信标接收部分7650、车内装置i/f7660、以及车载网络i/f7680中的至少一个获得的信息生成车辆与诸如周围建筑物、人等等的对象之间的三维距离信息，并且生成包括关于车辆的当前位置周围的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测危险，诸如车辆的碰撞、行人等的接近、进入封闭的道路等等，并且生成警告信号。警告信号可以是，例如，用于产生警告声音或点亮警告灯的信号。
声音/图像输出部分7670将声音和图像中的至少一个的输出信号传输至输出装置，所述输出装置能够以视觉或听觉方式将信息通知给车辆的乘客或车辆的外部。在图68的实例中，作为输出装置示出音频扬声器7710、显示部分7720、以及仪表板7730。显示部分7720可例如包括板载显示器和平视显示器中的至少一个。显示部分7720可具有增强现实(ar)显示功能。输出装置可以是除这些装置之外的装置，并且可以是另一个装置诸如耳机、可穿戴装置诸如由乘客等穿戴的眼镜型显示器、投影仪、灯等等。在输出装置为显示装置的情况下，显示装置以诸如文本、图像、表格、图表等等的各种格式以视觉方式显示通过由微型计算机7610执行的各种处理获得的结果或从另一个控制单元接收的信息。此外，在输出装置为音频输出装置的情况下，音频输出装置将由再现音频数据或声音数据等构成的音频信号转换成模拟信号，并且以听觉方式输出模拟信号。
附带地讲，在图68中描绘的实例中通过通信网络7010彼此连接的至少两个控制单元可被集成为一个控制单元。另选地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括在图中未描绘的另一个控制单元。此外，由以上描述中的控制单元中的一个执行的部分或全部功能可分配给另一个控制单元。也就是说，预先确定的算术处理可通过控制单元中的任一个执行，只要通过通信网络7010发射和接收信息即可。类似地，连接至控制单元中的一个的传感器或装置可连接至另一个控制单元，并且多个控制单元可通过通信网络7010互相发射和接收检测信息。
应当指出，用于实现参考图1至66的根据本发明实施例的图像显示系统10(400)的功能的计算机程序可结合到一些控制单元或类似物中。此外，还可以提供其中存储了如刚才所述的这种计算机程序的计算机可读记录介质。记录介质可以是，例如，磁盘、光盘、磁光盘、闪存存储器等等。此外，上述计算机程序可以例如通过网络分发，而不使用记录介质。
在上述车辆控制系统7000中，上文参考图1至66所述的根据本发明实施例的图像显示系统10(400)可应用于图68所描绘的应用实例的车辆控制系统7000。例如，图像显示系统10(400)的多相机11至少对应于成像部分7410的一部分。此外，内容服务器12、家庭服务器13(分发服务器401、网络402和再现设备403)以及转换设备14被集成并且对应于集成控制单元7600的微型计算机7610和存储部分7690。头戴式显示器15对应于显示部分7720。应当指出，在图像显示系统10(400)应用于车辆控制系统7000的情况下，不提供相机13a、标记物15a和陀螺仪传感器15b，并且观察者的视线方向和观察位置通过作为观察者的乘坐者对输入部分7800的操作输入。通过以如上所述的这种方式将图像显示系统10(400)应用于图68中描绘的应用实例的车辆控制系统7000，可以使用全方位图像生成高画面质量的显示图像。
此外，上文参考图1至66所述的图像显示系统10(400)的部件的至少一部分可以通过用于图68中描绘的集成控制单元7600的模块实现(例如，通过由一个管芯构成的集成电路模块实现)。作为替代形式，参考图1至66所描述的图像显示系统10(400)可通过图68中描绘的车辆控制系统7000的多个控制单元实现。
在本说明书中，术语系统用于表示包括多个构成元件(装置、模块(零件)等)的集合体并且不在乎是否所有构成元件均容纳在同一个壳体中。因此，容纳在独立的壳体中且通过网络彼此连接的多个设备构成一个系统，并且另外，包括容纳在单一壳体中的多个模块的一个设备构成一个系统。
应当指出，本文所述的有益效果最终是说明性的且不是限制性的，并且可获得其他优点。
此外，本公开的实施例不限于上文所述的实施例，并且在不脱离本公开的主题的情况下各种更改是可能的。
例如，本公开可假设用于群计算的配置，其中一个功能由多个装置通过网络共享且协作处理。
此外，上文结合流程图所描述的步骤可通过单个设备执行或可通过多个设备共享执行。
此外，在一个步骤包括多个过程的情况下，包括在一个步骤中的多个过程可通过单个装置执行并且还可通过多个设备共享执行。
应当指出，本公开可呈现如下所述的这种配置。
(1)
一种图像处理设备，包括：
接收部分，其被配置成接收传输信息，其中辅助信息被添加至第一层的纹理信息、所述第一层的深度信息、第二层的纹理信息或所述第二层的深度信息中的至少一个；以及
辅助信息利用部分，其被配置成针对所述第一层的所述纹理信息、所述第一层的所述深度信息、所述第二层的所述纹理信息或所述第二层的所述深度信息中的至少一个使用所述辅助信息执行预定的图像处理。
(2)
根据以上(1)所述的图像处理设备，其中
所述第一层的所述纹理信息和所述深度信息包括全方位图像的纹理图像和深度图像，并且
所述第二层的所述纹理信息和所述深度信息包括所述第一层的所述纹理图像的视点处的遮挡区域中的纹理图像和深度图像。
(3)
根据以上(1)或(2)所述的图像处理设备，其中
所述辅助信息被放置在与放置添加目标的所述纹理信息和所述深度信息的层级结构相同的层级结构中。
(4)
根据以上(1)或(2)所述的图像处理设备，其中
所述辅助信息被放置在与放置添加目标的所述纹理信息和所述深度信息的层级结构不同的层级结构中。
(5)
根据以上(4)所述的图像处理设备，其中
放置所述辅助信息的所述添加目标的所述纹理信息和所述深度信息的所述层级结构通过参考层信息标识。
(6)
根据以上(4)所述的图像处理设备，其中
在放置所述辅助信息的所述层级结构中，还放置了与为所述添加目标的所述深度信息相同的深度信息。
(7)
根据(1)至(3)中任一项所述的图像处理设备，其中
所述深度信息放置在4:2:0yuv格式的y分量中，并且
所述辅助信息放置在所述4:2:0yuv格式的cb分量或cr分量中的至少一个中。
(8)
根据(1)至(7)中任一项所述的图像处理设备，其中
所述辅助信息为代表比所述纹理信息的颜色信息更高的频率分量的颜色的高频信息。
(9)
根据(1)至(8)中任一项所述的图像处理设备，其中
所述辅助信息是代表多边形的前方/后方的多边形前方/后方信息。
(10)
根据(1)至(9)中任一项所述的图像处理设备，其中
所述辅助信息是用于标识所述纹理信息的“有效区域”、“不必要区域”以及“假想区域”的区域标识信息。
(11)
一种图像处理方法，其包括通过图像处理设备执行的以下步骤：
接收传输信息，其中辅助信息被添加至第一层的纹理信息、所述第一层的深度信息、第二层的纹理信息或所述第二层的深度信息中的至少一个；以及
针对所述第一层的所述纹理信息、所述第一层的所述深度信息、所述第二层的所述纹理信息或所述第二层的所述深度信息中的至少一个使用所述辅助信息执行预定的图像处理。
(12)
一种图像处理设备，包括：
图像生成部分，其被配置成生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息；以及
辅助信息生成部分，其被配置成生成将被添加至所述第一层的所述纹理信息、所述第一层的所述深度信息、所述第二层的所述纹理信息或所述第二层的所述深度信息中的至少一个的辅助信息。
(13)
根据以上(12)所述的图像处理设备，其中
所述第一层的所述纹理信息和所述深度信息包括全方位图像的纹理图像和深度图像，并且
所述第二层的所述纹理信息和所述深度信息包括所述第一层的所述纹理图像的视点处的遮挡区域中的纹理图像和深度图像。
(14)
根据以上(12)或(13)所述的图像处理设备，其中
所述辅助信息被放置在与放置添加目标的所述纹理信息和所述深度信息的层级结构相同的层级结构中。
(15)
根据以上(12)或(13)所述的图像处理设备，其中
所述辅助信息被放置在与放置添加目标的所述纹理信息和所述深度信息的层级结构不同的层级结构中。
(16)
根据以上(15)所述的图像处理设备，其中
放置所述辅助信息的所述添加目标的所述纹理信息和所述深度信息的所述层级结构通过参考层信息标识。
(17)
根据以上(15)所述的图像处理设备，其中
在放置所述辅助信息的所述层级结构中，还放置了与为所述添加目标的所述深度信息相同的深度信息。
(18)
根据(12)至(14)中任一项所述的图像处理设备，其中
所述深度信息放置在4:2:0yuv格式的y分量中，并且
所述辅助信息放置在所述4:2:0yuv格式的cb分量或cr分量中的至少一个中。
(19)
一种图像处理方法，其包括通过图像处理设备执行的以下步骤：
生成第一层的纹理信息和深度信息以及第二层的纹理信息和深度信息；以及
生成将被添加至所述第一层的所述纹理信息、所述第一层的所述深度信息、所述第二层的所述纹理信息或所述第二层的所述深度信息中的至少一个的辅助信息。
附图标记列表
12内容服务器；13家庭服务器；34高分辨率图像处理部分；52第一层生成部分；54第二层生成部分；231接收部分；235至237ml3d模型生成部分；239绘制部分；2623d模型生成部分；601辅助信息生成部分；602传输信息生成部分；621传输头信息设定部分；622层级结构头信息设定部分；623元素头信息设定部分；624元素信息设定部分；625元素信息编码部分；651传输信息分析部分；651a解码器；671传输头信息分析部分；672层级结构头信息分析部分；673元素头信息分析部分；674元素信息解码部分；675元素信息分发部分；701辅助信息利用部分；501cpu；502rom；503ram；506输入部分；507输出部分；508存储部分；509通信部分；510驱动器。
- 还没有人留言评论。精彩留言会获得点赞！