进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序的制作方法

专利名称：进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序的制作方法
技术领域：
本发明涉及3D模型的合成技术的技术领域。
背景技术：
3D模型的合成技术是指与粘贴背景图像的背景立体模型一起显示由三维建模数据定义的前景立体模型的技术。这里，在粘贴于背景立体模型上的背景图像中具有街景。街景是指，在服务器上对在各个道路上的地点拍摄的360度全景图像进行管理，通过WEB浏览器等下载任意地点的道路上的风景，再现360度的全周围全景图像。如果将表示行进方向的箭头图形的前景立体模型、作为道路标识的前景立体模型合成到街景中，则用户能够掌握在街景中向哪里行进、以及当前位置是哪里。而且，如果根 据针对该图示用户接口即前景立体模型的用户操作来切换显示街景，则能够提高对话性。作为与街景有关的现有技术，具有以下专利文献1、2所记载的技术。现有技术文献专利文献专利文献I :日本特表2010-531007专利文献2 :日本特开2005-16561
发明内容
发明要解决的课题但是，作为近年来的倾向，不仅平面视街景，还流行在立体视街景中合成由三维建模数据定义的前景立体模型。作为立体视街景的实现方法，在由三维建模空间定义的背景立体模型中粘贴背景图像作为纹理，在预先确定的视点位置投影背景立体模型，从而得到窗口图像，使该窗口图像立体化。这样，能够实现可以张望全周围的立体视街景。这里，作为GUI部件的前景立体模型或用于粘贴的背景立体模型由三维建模空间定义。由此，如果在三维建模空间内对作为GUI部件的前景立体模型的位置进行调整，则前景立体模型和背景立体模型不会发生干涉。但是，在3D立体视街景的情况下，不仅在3D虚拟空间内的球面中存在进深，在粘贴于立体模型上的纹理中也产生进深，所以，多数情况下，在三维建模空间内设定的进深方向的值与实际对用户提供的进深不同。即，在街景的立体视化时，在三维建模空间中的位置关系的调整不足，存在于纹理内的客体由于立体视效果而从画面内突现，与前景立体模型发生干涉的情况必定进入视野。这里，将存在于背景图像的构图内的客体、即立体视再现时具有进深感的部分称为“纹理内目标”。根据深度图像中的各个像素的亮度确定纹理内目标的进深，所以，在三维建模空间中，坐标的比例尺不同，在坐标值的简单比较中，无法判断前景立体模型与纹理内目标的前后关系。因此，当希望利用与平面视街景相同的方法实现3D立体视街景时，在与背景图像重叠的CG目标之间，进深方向的匹配性可能矛盾，存在可能成为具有不舒适感的街景的课题。关于对CG和实拍立体图像进行合成而生成没有不舒适感的立体视图像的技术，已经记载于日本特开2005-165614 (专利文献2)中，但是，没有考虑到将实拍立体图像用作纹理。关于作为合成对象的背景立体模型，在粘贴有街景的立体模型、前景立体模型为GUI部件这样的假设下提示了技术课题，但是，该假设只不过是在说明上述技术课题时选择身边的题材，本申请中作为对象的技术课题不限于上述例子的情况。上述技术课题可以涉及将纹理具有进深感的立体模型合成到其他立体模型中的处理全部，在不久的将来，使上述技术在工业产品中实用化时，是本申请的技术领域的从业人员必须直面的技术屏障。本发明的目的在于，提供如下的图像描绘装置在粘贴于球面模型上的纹理内的目标具有进深感的情况下，也能够良好地进行该纹理内目标与前景立体模型的合成。
用于解决课题的手段用于解决该课题的图像描绘装置实现对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视，其特征在于，该图像描绘装置具有坐标变换部，将规定背景立体模型和前景立体模型的形状的建模数据中的顶点坐标变换为三维建模空间中的三维坐标；纹理映射部，将背景图像数据变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型；窗口变换部，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理；以及管理部，对前景立体模型和背景立体模型进行管理，2个以上的视点纹理具有纹理内目标，所述管理部通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，进行使纹理内目标的位置与前景立体模型的位置相匹配的操作。发明效果在将前景立体模型作为立体视对象的情况下，通过对在前景立体模型中赋予的视差和在纹理内目标中赋予的视差进行对比，判定纹理内目标与前景立体模型的前后关系，所以，不需要进行坐标系的变换，能够良好地判断纹理内目标与前景立体模型的前后关系。根据该结果，如果实现前景立体模型与纹理内目标的前后关系的调整，则能够在立体视街景上实现不与纹理内目标发生干涉的良好的⑶I。在根据用户操作事件、通信事件等外部事件而使前景目标移动/变形的情况下，也能够得到不使前景立体模型与纹理内目标发生干涉的保障。由此，在街景的再现时，能够实现良好地追随用户操作的立体视街景。这里，通过在该图像描绘装置的发明中追加其他的发明特定事项，并且，将该图像描绘装置的发明的发明特定事项从上位概念的事项置换为下位概念的事项，能够进一步使上述图像描绘装置的发明发挥效果。这些发明特定事项的追加、发明特定事项的下位概念化的变化如下所述，这些变化在技术方案中进行区分而记载于技术方案2以下的从属技术方案中。虽然是任意的，但是也可以是，通过由坐标变换部将三维建模空间中的前景立体模型的配置位置变更为远离背景立体模型的位置，从而进行使所述目标的位置相匹配的操作。能够实现如下的画面演出在街景服务中使视点移动时，如果位于远方的大厦变近，则伴随该接近，前景立体模型退出到近前侧。由此，能够实现与街景中的大厦的运动连动的崭新的画面演出。虽然是任意的，但是也可以是，通过取得与背景图像数据有关的深度图像，并执行基于该深度图像的基于深度图像的绘制，从而从背景图像数据变换为2个以上的视点纹理，通过对深度图像进行校正，对背景图像数据实施基于校正后的深度图像的基于深度图像的绘制，再次生成2个以上的纹理，从而进行使所述目标的位置相匹配的操作。固定前景立体模型的进深，再次生成纹理映射用的纹理，由此退避背景图像，所以，如果前景立体模型向前方行进，则背景退避，能够实现张望宽广景色的画面演出。由此，能够实现与其他公司产品之间的差别化。虽然是任意的，但是也可以是，通过对窗口图像中构成前景立体模型的像素群中 的、具有比纹理内目标的进深大的进深的像素实施掩模，并描绘其余像素，从而进行使所述目标的位置相匹配的操作。能够在一般的计算机图形处理的CG处理中的窗口变换中的掩模处理的延长线上，实现与纹理内目标之间的位置匹配，能够容易地进行软件安装。虽然是任意的，但是也可以是，通过取得背景深度图像数据，并执行基于背景深度图像数据的基于深度图像的绘制，从而生成2个以上的视点纹理，通过将纹理内目标变换为建模数据，将规定变换后的纹理内目标的形状的三维坐标与规定前景立体模型的三维坐标一起存储在进深缓存中，接通深度测试功能，执行基于进深缓存中的三维坐标的照度计算，从而进行使所述目标的位置相匹配的操作。能够在一般的计算机图形处理中的指定了深度测试的照度计算的延长线上，实现与纹理内目标之间的位置匹配，能够容易地进行软件安装。虽然是任意的，但是也可以是，根据2个以上的视点纹理中的任意一方中的像素和与其他视点对应的视点纹理中的像素的视差，计算对所述变换后的纹理内目标进行变换而得到的建模数据中的三维坐标中的Z坐标。进行基于深度图像的基于深度的绘制，求出与背景图像对应的2个以上的视点图像纹理中的视差，由此，能够导出将纹理内目标变换为建模数据时的视差。虽然是任意的，但是也可以是，在视线方向发生变化的情况下，窗口变换部从映射了任意一个视点纹理的背景立体模型和前景立体模型中，再次提取与变化后的视线方向对应的窗口图像，通过对再次提取而得到的窗口图像执行基于背景深度图像数据的基于深度图像的绘制，从而得到2个以上的视点窗口图像。不用重新进行坐标变换和照度计算(纹理映射处理)，通过重新进行窗口变换，能够实现与纹理内目标之间的位置匹配。由此，能够实现迅速追随用户操作的立体视显示。虽然是任意的，但是也可以是，使所述目标的位置相匹配的处理通过对规定前景立体模型的形状的顶点坐标进行操作而对前景立体模型实施几何学变换。能够实现根据与街景中的物体之间的位置关系而使前景立体模型的形状变化的画面演出。虽然是任意的，但是也可以是，根据三维建模空间中的视点位置提取窗口图像，通过对视点位置进行变更，从而进行使所述目标的位置相匹配的处理。不用重新进行坐标变换和照度计算(纹理映射处理)，通过重新进行CG处理中的窗口变换，能够实现与纹理内目标之间的位置匹配。由此，能够实现迅速追随用户操作的立体视显示。虽然是任意的，但是也可以是，在假设前景立体模型的坐标S配置在左眼窗口上的坐标SL、配置在右眼窗口上的坐标SR的情况下，前景立体模型中的视差是在点SL与点SR之间产生的视差PS，由下述数学式(I)表示，数学式(I)PS=2p* (Sz-D) /SzSz是视图坐标系中的前景图像的进深方向的坐标，D是从照相机到显示器的距离，2p是左眼用照相机与右眼用照相机之间的距离。
只要是Sz这样的三维建模空间内的坐标值，就能够使用D、P这样的固定的参数求出前景立体模型中的视差。由此，在目标的前后关系的判定或位置调整中不会产生运算负荷。虽然是任意的，但是也可以是，在假设粘贴在背景立体模型的内侧表面上的纹理内目标的坐标B配置在左眼窗口上的坐标(BLx、BLy, BLz)、粘贴在背景立体模型的内侧表面上的背景图像数据的坐标B配置在右眼窗口上的(BRx、BRy、BRz)的情况下，纹理内目标的视差是在点BL与点BR之间产生的视差PB，由下述数学式(2)表示，数学式(2)PB= { (D*BRx+p* (BRz-D)) /BRz}-{ (D*BLx_p* (BLz-D))/BLz}D是从照相机到显示器的距离，P是左眼用照相机与右眼用照相机之间的距离的一半。如果将左眼图像输出时的纹理内目标的坐标BLX、BLZ和右眼图像输出时的纹理内目标的坐标BRX、BRZ应用于上述数学式，则能够使用固定的参数即D、P来计算视差PB。虽然是任意的，但是也可以是，图像描绘装置具有位置方向判定部，根据用户操作来判定地图上的当前视点位置和当前视线方向；以及下载单元，使用与地图上的当前视点位置对应的地理信息生成图像取得请求，将其发生到图像收集服务器，从而下载街景文件，从图像收集服务器发送来的街景文件具有与图像取得请求中包含的地理信息一致的拍摄地属性，所述背景图像数据存在于所下载的街景文件内。将存在于照片文件中的地理信息作为关键字，使服务器进行背景图像的检索，取得期望的街景文件，所以，在图像描绘装置被组入数字电视机中的情况下，能够实现使数字电视机与立体视照相机协作的新型服务。由此，在捆绑销售数字电视机和立体视照相机的情况下，能够实现与竞争商品之间的差别化。虽然是任意的，但是也可以是，图像描绘装置具有位置方向判定部，根据用户操作来判定地图上的当前视点位置和当前视线方向；以及下载单元，使用与地图上的当前视点位置对应的地理信息生成图像取得请求，将其发生到图像收集服务器，从而下载街景文件，从图像收集服务器发送来的街景文件具有与图像取得请求中包含的地理信息一致的拍摄地属性，所述背景图像数据存在于所下载的街景文件内。用户能够在视点周边图像中出现的范围内自由改变视线，能够实现随后体验功能的充实化。


图I示出立体视全景检索服务的全体结构。图2是示意地示出作为街景对象的虚拟空间的图。图3示出横排粘贴多个背景图像的球面模型的内侧表面。图4示出在三维建模空间中在立体视再现时生成的2个球面模型。图5示出根据在球体的内侧表面粘贴的背景图像而生成多视点图像的过程。图6示出粘贴了左位移后的全周围图像和右位移后的全周围图像的状态的球面模型。图7示出左眼用纹理和右眼用纹理的配置。 图8示出前景图像与背景图像的合成。图9示出随后体验影像的一例。图10示出街景导航的画面结构的一例。图11是示出实施方式I中的图像描绘装置的输入输出方式的一例的图。图12是示出图像描绘装置的使用方式的一例的图。图13是示出实施方式I中的图像描绘装置的内部结构的框图。图14示出描绘控制部5的内部结构。图15示出全周围图像的一例、以及针对全周围图像生成的深度图像的一例。图16示出在图像中存在于坐标(X、y)的像素Pix (x、y)和在深度图像中存在于坐标(X、y)的像素 depth (x、y)。图17示出通过像素电平的位移而在左眼用纹理和右眼用纹理中具有什么样的视差。图18对比示出粘贴有左眼用纹理和右眼用纹理的球面模型所存在的三维建模空间和深度空间。图19示出窗口深度、左眼窗口图像、右眼窗口深度图像。图20是示出目标管理部25的内部结构的图。图21是用于说明窗口中的Π目标的投影像的图。图22是三维建模空间的立体图。图23示出三维建模空间内的左眼用照相机CL、右眼用照相机CR、投影范围的设定的一例。图24示出配置有照相机CL、CR的X-Z平面。图25示出三维建模空间中的左眼用照相机CL和右眼用照相机CR与窗口之间的关系。图26示出构成纹理内目标的像素B如何映入窗口中。图27示出写入左眼窗口和右眼窗口中的Π目标中的进深最深的前端部的视差比纹理内目标的视差大的情况。图28示出包括粘贴有左眼用纹理和右眼用纹理的球面模型在内的三维建模空间、深度空间。图29示出Π目标的位置调整的过程。
图30是示出纹理再次生成的过程的图。图31示出掩模图案再次生成的过程。图32示出几何学变换的过程。图33是示出街景再现顺序的流程图。图34示出视点位置变更时和视线方向变更时的深度空间的迁移。图35是示出用于使前后关系一致的UI目标的操作顺序的流程图。图36是示出实施方式2中的描绘控制部的内部结构的框图。图37是示出实施方式3中的描绘控制部的内部结构的框图。 图38示出根据左眼窗口图像和窗口深度执行DIBR并生成右眼窗口图像的过程。图39是图像描绘装置的硬件结构图。图40是示出GPU的内部结构的图。图41是球面模型与纹理的对应、以及用于实现纹理映射的API调出的描述例。
具体实施例方式具有上述课题解决手段的图像描绘装置的发明能够作为用于再现街景的数字家电设备来实施，集成电路的发明能够作为组入该数字家电设备中的系统LSI来实施。图像描绘方法的发明能够作为在该数字家电设备中实现的时序顺序来实施。图像描绘程序的发明能够作为记录在计算机可读取的非临时的记录介质中并安装在数字家电设备中的执行形式程序来实施。在图像描绘装置的说明之前，对图像描绘装置的使用环境即立体视全景检索服务的全体结构进行说明。图I示出立体视全景检索服务的全体结构。全景收集服务器1001是将从世界中收集的背景图像与深度数据和地形数据相对应地存储的服务器，根据来自客户端装置的请求，与深度图像和地形数据一起发送视点周围图像。背景图像是在专用的拍摄车辆的行驶中拍摄的。深度数据表示在该拍摄时取得的地标的进深。进而，视点周围图像表示从与对全景收集服务器1001发送的图像取得请求中的地理信息对应的地理位置张望周围时的光景。视点周围图像例如是张望90度、120度、180度、360度这样的较宽视野的图像，特别地，将张望360度视野的视点周围图像称为全景图像或全周围图像。为了便于说明，在以后的说明中，假设视点周围图像为张望360度视野的全景图像即全周围图像。该拍摄车辆具有多个照相机，在多个照相机中，通过纵4X横7的背景图像表示车辆所在的场所。深度图像通过像素的亮度表示深度数据中的地标的进深，表示背景图像的进深。即，深度图像的各个像素成为表示背景图像的各个像素的进深的进深信息客户端装置1002是数字电视机等网络对应的家电设备，对服务器发送下载请求mgl，并接收全周围图像mg2、深度图像mg3。使用该全周围图像执行3D街景。该下载请求包括纬度、经度、海拔的信息，能够请求发送地球上的任意场所的全周围图像。在用户希望视听立体视的街景的情况下，由用户佩戴眼镜1003。这里的立体视通过多视点图像群实现。这里，多视点图像群是如左眼图像、右眼图像、中央、右斜上图像、右斜下图像、左斜上图像、左斜下图像那样、通过与2个以上的视点对应的视点图像实现立体视的视点图像的集合体。对多视点图像群的全部变化进行说明时，说明变得烦杂，所以，在以后的说明中，设多视点图像群是由必要最低限度的视点图像组、即左眼图像和右眼图像的组构成的立体图像群，从而进行说明。图2是示意地示出街景立体视系统的图。本图的上半部分是模型所在的虚拟空间，下半部分是客户端装置1002、眼镜1003所在的现实空间。首先，对虚拟空间进行说明。虚拟空间是指由用于配置三维坐标的坐标系规定的三维建模空间，该三维坐标规定立体模型的几何学形状。立体模型的形状不限。可以是圆柱、圆锥、三角锥、椭圆体等的任意形状的三维模型，但是，为了便于说明，在以后的说明中，设为球面模型进行说明。作为立体模型的球体的中心是照相机的位置。为了简化，仅描绘一个球面模型，但是，在立体视时，存在分别与左眼用、右眼用有关的球面模型。图中的照相机CL是配置在从球面模型中心向右侧隔开P的位置的照相机。照相机CR是配置在从球面模型中心向左侧隔开P的位置的照相机。这些照相机CL、CR成为左眼拍摄时、右眼拍摄行为时的球面模型的中心位置。在该立体模型的斜上方配置有结合了纵4X横7的背景图像的全周围图像。全周围图像具有右眼用的全周围图像ml和左眼用的全周围图像m2，在右眼用纹理和左眼用纹 理中，三维建模空间中的配置位置不同。在本图中，仅描绘球面模型的上半部分，但是，实际上还存在下半部分。并且，关于全周围图像，也仅描绘上半部分，但是，实际上还存在下半部分。接着，对球面模型进行说明。在球体的内侧表面存在右眼用纹理的粘贴范围m4和左眼用纹理的粘贴范围m5。球面模型中的粘贴范围是指在球面模型中由4个或3个交点规定的网格。该网格具有球面模型的曲率，被定义为将球面模型的极坐标作为顶点的三角形带的一部分或全部。在纹理映射时，设图形类型为三角形带，通过与存储有背景图像的正文缓存坐标进行对应，执行图形描绘。在纹理的近前存在显示面，在该显示面中定义窗口 mg6。窗口规定三维建模空间中的用于显示的部分。投影到该窗口中的影像用于再现。窗口存在于左眼投影范围和右眼投影范围交叉的场所。即，窗口配置在左眼用和右眼用共同的位置。在球面模型的内侧粘贴的纹理是全周围图像，所以，张望360°的全周围。如果将三维建模空间中的球面模型展开为墨卡托图形，则成为全周围图像。半球体中的纵2X横7的网格的个数与全周围图像中的纵2X横7的背景图像的个数一致。S卩，进行将全周围图像中的各个背景图像变换为纹理、并粘贴在球面模型的各个网格中的纹理映射。以上是与虚拟空间有关的说明。接着，对现实空间进行说明。在本图中，在作为立体模型的球体的正下方描绘客户端装置1002和佩戴了眼镜1003的用户的面部。客户端装置1002的显示画面存在于球面模型内的窗口的正下方。并且，眼镜1003存在于比照相机CL、CR的正下方更靠里侧。这是因为，用户的右眼、左眼成为照相机CL、CR的位置，所以，眼镜1003必须配置在其附近。如上所述，照相机CL、CR的位置与用户的右眼、左眼相当，窗口与客户端装置1002的画面相当，所以，在客户端装置1002与用户之间出现立体视图像。在虚拟空间中，房屋以平面方式表现，但是，在现实空间中，房屋成为从客户端装置1002的画面中突现的形式。图3示出从球面模型中心对粘贴在球面内侧的纹理进行视听的状态。图3示出横排粘贴多个背景图像的球面模型的内侧表面。在图3中，在正面配置近代的教堂，在右手侧存在滑梯。它们粘贴在球体的内侧表面，所以，当在截面圆的中心配置照相机的情况下，以从全周围包围该照相机的方式配置背景图像。在该球面模型中粘贴的纹理伴随由地球上的纬度、经度、海拔确定的视点位置而变化。即，在用户进行了视点位置的变更操作的情况下，影像提供装置对由地球上的地理信息(纬度、经度、海拔等)确定的当前视点位置进行更新，下载与更新后的当前视点位置一致的全周围图像，将该全周围图像粘贴在球面模型中，进行再次描绘。在图2的球面模型中，照相机存在于球面模型的中心，但是，这是用于平面视的照相机位置，立体视的照相机位置不同。在立体视时，通过在从球面模型中心隔开P的位置配置照相机，得到2个球面模型。图4示出在三维建模空间中在立体视再现时生成的2个球面模型。图4 (a)是左眼用的球面模型，在内侧粘贴有通过对横向结合了横7张背景图像的图像执行DIBR而生成的左眼图像。图4 (b)是通过对(a)的图像执行基于深度图像的基于深度的绘制而生成的右眼图像，在内侧粘贴有通过对横向结合了横7张背景图像的图像执行基于深度图像的基于深度的绘制而生成的右眼图像。设构成全周围图像的横7张图像为图像A、B、C、D、E、F、G。对如何根据该图像A G生成右眼用纹理和左眼用纹理进行说明。图5示出根据在该球体的内侧表面粘贴的背景图像而生成多视点图像的过程。(a)示出如下的一例在通过对球体内侧表面进行分割而得到的7个分割区域中，按照A — B — C — D — E的顺序粘贴构成全周围图像的横7张图像中的A、B、C、D、E这5张背景图像。对图5 (a)的图像A、图像B、图像C、图像D、图像E进行说明。在图像A中，设由于基于DIBR的位移而使坐标变化的像素集合为AL、AM、AR。在图像B中，设由于基于DIBR的位移而使坐标变化的像素集合为BL、BM、BR，在图像C中，设由于基于DIBR的位移而使坐标变化的像素集合为CL、CM、CR。在图像D中，设由于基于DIBR的位移而使坐标变化的像素集合为DL、DM、DR，在图像E中，设由于基于DIBR的位移而使坐标变化的像素集合为EL、EM、ER。这些像素群在图像中呈现“V”的形状。在左眼用纹理的生成中，结合图像A E来执行DIBR。由此，左端部分的像素在显示区域外，所以，在相邻图像即图像A、B、C、D、E的右侧端部追加图5 Ca)中的像素集合BL、CL、DL、EL、FL。该结果为图5 (b)。如图5 (b)所示，左眼用纹理由包含像素群AM、AR、BL的图像A (L);包含像素群BM、BR、CL的图像B (L);由像素群CM、CR、DL构成的图像C(U;包含像素群DM、DR. EL的图像D (L);以及包含像素群EM、ER、FL的图像E (L)构成。由于是纸面上的情况，所以，在图5中省略图像F、G的图示，但是，图像F、G也进行与本图相同的处理。在右眼用纹理的生成中，结合图像A E来执行DIBR。由此，右端部分的像素在显示区域外，所以，在相邻图像即图像A、B、C、D、E的左侧端部追加图5 Ca)中的像素集合GR、AR、BR、CR、DR。该结果为图5 (C)。如图5 (c)所示，右眼用纹理由包含像素群GR、AL、Am的图像A (R);包含像素群AR、BL、Bm的图像B (R);由像素群BR、CL、Cm构成的图像C(R);包含像素群CR、DL、Dm的图像D (R);以及包含像素群DR、EL、Em的图像E (R)构成。图6 (a)示出在球面内侧粘贴图5 (b)的左位移后的像素时的纹理。图6 (b)示出在球面内侧粘贴图5 (c)的右位移后的像素时的纹理。图7(a)示出在图I的三维建模空间中左眼用纹理、右眼用纹理与窗口的关系。图7 (a)是左眼用纹理的配置。在本图中，在左眼用照相机的视线矢量前方配置左眼用纹理，在球面模型内侧粘贴左眼用纹理。由此，与窗口相当的部分被用于显示。图7 (b)是右眼用纹理的配置。在本图中，在右眼用照相机的视线矢量前方配置右眼用纹理，在球面模型内侧粘贴右眼用纹理。由此，与窗口相当的部分被用于显示。图8示出前景图像与背景图像的合成。(a)是作为题材的前景图像，这是以近代的教堂为背景、新郎和新娘相互面对的内容的抓拍照片。该近代的教堂也存在于背景图像中，所以，教堂的轮廓线形状成为前景图像和背景图像的共同特征。图8 (b)示出前景图像与背景图像的匹配。通过该匹配，能够得到表示背景图像和前景图像的对应关系的变换矩阵，所以，如果根据该矩阵对前景图像的深度图像进行变换后进行DIBR，则得到与背景图像没有不舒适感的合成图像。以该图8的合成为前提，能够实现随后体验。图9示出画面合成的一例。视线胃1表示通过眼镜1003对右眼进行遮光时的影像的入射。视线vw2表示通过眼镜1003对左眼进行遮光时的影像的入射。通过该wl对左眼图像进行视听。并且，通过w2对右眼图像进行视听。通过佩戴眼镜1003，用户交替视听右眼图像和左眼图像，再现立体视图像。图9的图像是通过根据变换矩阵对窗口中得到的前景图像和背景图像进行合成而得到的立体视图像。以在球面体内部粘贴的多个背景图像为背景来显示人物，所以，得到临场感高的立 体视影像。如上所述，如果从服务器取得与照片的全局位置一致的全周围图像，则能够在与该照片一致的全周围图像中合成照片。并且,能够在街景中合成UI目标。图10示出合成了 UI目标的街景。方向导航ui在视觉上显示当前的视线方向。指示器irl、ir2表示当前的视点位置所在的地名(Ioss-LessCitycentral park)和建筑物的名称(CABAC church)。十字按钮bn2在变更当前视点位置的情况下受理其行进方向的选择。变焦放大按钮bn3在不改变视点位置和视线方向的状态下受理显示内容的放大/缩小操作。角度按钮bn4受理当前视线方向的右旋转、左旋转的指定。这些GUI被分配给遥控器的键，所以，通过对遥控器进行操作，能够进行街景中的移动、旋转这样的控制。以上是与全景检索服务有关的说明。(实施方式I)实施方式I涉及避免作为GUI部件的目标的Π目标与纹理内目标的干涉的改良。图11是示出实施方式I中的图像描绘装置的输入输出方式的一例的图。图像描绘装置101受理与全周围图像对应的深度图像和Π目标作为输入，进行左眼用和右眼用的图像输出。利用立体视对应显示器103，在画面上同步描绘被输出的左眼图像和右眼图像，使视听者感受立体图像。I个地点的全周围图像由纵4张、横7张的合计28张部分图像构成。一张各部分图像具有纵512像素、横512像素的像素数。深度图像表示立体空间中的对象物的进深。根据各像素的亮度，颜色更黑的部分是在立体空间上位于里侧的物体，颜色较白的部分表示在立体空间上存在于近前侧的物体。图像描绘装置101针对各部分图像应用深度图像，与被输入的部分图像的数量同样，分别生成28张右眼用图像和左眼图像。所生成的右眼用图像和左眼图像分别被粘贴在三维建模空间的球面上，在相同空间上配置Π目标。在左眼用和右眼用时，将在三维建模空间上从球体中心观察球面侧的范围同步输出到画面上，由此，显示全周围的立体图像。(图像描绘装置的使用方式)图12是示出图像描绘装置的使用方式的一例的图。用户使用遥控器102指定希望视听的场所和角度，通过液晶快门式眼镜104对输出到立体视对应显示器103的影像进行视听，由此,能够立体地感受任意地点/角度的全周围图像。立体视对应显示器103与图像描绘装置101连接，或者内置由图像描绘装置101的功能。在图12的使用方式的例子中，立体视对应显示器103内置有图像描绘装置101的功能，立体视对应显示器103经由因特网而与服务器105连接。立体视对应显示器103下载与用户指定的场所对应的全周围图像和深度图像，生成右眼用图像和左眼图像并同步显示在画面上。图13是示出实施方式I中的图像描绘装置的内部结构的框图。如本图所示，图像描绘装置101由UO检测部I、位置方向判定部2、网络接口 3、本地存储器4、描绘控制部5、左眼平面存储器6、右眼平面存储器7和输出接口 8构成。(U0 检测部 I)UO检测部I检测用户的遥控器操作、键盘操作、鼠标操作等，将对应的操作代码(表示上下左右键按下、右键按下等的用户操作的代码)发送到位置方向判定部2。(位置方向判定部2) 位置方向判定部2根据从用户操作检测部I接受的操作代码，判定应该显示在哪个视点方向观察地图上的哪个位置的全周围图像的图像。地图上的位置是当前视点位置，由包含纬度和经度的地理信息确定。并且，视点方向是当前视线方向，由水平角度和垂直角度确定。设北方为O度，绕顺时针在O度 360度的范围内表现水平角度。设地平线为O度、正上方为90度、正下方为-90度，在-90度 90度的范围内表现垂直角度。位置方向判定部2根据所接受的操作代码，确定这些纬度、经度、水平角度、垂直角度，将所确定的值转送到描绘控制部5。(网络接口3)网络接口 3具有请求发送部和应答接收部。请求发送部向全景收集服务器1001发送指定了地球上的当前视点位置的图像取得请求。这里，在针对地像进行了用户操作的情况下，请求发送部使用与通过用户操作而指定的位置对应的地理信息，生成指定当前视点位置的图像取得请求，将其发送到全景收集服务器1001。应答接收部接收从全景收集服务器1001发送来的街景文件，作为针对图像取得请求的应答。从全景收集服务器1001发送来的街景文件具有与图像取得请求中包含的地理信息一致的位置属性。在所下载的街景文件中存在有全周围图像和深度图像。街景文件被临时存储在图像描绘装置内的本地存储器4中。在立即显示这些图像的情况下，不存储在本地存储器4中，而将在装置内的存储器上下载的全周围图像直接转送到全周围图像取得部11。(本地存储器4)本地存储器4是硬盘驱动器(HDD)、USB存储器、SD存储卡等的安装在图像描绘装置上的记录介质。用于对从服务器105下载的存储了全周围图像和深度图像的街景文件进行超高速缓存、并在图像描绘装置中利用由服务器以外的外部设备生成的存储了全周围图像和深度图像的街景文件等的用途。(描绘控制部5)描绘控制部5进行如下处理根据由位置方向判定部2指示的地图上的位置以及从网络接口 3或本地存储器4取得的全周围图像和深度图像，按照右眼用和左眼用的2个种类生成在三维建模空间内粘贴在球面上的全周围图像，提取应该在由位置方向判定部2指示的视线方向上从球的中心观察球面时被显示的图像(窗口图像)，将提取出的左眼图像和右眼图像分别输出到左眼平面存储器6和右眼平面存储器7。(左眼平面存储器6)左眼平面存储器6是存储在立体视显示中应该对左眼提示的一帧的窗口图像的存储器。(右眼平面存储器7)右眼平面存储器7是存储在立体视显示中应该对右眼提示的一帧的窗口图像的存储器。(输出接口8)
输出接口 8将存储在左眼平面存储器6和右眼平面存储器7中的图像一帧一帧地同步输出到立体视对应显示器103。具体而言，以120Hz从左右的平面存储器中交替读出图 像，左右分别向显示器侧发送每秒60帧的影像。进行视听的用户佩戴液晶快门式眼镜104，液晶快门以120Hz交替反复进行开闭，由此，能够在左眼中出现左眼用的每秒60帧的图像，在右眼中出现左眼用的每秒60帧的图像，所以，能够根据左右图像的视差来感受进深。以上是与图像描绘装置有关的说明。接着，对描绘控制部5进行详细说明。图14示出描绘控制部5的内部结构。如本图所示，描绘控制部5由建模数据取得部10、全周围图像取得部11、全周围图像解码器12、全周围图像存储器13、深度图像取得部14、深度图像解码器15、深度图像存储器16、纹理变换部17、左眼用纹理存储器18a、右眼用纹理存储器18b、CG处理部19 (包括坐标变换部20、照度计算部21、纹理映射部22、窗口变换部23)、目标管理部25、窗口深度存储器26构成。(建模数据取得部10)建模数据取得部10从网络I/F或本地存储器中取得与指定的全周围图像相关联的Π目标的信息。这里，UI目标(用户接口目标)是⑶I的结构部件，是指作为前景图像而显示的图像。其数据形式是3D计算机图形的建模数据的数据形式。(全周围图像取得部11)全周围图像取得部11经由网络接口 3从服务器105下载与由位置方向判定部2指示的地图上的位置(由纬度和经度确定)对应的全周围图像，或者从本地存储器4取得图像。I个地点的全周围图像由纵4张、横7张的合计28张部分图像构成，一张各图像具有纵512像素、横512像素的像素数。图15 (a)示出全周围图像的一例。(全周围图像解码器12)全周围图像解码器12是JPEG解码器，进行压缩墨卡托图像的展开，并将通过该展开而得到的全周围图像存储在全周围图像存储器19中。(全周围图像存储器13)全周围图像存储器13是存储由全周围图像解码器12展开的全周围图像的存储器。(深度图像取得部14)深度图像取得部14经由网络接口 3从服务器105下载与全周围图像取得部11取得的全周围图像对应的深度图像，或者从本地存储器4取得图像。深度图像表示立体空间中的各像素的进深，利用8比特的亮度表现各像素的进深。亮度O (黑色)表示对应像素位于最远的位置，亮度255 (白色)表示对应像素位于最近的位置。即，全周围图像可以看成彩色图像，与此相对，深度图像被识别为仅由亮度表现的灰度图像。图15 (b)示出针对图15
(a)的全周围图像生成的深度图像的一例。表示深度图像的灰度图像与全周围图像同样，针对I个地点，由纵4张、横7张的合计28张部分图像构成，一张各图像具有纵512像素、横512像素的像素数(各像素仅由8比特的亮度保持)。(深度图像解码器15)深度图像解码器15是PNG解码器，进行街景文件中包含的压缩墨卡托深度的展开，并将其存储在深度图像存储器16中。(深度图像存储器I6)
深度图像存储器16是存储由深度图像解码器15生成的墨卡托深度的存储器。(纹理变换部17)纹理变换部17具有纹理DIBR部，通过根据深度图像取得部14取得的深度图像进行基于深度图像的绘制(DIBR)，得到左眼用纹理和右眼用纹理。具体而言，纹理DIBR部使全周围图像取得部11取得的全周围图像中的各像素沿水平方向位移，得到左眼用纹理和右眼用纹理。在本实施方式中，设全周围图像取得部11取得的基本图像为左眼用、根据深度图像而生成的2个以上的视点图像为右眼用，从而进行说明，但是，即使设全周围图像取得部11取得的基本图像为右眼用、根据深度图像而生成的2个以上的视点图像为左眼用，图像描绘装置的结构和效果也相同。叙述在执行基于深度图像的绘制时对各像素设定什么样的视差。在存在于深度图像的坐标(X、y)的像素中，在从视点起的进深为D印th (X、y)的情况下，例如，能够根据以下的数学式从深度图像中存在于坐标(X、y)的亮度Y (X、y)变换为进深Depth (x、y)。(数学式)Y (x、y)=255_ (log (Depth (x> y) +1) X 100)通过将这样求出的进深D印th U、y)变换为与显示器的画面尺寸对应的像素数offset (X、y),能够将像素的亮度变换为适当的视差。在基于深度图像的绘制中，在使构成图像的多个像素中的位于任意坐标(X、y)的像素的坐标沿水平方向移动时，根据由在对应的深度图像中存在于坐标(X、y)的像素的亮度 Y (x、y)导出的进深 Depth (x、y),求出该坐标(x、y)固有的 offset (Depth (x、y)、y),使用该offset (Depth (x、y)、y)作为移动量，由此得到其他视点的视点图像。图16 (a)示出在深度图像中存在于坐标(x、y)的像素的进深D印th (x、y)。D印th (x、y)在位置上与图16 (b)中的Pix (x、y)对应。图16 (b)示出在图像存储器中存在于坐标(x、y)的像素Pix (x、y)。图16 (c)示出在生成左眼纹理时像素Pix (x、y)如何位移。在图16 (c)中，在全周围图像存储器13中,Pix (x、y)沿水平方向以Offset (Depth (x、y))进行变位。因此，位于 Pix (x+0ffset (Depth (x、y))、y)。在全周围图像中，Offset (Depth (x、y))在x、y坐标中是唯一的偏移，根据基于深度图像中的对应像素的亮度的D印th (x、y)来设定。在生成2个以上的视点图像时，像素沿水平方向如何变位是根据图像的每个像素而不同的。深度图像中的像素的亮度电平与位移量即像素数之间的对应能够根据上述数学式导出。作为该对应的一例，可以如图16 (c)那样设定。图16 (c)示出Y (x、y)中的O 255的亮度范围与I像素 16像素的单位偏移之间的对应。在本图中，对O 63的亮度范围分配O 2像素的范围的偏移，对64 127的亮度范围分配3 4像素的范围的偏移，对128 191的亮度范围分配5 8像素的偏移，对192 255的亮度分配9 16像素的偏移。即，进行如下的非线性的对应增大应该对明亮部分的亮度范围分配的视差，减小应该对昏暗部分的亮度范围分配的视差。图17示出通过像素电平的位移而在左眼用纹理和右眼用纹理中具有什么样的视差。图17 (a)示出深度图像，图17 (b)示出左眼用纹理存储器的存储内容，图17 (c)示出右眼用纹理存储器的存储内容。Pix (xl、y)是图17 (b)中并列的3个大厦中的最靠前的大厦的像素。Pix (x2、y)是3个大厦中的第2个大厦的像素。Pix (x3、y)是3个大厦中的第3个大厦的像素。图17 (a)是深度图像的一例，示出对左眼用纹理中的像素Pix (xl、y)、Pix (x2、y)> Pix (x3、y)赋予的进深。D^th (xl、y)表示左眼用纹理中的Pix (xl、y)的进深。Depth (x2、y)表示左眼用纹理中的Pix (x2、y)的进深。D^th (x3、y)表示左眼用纹理 中的Pix (x3、y)的进深。图17 (C)的下侧示出在DIBR中对各像素赋予的偏移。Offset (Depth (xl、y)、y)表示对左眼用纹理中的Pix (xl、y)赋予的偏移。Offset (Depth (x2、y)、y)表示对左眼用纹理中的Pix (x2、y)赋予的偏移，Offset (Depth (x3、y)、y)表示对左眼用纹理中的Pix (x3、y)赋予的偏移。如本图所示，由于具有Depth (xl、y)>Depth (x2、y)>Depth(x3、y)的关系，所以，对构成最靠前的大厦的像素赋予最大的视差，从画面中大幅突现。以上是与纹理变换部17有关的说明。(左眼用纹理存储器18a、右眼用纹理存储器18b)右眼用纹理存储器18a、左眼用纹理存储器18b的对存储纹理变换部17进行DIBR而得到的左眼用纹理和右眼用纹理。图18对比示出粘贴有左眼用纹理和右眼用纹理的球面模型所存在的三维建模空间和深度空间。图18 (a)是粘贴有左眼用纹理的球面模型所存在的三维建模空间，图18
(b)是粘贴有右眼用纹理的球面模型所存在的三维建模空间。图18 (c)是深度空间。深度空间是指在三维建模空间中考虑了纹理内目标的进深的空间。即，在三维建模空间中，纹理内目标以平面的方式存在于球面模型的表面。与此相对，在深度空间中，纹理内目标从球面模型的表面突现，与Π目标共存。图18 (d)、图18 (e)示出三维建模空间和深度空间中的目标的存在差异。可知，在图18 (d)中，纹理内目标即大厦只不过作为球面模型的图案而存在，但是，在图18 (e)中，纹理内目标即大厦作为立体物而从球面模型突现。〈CG 处理部 19>CG处理部19进行如下处理将构成建模数据的三维坐标配置在三维建模空间中，将该三维建模空间中的三维坐标投影到窗口中。该处理具有坐标变换、照度计算(纹理映射处理)、窗口处理。〈坐标变换部20>坐标变换部20将视点设为照相机，通过指定照相机的方向和变焦等级，决定投影立体物的幕。然后，将规定Π目标或球面模型的建模数据的三维坐标变换为三维建模空间中的世界坐标。这里的坐标变换是指，将三维建模空间中的照相机位置作为原点，将规定建模数据的三维坐标变换为从照相机观察的坐标系中的世界坐标。
〈照度计算部21>照度计算部21计算对立体物照射从在三维建模空间中设定的光源位置照射的光时的各顶点中的照度。〈纹理映射部22>纹理映射部22在三维建模空间上准备左眼用和右眼用的2个球面，将对背景图像进行变换而得到的左眼用纹理和右眼用纹理映射到三维建模空间中的球体模型的内侧表面。〈窗口变换部23>窗口变换部23按照包含显示器的分辨率等的显示器信息，将三维建模空间中的三维坐标的顶点坐标变换为二维的幕坐标，从而提取窗口图像。提取出的图像具有左眼窗口图像和右眼窗口图像，窗口变换部将它们分别输出到左眼平面存储器6和右眼平面存储 器7。在从位置方向判定部2对描绘控制部5进行的指示为当前视点位置没有变化、仅当前视线方向变化的情况下，纹理映射部跳过纹理映射处理，仅窗口变换部伴随当前视线方向变化而进行窗口的再次提取和向平面存储器的再次输出。对基于窗口变换部23的窗口图像提取进行说明。对根据图15 (a)的图像而得到的左眼窗口图像和右眼窗口图像进行说明。图19示出窗口深度和左眼窗口图像。在本图中，左眼用全周围图像501与图15 (a)相同，深度图像506与图15 (b)相同。可知，通过基于窗口变换部23的窗口图像提取，提取左眼用全周围图像501和深度图像506中的与提取范围503相当的部分，从而得到窗口深度506和左眼窗口图像504。图19 (b)示出左眼窗口图像504和右眼窗口图像505的一例。提取作为纹理而粘贴在球面模型上的左眼用全周围图像501和右眼用全周围图像502中的与提取范围503相当的部分作为窗口图像504、505。在基于窗口变换部23的窗口变换时，在这些左眼窗口图像和右眼窗口图像中合成Π目标的投影图像。以上是与基于窗口变换部23的Π目标投影有关的说明。(Z 缓存 24)在Z缓存(进深缓存)24中存储变换后的三维坐标。(目标管理部25)目标管理部25对作为坐标变换部20、纹理映射部21、窗口变换部23的处理对象的Π目标进行管理。(窗口深度存储器26)窗口深度存储器26存储由进深前后判定部36生成的窗口深度。图19 (C)是根据针对Π目标和纹理内目标计算出的视差而生成的窗口深度的一例。在球面模型上粘贴全周围图像作为纹理时产生的视差成为被标准化为8比特中的O 255的深度值的内容。以上是与窗口深度存储器26有关的说明。至此结束图像描绘装置的内部结构的说明。内部结构图所示的结构要素中的目标管理部25是为了解决本申请的技术课题而特意创作的主旨的要素，除此之外只不过是用于担保作为现有装置的功能的一般要素。对该目标管理部25的内部结构进行说明。图20是示出目标管理部25的内部结构的图。如本图所示，目标管理部25由目标状态表31、UI目标视差计算部32、虚拟照相机环境设定部33、纹理视差计算部34、窗口深度生成部35、进深前后判定部36、干涉目标登记表37、目标操作部38、目标位置调整部39、纹理再次生成部40、掩模图案再次生成部41、几何学变换部42构成。〈目标状态表31>目标状态表31与Π目标的ID、世界顶点坐标、状态代码对应地示出各UI目标的状态。该状态代码所示的状态确定UI目标处于起动中还是处于休止中等。〈Π目标视差计算部32>UI目标视差计算部32按照构成UI目标的每个顶点，计算由目标状态表管理的各 UI目标呈什么样的视差。这样，在按照构成π目标的每个顶点计算视差后，在构成在左眼窗口图像和右眼窗口图像上得到的窗口的左眼投影像和右眼投影像的各个像素中，计算产生什么样的视差，计算与构成UI目标的左眼投影像和右眼投影像的各个像素有关的视差。基于Π目标视差计算部32的视差的计算原理特别重要，所以，穿插图21 图23的参考图，更加详细地进行说明。图21 (a)示出构成Π目标的建模数据的一例。建模数据使用构成Π目标的顶点的顶点坐标表现Π目标的形状。图21 (b)示出针对左眼窗口和右眼窗口的Π目标的投影像。图21 (b)的上段示出写入左眼窗口中的Π目标。在左眼窗口中，描绘基于左眼用照相机的视线矢量的角度的街景。因此，UI目标成为基于左眼用照相机的视线矢量的形状。图21 (b)的下段示出写入右眼窗口中的Π目标。在右眼窗口中，描绘基于右眼用照相机的视线矢量的角度的街景。因此，UI目标被实施基于右眼用照相机的视线矢量的变形。UI目标为箭头形状，该箭头的前端在左眼窗口中存在于坐标PL。在右眼窗口中，箭头的前端存在于坐标PR。这些PR、PL构成Ps的视差。图22 Ca)是三维建模空间的立体图，在三维建模空间内设定左眼用照相机CL、右眼用照相机CR、左眼窗口 404、右眼窗口 405。图22 (b)在图22 (a)的三维建模空间中设定左眼用投影范围406和右眼用投影范围407。图22 (c)示出Π目标的前端坐标。该Π目标的前端中球面401中配置在由三维空间坐标(Sx、Sy、Sz)确定的坐标S。图23 Ca)示出三维建模空间的X_Z坐标系中的照相机CL、CR的配置设计。照相机CL和照相机CR隔着基座长度2p而存在。球面上的点S经由虚线的路径vul、vu2而到达照相机CL、照相机CR。左眼用投影范围406能够从照相机CL进行视听，右眼用投影范围407能够从照相机CR进行视听。显示器408是投影用屏幕，在左眼用、右眼用中是共通的。关于左眼用照相机CL和右眼用照相机CR，照相机的视线矢量均设为e (0、0、1)。图23 (b)示出左眼窗口图像和右眼窗口图像中的点S的映射点SL、SR。图23 (c)示出在图24 (b)中使相似关系成立的三角形。能够由该(b)发现的相似关系是指，由顶点S、SL、SR构成的三角形与由顶点S、CL、CR构成的三角形的相似关系。根据该相似关系，2p:Sz=Ps: (Sz-D)的等式成立。如果关于Ps对该等式进行变形，则得到以下的式子。PS=2p* (Sz-D) /Sz......数学式(I)其中，视差P表示，在正方向越大，则进深越大，在负方向越大，则越靠前。在判断GUI与背景图像中的建造物之间的前后关系时，必须对上述GUI的视差PS和在全周围图像上的一点B产生的视差PB进行比较。以上是与Π目标视差计算部32有关的说明。 <虚拟照相机环境设定部33>虚拟照相机环境设定部33存储与三维建模空间中的照相机、窗口、球面模型有关的信息，以进行基于坐标变换部20的坐标变换和基于照度计算部21的照度计算。并且，还存储纹理映射用的球面模型中的网格的三维坐标。<纹理视差计算部34>纹理视差计算部34根据球面模型表面的三维坐标、照相机的基座长度、球面模型的进深位置，计算构成左眼用纹理和右眼用纹理的像素所呈的视差。基于Π目标视差计算部32的视差的计算原理是重要的，所以，使用图24 图26的一连串的参考图进行详细说明。全周围图像上的一点B包含在投影范围内，在所输出的左眼用背景图像与右眼用 背景图像之间产生视差PB。图24 (a)示出三维建模空间中的左眼用照相机、窗口、投影范围的关系。照相机CL存在于从原点向X轴方向隔开-P的位置。球面401中的坐标BL存在于从照相机CL向Z轴方向隔开BLz、向X轴方向隔开BLx的位置。窗口存在于从照相机CL隔开D的位置。引出线yj5放大球面模型中的投影范围406的内容。在图24(a)的投影范围内存在有图19 Ca)的全周围图像501，该全周围图像中的设定有球面模型的网格503的范围成为显示对象。引出线yj6放大窗口的内容。在图24 (a)的窗口内存在有图19 (a)中的窗口图像504。图24 (b)示出三维建模空间中的右眼用照相机、窗口、投影范围的关系。照相机CR存在于从原点向X轴方向隔开P的位置。球面401中的坐标BR存在于从照相机CL向Z轴方向隔开BRz、向X轴方向隔开BRx的位置。窗口存在于从照相机CR隔开D的位置。引出线yj7放大投影范围407的内容。在图24 (b)的投影范围内存在有图19 (b)的全周围图像502，该全周围图像中的设定有球面模型的网格503的范围成为显示对象。引出线y j8放大窗口图像的内容。在图24 (b)的窗口内存在有图19 (b)的图像505。图25 (a)示出构成纹理内目标的像素B如何映入窗口中。这里，设左眼用纹理中的像素B的坐标为(BLx、BLy,BLz),设右眼用纹理中的B的坐标为(BRX、BRY、BRZ)。如本图所示，球面模型中的像素B的X坐标即BRX在窗口中偏移PR。并且，左眼用纹理中的像素B的X坐标即BLX中窗口中偏移PL。接着，说明PL、PR成为什么样的值。图25 (b)是窗口中的XY平面图。设从像素(BLX、BLY、BLZ)向左方向偏移PL的像素位置为(BLX’、BLY、D)，设从像素(BRX、BRY、BRZ)偏移P的位置为(BRX’、BRY、D)。此时，窗口中的纹理内目标的视差PB由BLX’-BRX’表现。接着，说明PL、PR成为什么样的值。图26是用于说明BR’的导出过程的图。图26 (a)在三维建模空间的X-Y坐标系平面描绘左眼用投影范围406、窗口、左眼用照相机CL。在映射有左眼用全周围图像的球面中，与点B相当的点BL被配置在(BLx、BLy、BLz )。箭头y j 11放大示出窗口中的像素BL的坐标。图26(b)示出为了计算视差而假设的三角形。该三角形是直角三角形，高度为BLZ，宽度为P+BLx。作为该三角形的相似形的三角形的高度为BLZ-D，宽度为PL。根据这2个三角形的相似关系，能够导出(p+BLx) :BLz=PL: (BLz-D)这样的式子。将其变形为与PL有关的式子时，成为PL= (p+BLx)* (BLz-D)/BLz。
由此，BLx’的值成为BLx’=BLx-PL=BLx- (p+BLx)* (BLz-D) /BLz=[D*BLx_p* (BLz-D) /BLz]图26 (c)在三维建模空间的X-Z坐标系的平面中描绘右眼用投影范围407、窗口、右眼用照相机CR。在图26 (c)的球面中，与点B相当的点BR被配置在(BRx、BRy, BRz)。箭头yjl2放大示出球面401中的像素BL的坐标。图26 (d)示出为了计算视差而假设的三角形。该三角形是直角三角形，高度为BRZ，宽度为P-BRx。作为该三角形的相似形的三角形的高度为BRZ-D，宽度为PR。根据这2个三角形的相似关系，能够导出(p-BRx):BRz=PR: (BRz-D)这样的式子。将其变形为与PR有关的式子时，成为PR= (P-BRx)* (BRz-D)/BRz。
BRx’的值成为BRx’=BRx+PR=BRx+ (p-BRx) * (BRz-D) /BRz=[D*BRx+p* (BRz-D) /BRz]此时，在点BL、点BR之间产生的视差PB能够由下述数学式(2)表现。PB={ (D*BRx+p* (BRz-D))/BRz}-{ (D*BLx_p* (BLz-D)) /BLz.....数学式(2)纹理视差计算部34针对球面模型表面的坐标中的属于投影范围的全部坐标，进行上述数学式(I) (2)的计算，从而计算纹理中的视差。以上是与纹理视差计算部34有关的说明。〈窗口深度生成部35>窗口深度生成部35根据纹理内目标的视差PB和Π目标的视差PS，生成利用像素的精度表示在窗口中出现的纹理内目标、UI目标的进深的窗口深度，将其存储在窗口深度存储器26中。对纹理视差计算部34计算出的左眼用纹理和右眼用纹理中的各个像素的视差、以及Π目标视差计算部32计算出的构成各目标的投影像的每个像素的视差进行合并，生成表示应该在窗口中得到的图像的进深的窗口深度，将其写入窗口深度存储器26中。<进深前后判定部36>进深前后判定部36对虚拟照相机环境设定部33计算出的构成与UI目标有关的投影像的像素的视差、纹理视差计算部34计算出的左眼用纹理和右眼用纹理中的各个像素的视差的大小进行比较，判定其顶点的Z坐标是否存在进深比左眼用纹理和右眼用纹理大的Π目标。如果存在进深比纹理内目标大的至少一个顶点，则将具有该顶点的Π目标作为干涉Π目标而登记在干涉目标登记表37中。为什么需要该进深前后判定部36，与CG处理中的建模数据的一般性质密切相关。在三维建模空间的球面内部，UI目标配置在视点与球面内侧表面之间。这样，由于深度测试的性质，球面的内侧表面中的被UI目标遮挡的部分位于显示对象外。这里，深度测试是CG绘制功能之一，指定z缓存中的进深，不显示比该进深深的像素。于是，关于通过3D模型绘制而得到的投影像，Π目标必定位于前方(前景)侦彳，纹理位于后方(背景)侧。但是，在立体视再现中，由于粘贴在球面表面上的纹理具有进深感，所以，不是Π目标位于前面，与Π目标相比，纹理内目标位于前面侧，从而发生干涉。这里的“干涉”是指，在立体视效果中，纹理内目标从球面模型中突现，所以，由于上述CG处理的一般性质，纹理内目标与Π目标重叠，纹理内目标扎入Π目标内，或者，Π目标隐藏在纹理内目标后方，纹理内目标与Π目标的合成不自然。基于进深前后判定部36的背景图像与Π目标之间的前后关系的判定是为了弄清上述Π目标与纹理内目标有无发生干涉。图27 (a)示出写入左眼窗口和右眼窗口中的Π目标中的进深最深的前端部的视差比纹理内目标的视差大的情况。图27 (b)示出三维建模空间内的配置了 Π目标601的状态的一例。图27 (C)的窗口深度表示在由左眼用照相机CL和右眼用照相机CR投影的窗口图像中产生的视差分布。在得到图27 (c)的窗口深度时，利用鸟瞰图示出从用户观察的进深、即视差上的进深的一例的设计为图27 (d)中的X-Z坐标系设计。在该X-Z坐标系设计中，在背景图像上覆盖描绘Π目标，所以产生前后关系的矛盾。图28 (a)示出包括粘贴有左眼用纹理的左眼用球面模型在内的三维建模空间，图28 (b)示出包括粘贴有右眼用纹理的右眼用球面模型在内的三维建模空间，图28 (c)示出深度空间。在图28 (a)中，引出线yjl放大窗口中的窗口图像，在图28 (b)中，引出线yj2 放大窗口中的窗口图像。图27 (e)示出在产生前后关系的矛盾的情况下提供给用户的立体视影像的一例。当引起前后关系的矛盾时，用户感觉Π目标601埋没在背景图像中，难以实现自然的立体视。三维建模空间和深度空间的坐标系不同，所以，为了避免Π目标和纹理内目标的干涉，需要进行坐标系变换。但是，对规定Π目标和纹理内目标的全部3D坐标进行变换的处理的负荷很大，所以进行近似计算。这里，使用全周围图像和深度图像进行DIBR，得到右眼用纹理和左眼用纹理并将其粘贴在球面模型上，进行投影，从而实现立体视。由此，按照每个像素计算在窗口中产生什么样的视差，如果将该视差与Π目标所具有的视差进行比较，则不用进行坐标系的变换，也能够判断深度坐标系中的目标的前后关系。通过进行以上的视差比较，进深前后判定部36能够判定有无发生这种目标间干涉。以上是与进深前后判定部36有关的说明。〈干涉目标登记表37>干涉目标登记表37对应地示出与纹理内目标发生干涉的Π目标和作为该干涉的发生原因的顶点。〈目标操作部38>目标操作部38进行深度坐标系中的纹理内目标和UI目标的匹配性操作。匹配性操作具有目标位置调整、纹理再次生成、掩模图案再次生成、目标的几何学变换，作为实现这些匹配性操作的结构要素，目标操作部38具有目标位置调整部39、纹理再次生成部40、掩模图案再次生成部41、几何学变换部42。〈目标位置调整部39>在指定了目标位置调整作为基于Π目标的干涉避免操作的情况下，目标位置调整部39针对在某个顶点中发生干涉而登记在干涉目标登记表37中的Π目标进行基于目标位置调整的前后关系调整。如上所述，纹理内目标和UI目标中的深度坐标系的前后关系被粘贴在球面模型上的左眼用纹理和右眼用纹理中的纹理内目标的视差以及Π目标的视差所左右，所以，如果以固定纹理内目标侧的进深、改变Π目标侧的进深的方式进行目标位置调整，则能够实现目标间的匹配。通过将三维建模空间中的Π目标的配置位置变更为远离球面模型的位置，从而进行“目标位置调整”。由于PS>PB而产生目标间干渉，所以，如果选择PS ( PB这样的z坐标作为Π目标的配置坐标，则能够避免发生干渉。图29示出Π目标的位置调整。图29 (a)示出针对左右窗ロ的Π目标右眼用图像。在图29 (a)中，隔开PSi而存在有UI目标的前端。因此,在目标位置调整中，求出满足PSi=PB的坐标Szi，在三维建模空间中，在该坐标Szi配置Π目标的开头。图29(b)示出在三维建模空间中配置在坐标Szi的Π目标。图29 (c)示出该配置时的窗ロ深度，(d)示出该配置时的深度空间中的X-Z坐标系设计。由于坐标Szi满足PSi=PB,所以，在深度空间中，纹理内目标和Π目标不会发生干渉。图29 (e)是通过图29 (d)的UI目标配置而显示的立体视影像。在纹理内目标的前方存在有Π目标的前端，不会发生干渉。以上是与Π目标位置调整部39有关的说明。 <纹理再次生成部40>在指定了纹理再次生成作为基于Π目标的干渉避免操作的情况下，纹理再次生成部40对存储在深度图像存储器16中的深度图像中的各像素的亮度进行校正，使纹理变换部17再次执行DR，由此进行基于纹理再次生成的前后关系调整。下面叙述纹理再次生成。在Π目标的位置调整中固定纹理内目标的位置，与此相对，在基于纹理再次生成的干涉避免中，固定Π目标的位置，对纹理内目标的进深进行调整，从而实现干涉避免。具体而言，通过对深度图像的明暗度进行校正，再次执行基于校正后的深度图像的DIBR，从而进行纹理再次生成。该校正对深度图像中的各像素的进深进行调整，以使得Π目标必定位于近前侧。在进深前后判定部36判定为Π目标位于后方的情况下，从构成全周围图像的深度的各像素的亮度中减去偏差，再次存储在深度图像存储器16中。纹理变换部17执行基于从各像素的亮度中减去偏差而得到的深度图像的DIBR。通过从构成深度图像的各像素中减去偏差，能够将背景图像配置在里侧，能够确保与Π目标之间的前后关系的匹配性。图30(a)示出具有视差Ps时的左眼窗ロ图像和右眼窗ロ图像。该视差满足PS>PB的关系。图30 (b)示出执行伴有视差的窗ロ右眼用图像时的深度空间模型。在PS>PB的关系成立时，在近前侧出现纹理内目标，所以，成为Π目标扎入纹理内目标中的形式。因此，在纹理再次生成中，通过从构成对应的深度图像的各像素的亮度中减去规定偏差，对深度图像进行校正。图30 (c)示出从各像素的亮度中减去偏差前的深度图像，图30 (d)示出从各像素的亮度中减去偏差后的深度图像。(c) (d)各自的下侧示出深度图像中的像素的亮度所占的范围。由于从深度图像的各像素中减去偏差，所以，在该校正后的深度图像中，纹理内目标中的各像素的亮度范围相当低。图30 (e)示出通过基于校正后的深度图像的DIBR而生成的左眼用纹理和右眼用纹理。该左眼用纹理内的纹理内目标和右眼用纹理内的纹理内目标呈PB的视差，存在于更深的位置。图30 (f)示出将图30 (e)的纹理合成到纹理内目标中时的合成影像。以上是与纹理再次生成部40有关的说明。<掩模图案再次生成部41>在指定了掩模图案再次生成作为基于Π目标的干渉避免操作的情况下，掩模图案再次生成部41针对在某个顶点中发生干渉而登记在干渉目标登记表37中的Π目标进行基于掩模图案再次生成的前后关系调整。对“掩模图案再次生成”进行说明。掩模图案再次生成是在窗ロ变换的阶段中进行的匹配性调整。在掩模图案再次生成中，通过对窗ロ图像中构成Π目标的像素群中的、具有比纹理内目标的进深大的进深的像素实施掩模，并描绘其余像素，从而进行掩模图案再次生成。该掩模图案再次生成与Π目标的位置调整同样，也固定纹理内目标侧的进深。但是，与Π目标的位置调整的不同之处在于，在CG处理部19中的窗ロ变换的阶段中，描绘的对象限定为构成Π目标的一部分像素。參照图31对基于掩模图案再次生成的干渉避免进行说明。该掩模图案将引起前后关系的矛盾的像素作为对象。图31 (a)示出具有视差时的右眼窗ロ图像。设该Π目标的前端满足Ps>Pb的关系。图31 (b)示出与图31 (a)的Π目标对应的掩模图案。箭头形状中的前端部分成为黑像素，后端部分成为白像素。如果取该掩模图案与Π目标的排他的逻辑和，则掩模图案的白像素的部分残留，不显示黑像素的部分。图31 (c)示出在使用掩模图案的情况下生成的立体视影像。如本图所示，由于不存在Π目标的前端部分，所以，UI目标不会扎入纹理内目标内。以上是与掩模图案再次生成部41有关的说明。
<几何学变换部42>在通过虚拟照相机环境设定部33指定了目标几何学变换作为基于Π目标的干渉避免操作的情况下，几何学变换部42针对在某个顶点中发生干渉而登记在干渉目标登记表37中的Π目标进行基于目标几何学变换的前后关系调整。下面对目标的几何学变换进行详细说明。目标的几何学变换是坐标变换的等级中的干渉避免。具体而言，得到用于对窗ロ深度下的Π目标实施旋转变换的变换矩阵，通过该变换矩阵，对Π目标进行几何学变换。图32 (a)示出窗ロ深度。通过将构成Π目标深度的各像素的亮度与构成背景深度的各像素的亮度进行合并，从而得到该窗ロ深度。图32 (b)示出在窗ロ深度中在纹理内目标的近前侧定义的梯形框。选择梯形形状是因为，由于梯形的上边短、下边长，所以，如果在该梯形形状中应用Π目标，则能够使Π目标产生远近感。由此，如果将Π目标投影到该梯形框中，则能够使Π目标远离纹理内目标。为了将Π目标投影到该梯形框中，需要变换矩阵。图32 (C)示出变换矩阵。右侧是窗ロ图像，左侧是梯形框。在窗ロ图像中，求出使Π目标外切的矩形框W2变形为框wl的变换矩阵。该变换矩阵是单应矩阵。最后，通过使用单应矩阵对Π目标进行几何学变形，能够将Π目标投影到窗ロ深度中的上述框内。图32 (d)示出对Π目标实施了使用矩阵的几何学变换的左眼窗ロ图像和右眼窗ロ图像。以上是与目标的几何学变换部42有关的说明。如果进行以上的UI目标的位置调整、纹理再次生成、掩模图案再次生成、目标的几何学变换，则不用进行将三维建模空间的坐标变换为深度空间的坐标的坐标变换，也能够对纹理内目标与Π目标的前后关系进行调整。<目标位置调整、纹理再次生成、掩模图案再次生成、几何学变形的选择指针>上述目标位置调整、纹理再次生成、掩模图案再次生成、几何学变形既有长处也有短处。如果从显示品位进行分级，则成为“目标位置调整=纹理再次生成 > 几何学变形 > 掩模图案再次生成”。目标位置调整、纹理再次生成均能够保持Π目标的形状，所以能够维持显示品位。几何学变形虽然对Π目标实施变形，但是，UI目标能够保持原来的形状，所以，品味次于目标位置调整、纹理再次生成。掩模图案再次生成在发生顶点干涉时对描绘实施掩模，不会看到任何顶点，所以品位低。如果从迅速性进行分级，则成为“掩模图案再次生成 > 几何学变形 > 纹理再次生成>目标位置调整”。掩模图案再次生成在窗ロ变换的阶段进行，到窗ロ变换中的掩模处理为止重新进行匹配性操作用的CG处理，所以迅速性高。几何学变形是窗ロ图像中的Π目标投影像的变形，所以，迅速性次于掩模图案再次生成。纹理再次生成需要到照度计算为止重新进行处理，所以，迅速性次于掩模图案再次生成。投影，目标位置调整也到照度计算为止重新进行处理，所以，迅速性次于掩模图案再次生成。如上所述，关于进行目标位置调整 几何学变形中的哪个，鉴于Π目标中的全部顶点数、发生干涉的顶点数、描绘内容是当前视点位置的变更还是当前视线方向的变更这样的描绘内容等，优选选择适当的匹配性操作。并且，也可以按照Π目标的每个建模数据指定优选的匹配性操作。
通过利用硬件元件具体实现上述图像描绘装置中的各结构要素，能够以エ业方式生产本实施方式的图像描绘装置。但是，图像描绘装置也能够进行基于软件的安装。即，预先将利用计算机代码描述了上述各结构要素的处理顺序的程序组入代码ROM中，使装置的硬件结构中的単一的处理部(CPU)执行该程序的处理顺序，也能够以エ业方式生产本装置。下面，參照流程图对装置的软件安装所需要的处理顺序进行说明。图33是示出实施方式I中的街景再现顺序的流程图。本流程图相当于最上位的处理即主进程，作为本流程图的下位的流程图，具有图33的流程图。下面，对主进程中的处理顺序进行说明。对当前视听位置和视听方向进行初始化，在三维建模空间中配置球面模型(步骤SI)，使用从位置方向判定部接受的当前视听位置和视听方向的信息，设定左眼窗ロ 404和右眼窗ロ 405 (步骤S2)。接着，深度图像取得部向服务器发送用于取得包括与当前视听位置对应的全周围图像数据和深度图像的街景文件的取得请求(步骤S3)，以后，在步骤S4中，等待接收街景文件，如果接收到街景文件，则转移到步骤S5。在步骤S5中，使用存储在街景文件中的深度图像，对存储在街景文件中的全周围图像执行基于深度图像的绘制，从而得到左眼用纹理和右眼用纹理，将通过该基于深度图像的绘制而得到的左眼用纹理和右眼用纹理作为纹理粘贴在球面上，提取左眼窗ロ图像和右眼窗ロ图像。接着，计算纹理内目标的视差Pb (步骤S6)，读入存储在目标管理部25中的Π目标的建模数据(步骤S7)，通过PS=2p* (Sz-D)/Sz的计算，按照窗ロ图像中的每个像素计算将Π目标投影到两个窗ロ时产生的视差，求出窗ロ图像中的像素的进深，将其与背景深度中的各像素的进深进行合并，生成窗ロ深度(步骤S8)。根据所生成的窗ロ深度，判定是否存在位于纹理内目标里侧的Π目标(步骤S9)，在存在至少ー个位于背景图像后方的Π目标的情况下，目标管理部25执行用于使前后关系一致的Π目标的操作(UI目标的位置调整、纹理的再次生成、掩模图案的再次生成、目标几何学变换)，以使得UI目标位于背景图像前方(步骤S10)。
以后，成为步骤Sll 步骤S12的循环。步骤Sll判定是否按下上下左右键，步骤S12判定是否进行角度变更。在请求了针对上下左右中的任意ー个方向的行进的情况下(步骤Sll 是”)，根据所按下的键设定当前视听位置(步骤S13)，转移到步骤S3。在按下了角度键的情况下(步骤S12 是”)，设定当前视线方向(步骤S14)，转移到步骤S4。根据当前视点位置的变更和当前视线方向的变更而转移到步骤S3、S5是为了执行目标移动距离的再次定义。“目标移动距离的再次定义”是指，在产生了通过用户操作等而请求Π目标的位置变化的事件的情况下，不是立即进行与该请求对应的目标移动，而是鉴于深度图像空间中有无发生干渉，进行目标的位置调整。在Π目标的旋转、移动中，UI目标的位置变化，所以，有时在旋转前未发生干渉，但是在旋转后发生干渉。 图34示出视点位置变更时和视线方向变更时的深度空间的迁移。当从图34 (a)的状态起通过用户指定对全周围图像的角度进行变更时，如图34 (b)所示，深度图像空间中的纹理内目标与Π目标的位置关系变化。此时，Π目标601也与全周围图像的角度变更连动地变形。进而，当从图34 (b)的画面输出的状态起通过用户指定对全周围图像的视点位置进行变更时，如图34 (c)所示，深度图像空间中的纹理内目标与Π目标的位置关系变化。因此，在本实施方式中，在当前视点位置变更时，转移到步骤S3 S5，对目标的位置进行调整，由此，实现目标间干渉的避免。图35是示出用于使前后关系一致的Π目标的操作顺序的流程图。步骤S21判定操作内容。如果是Π目标的位置调整，则转移到步骤S22-步骤S23。步骤S22导出满足PSi=PB的SZi，步骤S23将在Szi中加上α而得到的值设定为Sz，再次执行照度计算(纹理映射)、窗ロ提取。由此，进行Π目标的再次描绘。如果是纹理再次生成，则从深度图像中的各像素的亮度中减去规定偏差，从而对深度图像进行校正(步骤S24)，根据校正后的深度图像执行DIBR，再次生成左眼用纹理和右眼用纹理，粘贴在球面模型的内侧表面上(步骤S25)。如果操作内容是掩模图案再次生成，则计算坐标Szi (步骤S26)，生成将构成Π目标的像素中的具有Szi以上的进深的像素作为白像素的掩模图案(步骤S27 )，使用掩模图案局部描绘UI目标(步骤S28 )。如果是目标的几何学变换，则在窗ロ深度中在纹理内目标的近前侧配置梯形的框(步骤S29)，求出用于将与Π目标外切的矩形框投影到该梯形框中的变换矩阵(步骤S30)。然后，进行使用该矩阵的几何学变形(步骤S31)。然后，通过使用变形的Π目标深度和背景深度的DIBR，生成左眼用窗ロ图像和右眼窗ロ图像(步骤S32)。(变形例)在本实施方式中，以描绘背景图像时和描绘Π目标时的投影用屏幕和右眼用/左眼用照相机相同为前提进行了说明，但是，作为本实施方式的变形，在背景图像的描绘和Π目标的描绘中也可以使用不同的投影用屏幕，还可以对右眼用照相机与左眼用照相机的距离进行变更。例如，通过将描绘Π目标时的右眼用照相机与左眼用照相机的距离设定为比描绘背景图像时的距离大，通过式(1)，能够相对増大在Π目标的描绘中产生的视差。并且，通过将投影用屏幕配置在里侧并増大D的值，通过式(2)，也能够得到同样的效果。在具有多个Π目标的情况下，可知也可以在各个Π目标中设定独自的照相机距离、投影用屏幕。(实施方式2)在实施方式I中，使用窗ロ深度进行深度判定，但是，在本实施方式中，通过将纹理内目标变换为建模数据而实现干涉避免。具体而言，将纹理内目标变换为建模数据，将规定变换后的纹理内目标的形状的三维坐标与规定Π目标的三维坐标一起存储在Z缓存中，接通深度测试功能，执行基于Z缓存中的三维坐标的照度计算，从而避免发生干渉。在CG绘制中，能够指定深度测试。如上所述，深度测试是指如下功能指定ζ缓存中的进深，不显示比该进深深的像素。在将纹理内目标变换为建模数据后，求出作为边界的坐标B的Z坐标即B’ ζ，使用该B’ ζ执行指定了深度测试的描绘。图36是示出实施方式2中的描绘控制部的内部结构的框图。本图是基于第I实施方式中的图14的内部结构图而制作的，与作为该基础的结构相比，不同之处在于追加了新的结构要素。具体而言，标注了 50号段(番台)的參照标号的结构要素(纹理变换部51) 是本图特有的结构要素。下面，对该新的结构要素进行说明。纹理变换部51进行作为CG处理的一个过程的坐标变换，对深度图像取得部15取得的深度图像进行变换，生成将纹理内目标配置在各点的三维建模空间内时的顶点数据。以上是与纹理变换部51有关的说明。作为追加结构要素的说明的补充，对与现有结构要素(窗ロ变换部23)之间的关联进行说明。窗ロ变换部23从通过纹理变换部51的变换而生成的顶点数据、以及全周围图像的纹理内目标和存储在目标管理部25中的UI目标的建模数据中，提取三维建模空间上的应该显示的窗ロ图像。这里，提取出的窗ロ图像由左眼图像和右眼图像构成。左眼图像和右眼图像是在球面的内侧表面上粘贴全周围图像数据并对GUI进行合成而得到的。它们分别被写入左眼平面存储器26和右眼平面存储器27中。根据左眼用纹理中的像素与右眼用纹理中的像素的视差PB，计算变换后的纹理内目标的建模数据中的Z坐标。接着，叙述通过对纹理内目标进行变换而得到的建模数据的顶点数据的生成方法。在全周围图像中的构成纹理内目标的一点B包含在窗口中时，如上所述，在所输出的右眼用背景图像与左眼用背景图像之间产生的视差PB能够由数学式(I)表现。在将纹理内目标变换为建模数据时，在三维建模空间视图坐标系中，在建模数据即构成纹理内目标的点B’(B’x、B’y、B’z)中产生与该视差PB相同的视差。根据数学式(I)，下述成立。PB=2p* (B，z-D)/B'.....数学式(3)B，zPB=2p* (B，z_D).....数学式(4)B，z=2pD/ (2p_PB).....数学式(5)根据数学式(5)，将构成映射到球面401上的全周围图像的纹理内目标上的各坐标I (ム7、2)再次配置在三维建模空间中的坐标(ム7、2 0/ (2p-PI))，使深度测试有效，执行照度计算和窗ロ图像提取。于是，在深度缓存中，仅2pD/ (2p-PI)之前的部分用于显示，2pD/(2p-PI)之后的部分不用于显示，所以，不会以Π目标扎入背景图像中这样的方式进行显示，能够确保显示品位。(实施方式3)
在本发明的实施方式I中，进行如下处理使用全周围图像和深度图像，经由计算机图形中的坐标变换、照度计算(纹理映射)处理、窗ロ变换而生成2个以上的视点图像后，将其粘贴在球面上。与此相对，在实施方式3中，提供当前视线方向和当前视点位置变化时的迅速的再次显示。具体而言，在当前视线方向变化的情况下，从映射有任意ー个视点纹理的球面模型和Π目标中，再次提取与变化后的视线方向对应的窗ロ图像。针对通过再次提取而得到的窗ロ图像，执行基于深度图像的DIBR，由此得到2个以上的视点图像窗ロ图像(左眼图像、右眼图像)。图37是示出实施方式3中的描绘控制部的内部结构的框图。本图是基于第I实施方式中的内部结构图而制作的，与作为该基础的结构相比，不同之处在于追加了新的结构要素。具体而言，标注了 50号段的參照标号的结构要素(窗ロ DIBR部52)是本图特有的结构要素。在说明追加的结构要素之前，对作为该追加的前提的现有的结构要素的视线变更时的动作、视点变更时的动作(描绘控制部5、CG处理部19、窗ロ变换部23、窗ロ深度生成部35的动作)进行说明。描绘控制部5根据由位置方向判定部2指示的地图上的位置以及从网络接ロ 3或 本地存储器4取得的全周围图像和深度图像，生成在三维建模空间内粘贴在球面上的全周围图像，对粘贴在球面的内侧表面上的全周围图像合成UI目标。然后，进行提取应该在由位置方向判定部2指示的视线方向上从球的中心观察球面时被显示的窗ロ图像、并将左眼窗ロ图像和右眼窗ロ图像写入左眼平面存储器6和右眼平面存储器7中的处理；以及计算窗ロ图像的各点的进深、并将窗ロ深度写入窗ロ深度存储器26中的处理。以上是与描绘控制部5有关的说明。在从位置方向判定部2对描绘控制部5进行的指示为位置没有变化、仅视线方向变化的情况下，CG处理部19跳过纹理映射处理，进行伴随视线方向变化的显示图像的再次提取、以及针对右眼平面存储器6和左眼平面存储器7的窗ロ图像的再次写入。此时，照度计算部21和纹理映射部22在三维建模空间上配置对全周围图像进行纹理映射后的球面和UI目标。窗ロ变换部23提取应该在由位置方向判定部2指示的当前视线方向上从球的中心观察球面时被显示的图像，并将其输出到左眼平面存储器6和右眼平面存储器7。窗ロ深度生成部35针对在粘贴在球面的内侧表面上的全周围图像合成Π目标后的合成图像，生成窗ロ深度，将其描绘在窗ロ深度存储器26中。根据深度图像取得部和目标管理部的信息生成该窗ロ深度。以上是作为前提的现有的结构要素的动作(描绘控制部5、CG处理部19、窗ロ变换部23、窗ロ深度生成部35的动作)的说明。接着，对本实施方式特有的新的结构要素(窗ロDIBR部52)进行详细说明。窗ロ DIBR部52在球面的内侧表面上粘贴全周围图像，针对合成了 Π目标后的窗ロ影像进行像素位移，生成2个以上的视点图像即左眼图像和右眼用图像。根据存储在左眼平面存储器26或右眼平面存储器27中的窗ロ图像以及存储在窗ロ深度存储器26中的窗ロ深度，进行该像素位移。基于像素位移的2个以上的视点图像的生成方法在实施方式I中已经进行了说明，所以省略。图38示出根据左眼窗ロ图像和窗ロ深度执行DIBR并生成右眼窗ロ图像的过程。左上侧是左眼窗ロ图像，右上侧是窗ロ深度，下侧是右眼窗ロ图像。在左上侧得到合成了 Π目标的状态下的窗ロ图像，所以，通过根据窗ロ深度执行将其作为对象的DIBR，能够得到合成了 Π目标的状态的右眼窗ロ图像。如上所述，根据本实施方式，在球面的内侧表面上粘贴全周围图像，针对合成了 Π目标的窗ロ图像进行像素位移，所以，具有如下优点即使在三维建模空间中进行旋转等变形，向用户提供的图像中的视差也始終保持水平。并且，根据三维建模空间中的当前视点位置的变更来进行窗ロ图像的再次提取。于是，在Π目标与纹理内目标发生干涉时，通过对当前视点位置进行变更，能够避免干渉。在这些当前视点位置的变更中，不需要重新进行坐标变换和照度计算，所以，能够根据用户操作而使窗ロ图像迅速变化。也可以根据三维建模空间中的当前视点位置的变更来执行上述窗ロ图像的再次提取。于是，在Π目标与纹理内目标发生干涉时，通过对当前视点位置进行变更，能够避免干渉。在这些当前视点位置的变更中，不需要重新进行坐标变换和照度计算，所以，能够根 据用户操作而使窗ロ图像迅速变化。(实施方式4)本实施方式公开了利用什么样的硬件结构实现此前的实施方式所述的图像描绘装置。首先，对与CG处理部有关的硬件结构进行说明。图39示出CG处理部的硬件结构。如本图所示，图像描绘装置由接ロ 201、视频解码器电路202、纹理存储器203、代码R0M204、CPU205、工作存储器206、GPU207、帧存储器208构成。接ロ 201是与内部媒体和移动媒体的驱动器之间的接ロ。视频解码器202是对通过接ロ 201读出的背景图像和深度图像进行解码的专用电路。纹理存储器203存储通过视频解码器电路202的解码而得到的非压缩的背景图像。代码R0M204存储构成此前的流程图所述的程序的代码串。CPU205通过读出存储在代码R0M204中的代码串并进行处理，实现此前的实施方式所述的处理。 工作存储器206在代码R0M204进行处理时被用作变量或排列的存储场所。GPU207是纹理映射等的图形处理用的专用处理电路。帧存储器208是GPU207进行处理所使用的存储器。图40是示出GPU的内部结构的图。X 级主板 800 实现 X (Transformation、Xformation)级的处理，具有 HIP801、GED802、显示列表超高速缓存 803、SMD 芯片 804a、804b、804c、804d。X (Transformation)级的处理大致而言有ニ个。ー个是将三维的各顶点数据(x、y、z)变换为ニ维的幕坐标的处理，第二个是关于各顶点、根据光源和材质信息计算明亮度(顔色)的照光(lighting)计算处理。将这两个(Transformation and Lighting)处理统称为T&L处理或TnL处理。HIP (Host Interface Processor)801 是对输入的 OpenGLAPI 呼叫进行解释并转换为适合于运算处理的形式的 ASIC (Application Specific Integrated Circuit)。
GED (Geometry Element Distributor) 802发挥将各顶点数据分配给4个初级SIMD芯片中的处于等待处理状态的SMD芯片的作用。显示列表超高速缓存803是存储将OpenGLAPI呼叫分组后的显示列表的超高速缓冲存储器。如果将经常使用的一连串的OpenGLAPI呼叫设置在显示列表中，则能够大幅削减从CPU转送到X级主板的数据量。SIMD芯片804a、804b、804c、804d是由ASIC实现的单芯片处理器，具有3个系统的FPU (浮动小数点运算单元)，具有微代码存储用的超高速缓存和数据超高速缓存。在ー个FPU中包括ニ个运算器。ー个是通常的浮动小数点ALU (Arithmetic Logic Unit),另ー个是浮动小数点乘法器。在本主板中搭载了 4个该SMD芯片。FPU的12个系统并行进行动作，所以，能够同时并行进行12个顶点数据(x、y、z)的处理。SIMD芯片中的处理内容(坐标变换或照光计算的算法)通过微代码描述。运算电路根据存储在芯片上的超高速缓存中的微代码进行动作。微代码在系统起动时被载入超高 速缓存中。SMD芯片中的运算结果被集中到FIFO (First-In First-Out)存储器中，作为X级主板全体的输出而被转送到称为Triangle Bus的总线。各顶点数据包括幕坐标系上的坐标(X、y)和进深信息ζ、照光计算的结果即(r、g、b)、透明度信息的a、法线矢量(nx、ny、nz)以及纹理坐标(s、t)。并且，用于优化下一 S级的计算效率的预处理也在本主板中进行。作为代表性的预处理，具有背面剔除。背面剔除是如下处理检测在变换为窗ロ坐标系时朝向背面的三角形，针对这种三角形，将顶点数据不输出到Triangle Bus。以上是X级主板的处理。对S级主板805进行说明。S级主板805由4种ASIC芯片(TG806、PG807、TF808、IMP809)构成。S (Scan conversion)级中的处理包括涂满三角形内部的各像素的栅格化处理、隐藏面消除处理、模板掩膜处理、雾化效果的处理等。栅格化处理中的重要功能在于，在球面带中粘贴全周围图像这样的纹理映射。在纹理映射中，代替利用插值求出明亮度(r、g、b)，根据对纹理坐标(s、t)进行插值后的结果来计算存储在纹理存储器中的纹理图像的地址，读出适当的像素，将其明亮度(r、g、b)作为断片的明亮度数据。S级主板的输入是从X级主板通过Triangle Bus给出的三角形各顶点中的断片形式的数据(幕坐标(X、Y、ζ)、纹理坐标(S、t)、明亮度(r、g、b)、透明度a、法线矢量(nx、ny、nz))。TG (Texture Generator)芯片806进行三角形的涂满，输出每个像素的纹理坐标(S、t)的插值結果，生成纹理存储器的地址,将纹理像素(被称为纹理元素(texel))转送到TF (Texture Filter)。在PG (Pixel Generator)芯片807中，进行栅格化处理即三角形的涂满处理，进行每个像素的明亮度(r、g、b )等的插值。TF (Texture Filter)芯片808对PG的输出结果即被隐蔽的明亮度和纹理存储器的输出(纹理元素)进行合成，将姆个像素的断片转送到IMP (Image Memory Processor)。IMP (IMage Proccer) 809是实现像素处理流程的处理器，进行雾化处理、抗锯齿处理、α测试、模板测试、深度测试、混合、屏蔽、写入缓存选择这样的像素处理，将处理结果写入帧存储器208中。
D级主板812是进行D级处理的主板，具有XMAP813和V0C814。XMAP (Pixel Mapping Asic)813从Pixel Bus接受图像数据,根据需要利用查阅表进行变换，并且，还进行光标的显示，在Video Packet Bus中加入图像数据。各VOC按照描述了自身所承担的矩形区域的VOF数据拾取图像，利用DA变换器变换为视频信号。VOC (Video Output Channel)电路814具有放大图像的输出电路、用于优化放大图像的画质的滤波电路，如果在显示处理中负荷较重，则以较粗的分辨率动态地进行描绘，以硬件放大的方式进行显示。在D级主板中具有最大8个输出通道，除此之外，还具有HDMI输出编码器。接着，说明应该利用软件对上述硬件结构的GPU指示什么样的控制。图41的上半部分示意地示出球面模型与纹理之间的对应。左侧示出构成球面模型的网格，右侧示出存储纹理的纹理缓存的存储内容。左侧的球面模型在横向被分割成W 个，在各个分割部分上粘贴纹理。在本实施方式中，设作为纹理映射对象的图形类型为三角形帯，设该三角形带的全部或一部分为纹理映射对象。该三角形带的全部或一部分被规定为顶点网格。具体而言，由T1、T2、T3构成的网格成为纹理映射对象，由Τ3、Τ4、Τ5、Τ6构成的网格成为I个纹理映射的对象。将构成这些网格的交点的坐标指定为索引后，进行纹理映射。图41的下半部分是用于实现纹理映射的OPEN-GL中的API调出的描述例。“glVertexPointer (3、GL#FL0AT、0、g#v)； ”存储三维建模空间中的网格的各交点的坐标群作为顶点群。变量的〃3〃是三维建模空间的维数，GL#F0LAT表示坐标群的各个坐标的类型为浮动小数点形式。“glTexCoordPointer (2、GL#FL0AT、0、g#uv); ”是用于存储与三维建模空间中的网格对应的纹理的坐标群g#uv作为纹理坐标值的API调出。“ for (I=O ; i〈W ; i++) ”针对横向的W个坐标分别被规定为反复进行glDrawElements的调出的循环构造。对“glDrawElements(GL#TRIANGLE#STRIP、(H+1) *2、GL#UNSIGNED#SH0RT、getStaticData ( ) ->g#index[i])； ”进行说明。该API调出的第I变量指定3D模型的图形类型为三角形带(GL#41Triangle#Stirp)。第2变量是顶点数的指定,指定(纵分割数H+DX2的数值。GL#UNSIGNED#SH0RT表示存储顶点的index的类型为无码的short形式。g#index[ff]是决定描绘顺序的索引排列,存储网格交点的顶点坐标作为各个排列要素。通过按照作为g#index的排列要素而存储的顶点坐标执行描绘，进行纹理映射。首先，对用于实现DIBR的硬件结构(全周围图像存储器13、纹理DIBR部的硬件结构)进行说明。全周围图像存储器13由多个行存储器构成，全周围图像数据分别被存储在构成行存储器的32比特长的存储元件中。而且，全周围图像数据在画面上的坐标例如对应于全周围图像存储器13中的行存储器的地址即ROW地址与行存储器中的存储元件的相对地址即COLUMN地址的组。以上是与全周围图像存储器13有关的说明。接着，对纹理DIBR部的硬件结构进行说明。纹理DIBR部对全周围图像数据和深度图像数据实施像素位移，生成其他视点的纹理。
在希望对全周围图像中的像素的X坐标进行变更而生成左眼用纹理的情况下，在从全周围图像存储器13向左眼用纹理存储器18a进行复制时，事前以与像素数X相当的地址对指示作为其复制目的地的存储元件的COLUMN地址进行调整。如果以这种地址调整为前提执行复制，则左眼用纹理的坐标向左方向位移。由此，纹理DIBR部能够在伴随地址调整的复制处理中生成左眼用纹理。在希望对街景的X坐标进行变更而生成右眼用纹理的情况下，在从全周围图像存储器13向右眼用纹理存储器18b进行复制时，事后以与像素数X相当的地址对指示作为其复制目的地的存储元件的COLUMN地址进行调整。如果以这种地址调整为前提执行复制，则右眼用纹理的坐标向右方向位移。由此，纹理DIBR部能够在伴随地址调整的复制处理中生成右眼用纹理。以上是基于硬件的纹理DIBR部的实现。并且，能够利用行扫描仪实现DIBR。行扫描仪是指，按照横1920像素的每ー个像素读出存储在帧存储器中的ー个画面的像素(1920 X 1080)的集合，将其变换为数字影像信号。该行扫描仪可以通过能够存储I行的像素数据的行像素存储器、滤波电路、进行并行/ 串行变换的变换电路而实现。如上所述，DIBR是将深度图像的各个像素的亮度变换为视差并进行像素位移的处理。如果使从行存储器中读出的全周围图像的一行的像素的坐标沿横向移动与针对全周围图像的深度图像中的对应行的进深对应的像素数，则能够生成具有深度图像所示的进深的其他视点的视点图像。< 备注 >以上，对申请人在本申请的申请时点得知的最佳实施方式进行了说明，但是，关于以下所示的技术话题，能够进行进ー步的改良或变更实施。希望注意到，如各实施方式所示那样实施、或者是否实施这些改良/变更均为任意的，基于实施者的主观。(视点周围图像的范围增减)在各实施方式中，将横向结合了横7张背景图像而得到的全周围图像作为对象进行了说明，但是，通过减少横向图像的结合数，也可以变更从视点张望的周围的范围。上述实施方式的全周围图像在横7张背景图像中网罗了 360°的视野，所以，ー张背景图像中网罗的范围为52° ( 365° /7)。由此，在结合了 2张图像的情况下，能够张望104°(^52° X2)的范围，在结合了 3张图像的情况下，能够张望156° 52X3)的范围。这样，通过在街景收集服务器或图像描绘装置中改变横向图像的结合数，能够改变视点周围图像的規模，能够减轻纹理映射处理或纹理中的视差计算等的负荷。另外，在本实施方式中，每次进行描绘时产生像素位移，所以，在根据窗ロ图像和深度信息、通过像素位移而生成2个以上的视点图像的处理中，优选利用系统LSI进行。(深度图像的变化)压缩墨卡托深度图像是以PNG形式对表示相对于墨卡托图像的进深的图像进行压缩后的数据，但是，进深的压缩噪声明显，所以，优选以PNG形式等的无损形式进行压縮。街景文件中的压缩墨卡托深度图像的数据冗长，所以，除了 PNG形式的压缩以外，也可以具有周围的地形数据、以及表示压缩墨卡托图像与地形数据之间的关系的数据。(集成电路的实施方式)排除第I实施方式所示的图像描绘装置的硬件结构中的记录介质的驱动部、与外部连接的连接器等的机构部分，可以对与逻辑电路和存储元件相当的部分、即逻辑电路的核心部分进行系统LSI化。系统LSI是指在高密度基板上安装裸芯片并进行封装。通过将多个裸芯片安装在高密度基板上并进行封装，将使多个裸芯片恰好具有I个LSI的外形构造的模块称为多芯片模块，但是，这种模块也包含在系统LSI中。这里，着眼于封装的类别时，系统LSI具有QFP (四方扁平阵列)、PGA (针网格阵列)这样的类别。QFP是在封装的四个侧面安装有针的系统LSI。PGA是在底面全体安装有多个针的系统LSI。这些针发挥电源供给、地线、作为与其他电路之间的接ロ的作用。系统LSI中的针具有这样的接ロ的作用，所以，通过在系统LSI中的这些针上连接其他电路，系统LSI发挥作为再现装置的核心的作用。(对左眼图像和右眼图像中的任意一方进行处理的技术意义)另外，在立体照片的DIBR中，通过将立体照片放置在近前，能够衬托立体照片，能 够实现更加易于观看的随后体验。另外，本实施方式对立体照片进行了说明，但是，同样能够适用于动态图像。在动态图像的情况下，将动态图像的ー帧视为静态图像进行处理即可。(基于数学式的运算的具体化)在此前的实施方式中，公开了基于数学式的运算处理，但是，这些数学式不意味着数学概念，而彻底意味着在计算机上执行的数值运算，所以，当然可以施加用于使计算机实现该运算所需要的改变。例如，当然可以施加用于以整数型、固定小数点型、浮动小数点型对数值进行处理的饱和运算或正值化运算。进而，各实施方式所示的基于数学式的运算处理中的与常数之间的乘法可以通过使用常数ROM的ROM乘法器而实现。预先计算被乘数与常数之积的值并存储在常数ROM中。例如，在被乘数为16比特长的情况下，按照每4比特将该被乘数划分成4个，该4比特部分与常数之积、即常数的O 15的倍数被存储在上述常数ROM中。上述一个区间的4比特与常数16比特之积为20比特长，上述四个常数被存储在同一地址中，所以，20X4=80比特长成为ー个单词的比特长。如上所述，能够通过ROM乘法器实现，所以，本说明书中所说的“运算处理”不仅意味着纯粹的算木运算，还包括根据被运算符的值读出存储在ROM等记录介质中的运算结果这样的记录介质的读出。(程序的实施方式)各实施方式所示的程序可以如下生成。首先，软件开发者使用程序设计语言描述用于实现各流程图和功能性的结构要素的源程序。在该描述吋，软件开发者按照程序设计语言的语法，使用等级构造体、变量、排列变量、外部函数的呼叫，描述具体实现各流程图和功能性的结构要素的源程序。所描述的源程序作为文件提供给编译程序。编译程序翻译这些源程序而生成目标程序。基于编译程序的翻译由语法解析、优化、资源分配、代码生成这样的过程构成。在语法解析中，进行源程序的字句解析、语法解析和意思解析，将源程序变换为中间程序。在优化中，针对中间程序进行基本模块化、控制流程解析、数据流程解析这样的作业。在资源分配中，为了使目标处理器适合于命令组，将中间程序中的变量分配给目标处理器所具有的寄存器或存储器。在代码生成中，将中间程序内的各中间命令变换为程序代码，得到目标程序。
这里生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤、功能性的结构要素的各个顺序的I个以上的程序代码构成。这里，程序代码如处理器的本地码、JAVA (注册商标)字节码那样具有多个种类。基于程序代码的各步骤的实现具有多个种类。在能够利用外部函数实现各步骤的情况下，呼叫该外部函数的呼叫文成为程序代码。并且，实现I个步骤的程序代码有时也归属于不同的目标程序。在命令种类受限的RISC处理器中，也可以通过组合算术运算命令、逻辑运算命令、分支命令等，实现流程图的各步骤。生成目标程序后，程序员针对这些目标程序起动连接程序。连接程序对存储器空间分配这些目标程序和关联的库存程序，将它们结合成ー个程序，生成载入模块。这样生成的载入模块以基于计算机的读取为前提，使计算机执行各流程图所示的处理顺序和功能性的结构要素的处理顺序。将该计算机程序记录在非临时的计算机可读取的记录介质中提供给用户即可。(立体视再现的变化)
在立体视再现时，根据ー张全周围图像生成左眼用纹理和右眼用纹理，但是，也可 以将该全周围图像用作左眼用纹理而仅生成右眼用纹理。同样，也可以将全周围图像用作左眼用纹理而仅生成右眼用纹理。该情况下，与立体视再现时的照相机位置相比，将隔开2Xp的位置作为右眼照相机的配置位置，在该配置位置配置照相机，由此执行上述坐标变换、纹理映射、窗ロ变换即可。产业上的可利用性本发明的图像描绘装置能够在制造产业中以经营性质持续和反复制造、销售。特别地，能够在与全周围立体图像的制作和再现有关的民生设备中加以利用。标号说明101 :图像描绘装置；102 :遥控器；104 :液晶快门式眼镜；103 :立体视对应显示器；1 :U0检测部；2 :位置方向判定部；3 :网络接ロ ；4 :本地存储器；5 :描绘控制部；6 :左眼平面存储器-J :右眼平面存储器；8 :输出接ロ。
权利要求
1.一种图像描绘装置，实现对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视，其特征在于，该图像描绘装置具有 坐标变换部，将规定背景立体模型和前景立体模型的形状的建模数据中的顶点坐标变换为三维建模空间中的三维坐标； 纹理映射部，将背景图像数据变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型； 窗口变换部，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理；以及 管理部，对前景立体模型和背景立体模型进行管理， 2个以上的视点纹理具有纹理内目标， 所述管理部通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，进行使纹理内目标的位置与前景立体模型的位置相匹配的操作。
2.如权利要求I所述的图像描绘装置，其特征在于， 通过由坐标变换部将三维建模空间中的前景立体模型的配置位置变更为远离背景立体模型的位置，从而进行使所述目标的位置相匹配的操作。
3.如权利要求I所述的图像描绘装置，其特征在于， 通过取得与背景图像数据有关的深度图像，并执行基于该深度图像的基于深度图像的绘制，从而从背景图像数据变换为2个以上的视点纹理， 通过对深度图像进行校正，对背景图像数据实施基于校正后的深度图像的基于深度图像的绘制，再次生成2个以上的纹理，从而进行使所述目标的位置相匹配的操作。
4.如权利要求I所述的图像描绘装置，其特征在于， 通过对窗口图像中构成前景立体模型的像素群中的、具有比纹理内目标的进深大的进深的像素实施掩模，并描绘其余像素，从而进行使所述目标的位置相匹配的操作。
5.如权利要求I所述的图像描绘装置，其特征在于， 通过取得背景深度图像数据，并执行基于背景深度图像数据的基于深度图像的绘制，从而生成2个以上的视点纹理， 通过将纹理内目标变换为建模数据，将规定变换后的纹理内目标的形状的三维坐标与规定前景立体模型的三维坐标一起存储在进深缓存中，接通深度测试功能，执行基于进深缓存中的三维坐标的照度计算，从而进行使所述目标的位置相匹配的操作。
6.如权利要求5所述的图像描绘装置，其特征在于， 根据2个以上的视点纹理中的任意一方中的像素和与其他视点对应的视点纹理中的像素的视差，计算对所述变换后的纹理内目标进行变换而得到的建模数据中的三维坐标中的Z坐标。
7.如权利要求I所述的图像描绘装置，其特征在于， 在视线方向发生变化的情况下，窗口变换部从映射了任意一个视点纹理的背景立体模型和前景立体模型中，再次提取与变化后的视线方向对应的窗口图像， 通过对再次提取而得到的窗口图像执行基于背景深度图像数据的基于深度图像的绘制，从而得到2个以上的视点窗口图像。
8.如权利要求I所述的图像描绘装置，其特征在于， 使所述目标的位置相匹配的处理是通过对规定前景立体模型的形状的顶点坐标进行操作而对前景立体模型实施几何学变换的处理。
9.如权利要求I所述的图像描绘装置，其特征在于， 根据三维建模空间中的视点位置提取窗口图像， 通过对视点位置进行变更，从而进行使所述目标的位置相匹配的处理。
10.如权利要求I所述的图像描绘装置，其特征在于， 在假设前景立体模型的坐标S配置在左眼窗口上的坐标SL、配置在右眼窗口上的坐标SR的情况下，前景立体模型中的视差是在点SL与点SR之间产生的视差PS，由下述数学式(I)表示， 数学式(I)PS=2p* (Sz-D) /Sz Sz是视图坐标系中的前景图像的进深方向的坐标，D是从照相机到显示器的距离，2p是左眼用照相机与右眼用照相机之间的距离。
11.如权利要求I所述的图像描绘装置，其特征在于， 在假设粘贴在背景立体模型的内侧表面上的纹理内目标的坐标B配置在左眼窗口上的坐标(BLx、BLy, BLz)、粘贴在背景立体模型的内侧表面上的背景图像数据的坐标B配置在右眼窗口上的(BRx、BRy、BRz)的情况下，纹理内目标的视差是在点BL与点BR之间产生的视差PB，由下述数学式(2)表示， 数学式(2)PB={ (D*BRx+p* (BRz-D))/BRz}-{ (D*BLx_p* (BLz-D)) /BLz} D是从照相机到显示器的距离，P是左眼用照相机与右眼用照相机之间的距离的一半。
12.如权利要求I所述的图像描绘装置，其特征在于， 图像描绘装置具有 位置方向判定部，根据用户操作来判定地图上的当前视点位置和当前视线方向；以及下载单元，使用与地图上的当前视点位置对应的地理信息生成图像取得请求，将其发送到图像收集服务器，从而下载街景文件， 从图像收集服务器发送来的街景文件具有与图像取得请求中包含的地理信息一致的拍摄地属性， 所述背景图像数据存在于所下载的街景文件内。
13.如权利要求12所述的图像描绘装置，其特征在于， 所述背景图像数据是视点周围图像数据，表示从与图像取得请求中的地理信息对应的地理位置张望周围时的光景。
14.一种图像描绘方法，实现对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视，其特征在于，该图像描绘方法包括以下步骤 坐标变换步骤，将规定背景立体模型和前景立体模型的形状的建模数据中的顶点坐标变换为三维建模空间中的三维坐标； 纹理映射步骤，将背景图像数据变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型；窗口变换步骤，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理；以及 管理步骤，对前景立体模型和背景立体模型进行管理， 2个以上的视点纹理具有纹理内目标， 在所述管理步骤中，通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，进行使纹理内目标的位置与前景立体模型的位置相匹配的操作。
15.一种图像描绘程序，使计算机执行对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视，其特征在于，该图像描绘程序包括以下步骤 坐标变换步骤，将规定背景立体模型和前景立体模型的形状的建模数据中的顶点坐标变换为三维建模空间中的三维坐标； 纹理映射步骤，将背景图像数据变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型； 窗口变换步骤，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理；以及 管理步骤，对前景立体模型和背景立体模型进行管理， 2个以上的视点纹理具有纹理内目标， 在所述管理步骤中，通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，进行使纹理内目标的位置与前景立体模型的位置相匹配的操作。
全文摘要
图像描绘装置实现对三维建模空间中的背景立体模型和前景立体模型进行合成后的合成影像的立体视。纹理映射处理将背景图像变换为2个以上的视点纹理，将各视点纹理映射到三维建模空间中的背景立体模型，在窗口变换部中，分别针对2个以上的视点纹理执行从映射了视点纹理的背景立体模型和前景立体模型中提取窗口图像的处理。通过对立体视再现时的前景立体模型的视差与纹理内目标的视差进行比较，判定前景立体模型与纹理内目标的前后关系，根据判定结果，使纹理内目标的位置与前景立体模型的位置相匹配。
文档编号G06T19/00GK102834849SQ201280001078
公开日2012年12月19日 申请日期2012年3月5日 优先权日2011年3月31日
发明者片山朋子, 田中敬一, 大户英隆, 山地治 申请人:松下电器产业株式会社