多视点数据生成装置和方法

专利名称：多视点数据生成装置和方法
技术领域：
本发明涉及一种生成多视点数据的多视点数据生成装置以及方法。
技术背景在影像设备和家庭用游戏机等CG (计算机图形)描绘装置中， 一般是 通过实时进行CG渲染，来描绘字符等三维CG图像。另外，已知有被称 作"精灵(sprite)"的技术，该技术是将CG图像本身作为图像准备好，在 描绘时将该图像纹理映射到制作CG图像的形状的板多边形上(例如参照 非专利文献l)。通过使用该精灵技术，不必对构成三维字符等的许多多边 形进行描绘处理，能够高速地进行描绘，因此对于具有复杂形状的情况而 言是特别有用的方法。另外，已知有一维整体成像方式的三维显示器，这种三维显示器通过 在液晶显示器上重叠双凸透镜片而能够显示在水平方向上有视差的影像 (例如参照非专利文献2)。在这种三维显示器中，也与上述描绘装置同样 进行CG图像的描绘，但对各个像素需要描绘多个CG图像。而且，为了 描绘出给观察者以立体感的精灵，需要将对于各个视点来说不同的纹理图 像纹理映射到板多边形上，从而提出了各种技术(例如参照专利文献1). 下面，将描绘对于各个视点来说不同的纹理图像的技术称作"多视点精灵"。根据上述的多视点精灵，能够描绘出给观察者以立体感的影像(立体 影像)。但是，若仅仅靠在板多边形上粘贴对于各个视点来说不同的纹理图 像，由于在描绘多边形时的进深判定中要使用板多边形的深度值，所以有 时不能使用与立体图像对应的对西那个的实际深度值。因此，有在特定的 多视点精灵与其它多视点精灵之间、以及多边形对象与多视点精灵之间， 不能正常进行进深判定的问题。关于上述精灵，已知有被称作"深度精灵"的技术，该技术中，用精 灵的像素单位在保持颜色信息的基础上保持从描绘板多边形的深度值得到
的差分即深度值，在描绘板多边形时，以像素单位进行深度值的修正，从而实现正确的进深判定(例如参照非专利文献3)。即使在多视点精灵中， 也可以考虑用针对各视点的纹理图像的像素单位保持颜色信息和深度值， 利用与深度精灵同样的方法来进行进深判定。另外，以往作为深度值的导出方法采取的是下述方法对作为代表的 一个视点进行绘制，从而生成颜色信息缓冲区和深度值缓冲区。然后，对 该深度值缓冲区，从新的视点位置向屏幕上的各像素方向进行光线循迹处 理，求出最近的深度缓冲区上的像素位置和深度值，从而就对应于新视点 位置的各像素进行深度值缓冲区的生成(例如参照非专利文献4)。这是被称作浮雕贴图的方法(例如参照非专利文献5)。非专利文献l:川西裕幸译，实时绘制第二版(日语版)，株式会社求一yf、-夕少，第269-283页，2006年非专利文献2:福岛，平山，"鉴赏者参加型的三维影像显示器"，信息处理，Vol.47， No.4， 第368-373页(2006) 专利文献1:日本特开2004-5228号公报非专利文献3:川西裕幸译实时绘制第二版(日语版)、株式会社求一 yf-夕》第285-287页(2006)非专利文献4:宫泽笃等，"面向娱乐的实时&交互三维电脑立体图像的制作与评价(了^二一父^ y卜向(t y 7Vk夕^厶&^ y夕，夕x^:/3次元^yt:。二一夕7亍^才夕、、，7一 O試作S評価)"，2006年影像信息 媒体学会，立体影像技术时限研究会，2006年10月17日非专禾!j文献5: Fabio Policarpo， et al, "Real-Time Relief Mapping on Arbitrary Polygonal Surfaces", ACMI3D， 2005。但是，在将非专利文献3的技术应用于多视点数据的情况下，需要对 各个视点位置存储像素单位上的深度值，所以有用来存储深度值的存储量 变多的问题。另外，在非专利文献4的技术中，为了在描绘时针对各点 图像的各像素获得深度值，需要求解高次函数方程式，有处理繁杂而且运 算处理量大的问题。而且，由于生成来自作为代表的一个视点的深度值缓 冲区，所以从该视点起隐藏于阴影之中，有存在不能准确复原的形状的问 题。 发明内容本发明是鉴于上述问题而作出的，其目的在于提供一种能够针对各视 点位置高效地导出像素单位上的深度值的多视点数据生成装置以及方法。为了解决上述课题，实现本发明的目的，本发明是一种多视点数据生 成装置，其特征在于，包括第1接收单元，接收多视点摄像机信息，该 多视点摄像机信息至少包含与配置有多个摄像机的各视点位置相关的信 息、和由该各个摄像机拍摄的帧区域的像素数；第2接收单元，接收表示 CG目标的形状以及色彩的形状数据；像素指针生成单元，依次生成上述帧 区域中的规定区域内所包含的各像素的像素指针；颜色信息生成单元，基 于上述多视点摄像机信息以及形状数据，针对每个上述像素指针生成与上 述CG目标的上述帧区域内的上述各视点位置相对应的颜色信息组；深度 值生成单元，基于上述多视点摄像机信息以及形状数据，针对每个上述像 素指针生成与上述CG目标的上述帧区域内的上述各视点位置相对应的深 度值组；深度参数排列生成单元，针对每个像素指针导出将上述各视点位置与上述深度值组之间的关系近似化了的近似函数，并生成排列了该近似函数的参数的深度参数排列；以及多视点数据生成单元，基于每个上述像 素指针的上述颜色信息组和深度参数排列，生成与上述视点位置数对应的 视差图像量的多视点数据。另外，本发明是一种多视点数据生成方法，其特征在于，包括第1 接收步骤，由第1接收单元接收多视点摄像机信息，该多视点摄像机信息 至少包含与配置有多个摄像机的各视点位置相关的信息、和由该各个摄像 机拍摄的帧区域的像素数；第2接收步骤，由第2接收单元接收表示CG 目标的形状以及色彩的形状数据；像素指针生成步骤，由像素指针生成单 元依次生成上述帧区域中的规定区域内所包含的各像素的像素指针；颜色 信息生成步骤，由颜色信息生成单元基于上述多视点摄像机信息以及形状 数据，针对每个上述像素指针生成与上述CG目标的上述帧区域内的上述 各视点位置相对应的颜色信息组；深度值生成步骤，由深度值生成单元基 于上述多视点摄像机信息以及形状数据，针对每个上述像素指针生成与上 述CG目标的上述帧区域内的上述各视点位置相对应的深度值组；深度参 数排列生成步骤，由深度参数排列生成单元针对每个像素指针导出将上述 各视点位置与上述深度值组之间的关系近似化了的近似函数，并生成排列了该近似函数的参数的深度参数排列；以及多视点数据生成步骤，由多视 点数据生成单元基于每个上述像素指针的上述颜色信息组和深度参数排 列，生成与上述视点位置数对应的视差图像量的多视点数据。进而，本发明的特征在于，使计算机作为下述单元发挥作用第l接收单元，接收多视点摄像机信息，该多视点摄像机信息至少包含与配置有 多个摄像机的各视点位置相关的信息、和由该各个摄像机拍摄的帧区域的像素数；第2接收单元，接收表示CG目标的形状以及色彩的形状数据； 像素指针生成单元，依次生成上述帧区域中的规定区域内所包含的各像素 的像素指针；颜色信息生成单元，基于上述多视点摄像机信息以及形状数 据，针对每个上述像素指针生成与上述CG目标的上述帧区域内的上述各 视点位置相对应的颜色信息组；深度值生成单元，基于上述多视点摄像机 信息以及形状数据，针对每个上述像素指针生成与上述CG目标的上述帧 区域内的上述各视点位置相对应的深度值组；深度参数排列生成单元，针 对每个像素指针导出将上述各视点位置与上述深度值组之间的关系近似化 了的近似函数，并生成排列了该近似函数的参数的深度参数排列；以及多 视点数据生成单元，基于每个上述像素指针的上述颜色信息组和深度参数 排列，生成与上述视点位置数对应的视差图像量的多视点数据。根据本发明，针对各视点位置，以排列了作为近似函数的参数的深度 参数排列的状态处理像素单位上的深度值，因此，能够削减所使用的存储 器量，并且能够抑制给运算处理量造成的负荷，能够对各个视点位置高效 地导出像素单位上的深度值。


图1是表示多视点数据生成装置的结构的图。 图2是表示显示部的结构的图。图3是表示多视点数据生成装置的功能性结构的一个例子的图。 图4是用于说明多视点摄像机信息的图。 图5是用于说明多视点摄像机信息的图。
图6是用于说明多视点摄像机信息的图。 图7是用于说明形状数据的图。图8是表示多视点颜色信息生成处理的流程的流程图。图9是用来说明多视点颜色信息生成处理的图。图IO是表示多视点深度值生成处理的流程的流程图。图11是表示深度参数排列生成处理的流程的流程图。图12是用于说明深度参数排列生成处理的图。图13是表示深度值复原处理的流程的流程图。图14是表示进深判定处理的流程的流程图。图15是表示多视点数据生成处理的流程的流程图。图16是表示多视点数据生成装置的功能性结构的一个例子的图。图17是表示综合多视点精灵数据的数据结构的图。图18是表示综合多视点精灵数据保存处理的流程的流程图。图19是表示多视点数据生成装置的功能性结构的一个例子的图。图20是表示多视点精灵显示属性信息的一个例子的图。图21是表示帧与精灵区域的关系的图。图22是表示多视点数据生成处理的流程的流程图。
具体实施方式
下面参照附图对多视点数据生成装置、方法以及程序的最佳实施方式 进行详细说明。第1实施方式图1是表示本实施方式的多视点数据生成装置100的硬件结构的方框 图。如图1所示，多视点数据生成装置100具备控制部1、操作部2、显示 部3、 ROM (只读存储器)4、 RAM (随机存取存储器)5、存储部6、通信部 7等，各部分通过总线8连接。另外，对于后述的多视点数据生成装置200、 300，也具备与多视点数据生成装置100同样的硬件结构。控制部1由CPU (中央处理单元)和GPU (图形处理单元)等运算装置 构成，将RAM5的规定区域作为工作区域，通过与R0M4或者存储部6中预 先存储的各种控制程序协同作用来执行各种处理，全盘控制构成多视点数
据生成装置100的各部分的动作。另外，控制部通过与R0M4或者存储部6 中预先存储的规定程序协同作用来实现后述的各种功能部分的功能。操作部2是鼠标和键盘等输入装置，将由用户操作输入的信息作为指 示信号接收并将该指示信号输出到控制部1。显示部3具有LCD (液晶显示器)等显示装置和双凸透镜等光线控制元 件，是借助后述显示控制部17的控制来显示规定视点数量的立体影像的三 维显示装置。图2是概略表示显示部3的结构的立体图。这里是以视点数量n二9的 情况为例进行说明。如图2所示，在显示部3中，在以矩阵形状排列有子 像素301的显示面的前表面上，作为光线控制元件而配置有由光学开口在 垂直方向上延伸的圆筒透镜构成的双凸透镜板303。在显示面上，纵横比为3: 1的子像素301在横向上以直线形状排成一 行，各子像素301排列成，在同一行内，红(R)、绿(G)、蓝(B)在横向 上交替排列。另一方面，子像素在垂直方向上也以直线状排成一列，而且 也排列成，在同一列内，R、 G、 B交替排列。子像素行的纵周期(3Pp)是 子像素301的横周期Pp的三倍。在一般的彩色图像显示装置中，用横向排列的RGB这三个子像素301 构成1个实效像素，即构成能够任意设定辉度和颜色的最小单位，所以， 子像素的纵横比为3: 1。在图2的显示面中，由纵向排列的RGB这三个子 像素301构成一个实效像素302 (用黑框表示)。作为光线控制元件的双凸透镜板303的圆筒透镜配置在实效像素302 的大致正面。另外，圆筒透镜的水平间距(Ps)是排列在显示面内的子像 素的横向周期(Pp)的9倍。根据这样的结构，扩大到超过圆筒透镜的程 度而可见的子像素对应于水平位置的观察位置的变动而进行切换。即，通 过显示在实效像素302中的视差图像的观察方式的切换，能够使得观察者 能够辨认立体影像。返向到图1， R0M4以不能重写的方式存储与多视点数据生成装置100 的控制相关的程序和各种设定信息等。RAM5是SDRAM等易失性存储装置，作为控制部1的动作区域和视频存 储器而发挥作用。具体而言，除了作为后述的多视点帧深度值保持部5K多视点帧颜色信息保持部52起作用以外，在进行与多视点数据的生成相关 的处理时还起到暂时存储各种变量和参数的值的缓冲区等的作用。存储部6具有能够以磁或光学方式进行存储的存储介质，以能够重写 的方式存储与多视点数据生成装置100的控制有关的程序和各种信息。具 体而言，存储部6存储后述的进深判定条件式61等。通信部7是与外部装置之间进行通信的接口，将接收到的各种信息输 出到控制部1，并且将从控制部1输出的各种信息向外部装置发送。图3是表示通过控制部1与预先存储在R0N4或者存储部6中的规定程 序的协同作用而实现的、多视点数据生成装置100的功能性结构的图。如 该图所示，多视点数据生成装置100具备帧像素指针生成部11、多视点颜 色信息生成部12、多视点深度值生成部13、多视点深度参数排列生成部14、 多视点深度值复原部15、多视点进深判定部16、和显示控制部17。而且， 利用RAM5来实现多视点帧深度值保持部51和多视点帧颜色信息保持部52 的功能。另外，在存储部6中存储着进深判定条件式61。在多视点数据生成装置100中，在生成多视点数据之前，后述的多视 点摄像机信息91被输入到帧像素指针生成部11、多视点颜色信息生成部 12以及多视点深度值生成部13。而且，后述的形状数据92被输入到多视 点颜色信息生成部12以及多视点深度值生成部13中。另外，对多视点摄 像机信息91以及形状数据92的输入方式没有特别限定。例如，可以采用 经由通信部7从外部装置输入的方式。而且，还可以采取下述方式将多 视点摄像机信息91以及形状数据92预先存储在存储部6中，通过从该存 储部6读出来输入到各功能部分中。首先，参照图4至图6，对多视点摄像机信息91进行说明。图4是表 示多视点摄像机信息91的一个例子的图。在用于提示立体影像的多视点数 据生成中，需要针对各个帧从多个视点描绘CG图像。因此，在多视点摄像 机信息91中，包含与对应于各视点位置的多个摄像机相关的信息(摄像机 信息)。另外，在本实施方式中，水平方向采用的是平行射影透镜移动摄像 机，垂直方向采用的是透视射影摄像机，但并不限于此，可以根据三维显 示器的规格进行变更。如图4所示，在多视点摄像机信息91中定义了与总视点数相对应的摄 像机总数Nc。另外，针对每个摄像机，定义表示摄像机的拍摄位置的摄像 机视点位置Cn、用于表示摄像机的朝向的注视点位置Ln、表示摄像机的天 地(上下)方向的上方矢量Un。另外，在多视点摄像机信息91中，定义了帧的纵向像素数Fheight、 横向像素数Fwidth，作为帧像素数。而且，定义了所有摄像机通用的垂直 方向的视场角A、和水平方向的视场角尺寸W。水平方向的视场角尺寸W表示向帧的水平方向射影的宽度。图5、图6是用于说明多视点摄像机信息91所含的各种信息的图。其 中，图5是对从摄像机的正上方观察的XZ平面进行展示的图。图6是对从 摄像机的横向观察的YZ平面进行展示的图。在图5、图6中，表示Nc台摄像机中第m台和第n台这两台摄像机的 摄像机视点位置Cm、 Cn与作为各摄像机的摄像区域的帧之间的关系。在这 个例子中，假定的是帧存在于XY平面上的情况，将其中心位置作为原点O。 另外，各摄像机的视点位置存在于XZ平面，Cm= (Cmx， 0， D)， Cn= (Cnx， 0， D)。这里，"D"表示帧与摄像机之间的距离的Z分量。即，帧的垂直方 向的视场角尺寸用2XDtan (A/2)表示。从摄像机视点位置Cm、 Cn与帧之间的配置关系导出的水平方向(X轴 方向)的视场角尺寸W，由于采用的是平行射影透镜移动摄像机，所以如图 5所示那样表示。另外，垂直方向(Y轴方向)的视场角A，由于采用的是 透视射影摄像机，所以如图6所示那样表示。另外，将所有摄像机的注视 点位置Ln作为原点O，将所有摄像机的上方向矢量设为U0二Ul…UnFUn…二U (0， 1， 0)。接着，参照图7对形状数据92进行说明。图7是概念性表示形状数据 92的一个例子的图。如图7所示，在形状数据92中，定义了用由多边形构 成的多边形集合表示的CG目标921、被映射到CG目标921的多边形表面上 的纹理图像922、以及作为CG目标921的基准刻度的基准帧923等。在图7的例子中，基准帧923存在于XY平面上，用B0、 Bl、 B2、 B3 表示其四个角上的点。另外，CG目标921存在于基准帧923上的三维空间 中，其形状在Z轴方向为凸形。这里，CG目标921表示的立体形状、纹理图像922表示的表面图像与
由显示部3提示的立体影像相对应。另外，CG目标921的形状和纹理图像 922的色彩、花纹是可以任意设定的。另外，由形状数据92定义的立体物 不限于一个，也可以采取定义多个立体物的方式。而且，输入的形状数据 个数不限于一个，也可以采取依次输入多个形状数据的方式。这种情况下， 每次输入形状数据都进行后述的多视点颜色信息生成处理、多视点深度值 生成处理。返回到图3，帧像素指针生成部11将多视点摄像机信息91作为输入， 基于多视点摄像机信息91，依次生成帧所包含的各像素的坐标分量(指针)， 作为帧像素指针Fi (Fi= (Px， Py))依次输出到多视点颜色信息生成部12 以及多视点深度值生成部13。具体来说，帧像素指针生成部11参照由上述多视点摄像机信息91定 义的帧的像素数(Fwidth， Fheight)，依次生成和输出该帧所含的所有像 素量的指针。例如，在(Fwidth， Fheight) = (320， 240)的情况下，从 相当于帧的左上方的(Px， Py) = (0， 0)开始，到相当于帧的右下方的 (Px， Py) = (319， 239)，以此将(Px， Py) = (0， 0)，…，(319， 0)， (0， 1)，…，(319， 1)，…，(0， 239)，…，(319， 239)作为帧像素指 针Fi逐个输出。多视点颜色信息生成部12输入多视点摄像机信息91、形状数据92以 及帧像素指针Fi，基于这各个信息，导出将帧像素指针Fi映射到由形状数 据92定义的基准帧923上的帧像素指针对应点Fp。另外，多视点颜色信息生成部12分别导出连结帧像素指针对应点Fp 和各摄像机视点位置Cn的直线与由形状数据92定义的CG目标921的多边 形面相交所得的交点Qn。另外，多视点颜色信息生成部12求出针对导出的各个交点Qn也就是 各个摄像机视点位置Cn的颜色信息(多视点颜色信息)Color (n)，并与 输入的帧像素指针Fi对应起来输出到多视点进深判定部16。以下，参照图8和图9，对多视点颜色信息生成部12的动作进行说明。 这里，图8是表示由多视点颜色信息生成部12执行的多视点颜色信息生成 处理的流程的流程图。另外，图9是用于说明对图7所示的形状数据92实 施多视点颜色信息生成处理所得的结果的图。这里所说的多视点颜色信息 生成处理是指，对各视点位置的摄像机进行一般的光线追踪处理。首先，多视点颜色信息生成部12基于形状数据92的基准帧923导出 将帧像素指针Fi映射到基准帧923上所得的坐标Fp (Fp= (Fx， Fy， Fz)) (步骤Sll)。下面，将坐标Fp称作帧像素指针对应点Fp。例如，在形状数据92处于图9所示状态的情况下，基准帧923面存在 于XY面，所以帧像素指针对应点Fp的Z分量(Fz)为0。这种情况下，帧 像素指针对应点Fp可以使用下述式(1)导出。式1、<formula>formula see original document page 15</formula>接着，多视点颜色信息生成部12将0代入到用于对摄像机视点位置Cn 进行计数的变量n中，进行变量n的初始化(步骤S12)。接下来，多视点颜色信息生成部12基于多视点摄像机信息91和形状 数据92导出交点Qn (Qn二 (Qnx， Qny， Qnz))，该交点Qn是连结对应于变 量n的值的摄像机视点位置Cn和帧像素指针对应点Fp的直线与由形状数 据92定义的CG目标921的多边形面相交的交点(步骤S13)。使用图9对步骤S13的处理进行说明。如图9所示，摄像机视点位置 Cn、帧像素指针对应点Fp存在于图中表示的位置。此时，多视点颜色信息 生成部12将连结摄像机视点位置Cn和帧像素指针对应点Fp的直线与构成 CG目标921的多边形面之间的交点求出，作为交点Qn。在存在多个交点的 情况下，求出摄像机视点位置Cn与帧像素指针对应点Fp之间的距离最短 的一个交点，将该交点作为Qn。返回到图8，多视点颜色信息生成部12就在步骤S13中导出的交点Qn 的位置对由形状数据92定义的纹理图像922进行抽样，导出与该Qn的位 置相对应的颜色信息、即与摄像机视点位置Cn相对应的颜色信息Color(n) (步骤S14)。这里，颜色信息由红(R)、绿(G)、蓝(B)这各种成分构成。 即，Color (n) 二(ColorR(n)，ColorG(n)， ColorB (n))。接着，多视点颜色信息生成部12将变量n的值加l (步骤S15)，并判 定变量n的值是否达到了摄像机总数Nc (步骤S16)。这里，在判定n〈Nc 的情况下(步骤S16:否)，再次返回到步骤S13，对下一个视点位置导出
交点Qn。另外，在步骤S16中判断为n=Nc的情况下(步骤S16:是)，多视点颜 色信息生成部12将把帧像素指针Fi与针对各摄像机视点位置Cn的颜色信 息Color (n)对应起来的(Fi， (Color (0)， Color (1)，…，Color (Nc 一l))输出到多视点进深判定部16 (步骤S17)，结束本处理。下面，将针 对各摄像机视点位置Cn的颜色信息Color(n)的集合称作多视点颜色信息。返回到图3，多视点深度值生成部13将多视点摄像机信息91、形状数 据92以及帧像素指针Fi作为输入，基于这各个信息，导出上述的帧像素 指针对应点Fp。另外，多视点深度值生成部13导出连结帧像素指针对应点Fp和各摄 像机视点位置Cn的直线与由形状数据92定义的CG目标921的多边形面相 交的交点Qn。而且，多视点深度值生成部13求出针对导出的各交点Qn的深度值dn， 并与帧像素指针Fi对应起来输出到多视点深度参数排列生成部14。以下，参照图10，对多视点深度值生成部13的动作进行说明。图10 是表示由多视点深度值生成部13执行的多视点深度值生成处理的流程的流 程图。另外，这里说明的多视点深度值生成处理与上述多视点颜色信息生 成处理同样，是指对各视点位置的摄像机进行一般的光线追踪处理。首先，多视点深度值生成部13基于形状数据92导出将帧像素指针Fi 映射到由形状数据92定义的基准帧923上的坐标Fp，也就是帧像素指针对 应点Fp (步骤S21)。这里，帧像素指针对应点Fp的导出方法与上述多视 点颜色信息生成部12的方法同样，所以省略详细说明。接下来，多视点深度值生成部13将0代入到用来对摄像机视点位置Cn 进行计数的变量n，进行变量n的初始化(步骤S22)。然后，多视点深度值生成部13基于多视点摄像机信息91和形状数据 92，导出连结对应于变量n的值的摄像机视点位置Cn与帧像素指针对应点 Fp的直线和由形状数据92定义的多边形面相交的点，将该点作为交点Qn (步骤S23)。在存在多个交点的情况下，求出将摄像机视点位置Cn与帧像 素指针对应点Fp之间的距离最小的一个交点，将该点作为交点Qn。接着，多视点深度值生成部13基于作为进深判定的基准的基准轴，导
出由形状数据92定义的基准帧923上的三维空间中的交点Qn的深度值dn (步骤S24)。例如，在形状数据92处于图9所示状态的情况下，可以以Z轴为基准 表示CG目标921的进深。这种情况下，Qn的Z分量为深度值，所以将Qn =(Qnx， Qny， Qnz)的Z分量的符号颠倒后的"一Qnz"作为深度值导出。 这种情况下，接近视点的点的深度值较小，越远离视点则深度值越大。返回到图10，多视点深度值生成部13将变量n的值加1 (步骤S25)， 判定变量n的值是否达到了摄像机总数Nc (步骤S26)。这里，在判定为n 〈Nc的情况下(步骤S26:否)，再次返回步骤S23，对下一视点位置导出 交点Qn。另外，在步骤S26中，如果判定为『Nc (步骤S26:是)，则多视点深 度值生成部13将把帧像素指针Fi与对应于各交点Qn的深度值即针对各摄 像机视点位置Cn的深度值dn对应起来的(Fi， (dO，dl…，dNc-1))输出到 多视点深度参数排列生成部14 (步骤S27)，结束本处理。以下，将针对各 摄像机视点位置Cn的深度值dn的集合称作多视点深度值。另外，利用上述的步骤S21、 S23的处理导出的帧像素指针对应点Fp 以及交点Qn，与上述多视点颜色信息生成处理的步骤Sll、 S13中导出的帧 像素指针对应点Fp以及交点Qn的值相同。因此，也可以采取将某一处理 中求得的帧像素指针对应点Fp以及交点Qn用于另一处理的方式。返回图3，多视点深度参数排列生成部14将从多视点深度值生成部13 输出的帧像素指针Fi与多视点深度值的组作为输入，用函数D (n)定义由 各摄像机视点位置Cn和多视点深度值所包含的一系列深度值dn表示的曲 线。另外，多视点深度参数排列生成部14导出用近似式表示函数D (n)的 函数E (n)，将该函数E (n)所含的各参数的组作为深度参数排列，与帧 像素指针Fi对应起来输出到多视点深度值复原部15。以下，参照图11、图12，对多视点深度参数排列生成部14的动作进 行说明。图11是表示由多视点深度参数排列生成部14执行的深度参数排 列生成处理的流程的流程图。首先，多视点深度参数排列生成部14用将对应于各摄像机视点位置的
视点指针n作为变量的函数D (n)定义多视点深度值所含的一系列深度值 dn (步骤S31)。其次，多视点深度参数排列生成部14导出作为在步骤S31 中定义的函数D (n)的近似式的函数E (n)，生成构成函数E (n)的参数 的组(步骤S32)。图12是用来对深度参数排列生成处理的步骤S31、 S32的处理进行说 明的图。在图12中，纵轴表示深度值，横轴表示摄像机视点位置Cn (0《n 《Nc-1)。这里，多视点深度值所包含的深度值dn的排列为在图中处于用 白圈表示的状态的表示。在步骤S31的处理中，用将表示各摄像机视点位 置的视点指针n作为变量的函数D (n)来定义按照n的升序连结这些白圈 的各个点而表示的曲线(图中，对应于连结白圈的虚线)。接着在步骤S32的处理中，求出作为函数D(n)的近似式的函数E(n) 的参数的组。例如，如果将函数E ( n )设为连接多个控制点Pn二 (t (n) ， r (n)) 而构成的区分一次式也就是折线函数，那么函数E (n)的参数为 (t(n)，r(n))。图12的实线表示的曲线表示控制点Pn的个数为4时的函数E (n)，将 各控制点Pl至P4的分量设为((t (0) ， r (0)) ， (t (1) ， r (1)) ， (t (2) ， r (2))， (t(3)，r(3)))。这里，t(n)是视点指针，对应于各个摄像机视点位置Cn。 另外，r (n)表示对应于t(n)的深度值dn。在图12中，将控制点Pl的t(O)设为摄像机视点位置CO (t(0)=0)， 将控制点P2的t (1)设为摄像机视点位置C2( t (1) =2),将控制点P3的t (2) 设为摄像机视点位置CNc-3 (t (2) 二Nc-3)，将控制点P4的t (3)设为摄像机 视点位置CNc-l (t(3)=Nc-1)。也就是说，表示的是用连接四个控制点构成 的折线函数对由有Nc-l个深度值dn的组表示的曲线进行近似表示的例子。另外，对深度参数排列(t (n) ， r (n))的各个值的导出方法没有特别限 制，例如，可以采用以下方法。首先，预先确定控制点的个数Np，在视点 指针0到视点指针Nc-l之间分配t(0)，t(l)，…，t(Np-1)。接着，设成 r(0)二D(0),r(Np-l)=D(Nc-1)，从r (1)到r (Np-2)采用满足下述式(2) 的值。这里，k是0以上的整数。式2<formula>formula see original document page 19</formula>(2)另外，对t (n)向摄像机视点位置分配的方法没有特别限制。例如， 可以采取在各深度值的变化量微小的范围内等间隔分配的方式，也可以采 取根据深度值dn变化的强弱来改变分配的个数的方式。返回图11，在步骤S33中，多视点深度参数排列生成部14将把帧像素 指针Fi与深度参数排列(t(n)，r(n))对应起来的 (Fi， (t (0) ， r (0)) ， (t (1) ， r (1))，...)输出给多视点深度值复原部15 (步骤 S33)，结束本处理。这样，在本深度参数排列生成处理中，通过将针对各摄像机视点位置 Cn的深度值dn变换成函数E (n)的参数的组，能够针对各视点位置用较 少的数据量表示像素单位上的深度值。另外，在本实施方式中，将表示函数D (n)的近似式的函数E (n)设 为一次式的集合，但并不限于此，也可以采取利用贝塞尔函数或样条函数 的方式，对于次数，也可以采用二次、三次等高次的函数。返回图3，多视点深度值复原部15将从多视点深度参数排列生成部14 输出的帧像素指针Fi和深度参数排列的组作为输入，对表示各摄像机视点 位置的视点指针n生成排列了函数E (n)的值的深度值排列。另外，多视点深度值复原部15将生成的深度值排列与帧像素指针Fi 对应起来输出到多视点进深判定部16。下面，参照图13，对多视点深度值复原部15的动作进行说明。图13 是表示由多视点深度值复原部15执行的深度值复原处理的流程的流程图。首先，多视点深度值复原部15基于所输入的深度参数排列(t(n)， r(n))，针对对应于各摄像机视点位置Cn的各视点指针n算出函数E (n) 的值，生成排列了这些值的深度值排列(E(0)，E(l)，…，E(Nc-1))(步骤 S41)。接着，多视点深度值复原部15将把帧像素指针Fi与深度值排列 (E(0),E(l)，…，E(Nc-1))对应起来的(Fi， (E(0)，E(l)，…，E(Nc-l)))
输出到多视点进深判定部16 (步骤S42)，结束本处理。返回到图3，多视点进深判定部16将与帧像素指针Fi对应起来的多视 点颜色信息和深度值排列作为输入，对各摄像机视点位置Cn，将深度值排 列所包含的深度值E (n)与多视点帧深度值保持部51所保持的深度值之间 的关系代入到后述的进深判定条件式61，判定其真伪。而且，在进深判定条件式61的判定结果为真时，多视点进深判定部16 将所输入的深度值E (n)与对应于该深度值E (n)的帧像素指针Fi及摄 像机视点位置Cn的后述描绘用帧的像素对应起来，保持(存储)到多视点 帧深度值保持部51中。而且，多视点进深判定部16将对应于该深度值E (n)的帧像素指针Fi及摄像机视点位置Cn的多视点信息所包含的颜色信 息，与对应于该颜色信息的帧像素指针Fi及摄像机视点位置Cn的描绘用 帧的像素对应起来，保持(存储)在多视点帧颜色信息保持部52中。这里，多视点帧深度值保持部51是与帧缓冲区中的Z缓冲区相当的缓 冲区域，对于针对各个摄像机视点位置Cn确保的描绘用帧，用与各描绘用 帧所包含的帧像素指针Fi对应的像素单位保持(存储)深度值。另外，多 视点帧颜色信息保持部52是相当于帧缓冲区中的彩色缓冲区的缓冲区域， 在针对每个摄像机视点位置Cn确保的描绘用帧中，用与各描绘用帧所包含 的帧像素指针Fi对应的像素单位保持(存储)颜色信息。以下，参照图14，对多视点进深判定部16的动作进行说明。图14是 表示由多视点进深判定部16执行的进深判定处理的流程的流程图。本处理的前提是，对于多视点帧深度值保持部51的各描绘用帧所包含 的所有像素，都预先保持了表示无线远点的深度值。而且，对于多视点帧 颜色信息保持部52的各描绘用帧所包含的所有像素，都预先保持了表示描 绘时的背景色(例如透明)的颜色信息。首先，多视点进深判定部16将0代入到用于对摄像机视点位置Cn进 行计数的变量n (步骤S51)。接着，多视点进深判定部16读出对应于多视 点帧深度值保持部51所保持的摄像机视点位置Cn的描绘用帧的、与帧像 素指针Fi相对应的像素的深度值，并代入到变量u (步骤S52)。接着，多视点进深判定部16将与作为此次处理的对象的帧像素指针Fi 的摄像机视点位置Cn相对应的深度值E (n)、变量u代入到进深判定条件
式61中(步骤S53)，判定是否满足该进深判定条件式61的条件(步骤S54)。这里，进深判定条件式61是用于对从对应于变量n的值的摄像机视点 位置Cn观察的、变量u和深度值E (n)的与进深有关的前后关系进行判定 的关系式。例如，如果多视点帧深度值保持部51中保持的值越小则表示像 素距离摄像机视点位置越近，那么进深判定条件式61设成E (n) <u即可。 在本实施方式中，作为进深判定条件式61使用的是E (n) 〈u的条件式， 但并不限于这一个例子。在步骤S54中，如果进深判定条件式61为"伪"，g卩，E (n) (步 骤S54:否)，则直接转移到步骤S57的处理。另一方面，如果在步骤S54 中，进深判定条件式61为"真"，即，E (n) <u (步骤S54:是)，则转移 到步骤S55的处理。接着，在步骤S55中，多视点进深判定部16将E (n)代入到对应于多 视点帧深度值保持部51的摄像机视点位置Cn的描绘用帧的、与帧像素指 针Fi对应的像素的深度值，保持该值(步骤S55)。接着，多视点进深判定部16将Color (n)代入到对应于多视点帧颜色 信息保持部52的摄像机视点位置Cn的描绘用帧的、与帧像素指针Fi对应 的像素的颜色信息，保持该值(步骤S56)。接着，多视点进深判定部16将变量n的值加1运算(步骤S57)，判定 变量n的值是否达到了摄像机总数Nc (步骤S58)。这里，如果判定为rK Nc (步骤S58:否)，则再次返回到步骤S52。如果在步骤S58中判定为n =Nc (步骤S58:是)，则结束本处理。返回到图3，显示控制部17基于保持于多视点帧颜色信息保持部52 的与各摄像机视点位置相对应的描绘用帧的像素单位的颜色信息，生成对 应于摄像机视点位置Cn的数目的视差图像量，也就是帧整体量的多视点数 据。另外，显示控制部n通过将生成的多视点数据显示在三维显示装置也就是显示部3中，来进行与形状数据92相对应的立体影像的提示。下面，使用图15，对由多视点数据生成装置100的各功能部分执行的 多视点数据生成处理进行说明。这里，图15是表示多视点数据生成处理的 流程的流程图。
首先，输入多视点摄像机信息91和形状数据92后，帧像素指针生成 部11基于与多视点摄像机信息91包含的帧的像素数相关的信息，生成帧 像素指针Fi，并输出到多视点颜色信息生成部12以及多视点深度值生成部13 (步骤S61)。然后，多视点颜色信息生成部12根据多视点摄像机信息91、形状数据 92和帧像素指针Fi，执行图8中说明的多视点颜色信息生成处理，将组合 了帧像素指针Fi与多视点颜色信息的信息输出到多视点进深判定部16(步 骤S62)。另外，多视点深度值生成部13根据多视点摄像机信息91、形状数据 92和帧像素指针Fi，执行图10中说明的多视点深度值生成处理，将组合 了帧像素指针Fi与多视点深度值的信息输出到多视点深度参数排列生成部14 (步骤S63)。接着，多视点深度参数排列生成部14根据从多视点深度值生成部13 输入的信息，执行图11中说明的深度参数排列生成处理，将组合了帧像素 指针Fi与深度参数排列的信息输出到多视点深度值复原部15 (步骤S64)。接着，多视点深度值复原部15根据从多视点深度参数排列生成部14 输入的信息，执行图13中说明的深度值复原处理，将组合了帧像素指针Fi 与深度值排列的信息输出到多视点进深判定部16 (步骤S65)。接着，多视点进深判定部16根据从多视点深度值复原部15输入的信 息，执行图14中说明的进深判定处理，对于每一个摄像机视点位置Cn的 帧，将对应于各帧像素指针Fi的像素的深度值保持在多视点帧深度值保持 部51中，并且，将对应于各帧像素指针Fi的像素的颜色信息保持在多视 点帧颜色信息保持部52中(步骤S66)。然后，显示控制部17，以保持在多视点帧颜色信息保持部52中的各摄 像机视点位置Cn的描绘用帧所包含的像素单位的颜色信息为基础，生成对 应于摄像机视点位置Cn的总数的多视点数据(步骤S67)。并且，显示控制 部17通过将该多视点数据显示在显示部3中来提示与形状数据92相对应 的立体影像(步骤S68)，结束本处理。如上所述，根据本实施方式，相对于CG目标921的形状数据92，针对 各视点位置，以排列了作为近似式的函数E (n)的参数的深度参数排列的
状态处理像素单位上的深度值。由此，能够削减所使用的存储器量，并且 能够抑制给运算处理量造成的负荷，能够对各个视点位置高效地导出像素 单位上的深度值。而且，在从深度参数排列复原深度值之后，对各个视点位置进行像素 单位上的进深判定，将针对根据该判定结果获得的各视点位置而基于像素 单位上的颜色信息描绘的多视点数据显示在显示部3上。由此，能够提示 高精度的立体影像，并且能够通过目视确认近似的精度。第2实施方式下面对第2实施方式的多视点数据生成装置进行说明。对于与上述第1 实施方式同样的结构标注同样的附图标记并省略说明。在第1实施方式中，对基于所输入的多视点摄像机信息91以及形状数 据92生成帧单位的多视点数据的方式进行了说明。在本实施方式中，对生 成精灵单位的多视点数据的多视点数据生成装置200进行说明。图16是表示通过控制部1与预先存储在R0N4或者存储部6中的规定 程序的协同作用而实现的、多视点数据生成装置200的功能性结构的图。 如图16所示，多视点数据生成装置200具备帧像素指针生成部21、多视点 颜色信息生成部22、多视点深度值生成部23、多视点深度参数排列生成部 24、综合多视点精灵数据保持控制部25。而且，利用RAM5来实现综合多视 点精灵数据保持部53的功能。在多视点数据生成装置200中，多视点摄像机信息94被输入到帧像素 指针生成部21、多视点颜色信息生成部22以及多视点深度值生成部23。 而且，形状数据92被输入到多视点颜色信息生成部22以及多视点深度值 生成部23中。这里，在多视点摄像机信息中，代替帧像素数(Fwidth， Fheight)， 包含有定义了精灵区域的纵向像素数Sheight和横向像素数Swidth的精灵 像素数(Swidth， Sheight)。另外，在帧=精灵区域的情况下，当然，与 第1实施方式中采用的多视点摄像机信息91相同。精灵像素指针生成部21输入多视点摄像机信息93，基于多视点摄像机 信息93生成存在于精灵区域上的各像素的指针，作为精灵像素指针Si (Si=(Sx，Sy))依次输出。 具体来说，精灵像素指针生成部21参照由上述多视点摄像机信息93 所含的精灵区域的像素数(Swidth， Sheight)，依次输出该精灵区域所含 的所有像素的分量(精灵像素指针)。例如，在(Swidth， Sheight) = (200， 100)的情况下，从相当于精灵区域的左上方的(Sx， Sy) 二 (0， 0)开始， 到相当于精灵的右下方的(Sx， Sy) : (199, 99)，依次将(Sx， Sy)= (0， 0)，…，(199， 0)， (0， 1)，…，(199， 1)，…，(0， 99)，…，(199， 99)逐个输出。多视点颜色信息生成部22具有与上述多视点颜色信息生成部12同样 的功能，基于多视点摄像机信息93、形状数据92以及精灵像素指针Si， 导出将精灵像素指针Si映射到由形状数据92定义的基准帧923上的精灵 像素指针对应点Sp。另外，多视点颜色信息生成部22分别导出连结精灵像素指针对应点Sp 和各摄像机视点位置Cn的直线与由形状数据92定义的CG目标921的多边 形面相交所得的交点Qn。另外，多视点颜色信息生成部22求出针对导出的各个交点Qn的颜色 信息Color (n)也就是多视点颜色信息，并与精灵像素指针Si对应起来输 出到综合多视点精灵数据保持控制部25。另外，由多视点颜色信息生成部22执行的多视点颜色信息生成处理与 第1实施方式中说明的多视点颜色信息生成部12的多视点颜色信息生成处 理相同，所以省略其说明。多视点深度值生成部23具有与上述多视点深度值生成部13同样的功 能，基于多视点摄像机信息93、形状数据92以及精灵像素指针Si，导出 精灵像素指针对应点Sp。另外，多视点深度值生成部23导出连结精灵像素指针对应点Sp和各 摄像机视点位置Cn的直线与由形状数据92定义的CG目标921的多边形面 之间相交的交点Qn。而且，多视点深度值生成部23求出针对导出的各交点Qn的深度值dn 即多视点深度值，并与精灵像素指针Si对应起来输出到多视点深度参数排 列生成部24。另外，由多视点深度值生成部23执行的多视点深度值生成处理与第1 实施方式中说明的多视点深度值生成部13的多视点深度值生成处理相同， 所以省略其说明。多视点深度参数排列生成部24具有与上述多视点深度参数排列生成部 14同样的功能，将精灵像素指针Si和多视点深度值的组作为输入，在用函 数D (n)定义多视点深度值所包含的一系列深度值dn所表示的曲线后，导 出用近似式表示该函数D (n)的函数E (n)。另外，多视点深度参数排列生成部24将函数E (n)所含的各参数的组 作为深度参数排列，与精灵像素指针Si对应起来输出到综合多视点精灵数 据保持控制部25。另外，由多视点深度参数排列生成部24执行的多视点深度参数生成处 理与第1实施方式中说明的多视点深度参数排列生成部14的多视点深度参 数生成处理相同，所以省略其说明。综合多视点精灵数据保持控制部25将从多视点颜色信息生成部22输 出的精灵像素指针Si与多视点颜色信息的组、以及从多视点深度参数排列 生成部24输出的精灵像素指针Si和深度参数排列作为输入。并且，综合多视点精灵数据保持控制部25相对于赋予的多视点精灵名 94将把各精灵像素指针Si和对应的多视点颜色信息以及深度参数排列关 联起来的综合多视点精灵数据保持在综合多视点精灵数据保持部53中。这 里，综合多视点精灵数据保持部53是RAM5的规定的存储区域(视频存储 器等)。在本实施方式中，采取的是RAM5作为综合多视点精灵数据保持部 53起作用的方式，但不限于此，也可以采取存储部6作为综合多视点精灵 数据保持部53起作用的方式。另外，多视点精灵名94既可以是从外部经 由通信部7输入的方式，也可以是利用综合多视点精灵数据保持控制部25 进行综合多视点精灵数据生成时自动赋予的方式。图17是示意性表示保持在综合多视点精灵数据保持部53中的综合多 视点精灵数据531的数据结构的图。如图17所示，综合多视点精灵数据531 由多视点精灵名5311、精灵像素指针表5312、多视点颜色信息表5313、多 视点深度参数排列表5314构成。其中，多视点精灵名5311对应于多视点精灵名94，是用来识别该综合 多视点精灵数据531的识别信息。因此，优选对多视点精灵名5311赋予每
个综合多视点精灵数据531固有的文字列。精灵像素指针表5312是存储各精灵像素指针Si的表。另外，多视点 颜色信息表5313是存储多视点颜色信息Color (n)的表。而多视点深度参 数排列表5314是存储深度参数排列(t (n), :r (n))的表。多视点颜色信息表5313、多视点深度参数排列表5314中存储的多视点 颜色信息Color (n)和深度参数排列(t (n) ， r (n))分别与存储在精灵像素指 针表5312中的对应的精灵象素指针Si关联起来存储。艮口，根据存储在精灵像素指针表5312中的精灵象素指针Si，能够分别 从多视点颜色信息表5313和多视点深度参数排列表5314读出与该精灵像 素指针Si对应的多视点颜色信息Color (n)和深度参数排列(t (n), r (n))。 另外，图17中表示的箭头表示对应于一个精灵像素指针Si的多视点颜色 信息Color (n)和深度参数排列(t(n)，r(n))。下面，利用图18，对由多视点数据生成装置200的各功能部分执行的 综合多视点精灵数据保存处理进行说明。这里，图18是表示多视点数据生 成处理的流程的流程图。首先，输入多视点摄像机信息93和形状数据92后，精灵像素指针生 成部21基于与多视点摄像机信息91包含的精灵的像素数相关的信息，依 次生成精灵像素指针Si，并输出到多视点颜色信息生成部22以及多视点深 度值生成部23 (步骤S71)。然后，多视点颜色信息生成部22根据多视点摄像机信息93、形状数据 92和精灵像素指针Si，针对精灵象素指针Si执行与图8中说明的多视点 颜色信息生成处理同样的处理，将组合了精灵像素指针Si与多视点颜色信 息的信息输出到综合多视点精灵数据保持控制部25 (步骤S72)。另外，多视点深度值生成部23根据多视点摄像机信息93、形状数据 92和精灵像素指针Si，针对精灵像素指针Si执行与图10中说明的多视点 深度值生成处理同样的处理，将该处理得到的多视点深度值与精灵像素指 针Si对应起来输出到多视点深度参数排列生成部24 (步骤S73)。接着，多视点深度参数排列生成部24根据从多视点深度值生成部23 输入的信息，针对精灵像素指针Si执行与图11中说明的深度参数排列生 成处理同样的处理，将该处理得到的深度参数排列与精灵像素指针Si对应
起来输出到综合多视点精灵数据保持控制部25 (步骤S74)。接着，综合多视点精灵数据保持控制部25将从多视点颜色信息生成部 22以及多视点深度参数排列生成部24输入的精灵像素指针Si、多视点颜 色信息以及深度参数排列的组与多视点精灵名94关联起来，作为综合多视 点精灵数据存储在综合多视点精灵数据保持部53中(步骤S75)后，结束 本处理。如上所述，根据本实施方式，相对于CG目标921的形状数据92，针对 各视点位置，以排列了作为近似式的函数E (n)的参数的深度参数排列的 状态来处理像素单位上的深度值。由此，能够削减所使用的存储器量，并 且能够抑制给运算处理量造成的负荷，能够对各个视点位置高效地导出像 素单位上的深度值。而且，针对一个多视点精灵名，将把精灵像素指针Si和多视点颜色信 息以及深度参数排列的组关联起来的综合多视点精灵数据保持在综合多视 点精灵数据保持部53中。由此，能在不增加存储器量以及运算处理量的情 况下，针对各视点位置高效地保持像素单位上的深度值。第3实施方式下面对第3实施方式的多视点数据生成装置进行说明。对于与上述第 1、第2实施方式同样的结构标注同样的附图标记并省略说明。在本实施方式中，对使用由第2实施方式的多视点数据生成装置200 生成的多视点精灵数据生成用于立体影像显示的多视点数据的多视点数据 生成装置300进行说明。图19是表示通过控制部1与预先存储在R0M4或者存储部6中的规定 程序的协同作用而实现的、多视点数据生成装置300的功能性结构的图。 如图19所示，多视点数据生成装置300具备像素指针生成部31、多视点颜 色信息读出部32、多视点深度参数排列读出部33、多视点深度值复原部15、 多视点进深判定部16、和显示控制部17。而且，利用RAM5来实现多视点 帧深度值保持部51、多视点帧颜色信息保持部52和综合多视点精灵数据保 持部53的功能。另外，在存储部6中存储着进深判定条件式61。在多视点数据生成装置300中，生成多视点数据之前，多视点摄像机 信息91被输入到像素指针生成部31、多视点颜色信息读出部32以及多视
点深度参数排列读出部33中。另外，作为用于从综合多视点精灵数据保持部53读出特定的综合多视 点精灵数据的指示信息，多视点精灵名94被输入到多视点颜色信息读出部 32以及多视点深度参数排列读出部33中。多视点精灵名94既可以采取经 由通信部7从外部装置输入的方式，还可以采取下述方式将多视点精灵 名94预先存储在存储部6中，通过从该存储部6读出来输入到各功能部分 中。另外，定义了显示多视点精灵数据时的属性的多视点精灵显示属性信 息95被输入到像素指针生成部31。这里，使用图20对多视点精灵显示属 性信息95进行说明。图20是表示多视点精灵显示属性信息95的一个例子的图。如图20所 示，在多视点精灵显示属性信息95中，定义了表示帧内的多视点精灵的相 对显示位置(精灵区域)的显示相对位置(Soffsetx， Soffsety)。在本实 施方式中，在多视点精灵显示属性信息95中仅包含显示相对位置，但不限 于此，也可以采取包含多视点精灵的显示尺寸(比例参数)、用于仿射变换 的参数的方式。返回图19，像素指针生成部31基于多视点摄像机信息91和多视点精 灵显示属性信息95，生成将精灵像素指针Si与对应于该精灵像素指针Si 的帧像素指针Fi对应起来的像素指针Gi，并输出到多视点颜色信息读出部 32以及多视点深度参数排列读出部33。具体来说，像素指针生成部31基于多视点摄像机信息91所包含的帧 的像素数(Fwidth， Fheight)和多视点精灵显示属性信息95的显示相对 位置(Soffsetx， Soffsety)，对精灵区域的所有像素依次输出将精灵像素 指针Si与对应于该精灵像素指针Si的帧像素指针Fi对应起来的像素指针 Gi= ((Px，Py)， (Sx，Sy))。这里，对于帧内包含的像素中的没有与精灵区 域的像素对应的像素，不输出帧像素指针Fi。例如，如图21所示，假设帧象素数(Fwidth， Fheight) 二 (320， 240)， 在多视点精灵显示属性信息95中定义为(Soffsetx， Soffsety) = (200， 100)。这种情况下，像素指针生成部31设为像素指针Gi = ((Px，Py)， (Sx，Sy))，依次输出((Px，Py)， (Sx, Sy) ) = ((200， 100)， (0，O))， ((201, 100)， (1， O))， ((202， 100)， (2， O))，…，((319， 100)， (119， O))， ((200， 101)， (0， l))，."， ((200， 239)， (0， 139))，…， ((319， 239)， (119， 139))。返回图19，多视点颜色信息读出部32从综合多视点精灵数据保持部 53参照对应于多视点精灵名94的综合多视点精灵数据531，从多视点颜色 信息表5313读出从像素指针生成部31输入的像素指针Gi二 ((Px，Py)， (Sx，Sy))的、对应于(Sx，Sy)的多视点颜色信息Color (n)。另外，多视点颜色信息读出部32将读出的多视点颜色信息Color (n) 与像素指针Gi的(Px，Py)、即对应于(Sx，Sy)的帧像素指针Fi对应起来， 输出到多视点进深判定部16。多视点深度参数排列读出部33从综合多视点精灵数据保持部53参照 对应于多视点精灵名94的综合多视点精灵数据531，从多视点深度参数排 列表5314读出从像素指针生成部31输入的像素指针Gi = ((Px，Py)， (Sx，Sy))的、对应于(Sx，Sy)的深度参数排列(t(n)，r(n))。另外，多视点深度参数排列读出部33将读出的深度参数排列 (t(n)，r(n))与像素指针Gi的(Px， Py)、即对应于(Sx， Sy)的帧像素指 针Fi对应起来，输出到多视点深度值复原部15。在多视点深度值复原部15中，基于从多视点深度参数排列读出部33 输入的帧像素指针Fi和深度参数排列(t(n)，:r(n))的组生成深度值排列， 与像素指针Gi对应起来输出到多视点进深判定部16。另外，由多视点深度 值复原部15执行的多视点深度值复原处理与在第1实施方式中说明的多视 点深度值复原处理同样，所以省略其说明。多视点进深判定部16基于从多视点颜色信息读出部32以及多视点深 度值复原部15输入的帧像素指针Fi和多视点颜色信息Color (n)以及深 度参数排列(t(n)，r(n))，对与帧像素指针Fi对应的每个像素判定针对各 摄像机视点位置Cn的进深。由多视点进深判定部16执行的进深判定处理 与第1实施方式中说明的进深判定处理同样，所以省略其说明。显示控制部17利用上述各个功能部处理所有帧像素指针Fi(包括精灵 像素指针Si分量)的组后，基于对应于各摄像机视点位置的描绘用帧的像 素单位的颜色信息，生成与摄像机视点位置Cn的数量相对应的视差像素量
的多视点数据，即，生成包含精灵区域的多视点数据(多视点精灵数据) 的所有帧量的多视点数据。另外，显示控制部17通过将生成的多视点数据显示在作为三维显示装 置的显示部3中，而以对应于精灵区域的部分描绘了立体影像(多视点精 灵数据)的状态来提示帧整体。下面，利用图22，对由多视点数据生成装置300的各功能部分执行的 多视点数据生成处理进行说明。这里，图22是表示多视点数据生成处理的 流程的流程图。首先，输入多视点摄像机信息91、多视点精灵名94以及多视点精灵显 示属性信息95后，像素指针生成部31基于与多视点摄像机信息91和多视 点精灵显示属性信息95，生成将精灵像素指针Si和对应于该精灵像素指针 Si的帧像素指针Fi对应起来的像素指针Gi，并输出到多视点颜色信息读 出部32以及多视点深度参数排列读出部33 (步骤S81)。然后，多视点颜色信息读出部32参照保持在综合多视点精灵数据保持 部53中的与多视点精灵名94对应的综合多视点精灵数据531，将与像素指 针Gi所包含的精灵像素指针Si对应的多视点颜色信息从多视点颜色信息 表5313读出(步骤S82)。接着，多视点颜色信息读出部32将在步骤S82中读出的多视点颜色信 息与像素指针Gi所包含的帧像素指针Fi对应起来输出到多视点进深判定 部16 (步骤S83)另外，多视点深度参数排列读出部33参照保持在综合多视点精灵数据 保持部53中的与多视点精灵名94对应的综合多视点精灵数据531，将与像 素指针Gi所包含的精灵像素指针Si对应的深度参数排列从多视点深度参 数排列表5314读出(步骤S84)。接着，多视点深度参数排列读出部33将在步骤S84中读出的深度参数 排列与像素指针Gi所包含的帧像素指针Fi对应起来输出到多视点深度值 复原部15 (步骤S85)。接着，多视点深度值复原部15基于从多视点深度参数排列读出部33 输入的信息，执行图13中说明的深度值复原处理，将组合了像素指针Gi 所包含的帧像素指针Fi和深度值排列的信息输出到多视点进深判定部16(步骤S86)。然后，多视点进深判定部16基于从多视点深度值复原部15输入的信 息执行图14中说明的进深判定处理。这里，多视点进深判定部16将判定 为比多视点帧深度值保持部51中存储的深度值更靠近近前侧的深度值E (n)与存储在多视点帧深度值保持部51中的对应的描绘用帧的像素对应 起来，并加以保持。另外，多视点进深判定部16将对应于该深度值E (n) 的帧像素指针Fi以及摄像机视点位置Cn的颜色信息与存储在多视点帧颜 色信息保持部52中的对应的描绘用帧的像素对应起来，并加以保持(步骤 S87)。然后，显示控制部17基于与各摄像机视点位置相对应的描绘用帧的像 素单位的颜色信息，生成与摄像机视点位置Cn的数量对应的视差图像，也 就是包含精灵区域量的多视点精灵数据在内的所有帧量的多视点数据(步 骤S88)。随后，显示控制部17通过将该多视点数据显示在显示部3中，来 以将立体影像描绘于与该帧的精灵区域相对应的部分中的状态提示帧整体 (步骤S89)，结束本处理。另外，相对于多个综合多视点精灵数据进行了本处理时，在进行了进 深判定的基础上，将正确重合了的多个精灵作为立体图像提示在帧内。如上所述，根据本实施方式，对一个多视点精灵名，从综合多视点精 灵数据保持部53读出将精灵像素指针Si与多视点颜色信息以及深度参数 排列的组关联起来的多视点精灵数据，针对各视点位置，以排列了作为近 似式的函数E (n)的参数的深度参数排列的状态处理像素单位上的深度值。 由此，能够削减所使用的存储器量，并且能够抑制给运算处理量造成的负 荷，能够对各个视点位置高效地导出像素单位上的深度值。而且，在从深度参数排列复原深度值以后，针对各视点位置进行像素 单位上的进深判定，针对根据该判定结果获得的各视点位置，将基于像素 单位上的颜色信息描绘的多视点数据显示在显示部3中。由此，能够提示高精度的立体影像，并且能够通过目视确认近似的精度。以上，对本发明的实施方式进行了说明，但本发明并不限于此，在不脱离本发明主旨的范围内，可以进行各种变更、置换、追加等。例如，也可以采取下述方式将执行前面所述的多视点数据生成装置 100、 200、 300中的各处理的程序以可装载的形式或可执行的形式存储在 CD—R0M、软(R)盘片(FD)、 DVD等可由计算机读取的记录介质中，来加 以提供。另外，也可以构成为，将执行多视点数据生成装置100、 200、 300中 的各处理的程序存储在与因特网等网络连接的计算机上，经由网络下载该 程序来加以提供。这种情况下，在多视点数据生成装置100、 200、 300中，通过从上述 记录介质读出并执行程序来将程序装载在RAM5上，在RAM5上生成用上述 软件结构说明的各部。
权利要求
1、一种多视点数据生成装置，其特征在于，包括第1接收单元，接收多视点摄像机信息，该多视点摄像机信息至少包含与配置有多个摄像机的各视点位置相关的信息、和由该各个摄像机拍摄的帧区域的像素数；第2接收单元，接收表示CG目标的形状以及色彩的形状数据；像素指针生成单元，依次生成上述帧区域中的规定区域内所包含的各像素的像素指针；颜色信息生成单元，基于上述多视点摄像机信息以及形状数据，针对每个上述像素指针生成与上述CG目标的上述帧区域内的上述各视点位置相对应的颜色信息组；深度值生成单元，基于上述多视点摄像机信息以及形状数据，针对每个上述像素指针生成与上述CG目标的上述帧区域内的上述各视点位置相对应的深度值组；深度参数排列生成单元，针对每个像素指针导出将上述各视点位置与上述深度值组之间的关系近似化了的近似函数，并生成排列了该近似函数的参数的深度参数排列；以及多视点数据生成单元，基于每个上述像素指针的上述颜色信息组和深度参数排列，生成与上述视点位置数对应的视差图像量的多视点数据。
2、 如权利要求1所述的多视点数据生成装置，其特征在于，上述深度 参数排列生成单元针对每个上述像素指针，用以上述视点位置为变量的函 数定义上述各视点位置与上述深度值组所包含的各深度值之间的关系，并 通过将该函数近似化来导出上述近似函数。
3. 如权利要求1所述的多视点数据生成装置，其特征在于， 还包括深度值存储单元，就针对每个上述视点位置确保的描绘用的描绘用帧， 以该各描绘用帧中包含的像素单位存储上述深度值；以及颜色信息存储单元，就针对每个上述视点位置确保的描绘用的描绘用 帧，以该各描绘用帧中包含的像素单位存储上述颜色信息， 其中上述多视点数据生成单元包括复原单元，将上述深度参数排列代入到上述近似函数中，针对每个上 述像素指针复原上述各视点位置与复原深度值的组；进深判定单元，对与上述各像素指针相对应的各视点位置的复原深度 值与上述深度值存储单元中存储的与上述视点位置以及像素指针相对应的 像素的深度值进行比较，在判定该复原深度值表示比存储在上述深度值存 储单元中的深度值更靠近近前侧的情况下，将该复原深度值与与该复原深 度值的像素指针以及视点位置相对应的描绘用帧的像素对应起来存储在上 述深度值存储单元中，并且，将与该复原深度值的像素指针以及视点位置 相对应的上述颜色信息组中包含的颜色信息与与该像素指针以及视点位置相对应的描绘用帧的像素对应起来存储到上述颜色信息存储单元中；以及 生成单元，基于上述颜色信息存储单元中存储的上述描绘用帧，生成 上述多视点数据。
4. 如权利要求1所述的多视点数据生成装置，其特征在于，还包括综 合数据存储单元和存储控制单元，该存储控制单元，针对每个上述像素指针将综合数据与用于识别该综 合数据的识别信息关联起来存储到上述综合数据单元中，所述综合数据将 与该像素指针相对应的上述颜色信息组和深度参数排列关联起来。
5. 如权利要求4所述的多视点数据生成装置，其特征在于， 还包括深度值存储单元，就针对每个上述视点位置确保的描绘用的描绘用帧， 以该各描绘用帧中包含的像素单位存储上述深度值；以及颜色信息存储单元，就针对每个上述视点位置确保的描绘用的描绘用 帧，以该各描绘用帧中包含的像素单位存储上述颜色信息，其中上述多视点数据生成单元包括第3接收单元，接收指示上述帧区域中的一部分或全部区域的显示属 性信息的输入；第4接收单元，接收作为读出对象的读出识别信息的输入；读出单元，从上述综合数据存储单元中存储的综合数据，参照与上述 读出识别信息一致的上述识别信息的综合数据，针对用上述显示属性信息指示的区域中包含的各像素的各像素指针，依次读出上述颜色信息组以及深度参数排列；复原单元，将上述深度参数排列代入到上述近似函数中，针对每个上 述像素指针复原上述各视点位置与复原深度值的组；进深判定单元，对与上述各像素指针相对应的各视点位置的复原深度 值与上述深度值存储单元中存储的与上述视点位置以及像素指针相对应的 像素的深度值进行比较，在判定该复原深度值表示比存储在上述深度值存 储单元中的深度值更靠近近前侧的情况下，将该复原深度值与与该复原深 度值的像素指针以及视点位置相对应的描绘用帧的像素对应起来存储在上 述深度值存储单元中，并且，将与该复原深度值的像素指针以及视点位置 相对应的上述颜色信息组中包含的颜色信息与与该像素指针以及视点位置 相对应的描绘用帧的像素对应起来存储到上述颜色信息存储单元中；以及生成单元，基于上述颜色信息存储单元中存储的上述描绘用帧，生成 上述多视点数据。
6. 如权利要求3或5所述的多视点数据生成装置，其特征在于，上述 深度值存储单元在初始状态下将表示无限远的进深的深度值与上述描绘用 帧中包含的各像素对应起来加以存储，上述颜色信息存储单元在初始状态下将表示上述描绘用帧的背景色的 颜色信息与上述描绘用帧中包含的各像素对应起来加以存储。
7. 如权利要求3或5所述的多视点数据生成装置，其特征在于， 还包括存储进深判定条件式的判定式存储单元，该进深判定条件式用来判定上述复原深度值和存储于上述深度值存储单元中的深度值之间的与 进深相关的前后关系，上述进深判定单元将与上述各像素指针相对应的各视点位置的复原深 度值与与该视点位置以及像素指针相对应的存储于上述深度值存储单元中 的描绘用帧的像素的深度值代入到上述进深判定式中，并基于该进深判定 条件式的计算结果来进行判定。
8. —种多视点数据生成方法，该方法在多视点数据生成装置中执行， 其特征在于，包括第1接收步骤，由第1接收单元接收多视点摄像机信息，该多视点摄像机信息至少包含与配置有多个摄像机的各视点位置相关的信息、和由该 各个摄像机拍摄的帧区域的像素数；第2接收步骤，由第2接收单元接收表示CG目标的形状以及色彩的 形状数据；像素指针生成步骤，由像素指针生成单元依次生成上述帧区域中的规 定区域内所包含的各像素的像素指针；颜色信息生成步骤，由颜色信息生成单元基于上述多视点摄像机信息 以及形状数据，针对每个上述像素指针生成与上述CG目标的上述帧区域 内的上述各视点位置相对应的颜色信息组；深度值生成步骤，由深度值生成单元基于上述多视点摄像机信息以及 形状数据，针对每个上述像素指针生成与上述CG目标的上述帧区域内的 上述各视点位置相对应的深度值组；深度参数排列生成步骤，由深度参数排列生成单元针对每个像素指针 导出将上述各视点位置与上述深度值组之间的关系近似化了的近似函数， 并生成排列了该近似函数的参数的深度参数排列；以及多视点数据生成步骤，由多视点数据生成单元基于每个上述像素指针 的上述颜色信息组和深度参数排列，生成与上述视点位置数对应的视差图 像量的多视点数据。
全文摘要
本发明提供一种能够针对各个视点位置高效地导出像素单位上的深度值的多视点数据生成装置以及方法。针对包含在规定区域中的各像素的像素指针，生成对应于各视点位置的CG目标的颜色信息组和深度值组，基于该深度值组导出将视点位置与深度值之间的关系近似化了的近似函数，以排列了该近似函数的参数的深度参数排列的状态处理深度值组。
文档编号G06T19/00GK101398939SQ20081021575
公开日2009年4月1日 申请日期2008年9月9日 优先权日2007年9月25日
发明者山内康晋, 杉田馨 申请人:株式会社东芝