虚拟视点图像生成方法和三维图像显示方法及装置的制作方法

专利名称：虚拟视点图像生成方法和三维图像显示方法及装置的制作方法
技术领域：
本发明涉及根据多个图像估计与物体的三维形状相关的信息、并使用该信息生成图像的技术。本发明的技术例如可以应用于电视电话等的支持可视通信的系统中。
背景技术：
以往，在计算机图形(CG；Computer Graphics)或虚拟现实(VR；Virtual Reality)的领域中，广泛研究了由计算机生成不仅从设置摄像机的视点位置、而且还从使用者希望的视点位置看到的被摄体图像的技术。
例如有下述方法使用在不同的条件下拍摄被摄体而得到的多个图像，显示被摄体的三维图像，或者生成从虚拟的视点看到被摄体的图像(下面，称为虚拟视点图像)。
作为显示物体的三维像的方法，例如有使用如DFD(Depth-Fused3-D，深度融合三维)显示器那样，具有多个图像显示面的显示器的方法。所述DFD是以某一间隔重合了多个图像显示面的显示器(例如，参照文献1日本特许第3022558号公报)。此外，所述DFD大致分为亮度调制型和透过型。
在所述DFD中显示所述物体的图像时，例如，在各图像显示面上显示所显示物体的二维图像。此时，如果所述DFD为亮度调制型，则将从所述各显示面上的预先设定的观察者的视点(基准视点)看为重合的像素的亮度设定为与所述物体的深度方向上的形状相应的比例来进行显示。这样，对于所述物体上的某点，从观察者看为处于靠前的图像显示面上的像素的亮度变大，而对于另外的点，从观察者看为里侧的显示面上的像素的亮度变大。其结果是，对所述DFD的各图像显示面上所显示的图像进行观察的观察者可以观察到所述物体的立体图像(三维图像)。
此外，如果所述DFD为透过型，则将从所述各图像显示面上的预先设定的观察者的视点(基准视点)看为重合的像素的透过度设定为与所述物体的深度方向的形状相应的比例来进行显示。
此外，作为显示所述物体的三维像的方法，除了使用所述DFD的显示方法之外，例如还有在液晶显示器等的一个图像上显示具有与观察者的左右眼的间隔相当的视差的两个图像的方法。
在生成这样的用于显示物体的三维像的图像或从任意的视点看到的所述物体的图像时，在所述物体的三维形状例如通过计算机图形等生成而已知的情况下，使用其模型生成所述各图像即可。另一方面，在所述物体的三维形状不是已知的情况下，在生成所述各图像之前，必需取得所述物体的三维形状、即几何模型。
此外，在使用所述多个图像生成所述虚拟视点图像时，也必需首先基于所述多个图像来得到所述被摄体的几何模型。此时，得到的所述被摄体的几何模型例如表现为称作多边形或体素(voxel)的基本图形的集合。
基于所述多个图像得到所述被摄体的几何模型的方法各种各样，在计算机视觉(computer vision)的领域中，作为Shape from X进行了很多的研究。在所述Shape from X中代表性的模型取得方法是立体法(例如，参照文献2「Takeo Kanade et al.“Virtualized RealityConstructing Virtual Worlds from Real Scenes，”IEEE MultiMedia，Vol.4，No.1，pp.34-37，1997」。)。
在所述立体法中，基于从不同的视点拍摄被摄体而得到的多个图像，得到所述被摄体的几何模型。此时，用于取得模型的从基准视点到所述被摄体上的各点的距离是，例如，通过进行对应点匹配、即各图像上的点(像素)的对应建立，通过三角测量的原理求出。但是，此时，不是通过所述立体法即时地得到所述被摄体的几何模型，而得到的是被摄体表面上的点组。因此，为了得到所述被摄体的几何模型，需要确定所述点组中所包含的各点彼此之间如何连接、构成何种面的结构信息(例如，参照文献3「池内克史“画像にょる実物体のモデル作成”，日本ロボット学会誌，Vol.16，No.6，pp.763-766，1998」)。
即，在使用所述立体法得到所述被摄体的几何模型的方法中，必需通过生成图像的装置(计算机)进行所述被摄体的形状的应用或统计处理等复杂的处理。因此，需要较高的计算机能力。
此外，在基于多个图像来得到所述被摄体的几何模型的方法中，作为与所述立体法并列的代表性的模型取得方法，有基于在多个视点拍摄得到的各图像的被摄体的轮廓，确定所述被摄体在空间中占据的区域的称作Shape from Silhouette的方法(下面，称作Shape from Silhouette法)(例如，参照文献4「Potmesil，M“Generating Octree Models of3D Objects from their Silhouettes in a Sequence of Images，”CVGIP40，pp.1-29，1987」。)。
通过所述Shape from Silhouette法得到的所述被摄体的几何模型多表现为称作体素的微小立方体的集合。但是，在用所述体素来表现所述被摄体的几何模型的情况下，表现所述被摄体的三维形状所需的数据量成为庞大的量。因此，对于使用所述Shape from Silhouette法得到所述被摄体的几何模型要求较高的计算机能力。
因此，近年来，提出了代替如所述立体法或所述Shape fromSilhouette法这样用多边形或体素等表现所述被摄体的几何模型，而例如，在多层结构的投影面上对所述被摄体的部分图像进行纹理映射(texture mapping)，用多层平面表现所述被摄体的三维形状的方法(例如，参照文献5「Jonathan Shade et al.“Layered DepthImages，”SIGGRAPH98 Conference Proceedings，pp.231-242，1998」、文献6「多湖、新田、苗村、原島“動的レイャ表现を用ぃたVideo-BasedRendering”，3次元画像コンフアレンス2001，pp.33-36，2001」。)。
所述纹理映射是下述的方法设定多层结构的投影面，将从所述拍摄的图像中切取的部分图像(纹理图像)贴合到该纹理图像所反映的物体的距离所对应的投影面上，从而得到立体的视觉效果。因此，具有下述优点即使一般普及的个人计算机中所搭载的图形硬件，也可以进行足够高速的处理，并且数据的处理较容易。
但是，另一方面，在用基于所述纹理映射的多层平面来表现所述被摄体的几何模型的情况下，当所述投影面的设定间隔过大时，无法表现所述被摄体的详细的形状。因此，进行如下的处理以投影面(平面)表现大体的形状，对于细微的形状，针对所述纹理图像的每个像素加上例如R(红)、G(绿)、B(蓝)的颜色信息，并使其再具有一个值(深度(depth)值)。在所述文献5中，提出了下述方法根据所述深度值改变各纹理图像中的像素的位置，表现仅以所述多层平面则无法表现的细微的深度。此外，在所述文献6中，提出了下述方法根据所述深度值设定各像素的透明度，表现仅以所述多层平面则无法表现的细微的深度。

发明内容
但是，在得到被摄体的几何模型的方法中的使用所述立体法得到所述被摄体的几何模型的方法中，容易受到所述被摄体的形状或表面的图案(纹理)、所述被摄体周围环境的影响，未必对于任何形状的被摄体、而且对于所述被摄体上的任何点都可以得到可靠性高的距离信息(例如，参照文献7「奥富正敏“ステレオがなぜ難しいか”，日本ロボツト学会誌，Vol.16，No.6，pp.39-43，1998」。)。
在估计所述被摄体的距离时，如果该估计的可靠性低，则有时会估计出错误的距离。在距离估计错误的情况下，使用所述被摄体的几何模型生成的虚拟视点图像例如在所述距离估计错误的部分产生不连续的噪声。因此，例如如图1所示，所述虚拟视点图像看起来像在被摄体7的一部分中产生了缺损区域7B。
此外，所述Shape from Silhouette法是在原理上假设所述被摄体为凸形状来得到所述被摄体的几何模型的方法。因此，产生下述问题在所述被摄体整体上或在某部分为凹形状时，无法取得所述被摄体的正确的模型。
此外，所述Shape from Silhouette法难以准确地提取图像上的背景和所述被摄体的轮廓，对于准确地提取的方法，目前也成为了计算机视觉领域中的主要的研究课题。即，通过所述Shape from Silhouette法得到的所述被摄体的几何模型是基于不准确的轮廓得到的模型，不能说其可靠性足够高。因此，存在下述问题根据通过所述Shape fromSilhouette法得到的所述被摄体的几何模型生成的图像不是能充分令人满意的画质。
此外，如所述纹理映射那样通过多层平面表现所述被摄体的三维形状的方法以赋予各纹理像素的所述深度值已知、即已准确地求出了所述被摄体的形状为前提。因此，在所述物体的形状未知的情况下，必需首先取得所述被摄体的几何模型。其结果是，存在下述问题在估计所述被摄体的形状时，如果存在可靠性低的部分，则有时会将所述纹理图像粘贴到错误的投影面上，有时生成的图像会显著地劣化。
此外，在通过所述纹理映射表现所述被摄体的三维形状的方法中，向所述多层结构的投影面粘贴图像的处理是高速的，但在求出所述深度值的处理中，如果要准确地求出所述被摄体的形状，则需要较高的处理能力。
如上所述，在现有技术中，存在下述问题在估计所述被摄体的形状时，如果存在该估计的可靠性低的部分，则距离的估计容易出错，在所生成的图像上产生不连续的噪声，从而画质低下。
此外，为了防止所述被摄体的形状估计的错误所引起的画质低下，应提高估计的可靠性，但为此必须使用多个图像并进行严密的计算处理，从而得到所述被摄体的准确的几何模型。但是，在这种情况下，生成虚拟视点图像等的装置需要较高的处理性能(计算机能力)。因此，也存在通过一般普及的个人计算机等难以高速地生成画质劣化较少的虚拟视点图像的问题。
此外，为了提高被摄体的几何模型的可靠性，需要从更多的视点拍摄的图像。因此，产生摄影装置大型化、装置结构复杂化的问题。
本发明的目的在于提供在根据多个图像取得被摄体的三维形状而生成被摄体的图像时，可以降低在被摄体的形状估计可靠性低的部分所产生的显著的画质劣化的技术。
本发明的另一目的在于提供在根据多个图像取得被摄体的三维形状而生成被摄体的图像时，即使以处理性能较低的装置，也可以减少部分画质劣化、并在短时间内生成图像的技术。
本发明的另一目的在于提供可以使拍摄用于得到被摄体的几何模型的图像的摄影装置小型化，并使装置结构简化的技术。
本发明的上述以及其它的目的和新的特征可以通过本说明书的记述以及附图而变得明了。
为了解决所述课题，本发明可以构成为虚拟视点图像生成方法，所述虚拟视点图像生成方法具有取得由多个摄像机拍摄到的多个被摄体图像的步骤；确定作为观察所述被摄体的位置的虚拟视点的步骤；以及基于所述取得的被摄体的图像，生成作为从所述视点观察被摄体时的图像的虚拟视点图像的步骤，其特征在于，生成所述虚拟视点图像的步骤具有步骤1，设定具有多层结构的投影面；步骤2，求出与所述投影面上的各投影点对应的所述各被摄体图像上的对应点；步骤3，基于多个对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息；步骤4，对于从空间上的某基准视点看为重合的多个投影点，基于所述对应点或其附近区域的相关程度，计算在与所述各投影点的位置相应的距离上存在所述被摄体的可能性的程度；步骤5，对从所述虚拟视点看为重合的基准点的颜色信息或亮度信息进行与存在所述被摄体的可能程度对应的混合处理，从而确定所述虚拟视点图像中的各像素的颜色信息或亮度信息；以及步骤6，对于与所述虚拟视点图像的像素相应的所有的点，重复进行所述步骤1到步骤5。
此外，本发明的图像生成方法也可以构成为具有取得从多个不同的视点拍摄被摄体而得到的图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所取得的所述被摄体的三维形状，生成从观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息的步骤；计算与所述投影点对应的对应点之间的相关度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度，确定作为在所述各投影点上存在物体的表面的概率的存在概率的步骤，计算所述相关度的步骤具有准备多组作为从所述多个视点中选择的几个视点的组合的摄像机组的步骤；以及根据所述各摄像机组中所包含的图像上的对应点，求出相关度的步骤，确定所述存在概率的步骤具有基于针对每个所述摄像机组求出的所述各投影点的相关度计算存在概率的步骤；以及进行针对每个所述摄像机组确定的存在概率的综合处理，从而确定所述各投影点的存在概率的步骤。
此外，本发明可以构成为以下的图像生成方法，该图像生成方法具有取得改变对焦距离来拍摄被摄体从而得到的多个图像的步骤；设定作为观察所述多个图像中所反映的被摄体的视点的虚拟视点的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述虚拟视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的各图像上的对应点的颜色信息或亮度信息，来确定所述投影点的颜色信息或亮度信息的步骤；根据与所述投影点对应的对应点的对焦度，确定所述投影点的对焦度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度，确定作为与所述各投影点的位置相应的距离上存在所述被摄体的表面的概率的存在概率的步骤，生成从所述虚拟视点看到的所述被摄体的图像的步骤按照与所述存在概率对应的比例，混合从所述虚拟视点看为重合的投影点的颜色信息或亮度信息，从而确定生成的图像上的各点的颜色信息或亮度信息。
此外，本发明也可以构成为图像生成方法，该图像生成方法具有取得在不同的条件下拍摄被摄体而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，来确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，确定所述存在概率的步骤具有根据所述对应点的图像信息计算所述各投影点的评价基准值的步骤；进行所述各投影点的评价基准值的统计处理的步骤；以及基于进行了所述统计处理后的评价基准值计算所述各投影点的存在概率的步骤。
此外，本发明也可以构成为如下的三维图像显示方法，该三维图像显示方法具有取得在不同的条件下拍摄被摄体而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；设定观察者观察在所述观察者看来位于不同深度位置上的多个图像显示面的视点位置的步骤；基于所述取得的被摄体的三维形状生成在所述各图像显示面上显示的二维图像的步骤；以及通过在所述各显示面上显示所述生成的二维图像来示出所述被摄体的三维像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，来确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，生成所述二维图像的步骤将所述投影点的颜色信息或亮度信息以及存在概率转换为作为与存在所述投影点的投影面对应的所述图像显示面上的点的显示点的颜色信息或亮度信息以及存在概率，从而生成所述二维图像，示出所述被摄体的三维像的步骤按照与所述存在概率对应的亮度显示所述各显示点的颜色信息或亮度信息。
根据本发明，在根据多个图像取得被摄体的三维形状而生成被摄体的图像时，可以降低在被摄体的形状估计可靠性低的部分产生的显著画质恶化。此外，即使在处理性能较低的装置中，也可以减少部分画质恶化，并且在短时间内生成图像。而且，可以使拍摄用于得到被摄体的几何模型的图像的摄影装置小型化，并且使装置结构简化。


图1是用于说明现有的虚拟视点图像的问题点的图。
图2是用于说明第一实施方式中的虚拟视点图像生成方法的原理的示意图，是表示投影面组、摄像机、基准视点、投影点、对应点的一个示例的图。
图3是用于说明第一实施方式中的虚拟视点图像生成方法的原理的示意图。
图4是用于说明第一实施方式中的虚拟视点图像生成方法的原理的示意图，是表示与投影点的透明度相应的混合处理的一个示例的图。
图5是用于说明第一实施方式中的虚拟视点图像生成方法的原理的示意图，是表示被摄体、投影面组、基准视点、虚拟视点、投影点的一个示例的图。
图6是表示实施例1-1的虚拟视点图像生成装置的概略结构的示意图，是表示图像生成装置内部的结构的方框图。
图7是表示实施例1-1的虚拟视点图像生成装置的概略结构的示意图，是表示使用了图像生成装置的系统的结构例的图。
图8是用于说明使用了实施例1-1的虚拟视点图像生成装置的虚拟视点图像生成方法的数学模型的示意图，是表示投影变换的一个示例的图。
图9是用于说明使用了实施例1-1的虚拟视点图像生成装置的虚拟视点图像生成方法的数学模型的示意图，是表示坐标变换的一个示例的图。
图10是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是生成处理整体的流程图。
图11是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是生成虚拟视点图像的步骤的具体的流程图。
图12是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是表示投影面的设定方法的一个示例的图。
图13是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是表示投影点、投影点串、投影点串的集合的一个示例的图。
图14是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是表示用于说明颜色信息的混合处理的由基准视点、投影点、摄像机位置构成的角度的一个示例的图。
图15是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是表示对应点匹配处理的一个示例的图。
图16是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是用于说明渲染处理的图。
图17是用于说明实施例1-1的虚拟视点图像的生成处理过程的示意图，是表示生成的虚拟视点图像的一个示例的图。
图18是表示应用了实施例1-1的虚拟视点图像生成装置的系统的应用例的示意图。
图19(a)是表示成为实施例1-2的特征的处理的流程图，(b)是表示确定透明度信息的步骤的具体处理过程的一个示例的流程图。
图20是用于说明实施例1-3的虚拟视点图像生成方法的示意图，是表示投影面组、基准视点、虚拟视点、投影点的一个示例的图。
图21是用于说明第二实施方式的图像生成方法的原理的示意图，是说明生成方法的概念的图。
图22是用于说明第二实施方式的图像生成方法的原理的示意图，是二维地表现图21的图。
图23是说明对应点的相关度的求出方法的图。
图24是说明在求出对应点的相关度时成为问题的方面的图。
图25是用于说明第二实施方式的图像生成方法的原理的示意图，是说明解决求出相关度时的问题的方法的图。
图26是说明提高存在概率的精度的方法的一个示例的图。
图27是用于说明第二实施方式的图像生成方法的原理的示意图。
图28是用于说明第二实施方式的图像生成方法的原理的示意图。
图29是用于说明实施例2-1的图像生成方法的示意图，是表示整体的处理过程的一个示例的流程图。
图30是用于说明实施例2-1的图像生成方法的示意图，是表示确定图29中的投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图。
图31是用于说明实施例2-1的图像生成方法的示意图，是表示确定图30中的存在概率的步骤的一个示例的流程图。
图32是用于说明实施例2-1的图像生成方法的示意图，是表示摄像机组的设定例的图。
图33是用于说明实施例2-1的图像生成方法的示意图，是说明将投影面的信息转换为显示面的信息的方法的图。
图34是说明将投影面的信息转换为显示面的信息的方法的图。
图35是表示应用了实施例2-1的图像生成方法的图像生成装置的结构例的方框图。
图36是表示使用了采用实施例2-1的图像生成方法的图像生成装置的图像显示系统的结构例的图。
图37是表示使用了采用实施例2-1的图像生成方法的图像生成装置的图像显示系统的另一结构例的图。
图38是用于说明实施例2-2的图像生成方法的示意图，是表示整体的处理过程的一个示例的图。
图39是用于说明实施例2-2的图像生成方法的示意图，是说明渲染的原理的图。
图40是用于说明实施例2-2的图像生成方法的示意图，是说明在本实施例2的图像生成方法中成为问题的方面的图。
图41是用于说明实施例2-2的图像生成方法的示意图，是说明在本实施例2的图像生成方法中成为问题的方面的解决方法的图。
图42是用于说明实施例2-2的图像生成方法的示意图，是表示将存在概率转换为透明度的处理过程的一个示例的流程图。
图43是用于说明第三实施方式的图像生成方法的原理的示意图，是表示投影面以及基准视点的设定例的图。
图44是用于说明第三实施方式的图像生成方法的原理的示意图，是表示投影面以及基准视点的设定例的图。
图45是用于说明第三实施方式的图像生成方法的原理的示意图，是说明投影点的颜色信息以及对焦度的确定方法的图。
图46是用于说明第三实施方式的图像生成方法的原理的示意图，是说明投影点的存在概率的确定方法的图。
图47是用于说明第三实施方式的图像生成方法的原理的示意图，是说明投影点的存在概率的确定方法的图。
图48是用于说明第三实施方式的图像生成方法的原理的示意图，是说明投影点的存在概率的确定方法的图。
图49是用于说明第三实施方式的图像生成方法的原理的示意图，是说明从虚拟视点看到的图像的生成方法的图。
图50是用于说明第三实施方式的图像生成方法的原理的示意图，是说明在本发明的图像生成方法中成为问题的方面的图。
图51是用于说明第三实施方式的图像生成方法的原理的示意图，是说明解决在本发明的图像生成方法中成为问题的方面的方法的图。
图52是用于说明第三实施方式的图像生成方法的数学模型的示意图，是表示投影点、对应点、所生成的图像上的点的关系的图。
图53是用于说明第三实施方式的图像生成方法的数学模型的示意图，是说明空间上的点和图像上的像素之间的转换方法的图。
图54是用于说明实施例3-1的图像生成方法的示意图，是表示图像的生成过程的流程图。
图55是用于说明实施例3-1的图像生成方法的示意图，是说明投影点串的设定方法的图。
图56是用于说明实施例3-1的图像生成方法的示意图，是表示图54的步骤10305的处理的具体例的流程图。
图57是用于说明实施例3-1的图像生成方法的示意图，是说明渲染的方法的图。
图58是表示通过实施例3-1的图像生成方法生成图像的装置的概略结构的示意图，是表示装置的结构的方框图。
图59是说明实施例3-1中的被摄体图像摄影单元的结构例的图。
图60是说明实施例3-1中的被摄体图像摄影单元的结构例的图。
图61是说明实施例3-1中的被摄体图像摄影单元的结构例的图。
图62是表示使用了实施例3-1的图像生成装置的图像生成系统的概略结构的示意图，是表示图像生成系统的一个结构例的图。
图63是表示使用了实施例3-1的图像生成装置的图像生成系统的概略结构的示意图，是表示图像生成系统的另一结构例的图。
图64是表示实施例3-2的虚拟视点图像生成方法的处理的流程图。
图65是用于说明第三实施方式的图像生成方法中的另一生成方法的示意图。
图66是用于说明基于第三实施方式的实施例4-1的图像生成方法的示意图，是表示整体的处理过程的一个示例的流程图。
图67是用于说明实施例4-1的图像生成方法的示意图，是表示投影面的设定方法的一个示例的图。
图68是用于说明实施例4-1的图像生成方法的示意图，是表示投影面的设定方法的一个示例的图。
图69是用于说明实施例4-1的图像生成方法的示意图，是说明投影点串的设定方法的图。
图70是用于说明实施例4-1的图像生成方法的示意图，是表示确定投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图。
图71是用于说明实施例4-1的图像生成方法的示意图，是说明存在概率的确定方法的图。
图72是用于说明实施例4-1的图像生成方法的示意图，是说明存在概率的确定方法的图。
图73是用于说明实施例4-1的图像生成方法的示意图，是说明存在概率的确定方法的图。
图74是用于说明实施例4-1的图像生成方法的示意图，是说明存在概率的确定方法的图。
图75是用于说明实施例4-1的图像生成方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图76是用于说明实施例4-1的图像生成方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图77是用于说明实施例4-1的图像生成方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图78是用于说明实施例4-2的图像生成方法的示意图，是表示投影点与对应点之间的关系的图。
图79是用于说明实施例4-2的图像生成方法的示意图，是表示确定投影点的颜色信息以及存在概率的步骤的一个示例的流程图。
图80是用于说明实施例4-2的图像生成方法的示意图，是说明存在概率的求出方法的图。
图81是用于说明实施例4-2的图像生成方法的示意图，是说明存在概率的求出方法的图。
图82是用于说明实施例4-3的任意视点图像生成方法的示意图，是表示整体的处理过程的一个示例的流程图。
图83是用于说明实施例4-3的任意视点图像生成方法的示意图，是说明渲染的原理的图。
图84是表示在实施例4-3中将存在概率转换为透明度的处理过程的一个示例的流程图。
图85是表示实施例4-4的图像生成装置的概略结构的示意图。
图86是表示实施例4-4的图像生成装置的概略结构的示意图。
图87是表示实施例4-4的图像生成装置的概略结构的示意图，是表示使用了图像生成装置的图像显示系统的结构例的图。
图88是表示实施例4-4的图像生成装置的概略结构的示意图，是表示使用了图像生成装置的图像显示系统的结构例的图。
图89是表示实施例4-4的图像生成装置的概略结构的示意图，是表示使用了图像生成装置的图像显示系统的结构例的图。
图90是用于说明基于第五实施方式的实施例5-1的三维图像显示方法的示意图，是表示整体的处理过程的一个示例的流程图。
图91是用于说明实施例5-1的三维图像显示方法的示意图，是表示投影面的设定方法的一个示例的图。
图92是用于说明实施例5-1的三维图像显示方法的示意图，是表示投影面的设定方法的一个示例的图。
图93是用于说明实施例5-1的三维图像显示方法的示意图，是说明投影点的设定方法的图。
图94是用于说明实施例5-1的三维图像显示方法的示意图，是表示确定投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图。
图95是用于说明实施例5-1的三维图像显示方法的示意图，是说明存在概率的确定方法的图。
图96是用于说明实施例5-1的三维图像显示方法的示意图，是说明存在概率的确定方法的图。
图97是用于说明实施例5-1的三维图像显示方法的示意图，是说明存在概率的确定方法的图。
图98是用于说明实施例5-1的三维图像显示方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图99是用于说明实施例5-1的三维图像显示方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图100是用于说明实施例5-1的三维图像显示方法的示意图，是说明各图像显示面上所显示的二维图像的生成方法的图。
图101是用于说明实施例5-2的三维图像显示方法的示意图，是表示投影点和对应点之间的关系的图。
图102是用于说明实施例5-2的三维图像显示方法的示意图，是表示确定投影点的颜色信息以及存在概率的步骤的一个示例的流程图。
图103是用于说明实施例5-2的三维图像显示方法的示意图，是说明存在概率的求出方法的图。
图104是用于说明实施例5-2的三维图像显示方法的示意图，是说明存在概率的求出方法的图。
符号说明(第一实施方式)1、1A、1B、1C…虚拟视点图像生成装置，101…虚拟视点确定单元，102…被摄体图像取得单元，103…图像生成单元，103a…投影面确定单元，103b…基准视点确定单元，103c…纹理数组确保单元，103d…对应点匹配处理单元，103e…颜色信息确定单元，103f…存在概率信息确定单元，103g…渲染单元，104…生成图像输出单元，2…视点位置输入单元，3…被摄体摄影单元(摄像机)，4…图像显示单元，6…虚拟视点图像，7…被摄体的像，7A…图像劣化的部分，7B…图像缺损的部分。
(第二实施方式)6、6A、6B、6C…图像生成装置，601…被摄体图像取得单元，602…观察者视点设定单元，603…投影面设定单元，604…投影面信息存储区域确保单元，605…颜色信息/存在概率确定单元，606…投影面信息-显示面信息转换单元，607…图像输出单元，7、7A、7B…图像显示单元，8、8A、8B…被摄体图像摄影单元，9、9A、9B…基准视点输入单元(第三实施方式)2、2A、2B、2C…图像生成装置，201…被摄体图像取得单元，202…虚拟视点设定单元，203…投影面等设定单元，204…纹理数组确保单元，205…颜色信息/存在概率确定单元，206…渲染单元，207…生成图像输出单元，3、3A、3B…被摄体图像摄影单元，4、4A、4B…视点信息输入单元，5、5A、5B…图像显示单元，6…偏振型二值光学系统，7、7A、7B…图像传感器，8…分光器，9…偏振滤光器，10…变焦镜头，11a、11b、11c、11d…定焦镜头，12…镜头座(第四实施方式)2、2A、2B、2C…图像生成装置，201…被摄体图像取得单元，202…观察者视点设定单元，203…投影面等设定单元，204…纹理数组确保单元，205…颜色信息/存在概率确定单元，206…投影面信息-显示面信息转换单元，207…图像输出单元，208…渲染单元，3、3A、3B…图像显示单元，4、4A、4B…被摄体图像摄影单元，5、5A、5B…基准视点输入单元(第五实施方式)2、2A、2B、2C…三维图像生成装置，201…被摄体图像取得单元，202…观察者视点设定单元，203…投影面等设定单元，204…纹理数组确保单元，205…颜色信息/存在概率确定单元，206…投影面信息-显示面信息转换单元，207…图像输出单元，3、3A、3B…图像显示单元，4、4A、4B…被摄体图像摄影单元，5、5A、5B…基准视点输入单元具体实施方式
下面，作为用于实施发明的优选方式，对第一实施方式～第五实施方式进行说明。
首先，说明本发明的第一实施方式。第一实施方式主要是与权利要求1～权利要求11对应的实施方式。在本实施方式中，示出了作为颜色信息的表现而使用红(R)、绿(G)、蓝(B)三原色的示例，但也可以为使用亮度(Y)或色差(U，V)的表现，并且，在黑白图像的情况下，还可以仅使用亮度信息作为颜色信息。另外，在用于说明第一实施方式的图中，对于具有相同功能的部分标以相同标号。
在说明第一实施方式中的各实施例之前，首先，说明第一实施方式中的虚拟视点图像生成方法的原理。
图2至图5是用于说明本发明中的虚拟视点图像生成方法的原理的示意图，图2是投影面组、摄像机、基准视点、投影点、对应点的一个示例的图，图3(a)以及图3(b)是表示对应点之间的相关度的曲线图的一个示例的图，图4(a)是表示与投影点的透明度对应的混合处理的一个示例的图，图4(b)是在色彩空间中表现与透明度对应的颜色信息的混合处理的一个示例的图，图5是表示被摄体、投影面组、基准视点、虚拟视点、投影点的一个示例的图。
本发明中的虚拟视点图像的生成方法具有步骤1，设定具有多层结构的投影面组；步骤2，求出与投影面上的各点(投影点)对应的多个摄像机的拍摄图像上的点(对应点)；步骤3，通过混合多个对应点的颜色信息或选择其中之一来确定投影点的颜色信息；步骤4，对于从空间上的某视点(基准视点)看为重合的多个投影点，基于对应点或其附近区域的相关程度，计算在各投影点的距离上存在被摄体的可能性的程度(存在概率信息)；步骤5，对从虚拟视点看为重合的基准点的颜色信息进行与存在概率信息对应的混合处理，从而确定虚拟视点中的各像素的颜色信息；以及步骤6，对于与虚拟视点图像的像素相应的所有的点重复进行上述步骤1到步骤5。即，不是如现有的手段那样，要在所有的情况下以及所有的部分得到被摄体的准确的几何模型，而是以根据被摄体的拍摄条件或部位的不同，无法通过距离估计得到具有充分可靠性的估计值为前提，对于得到了可靠性低的估计值的部分，模糊地进行绘制而降低对图像生成的贡献，防止极端的图像劣化，并且对于得到了可靠性高的距离数据的部分，清晰地进行绘制而提高对图像生成的贡献。
这里，估计的可靠性根据所拍摄的图像的对应点的相关程度(相关度)来如下地判别。例如，如图2所示，设定基准视点R、摄像机的中心位置Ci(i＝1，2，…，N)、互相平行的投影面Lj(j＝1，2，…，M)，设通过中心位置Ci的摄像机对投影点Tj进行拍摄而得到的对应点为Gij。
于是，例如，对于位于投影面Lm上的某投影点Tm得到了对应点的集合{Gim|i＝1，2，…，N}，还可以计算它们的相关程度(相关度)。
这里，对于从基准视点R看为处于直线上的多个投影点Tj(j＝1，2，…，M)计算相关度，在横轴上表示基准视点R和投影面之间的距离l，在纵轴上表示相关度时，得到如图3(a)或者图3(b)所示的曲线图。对于相关度的具体的计算方法，在后面的实施例中进行叙述，这里图示为相关度越大则对应点之间的相关程度越大。
在相关度高的距离处，多个摄像机中的对应点类似，由于在投影点的位置上拍摄了被摄体上的相同点的可能性高，因此在该距离上存在被摄体的可能性也高。而且，在假设在通过基准视点R的直线上存在被摄体的距离为一个时，如图3(a)以及图3(b)所示，可以估计为在取得最高的相关度的距离l＝1*上存在被摄体。
此时，如图3(a)所示，在距离l＝1*的对应点的相关度与其它的候选相比非常高的情况下，可以估计为可靠性高，但在如图3(b)所示的、如距离l＝1*和距离l＝1’那样估计值的候选有多个，并且在该对应点的相关度为相同程度的情况下，估计的可靠性低。
在如图3(b)所示的情况下，如果采用仅描绘一个与相关度最高的距离l＝1*相应的投影点的方法，则在由于估计的错误而被摄体实际上位于距离l＝1’的情况下，生成图像中出现大的噪声。
相对于此，在本发明中根据相关度计算被摄体存在的可能性(存在概率信息)，以与存在概率信息对应的清晰度绘制多个投影点，从而在估计的可靠性低的情况下，模糊地绘制多个投影点，生成图像的噪声不突出，具有在观察者看来生成更加良好的图像的效果。
另一方面，在估计的可靠性高的情况下，由于存在概率信息高的投影点被清晰地绘制，因此可以生成更良好的图像。
此外，本发明的描绘方法可以通过作为计算机图形的基本方法的纹理映射而简单地安装，具有可以通过搭载于普及型的个人计算机中的三维图形硬件来良好地进行处理，从而减轻计算机负荷的效果。
此外，在本发明的虚拟视点图像生成方法中，投影面上的各基准点具有带有从透过到不透过的级别的透明度，通过对所述步骤4中得到的存在概率信息进行变换来计算各基准点的透明度，在所述步骤5中从离虚拟视点远的投影点开始向着近的投影点依次进行用于得到虚拟视点中的各点的颜色信息的混合处理，到某投影点为止的混合处理中得到的颜色信息是按照与透明度对应的比率，对该投影点的颜色信息和到其之前的投影点为止的混合处理中得到的颜色信息进行内分而得到的。此时，通过混合处理得到的颜色信息是某一阶段的颜色信息和其后的颜色信息的内分。
这里，例如图4(a)所示，考虑在由下述式1所表示的色彩空间中设定投影面Lj(j＝1，2，…，M)、投影点Tj(j＝1，2，…，M)、具有红、绿、蓝(R、G、B)分量的表示投影点的颜色信息的矢量Kj(j＝1，2，…，M)的情况。
Kj∈V，V≡{(R，G，B)|0≤R≤1，0≤G≤1，0≤B≤1}此外，投影点的透明度αj(j＝1，2，…，M)设定为成为下述式2。
0≤αj≤1此时，到j＝m为止的混合处理中所得到的颜色信息Dm由下述式3以及式4那样的递推公式表示，进行了到从虚拟视点看为最靠前的j＝M为止的混合处理的颜色信息DM成为虚拟视点上的颜色信息。
Dm＝αmKm+(1-αm)Dm-1[式4]D1＝α1K1此时，根据上述式2及式3的关系，颜色信息Dm在色彩空间V中为Km和Dm-1的内分点，因此如图4(b)所示，如Km，Dm-1∈V则Dm∈V。
于是，在满足上述式1以及式2的条件时，对于虚拟视点上的颜色信息DM，保证成为如下述式5那样。
DM∈V上述式5那样的保证可通过数学归纳法而得以证明，省略详细的说明。
即，在将投影点的颜色信息以及透明度设定为满足上述式1以及式2时，虚拟视点的颜色信息一定可以纳入适当的色彩空间V中。
由于如上的特征，在同一被摄体中生成多个虚拟视点图像的情况下，即使根据某一个基准视点计算出投影点的颜色信息和透明度信息，只要该颜色信息以及透明度满足上述式1以及式2，就可以在所有的虚拟视点图像中在适当的颜色信息的范围内生成图像。
这里，例如如图5所示，在存在被摄体Obj，且设定了两个投影面L1、L2、基准视点R、虚拟视点P的情况下，考虑投影点T1、T2、T1’、T2’上的颜色信息分别为K1、K2、K1’、K2’，被摄体存在的可能性的程度为β1、β2、β1’、β2’的情况。
在通过基准视点R的直线上计算出所述被摄体存在的可能性的程度(存在可能性信息)，同一直线上的投影点上的存在可能性信息的合计为1，在投影点T1’以及T2附近存在被摄体的表面，因此该点处的存在可能性信息变得比T1以及T2’高。于是，所述存在可能性信息成为下式6及式7那样。
β1≅0,]]>β2≅1]]>[式7]β1′≅1,]]>β2′≅0]]>此时，通过对处于直线PA上的投影点的颜色信息赋予与存在可能性信息对应的权重并相加来计算虚拟视点P的图像面的点A的颜色信息KA，成为下述式8。
KA＝β1′K1′+β2K2此外，根据上述式6以及式7，上述式8表示为下述式9。
KAK1′+K2从虚拟视点P观察时，由于TA’被TA遮挡，因此点A的本来的颜色信息为KA＝K2，但在上述式9中，(R、G、B)的各分量的亮度会提高K1’。
此外，在KA以及KA’的各分量具有大的亮度的情况下，KA会超过有效的色彩空间的范围。因此，需要进行剪裁(clipping)处理，以便纳入到有效的颜色信息的范围内。
因此，例如，通过后面的实施例1-2中叙述的计算方法，根据存在概率信息求出透明度时，计算为下述式10以及式11。
α2＝β2，α1＝1[式11]α2′＝β2′，α1′＝1其中，在上述式10以及式11中，α1、α2、α1’、α2’分别为T1、T2、T1’、T2’的透明度。
这里，为了得到虚拟视点上的各点的颜色信息，从离虚拟视点远的投影点开始向着近的投影点依次进行混合处理，到某投影点为止的混合处理中所得到的颜色信息是按照与透明度对应的比率、对该投影点上的颜色信息和到此前的投影点为止的混合处理中所得到的颜色信息进行内分而得到的时，KA成为下述式12那样。
KA＝α2K2+(1-α2)α1′K1′此时，上述式12根据上述式6、式7、式10、式11成为下述式13，变成本来颜色信息的很好的近似。
KAK2如上所述，在直接使用存在概率信息的图像生成中，虽然在基准视点和虚拟视点相同的情况下没有问题，但在两者不同的情况下在被摄体的遮挡区域附近有时产生亮度的增加，相对于此，在将存在概率信息转换为透明度的图像生成中，具有防止该现象的效果。
此外，在直接使用存在概率信息的图像生成中，在基准视点和虚拟视点不同的情况下，在通过使用了后面所示的数学式的运算来计算出颜色信息时不能保证纳入到有效的颜色信息范围内，例如，需要校正处理，相对于此，在转换为透明度的图像生成中，不需要这样的校正。
此外，在将存在概率信息转换为透明度的图像生成中，具有也可以有效地表现半透过的被摄体、可对于现实世界中的更多的被摄体广泛地应用本发明的效果。
此外，在本发明的虚拟视点图像生成方法中，在步骤1中设定每个摄像机所固有的投影面组，在步骤3中，投影点的颜色信息使用投影点所属的投影面固有的摄像机所得到的拍摄图像的对应点的颜色信息，步骤4中的存在概率信息以投影点所属的投影面固有的摄像机的视点作为基准视点来计算，步骤5中的虚拟视点的颜色信息的混合处理根据虚拟视点和各基准视点之间的位置关系来进行校正。这样，由于与摄像机之间的位置关系无关地设定每个摄像机所固有的投影面组，因此即使摄像机的配置复杂或不规则，投影面组的设定处理也不受影响，可以通过一贯的处理方法进行图像生成。
此外，在设定所述每个摄像机所固有的投影面组的情况下，关于投影面的颜色信息，不需要对应的摄像机拍摄的图像之间的混合处理。因此，例如，在由计算机(computer)进行处理时，可并列处理，可以实现图像生成的高速化。
此外，与相同的摄像机对应的投影面组的颜色信息均相同，因此，在由计算机(computer)进行处理时，可以共用存储颜色信息的纹理存储器。因此，不会随着投影面的数量增加而消耗过多的存储器，可以减轻图像生成所使用的装置的负荷。
此外，由于唯一地确定与某投影面对应的摄像机，因此可以通过预先设定两者的坐标的对应关系，容易地且高速地进行镜头的畸变像差的校正等校准。
从而，在专用的装置、普及型的个人计算机等中执行本发明的第一实施方式的虚拟视点图像生成方法的程序具有广泛的应用范围和较高的通用性。
下面，举出实施例来说明执行第一实施方式的虚拟视点图像生成方法的装置以及具体的图像生成方法。
(实施例1-1)图6以及图7是表示本发明的实施例1-1的虚拟视点图像生成装置的概略结构的示意图，图6是表示图像生成装置内部的结构的方框图，图7是表示使用图像生成装置的系统的结构例的图。
在图6中，1是虚拟视点图像生成装置，101是虚拟视点确定单元，102是被摄体图像取得单元，103是图像生成单元，103a是投影面确定单元，103b是基准视点确定单元，103c是纹理数组确保单元，103d是对应点匹配处理单元，103e是颜色信息确定单元，103f是存在概率信息确定单元，103g是渲染单元，104是生成图像输出单元，2是视点位置输入单元，3是被摄体摄影单元，4是图像显示单元。此外，在图7中，User是虚拟视点图像生成装置的使用者，Obj是被摄体。
如图6以及图7所示，本实施例1-1的虚拟视点图像生成装置1由下述单元构成虚拟视点确定单元101，其确定使用者User使用视点位置输入单元2输入的视点(虚拟视点)的参数；被摄体图像取得单元102，其取得由位于多个视点位置Ci上的被摄体摄影单元(摄像机)3拍摄到的被摄体Obj的图像；图像生成单元103，其基于所述取得的被摄体Obj的图像，生成从所述虚拟视点观察所述被摄体Obj时的图像(虚拟视点图像)；以及生成图像输出单元104，其用于在图像显示单元4中显示由所述图像生成单元103生成的虚拟视点图像。
通过虚拟视点确定单元101确定例如位置、方向、视场角，作为所述虚拟视点的参数。此外，所述视点位置输入单元2例如如图7所示，可以是鼠标等的使用者User进行操作并选择的设备，也可以是键盘等的使用者User作为直接数值输入的设备，还可以是所述使用者User佩戴的位置/姿势检测传感器。此外，也可以由其它的程序提供，或通过网络提供。
此外，所述被摄体图像取得单元102可以以一定间隔，例如30Hz的间隔逐次取得时刻变化的被摄体的位置/姿势，也可以取得任意时刻的被摄体的静止图像，还可以通过从记录装置中读取预先拍摄的被摄体图像而取得。另外，最好是，来自多个视点位置的被摄体图像是通过实现所有的摄像机之间的同步而在同一时刻拍摄的，但在被摄体的位置/姿势变化十分缓慢而可以视为静止物的情况下，不限于此。
此外，如图6所示，所述图像生成单元103由下述单元构成投影面确定单元103a，其确定图像生成所使用的投影面的位置/形状；基准视点确定单元103b，其确定基准视点的位置；纹理数组确保单元103c，其将贴附到投影面上的纹理图像的数组分配到存储器上；对应点匹配处理单元103d，其在所述被摄体图像取得单元102取得的被摄体的图像中，在多个视点位置之间进行拍摄了被摄体的同一区域的部分的对应；颜色信息确定单元103e，其通过对取得的多个被摄体图像的颜色信息进行混合处理来确定由所述纹理数组确保单元103c确保的纹理数组中的颜色信息；存在概率信息确定单元103f，其基于所述对应点匹配处理单元103d的结果，确定由所述纹理数组确保单元103e确保的纹理数组中、在投影面上存在被摄体的可能性的程度(存在概率信息)；以及渲染单元103g，其基于由所述颜色信息确定单元103e确定的颜色信息以及由所述存在概率信息确定单元103f确定的存在概率信息，对从所述虚拟视点看到的所述投影面进行渲染。
由所述纹理数组确保单元103c确保的数组对于各像素保持颜色信息和存在概率信息，例如，对于红(R)、绿(G)、蓝(B)三原色以及所述存在概率信息各以8位(bit)表达。但是，本发明不依赖于这样的特定的数据表达形式。
此外，所述图像显示单元4例如是与显示器端子等的生成图像输出单元104连接的CRT(Cathode Ray Tube，阴极射线管)、LCD(LiquidCrystal Display，液晶显示器)、PDP(Plasma Display Panel，等离子体显示面板)等的显示装置。所述图像显示单元4例如可以是二维平面状的显示装置，也可以是如包围使用者User的曲面状的显示装置。此外，如果使用可立体显示的显示装置作为所述图像显示单元4，则通过所述虚拟视点确定单元101确定与所述使用者User的左右眼相当的两个虚拟视点，由所述图像生成单元103生成从所述两个虚拟视点看去的虚拟视点图像，然后对使用者的左右眼呈现独立的图像。此外，如果生成从三个以上的虚拟视点看去的图像，使用可以显示带有三个以上的视差的图像的三维显示器，则也可以对一个以上的使用者示出立体图像。
此外，使用所述虚拟视点图像生成装置1的系统例如为如图7所示那样的结构，使用者User通过所述视点位置输入单元2对虚拟视点图像生成装置1指定所希望的视点位置/方向/视场角时，所述虚拟视点图像生成装置1通过所述被摄体摄影单元(摄像机)3对被摄体Obj进行拍摄并取得其图像之后，基于所述取得的被摄体的图像，生成所指示的视点的图像(虚拟视点图像)。所述生成的虚拟视点图像通过所述图像显示单元4对使用者User示出。
另外，图7的系统结构表示本发明中的图像生成装置的安装的一个示例，本发明的权利要求不一定限于这样的结构，各个装置的配置、方式、安装在不脱离本发明的宗旨的范围内是任意的。
下面，说明通过所述图像生成单元103进行的图像生成处理，但在记述其具体的处理过程之前，说明作为处理的前提的数学模型。
图8以及图9是用于说明使用了本实施例1-1的虚拟视点图像生成装置的虚拟视点图像生成方法的数学模型的示意图，图8是表示投影变换的一个示例的图，图9是表示坐标变换的一个示例的图。
在使用本实施例1-1的虚拟视点图像生成装置的图像生成处理中，例如如图8所示，设定了摄像机3的中心位置Ci(i＝1，2，…，N)以及虚拟视点P、投影面Lj(j＝1，2，…，M)。下面，为了区别多台摄像机3，所述摄像机的中心位置Ci表示摄像机自身，同样地，P表示虚拟视点自身，并且表示虚拟视点的中心的位置。
此外，在图8中，摄像机Ci配置为横向一列，但本发明不限于这样的配置，例如也可以应用为二维方格状或圆弧状等的多种配置。而且，投影面Lj的配置也不一定限定为平行，也可以如后面所述的实施例1-3那样为曲面。但是，在本实施例1-1的说明中，投影面Lj为平面。
在本实施方式的虚拟视点图像生成方法中，为了基于在实际配置了摄像机的位置Ci处取得的被摄体Obj的图像生成未配置所述摄像机的虚拟视点P的图像，基本上经过下述步骤将由摄像机Ci拍摄的被摄体的图像的一部分贴附(纹理映射)到在计算机等的虚拟视点图像生成装置1上假想的投影面Lj上，通过坐标计算处理生成从所述虚拟视点P观察该纹理映射后的投影面时的图像。
在进行这样的处理时，所述虚拟视点P以及摄像机Ci将三维空间中的点投影成各个图像面上的二维的点。
一般来说，从三维空间上的点(X，Y，Z)投影成图像面上的点(x，y)的矩阵是3行4列的矩阵，可以表示为下述式14以及式15。
sxy1=ΦXYZ1]]>[式15]Φ=φ11φ12φ13φ14φ21φ22φ23φ24φ31φ32φ33φ34]]>此时，例如表示以原点为中心的焦距f的透视投影变换的矩阵Ф0为下述式16。
Φ=f0000f000010]]>此外，由计算机处理的图像是所谓数字图像，通过存储器上的二维数组来表现。表示该数组的位置的坐标系(u，v)称作数字图像坐标系。
此时，例如具有640像素×480像素的大小的数字图像上的一点由取0至639的整数值中的任意一个的变量u和取0至479的整数值中的任意一个的变量v表示，该点的颜色信息由对其地址处的红(R)、绿(G)、蓝(B)信息进行8位等的量化而得的数据表示。
而且此时，如图9(a)所示的图像坐标(x，y)和图9(b)所示的数字图像坐标(u，v)一一对应，例如，具有如下述式17那样的关系。
uv1=ku-kucotθu00kv/sinθv0001xy1]]>
这里，图9(a)所示的x轴和图9(b)所示的u轴平行，u轴和v轴的单位长度以(x，y)坐标系为基准为ku，kv，u轴和v轴所成的角度为θ。
另外，在进行二维数组的写入以及读取时，所述数字图像坐标(u、v)取离散值，但在下面的说明中，如果没有特别的说明则取连续值，并且在访问数组时进行适当的离散化处理。
此外，通过该坐标变换，除了上述式17的关系之外，还可以进行校正镜头的像差所引起的图像失真的变换。
下面，使用所述数学模型说明具体的虚拟视点图像的生成处理过程。
图10至图17是用于说明本实施例1-1的虚拟视点图像生成处理过程的示意图，图10是生成处理整体的流程图，图11是生成虚拟视点图像的步骤的具体的流程图，图12是表示投影面的设定方法的一个示例的图，图13是表示投影点、投影点串、投影点串的集合的一个示例的图，图14是表示用于说明颜色信息的混合处理的由基准视点、投影点、摄像机位置构成的角度的一个示例的图，图15是表示对应点匹配处理的一个示例的图，图16是用于说明渲染处理的图，图17是表示所生成的虚拟视点图像的一个示例的图。
在使用本实施例1-1的虚拟视点图像生成装置1生成虚拟视点图像时，如图10所示，首先基于来自使用者User的请求，由所述虚拟视点确定单元确定虚拟视点P的参数(步骤501)。在所述步骤501中，例如确定虚拟视点P的位置、方向、视场角等。
接着，由所述被摄体图像取得单元102取得由所述多台摄像机3(Ci)拍摄的被摄体Obj的图像(步骤S502)。
接着，基于由所述被摄体图像取得单元102取得的被摄体的图像，生成从所述虚拟视点P观察所述被摄体Obj时的图像(虚拟视点图像)(步骤503)。
在所述步骤503中，例如进行如图11所示的各步骤的处理，并生成虚拟视点图像。
在所述步骤503的处理中，首先通过所述投影面确定单元103a确定虚拟视点图像的生成所使用的多层结构的投影面Lj(j∈J，J≡{1，2，…，M})的位置、形状(步骤503a)。在所述步骤503a中确定所述投影面Lj时，例如，等间隔地平行设置图8所示的具有平面形状的投影面。
此外，在等间隔地配置所述摄像机Ci时，也可以将其设置间隔设为B，将摄像机的焦距设为F，将图像面的一个像素的大小设为δ，按照由下式18求出的距离的序列ld(d＝1，2，3，…)配置平面(投影面)。
Id=BFδd(d=1,2,3...)]]>在这样的情况下，摄像机之间的对应点匹配的深度分辨能力和投影面的设置间隔一致。即，如图12所示，摄像机Cn以及Cn-1以间隔B设置，在将摄像机Cn的图像面上的点设为A，将摄像机Cn-1的图像面上相当于Cn的点A的点设为A0’，将从A0’起第d个像素的点设为Ad’时，点A的对应点为由{A0’|d＝1，2，…}构成的序列，此时计算出的距离的序列由上述式18提供。
但是，所述投影面Lj的设定例终究为一个示例，本发明的图像生成方法从根本上说设定两个或两个以上的不同的投影面即可，对于这样的特定的投影面设定方法没有限定。
在所述步骤503a的处理完成时，接着通过所述基准视点确定单元103b确定后面的处理中使用的、计算在投影点上存在被摄体的可能性的程度(存在概率信息)时作为基准的点(基准视点)R(步骤503b)。所述基准视点R的位置可以与虚拟视点P的位置一致，在虚拟视点有多个的情况下，也可以取为其重心位置。但是，本发明不是提供依赖于如何确定特定的基准视点的方法。
在所述步骤503b的处理完成时，接着在所述投影面上设定多个投影点(步骤503c)。此时，设定为投影点处于通过基准视点R的多个直线上，将同一直线上的投影点作为投影点串而一起处理。这里，例如如图13所示，着眼于通过基准视点R的某直线，在将投影面Lj上的投影点设为Tj，将集合它们而得到的投影点串设为S时，写作S＝{Tj|j∈J}，而且在将投影点串的集合设为∑时，为S∈∑。
在所述步骤503的处理完成时，接着通过所述纹理数组确保单元103c将保持待纹理映射在所述投影面上的图像的数组(纹理数组)确保到图像生成装置的存储器上(步骤503d)。此时，在所确保的数组中，对于每个像素具有例如8位的颜色信息(R、G、B)以及存在概率信息，作为与所述投影点的位置对应的纹理信息。
此外，在所述步骤503d中，还设定纹理数组的像素的二维数字坐标(Uj，Vj)和投影点Tj的三维坐标(Xj，Yj，Zj)之间的对应关系。此时，例如，可以针对所有的(Uj，Vj)的值将(Xj，Yj，Zj)的值设定为表，也可以仅针对代表性的(Uj，Vj)设定(Xj，Yj，Zj)的值，其余的对应通过插值处理(例如线性插值)来求出。
在所述步骤503d的处理完成时，基于在所述步骤502中取得的被摄体的图像，确定与在所述步骤503d中确保的各投影点相应的像素的颜色信息以及存在可能性信息。此时，在S∈∑的范围内依次扫描投影点串S，而且在Tj∈S的范围内依次扫描投影点Tj，进行双重的循环处理。
所述循环处理首先将要操作的投影点串S初始化为开始位置(步骤503e)。然后，接着在投影点串S内将要扫描的投影点Tj初始化为开始位置，例如设为j＝1(步骤503f)。
在所述步骤503e以及所述步骤503f的处理完成时，接着求出投影点Tj的坐标(Xj*，Yj*，Zj*)，在由各摄像机拍摄位于(Xj*，Yj*，Zj*)的位置处的点时，使用上述式14到式17的关系计算图像面分别与哪个位置对应(步骤503g)。此时，计算所述对应点的摄像机集合设为Ξ≡{Ci|i∈I}。所述摄像机集合Ξ可以是所有的摄像机，也可以根据虚拟视点P或基准视点R、投影点Tj的位置任意地选择一个或多个摄像机。
这里将求出的各摄像机的对应点设为Gij(i∈I)，将其数字坐标设为(uij*，Vij*)(i∈I)。
在所述步骤503g的处理完成时，接着由所述颜色信息确定单元103e通过混合(uij*，Vij*)(i∈I)中的颜色信息，从而确定与投影点Tj对应的纹理数组上的像素(Uj*，Vj*)的颜色信息(步骤503h)。所述混合处理例如取各摄像机的对应点的颜色信息的平均值。
此外，在所述混合处理中，例如，也可以进行与由摄像机Ci、投影点Tj、基准视点R构成的角θij对应的加权。这里，例如图14所示，考虑将摄像机集合设为Ξ＝{Cn，Cn+1，Cn+2}(I＝{n，n+1，n+2))的情况。此时，将表示投影点Tj和对应点Gij的颜色信息(R，G，B)的矢量分别设为Kj、Kij时，例如，如果如下式19那样确定Kj，则越是从接近于从基准视点R观察投影点Tj的角度的角度进行拍摄的摄像机，对混合处理的贡献程度越大。
Kj=Σi∈Icosθij·KijΣi∈Icosθij]]>在所述步骤503h的处理完成时，通过所述对应点匹配处理单元103d计算与投影点Tj对应的各摄像机的对应点Gij(i∈I)的相关程度Qj(步骤503i)。所述相关程度Qj例如为下述式20那样时，Qj取正值，对应点的相关度越高，Qj取越小的值。
Qj=Σi∈I(Kj-Kij)2]]>此外，在上述式20中，仅在一点处比较投影点和对应点的颜色信息，但也可以在投影点和对应点附近的多个点进行颜色信息的比较。此时，例如如图14所示，在取投影面Tj的附近的区域Φj、摄像机Ci的对应区域Ψij时，这些区域中的相关程度Qj例如通过下式21计算。
Qj=Σi∈IΣ(Uj,Vj)∈Φj(uij,vij)∈ψij{K(Uj,Vj)-K(uij,vij)}2]]>这里，K(Uj，Vj)表示纹理数组的坐标(Uj，Vj)中的颜色信息的估计值，K(uij，vij)表示摄像机Ci的拍摄图像的坐标(uj，vj)中的颜色信息。
另外，计算相关程度的方法不限于上述方法，本发明不依赖于特定的计算方法。例如，在图15所示的示例中，将与投影点Tj以及对应点相应的像素和其周围的8个像素所构成的区域分别作为附近区域Φj及其对应区域Ψij。但是，附近区域Φj及其对应区域Ψij的确定方法不限于该示例。
所述步骤503i的处理完成之后，接着更新所述投影点Tj(步骤503j)，并判别是否扫描了所有的投影点Tj∈S(步骤503k)。这里也一样，如果已经全部扫描完，则进入下一步骤503l，如果还未扫描完，则返回所述步骤503g。
在所述步骤503k中，判别为全部扫描完之后，接着由所述存在概率信息确定单元103f基于在所述步骤503i中计算的相关程度Qj，对于通过基准视点R的直线上的所有的投影点Tj(j∈J)确定投影点上存在被摄体的可能性的程度(存在概率信息)βj(步骤503l)。其中，所述存在概率信息βj需要满足下式22以及式23的条件。
0≤βj≤1[式23]Σj=1Mβj=1]]>而且，在投影点Tj处存在被摄体的概率越高取越接近1的值，因此对于所述步骤503i中计算出的投影点和对应点的相关程度Qj，例如，实施由下述式24以及式25所表示的变换处理而得到所述存在概率信息βj(j∈J)。
β~j=1Qj]]>[式25]βj=βjΣj=1Mβ~j]]>其中，所述存在概率信息βj只要满足上述式22以及式23的条件即可，变换处理不一定限定于上述式24以及式25所表示的方法。
在所述步骤503l的处理完成时，接着更新投影点串S(步骤503m)，并判别是否扫描了所有的投影点串S∈∑(步骤503n)。这里也一样，如果全部扫描完，则进入下一步骤503o，如果还没扫描完，则返回所述步骤503f。
在所述步骤503n中，判别为全部扫描完之后，接着由所述渲染单元103g根据所述存在概率信息βj，描绘并生成从虚拟视点P观察具有多层结构的投影面Lj(j＝1，2，…，M)的图像(步骤503o)。这里，例如如图16所示，设为虚拟视点P的图像面的坐标表示为(up，vp)。此时，图像面上的某像素p*(up*，vp*)的颜色信息Kp*被确定为对连接P和p*的直线上的投影点串{Tj*|j∈J}的颜色信息{Kj*|j∈J}乘以所对应的存在概率信息{βj*|j∈J}并相加的结果，表示为下式26。
KP*=Σj=1Mβj*Kj*]]>并且，在对图像面上的所有的像素确定了颜色信息时，可以得到虚拟视点P的图像。
此外，在代替上述式26而作为下述式27计算Kp*时，即使在基准视点R和虚拟视点P的位置不同的情况下，Kp*也一定保证纳入有效的色彩空间范围内。
KP*=Σj=1Mβj*Kj*Σj=1Mβj*]]>另外，这里示出了扫描图像面上的像素来确定颜色信息的过程，但不限于此，例如也可以对OpenGL或DirectX等通用的图形库提交投影面的结构、纹理数组、视点P的设定等的数据，委托其进行描绘处理。
以上，所述虚拟视点图像的生成处理(步骤503)结束，生成的虚拟视点图像被显示在所述图像显示单元4上(步骤504)。此时，所述图像显示单元4中所显示的虚拟视点图像6例如如图17所示那样，在被摄体的像7中，在所述步骤503l中计算出的所述相关程度Qj低、即估计值的可靠性低的部分7A被模糊地描绘，变得不清楚。因此，例如不像图1所示的现有的虚拟视点图像6那样，看起来图像像缺损，而形成使用者的眼睛所察觉不到的程度的劣化。
然后，在所述步骤505中，判断处理的继续或结束，如果继续则从最初的步骤501起重复，如果结束则进行结束处理。
如以上所说明的那样，根据使用了本实施例1-1的虚拟视点图像生成装置的虚拟视点图像生成方法，不是如现有的手段那样要在所有的情况下以及所有的部分得到被摄体的准确的几何模型，而是以根据被摄体的拍摄条件或部位、无法通过距离估计得到具有充分可靠性的估计值为前提，对于得到了可靠性低的估计值的部分模糊地进行描绘而降低对图像生成的贡献，防止极端的图像劣化，并且对于得到了可靠性高的距离数据的部分清晰地进行描绘而提高对图像生成的贡献。因此，可以使估计可靠性低的部分的图像劣化不显著，可以形成对于使用者来看劣化少的虚拟视点图像。
此外，在本实施例1-1的虚拟视点图像生成装置1中，由于利用纹理映射来生成虚拟视点图像，所以可以减小图像生成处理中的装置的负荷，并且可以高速地生成虚拟视点图像。
此外，所述虚拟视点图像生成装置1不必是专用的装置，例如，也可以通过具有CPU以及存储器、硬盘等存储装置的计算机和程序来实现。在这种情况下，作成可在计算机中执行如图11所示的各步骤的程序，并在所述计算机中执行时，即使是普及型的个人计算机，也可以容易且高速地生成图像劣化少的虚拟视点图像。另外，在这种情况下，在存储装置中保持与处理相关的数据，适当读取而由CPU进行处理。
所述程序可以记录在软盘或CD-ROM(Compact Disc Read OnlyMemory，光盘只读存储器)等记录介质中来提供，也可以通过网络来提供。
另外，本实施例1-1中说明的虚拟视点图像生成装置的结构以及虚拟视点图像的生成方法或处理过程是一个示例，本发明的主旨是根据从多个不同视点位置拍摄被摄体而得到的图像之间的对应区域的可靠性来确定由多层构成的投影面的透明度信息。因此，在不是很大地脱离本主旨的范围内，不依赖于特定的处理方法或实施方式。
此外，利用所述虚拟视点图像生成装置1的系统也不限于如图7所示的单向的系统，也可应用双向的系统。
图18是表示应用了所述实施例1-1的虚拟视点图像生成装置1的系统的应用例的示意图。
所述实施例1-1的虚拟视点图像生成装置1例如适合于电视电话或电视会议等系统，例如如图18所示，可以应用于在通过通信网络存在于远距离地的使用者UserA以及UserB中，视为两者既是使用者又是被摄体，相互示出对方的图像，支持可视通信的系统。此时，在UserA将从预期的视点看去的UserB的图像设为Img[A→B]时，Img[A→B]基于由UserB侧的被摄体摄影单元(摄像机)3B拍摄到的UserB的图像生成并在UserA侧的图像显示单元4A上示出。此外，在UserB将从预期的视点看去的UserA的图像设为Img[B→A]时，Img[B→A]基于由UserA侧的被摄体摄影单元(摄像机)3A拍摄到的UserA的图像生成并在UserB侧的图像显示单元4B上示出。
此外，在图18所示的系统中，示出了各User的视点位置输入单元由佩戴在使用者的头部的位置/姿势传感器的数据发送部201A、201B和数据接收部202A、202B构成，自动地追随使用者的头部移动而计算预期的虚拟视点的示例。但是，所述视点位置输入单元不必一定采用这样的方式。并且，也可以基于由被摄体摄影单元3A、3B拍摄到的使用者的图像估计头部的位置/姿势，具有同样的功能。
这里，可以是Img[A→B]由UserA侧的虚拟视点图像生成装置1A和UserB侧的虚拟视点图像生成装置1B中的某一个生成的系统结构。在前者的情况下，由摄像机3B拍摄到的UserB的图像通过网络8传输到UserA侧的虚拟视点图像生成装置1A中，基于此，由所述虚拟视点图像生成装置1A生成Img[A→B]并由图像显示单元4A示出。并且，在后者的情况下，基于由UserB侧的摄像机3B拍摄到的UserB的图像，由UserB侧的虚拟视点图像生成装置1B生成Img[A→B]，然后把虚拟视点图像Img[A→B]传输到UserA侧的虚拟视点图像生成装置1A中，并由图像显示单元4A示出。此外，虽然省略了说明，但对于Img[B→A]也是一样的。
此外，构成图6中的图像生成单元103的各单元也可以由UserA侧的虚拟视点图像生成装置1A以及UserB侧的虚拟视点图像生成装置1B的某一个来分担，例如，为了生成Img[A→B]，可以在位于UserA侧的图像生成装置1A中安装投影面确定单元103a以及基准视点确定单元103b，和对应点匹配单元103d，在位于UserB侧的图像生成装置1B中安装纹理数组确保单元103c、颜色信息确定单元103e、存在概率信息确定单元103f以及渲染单元103g。此外，虽然省略了说明，但对于Img[B→A]也是一样的。
而且，可以在网络8上的任意地方设置与UserA侧以及UserB侧的所述虚拟视点图像生成装置1A、1B不同的图像生成装置1C，安装图像生成单元的全部或一部分。
另外，这里叙述了UserA和UserB的两个使用者之间的通信，但使用者的人数不限于此，在更多的使用者之间也一样可以应用本发明。此时，当区别于使用者实际存在的实际空间而假想通信所使用的虚拟空间，并相互示出与其位置关系对应的其它使用者的图像时，使用者可以具有好像在共用网络上的虚拟空间(cyber space)的感觉。
(实施例1-2)图19是用于说明实施例1-2的虚拟视点图像生成方法的示意图，图19(a)是表示成为本实施例1-2的特征的处理的流程图，图19(b)是表示确定透明度信息的步骤的具体处理过程的一个示例的流程图。
在本实施例1-2中，示出了在所述实施例1-1中说明的虚拟视点图像的生成处理中，代替所述步骤503l中计算的投影点的存在概率信息，而将所述存在概率信息变换为透明度信息来进行图像生成的示例。
此时，对于所述虚拟视点图像生成装置1的结构或整体处理过程，可以采用与所述实施例1-1中说明的示例一样的方式，因此下面仅说明不同的部分。
在所述实施例1-1中，在生成所述图像的步骤503中，如图11所示，使用在所述步骤503l中确定的所述存在概率信息βj生成虚拟视点图像，但在本实施例1-2中，如图19(a)所示，在所述步骤503l之后，附加变换所述存在概率信息来确定透明度的步骤503p。
因此，在所述实施例1-1的确保纹理数组的步骤503d中，确保了保持颜色信息以及所述存在概率信息的数组，相对于此，在实施例1-2的步骤503d中，确保保持颜色信息以及透明度信息的数组。
基于所述存在概率信息βj计算所述透明度信息αj，与所述实施例1-1的步骤503l一样，在本实施例1-2中，在所述步骤503l中临时计算所述存在概率信息，并在下一个步骤503p中计算透明度信息。
此外，在本实施例1-2的进行渲染处理的步骤503o中，代替在所述实施例1-1中说明的上述式26或式27，而根据上述式2至上述式4来逐次地计算Dj。因此，图像面上的某像素P*(up*，vp*)的颜色信息Kj*如下述式28那样计算。
KP*=DM]]>=αMKM+(1-αM)αM-1KM-1+···]]>+(1-αM)(1-αM-1)···(1-α2)α1K1]]>以上为本实施例中的图像生成方法，下面示出基于所述存在概率信息βj计算透明度信息αj的方法的一个示例。
首先，在比较上述式26和上述式28时，如下述式29所示。
βM=αMβj={Πm=j+1M(1-αm)}αj(j∈J)]]>根据该关系，按j＝M，M-1，…，1的顺序求出αj的过程如下。
首先，如图19(b)所示，作为j的初始值设为j＝M(步骤5031p)。接着，根据上述式29确定为αM＝βM(步骤5032p)。接着，将j的值更新为j＝j-1(步骤5033p)。
接着，判别αj+1是否为1(步骤5034p)。此时，如果αj+1≠1，则根据上述式29的关系，通过下述式30确定αj(步骤5035p)。

αj=1Πm=j+1M(1-αm)βj]]>另一方面，当αj+1＝1时，由下述式31确定αj(步骤5036p)。
αj＝1说明其根据，首先，如果αj+1＝1，则如下述式32所示，在上述式30中由于分母为0(零)而无法计算。
Πm=j+1M(1-αm)=0]]>因此，在展开上述式32时，成为下述式33，在代入上述式29时，成为如式34所示。
αM+(1-αM)αM-1+…(1-αM)(1-αM-1)…(1-αj+2)αj+1＝1[式34]βM+βM-1+…+βj+1＝1根据上述式34和上述式22以及式23得到下述式35。
βj＝0这里，在将上述式32和上述式35代入上述式29的下边时，成为0＝0×αj，可知αj可取任意的值。因此，在本实施例1-2中，例如，设定为αj＝1。
其中，如上所述，αj可以设定为任意的值，本发明不依赖于特定的αj的确定方法。
接着，判别是否处理到j＝1(步骤5037p)，所有的处理完成之后就结束，如果还没完成，则返回到上述步骤5033p。
如以上所说明的那样，根据本实施例1-2的虚拟视点图像生成方法，与所述实施例1-1一样，可以容易且高速地生成部分图像劣化不显著的虚拟视点图像。
此外，如所述实施例1-1中说明的那样，在直接使用存在概率信息的图像生成中，在基准视点和虚拟视点不同的情况下，有时在被摄体的遮挡区域附近产生亮度的增加，相对于此，如本实施例1-2那样，在将存在概率信息变换为透明度的图像生成中，有防止该现象的效果。因此，可以得到图像劣化少、更接近实际被摄体的虚拟视点图像。
此外，如所述实施例1-1中说明的那样，在直接使用存在概率信息的图像生成中，在基准视点和虚拟视点不同的情况下，在通过使用了如后所示的式的运算计算出颜色信息时没有纳入有效的颜色信息范围内的保证，例如，需要校正处理，相对于此，如本实施例1-2那样，在将所述存在概率信息变换为透明度的图像生成中，不需要这样的校正。因此，可以简化图像生成处理。
此外，如本实施例1-2的虚拟视点图像生成方法那样，在将存在概率信息变换为透明度的图像生成中，具有可以有效地表现半透过的被摄体，对于现实世界中的更多的被摄体可以广泛地应用本发明的效果。
另外，本实施例1-2中说明的虚拟视点图像生成方法为一个示例，本发明的主旨是将所述存在概率信息变换为透明度信息而生成虚拟视点图像。因此，在没有很大地脱离本主旨的范围内不依赖于特定的计算方法或处理过程。
此外，上述颜色信息在黑白图像的情况下相当于亮度信息，可以一样地进行处理。
(实施例1-3)图20是用于说明实施例1-3的虚拟视点图像生成方法的示意图，是表示投影面组、基准视点、虚拟视点、投影点的一个示例的图。
在本实施例1-3中，将要说明不是在多个摄像机中使用共同的投影面Lj，而是设定每个摄像机Cj固有的投影面来进行图像生成的方法。另外，虚拟视点图像生成装置1的结构和整体的图像生成处理过程与所述实施例1-1中说明的过程一样，所以省略详细的说明。
首先，如所述实施例1-1中说明的那样，在所述步骤501中确定虚拟视点，在下一个所述步骤502中取得被摄体的图像。
在本实施例1-3的图像生成方法中，在接着进行的生成所述虚拟视点图像的步骤503的确定投影面的步骤503中，设定每个所述摄像机固有的投影面组。
此时，例如如图20所示，设定各自固有的投影面组Λi≡{Lij|j∈J}，使得所述投影面组与摄像机Ci(i∈I，I＝{n-1，n，n+1，n+2})的图像面Imgi(i∈I)平行。
所述投影面组的设定完成后，接着在确定所述步骤503b的基准视点的处理中，将所述投影面组Λi所固有的基准视点Ri设定到与摄像机的视点Ci相同的位置上。
所述步骤503b完成后，接着通过所述实施例1-1中说明的过程进行所述步骤503c的处理。然后，在下一个步骤503d中，在投影面上将由摄像机拍摄的数字图像的各像素进行逆投影，与投影面的纹理数组的各像素建立对应。
这里，从数字图像的点(u，v)到图像面上的点(x，y)的变换例如由上述式17示出，从(x，y)向三维空间中的投影面上的点(X，Y，Z)的逆投影例如可以如下地公式化。
一般在提供二维的点(x，y)时，满足上述式14以及上述式15的点(X，Y，Z)在三维中存在无数个，但其中位于投影面上的点(X，Y，Z)为逆投影像。
投影面的式一般表现为aX+bY+cZ+d＝0，如果改写为矢量表现，则成为下述式36那样。
abcdXYZ1=0]]>这里，总结上述式14以及上述式15和上述式36，则得到下述式37。
sXY10=φ11φ12φ13φ14φ21φ22φ23φ24φ31φ32φ33φ34abcdXYZ1]]>
因此，对于(X，Y，Z)求解上述式37，则可以求出从(x，y)到(X，Y，Z)的逆投影像。这里，例如，如果上述式37的4行4列的矩阵具有逆矩阵，在设为s’＝1/s时，所述逆投影像通过下述式38求出。
s′XY10=φ11φ12φ13φ14φ21φ22φ23φ24φ31φ32φ33φ34abcd-1XY10]]>另外，上述示例终究为一个示例，也可以进行校正镜头的像差(例如，畸变像差)这样的校准，可以作为表来保持与数字图像的点(u，v)对应的投影面上的点(X，Y，Z)。
然后，通过所述实施例1-1中说明的过程进行从所述步骤503e到所述步骤503g之间的处理。然后，在下一步骤503h的确定颜色信息的处理中，仅使用由摄像机Ci拍摄的图像的颜色信息来确定所述投影面组Λi上的投影点。
可以通过如本实施例1-3中说明的所述步骤503d和所述步骤503h那样进行，将摄像机所拍摄到的数字图像直接用作为投影面的纹理数组的颜色信息。
然后，再次从所述步骤503i到所述步骤503n，通过与所述实施例1-1相同的过程进行处理。然后，接着在所述步骤503o的渲染单元中，对于从虚拟视点P看为重合的所有的投影点进行颜色信息的混合处理。此时，例如在图20所示的示例中，对于投影面组Λn以及Λn+1上的投影点，在通过虚拟视点P的直线上进行颜色信息的混合处理。
这里，将投影面Lij上的投影点设为Tij，将Tij的颜色信息设为Kij，将存在可能性信息设为βij，在所述实施例1-1中作为上述式27示出的虚拟视点P的图像面的颜色信息例如如下地确定。
即，图像面上的某像素p*(up*，vp*)的颜色信息Kp*被确定为以连接P和p*的直线上的某投影点串{Tij*|i∈I，j∈J}的颜色信息{Kij*|i∈I，j∈J}所对应的存在可能性信息{βij*|i∈I，j∈J}作为系数的加权平均值，成为下述式39。
KP*=Σi∈IΣj=1Mβij*Kj*Σj=1Mβij]]>如以上所说明的那样，根据本实施例1-3的虚拟视点图像生成方法，与所述实施例1-1一样，可以容易且高速地生成部分图像劣化不显著的虚拟视点图像。
此外，如本实施例1-3那样，如果与摄像机之间的位置关系无关地设定每个摄像机所固有的投影面组，则即使摄像机的配置复杂或不规则，投影面组的设定处理也不受影响，可以通过一贯的处理方法进行图像生成。
另外，在本实施例1-3中说明的虚拟视点图像生成方法为一个示例，本发明的主旨是将所述存在概率信息变换为透明度信息而生成虚拟视点图像。因此，在没有很大地脱离本主旨的范围内不依赖于特定的计算方法或处理过程。
此外，上述颜色信息在黑白图像的情况下相当于亮度信息，可以同样地进行处理。
(第一实施方式的效果)根据第一实施方式中说明的方法，不是如现有的方法那样要在所有的情况下以及所有的部分得到被摄体的准确的几何模型，而是以根据被摄体的拍摄条件或部位、无法通过距离估计得到具有充分可靠性的估计值为前提，对于得到了可靠性低的估计值的部分模糊地进行描绘而降低对图像生成的贡献，防止极端的图像劣化，并且对于得到了可靠性高的距离数据的部分清晰地进行描绘而提高对图像生成的贡献。因此，估计可靠性低的部分的图像的劣化不显著。
此外，可以解决在基准视点和虚拟视点不同的情况下，在被摄体的遮挡区域附近产生亮度增加的问题。此外，在基准视点和虚拟视点不同的情况下，计算颜色信息时无法保证纳入到有效的颜色信息范围内，所以有时需要校正处理，但在本实施方式中说明的方法中，不需要这样的校正。此外，也可以有效地表现半透明的被摄体，具有可以对现实世界中存在的更多的被摄体广泛地应用本发明的效果。此外，如果与摄像机之间的位置关系无关地设定每个摄像机所固有的投影面组，则即使摄像机的配置复杂或不规则，投影面组的设定处理也不受影响，可以通过一贯的处理方法进行图像生成。
而且，在设定了每个所述摄像机固有的投影面组的情况下，关于投影面的颜色信息，不需要对应的摄像机拍摄的图像之间的混合处理。因此，例如，在通过计算机进行处理时可以进行并列处理，可以实现图像生成的高速化。
此外，与同一摄像机建立对应的投影面组的颜色信息均相同，因此，在由计算机进行处理时，可以共用存储颜色信息的纹理存储器。因此，不会随着投影面的数量增加而消耗过多的存储器，可以减轻图像生成所使用的装置的负荷。而且，由于唯一地确定与某投影面对应的摄像机，因此可以通过预先设定两者的坐标之间的对应关系，容易且高速地进行镜头的畸变像差的校正等校准。
此外，可以缩短基于多个被摄体图像生成虚拟视点图像的装置的处理时间或者减轻施加到装置上的负荷，即使普及型的个人计算机也可以以在短时间内生成部分劣化少的图像。
下面，说明本发明的第二实施方式。第二实施方式主要是对应于权利要求12～权利要求21的实施方式。第二实施方式中的基本的结构与第一实施方式一样，但在第二实施方式中，其特征在于，准备多组摄像机组，基于针对每个摄像机组求出的相关度计算存在概率。另外，在用于说明第二实施方式的图中，具有相同功能的部分标以相同标号。
第二实施方式的图像生成方法是根据视点不同的多个图像取得所述图像中反映的物体的三维形状，生成示出所述物体的三维像的图像或者从任意视点观察所述物体时的图像的方法。此时，使用纹理映射的方法，设定多层结构的投影面，估计从所述观察者的视点到物体的表面上的各点的距离，从而求出所述物体的三维形状。在估计到所述物体的表面的距离时，例如，对于从所述观察者的视点看为重合的各投影面上的点(下面称为投影点)，求出与所述投影点对应的各图像上的点(下面称为对应点)之间的相关度。然后，根据从所述观察者的视点看为重合的各投影点的相关度的高低，估计所述物体的表面存在于所述重合的投影点中哪个投影点的附近。在本实施方式的图像生成方法中，不是考虑所述物体的表面存在于从所述观察者的视点看为重合的多个投影点中哪个投影点的附近，而是考虑在所述各投影点的附近以与所述各投影点的相关度的大小对应的比例存在物体的表面。此时，在本发明的图像生成方法中，根据对应于所述各投影点的相关度确定所述各投影点或其附近存在物体的表面的概率(下面称为存在概率)。然后，在基于所述被摄体的三维形状生成图像时，在对所述生成的图像上的各点的颜色信息分配所述投影点的颜色信息时，按照与所述存在概率的高低对应的比例来分配。这样，从观察所述投影面的观察者来看，模糊地描绘到所述物体表面的距离的估计困难的部分，使不连续的噪声等不显著。
此外，对于从所述观察者的视点或用于取得物体的三维形状的基准视点看为重合的多个投影点，如果可以某种程度地假设物体表面的存在概率的概率密度分布，则也可以使用反映概率密度分布的参数函数p(l)求出所述存在概率。在这种情况下，可以降低拍摄的图像上的噪声(杂音)的影响所引起的相关度的偏差，并防止存在概率的可靠性的低下。
而且，如果不是使用所有的图像上的对应点来求出某投影点的相关度，而是根据从预定的几个视点拍摄的图像上的对应点来求出时，例如，通过除去由于包藏(遮挡)而即使在所述投影点上存在物体的表面也反映不出来的图像，提高了所述相关度的高低的可靠性，还提高了所述存在概率的可靠性。
图21至图28是用于说明本实施方式的图像显示方法的原理的示意图，图21是说明所显示的图像的生成方法的概念的图，图22是二维地表现图21的图，图23(a)以及图23(b)是说明对应点的相关度的求出方法的图，图24(a)以及图24(b)是说明求出对应点之间的相关度时的问题点的图，图25是说明解决求出相关度时的问题的方法的图，图26(a)以及图26(b)是说明提高存在概率的精度的方法的一个示例的图，图27(a)、图27(b)以及图28是说明本实施方式的特征的图。
在本实施方式的图像显示方法中，在生成显示的图像时，首先在计算机等图像生成装置内设定虚拟的三维空间，在所述三维空间上设定拍摄所述物体的图像的摄像机的视点Ci(i＝1，2，…，N)以及估计物体的三维形状的多层结构的投影面Lj(j＝1，2，…，M)。此时，如果所述摄像机排列在某一直线上，则所述视点Ci例如如图21以及图22所示那样，设定在X轴(Z＝0)上。此外，所述投影面Lj例如如图21以及图22所示那样，将与XY平面平行的平面设定为Z＝lj(＜0)。
此时，如图21以及图22所示，如果在从观察者的视点P引出的直线lp和某投影面Lm的交点(投影点)Tm上存在物体的表面，则该点应该反映为由设置在所述视点Ci上的摄像机拍摄的图像上的点(对应点)Gi，m。同样地，如果在所述投影点Tm上存在物体的表面，则该点应在由设置在所述点Ci+1、Ci+2上的摄像机拍摄的图像上分别反映为对应点Gi+1，m、Gi+2，m。因此，如果知道所述投影点Tm所对应的所述各图像上的对应点Gi，m、Gi+1，m、Gi+2，m的相关度(类似度)，则可以估计所述投影点Tm或其附近是否存在物体的表面。然后，如果对从所述观察者的视点P引出的直线lp上的各投影点Tj进行这样的估计，则可以估计在从所述观察者的视点P引出的直线lp上，物体的表面位于哪个投影点Tj(投影面Lj)的附近。
在从所述观察者的视点P引出的直线lp上，估计物体的表面位于哪个投影点Tj(投影面Lj)的附近时，例如使用与所述投影点Tj对应的各对应点Gi，j的相关度Qj。所述相关度Qj例如与第一实施方式一样，使用下述式40求出。
Qj=Σi∈I(Kj-Kij)2]]>这里，I是各摄像机的视点Ci(i＝1，2，…，N)中的可以在图像面上定义所述投影点Tj所对应的对应点Gi，j的视点Ci的集合，Kij是对应点Gi，j的颜色信息，Kj是投影点Tj的颜色信息，设为所述对应点Gi，j的颜色信息Kij的平均值。
此时，考虑在所设定的投影面Lj上重合实际物体的表面形状时例如成为图23(a)那样的情况。此时，从所述观察者的视点P引出的直线lp上的投影点Tj中的离从所述摄像机的视点Ci、Ci+1、Ci+2看得到的物体表面最近的投影点为投影点Tm。因此，如图23(a)所示，与所述投影点Tm对应的对应点Gi，m、Gi+1，m、Gi+2，m上分别反映的物体表面上的点处于非常接近的位置关系。另一方面，例如，投影面T2所对应的对应点上分别反映的物体表面上的点处于相互离开的位置关系。其结果是，使用上述式40求出所述直线lp上的各投影点Tj的相关度Qj时，如图23(b)所示，仅有所述投影点Tm的相关度Qm成为非常小的值。因此，从所述观察者的视点P观察所述直线lp的方向时，可以估计为物体的表面位于所述投影点Tm、即设定有所述投影面Lm的距离lm的位置上。
因此，从所述观察者的视点P向各个方向引出直线lp，在对各直线lp上的投影点Tj重复同样的处理时，可以估计所述图像上反映的物体的表面形状。
但是，如图23(a)以及图23(b)所示，这样的估计方法有效的、即所估计的物体的表面形状的可靠性高的情况仅是实际的物体的表面形状比较简单的情况，在物体的形状复杂，或多个物体从观察者的视点P看为重合的情况下，所估计的物体的表面形状的可靠性降低。
这里，作为所估计的物体的表面形状的可靠性降低的示例，例如考虑在两个物体从观察者的视点P看为重合、使两个物体的表面形状与所设定的投影面Lj重合时，形成如图24(a)那样的情况。此时，考虑对图24(a)中以虚线表示的从观察者的视点P引出的直线lp上的投影点Tj求出相关度Qj时形成例如图23(b)所示的分布。因此，考虑在所述直线lp的附近，所估计的物体A的表面形状的可靠性高。
但是，例如，在对图24(a)中以实线表示的从观察者的视点P引出的直线lp’上的投影点T’m求出相关度Q’m的情况下，在从视点Ci拍摄的图像的对应点G’i，m上反映了物体B的表面，在从所述视点Ci+1，m、Ci+2，m拍摄的图像的对应点G’i+1，m、G’i+2，m上反映了物体A的表面。在这样的情况下，由上述式40求出的相关度Q’m增大。其结果是，所述直线lp’上的投影点T’j的相关度Q’j的分布成为如图24(b)所示那样，难以估计在哪个投影点Tj的附近存在物体的表面。此时，与如图23(b)所示的分布的情况一样，估计为在相关度Q’j最小的投影点T’j的附近存在物体的表面时，在该估计错误的情况下，在所显示的图像上表现出不连续的噪声。
因此，在本实施方式的图像显示方法中，例如，不进行在所述相关度Qj最小的投影点Tj或其附近存在物体的表面的估计，而考虑在各投影点Tj上以与所述相关度Qj的大小的比例对应的概率存在物体的表面。此时，如果将在所述投影点Tj或其附近存在物体表面的概率(存在概率)设为βj，则从所述观察者的视点P引出的直线lp上的投影点、即从所述观察者的视点P看为重合的投影点Tj的存在概率βj必需满足如下述式41以及式42的条件。
0≤βj≤1[式42]Σj=1Mβj=1]]>而且，在投影点Tj中，存在物体表面的概率越高的投影点，所述存在概率βj取越接近1的值，因此对于所述各投影点Tj的相关度Qj，例如，进行由下述式43以及式44表示的变换处理而确定所述各投影点Tj的存在概率βj。
β~j=1Qj]]>[式44]βj=βjΣj=1Mβ~j]]>其中，所述存在概率信息βj只要满足上述式41以及式42的条件即可。因此，所述存在概率βj也可以用上述式43以及式44表示的变换处理以外的方法来确定。
通过这样的处理，如果确定了在所述各投影点Tj或其附近存在物体的表面的概率βj，则例如如图25所示那样，确定了从所述观察者的视点P引出的某直线lp上的各投影点Tj所对应的颜色信息Kj以及存在概率βj。
使用这样估计的物体的三维形状，例如在亮度调制型的DFD上显示所述物体的三维像的情况下，以与颜色信息Kj、所述存在概率βj对应的亮度显示多个显示面中的与所述各投影点Tj相应的像素。这样，关于所述直线lp上的各投影点Tj的相关度Qj，例如如图23(b)所示那样，在仅有某投影点Tm的相关度Qm的值与其它相关度值相比显著不同的情况下，仅有该投影点Tm的存在概率βm取大的值。因此，仅有与所述投影点Tm相应的像素的亮度增大，在从所述观察者视点P观察所述投影面Lj的观察者看来很清晰。
另一方面，在所述直线lp的各投影点Tj的相关度Qj例如如图24(b)所示那样，难以估计在哪个投影点Tj的附近存在物体的表面的情况下，出现多个为相同程度的存在概率的投影点。因此，以相同程度的亮度显示了与多个投影面Lj上的投影点Tj相应的像素，在从所述观察者的视点P观察所述投影面Lj的观察者看来，距离感模糊。但是，由于在从观察者的视点P看为重合的多个投影点上显示物体的表面像，所以不会成为由于到物体表面的距离的估计错误而产生的不连续的噪声。因此，即使不求出所显示的物体的准确的三维形状，仍然可以显示在观察者看来较自然的物体三维像。
此外，在使用通过上述过程估计的物体的三维形状来显示从任意的视点观察所述物体时的二维图像(任意视点图像)的情况下，例如，只要将按照所述存在概率βj的比例混合了从所述观察者的视点P引出的直线lp上的各投影点Tj的颜色信息Kj后的颜色信息作为所述直线lp和所显示的图像的图像面之间的交点的颜色信息即可。
此外，在确定所述存在概率βj时，如果可以在某种程度下假设物体的表面存在的概率的概率密度分布，则可以通过对由上述式43以及式44确定的所述各投影点Tj的存在概率βj进行基于所述物体的形状分布的统计处理，减少在所述各视点Ci处拍摄到的图像的噪声所引起的估计误差。这里，为了区别进行所述统计处理前的存在概率和进行了处理后的存在概率，将进行所述统计处理前的存在概率、即根据上述式43以及式44求出的存在概率βj作为评价基准值vj。然后，将在对所述评价基准值vj进行统计处理之后得到的值作为存在概率βj。
在对根据上述式43以及式44求出的评价基准值vj进行的统计处理中，首先，例如如图26(a)所示那样，对所述评价基准值vj的分布赋予物体的存在概率的概率密度分布，求出存在概率的分布函数p(l)。此时，所述概率密度分布例如服从正态分布(高斯分布)时，所述存在概率的分布函数p(l)可以表示为下述式45。
p(l)=12πσexp{-(1-μ)22σ2}]]>这里，μ是平均值，σ是表示方差的参数，使用所述评价基准值vj，可以如下述式46以及式47那样进行估计。
μ=Σj=1Mβjlj]]>[式47]σ2=Σj=1M(βjlj-μ)2]]>这样求出存在概率的分布函数p(l)后，例如，使用下述式48确定所述存在概率βj。
βj=∫lj-lj+p(l)dl]]>这里，如图26(b)所示，lj-以及lj+是视为在距离lj处的投影面Lj上存在物体表面的距离下限值及上限值，例如，由下述式49以及式50提供。
lj-=lj-1+lj2,lj-=-∞]]>[式50]
lj+=lj+lj+12,lM+=∞]]>基于使用上述式45至式50之间的关系求出的所述存在概率vj，在所述DFD上显示物体的三维像，或显示从任意的视点看到的二维图像，从而可以显示降低了本来的图像、即从所述视点Ci拍摄所述物体而得到的图像的噪声的影响的图像。
此外，例如，如图24(a)以及图24(b)所示，在由于物体的包藏(遮挡)而在与某投影点Tj对应的对应点Gi，j中反映出与其它的对应点不同的物体的情况下，认为如果排除该对应点后求出相关度Qj，则可以进行可靠性比较高的估计。这里，如果考虑如图24(a)那样的情况，则在此前说明的方法中，在求出从所述观察者的视点P引出的直线lp’上的投影点T’m的相关度Q’m时，还使用反映有物体B的表面而不是所述物体A的表面的对应点Gi，m来求出。因此，根据上述式40求出的相关度Q’m增大，难以估计在所述直线lp’上存在物体表面的距离。
因此，例如如图27(a)所示，排除反映所述物体B的表面的对应点Gi，m后求出所述投影点Tm的相关度Qm。此时，在图27(a)所示的示例中，使用与所述投影点Tm对应的对应点Gi+1，m、Gi+2，m求出相关度Qm。这样，由于在所述对应点Gi+1，m、Gi+2，m上反映了与所述物体A的表面非常接近的点，所以在根据上述式40求出相关度Q’j时，如图27(b)所示，成为比其它的投影点的相关度要小投影点T’m的相关度Q’m的分布。因此，可以减少包藏的影响，估计出接近实际物体表面形状的三维形状。
并且此时，设定几组用于求出所述相关度Qj的对应点Gi，j(视点Ci)的组合Ξ，对于所有的组合Ξ的情况求出从所述观察者的视点P引出的直线lp上的各投影点Tj的相关度Qj，综合其结果，求出最终的存在概率。一般地，将对应点Gi，j(视点Ci)的组合设为Ξh(h∈H)，将使用所述各组合Ξh求出的所述直线lp上的存在概率的分布函数设为ph(l)，将根据所述各分布函数ph(l)求出的存在概率设为βj，h时，综合的存在概率βj可以根据下述式51求出。

βj=Σh∈Hβj,hΣh∈H]]>此外，所述投影点Tj的颜色信息Kj例如可以根据针对每个所述组合Ξh求出的颜色信息Kj，h以及存在概率βj，h，例如使用下述式52确定。
Kj=Σh∈Hβj,hKj,hΣh∈Hβj,h]]>这样，例如如图28所示，以某组合Ξh求出的到物体表面的距离的估计可靠性高并且表现出清晰的峰值的分布函数ph(l)难以受到以另外的组合Ξh’求出的到物体表面的距离的估计可靠性低的分布函数ph(l)的影响。因此，作为整体，从所述观察者的视点到所显示的物体上的各点的距离的估计可靠性提高。
(实施例2-1)图29至图34是用于说明本发明的实施例2-1的图像生成方法的示意图，图29是表示整体的处理过程的一个示例的流程图，图30是表示确定图29中的投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图，图31是表示确定图30中的存在概率的步骤的一个示例的流程图，图32是表示摄像机组的设定例的图，图33、图34(a)以及图34(b)是说明将投影面上的信息变换为显示面上的信息的方法的图。
本实施例2-1的图像生成方法是使用从多个视点拍摄的图像取得在所述图像中反映的物体的三维形状，并基于所取得的所述物体的三维形状，生成例如在DFD那样具有多个图像显示面的图像显示装置的各图像显示面上显示的二维图像的方法。
例如如图29所示，所述图像生成方法具有取得从视点Ci拍摄的物体的图像的步骤1；设定观察者的视点P的步骤2；取得所述物体的三维形状的步骤3；将表现所取得的三维形状的投影面上的点(投影点)的颜色信息以及存在概率变换为图像显示面上的点(显示点)的颜色信息以及存在概率，从而生成在所述图像显示面上显示的二维图像的步骤4；以及按照与颜色信息、存在概率对应的亮度或透明度显示图像显示面上的显示点的步骤5。
此外，例如如图29所示，所述步骤3具有设定多层结构的投影面Lj的步骤301；确定用于取得物体的三维形状的基准视点的步骤302；设定从所述基准视点看为重合的各投影面Lj上的投影点Tj的组所构成的投影点串以及与所述投影点串的各投影点Tj对应的所取得的各图像上的对应点Gi，j的步骤303；确定用于求出所述各投影点Tj的相关度Qj的视点Ci的组合(下面称为摄像机组)Ξh的步骤304；确保存储所述投影点Tj的颜色信息以及存在概率的数组的步骤305；以及确定所述投影点Tj的颜色信息以及存在概率的步骤306。
此外，例如如图30所示，所述步骤306具有初始化所述投影点串的步骤30601；初始化所述摄影机组Ξh以及投票数据的步骤30602；初始化所述投影点串上的投影点Tj的步骤30603；确定所述投影点Tj的颜色信息的步骤30604；使用与所述投影点Tj对应的对应点Gi，j中的包含在所述摄像机组Ξh的组合中的对应点来计算相关度Qj，h的步骤30605；对于成为处理对象的投影点串上的所有投影点Tj重复进行所述步骤30604以及步骤30605的处理的步骤30606；对针对所述摄像机组Ξh求出的各相关度Qj，h进行投票的步骤30607；更新摄像机组Ξh，并对于所有的摄像机组反复进行所述步骤30604至步骤30607的处理的步骤30608；基于在所述步骤30607中进行了投票的相关度Qj，h，确定所述各投影点Tj的存在概率的步骤30609；以及更新投影点串，并对于所有的投影点串重复进行所述步骤30602至步骤30609的处理的步骤30610。
而且，如图3l所示，所述步骤30609具有初始化摄像机组Ξh的步骤30609a；根据使用所述摄像机组Ξh求出的相关度Qj，h来计算评价基准值vj，h的步骤30609b；通过所述评价基准值vj，h的统计处理确定存在概率的分布函数ph(l)的步骤30609c；根据所述存在概率的分布函数确定所述各投影点Tj的存在概率βj，h的步骤30609d；更新所述摄像机组Ξh，并重复进行所述步骤30609b至步骤30609d的处理的步骤30609e；以及综合对于所述各摄像机组Ξh求出的存在概率βj，h，从而确定所述各投影点Tj的存在概率βj的步骤30609f。
在使用本实施例2-1的图像生成方法生成例如在所述DFD的各图像显示面上显示的二维图像时，首先取得由设置在多个不同视点Ci(i＝1，2，…，N)上的摄像机对物体进行拍摄而得到的图像(步骤1)。此时，所述视点Ci设为拍摄图像的摄像机的设置位置，例如如图21所示那样，设为一维地排列在某一直线上。并且此时，所述摄像机的视点Ci不限于某一直线上，也可以在多个直线上或者曲线上一维地排列。并且，也可以不是一维地而是在平面上或者曲面上二维格子状排列。此时，所取得的图像可以是彩色图像，也可以是黑白图像，但在本实施例2-1中，设为取得以使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的各点(像素)的彩色图像进行说明。
接着，在计算机等的图像生成装置上的虚拟空间内设定观察在DFD上显示的物体的三维像(图像)的观察者视点P(步骤2)。
接着，取得为生成所述图像而使用的物体的三维形状(步骤3)。在所述步骤3中，首先在所述虚拟空间上设定用于估计所述物体的三维形状(表面形状)的投影面Lj(步骤301)。此时，例如如图21所示，所述投影面Lj设定为与XY平面平行的平面。并且此时，所述投影面Lj的设定间隔例如可以与显示图像的DFD的图像显示面的间隔一致，也可以不一致。
接着，确定用于取得所述物体的三维形状的基准视点(步骤302)。所述基准视点例如可以是观察者的视点，也可以确定为观察者的视点以外的三维空间上的任意的点。
接着，设定从所述观察者视点P或者基准视点看为重合的各投影面Lj上的投影点Tj的组所构成的投影点串、以及与所述各投影点Tj对应的所述取得的图像上的对应点Gi，j(步骤303)。
此时，所述投影点Tj由所述虚拟空间(三维空间)上的点(Xj，Yj，Zj)表示，如果在从视点Ci拍摄的图像的图像面上考虑二维的xy坐标系，则所述对应点Gi，j的坐标表示为(xi，j，Yi，j)。此时，通过将所述投影点(Xj，Yj，Zj)投影到从所述视点Ci拍摄的图像的图像面上而求出所述对应点Gi，j的坐标(xi，j，yi，j)。该投影只要使用在第一实施方式中说明的一般的3行4列的变换矩阵即可。
此外，在使用如计算机那样的图像生成装置的情况下，处理的图像是所谓的数字图像，表现为装置的存储器上的二维数组。下面，将表示所述数组的位置的坐标系称为数字图像坐标系，其位置表示为(u，v)。这里，例如在考虑横640像素、纵480像素的数字图像时，所述数字图像上的各像素的位置由取0至639的整数值中的任意一个的变量u和取0至479的整数值中的任意一个的变量v表示。而且，该点的颜色信息由对该地址处的红(R)、绿(G)、蓝(B)信息进行8位等的量化而得到的数据来提供。
此时，三维的虚拟空间内的所述对应点Gi，j的坐标(xi，j，yi，j)和所述数字图像坐标系(u，v)为一一对应，例如，具有如下式53那样的关系。
uv1=ku-kucotθu00kv/sinθv0001xy1]]>另外，上述式53例如将数字图像坐标系的u轴取为与x轴平行。在上述式53中，ku，kv分别是以虚拟空间上的(x，y)坐标系为基准的所述数字图像坐标系的u轴和v轴的单位长度，θ是u轴和v轴所成的角。
因此，在所述步骤303中，进行所述投影点Tj的坐标(Xj，Yj，Zj)和所述数字图像坐标(uij，vij)的对应。该对应例如可以对于所有的(uij，vij)将(Xj，Yj，Zj)的值作为表来提供，也可以仅对代表性的(uij，vij)设定(Xj，Yj，Zj)的值，而其余的点例如通过线性插值等的插值处理来求出。
此外，在所述数字图像坐标系中，(u、v)取离散值，但在下面的说明中，只要没有特别的说明则取连续值，在访问所述二维数组时进行适当的离散化处理。
在所述步骤303的处理完成时，接着确定求出相关度Qj时使用的摄像机视点Ci的组合(摄像机组)Ξh(步骤304)。这里，例如如图32所示，视点Ci即摄像机如果设置为3×3的格状，则所述摄像机组Ξh例如确定为Ξ1＝{C1，C2，C3，C5}、Ξ2＝{C3，C5，C6，C9}、Ξ3＝{C5，C7，C8，C9}、Ξ4＝{C1，C4，C5，C7}四个。
另外，所述摄像机组Ξh的确定方法是任意的，在图32所示的示例中，不是仅限于Ξ1、Ξ2、Ξ3、Ξ4，也可以准备其它的摄像机组。此外，此时，可以按照所述摄像机(视点Ci)的设置状况来预先准备所述摄像机组Ξh，也可以由观察者指定。
在所述步骤304的处理完成时，接着，例如在所述图像生成装置的存储器(存储单元)上确保存储所述投影点Tj的颜色信息Kj以及物体存在概率βj的信息的数组(步骤305)。此时，关于存储信息的数组，确保了这样的数组所述投影点Tj的各信息Kj、βj例如具有8位的例如红(R)、绿(G)、蓝(B)颜色信息以及物体存在概率。
在所述步骤305的处理完成时，接着使用所述取得的多个图像确定所述各投影点Tj的颜色信息以及物体存在概率(步骤306)。在所述步骤306中，例如对于某投影点串进行使用指定的摄像机组Ξh求出所述投影点串上的各投影点Tj的颜色信息Kj，h以及相关度Qj，h的处理，并进行对于所有的摄像机组Ξh重复进行该处理的处理。然后，对于所有的投影点串重复进行该处理。
因此，在所述步骤306中，首先如图30所示那样，初始化投影点串(步骤30601)。
接着，初始化摄像机组Ξh以及相关度的投票数据(步骤30602)。
接着，初始化成为处理对象的投影点串上的投影点Tj，例如设为j＝1(步骤30603)。
接着，根据所选择的摄像机组Ξh中所包含的对应点Gi，j的颜色信息确定所述投影点Tj的颜色信息Kj，h(步骤30604)。此时，所述投影点Tj的颜色信息Kj，h例如设为所述摄像机组Ξh中所包含的对应点Gi，j的颜色信息Ki，j的平均值。
接着，计算所述投影点Tj和所述选择的摄像机组Ξh中所包含的对应点Gi，j的相关度Qj，h(30605)。此时，例如使用上述式40计算所述相关度Qj，h。
接着，更新投影点Tj，并判断是否对于成为处理对象的投影点串上的所有投影点进行了所述步骤30604以及步骤30605的处理(步骤30606)。这里，如果还有未进行所述步骤30604以及步骤30605的处理的投影点，则返回所述步骤30604，并重复处理。
在对成为处理对象的投影点串上的所有投影点进行了所述步骤30604以及步骤30605的处理之后，对其结果、即根据所选择的摄像机组Ξh中所包含的对应点Gi，j求出的颜色信息Kj，h以及相关度Qj，h进行投票(步骤30607)。
在所述步骤30607的处理完成时，接着更新所述摄像机组Ξh，并判断是否存在还未对成为处理对象的投影点串进行所述步骤30604至步骤30607的处理的摄像机组(步骤30608)。这里，如果存在未进行所述步骤30604至步骤30607的处理的摄像机组，则返回所述步骤30603，并重复处理。
对于成为处理对象的投影点串、对所有的摄像机组Ξh进行了所述步骤30604至步骤30607的处理之后，根据在所述步骤30607中进行了投票的颜色信息Kj，h以及相关度Qj，h确定投影点Tj的颜色信息Kj以及存在概率βj(步骤30609)。
在所述步骤30609中，例如如图31所示那样，首先初始化摄像机组Ξh(步骤30609a)。
接着，根据使用摄像机组Ξh计算出的各投影点Tj的相关度Qj，h计算例如评价基准值vj，h(步骤30609b)。例如通过以上述式43以及式44表示的变换处理来求出所述评价基准值vj，h。
接着，进行所述评价基准值vj，h的统计处理，并求出使用所述摄像机组Ξh的情况下的存在概率的分布函数ph(l)(步骤30609c)。例如使用上述式45、式46、式47求出所述分布函数ph(l)。
接着，根据使用所述摄像机组Ξh的情况下的存在概率的分布函数ph(l)来确定使用所述摄像机组Ξh时在各投影点Tj上存在物体表面的概率(存在概率)βj，h(步骤30609d)。例如使用上述式48、式49、式50求出所述存在概率βj，h。
接着，更新所述摄像机组Ξh，并判断是否存在还未对成为处理对象的投影点串进行所述步骤30609b至步骤30609d的处理的摄像机组Ξ(步骤30609e)。这里，如果存在未进行所述步骤30609b至步骤30609d的处理的摄像机组Ξ，则返回所述步骤30609b，并重复处理。
对成为处理对象的投影点串进行了所述步骤30609b至步骤30609d的处理之后，综合该处理结果，确定所述投影点Tj的颜色信息Kj以及存在概率βj(步骤30609f)。此时，例如使用上述式52求出所述颜色信息Kj。此外，例如使用上述式51求出所述存在概率βj。
如果所述步骤30609f的处理结束，则所述步骤30609的处理结束。然后，接着更新投影点串，并判断是否存在还未进行所述步骤30602至步骤30609的处理的投影点串(步骤30610)。这里，如果存在还未进行所述步骤30602至步骤30609的处理的投影点串，则返回步骤30602，并重复处理。
对于所有的投影点串进行了所述步骤30602至步骤30609的处理之后，所述步骤306(步骤3)的处理结束，并可以取得所述物体的三维形状。
所述步骤3的处理结束并得到所述物体的三维形状之后，接着基于所述物体的三维形状，生成在所述DFD的各图像显示面上显示的二维图像。在生成所述二维图像时，例如如图33所示那样，在取得了所述物体的形状的虚拟空间上设定用于生成所述二维图像的图像生成面LDr(r＝1，2，…，R)。
这里，首先，例如如图33所示，考虑所述投影面Lj的设定个数以及间隔和所述图像生成面LDr的数量以及间隔一致的情况。在这种情况下，所述图像生成面LDr的显示点Ar的颜色信息KDh以及存在概率γr只要是与所述显示点Ar一致的投影点Tj的颜色信息Kj以及存在概率βj即可。
此外，所述投影面Lj的设定间隔不必与所述图像生成面LDr的设定间隔一致，也不必使所述投影面Lj的设定个数和所述图像生成面LDr的设定个数一致。即，根据所述投影面Lj的设定方法，也有例如如图34(a)所示那样，所述投影面Lj的设置间隔和所述图像生成面LDr的设置间隔不一致的情况。在这样的情况下，通过下面的过程求出从所述观察者的视点P引出的直线lr与所述各图像生成面LDr的交点(显示点)Ar的颜色信息KDr以及存在概率γr。
首先，把所述各显示点Ar的颜色信息KDr确定为，例如，作为所述直线lp上的投影点Tj、并且该显示点Ar(图像生成面LDr)成为最近的显示点(图像生成面)的投影点T的颜色信息K的平均值。此时，所述显示点Ar的颜色信息KDr也可以不是平均值，而设为离所述显示点Ar最近的投影点T的颜色信息K。
另一方面，把所述各显示点Ar的存在概率γr设为加上使该显示点Ar(图像生成面LDr)成为最近的显示点(图像生成面)的投影点T的存在概率β后的值。此时，如果将使某图像生成面LDr成为最近的图像生成面的投影面Lj的集合设为{Lj|j∈R}，则所述图像生成面LDr上的显示点Ar的存在概率γh可以使用所述各投影面Lj的投影点Tj的存在概率βj，由下述式54来提供。
γh=Σj∈Jβj]]>这里，考虑图34(a)所示的情况时，所述图像生成面LD1成为最近的图像生成面的是投影面L1、L2、L3。因此，所述显示点Ar的颜色信息KDr例如设为投影点T1、T2、T3的颜色信息K1、K2、K3的平均值。并且，所述显示点Ar的存在概率γr设为所述投影点T1、T2、T3的存在概率β1、β2、β3之和。同样地，所述图像生成面LD2上的显示点A2的颜色信息KD2例如设为投影点T4、T5的颜色信息K4、K5的平均值。并且，所述显示点A2的存在概率γ2设为所述投影点T4、T5的存在概率β4、β5之和。
此外，例如如图34(b)所示，在所述图像生成面Dr的设置间隔和所述投影面Lj的设定间隔不同、而且在两个连续的图像生成面LD1、LD2之间设定了两个投影面L1、L2的情况下，所述各图像生成面LD1、LD2的显示点A1、A2的存在概率γ1、γ2可以根据从所述投影点Tj到各图像生成面LD1、LD2的距离之比分配所述投影面Lj的投影点Tj的存在概率βj。此时，一般地，在所述图像生成面LD1、LD2之间将多个投影面Lj的集合设为{Lj|j∈J}时，所述图像生成面LDr上的显示点Ar的存在概率γr可以使用所述各投影点Tj的存在概率βj，由下述式55提供。
γh=Σj∈Jwj,rβj]]>这里，wj，r是表示投影面Lj对图像生成面LDr的贡献程度的系数。
这里，例如如图34(b)所示，考虑在两个图像生成面LD1、LD2之间设定了投影面L1、L2的情况。此时，如果从投影面L1到所述各图像生成面LD1、LD2的距离分别为B1、B2，则所述投影面L1对所述各图像生成面LD1、LD2的贡献程度w1，1、w1，2分别由下述式56提供。
w1,1=B2B1+B2,]]>w1,2=B1B1+B2]]>同样地，如果从投影面L2到所述各图像生成面LD1、LD2的距离分别为B3、B4，则所述投影面L2对所述各图像生成面LD1、LD2的贡献程度W2，1、W2，2分别由下述式57提供。
w2,1=B4B3+B4,]]>w2,2=B3B3+B4]]>其结果是，所述图像生成面LD1的显示点A1的存在概率γ1以及所述图像生成面LD2的显示点A2的存在概率γ2分别如下式58所示。
γ1＝w1，1β1+w2，1β2，γ2＝w1，2β1+w2,2β2可通过如上的过程进行所述步骤4的处理，得到在所述DFD的各图像显示面上显示的二维图像。然后，按照对所述各图像生成面LD上的各点分配的颜色信息A显示DFD的各图像显示面上的点(像素)(步骤5)。此时，如果所述DFD是亮度调制型，则只要按照与所述存在概率γr对应的亮度显示所述各图像生成面LDr的各显示点Ar的颜色信息KDr即可。并且，在所述DFD为透过型的情况下，例如只要将各显示点Ar的透过度设定为与所述存在概率γr对应的透明度来显示即可。
这样，在进行图29所示的步骤1至步骤5的处理而显示所述DFD物体的三维像的情况下，如在所述原理中说明的那样，即使不求出物体的准确的三维形状，也可以显示在观察者看来较自然的三维像。
图35至图37是表示应用了本实施例2-1的图像生成方法的装置以及系统的概略结构的示意图，图35是表示图像生成装置的结构例的方框图，图36是表示使用图像生成装置的图像显示系统的结构例的图，图37是表示使用图像生成装置的图像显示系统的另一结构例的图。
在图35中，6是图像生成装置，601是被摄体图像取得单元，602是基准视点设定单元，603是投影面设定单元，604是投影面信息存储区域确保单元，605是颜色信息/存在概率确定单元，606是投影面信息-显示面信息变换单元，607是图像输出单元，7是图像显示单元(DFD)，8是被摄体图像摄影单元，9是观察者视点输入单元。
例如如图35所示，应用了本实施例2-1的图像生成方法的图像生成装置6具有被摄体图像取得单元601，其取得拍摄条件不同的多个被摄体图像；观察者视点设定单元602，其设定观察所生成的图像的观察者的视点；投影面等设定单元603，其设定用于确定存在概率的投影面、投影点串、对应点、摄像机组等；投影面信息存储区域确保单元604，其确保存储投影面上的点(投影点)的颜色信息以及存在概率的区域；颜色信息/存在概率确定单元605，其确定所述投影点的颜色信息以及在所述投影点上存在物体的概率(存在概率)；投影面信息-显示面信息变换单元606，其将所述投影点的颜色信息以及存在概率的信息变换为显示面的颜色信息以及存在概率；以及图像输出单元607。此时，例如由DFD那样具有多个重合的显示面的图像显示单元7显示从所述图像输出单元607输出的图像。
此外，所述被摄体图像取得单元601取得由被摄体图像摄影单元(摄像机)8拍摄的被摄体(物体)的图像。另外，所取得的图像可以直接取得由所述被摄体图像摄影单元8拍摄的图像，也可以从记录了由所述被摄体图像摄影单元8拍摄的图像的磁、电、光学记录介质间接地取得。
此外，所述观察者视点设定单元602例如基于观察者使用鼠标或键盘等图像条件输入单元9输入的信息，设定从所述观察者的视点P到所述图像显示单元7的距离或视线等的与图像生成面LDr之间的相对位置关系。并且，所述图像条件输入单元9也可以是检测所述观察者的姿势或视线，从而输入与该姿势或视线对应的信息的单元。
此外，例如如图22所示，所述投影面等设定单元603设定离视点(摄像机)Ci的距离为lj(j＝1，2，…，M)的平行的投影面Lj。并且，在所述投影面等设定单元603中还设定从所述观察者视点设定单元602所设定的观察者视点P看为重合的各投影面Lj上的投影点Tj的组所构成的投影点串，以及与所述投影点Tj对应的各图像上的对应点Gi，j。并且，此时在所述投影面等设定单元603中也可以设定基于由所述图像条件输入单元9输入的条件的摄像机组Ξh。
此外，所述投影面信息存储区域确保单元604例如在装置内所设置的存储器上确保存储各投影面上的各投影点Tj的颜色信息Kj以及存在概率βj的区域。
此外，所述颜色信息/存在概率确定单元605基于前面所述的原理，根据与所述投影面Tj对应的图像上的对应点Gij的颜色信息来确定所述投影点Tj的颜色信息Kj，并且确定在所述投影点Tj上存在物体的表面的概率βj。
此外，如本实施例2-1中说明的那样，在所述投影面信息-显示面信息变换单元606中将所述投影面的颜色信息以及存在概率变换为所述图像生成面、即生成在所述图像显示单元7的显示面上显示的图像的面上的点(显示点)的颜色信息以及亮度分配率。
所述图像生成装置6进行在本实施例2-1中说明的从所述步骤1至所述步骤5的处理，从而生成在所述DFD上显示的图像。即，在所述图像生成装置6中也可以不进行以往那样的求出物体的准确三维形状的处理。因此，即使是没有较高的处理能力的装置，也可以高速且容易地生成在所述DFD上显示的图像。
此外，所述图像生成装置6例如也可以通过计算机和由所述计算机执行的程序来实现。在这种情况下，也可以在所述计算机中执行记载了与本实施例2-1中说明的处理过程相当的命令的程序。并且，此时，所述程序例如可以记录于磁、电、光学记录介质中来提供，也可以利用互联网等网络来提供。
此外，使用所述图像生成装置6的图像显示系统例如考虑了如图36所示的结构。此时，所述被摄体图像摄影单元8可以设置在接近观察者User观察所述图像显示单元(DFD)7的空间的地方，也可以设置在地理上遥远的地方。在所述被摄体图像摄影单元8设置在地理上遥远的地方的情况下，所拍摄的图像也可以利用互联网等网络传输到所述图像生成装置6。
此外，如图36所示，使用了所述图像生成装置6的图像显示系统不仅可以应用于某观察者User观察某被摄体Obj的情况，也可以应用于所谓电视电话或电视会议等的双向通信系统中。在这种情况下，也可以例如如图37所示那样，在各个各观察者UserA、UserB所处的空间内分别设置图像生成装置6A、6B、图像显示单元(DFD)7A、7B、被摄体图像摄影单元8A、8B、基准视点设定单元9A、9B。然后，例如在通过互联网等网络10连接所述各观察者UserA、UserB所处的空间中设置的图像生成装置6A、6B时，观察者UserA可以在所述图像显示单元7A上观察根据由被摄体图像摄影单元8B拍摄的图像生成的观察者UserB的三维像。同样地，观察者UserB可以在所述图像显示单元7B上观察根据由被摄体图像摄影单元8A拍摄的图像生成的观察者UserA的三维像。
此外，在应用于这样的双向通信系统的情况下，所述图像生成装置6A、6B不必为图35所示的结构，所述图像生成装置6A、6B中的某一个也可以是不具有图35所示那样的结构单元的一般的通信终端。并且，也可以向所述图像生成装置6A、6B分配图35所示的各结构单元。
此外，如图37所示，如果在网络10上设置有其它的图像生成装置6C，则即使未在所述观察者UserA、UserB所处的空间内设置所述图像生成装置6A、6B，仍可以利用所述网络10上的图像生成装置6C取得在所述图像显示单元(DFD)7A、7B上显示的物体的三维像。
此外，在图37所示的图像生成系统中，使用者为UserA、UserB两人，但也可以应用于更多的观察者(使用者)之间的通信系统中。
此外，在图36以及图37中，所述被摄体图像摄影单元8示出了由4个摄像机构成的摄影单元，但所述摄像机可以为2个或3个，也可以为5个或5个以上。并且，所述摄像机的配置可以在直线或曲线上一维地配置，也可以在平面或曲面上以二维格状配置。
如以上所说明的那样，根据本实施例2-1的图像生成方法，即使不求出所显示的物体的准确的三维形状，也可以显示在观察者看来较自然的三维像。
此外，在本实施例2-1的图像生成方法中，在所述步骤304中预先设定所述摄像机组Ξh而进行处理，但不限于此，例如也可以通过程序的处理，一边进行生成所显示的图像的处理，一边动态地设定符合观察者指定的条件的摄像机组。此时，例如，考虑为在观察者从所述图像条件输入单元输入所述相关度Qj的分布或阈值等条件，并一边搜索符合该条件的摄像机组，一边进行所述步骤306的处理时，可以显示与所述观察者希望的图像接近的三维像。
此外，在本实施例2-1的图像生成方法中，以取得以使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的点(像素)的彩色图像，并形成所述物体的三维形状的情况为例进行了说明，但在本实施例2-1的图像显示方法中，不限于所述彩色图像，也可以取得使用亮度(Y)、色差(U，V)来表现图像上的各点(像素)的黑白图像，并取得所述物体的三维形状。在所取得的图像为所述黑白图像的情况下，也可以使用所述亮度信息(Y)作为与所述颜色信息相当的信息，通过本实施例2-1中说明的过程取得三维形状，并生成所述二维图像。
(实施例2-2)图38至图42是用于说明实施例2-2的任意视点图像生成方法的示意图，图38是表示整体的处理过程的一个示例的流程图，图39是说明渲染的原理的图，图40是说明在生成任意视点图像时的问题点的图，图41(a)、(b)是说明解决生成任意视点图像时的问题点的方法的图，图42是表示将存在概率变换为透明度的处理过程的一个示例的流程图。
在所述实施例2-1中，举出了使用在所述步骤3中取得的所述被摄体的三维形状生成在所述DFD那样具有多个图像显示面的装置的所述各图像显示面上显示的二维图像的方法的示例，但所述被摄体的三维形状模型不限于此，也可以在生成从任意视点看到的所述被摄体的二维图像时使用。此时，如图38所示，与所述实施例2-1不同之处在于，在所述步骤3之后，进行渲染、即将所述被摄体的三维形状变成从所述观察者视点看到的二维图像的步骤11的处理。此时，从所述步骤1至步骤3的取得所述被摄体的三维形状的处理和所述实施例2-1中说明的一样，所以省略详细的说明。
此外，在本实施例2-2的任意视点图像生成方法中，在进行渲染的步骤11中，例如如图39所示，所述显示的任意视点图像上的各点(像素)的颜色信息是通过对从所述观察者视点P看为与所述任意视点图像上的点A重合的投影点Tj(j＝1，2，…，M)的颜色信息Kj进行混合处理来确定的。此时，所述混合处理例如以所述存在概率βj的值对所述各投影点Tj的颜色信息Kj进行加权而混合，所述生成的图像上的点A的颜色信息KA例如通过下式59计算。
KA=Σj=1MβjKj]]>但是在使用上述式59的混合处理的情况下，例如，根据被摄体的形状或基准视点R和虚拟视点P之间的位置关系，所生成的图像上的点的颜色信息与实际的物体表面的颜色信息大不相同，或未纳入有效的色彩空间内。这里，考虑在实际的物体上，以图40所示的位置关系重合了两个投影面L1、L2、基准视点R、虚拟视点P的情况。此时，如果对于从所述基准视点R看为重合的投影点T1、T2通过所述实施例2-1中说明的方法来确定存在概率β1、β2，则β1大致为0，β2大致为1。同样地，如果对于从所述基准视点R看为重合的投影点T’1、T’2通过所述实施例2-1中说明的方法来确定存在概率β’1、β’2，则β’1大致为1，β’2大致为0。
此时，使用上述式59时，通过对从所述虚拟视点P看为与所述图像面上的点A重合的投影点T’1、T2的颜色信息K’1、K2进行与所述存在概率β’1、β2对应的加权求和来求出所述虚拟视点P的图像面的点A的颜色信息KA。这样，由于当前β’1、β2均大致为1，所以所述点A的颜色信息KA为KA＝K’1+K2。
但是，由于在从所述虚拟视点P观察所述物体Obj时，投影点T’1被投影点T2遮挡，所以图像面上的点A的本来的颜色信息为KA＝K2。即，所生成的图像上的点A的颜色信息KA比本来的颜色信息上升了K’1的(R、G、B)各分量的亮度。
此外，此时，在投影点T’1、T2的颜色信息K’1、K2的各分量具有大的亮度的情况下，点A的颜色信息KA超过有效的色彩空间的范围。因此，需要进行剪裁处理以便纳入有效的颜色信息范围内。
因此，为了解决这样的问题，例如基于所述投影点的存在概率，对各投影点设定具有从透过到不透过的多个级别的透明度。此时，用于得到所述生成的图像中的各点的颜色信息的混合处理从离所述生成图像的视点远的投影点向着近的投影点依次进行处理，在到某投影点为止的混合处理中得到的颜色信息是按照与所述透明度对应的比率对该投影点的颜色信息和到其之前的投影点为止的混合处理中得到的颜色信息进行内分而得到的。并且，此时，通过所述混合处理得到的颜色信息是某阶段的颜色信息和下一阶段的颜色信息的内分。
为了说明所述颜色信息的混合处理的原理，例如考虑如图41(a)所示，在色彩空间V中设定了投影面Lj(j＝1，2，…，M)、投影点Tj、表示具有红(R)、绿(G)、蓝(B)分量的投影点颜色信息的矢量Kj的情况。此时，假设所述色彩空间V由下式60表示。
Kj∈V，V≡{(R，G，B)｜0≤R≤1，0≤G≤1，0≤B≤1}此外，假设所述投影点Tj的透明度αj满足下述式61的条件。
0≤αj≤1此时，在到变量j＝m为止的混合处理中得到的颜色信息Dm由下式62及式63那样的递推公式表示。而且，从所述虚拟视点P看为最靠前的投影面LM、即混合到变量j＝M时的颜色信息DM成为所述生成图像的图像面上的点A的颜色信息KA。
Dm＝αmKm+(1-αm)Dm-1[式63]D1＝α1K1而且此时，根据上述式61以及式62之间的关系，如图41(b)所示，所述颜色信息Dm是在色彩空间V中矢量Km和颜色信息Dm-1之间的内分点。因此，所述颜色信息Dm在Km∈V、Dm-1∈V时，成为Dm∈V。
于是，如第一实施方式中说明过的那样，在满足上述式60以及式61的条件时，对于所述虚拟视点P的颜色信息DM保证了DM∈V。
即，在将所述投影点Tj的颜色信息Kj以及透明度αj设定为满足上述式60以及式61时，所述生成图像的点A的颜色信息DM一定可以纳入色彩空间V中。
这样，在进行使用了透明度αj的颜色信息混合处理时，在同一被摄体生成从多个虚拟视点看到的图像时，即使根据某一视点(基准视点)计算出投影点的颜色信息以及透明度，如果该颜色信息以及透明度满足上述式60以及式61的条件，也可以在适当的颜色信息范围内生成要生成的所有的图像。
因此，在本实施例2-2的任意视点图像的生成方法中，例如，在图30所示的步骤30609之后或者在进行所述渲染的步骤11中，进行将所述存在概率βj变换为透明度αj的处理。
例如如图42所示，将所述存在概率βj变换为透明度αj的处理首先将投影点Tj初始化而设为j＝M(步骤1101)。接着，将所述投影点TM的透明度αM设为αM＝βM(步骤1102)。
接着将变量j的值更新为j＝j-1(步骤1103)。然后，判别透明度αj+1是否为1(步骤1104)。这里，在透明度αj+1为αj+1≠1时，例如，根据下式64求出所述透明度αj(步骤1105)。

αj=1Πm=j+1M(1-αm)βj]]>此外，在所述透明度αj+1为1的情况下，例如，设为αj＝1(步骤1106)。另外，在所述步骤1105中求出所述透明度αj时，不限于上述式64，也可以使用其它的公式求出。并且，虽然省略了详细的说明，但在所述步骤1106中，实际上也可以将透明度αj设为任意的值，所以还可以是1以外的值。
接着，判别是否进行了从所述步骤1104至步骤1106的处理直到变量j＝1(步骤1107)。这里，如果处理还未完成，则返回所述步骤1103，并重复处理。
进行所述步骤1104至步骤1106的处理直到变量j＝1为止之后，将从所述观察者视点P看为与图像面上的点A重合的投影点Tj的所述存在概率βj变换为透明度αj的处理结束。然后，进行使用上述式62及式63的混合处理，求出任意视点图像上的点A的颜色信息DM。然后，在对于所述任意视点图像上的所有的点(像素)进行了该处理时，可根据所述观察者视点P得到任意视点图像。
此外，生成这样的任意视点图像的图像生成装置的基本结构是与所述实施例2-1中说明的图像生成装置一样的结构，作为与图35所示的投影面信息一显示面信息变换单元606相当的单元，也可以具有进行如上所述的混合处理的单元。因此，省略关于装置的说明。
如以上所说明的那样，根据本实施例2-2的图像生成方法，即使不求出物体的准确的三维形状，也可以生成在观察者看来较自然的任意视点图像。
此外，即使在本实施例2-2的任意视点图像显示方法中，所述摄像机组Ξh也可以例如通过程序处理，一边进行生成所显示的图像的处理，一边动态地设定符合观察者指定的条件的摄像机组。此时，例如，考虑为如果观察者通过所述图像条件输入单元输入所述相关度Qj的分布或阈值等条件，并一边搜索符合该条件的摄像机组，一边进行所述步骤306的处理，则可以显示接近所述观察者希望的图像的三维像。
此外，在本实施例2-2的图像生成方法的情况下也一样地，所取得的图像也可以是彩色图像、黑白图像中的一种，在黑白图像的情况下，也可以使用亮度信息(Y)作为与所述颜色信息相当的信息，在进行如所述实施例2-1中说明的处理而取得了物体的三维形状之后，通过本实施例2-2中说明的过程生成虚拟视点图像。
(第二实施方式的效果)如上所述，第二实施方式的图像生成方法在取得所述被摄体的三维形状时，设定多个投影面，对于从所述基准视点看为重合的所述各投影面上的点(投影点)提供物体表面存在的概率(存在概率)。即，不是如以往那样假设从所述基准视点看为重合的各投影点中的一个投影面上存在物体的表面而要取得准确的被摄体的三维形状，而是假设为所述物体的表面以一定的存在概率存在于所述各投影点上而取得所述被摄体的三维形状。这样，在估计从所述基准视点看为某一方向上的物体的表面的距离时，按照与所述各投影点的存在概率对应的比例模糊地描绘该估计的可靠性低的部分。因此，在基于所述物体的三维形状生成图像时，可以使以往那样的物体表面的距离估计错误时产生的不连续噪声变得不显著，并可以生成看上去很自然的图像。
此外，如前所述，在根据所述取得的图像中的所述摄像机组中包含的多个图像来计算存在概率时，例如，在由于包藏(遮挡区域)的影响而从某区域的视点看不到位于某投影点的附近的物体表面的情况下，可以计算出排除了从该视点拍摄的图像后的存在概率，从而所述各投影点的存在概率的可靠性提高。
此外，在确定所述存在概率时，在可以某种程度地假设所述存在概率的概率密度分布的情况下，也可以根据所述各投影点的相关度计算评价基准值，并基于通过对该评价基准值进行统计处理而得到的存在概率的分布函数来确定存在概率。这样，在进行统计处理来确定存在概率的情况下，可以防止所取得的图像上的噪声所引起的存在概率的可靠性的低下。

接着，说明本发明的第三实施方式。第三实施方式主要是权利要求22～权利要求29所对应的实施方式。在第三实施方式中，基于从一个视点通过改变对焦距离而拍摄的多个图像(多焦点图像)来取得在所述图像中反映的被摄体的三维形状，并生成从任意的视点(虚拟视点)看到的所述被摄体的图像。即，相对于基于从多个视点拍摄被摄体而得到的多个图像而取得被摄体的三维形状的第一、第二实施方式，本实施方式的特征在于使用从一个视点通过改变对焦距离而拍摄的多个图像。另外，在本实施方式中，所述被摄体的三维形状也以使用纹理映射方法的多层平面来表现。另外，在用于说明第三实施方式的图中，具有相同功能的部分标以相同标号。
图43至图51是用于说明本实施方式的图像生成方法的原理的示意图，图43以及图44是表示投影面以及基准视点的设定例的图，图45是说明投影点的颜色信息以及对焦度的确定方法的图，图46至图48是说明投影点的存在概率的确定方法的图，图49是说明从虚拟视点看到的图像的生成方法的图，图50是说明本实施方式的图像生成方法中的问题点的图，图51是说明解决本实施方式的图像生成方法中的问题点的方法的图。
在本发明的图像生成方法中，如上所述，基于从一个视点通过改变对焦距离而拍摄的多个图像(多焦点图像)来取得在所述图像中反映的被摄体的三维形状，并生成从任意的视点(虚拟视点)看到的所述被摄体的图像。而且，此时，所述被摄体的三维形状以使用纹理映射方法的多层平面来表现。
使用所述纹理映射方法表现所述被摄体的三维形状时，例如在计算机等的图像生成装置内所设定的虚拟的三维空间上，如图43所示那样，设定摄像机的视点C、多层结构的投影面Lj(j＝1，2，…，M)、用于取得所述被摄体的三维形状的基准视点R。而且，此时，如果根据N个对焦距离不同的图像取得所述被摄体的形状，则如图44所示，所述投影面Lj设定在与所述各图像Imgi(i＝1，2，…，N)的对焦距离fi一致的距离上。
这里，如图44所示，在考虑从所述基准视点R观察某个方向时为重合的投影点Tj(j＝1，2，…，N)时，在现有的模型取得方法中，考虑为所述被摄体的表面存在于所述投影点Tj的任意一点上。此时，例如根据所述各投影点Tj的对焦度的高低来确定所述被摄体的表面存在于所述投影点Tj中的哪个投影点上。因此，首先，确定从所述基准视点R看为重合的各投影点Tj的颜色信息Kj以及对焦度Qj。
在确定所述投影点Tj的颜色信息Kj以及对焦度Qj时，如图45所示，基于与所述投影点Tj对应的所述各图像Imgi上的点(对应点)Gi的颜色信息κi以及在所述对应点Gi上聚焦的程度(对焦度)来确定。此时，所述投影点Tj的颜色信息Kj例如设为所述各对应点Gi的颜色信息κi的平均值，或者空间上一致的对应点Gi＝j的颜色信息κi＝j。此外，所述投影点Tj的对焦度由图像上的点或微小区域中的图像的清晰或模糊的程度来确定。所述对焦度的计算方法基于Depth from Focus(聚焦深度)理论或Depth from Defocus(散焦深度)理论，有各种方法。另外，对于Depthfrom Focus理论或Depth from Defocus理论，例如请参照下面的文献。
文献8A.P.Pentland“A New Sense for Depth of Field，”IEEETrans.On Pattern Analysis and Machine Intelligence，Vol.PAMI-9，No.4，pp.523-531(1987).
文献9Murali Subbarao and gopal Surya“Depth from DefocusA Spatial Domain Approach，”International Journal of ComputerVision，13，3，pp.271-294，Kluwer Academic Publishers.
文献10石原満宏、佐 木博美“合焦法にょる高速三次元形状計測”，精密工学会誌，Vol.63，No.1，pp.124-128，精密工学会。
文献11大埸光太郎，山田茂“実時間全焦点顕微镜カメラ”，O plusE，Vol.22，No.12，pp.1568-1576，2000，新技術コミユニケ一シヨンズ.
例如通过比较所述各对应点Gi的局部空间频率的大小来求出所述对焦度Qj。
所述Depth from Focus理论或Depth from Defocus理论是分析对焦距离不同的多个图像并计测所述物体的表面形状的方法。此时，例如，可以估计为在与改变所述对焦距离而拍摄的图像中的局部空间频率最高的图像的对焦距离相应的距离上存在所述物体的表面。因此，例如使用下式65所示的局部空间频率评价函数来计算所述投影点Tj的对焦度Qj。
Q=1DΣx=xixfΣy=yiyf{Σp=-LcLcΣq=-LrLr|f(x,y)-f(x+p,y+q)|}]]>这里，f是像素的浓淡值，D是用于规一化的常数，是进行评价的所有的像素数，(-Lc，-Lr)-(Lc，Lr)以及(xi，yi)-(xf，yf)分别是用于进行分散评价和平滑化的小区域。
而且，对于从所述基准视点R看为重合的所有的投影点Tj进行这样的处理，如图46所示那样，在确定了所述各投影点Tj的颜色信息以及对焦度Qj之后，基于所述各投影点Tj的对焦度Qj的高低估计所述被摄体表面存在的距离。此时，从所述基准点R看为重合的各投影点Tj的对焦度Qj例如图47(a)所示那样，仅有某投影点Tn的对焦度Qn表现出了非常高的值的情况下，可以估计为在该投影点Tn上存在所述被摄体的表面，其可靠性也非常高。
但是，根据所取得的图像的拍摄条件、所述被摄体的形状、或者所述被摄体的表面的图案(纹理)，例如也有如图47(b)所示那样不存在对焦度Q取特征性的大值的投影点T的情况。在图47(b)所示的示例中，例如，投影点Tn、Tn*的对焦度Q是比其它投影点T的对焦度Q高出一些的值，所以认为在所述投影点Tn、Tn*的某一个上存在所述被摄体的表面。但是，由于某一个投影点Tn、Tn*的对焦度Q均不是特征性的大值，所以在选择了某一个投影点的情况下，其可靠性低。并且，根据情况，有时也会选择错误的投影点。而且，如果存在所述被摄体表面的投影点的估计(选择)错误，则在所生成的图像上出现大的噪声。
在这样的情况下，为了提高在估计所述被摄体的表面的距离、即存在于哪个投影面上时的可靠性，例如，需要缩小对焦距离的间隔，使用更多的图像，或不仅是峰值位置，还要将其前后的对焦度的值应用于例如正态分布函数等的公知函数来估计所述被摄体表面的距离。
但是，如果使用更多的图像，则产生处理时间增长、摄影单元中的对焦距离的调节变得困难的问题。并且，在某对焦距离上对焦的情况下，在其前后存在被称为景深的范围，如果是在所述景深的范围内的点，则即使不在所述对焦距离上，实质上也不发生所拍摄的图像上的模糊。因此，对所述对焦距离进行细分而得到的效果是到所述景深程度的间隔为止，而即使再细分效果也不明显。而且，在所述被摄体表面的纹理的空间频率低、即图案的变化少、一样的情况下，即使改变对焦距离也不产生图像上的变化。在这样的情况下，原理上难以进行可靠性高的估计。
由此，一般地，即使在所述对焦度Q的分布如图47(b)所示的情况下，也假设在所述对焦度Q为最大值的投影点Tj上存在所述被摄体的表面。因此，导致所述被摄体表面的距离估计错误，所生成的图像上出现大的噪声的情况较多。
因此，在本发明的图像生成方法中，不将所述被摄体表面的距离特定为某一点、即从所述基准视点R看为重合的投影点Tj中的任意一点，而如图48所示那样，提供与所述投影点Tj的对焦度Qj的高低对应的存在概率βj。此时，所述存在概率βj需要在从所述基准视点R看为重合的所有投影点Tj的存在概率βj的集合中满足下式66及式67的条件。
0≤βj≤1[式67]Σj=1Mβj=1]]>因此，如果假设投影面Lj有M个，从所述基准视点R看为重合的投影点Tj有M个，则第k个投影面Lk上的投影点Tk的存在概率βk由下式68求出。
βk=QkΣj=1MQj]]>这样，对于从所述基准视点R看为重合的投影点Tj，可对所有的方向进行对所述各投影点Tj确定存在概率βj的处理，由此得到所述被摄体的三维形状。而且，在生成从所述虚拟视点P看到的所述被摄体的图像时，例如如图49所示那样，在设定了所述投影面Lj的空间上设定所述虚拟视点P，并确定所生成的图像上的各点的颜色信息。此时，根据从所述虚拟视点P看为与所述点A重合的投影点Tj的颜色信息Kj以及存在概率βj，例如使用下式69来确定所述生成的图像上的点A的颜色信息KA。
KA=Σj=1MβjKj]]>然后，在使用上述式69来确定所述生成的图像上的所有点的颜色信息时，得到了从所述虚拟视点P看到的所述被摄体的图像(虚拟视点图像)。此时，在所生成的所述虚拟视点图像上，例如如图47(a)所示那样，仅有某投影点Tn的对焦度Qn具有特征性的大值的情况下，仅有该投影点Tn的存在概率βj较大。因此，在使用上述式69来对颜色信息进行混合处理时，所述投影点Tn的颜色信息Kn对所述生成图像上的点A的颜色信息KA的贡献率提高，清晰地进行描绘。此外，如图47(b)所示，在所述被摄体表面的距离估计较为困难的情况下，各投影点T的存在概率β成为较小的值，因此对所述生成图像上的点A的颜色信息KA的贡献率降低，模糊地进行描绘。其结果是，可降低在距离估计错误时产生的不连续且很大的噪声，并生成在观察者看来更好的图像。
此外，本发明的图像生成方法可以通过作为计算机图形的基本方法的纹理映射而简单地安装。因此，可以由普及型的个人计算机中所搭载的三维图形硬件良好地处理，随之计算机负荷减轻。
但是，在本发明的图像生成方法中，对于从所述基准视点那样的某个视点看为重合的各投影点Tj计算对焦度Qj，并确定所述存在概率βj。因此，根据被摄体的形状或所述基准视点和所述虚拟视点之间的位置关系，有时在从所述虚拟视点P看为重合的多个投影点中包含两个以上存在概率非常高的投影点。在这样的情况下，如果按照与所述存在概率对应的比例混合所述各投影点的颜色信息，则有时所生成的图像上的点的颜色信息会超过有效的颜色信息范围。
这里，与此前说明的实施方式一样，如图50所示，考虑在被摄体Obj所处的空间内设定了两个投影面L1、L2、基准视点R、虚拟视点P的情况。此时，假设投影点T1、T2、T1’、T2’上的颜色信息分别为K1、K2、K1’、K2’，被摄体的存在概率为β1、β2、β1’、β2’。
此外，假设在通过基准视点R的直线上确定所述被摄体的存在概率β1、β2、β1’、β2’时，在图50所示的示例中，由于在投影点T1’以及T2附近存在被摄体Obj的表面，因此该投影点T1’以及T2处的存在概率比投影点T1以及T2’高。此时，所述各投影点T1、T2、T1’、T2’的存在概率β1、β2、β1’、β2’如下式70及式71所示。
β1≅0,]]>β2≅1]]>[式71]β1′≅1,]]>β2′≅0]]>此时，根据上述式69，按照所述存在概率β1’、β2对从所述虚拟视点P看为与所述图像面上的点A重合的投影点T’1、T2的颜色信息K’1、K2进行加权求和而求出所述虚拟视点P的图像面上的点A的颜色信息KA，如下式72所示。
KA＝β1′K1′+β2K2此外，上述式72可以根据上述式70以及式71，近似为下式73。
KAK1’+K2但是，在从所述虚拟视点P看所述物体Obj时，由于投影点T’1上的物体表面被投影点T2上的物体表面遮挡，因此图像面上的点A的本来的颜色信息为KA＝K2。即，如上式73那样，与本来的颜色信息相比，所生成的图像上的点A的颜色信息KA的(R、G、B)各分量的亮度上升K1’。
此外，此时，在所述投影点T’1、T2的颜色信息K’1、K2的各分量具有大的亮度的情况下，点A的颜色信息KA会超过有效的色彩空间的范围。因此，需要进行剪裁处理以便纳入有效的色彩空间的范围内。
因此，在本发明的图像生成方法中，基于所述投影点的存在概率设定具有从透过到不透过的多个级别的透明度。此时，用于得到所述生成图像中的各点的颜色信息的混合处理从离所述生成图像的视点远的投影点开始向着近的投影点依次地进行处理，在到某投影点为止的混合处理中得到的颜色信息是通过按照与所述透明度对应的比率对该投影点的颜色信息和到此前的投影点为止的混合处理中得到的颜色信息进行内分而得到。并且，此时，通过所述混合处理得到的颜色信息是某阶段中的颜色信息和下一个颜色信息的内分。
为了说明所述颜色信息的混合处理的原理，例如考虑如图51(a)所示那样，在色彩空间V中设定了投影面Lj(j＝1，2，…，M)、投影点Tj、具有红(R)、绿(G)、蓝(B)分量并表示投影点Tj的颜色信息的矢量Kj的情况。此时，所述色彩空间V表示为下式74。
Kj∈V，V≡{(R，G，B)|0≤R≤1，0≤G≤1，0≤B≤1}此外，所述投影点Tj的透明度αj设定为满足下式75的条件。
0≤αj≤1此时，在到变量j＝m为止的混合处理中得到的颜色信息Dm由下式76及式77那样的递推公式表示。而且，从所述虚拟视点P看为最靠前的投影面LM、即在混合到变量j＝M时的颜色信息DM成为所述生成图像的图像面上的点A的颜色信息KA。
Dm＝αmKm+(1-αm)Dm-1[式77]D1＝α1K1而且此时，由于上述式75以及式76之间的关系，所述颜色信息Dm是在色彩空间V中矢量Km和颜色信息Dm-1之间的内分点。因此，如图51(b)所示，所述颜色信息Dm为Km∈V、Dm-1∈V时，成为Dm∈V。
于是，如果满足上述式74以及式75的条件，则对于所述虚拟视点P的颜色信息DM，如上所述保证成为下式78那样。

DM∈V即，如果将所述投影点Tj的颜色信息Kj以及透明度αj设定为满足上述式74以及式75，则所述生成图像的点A的颜色信息DM一定可以纳入适当的色彩空间V内。
这样，如果进行使用透明度αj的颜色信息的混合处理，则在同一被摄体中生成从多个虚拟视点看到的图像时，即使根据某一视点(基准视点)计算出投影点的颜色信息以及透明度，如果该颜色信息以及透明度满足上述式74以及式75的条件，则也可以在适当的颜色信息的范围内生成待生成的所有的图像。
因此，例如在图50所示的示例中，分别对所述各投影点T1、T2、T1’、T2’设定如下式79以及式80所提供的透明度α1、α2、α1’、α2’。
α2＝β2，α1＝1[式80]α2′＝β2′，α1′＝1这里，为了得到所述虚拟视点P的各点的颜色信息，从离所述虚拟视点P远的投影点向着近的投影点依次进行混合处理，在到某投影点为止的混合处理中得到的颜色信息是通过按照与所述透明度对应的比率对该投影点的颜色信息和到此前的投影点为止的混合处理中得到的颜色信息进行内分而得到的。这样，从虚拟视点P看到的图像的点A的颜色信息DA成为下式81那样。
KA＝α2K2+(1-α2)α1′K1′此时，上述式81根据上述式70、式71、式79、式80成为下式82，成为本来的颜色信息的良好的近似。
KAK2如上所述，在直接使用所述存在概率β的图像生成中，虽然在基准视点R和所生成的图像的视点P相同的情况下没有问题，但在两者不同的情况下在被摄体的遮挡区域附近有时产生亮度的增加，相对于此，在将存在概率β变换为透明度α的图像生成中，具有防止该现象的效果。
此外，在直接使用存在概率β的图像生成中，在基准视点R和虚拟视点P不同的情况下，对多个投影点的颜色信息进行了混合处理时，没有从虚拟视点P看到的图像上的点的颜色信息纳入有效的色彩空间的范围内的保证。因此，例如，需要校正处理。相对于此，在将所述存在概率β变换为透明度α的图像生成中，不需要这样的校正。
此外，在将所述存在概率β变换为透明度α的图像生成中，具有还可有效地表现半透过的被摄体、可对于现实世界中的更多的被摄体广泛地应用本发明的效果。
接着，说明在使用本发明的图像生成方法来生成图像时成为处理的前提的数学模型的一个示例。
图52以及图53是用于说明本发明的图像生成方法的数学模型的示意图，图52是表示投影点、对应点、所生成的图像上的点之间的关系的图，图53是说明空间上的点和图像上的像素之间的变换方法的图。
在使用本发明的图像生成方法生成从所述虚拟视点P看到的图像时，例如，通过透视投影变换求出从所述虚拟视点看到的图像上的某点的颜色信息或亮度信息。这里，考虑摄像机的视点C、投影面Lj(j＝1，2，…，M)、虚拟视点P例如设定为图52所示那样的情况。
一般地，将三维空间上的投影点Tm(X，Y，Z)投影到从所述虚拟视点P看到的图像、即所生成的图像上的点(x，y)的矩阵由3行4列的矩阵提供。此时，所述投影矩阵、以及表示以原点为中心的焦距f的透视投影变换的矩阵Φ0如第一实施方式等中的进行的说明。
此外，图53所示的图像坐标(x，y)和数字图像坐标(u，v)之间的关系也如第一实施方式中说明的那样。另外，在进行二维数组的写入以及读取时，所述数字图像坐标(u，v)取离散值，但在下面的说明中，只要没有特别说明则设为取连续值，设为在访问数组时进行适当的离散化处理。并且，也可以进行校正镜头像差所引起的图像失真的变换。
(实施例3-1)
图54至图57是用于说明基于本发明的实施例3-1的图像生成方法的示意图，图54是表示图像的生成过程的流程图，图55是说明投影点串的设定方法的图，图56是表示图54的步骤10305的处理的具体例的流程图，图57是说明渲染的方法的图。
本实施例3-1的图像生成方法是使用如上所述的原理生成图像的方法，如图54所示那样，具有取得对焦距离不同的多个图像的步骤101；设定观察者的视点(虚拟视点)的步骤102；基于所述取得的图像取得被摄体的三维形状的步骤103；以及生成(渲染)从所述虚拟视点观察所述步骤103中取得的被摄体三维形状的图像的步骤104。
此外，所述步骤103具有设定多层结构的投影面的步骤10301；确定用于取得被摄体的三维形状的基准视点的步骤10302；设定投影点串、对应点等的步骤10303；确保存储纹理数组、即所述投影点的颜色信息以及存在概率的区域的步骤10304；以及确定所述投影点的颜色信息以及存在概率的步骤10305。
在本实施例3-1的图像生成方法中，例如如图54所示那样，首先取得改变对焦距离而拍摄被摄体得到的多个图像(步骤101)。此时，所取得的图像可以是彩色图像，也可以是黑白图像，但在本实施例3-1中，假设为取得以红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的各点(像素)的彩色图像来进行说明。
接着，设定观察者看所述被摄体的位置(虚拟视点)(步骤102)。接着，使用所述取得的被摄体的图像取得所述被摄体的三维形状(步骤103)。然后，在取得所述被摄体的三维形状之后，生成从所述虚拟视点看所述被摄体时的图像(步骤104)。
此时，在所述步骤103中，例如如图54所示那样，首先设定多层结构的投影面Lj(j∈J，J≡{1，2，…，M})(步骤10301)。此时，所述投影面Lj例如如图43所示的那样，平行地设置具有平面形状的投影面。并且，此时，所述投影面的设置间隔例如如图44所示的那样，最好与所述步骤101中取得的各图像的对焦距离一致，但也可以不一致。
接着，确定取得所述被摄体的三维形状的视点，换言之，作为求出在投影点上存在被摄体表面的概率时的基准的点(基准视点)R(步骤10302)。此时，所述基准视点R可以是与所述虚拟视点P相同的点，也可以是不同的点。并且，在连续地生成从多个虚拟视点P看到的被摄体的图像时，也可以取在其重心位置上。
接着，设定通过所述基准视点R的直线上的投影点的组所构成的投影点串、与所述投影点对应的图像上的点(对应点)等(步骤10303)。此时，所述投影点串例如如图13所示那样，定义为通过所述基准视点R的直线和所述投影面Lj的交点(投影点)Tj的集合。此时，投影点串S如果写为S＝{Tj|j∈J}，并将其集合设为σ，则成为S∈σ。
接着，例如在生成所述图像的装置的存储器上确保保持要纹理映射到所述各投影面上的图像的数组(纹理数组)(步骤10304)。此时，所确保的数组例如针对每个像素具有8位的颜色信息(R、G、B)及存在概率信息，作为与所述投影点的位置对应的纹理信息。
此外，在所述步骤10304中，还设定所述纹理数组的像素的二维数字坐标(Uj，Vj)和投影点Tj的三维坐标(Xj，Yj，Zj)之间的对应关系。此时，例如，可以对于所有的(Uj，Vj)的值设定(Xj，Yj，Zj)的值作为表，也可以仅对于代表性的(Uj，Vj)设定(Xj，Yj，Zj)的值，其余的坐标通过例如线性插值等的插值处理来求出。
接着，基于在所述步骤101中取得的被摄体的图像，确定与在所述步骤10304中确保的各投影点Tj相应的像素的颜色信息Kj以及存在概率βj(步骤10305)。此时，对于所述颜色信息以及存在概率，进行在Tj∈S的范围内依次扫描某投影点串S上的投影点Tj，并在投影点串S(∈σ)的范围内重复该处理的双重循环处理。
在进行所述步骤10305的处理时，首先如图56所示那样，将扫描的投影点串S初始化为开始位置(步骤10305a)。然后，将扫描的投影点Tj在投影点串S内初始化为开始位置，例如，设为j＝1(步骤10305b)。
接着，确定所述投影点Tj的坐标(Xj*，Yj*，Zj*)的颜色信息Kj(步骤10305c)。在所述步骤10305c中，首先在拍摄了位于坐标(Xj*，Yj*，Zj*)的位置的点时，计算与图像面(图像传感器)的哪个位置对应。然后，把与所述投影点Tj对应的纹理数组上的像素(Uj*，Vj*)的颜色信息例如设为(Uij*，Vij*)(i∈I)的颜色信息。
接着，确定所述投影点Tj的对焦度Qj。此时，所述对焦度Qj例如基于对应点的局部空间频率的大小，使用上述式65来计算(步骤10305d)。
在到所述步骤10305d为止的处理完成时，接着更新所述投影点Tj，判别是否全部扫描了投影点Tj∈S(步骤10305e)。这里也一样，如果全部扫描结束，则进入下一步骤10305f，如果扫描还未结束则返回所述步骤10305c。
在所述步骤10305e中，在判断为全部扫描结束时，接着基于在所述步骤10305d中计算出的各投影点Tj的对焦度Qj，对于所述投影点串S上的所有的投影点Tj(j∈J)确定在各投影点上存在被摄体的概率(存在概率)βj(步骤10305f)。所述存在概率βj例如使用上述式68来确定。另外，所述存在概率βj基本上只要满足上述式66以及式67的条件即可，所以也可以使用上述式68以外的式。
接着，更新投影点串S，判别是否全部扫描了投影点串S∈σ(步骤10305g)。这里也一样，如果全部扫描结束，则所述步骤103的处理、即所述被摄体的三维形状的取得结束。并且，如果还有未扫描的投影点串，则返回所述步骤10305b。
在所述步骤10305g中，如果判别为对于所有的投影点串扫描结束，则接着根据所述存在概率βj描绘从所述虚拟视点P观察使用所述投影面Lj(j＝1，2，…，M)表现的被摄体的图像(步骤104)。这里，例如如图57所示，假设虚拟视点P的图像面的坐标表示为up，vp。此时，图像面上的某像素p*(up*，vp*)的颜色信息Kp*确定为对位于连接虚拟视点P和图像面上的像素p*的直线上的投影点串{Tj*|j∈J}的颜色信息{Kj*|j∈J}乘以所对应的存在概率{βj*|j∈J}后相加的结果，表示为下述式83。
KP*=Σj=1Mβj*Kj*]]>而且，如果使用上述式83对于图像面上的所有的像素确定颜色信息，则可以得到虚拟视点P的图像。
此外，在代替上述式83而使用下述式84计算Kp*时，即使在基准视点R和虚拟视点P的位置不同的情况下，Kp*也一定保证纳入到有效的色彩空间的范围内。
KP*=Σj=1Mβj*Kj*Σj=1Mβj*]]>另外，这里示出了扫描图像面的像素来确定颜色信息的过程，但不限于此，例如也可以向OpenGL或DirectX等通用的图形库提交投影面Lj的结构、纹理数组、虚拟视点P的设定等数据，委托其进行描绘处理。
以上，本实施例3-1的所述虚拟视点图像的生成处理结束，把所生成的图像输出给CRT(Cathode Ray Tube)、液晶显示器等的图像显示装置。此时，在所述图像显示装置上显示的图像中，例如，被摄体像中的在所述步骤10305d中计算出的对焦度Q低的投影点的颜色信息对所生成的图像上的点的颜色信息的贡献小。因此，对于距离估计可靠性低的投影点模糊地进行描绘。其结果是，例如不像现有的方法所生成的图像那样看起来像图像部分缺损或者画质极端劣化，而在使用者看起来为可忽略程度的劣化。
图58至图61是表示通过本实施例3-1的图像生成方法生成图像的装置的概略结构的示意图，图58是表示装置的结构的方框图，图59至图61是表示被摄体图像摄影单元的结构例的图。
在图58中，2是图像生成装置，201是多焦点图像(被摄体图像)取得单元，202是虚拟视点设定单元，203是投影面等设定单元，204是纹理数组确保单元，205是颜色信息/存在概率确定单元，206是渲染单元，207是生成图像输出单元，3是多焦点图像(被摄体图像)摄影单元，4是视点信息输入单元，5是图像显示单元。并且，在图59中，6是偏振型二值光学系统，7、7A、7B是图像传感器，8是分光器，ObjA、ObjB是被摄体。并且，在图60中，9是偏振滤光器。并且，在图61中，10是变焦镜头，11a、11b、11c、11d是定焦镜头，12是镜头座。
例如图58所示，使用本实施方式的图像生成方法生成图像时使用的图像生成装置2具有被摄体图像取得单元201，其取得对焦距离不同的多个图像;虚拟视点设定单元202，其设定待生成的图像的视点(虚拟视点);投影面设定单元203，其在虚拟的三维空间上设定多层结构的投影面；纹理数组确保单元204，其将待贴附到所述投影面上的图像(纹理图像)的数组分配到存储器上；颜色信息/存在概率确定单元205，其使用由所述纹理数组确保单元204确保的纹理数组，确定所述各投影面上的点(下面称为投影点)的颜色信息以及存在概率；渲染单元206，其按照与所述存在概率对应的比例混合所述各投影点的颜色信息，并确定待生成的图像上的各像素的颜色信息；以及生成图像输出单元207，其输出由所述渲染单元206生成的图像。
此时，在所述被摄体图像取得单元201中，例如，通过具有如偏振型二值光学系统(例如，参照文献12日本特开2000-258738号公报)那样对焦距离根据偏振成分而变化的镜头的被摄体图像摄影单元3所拍摄的被摄体的图像。并且，不限于所述偏振型二值光学系统，也可以取得通过具有变焦镜头(例如，参照文献13日本特许第3303275号公报)的摄影装置拍摄的图像。并且，除此之外，例如也可以取得一体地支撑多个焦距不同的镜头、一边高速地切换各个镜头一边拍摄的图像。并且，此时，所述被摄体图像取得单元201可以按照一定间隔，例如30Hz的间隔依次取得时刻变化的被摄体的位置/姿势，也可以取得任意时刻的被摄体的静止图像。并且，关于所述被摄体的图像，也可以取得在由所述被摄体图像摄影单元3拍摄之后，记录在磁或电、或者光学记录介质(记录装置)中的图像。另外，所述被摄体的图像最好是在同一时刻拍摄的图像，但在被摄体的位置或姿势的变化十分缓慢、可以视为静止物的情况下，不限于此。
此外，所述虚拟视点设定单元202例如设定位置、方向、视场角，作为所述生成图像的视点(虚拟视点)的参数。此时，所述虚拟视点可以在所述虚拟视点设定单元202中自动地确定，也可以基于使用者使用鼠标或键盘等视点信息输入单元4输入的信息来确定。并且，可以通过其它的程序提供，或通过网络提供。
此外，所述投影面等设定单元203例如进行图54所示的步骤10301、步骤10302、步骤10303的处理。
此外，在所述纹理数组确保单元204中，进行图54所示的步骤10304的处理，例如对于各像素保持与颜色信息和存在概率相关的信息，例如，确保对于红(R)、绿(G)、蓝(B)三原色以及所述存在概率各以8位表现的纹理数组。但是，本发明不依赖于这样的特定的数据表现形式。
此外，所述颜色信息/存在概率确定单元205进行图54所示的步骤10305的处理，例如进行如图56所示的从步骤10305a到步骤10305g的处理。并且，所述渲染单元206基于所述颜色信息/存在概率确定单元205的结果进行图54所示的步骤104的处理，生成从所述虚拟视点P看到的所述被摄体的图像。
此外，由所述渲染单元206生成的虚拟视点图像从所述生成图像输出单元207输出，并通过CRT、LCD(Liquid Crystal Display)、PDP(PlasmaDisplay Panel)等图像显示单元5显示。此时，所述图像显示单元5例如可以是二维平面状的显示装置，也可以是围住使用者的曲面状的显示装置。并且，作为所述图像显示单元5，使用可立体显示的显示装置时，也可以通过所述虚拟视点设定单元202确定与所述使用者的左右眼相当的两个视点，在生成了从所述两个视点看去的立体图像之后，向使用者的左右眼示出独立的图像。并且，生成从三个或以上的虚拟视点看去的图像、使用可以显示带有三个或以上的视差的图像的三维显示器时，也可以对一个以上的使用者示出立体图像。
此外，所述生成图像输出单元207还可以是不仅向所述图像显示单元5输出所述生成图像，例如还向电、磁、光学记录介质输出的单元。
此外，此时，虽然省略了图示，但也可以在所述图像生成装置2中设置存储所述生成图像的存储单元并存储所述生成图像，根据来自使用者的指示输出所存储的图像并通过所述图像显示单元5显示。
此外，作为所述摄影单元3，例如使用组装有偏振型二值光学系统的摄像机时，可以按照两个对焦距离拍摄所述被摄体Obj。所述偏振型二值光学系统是使用了表现出光学各向异性(双折射性)的材质的光学系统，例如如图59(a)所示那样，在通过所述偏振型二值光学系统6的光的偏振分量为p分量的情况和s分量的情况下，对焦距离f1、f2不同。此时，如果像一般的摄影单元那样在一个图像传感器7上成像，则在从所述图像传感器7得到的图像中，所述p分量所致的图像和s分量所致的图像、即以对焦距离f1拍摄的图像和以对焦距离f2拍摄的图像成为重叠的图像。因此，例如如图59(b)所示，如果用分光器8分离通过所述偏振型二值光学系统6的光，并使p分量的光成像于第一图像传感器7A上、使s分量的光成像于第二图像传感器7B上，则可以分离并取得对焦距离为f1的图像和对焦距离为f2的图像。
这里，例如如图59(b)所示，如果假设在所述对焦距离f1的附近存在被摄体ObjA，在对焦距离f2的附近存在另外的被摄体ObjB，则如图59(c)所示，所述第一图像传感器7A的图像、即通过p分量的光成像的图像成为被摄体ObjA清晰、被摄体ObjB模糊的图像。另一方面，所述第二图像传感器7B的图像反而成为被摄体ObjA模糊、被摄体ObjB清晰的图像。
此外，在分离使用所述偏振型二值光学系统6拍摄的图像时，也可以代替所述分光器8，而例如如图60(a)所示那样，在所述偏振型二值光学系统6和图像传感器7之间设置偏振滤光器9。此时，所设置的偏振滤光器9使用例如如图60(b)所示那样，棋盘状配置与p分量对应的滤光器9A和与s分量对应的滤光器9B而成的滤光器。此时，各滤光器9A、9B是与所述图像传感器7的像素相同尺寸、或者n×n像素的尺寸时，可以通过从由所述图像传感器7得到的图像中相间地剔除与p分量或s分量相应的像素，得到如图59(c)所示的两个图像。
此外，在拍摄所述对焦距离不同的多个图像时，也可以代替使用所述偏振型二值光学系统6，而例如如图61(a)所示那样，使用变焦镜头10。如果使用所述变焦镜头10，则例如如图61(a)所示那样，可以以一个镜头得到四个焦点位置f1、f2、f3、f4的图像。
而且，也可以不是象所述偏振型二值光学系统6或变焦镜头10那样、通过改变镜头介质的折射率来改变焦点位置，而是如图61(b)所示那样，固定对焦距离，由镜头座12一体地支撑互不相同的定焦镜头11a、11b、11c、11d，例如，旋转镜头座12而高速地切换各个镜头，同时对图像进行拍摄。
如以上所说明的那样，根据本实施例3-1的图像生成方法，不是如现有的手段那样，要在所有的情况以及所有的部分得到被摄体的准确的几何模型，而是以根据被摄体的拍摄条件或部位、无法通过距离估计来得到具有充分可靠性的估计值为前提，对于估计可靠性低的部分模糊地进行描绘而降低对图像生成的贡献，防止极端的图像劣化，并且对于估计可靠性高的部分清晰地进行描绘而提高对图像生成的贡献。因此，可以使估计可靠性低的部分的图像的劣化不显著，可以成为在使用者看来劣化少的虚拟视点图像。
此外，在本实施例3-1的图像生成方法中，由于利用纹理映射的方法取得物体的三维形状，并生成从所述虚拟视点P看到的图像，所以可以减小通过图58所示的图像生成装置2生成所述虚拟视点图像时的负荷，并可以高速地生成虚拟视点图像。
此外，所述图像生成装置2不必是专用的装置(计算机)，例如，也可以通过计算机或程序来实现。在这种情况下，生成可在计算机中执行如图54以及图56所示的各步骤的程序，并在所述计算机中执行时，即使是一般普及型个人计算机也可以容易且高速地生成图像劣化少的虚拟视点图像。并且，此时，所述程序可以记录于磁、电、或光学记录介质中而提供，也可以通过网络来提供。
另外，本实施例3-1中说明的图像生成装置的结构以及图像的生成方法或处理过程为一个示例，本发明的主旨是对在多层结构的投影面上进行纹理映射的图像赋予存在概率，对于估计距离的可靠性低的部分，在多个投影面上进行纹理映射而模糊地描绘。因此，在不是很大地脱离本主旨的范围内不依赖于特定的处理方法或实施方式。
此外，在本实施例3-1的图像生成方法中，以取得以使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的点(像素)的彩色图像、并生成所述虚拟视点图像的情况为例进行了说明，但本实施例3-1的图像生成方法不限于所述彩色图像，也可以取得使用亮度(Y)、色差(U，V)来表现图像上的各点(像素)的黑白图像，并生成所述虚拟视点图像。在所取得的图像为所述黑白图像的情况下，可以使用所述亮度信息(Y)作为相当于所述颜色信息的信息，通过本实施例3-1中说明的过程生成虚拟视点图像。
图62以及图63是表示使用本实施例3-1的图像生成装置的图像生成系统的概略结构的示意图，图62是表示图像生成系统的一个结构例的图，图63是表示图像生成系统的另一结构例的图。
本实施例3-1的图像生成装置1例如可以应用于如图62所示的图像生成系统。此时，使用者User使用鼠标等的所述视点信息输入单元4指定了预期的视点位置、方向、视场角时，所述图像生成装置2取得由所述摄影单元3拍摄的被摄体Obj的图像。然后，在取得所述被摄体Obj的图像的所述图像生成装置1中，通过本实施例3-1中说明的过程生成从所述使用者User指定的视点位置、方向、视场角观察所述被摄体Obj时的图像。然后，在图像显示单元5中显示所生成的图像，对使用者User示出。
此时，所述摄影单元3可以设置在所述使用者User所处的地方和地理上接近的地方，也可以通过互联网等网络设置在地理上远离的地方。
此外，例如如图62所示，本实施例3-1的图像生成装置1不仅可以应用于使用者User和被摄体Obj之间的关系固定的单向的图像生成系统中，也可以应用于如电视电话或电视会议那样的双向的通信系统中。
在将本实施例3-1的图像生成装置2应用于双向通信系统中时，例如如图63所示，有拍摄使用者UserA的摄影单元3A以及拍摄使用者UserB的摄影单元3B即可。这样，所述使用者UserA使用由所述摄影单元3B拍摄到的使用者UserB的图像生成从预期的视点观察所述使用者UserB时的图像，并显示在图像显示单元4A上。同样地，所述使用者UserB使用由所述摄影单元2A拍摄的使用者UserA的图像生成从预期的视点观察所述使用者UserA时的图像，并显示在图像显示单元4A上。此时，如图63所示，所述图像生成装置2可以配置在所述各使用者UserA、UserB的跟前，也可以仅设置在使用者UserA、UserB中的某一方的跟前。并且，如果在互联网或公司内LAN等网络13上设置所述图像生成装置2C，则即使在所述各使用者UserA、UserB的跟前没有所述图像生成装置2，也可以生成并显示从所述虚拟视点看到的图像。
此外，在图63中，示出了使用者为两人的例子，但在更多的使用者之间也可以进行一样的图像生成。因此，在假设与使用者实际存在的实际空间不同的用于通信的虚拟空间，并互相示出与其位置关系对应的其他使用者的图像时，可以使使用者具有像在共用网络上的虚拟空间(cyber space)的感觉。
另外，图62以及图63所示的系统的结构示出了本发明的图像生成装置的一个应用例，不一定限于这样的结构。即，各个装置以及单元的配置、方式、安装等在不脱离本发明的主旨的范围内可以任意地设定。
(实施例3-2)图64是表示成为实施例3-2的特征的处理的流程图。在本实施例3-2中示出了在所述实施例3-1中说明的虚拟视点图像生成处理中，代替由所述步骤10305f确定的投影点的存在概率，而将所述存在概率变换为透明度进行图像生成的示例。
此时，对于所述图像生成装置1的结构或整体的处理过程，可以采用与所述实施例3-1中说明的示例一样的方式，因此下面仅说明不同的部分。
在所述实施例3-1中，使用在所述步骤10305f中确定的所述存在概率βj，例如，使用上述式69确定从所述虚拟视点P看到的图像上的各点的颜色信息，并生成所述虚拟视点图像，但在这种情况下，如使用图50说明的那样，根据所述被摄体的形状或所述基准视点和虚拟视点之间的位置关系，有时与本来的被摄体表面的颜色信息大不相同。因此，在本实施例3-2中，作为解决这样的问题的方法，说明将所述存在概率变换为透明度，并按照与所述透明度对应的比例混合所述各投影点的颜色信息的方法。此时，将所述存在概率变换为透明度的步骤可以在所述步骤103的处理中的步骤10305f之后，或者所述步骤104或所述步骤103和步骤104之间进行。因此，在本实施例3-2中，如图64所示，紧接在确定所述存在概率的步骤10305f之后加上变换所述存在概率而确定透明度的步骤105。
在这种情况下，在所述实施例3-1的确保纹理数组的步骤10304中，确保了保持颜色信息和所述存在概率的纹理数组，相对于此，在本实施例3-2的步骤10304中，确保保持颜色信息和所述透明度的纹理数组。
基于所述存在概率βj计算所述透明度αj，与所述实施例3-1的步骤10305f一样，在本实施例3-2中，也在所述步骤10305f中临时计算所述存在概率，并在下一个步骤105中计算透明度αj。
此外，在本实施例3-2的进行渲染处理的步骤104中，代替在所述实施例3-1中说明的上述式83或式84，而根据上述式11至上述式13来依次计算Dj。因此，图像面上的某像素P*(up*，vp*)的颜色信息Kj*如下述式85那样计算。
KP*=DM]]>=αMKM+(1-αM)αM-1KM-1+···]]>+(1-αM)(1-αM-1)···(1-α2)α1K1]]>以上是本实施例3-2中的图像生成方法，基于所述存在概率βj计算透明度αj的方法与在第一实施方式中参照图19(b)说明的方法相同。
根据本实施例3-2的图像生成方法，与所述实施例3-1一样，可以容易且高速地生成部分图像劣化不显著的虚拟视点图像。
此外，如所述实施例3-1中说明的那样，在直接使用存在概率的图像生成中，在基准视点和虚拟视点不同的情况下，有时在被摄体的遮挡区域附近产生亮度的增加，相对于此，在如本实施例3-2那样将存在概率变换为透明度的图像生成中，有防止该现象的效果。因此，可以得到图像劣化少、并且接近实际被摄体的虚拟视点图像。
此外，如所述实施例3-1中说明的那样，在直接使用存在概率的图像生成中，在基准视点和虚拟视点不同的情况下，在混合颜色信息时没有纳入有效的颜色信息范围内的保证，例如，需要校正处理，相对于此，在如本实施例3-2那样将所述存在概率信息变换为透明度的图像生成中，不需要这样的校正。因此，可以简化图像生成处理。
此外，如本实施例3-2的虚拟视点图像生成方法那样，在将存在概率变换为透明度的图像生成中，具有可以有效地表现半透过的被摄体、可以对于现实世界中的更多的被摄体广泛地应用本发明的效果。
另外，本实施例3-2中说明的图像生成方法为一个示例，本实施例3-2的主旨是将所述存在概率变换为透明度而生成虚拟视点图像。因此，在不是很大地脱离本主旨的范围内不依赖于特定的计算方法或处理过程。
此外，在本实施例3-2的图像生成方法的情况下也一样地，所取得的图像可以是彩色图像、黑白图像中的一种，在黑白图像的情况下，使用亮度信息(Y)作为与所述颜色信息相应的信息，进行如本实施例3-2中说明的混合处理即可。
图65是用于说明本发明的图像生成方法中的另一种生成方法的示意图。
在所述实施例3-1以及实施例3-2的图像生成方法中，以在取得对焦距离不同的多个图像时使用一般的镜头、在进行颜色信息的投影或投射时，由针孔(pin hole)光学系统来近似为前提进行了说明。但是，在如本发明的图像生成方法那样使用对焦距离不同的图像的情况下，例如，如果使用远心镜头取得所述多个图像，则在进行颜色信息的投影或投射时，如图65所示那样，可以设定平行投影系。在这种情况下，可以将通过所生成的图像上的点A并垂直于图像面的直线与所述投影面Lj的交点作为对应点Tj，通过所述实施例中说明的过程求出在各投影点Tj上存在被摄体的概率βj。此时，如图65所示，纹理映射在投影点T1上的对应点G1的坐标的x分量以及y分量为图像传感器上的点G的x分量以及y分量。然后，在所取得的图像Imgi上，与所述对应点G1上反映的部分相同的部分处于通过所述图像传感器上的点G并垂直于所述图像传感器的直线上，所以将这些点作为对应点Gi来确定所述投影点T1的颜色信息K1以及对焦度Q1。并且，可以在对于同一直线上的投影点Tj进行该处理之后，根据所述投影点的对焦度求出存在概率βj。
(第三实施方式的效果)如上所述，第三实施方式的图像生成方法对从用于得到所述被摄体的三维形状的基准视点看为重合的多个投影点赋予颜色信息或亮度信息和所述被摄体表面存在的概率(存在概率)。即，不是如现有的得到三维形状的方法那样考虑为在从所述基准视点看为重合的多个投影点中的一个投影点上存在所述被摄体的表面，而是考虑为所述被摄体的表面以所述存在概率存在于所述各投影点上。这样，即使在距离估计的可靠性低的情况下，也在物体表面实际存在的投影点上以一定的概率存在物体的表面。此时，在生成从所述虚拟视点看到的所述被摄体的图像时，在所生成的图像上的点(像素)中，具有所述存在概率低的投影点的颜色信息混合而成的颜色信息或亮度信息的像素、即距离估计的可靠性低的被摄体上的点被模糊地描绘。其结果是，可以使距离估计错误时产生的不连续的噪声不显著。
为了得到所述被摄体的三维形状，使用对焦度不同的多个图像。此时，从所述基准视点看为重合的各投影点的存在概率是基于与所述各投影点对应的所述各图像上的点(对应点)的对焦度来确定的。因此，根据物体的形状或所述基准视点和所述虚拟视点之间的位置关系，有时在从所述虚拟视点看为重合的多个投影点中含有两个以上存在概率非常高的投影点。在这样的情况下，例如按照与所述存在概率对应的比例混合所述各投影点的颜色信息或亮度信息时，有时所生成的图像上的点的颜色信息会超过有效的色彩空间的范围。因此，也可以基于所述存在概率对所述投影点设定透明度，并按照与所述透明度对应的比例对颜色信息进行混合处理。这样，在从所述虚拟视点看为重合的多个投影点中有两个以上存在概率高的投影点的情况下，可以减小从所述虚拟视点看为位于远处的某投影点、例如从所述虚拟视点看不到的投影点的颜色信息对生成图像上的点的颜色信息的贡献。
不进行如现有的生成方法那样对所有形状的被摄体以及所述被摄体上的所有点准确地求出几何模型的处理。因此，可以减轻对生成所述图像的装置(计算机)施加的负荷。如果可以减轻对生成所述图像的装置施加的负荷，则即使是一般的普及型个人计算机那样处理性能低的装置，也可以高速地生成图像。
此外，在取得所述被摄体的三维形状时，使用从一个视点通过改变对焦距离而拍摄的图像的情况下，所述图像的拍摄所使用的摄影装置与现有的从多视点进行拍摄的装置相比可以小型化，装置结构也可以简化。此时，例如，如果使用具有表现出光学各向异性、对焦距离根据偏振面而不同的材质的偏振型二值光学系统来拍摄所述被摄体，则可以从一个视点拍摄对焦距离不同的两个图像。并且，例如，如果准备多个对焦距离不同的镜头，一边高速切换所述各镜头一边进行拍摄，则可以从一个视点拍摄对焦距离不同的三个以上的图像。
接着说明本发明的第四实施方式。第四实施方式主要是与权利要求30～权利要求43对应的实施方式。第四实施方式的特征在于，基于针对评价基准值vj的统计处理(参数拟合(parameter fitting))来求出存在概率。另外，在用于说明第四实施方式的图中，具有相同功能的部分标以相同标号。
在第四实施方式的三维图像显示方法中，根据在互不相同的拍摄条件下对被摄体进行拍摄而得的多个图像，取得所述被摄体的三维形状，并基于所取得的所述被摄体的三维形状，在DFD那样具有多个显示面的显示器上显示所述被摄体的三维像。在取得所述被摄体的三维形状时，在虚拟的三维空间上设定多层结构的投影面，对于从观察者的视点看为重合的多个投影面上的点(投影点)，确定所述各投影点的颜色信息或亮度信息、以及在所述投影点上存在被摄体的表面的概率(存在概率)。然后，在基于所取得的所述被摄体的三维形状生成在所述多个显示面上显示的二维图像时，对分配所述投影点的颜色信息或亮度信息的二维图像上的点分配所述颜色信息或亮度信息、以及存在概率，在所述图像显示面上进行显示时，以与所述存在概率的高低对应的亮度显示二维图像上的各点。这样，模糊地显示与所述被摄体的表面的距离相关的估计可靠性低的部分，示出在观察者看来较自然的三维像。
(实施例4-1)图66至图77是用于说明实施例4-1的图像生成方法的示意图，图66是表示整体的处理过程的一个示例的流程图，图67以及图68是表示投影面的设定方法的一个示例的图，图69是说明投影点串的设定方法的图，图70是表示确定投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图，图71至图74是说明存在概率的确定方法的图，图75至图77是说明各图像显示面上所显示的二维图像的生成方法的图。
本实施例4-1的图像生成方法是生成在例如DFD那样的具有从观察者看为在深度方向上重合的多个图像显示面的图像显示单元上显示的图像的方法，如图66所示，具有取得从不同的视点拍摄物体而得的多个图像的步骤101；设定观察所显示的物体的三维像的观察者视点(基准视点)的步骤102；根据所述多个图像取得所述物体的三维形状的步骤103；基于在所述步骤103中取得的所述物体的三维形状，生成在各图像显示面上显示的二维图像的步骤104；以及在所述各图像显示面上显示在所述步骤104中生成的各二维图像、从而示出所述物体的三维像的步骤105。
在使用本实施例4-1的图像生成方法例如生成用于由所述DFD显示物体的三维像的图像时，首先取得从不同的视点拍摄所述物体的图像(步骤101)。此时，拍摄所述取得的图像的视点，例如可以是直线状地排列为一列，也可以二维地排列在圆弧状或任意的曲线上，或者平面或曲面上。并且，此时，所取得的图像可以是彩色图像或者黑白图像，但在本实施例4-1中，设为取得以使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的各点(像素)的彩色图像来进行说明。
在所述步骤1中取得了图像之后，接着设定观察所述DFD中所显示的物体的观察者视点(步骤102)。此时，关于所述观察者视点，例如设定离所述多个图像显示面中的成为基准的图像显示面的距离等的所述观察者的视点和所述图像显示面之间的相对位置关系、或视线的方向等。
在所述步骤2中设定了观察者的视点之后，接着根据在所述步骤1中取得的多个图像，取得在所述图像中反映的物体的三维形状(步骤103)。在所述步骤3中，首先，设定多层结构的投影面Lj(j＝1，2，…，M)(步骤10301)。然后，设定用于取得所述物体的三维形状的基准视点R(步骤10302)。此时，所述投影面Lj例如如图67所示那样，设定多个与虚拟的三维空间上的XY平面平行的面。并且，此时，所述各投影面Lj例如如图67以及图68所示那样，设定在距离所述三维空间上的Z＝0为负方向的距离lj处。并且，所述基准视点R是用于取得所述物体的三维形状的视点，可以设定为三维空间上的任意的点。因此，所述基准视点R设为在所述步骤2中设定的观察者视点，例如，将离所述Z＝0最远的投影面L1作为所述DFD的在观察者看来位于最里侧的图像显示面，设定成如图68所示那样，离所述投影面L1的距离成为从所述观察者视点到所述DFD的位于最里侧的图像显示面的距离ld。
在所述步骤10301以及步骤10302中设定了所述投影面Lj以及基准视点R之后，接着设定所述投影面上的投影点以及与所述各投影点对应的所述取得的图像上的点(对应点)等(步骤10303)。此时，所述投影点例如如图69所示那样，设定为从所述基准视点R向多个方向引出直线、所述各直线与所述各投影面Lj的交点。并且，由于在估计所述被摄体的表面的距离时，对于所述同一直线上的多个投影点Tj估计存在于哪个投影点上，所以如图69所示，将同一直线上的投影点Tj作为投影点串S来一起处理。
此外，所述对应点如图67以及图68所示那样，是在从所述投影点Tj看到所述各摄像机的视点Ci时，与所述摄像机的视点重合的所述各摄像机的图像面上的点Gij。此时，如图67所示，在所述各图像面上设定二维的坐标系(xy坐标系)时，与所述投影点Tj(Xj，Yj，Zj)对应的对应点Gij的二维坐标(xij，yij)可以通过将所述投影点Tj投影到各图像面上的二维的点上来求出。该投影法可以使用一般的将三维空间上的点(X，Y，Z)投影到二维平面上的点(x，y)上的3行4列的投影矩阵来进行。所述虚拟的三维空间内的所述对应点Gij的坐标(xij，yij)和所述数字图像坐标(u，v)之间的关系和此前说明的一样。
在所述步骤10303中，设定所述对应点Gij的数字图像坐标(uij，vij)和所述投影点Tj的三维空间坐标(Xj，Yj，Zj)之间的对应关系。该对应关系可以针对所有的(uij，vij)将(Xj，Yj，Zj)的值设定为表，也可以仅针对代表性的(uij，vij)设定(Xj，Yj，Zj)的值，其它的点例如可以通过线性插值等的插值处理来求出。
此外，在所述数字图像坐标系中，(u、v)取离散值，但在下面的说明中，只要没有特别的说明则取连续值，在访问二维数组时进行适当的离散化处理。
在所述步骤10303中确定了所述投影点串、对应点等之后，接着确保存储所述投影面Lj的信息、即要在所述投影面Lj上进行纹理映射的图像的数组(纹理数组)(步骤10304)。此时，在所确保的数组中，作为与所述投影点Tj的位置对应的纹理信息，对于每个像素具有例如8位的颜色信息以及存在概率信息。
在所述步骤10304中确保了存储所述投影面的信息的数组之后，接着确定各投影点Tj的颜色信息以及存在概率(步骤10305)。在所述步骤10305中，例如图70所示那样，进行对于所设定的所有投影点串反复地确定某投影点串上的各投影点Tj的颜色信息以及存在概率的处理的双重循环处理。因此，首先初始化所述投影点串(步骤10305a)。然后，初始化所述投影点串上的投影点Tj，例如设为j＝1(步骤10305b)。
接着，确定所述投影点Tj的颜色信息(步骤10305c)。在所述步骤10305c中，例如将在所述步骤10303中设定的各对应点Gi的颜色信息Ki的平均值确定为所述投影点Tj的颜色信息Kj。
接着，求出在与所述投影点Tj对应的各对应点Gij(i∈I)上反映的物体上的点的相关度Qj(步骤10305d)。此时，例如，在将表示所述投影点Tj的颜色信息的矢量设为Kj，将表示各对应点Gij的颜色信息的矢量设为Kij时，所述相关度Qj通过下述式86求出。
Qj=Σi∈I(Kj-Kij)2]]>在使用上述式86求出相关度Qj的情况下，所述相关度Qj总是取正值，并且相关越高则值越小。
另外，上述式86是所述相关度Qj的求出方法的一个示例，也可以使用上述式86以外的公式求出所述相关度Qj。并且，在求出所述相关度Qj时，不仅可以考虑所述投影点Tj和所述对应点Gij的一点来求出，也可以考虑包含所述投影点Tj以及所述对应点Gij的附近的多个点在内的小区域来求出。
通过所述步骤10305d求出所述相关度Qj之后，更新所述投影点Tj，确认是否对于成为处理对象的投影点串上的所有的投影点进行了所述步骤10305c以及步骤10305d的处理(步骤10305e)。这里，如果存在未进行所述步骤10305c以及步骤10305d的处理的投影点，则返回所述步骤10305c并求出所述颜色信息Kj以及相关度Qj。
如果对于作为处理对象的投影点串上的所有的投影点求出了所述颜色信息以及相关度Qj，则如图71所示那样，对于投影点串上的各投影点Tj赋予颜色信息Kj以及相关度Qj。此时，比较所述各投影点Tj的相关度Qj时，一般如图72(a)所示那样，仅有某投影点Tm的相关度Qm取特征性的小值。在这样的情况下，可以在该投影点串上，估计所述物体的表面位于所述投影点Tm上，其可靠性也较高。
但是，根据物体的形状或表面的图案(纹理)或者拍摄条件等，在比较投影点串上的各投影点Tj的相关度Qj时，如图72(b)所示那样，有时不存在相关度具有特征性的小值的投影点。在这样的情况下，即使估计为所述物体的表面在某一投影点上，其可靠性仍较低，有估计错误的情况。而且，在估计错误的情况下，其影响在所生成的图像上表现为大的噪声。
因此，基于所述各投影点Tj的相关度Qj的高低，确定在所述投影点串上的各投影点Tj处存在物体表面的概率(存在概率)βj。此时，所述存在概率βj可根据所述相关度Qj直接求出，但如果所取得的图像上有噪声、所述相关度Qj的可靠性低，则所述存在概率βj也受到其影响，可靠性低下。因此，在本实施例4-1的图像生成方法中，首先，求出作为所述存在概率βj的基准值使用的评价基准值vj(步骤10305f)。此时，所述评价基准值vj需要满足下述式87以及式88。
0≤βj≤1[式88]Σj=1Mβj=1]]>而且，在所述投影点Tj上存在物体表面的概率越高则所述评价基准值vj取为越接近1的值时，例如，可以对于针对所述投影点串上的各投影点Tj求出的相关度Qj，进行由下述式89以及式90表示的变换处理而得到所述评价基准值vj(j∈J)。
β~j=1Qj]]>[式90]βj=βjΣj=1Mβ~j]]>另外，从根本上说，所述评价基准值vj只要满足上述式87以及式88的条件即可。因此，所述变换处理也可以使用上述式89以及式90以外的公式来计算。
如上所述，使用上述式89以及式90计算出的各投影点Tj的评价基准值vj也可以用作所述物体表面存在的概率(存在概率)，但由于所取得的图像上的噪声的影响，直接使用则出现作为存在概率的可靠性不够的情况。因此，接着假设所生成的物体的概率分布模型，进行针对所述评价基准值vj的统计处理(参数拟合)，例如求出如图73(a)所示的拟合函数p(l)(步骤10305g)。
这里，如果假设为所述物体存在的概率的概率密度分布对于距离l服从正态分布(高斯分布)，则所述评价基准值vj的拟合函数p(l)可以表示为如下述式91。
p(l)=12πσexp{-(1-μ)22σ2}]]>
这里，μ是存在概率分布的平均值，σ是存在概率分布的方差，分别由下述式92、式93提供。
μ=Σj=1Mβjlj]]>[式93]σ2=Σj=1M(βjlj-μ)2]]>在求出所述拟合函数p(l)之后，根据该函数p(l)确定各投影面LP1的距离lpj、即在所述各对应点Tj上存在物体的概率βj(步骤10305h)。此时，所述存在概率βj例如使用下述式94确定。
γj=∫lj-lj+p(l)dl]]>这里，如图73(b)所示，lj-、lj+分别是对投影面Lj作出贡献的距离的下限以及上限，例如，由下述式95以及式96提供。
lj-=lj-1+lj2,]]>lj-=-∞]]>[式96]lj+=lj+lj+12,]]>lM+=∞]]>进行从所述步骤10305c到步骤10305h的处理时，如图74所示那样，确定了投影点串上的所述各投影点Tj的颜色信息Kj以及存在概率βj。将其值存储在所述步骤10304中确保的区域中。
这样，在可以假设在某投影点串上存在所显示的物体表面的概率的概率密度分布的情况下，如果基于所述评价基准值vj的拟合函数p(l)求出所述存在概率βj，则可以减少所拍摄的图像的噪声的影响。
另外，上述式91是拟合函数的一个示例，也可以使用与物体的形状分布对应的各种函数、例如拉普拉斯分布函数来进行参数拟合。
在存储了所述各投影点Tj的颜色信息Kj以及存在概率βj之后，更新所述投影点串，并确认是否对于步骤10303中确定的所有的投影点串进行了所述步骤10305c到步骤10305h的处理(步骤10305i)。这里，如果存在未进行所述步骤10305c到步骤10305h的处理的投影点串，则返回所述步骤10305b，重复从所述步骤10305c到步骤10305h的处理。
这样，对于所述步骤10303中确定的所有的投影点串进行了从所述步骤10305c到步骤10305h的处理时，所述步骤10305(步骤103)的处理结束，得到所述物体的三维形状。
进行所述步骤103的处理时，例如如图74所示那样，某投影点串上的各投影点Tj(j＝1，2，…，M)的纹理数组中保持有颜色信息Kj以及存在概率βj。即，通过本发明的三维图像显示方法取得的物体的三维形状不是如现有的方法那样在所述投影点串上的某一投影点处存在物体的表面，而是在所述各投影点处存在。
在本实施例4-1的图像生成方法中，基于在所述步骤103中取得的所述被摄体的三维形状，生成从所述观察者看到的所述被摄体的图像。在本实施例4-1中，说明了在DFD这样的具有多个图像显示面的显示器的所述各图像显示面上显示所生成的图像的二维图像生成方法。在这种情况下，在所述步骤103的处理结束后，如图66所示那样，将所述投影点的颜色信息以及存在概率变换为二维图像生成面上的点的颜色信息以及亮度分配系数(步骤104)。
在所述步骤104中，在生成要在所述各图像显示面上显示的二维图像时，首先，在所述虚拟的三维空间上设定观察者的视点、多个二维图像生成面、在所述步骤103中取得的所述物体的三维形状。此时，例如如图75所示，所述二维图像生成面LDn(n＝1，2，…，N)设定为从所述观察者的视点P看为在深度方向上重合。并且，从所述观察者的视点P到所述各二维图像生成面LDn的距离ldn设定为在所述步骤102中设定的距离。并且，此时，如果假设表现所述物体的三维形状的投影面Lj的数目以及设定间隔与所述二维图像生成面LDn的数目以及设定间隔一致，则所述物体的三维形状例如如图75所示那样，设定为所述投影面Lj和所述二维图像生成面LDn一致。此时，如果假设所述二维图像生成面LDn是生成亮度调制型DFD的各图像显示面上所显示的图像的面，则需要对于从观察者的视点P看为重合的所述二维图像生成面LDn上的各点(显示点)An确定颜色信息KDn以及亮度分配系数γn。这里，如图75所示，如果表现所述物体的三维形状的投影面Lj和二维图像生成面LDn一致，则所述各显示点An的颜色信息KDn设为与所述各显示点An所处的二维图像生成面LDn重合的投影面Lj的投影点Tj的颜色信息Kj。并且，所述各显示点An的亮度分配率γn分配与所述各显示点An所处的二维图像生成面LDn重合的投影面Lj的投影点Tj的存在概率βj。这样，在对于所述二维图像生成面LDn上的各显示点A确定了颜色信息KD以及亮度分配系数γ之后，输出在该二维图像生成面LDn上生成的图像，并在实际的DFD的图像显示面上进行显示(步骤105)。
但是，表现所述物体的三维形状的投影面Lj的数目以及设定间隔不必与所述二维图像生成面LDn的数目以及设定间隔一致。因此，接着说明投影面Lj的数目以及设定间隔和所述二维图像生成面LDn的数目以及设定间隔不一致的情况下的所述二维图像生成方法。
此时，如果从所述观察者的视点P看为从最靠前的投影面到最里侧的投影面的距离和从最靠前的二维图像生成面到最里侧的二维图像生成面的距离大致相等，则表现所述物体的三维形状的投影面Lj例如如图76所示那样，设定为从所述观察者的视点P看为最里侧的投影面Lj和二维图像生成面LD1重合。这样，从所述观察者的视点P看为最里侧的二维图像生成面LD1的各显示点A的颜色信息KD以及亮度分配系数γ是从所述观察者的视点P看为最里侧的投影面L1上的各投影点T的颜色信息K以及存在概率β。
此外，关于不与投影面重合的二维图像生成面LD上的各显示点A的颜色信息KD以及亮度分配系数γ，通过如下的方法确定。
关于没有所述重合的投影面的二维图像生成面LD上的各显示点A的颜色信息KD以及亮度分配系数γ，例如，对从所述投影面L看为最近的二维图像生成面LD上的显示点A分配从所述观察者的视点P看为与所述各显示点A重合的所述各投影面L上的投影点T的颜色信息K以及存在概率β。此时，所述显示点A的颜色信息KD设为所分配的各投影点T的颜色信息K的平均值，或者从所述显示点A所处的二维图像生成面LD看为最近的投影面L的投影点T的颜色信息K。此外，关于亮度分配系数γ，设为所述分配的各投影点T的存在概率β之和。此时，把成为离某二次图像生成面LDn最近的生成面的投影面Lj的集合设为{Lj|j∈Γn}时，使用所述各投影面Lj的投影点Tj的存在概率βj由下述式97提供所述二维图像生成面LDn上的显示点An的亮度分配率γn。
γh=Σj∈ΓnMβj]]>这里，考虑所述投影面Lj和二维图像生成面LDn处于如图77(a)所示的位置关系的情况。这里，如果假设对从所述各投影面看为最近的二维图像生成面上的显示点A分配从观察者的视点P看为与显示点A1、A2重合的各投影点Tj(j＝1，2，3，4，5)的颜色信息Kj以及存在概率βj，则投影点T1、T2、T3的颜色信息以及存在概率被分配给所述显示点A1。此时，所述显示点A1的颜色信息KD1例如可以是所述投影点T1、T2、T3的颜色信息K1、K2、K3的平均值，也可以是从所述显示点A1看为最近的投影点T2的颜色信息K2。此外，使用上述式91，把所述显示点A1的亮度分配系数γ1确定为所述各投影点T1、T2、T3的存在概率β1、β2、β3之和。
同样地，所述投影点T4、T5的颜色信息以及存在概率被分配给二维图像生成面LD2，显示点A2的颜色信息KD2设为所述投影点T4、T5的颜色信息K4、K5的平均值或投影点T5的颜色信息K5。而且，关于亮度分配系数γ2，使用上述式91设为所述各投影点T4、T5的存在概率β4、β5之和。
此外，所述二维图像生成面LDn的设置间隔和所述投影面Lj的设定间隔不同，两个连续的二维图像生成面LDn、LDn+1之间的投影面Lj的投影点的颜色信息以及存在概率也可以根据所述投影面Lj和各二维图像生成面LDn、LDn+1的距离之比而分配。此时，如果将所述二维图像生成面LDn、LDn+1之间的投影面Lj的集合设为{Lj|j∈Γn}，则使用所述各投影面Lj的存在概率βj，由下述式98提供所述二维图像生成面LDn上的显示点An的亮度分配率γn。

γh=Σj∈Γnwj,hβj]]>在上述式98中，wj，h是表示投影面Lj对于图像生成面LDn的贡献程度的系数。
这里，例如如图77(b)所示，考虑在两个二维图像生成面LD1、LD2之间设定了投影面L1、L2的情况。此时，如果设从投影面L1到所述各图像显示面LD1、LD2的距离分别为B1、B2，则所述投影面L1对所述各二维图像生成面LD1、LD2的贡献程度为w1，1、w1，2，例如由下述式99提供。
w1,1=B2B1+B2,]]>w1,2=B1B1+B2]]>同样地，如果从投影面L2到所述各二维图像生成面LD1、LD2的距离分别为B3、B4，则所述投影面L2对于所述各二维图像生成面LD1、LD2的贡献程度W2，1、W2，2由下述式100提供。
w2,1=B4B3+B4,]]>w2,2=B3B3+B4]]>其结果是，所述二维图像生成面LD1的显示点A1的亮度分配率γ1以及所述显示面LD2的显示点A2的亮度分配率γ2分别如下述式101所示。
γ1＝w1，1β1+w2，1β2，γ2＝w1，2β1+w2，2β2这样，在取得所述物体的三维形状时，如果取得了根据所述投影点串上的各投影点Tj的相关度Qj赋予在所述各投影点Tj上存在物体表面的概率(存在概率)βj的形状，并按照所述存在概率βj赋予所述二维图像生成面LD上的显示点A的亮度分配系数，则在所述投影点串上的各投影点Tj中不存在具有特征性的值的相关度Qj的投影点，且对于物体表面的距离估计的可靠性低的情况下，在该投影点串上，所述物体的表面模糊地表现在多个投影面上。而且，如果根据所述各投影点Tj的存在概率β确定所述二维图像生成面LD上的点的亮度分配系数γ，则在实际的图像显示面上显示所述二维图像生成面上生成的二维图像并示出物体的三维像时，在对于距离的估计可靠性低，且所述存在概率β分散在多个投影点上的投影点串上，模糊地显示所述物体的表面。因此，所述DFD上显示的三维像上的噪声变得不显著，可以显示在观察者看来较自然的像。
如以上所说明的那样，根据本实施例4-1的图像生成方法，即使不求出所显示的物体的准确的三维形状，也可以显示在观察者看来较自然的三维像。
此外，在求出所述存在概率βj时，可以假设在投影点串上存在物体的表面的概率的概率密度分布，进行根据所述相关度Qj计算出的评价基准值vj的统计处理来求出，由此减少所取得的图像上的噪声所引起的所述存在概率βj的可靠性低下。
此外，在本实施例4-1的图像生成方法中，以取得以使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的点(像素)的彩色图像、并形成所述物体的三维形状的情况为例进行了说明，但在本实施例4-1的图像显示方法中，不限于所述彩色图像，也可以取得使用亮度(Y)、色差(U，V)来表现图像上的各点(像素)的黑白图像，并取得所述物体的三维形状。在所取得的图像为所述黑白图像的情况下，应该使用所述亮度信息(Y)作为与所述颜色信息相当的信息，通过本实施例4-1中说明的过程取得三维形状，并生成所述二维图像。
(实施例4-2)图78至图81是用于说明实施例4-2的图像生成方法的示意图，图78是表示投影点与对应点之间的关系的图，图79是表示确定投影点的颜色信息以及存在概率的步骤的一个示例的流程图，图80以及图81是说明存在概率的求出方法的图。
本实施例4-2的图像生成方法的基本过程的流程与所述实施例4-1的图像生成方法一样，在生成所述DFD上显示的多个二维图像时，进行如图66所示的从所述步骤101到步骤105的处理。在本实施例4-2的图像生成方法中，与所述实施例4-1的图像生成方法的不同点在于，在所述步骤101中，代替视点不同的多个图像，而取得对焦距离不同的多个图像，在所述步骤103中，使用所述对焦距离不同的图像来取得所述物体的三维形状。
使用本实施例4-2的图像生成方法生成例如用于在所述DFD上显示物体的三维像的多个二维图像时，首先取得从某视点通过改变对焦距离而拍摄的多个图像。此时，例如使用偏振型二值光学系统和变焦镜头来拍摄所述多个图像。并且，所取得的图像可以与所述实施例4-1一样，是彩色图像，也可以是黑白图像。接着，如所述实施例4-1中说明的那样，在设定了观察者的视点(步骤102)之后，进行取得所述物体的三维形状的步骤103的处理。
在所述步骤103的处理中，如所述实施例4-1中说明的那样，首先设定所述投影面Lj(j＝1，2，…，M)以及基准视点R(步骤10301、步骤10302)。然后，设定所述投影点串或对应点，确保存储所述投影面的信息的数组(区域)(步骤10303、步骤10304)。
在如本实施例4-2的三维图像显示方法那样使用对焦距离不同的多个图像来显示物体的三维像的情况下，在所述步骤10301中设定投影面Lj时，例如如图78所示那样，设定为离所述摄像机视点C的距离与由所述摄像机拍摄的图像的对焦距离fi(i＝1，2，…，N)一致。而且，在所述步骤10303中，与所述投影点Tj对应的对应点Gi设为从所述摄像机视点C看到所述投影点Tj时与所述投影点Tj重合的图像Imgi上的点。另外，关于投影点串的设定方法、所述投影点Tj的坐标和对应点Gi的数字图像坐标的对应，因为可以通过与所述实施例4-1中说明的方法一样的方法建立对应，所以省略详细的说明。
此外，所述步骤10304的确保存储投影面信息的区域的处理也进行与所述实施例4-1中说明的处理一样的处理，所以省略详细的说明。
接着，使用所述取得的多个图像来确定所述各投影点Tj的颜色信息以及存在概率信息(步骤10305)。在本实施例4-2的三维图像显示方法中也一样，在所述步骤10305中，例如如图79所示那样，进行针对所设定的所有投影点串反复进行确定某投影点串上的各投影点Tj的颜色信息以及存在概率的处理的双重循环处理。因此，首先初始化所述投影点串(步骤10305a)。然后，初始化所述投影点串上的投影点Tj，例如设为j＝1(步骤10305b)。
接着，确定所述投影点Tj的颜色信息(步骤10305c)。在所述步骤10305c中，例如将在所述步骤10303中设定的各对应点Gi的颜色信息的平均值确定为所述投影点Tj的颜色信息Kj。
接着，根据与所述投影点Tj对应的各对应点Gi所反映的物体上的点的对焦程度(对焦度)求出所述投影点Tj的对焦度Qj(步骤10305j)。根据图像上的点或微小区域中的图像的清晰或模糊的程度来确定对焦度。如上所述，所述对焦度的计算方法基于Depth from Focus理论或Depthfrom Defocus理论，有各种方法。此时，例如通过比较所述各对应点Gi的局部空间频率的大小来求出所述对焦度Qj。
所述Depth from Focus理论或Depth from Defocus理论是分析对焦距离不同的多个图像并计测所述物体的表面形状的方法。此时，例如可以估计在与改变所述对焦距离而拍摄的图像中局部空间频率最高的图像的对焦距离相应的距离处存在所述物体的表面。因此，例如使用下述式102表示的局部空间频率评价函数来计算所述投影点Tj的对焦度Qj。
Q=1DΣx=xixfΣy=yiyf{Σp=-LclcΣq=-LrLr|f(x,y)-f(x+p,y+q)|}]]>这里，f是像素的浓淡值，D是用于进行规一化的常数，是进行评价的所有的像素数，(-Lc，-Lr)-(Lc，Lr)以及(xi，yi)-(xf，yf)分别是用于进行分散评价和平滑化的小区域。
另外，上述式102是所述对焦度Qj的求出方法的一个示例，也可以使用上述式102以外的公式求出所述对焦度Qj。
在通过所述步骤10305j求出所述对焦度Qj之后，更新所述投影点Tj，确认是否对于成为处理对象的投影点串上的所有的投影点进行了所述步骤10305c以及步骤10305j的处理(步骤10305e)。这里，如果存在未进行所述步骤10305c以及步骤10305j的处理的投影点，则返回所述步骤10305c并求出所述颜色信息Kj以及对焦度Qj。
对于作为处理对象的投影点串上的所有投影点求出所述颜色信息以及对焦度Qj时，如图80所示那样，对于投影点串上的各投影点Tj赋予了颜色信息Kj以及对焦度Qj。此时，所述各投影点Tj的对焦度Qj是与所述实施例4-1中确定存在概率β时使用的相关度相当的程度，根据物体的形状和表面的图案(纹理)、或者拍摄条件等，在比较投影点串上的各投影点Tj的对焦度Qj时，有时不存在相关度具有特征性的小值的投影点。在这样的情况下，即使估计为所述物体的表面处于某一投影点上，其可靠性仍较低，有估计错误的情况。而且，在估计错误的情况下，该影响在所生成的图像上表现为大的噪声。
因此，在本发明的三维图像显示方法中，接着如图81所示那样，确定在所述投影点串上的各投影点Tj上存在物体的表面的概率(存在概率)βj。此时，如所述实施例4-1中说明的那样，为了防止所取得的图像上的噪声所引起的可靠性低下，在进行了针对评价基准值vj的统计处理之后确定所述存在概率βj(步骤10305f)。在所述步骤10305f中计算出评价基准值vj时，所述评价基准值vj需要满足上述式87以及式88。因此，在本实施例4-2中，例如使用下述式103来确定投影点Tk的评价基准值vj。
βk=QkΣj=1MQj]]>另外，从根本上说，所述评价基准值vj满足上述式87以及式88的条件即可。因此，所述评价基准值vj也可以使用上述式97以外的公式确定。
在所述步骤10305f中计算出评价基准值vj之后，接着，通过上述的过程进行参数拟合，如图81所示那样，确定所述各投影点Tj的存在概率βj(步骤10305g、10305h)。
在通过所述步骤10305h确定了所述各投影点Tj的存在概率βj之后，将所述各投影点Tj的颜色信息Kj以及存在概率βj存储在所述步骤10304中确保的区域中。
在存储了所述各投影点Tj的颜色信息Kj以及存在概率βj之后，更新所述投影点串，确认是否对于所述步骤10303中确定的所有的投影点串进行了所述步骤10305c至步骤10305h的处理(步骤10305i)。这里，如果存在未进行所述步骤10305c至步骤10305h的处理的投影点串，则返回所述步骤10305b，并重复从所述步骤10305c至步骤10305h的处理。
这样，如果针对所述步骤10303中确定的所有的投影点串进行了从所述步骤10305c到步骤10305h的处理，则所述步骤10305的处理结束，并得到所述物体的三维形状。然后，在通过所述步骤103的处理取得了所述物体的三维形状之后，通过与所述实施例4-1一样的过程，基于所述取得的物体三维形状确定所述二维图像生成面LD上的显示点A的颜色信息以及亮度分配系数γ，并生成在DFD那样的多个重合的图像显示面上显示的二维图像(步骤104)，并在实际的图像显示面上显示所生成的图像(步骤105)时，可以示出所述物体的三维像。
本实施例4-2的三维图像显示方法也与所述实施例4-1的三维图像显示方法一样，在所取得的所述物体的三维形状中，在所述投影点串上的各投影点Tj中不存在具有特征性的值的对焦度Qj的投影点、且对于物体表面的距离估计的可靠性低的情况下，在该投影点串上，在多个投影面上模糊地表现所述物体的表面。而且，如果根据所述各投影点Tj的存在概率β确定所述二维图像生成面LD上的点的亮度分配系数γ，则在实际的图像显示面上显示在所述二维图像生成面上生成的二维图像并示出物体的三维像时，对于距离估计的可靠性低、所述存在概率β分散在多个投影点上的投影点串上，模糊地显示所述物体的表面。因此，所述DFD上显示的三维像上的噪声不显著，可以显示在观察者看来较自然的像。
如以上所说明的那样，根据本实施例4-2的三维图像显示方法，与所述实施例4-1一样，即使不求物体的准确的三维形状，也可以显示看上去较自然的三维形状。
另外，在本实施例4-2的图像生成方法的情况下，所取得的图像也可以是彩色图像、黑白图像中的一种，在黑白图像的情况下，可以使用亮度信息(Y)作为与所述颜色信息相当的信息，进行本实施例4-2中说明的处理。
(实施例4-3)图82至84是用于说明基于本发明的实施例4-3的任意点图像生成方法的示意图，图82是表示整体的处理过程的一个示例的流程图，图83是说明渲染的原理的图。图84(a)以及图84(b)是表示将存在概率变换为透明度的处理过程的一个示例的流程图。
在所述实施例4-1以及实施例4-2中，举出了使用在所述步骤103中取得的所述被摄体的三维形状、来生成在所述DFD那样具有多个图像显示面的装置的所述各图像显示面上显示的二维图像的方法的示例，但所述被摄体的三维形状模型不限于此，也可以在生成从任意的视点看到的所述被摄体的二维图像时使用。此时，与所述实施例4-1以及所述实施例4-2的不同之处在于，如图82所示那样，在所述步骤103之后，进行渲染、即将所述被摄体的三维形状转变为从所述观察者的视点看到的二维图像的步骤106。此时，由于在从所述步骤101到步骤103中取得所述被摄体的三维形状的处理和所述实施例4-1以及实施例4-2中说明的一样，因此省略详细的说明。
另外，在本实施例4-3的任意视点图像生成方法中，进行渲染的步骤106例如象图83所示那样，通过对从所述观察者的视点P看为与所述任意视点图像上的点A重合的投影点Tj(j＝1，2，…，M)的颜色信息Kj进行混合处理，来确定所述待显示的任意视点图像上的各点(像素)的颜色信息。对于使用透明度αj的颜色信息混合处理，如第二实施方式中的实施例2-2等中说明的那样。
在本实施例4-3的任意视点图像生成方法中，也例如如图84(a)所示那样，在确定所述存在概率βj的步骤10305h之后，进行将所述存在概率vj变换为透明度αj的处理(步骤107)。
将所述存在概率vj变换为透明度αj的处理例如如图84(b)所示那样，首先将投影点Tj初始化而设为j＝M(步骤107a)。接着，将所述投影点TM的透明度αM设为αM＝βM(步骤107b)。
接着，将变量j的值更新为j＝j-1(步骤107c)。然后，判别αj+1是否为1(步骤107d)。这里，如果透明度αj+1为αj+1≠1，则根据例如下式104求出所述透明度αj(步骤107e)。

αj=1Πm=j+1M(1-αm)βj]]>此外，在所述透明度αj+1为1的情况下，例如，设为αj＝1(步骤107f)。另外，在所述步骤107e中求所述透明度αj时，不限于上述式104，也可以用其它的公式求出。并且，虽然省略了详细的说明，但在所述步骤107e中，实际上也可以将αj设为任意的值，所以也可以设为1以外的值。
接着，判别从所述步骤107d至步骤107f的处理是否进行到变量j＝1(步骤107g)。这里，如果处理还未完成，则返回所述步骤107c并反复处理。
所述步骤107d至步骤107f的处理进行到变量j＝1之后，将从所述观察者视点P看为与图像面上的点A重合的投影点Tj的所述存在概率vj变换为透明度αj的处理结束。然后，在所述渲染的步骤104中，进行使用上述式62以及式63的混合处理，并求出任意视点图像上的点A的颜色信息DM。然后，如果能对所述任意视点图像上的所有的点(像素)进行该处理，则可以从所述观察者的视点P得到任意视点图像。
此外，在本实施例4-3的图像生成方法的情况下也一样，所取得的图像可以是彩色图像或者黑白图像中的一种，在黑白图像的情况下，可以使用亮度信息(Y)作为与所述颜色信息相当的信息，进行如所述实施例4-1中说明的处理而取得了物体的三维形状之后，通过本实施例4-3中说明的过程生成虚拟视点图像。
(实施例4-4)图85至图89是表示基于本发明的实施例4-4的图像生成装置的概略结构的示意图，图85以及图86是表示装置的结构的方框图，图87至图88是表示使用了图像生成装置的图像显示系统的结构例的图。
在图85以及图86中，2是三维图像生成装置，201是被摄体图像取得单元，202是观察者视点设定单元，203是投影面等设定单元，204是纹理数组确保单元，205是颜色信息/存在概率确定单元，206是投影面信息-显示面信息变换单元，207是图像输出单元，208是渲染单元，3是图像显示单元，4是被摄体图像摄影单元，5是视点信息输入单元。
本实施例4-4的图像生成装置2是通过所述实施例4-1以及实施例4-2中说明的过程取得物体的三维形状，并生成在DFD那样的具有多个重合的图像显示面的图像显示单元3的各图像显示面上显示的二维图像，或从任意的视点看到的所述物体的图像的装置。此时，在生成由所述DFD显示的图像的装置的情况下，例如如图85所示那样，具有被摄体图像取得单元201，其取得拍摄条件不同的多个被摄体图像；观察者视点设定单元202，其设定观察所生成的图像的观察者的视点；投影面等设定单元203，其设定用于确定存在概率的投影面、投影点、对应点；纹理数组确保单元204，其确保存储投影面上的点(投影点)的颜色信息以及存在概率的纹理数组；颜色信息/存在概率确定单元205，其确定所述投影点的颜色信息以及在所述投影点上存在物体表面的概率(存在概率)；投影面信息-显示面信息变换单元206，其将所述投影点的颜色信息以及存在概率的信息变换为所述图像显示面上显示的二维图像上的点的颜色信息以及存在概率；以及图像输出单元207。此时，从所述图像输出单元207输出的图像，例如显示在DFD那样具有多个重合的图像显示面的图像显示单元3上。
此外，如实施例4-3中说明的那样，在生成从所述任意视点看到的所述物体的图像的装置的情况下，如图86所示那样，代替所述投影面信息-显示面信息变换单元206而具有渲染单元208。并且，虽然省略了图示，但也可以为如下结构具有所述投影面信息-显示面信息变换单元206以及所述渲染单元208两者，根据来自观察者的命令，生成由某一个单元指定的图像。
此外，所述被摄体图像取得单元201取得由被摄体图像摄影单元4拍摄的被摄体(物体)的图像。此时，所述被摄体图像摄影单元4例如可以是在多个视点处设置了摄像机的摄影单元，也可以是能够从一个视点拍摄焦点位置不同的图像的摄影单元。并且，此时，在由所述被摄体图像摄影单元4从一个视点拍摄焦点位置不同的图像的情况下，例如，可以使用偏振型二值光学系统(例如参照文献12)或变焦镜头(例如，参照文献13)。并且，除此之外，也可以高速地切换焦点位置不同的多个镜头来进行拍摄。
此外，所述观察者视点设定单元202例如基于观察者使用鼠标或键盘等视点信息输入单元5输入的信息，设定从所述观察者的视点到所述图像显示单元3的图像显示面的距离等。并且，所述视点信息输入单元5也可以是检测所述观察者的姿势或视线，并输入与该姿势或视线对应的信息的单元。
此外，所述投影面等设定单元203，如所述实施例4-1以及实施例4-2中说明的那样，例如，设定互相平行的投影面Lj、投影点串、对应点等。
此外，所述纹理数组确保单元204如所述实施例4-1以及实施例4-2中说明的那样，例如在装置内所设置的存储器上确保存储投影面上的投影点Tj的颜色信息以及存在概率βj的区域。
此外，所述颜色信息/存在概率确定单元205如所述实施例4-1以及实施例4-2中说明的那样，根据与所述投影点Tj对应的图像上的对应点G确定颜色信息，并且确定所述投影点Tj上存在物体表面的概率βj。
此外，如所述实施例4-1中说明的那样，所述投影面信息-显示面信息变换单元207将所述投影面的颜色信息以及存在概率变换为所述图像显示单元的各图像显示面上显示的二维图像上的点(显示点)的颜色信息以及亮度分配率。并且，在代替所述投影面信息-显示面信息变换单元206而具有所述渲染单元208的情况下，如所述实施例4-3中说明的那样，确定基于上述式59或式62及式63之间的关系而生成的图像上的各点的颜色信息。
本实施例4-4的图像生成装置2例如通过所述实施例4-1以及实施例4-2中说明的过程生成在所述DFD上显示的图像。即，在所述三维图像生成装置2中可以不进行以往的求出物体的准确三维形状的处理。因此，即使是没有高的处理能力的装置，也可以高速且容易地生成在所述DFD上显示的图像。
此外，本实施例4-4的图像生成装置2例如可以通过计算机和在所述计算机中执行的程序来实现。在这种情况下，在所述计算机中执行记载了与所述实施例4-1中说明的处理过程或所述实施例4-2中说明的处理过程相当的命令的程序即可。并且，此时，所述程序可以记录于例如磁、电、光学记录介质中来提供，也可以利用互联网等的网络来提供。
此外，使用本实施例4-4的图像生成装置2的图像显示系统例如考虑如图87所示的结构。此时，所述被摄体图像摄影单元4可以设置在接近观察者User观察所述图像显示单元(DFD)3的空间的地方，也可以设置在地理上遥远的地方。在所述被摄体图像摄影单元4设置于地理上遥远的地方的情况下，所拍摄的图像可以利用互联网等网络传输到所述三维图像生成装置2。
此外，使用本实施例4-4的图像生成装置2的图像显示系统如图87所示那样，不仅可以应用于某观察者User观察某被摄体Obj的情况，也可以应用于电视电话或电视会议等双向的通信系统中。在这种情况下，例如如图88所示，可以分别在各观察者UserA、UserB所处的空间中设置三维图像生成装置2A、2B、图像显示单元(DFD)3A、3B、被摄体图像摄影单元4A、4B、基准视点设定单元5A、5B。而且，例如将所述各观察者UserA、UserB所处的空间中设置的图像生成装置2A、2B通过互联网等的网络6连接起来时，使用者UserA可以通过所述图像显示单元3A观察根据由所述被摄体图像摄影单元4B拍摄的图像生成的观察者UserB的三维像。同样地，观察者UserB可以通过所述图像显示单元3B观察根据由所述被摄体图像摄影单元4A拍摄的图像生成的观察者UserA的三维像。
此外，在应用于这样的双向通信系统的情况下，所述各图像生成单元2A、2B不必为如图88所示的结构，而也可以为所述图像生成装置2A、2B中的某一个是不具有图86所示的结构单元的一般的通信终端。并且，可以对所述图像生成装置2A、2B分配图86所示的各结构单元。
此外，如图88所示，如果在网络6上设置有其它的图像生成装置2C，则即使不在所述观察者UserA、UserB所处的空间内设置所述图像生成装置2A、2B，也可以利用所述网络6上的图像生成装置2C取得在所述图像显示单元(DFD)3A、3B上显示的物体的三维像。
此外，在图87以及图88中，示出了所述被摄体图像摄影单元4设置有多个摄像机的系统，但如所述实施例4-2中说明的那样，在根据对焦距离不同的图像取得物体的三维形状时，例如如图89所示那样，在生成显示图像时，摄像机也可以为一个。
以上，基于所述实施例具体地说明了本发明，但本发明不限于所述实施例，在不脱离其主旨的范围内，当然可以进行各种变更。
例如，在所述实施例4-1中，说明根据视点不同的图像显示物体的三维像的方法，在所述实施例4-2中，说明了根据对焦距离不同的图像显示物体的三维像的方法，但也可以将这些方法组合而显示物体的三维像。在这种情况下，对于某投影点Tj，根据视点不同的图像的对应点求出相关度，并根据从某视点看去的改变了焦点位置的图像的对应点求出局部空间频率，将它们组合而求出存在概率βj。这样，所述存在概率βj的可靠性提高，可以显示在观察者看来较自然的图像。
(第四实施方式的效果)在第四实施方式的图像生成方法中，在取得所述被摄体的三维形状时，如上所述，设定多个投影面，对于从所述基准视点看为重合的所述各投影面上的点(投影点)赋予在所述各投影点上存在所述被摄体的表面的概率(存在概率)。即，不是如现有的取得三维形状的方法那样，考虑在从所述基准视点看为重合的投影点中的一个投影点上存在物体的表面，而是考虑在所述各投影点上以一定的概率存在所述被摄体的表面。并且，在确定所述存在概率时，对根据所述投影点的相关度或对焦度计算出的评价基准值进行了统计处理之后，根据所述统计处理后的评价基准值生成所述各投影点的存在概率。此时，所示统计处理假设所述被摄体的概率分布模型，求出所述各投影点的评价基准值的拟合函数，从而确定所述各投影点的存在概率。
这样，在从所述基准视点观察某个方向时，即使在估计被摄体的表面位于哪个距离(投影点)时的可靠性低的情况下，仍在与实际上存在所述被摄体表面的距离相应的投影点上，以一定的概率存在所述被摄体的表面。因此，基于通过上述过程取得的被摄体的三维形状生成从所述观察者视点看到的所述被摄体的图像，从而在现有方法中的距离估计错误时产生的不连续噪声变得不显著。并且，可以通过进行所述评价基准值的统计处理而确定存在概率，减少所述取得的图像的噪声的影响所引起的所述存在概率的可靠性低下。
此外，根据本实施方式，即使是一般的普及型个人计算机那样的处理性能低的装置，也可以高速地生成所述各二维图像。
接着说明本发明的第五实施方式。第五实施方式主要是与权利要求44～权利要求53对应的实施方式。在第五实施方式中，根据在互不相同的拍摄条件下对被摄体进行拍摄而得到的多个图像，取得所述被摄体的三维形状，并基于所取得的所述被摄体的三维形状，在如DFD那样具有多个显示面的显示器上显示所述被摄体的三维像。另外，在第五实施方式中，不进行第四实施方式中说明的参数拟合的处理。另外，在用于说明第五实施方式的图中，对具有相同功能的部分标以相同标号。
在取得所述被摄体的三维形状时，在虚拟的三维空间上设定多层结构的投影面，对于从观察者的视点看为重合的多个投影面上的点(投影点)，确定所述各投影点的颜色信息或亮度信息、以及在所述投影点上存在被摄体的表面的概率(存在概率)。然后，在基于所取得的所述被摄体的三维形状生成在所述多个显示面上显示的二维图像时，对分配所述投影点的颜色信息或亮度信息的二维图像上的点分配所述颜色信息或亮度信息、以及存在概率，在所述图像显示面上进行显示时，以与所述存在概率的高低对应的亮度来显示二维图像上的各点。这样，模糊地显示关于所述被摄体的表面距离估计的可靠性低的部分，示出在观察者看来较自然的三维像。
(实施例5-1)图90至图100是用于说明基于本发明的实施例5-1的三维图像显示方法的示意图，图90是表示整体的处理过程的一个示例的流程图，图91以及图92是表示投影面的设定方法的一个示例的图，图93是说明投影点串的设定方法的图，图94是表示确定投影点的颜色信息以及存在概率的步骤的处理过程的一个示例的流程图，图95至图97是说明存在概率的确定方法的图，图98至图100是说明在各图像显示面上显示的二维图像的生成方法的图。
本实施例5-1的三维图像显示方法例如如图90所示那样，具有取得从不同的视点拍摄物体而得的多个图像的步骤101；设定观察所显示的物体的三维像的观察者视点(基准视点)的步骤102；根据所述多个图像取得所述物体的三维形状的步骤103；基于在所述步骤103中取得的所述物体的三维形状，生成在各图像显示面上显示的二维图像的步骤104；以及在所述各图像显示面上显示在所述步骤104中生成的各二维图像，从而示出所述物体的三维像的步骤105。
在使用本实施例5-1的三维图像显示方法、在所述DFD上显示物体的三维像时，首先取得从不同的视点拍摄所述物体而得的图像(步骤101)。此时，拍摄所述取得的图像的视点例如可以直线状地排列成一列，也可以二维地排列在圆弧状或任意的曲线上，或者平面或曲面上。并且，此时，所取得的图像可以是彩色图像，也可以是黑白图像，但在本实施例5-1中，假设为取得由使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的各点(像素)的彩色图像而进行说明。
在所述步骤101中取得图像之后，接着设定观察所述DFD上所显示的物体的观察者的视点(步骤102)。此时，对于所述观察者的视点，例如设定离所述多个图像显示面中的成为基准的图像显示面的距离等的所述观察者的视点和所述图像显示面的相对位置关系、或视线的方向等。
在所述步骤102中设定了观察者的视点之后，接着根据在所述步骤101中取得的多个图像取得所述图像中反映的物体的三维形状(步骤103)。在所述步骤103中，首先设定多层结构的投影面Lj(j＝1，2，…，M)(步骤10301)。然后，接着设定用于取得所述物体的三维形状的基准视点R(步骤10302)。此时，所述投影面Lj例如如图91所示那样，设定多个与虚拟的三维空间上的XY平面平行的面。并且，此时，所述各投影面Lj例如如图92所示那样，设定在从所述三维空间上的Z＝0开始负方向的距离lj上。并且，所述基准视点R是用于取得所述物体的三维形状的视点，可以设定在三维空间上的任意的点上。因此，所述基准视点R设为在所述步骤102中设定的观察者视点，例如，将离所述Z＝0最远的投影面L1作为所述DFD的从观察者看为处于最里侧的图像显示面，如图92所示那样，离所述投影面L1的距离设定为从所述观察者的视点到处于所述DFD的最里侧的图像显示面的距离ld。
在所述步骤10301以及步骤10302中设定了所述投影面Lj以及基准视点R之后，接着设定所述投影面上的投影点、以及与所述各投影点对应的所述取得的图像上的点(对应点)等(步骤10303)。此时，所述投影点例如如图93所示那样，设定为从所述基准视点R向多个方向引出直线、所述各直线和所述各投影面Lj之间的交点。并且，由于在估计所述被摄体的表面的距离时，对于所述同一直线上的多个投影点Tj估计存在于哪个投影点上，所以如图93所示那样，将同一直线上的投影点Tj作为投影点串S来一起处理。
此外，所述对应点如图91以及图92所示那样，是在从所述投影点Tj看到所述各摄像机的视点Ci时，与所述摄像机的视点重合的所述各摄像机的图像面上的点Gij。此时，如图91所示，如果在所述各图像面上设定二维的坐标系(xy坐标系)，则与所述投影点Tj(Xj，Yj，Zj)对应的对应点Gij的二维坐标(xij，yij)可以通过将所述投影点Tj投影到各图像面上的二维的点上来求出。该投影可以使用一般的将三维空间上的点(X，Y，Z)投影到二维平面上的点(x，y)的3行4列的投影矩阵进行。所述虚拟的三维空间内的所述对应点Gij的坐标(xij，yij)和所述数字图像坐标(u，v)之间的关系与其它的实施方式中说明的形式一样。
在所述步骤10303中，设定所述对应点Gij的数字图像坐标(uij，vij)和所述投影点Tj的三维空间坐标(Xj，Yj，Zj)之间的对应关系。该对应关系可以针对所有的(uij，vij)将(Xj，Yj，Zj)设定为表，也可以仅对代表性的(uij，vij)设定(Xj，Yj，Zj)的值，其余的点例如可以通过线性插值等的插值处理来求出。
此外，在所述数字图像坐标系中，(u，v)取离散值，但在下面的说明中，只要没有特别的说明则取连续值，在访问所述二维数组时进行适当的离散化处理。
在所述步骤10303中确定了所述投影点串、对应点等之后，接着确保存储所述投影面Lj的信息、即在所述投影面Lj上进行纹理映射的图像的数组(步骤10304)。此时，所确保的数组对于每个像素具有例如8位的颜色信息(R，G，B)以及存在概率信息，作为与所述投影点Tj的位置对应的纹理信息。
在所述步骤10304中确保了存储所述投影面的信息的数组之后，接着确定各投影点Tj的颜色信息以及存在概率(步骤10305)。在所述步骤10305中，例如如图94所示那样，进行针对所设定的所有的投影点串反复进行确定某投影点串上的各投影点Tj的颜色信息及存在概率的处理的双重循环处理。因此，首先初始化所述投影点串(步骤10305a)。然后，初始化所述投影点串上的投影点Tj，例如设为j＝1(步骤10305b)。
接着，确定所述投影点Tj的颜色信息(步骤10305c)。在所述步骤10305c中，例如将在所述步骤10303中设定的各对应点Gi的颜色信息Ki的平均值确定为所述投影点Tj的颜色信息Kj。
接着，求出与所述投影点Tj对应的各对应点Gij(i∈I)上所反映的物体上的点的相关度Qj(步骤10305d)。此时，例如，将表示所述投影点Tj的颜色信息的矢量设为Kj，将表示各对应点Gij的颜色信息的矢量设为Kij时，与第四实施方式一样，所述相关度Qj通过下述式105求出。
Qj=Σi∈I(Kj-Kij)2]]>在使用上述式105求出相关度Qj的情况下，所述相关度Qj总是取正值，并且相关越高则值越小。
另外，上述式105是所述相关度Qj的求出方法的一个示例，也可以使用上述式105以外的公式求出所述相关度Qj。并且，在求出所述相关度Qj时，不仅可以考虑所述投影点Tj和所述对应点Gij的一点来求出，也可以考虑包含所述投影点Tj以及所述对应点Gij附近的多个点在内的小区域来求出。
通过所述步骤10305d求出所述相关度Qj之后，更新所述投影点Tj，确认是否对于成为处理对象的投影点串上的所有的投影点进行了所述步骤10305c以及步骤10305d的处理(步骤10305e)。这里，如果存在未进行所述步骤10305c以及步骤10305d的处理的投影点，则返回所述步骤10305c以求出所述颜色信息Kj以及相关度Qj。
如果针对作为处理对象的投影点串上的所有的投影点求出了所述颜色信息以及相关度Qj，则如图95所示那样，对于投影点串上的各投影点Tj赋予了颜色信息Kj以及相关度Qj。此时，比较所述各投影点Tj的相关度Qj，一般如图96(a)所示那样，仅有某投影点Tm的相关度Qm取特征性的小值。在这样的情况下，在该投影点串上，可以估计为所述物体的表面处于所述投影点Tm上，其可靠性也较高。
但是，如此前的实施方式中说明的那样，根据物体的形状或表面的图案(纹理)或者拍摄条件等，比较投影点串上的各投影点Tj的相关度Qj时，如图96(b)所示那样，有时不存在相关度具有特征性的小值的投影点。在这样的情况下，即使估计为所述物体的表面处于某一投影点上，其可靠性也较低，有估计错误的情况。而且，在估计错误的情况下，该影响在所生成的图像上表现为大的噪声。
因此，在本发明的三维图像显示方法中，接着确定在所述投影点串上的各投影点Tj处存在物体表面的概率(存在概率)βj(步骤10305f)。此时，所述存在概率βj需要满足下述式106以及式107。
0≤βj≤1[式107]Σj=1Mβj=1]]>而且，在设为在投影点Tj上存在物体表面的概率越高则所述存在概率βj取越接近1的值时，可以对于针对所述投影点串上的各投影点Tj求出的相关度Qj，例如进行由下述式108以及式109表示的变换处理而确定所述存在概率βj(j∈J)。

β~j=1Qj]]>[式109]βj=βjΣj=1Mβ~j]]>另外，从根本上说，所述存在概率βj只要满足上述式106以及式107的条件即可。因此，所述变换处理也可以使用上述式108以及式109以外的公式来确定。
在通过所述步骤10305f确定了所述各投影点Tj的存在概率βj之后，将所述各投影点Tj的颜色信息Kj以及存在概率βj存储在所述步骤10304中确保的区域中。
在存储了所述各投影点Tj的颜色信息Kj以及存在概率βj之后，更新所述投影点串，确认是否对于所述步骤10303中确定的所有的投影点串进行了所述步骤10305c至步骤10305f的处理(步骤10305g)。这里，如果存在未进行所述步骤10305c至步骤10305f的处理的投影点，则返回所述步骤10305b，重复从所述步骤10305c至步骤10305f的处理。
这样，如果针对所述步骤10303中所确定的所有的投影点串进行了从所述步骤10305c到步骤10305f的处理，则所述步骤10305的处理结束，并得到所述物体的三维形状。
进行了所述步骤103的处理时，例如如图97所示那样，在某投影点串上的各投影点Tj(j＝1，2，…，M)的纹理数组中保持有颜色信息Kj以及存在概率βj。即，通过本发明的三维图像显示方法取得的物体的三维形状不是如现有的方法那样在所述投影点串上的某一投影点上存在物体的表面，而是在所述各投影点上存在。在本发明的三维图像显示方法中，使用这样的物体的三维形状生成分别在所述多个图像显示面上显示的二维图像(步骤104)。
在所述步骤104中，在生成所述各图像显示面上显示的二维图像时，首先在所述虚拟的三维空间上设定观察者的视点、多个二维图像生成面、在所述步骤103中取得的所述物体的三维形状。此时，例如如图98所示那样，所述二维图像生成面LDn(n＝1，2，…，N)设定为从所述观察者的视点P看为在深度方向上重合。并且，从所述观察者的视点P到所述各二维图像生成面LDn的距离ldn设定为在所述步骤102中设定的距离。并且，此时，如果假设表现所述物体三维形状的投影面Lj的数目以及设定间隔与所述二维图像生成面LDn的数目以及设定间隔一致，则所述物体的三维形状例如如图98所示那样，设定为所述投影面Lj和所述二维图像生成面LDn一致。此时，如果假设所述二维图像生成面LDn是生成亮度调制型DFD的各图像显示面上所显示的图像的面，则需要对于从观察者的视点P看为重合的所述二维图像生成面LDn上的各点(显示点)An确定颜色信息KDn以及存在概率(亮度分配系数)γn。这里，如图98所示，如果表现所述物体三维形状的投影面Lj和二维图像生成面LDn形成了一致，则所述各显示点An的颜色信息KDn成为与所述各显示点An所处的二维图像生成面LDn重合的投影面Lj的投影点Tj的颜色信息Kj。并且，关于所述各显示点An的亮度分配率γn，分配与所述各显示点An所处的二维图像生成面LDn重合的投影面Lj的投影点Tj的存在概率βj。这样，在对于所述二维图像生成面LDn上的各显示点A确定了颜色信息KD以及亮度分配系数γ之后，输出在该二维图像生成面LDn上生成的图像，并在实际的DFD的图像显示面上显示(步骤105)。
但是，表现所述物体三维形状的投影面Lj的数目以及设定间隔不必与所述二维图像生成面LDn的数目以及设定间隔一致。因此，接着说明投影面Lj的数目以及设定间隔与所述二维图像生成面LDn的数目以及设定间隔不一致的情况下的所述二维图像生成方法。
此时，如果从所述观察者的视点P看为最靠前的投影面到最里侧的投影面的距离与从最靠前的二维图像生成面到最里侧的二维图像生成面的距离大致相等，则表现所述物体三维形状的投影面Lj例如如图99所示那样，设定为从所述观察者的视点P看为最里侧的投影面L1和二维图像生成面LD1重合。这样，从所述观察者的视点P看为最里侧的二维图像生成面LD1的各显示A的颜色信息KD以及亮度分配系数γ是从所述观察者的视点P看为最里侧的投影面L1上的各投影点T的颜色信息K以及存在概率β。
此外，关于不存在重合的投影面的二维图像生成面LD上的各显示点A的颜色信息KD以及亮度分配系数γ，通过如下的方法来确定。
关于不存在所述重合的投影面的二维图像生成面LD上的各显示点A的颜色信息KD以及亮度分配系数γ，例如，将从所述观察者的视点P看为与所述各显示点A重合的所述各投影面L上的投影点T的颜色信息K以及存在概率β分配给从所述投影面L看为最近的二维图像生成面LD上的显示点A。此时，所述显示点A的颜色信息KD成为所分配的各投影点T的颜色信息K的平均值，或者从所述显示点A所处的二维图像生成面LD看为最近的投影面L的投影点T的颜色信息K。并且，关于亮度分配系数γ，设为所述分配的各投影点T的存在概率β之和。此时，如果将某二维图像生成面LDn成为最近的生成面的投影面Lj的集合设为{Lj|j∈Γn}，则所述二维图像生成面LDn上的显示点An的亮度分配率γn使用所述各投影面Lj的投影点Tj的存在概率βj由下述式110提供。
γh=Σj∈Γnβj]]>这里，考虑所述投影面Lj和二维图像生成面LDn为如图100(a)所示的位置关系的情况。这里，如果将从观察者的视点P看为与显示点A1、A2重合的各投影点Tj(j＝1，2，3，4，5)的颜色信息Kj以及存在概率βj分配给从所述各投影面看为最近的二维图像生成面上的显示点A，则投影点T1、T2、T3的颜色信息以及存在概率被分配给所述显示点A1。此时，所述显示点A1的颜色信息KD1例如可以是所述各投影点T1、T2、T3的颜色信息K1、K2、K3的平均值，也可以是从所述显示点A1看为最近的投影点T2的颜色信息K2。此外，所述显示点A1的亮度分配系数γ1使用上述式110设为所述各投影点T1、T2、T3的存在概率β1、β2、β3之和。
同样地，所述投影点T4、T5的颜色信息以及存在概率被分配给二维图像生成面LD2，显示点A2的颜色信息KD2设为所述投影点T4、T5的颜色信息K4、K5的平均值或投影点T5的颜色信息K5。而且，关于亮度分配系数γ2，使用上述式110设为所述各投影点T4、T5的存在概率β4、β5之和。
此外，所述二维图像生成面LDn的设置间隔和所述投影面Lj的设定间隔不同，两个连续的二维图像生成面LDn、LDn+1之间的投影面Lj的投影点的颜色信息以及存在概率也可以根据所述投影面Lj和各二维图像生成面LDn、LDn+1的距离之比而分配。此时，如果将所述二维图像生成面LDn、LDn+1之间的投影面Lj的集合设为{Lj|j∈Γn}，则所述二维图像生成面LDn上的显示点An的亮度分配率γn使用所述各投影点Tj的存在概率βj由下述式111提供。
γh=Σj∈Γnwj,nβj]]>在上述式111中，wj，n是表示投影面Lj对于二维图像生成面LDn的贡献程度的系数。
这里，例如如图100(b)所示，考虑在两个二维图像生成面LD1、LD2之间设定了投影面L1、L2的情况。此时，如果假设从投影面L1到所述各显示面LD1、LD2的距离分别为B1、B2，则所述投影面L1对所述各二维图像生成面LD1、LD2的贡献程度w1，1、w1，2例如由下述式112提供。
w1,1=B2B1+B2,]]>w1,2=B1B1+B2]]>同样地，如果投影面L2与所述各二维图像生成面LD1、LD2之间的距离分别为B3、B4，则所述投影面L2对于所述各二维图像生成面LD1、LD2的贡献程度W2，1、W2，2由下述式113提供。
w2,1=B4B3+B4,]]>w2,2=B3B3+B4]]>其结果是，所述二维图像生成面LD1的显示点A1的亮度分配率γ1以及所述显示面LD2的显示点A2的亮度分配率γ2分别如下述式114所示。
γ1＝w1，1β1+w2，1β2，γ2＝w1，2β1+w2，2β2这样，在取得所述物体的三维形状时，如果根据所述投影点串上的各投影点Tj的相关度Qj取得赋予了在所述各投影点Tj上存在物体表面的概率(存在概率)βj的形状，并通过所述存在概率βj提供所述二维图像生成面LD上的显示点A的亮度分配系数，则在所述投影点串上的各投影点Tj中不存在具有特征性的值的相关度Qj的投影点，且对于物体表面的距离估计的可靠性低的情况下，在该投影点串上，所述物体的表面模糊地表现在多个投影面上。而且，如果根据所述各投影点Tj的存在概率β确定所述二维图像生成面LD上的点的亮度分配系数γ，则在实际的图像显示面上显示所述二维图像生成面上所生成的二维图像从而示出物体的三维像时，对于距离的估计的可靠性低，且所述存在概率β分散在多个投影点上的投影点串上，模糊地显示所述物体的表面。因此，所述DFD上所显示的三维像上的噪声不显著，可以显示在观察者看来较自然的图像。
如以上所说明的那样，根据本实施例5-1的三维图像显示方法，即使不求所显示的物体的准确的三维形状，也可以显示在观察者看来自然的三维图像。
此外，在本实施例5-1的图像显示方法中，以取得由使用红(R)、绿(G)、蓝(B)三原色的颜色信息表现图像上的点(像素)的彩色图像，并形成所述物体的三维形状的情况为例进行了说明，但在本实施例5-1的图像显示方法中，不限于所述彩色图像，也可以取得使用亮度(Y)、色差(U，V)表现图像上的各点(像素)的黑白图像，并取得所述物体的三维形状。在所取得的图像为所述黑白图像的情况下，可以使用所述亮度信息(Y)作为与所述颜色信息相当的信息，通过本实施例5-1中说明的过程取得三维形状，并生成所述二维图像。
(实施例5-2)图101至图104是用于说明基于本法明的实施例5-2的三维图像显示方法的示意图，图101是表示投影点和对应点之间的关系的图，图102是表示确定投影点的颜色信息以及存在概率的步骤的一个示例的流程图，图103以及图104是说明存在概率的求出方法的图。
本实施例5-2的三维图像显示方法的基本流程与所述实施例5-1的三维图像显示方法一样，进行如图90所示的从所述步骤101到步骤105的处理。在本实施例5-2的三维图像显示方法中，与所述实施例5-1的三维图像显示方法的不同点在于，在所述步骤101中，代替视点不同的多个图像，而取得对焦距离不同的多个图像，在所述步骤103中，使用所述对焦距离不同的图像取得所述物体的三维形状。
在使用本实施例5-2的三维图像显示方法在所述DFD上显示物体的三维像时，首先，取得从某视点通过改变对焦距离而拍摄的多个图像。此时，例如使用偏振型二值光学系统或变焦镜头等拍摄所述多个图像。并且，所取得的图像可以与所述实施例5-1一样，是彩色图像，也可以是黑白图像。接着，如所述实施例5-1中说明的那样，在设定了观察者的视点(步骤102)之后，进行取得所述物体的三维形状的步骤103的处理。
在所述步骤103的处理中，如所述实施例5-1中说明的那样，首先设定所述投影面Lj(j＝1，2，…，M)以及基准视点R(步骤10301、步骤10302)。然后，设定所述投影点串和对应点，确保存储所述投影面的信息的数组(区域)(步骤10303、步骤10304)。
在如本实施例5-2的三维图像显示方法那样使用对焦距离不同的多个图像显示物体的三维像的情况下，在所述步骤10301中设定投影面Lj时，例如如图101所示那样，设定为离所述摄像机的视点C的距离与所述摄像机拍摄的图像的对焦距离fi(i＝1，2，…，N)一致。而且，在所述步骤10303中，与所述投影点Tj对应的对应点Gi设为从所述摄像机的视点C看到所述投影点Tj时与所述投影点Tj重合的图像Imgi上的点。另外，关于投影点串的设定方法、所述投影点Tj的坐标和对应点Gi的数字图像坐标的对应建立，由于与所述实施例5-1中说明的方法一样，所以省略详细的说明。
此外，所述步骤10304的确保存储投影面的信息的区域的处理也进行与所述实施例5-1中说明的处理一样的处理即可，所以省略详细的说明。
接着，使用所述取得的多个图像确定所述各投影点Tj的颜色信息以及存在概率信息(步骤10305)。在本实施例5-2的三维图像显示方法中也一样，在所述步骤10305中，例如如图102所示那样，进行针对所设定的所有的投影点串反复进行确定某投影点串上的各投影点Tj的颜色信息以及存在概率的处理的双重循环处理。因此，首先初始化所述投影点串(步骤10305a)。然后，初始化所述投影点串上的投影点Tj，例如设为j＝1(步骤10305b)。
接着，确定所述投影点Tj的颜色信息(步骤10305c)。在所述步骤10305c中，例如将在所述步骤10303中设定的各对应点Gi的颜色信息的平均值确定为所述投影点Tj的颜色信息Kj。
接着，根据与所述投影点Tj对应的各对应点Gi上所反映的物体上的点的对焦程度(对焦度)求出所述投影点Tj的对焦度Qj(步骤10305h)。根据图像上的点或微小区域中的图像的清晰或模糊的程度来确定对焦度。所述对焦度的计算方法基于Depth from Focus理论或Depth fromDefocus理论，有各种方法。此时，例如通过比较所述各对应点Gi的局部空间频率的大小来求出所述对焦度Qj。
所述Depth from Focus理论或Depth from Defocus理论是分析对焦距离不同的多个图像并计测所述物体的表面形状的方法。此时，例如，可以估计为在与改变所述对焦距离而拍摄的图像中局部空间频率最高的图像的对焦距离相应的距离上存在所述物体的表面。因此，例如使用如下述式115表示的局部空间频率评价函数来计算所述投影点Tj的对焦度Qj。
Q=1DΣx=xixfΣy=yiyf{Σp=-LclcΣq=-LrLr|f(x,y)-f(x+p,y+q)|}]]>这里，f是像素的浓淡值，D是用于进行规一化的常数，是进行评价的所有的像素数，(-Lc，-Lr)-(Lc，Lr)以及(xi，yi)-(xf，yf)分别是用于进行分散评价和平滑化的小区域。
另外，上述式115是所述对焦度Qj的求出方法的一个示例，也可以使用上述式115以外的公式求出所述对焦度Qj。
在通过所述步骤10305h求出所述对焦度Qj之后，更新所述投影点Tj，确认是否对于成为处理对象的投影点串上的所有的投影点进行了所述步骤10305c以及步骤10305h的处理(步骤10305e)。这里，如果存在未进行所述步骤10305c以及步骤10305h的处理的投影点，则返回所述步骤10305c以求出所述颜色信息Kj以及对焦度Qj。
如果针对作为处理对象的投影点串上的所有的投影点求出了所述颜色信息以及对焦度Qj，则如图103所示那样，对于投影点串上的各投影点Tj赋予了颜色信息Kj以及对焦度Qj。此时，所述各投影点Tj的对焦度Qj是与所述实施例5-1中确定存在概率β时使用的相关度相当的程度，根据物体的形状和表面的图案(纹理)、或者拍摄条件等，在比较投影点串上的各投影点Tj的对焦度Qj时，有时不存在对焦度具有特征性的小值的投影点。在这样的情况下，即使估计为所述物体的表面处于某一投影点上，其可靠性也较低，有估计错误的情况。而且，在估计错误的情况下，该影响在所生成的图像上表现为大的噪声。
因此，在本发明的三维图像显示方法中，接着确定在所述投影点串上的各投影点Tj上存在物体表面的概率(存在概率)βj(步骤10305f)。此时，所述存在概率βj需要满足上述式106以及式107。因此，在本实施例5-2中，例如使用下述式116来确定投影点Tk的存在概率βk。
βk=QkΣj=1MQj]]>另外，从根本上说，所述存在概率βj满足上述式106以及式107的条件即可。因此，所述存在概率也可以使用上述式116以外的公式确定。
如图104所示，通过所述步骤10305f确定了所述各投影点Tj的存在概率βj之后，将所述各投影点Tj的颜色信息Kj以及存在概率βj存储在所述步骤10304中确保的区域中。
在存储了所述各投影点Tj的颜色信息Kj以及存在概率βj之后，更新所述投影点串，并确认是否对于步骤10303中确定的所有的投影点串进行了所述步骤10305c到步骤10305f的处理(步骤10305g)。这里，如果存在未进行所述步骤10305c到步骤10305f的处理的投影点串，则返回所述步骤10305b，重复从所述步骤10305c到步骤10305f的处理。
这样，如果对于所述步骤10303中确定的所有的投影点串进行了从所述步骤10305c到步骤10305f的处理，则所述步骤10305的处理结束，并得到所述物体的三维形状。然后，在通过所述步骤103的处理取得了所述物体的三维形状之后，如果通过与所述实施例5-1一样的过程，基于所述取得的物体的三维形状确定所述二维图像生成面LD上的显示点A的颜色信息以及亮度分配系数γ，生成在DFD那样的多个重合的图像显示面上显示的二维图像(步骤104)，并在实际的图像显示面上显示所生成的图像(步骤105)，则可以示出所述物体的三维像。
本实施例5-2的三维图像显示方法也与所述实施例5-1的三维图像显示方法一样，在所取得的所述物体的三维形状中，在所述投影点串上的各投影点Tj中不存在具有特征性的值的对焦度Qj的投影点、且对于物体表面距离的估计的可靠性低的情况下，在该投影点串上，所述物体的表面模糊地表现在多个投影面上。而且，如果根据所述各投影点Tj的存在概率β确定所述二维图像生成面LD上的点的亮度分配系数γ，则在实际的图像显示面上显示所述二维图像生成面上生成的二维图像从而示出物体的三维像时，对于距离估计的可靠性低，且所述存在概率β分散在多个投影点上的投影点串上，模糊地显示所述物体的表面。因此，所述DFD上所显示的三维像上的噪声不显著，可以显示在观察者看来较自然的像。
如以上所说明的那样，根据本实施例5-2的三维图像显示方法，与所述实施例5-1一样，即使不求物体的准确的三维形状，也可以显示看上去较自然的三维形状。
另外，在本实施例5-2的图像生成方法的情况下，所取得的图像也可以是彩色图像、黑白图像中的一种，在黑白图像的情况下，可以使用亮度信息(Y)作为与所述颜色信息相当的信息，进行本实施例5-2中说明的处理。
(实施例5-3)在本实施方式中，也可以构成与第四实施方式中的图85所示的结构一样的三维图像生成装置。并且，可以构成与第四实施方式中的图87～图89所示的结构一样的图像显示系统。但是，装置执行的处理对应于实施例5-1、5-2。
以上，基于所述实施例具体地说明了本发明，但本发明不限于所述实施例，在不脱离其主旨的范围内，当然可以进行各种变更。
例如，在所述实施例5-1中，说明了根据视点不同的图像显示物体的三维像的方法，在所述实施例5-2中，说明了根据焦点位置不同的图像显示三维像的方法，但也可以组合这些方法来显示物体的三维像。在这种情况下，对于某投影点Tj，根据视点不同的图像的对应点求出相关度，并根据从某视点改变了焦点位置的图像的对应点求出局部空间频率，并组合它们来求出存在概率βj。这样，所述存在概率βj的可靠性提高，可以显示在观察者看来更自然的图像。
(第五实施方式的效果)在第五实施方式的三维图像显示方法中，在从基准视点看某方向时，即使在估计被摄体的表面位于哪个距离(投影点)时的可靠性低的情况下，也在与实际上存在所述被摄体的表面的距离相应的投影点上，以一定的概率存在所述被摄体的表面。因此，通过以与所述存在概率的高低对应的亮度显示所述图像显示面上的各点，在现有的方法中在距离的估计错误时产生的不连续噪声变得不显著。此外，即使是一般的普及型个人计算机那样的处理性能低的装置，也可以高速地生成所述各二维图像。
本发明不限于上述各实施方式，在权利要求的范围内可以进行各种变更、应用。
权利要求
1.一种虚拟视点图像生成方法，具有取得由多个摄像机拍摄到的多个被摄体图像的步骤；确定作为观察所述被摄体的位置的虚拟视点的步骤；以及基于所述取得的被摄体图像，生成作为从所述视点看到被摄体时的图像的虚拟视点图像的步骤，其特征在于，生成所述虚拟视点图像的步骤具有步骤1，设定具有多层结构的投影面；步骤2，求出与所述投影面上的各投影点对应的所述各被摄体图像上的对应点；步骤3，基于多个对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息；步骤4，对于从空间上的某基准视点看为重合的多个投影点，基于所述对应点或其附近区域的相关程度，计算在与所述各投影点的位置相应的距离上存在所述被摄体的可能性的程度；步骤5，对从所述虚拟视点看为重合的基准点的颜色信息或亮度信息进行与所述被摄体存在的可能性的程度对应的混合处理，从而确定所述虚拟视点图像中的各像素的颜色信息或亮度信息；以及步骤6，对于与所述虚拟视点图像的像素相应的所有的点，重复进行所述步骤1到步骤5。
2.如权利要求1所述的虚拟视点图像生成方法，其特征在于，所述步骤3混合所述多个对应点的颜色信息或亮度信息，或者从所述多个对应点的颜色信息或亮度信息中选择一个对应点的颜色信息或亮度信息。
3.如权利要求1或2所述的虚拟视点图像生成方法，其特征在于，所述步骤4或所述步骤5具有对所述被摄体存在的可能性的程度进行变换、从而对所述投影面上的各基准点设定具有从透过到不透过的多个级别的透明度的步骤，所述步骤5进行与所述透明度对应的混合处理，而代替与所述被摄体存在的可能性的程度对应的混合处理。
4.如权利要求3所述的虚拟视点图像生成方法，其特征在于，所述步骤5的混合处理从离所述虚拟视点远的投影点向着近的投影点依次进行处理，到某投影点为止的混合处理中得到的颜色信息或亮度信息是通过以与所述透明度对应的比率对该投影点的颜色信息或亮度信息和到其之前的投影点为止的混合处理中得到的颜色信息或亮度信息进行内分而得到的。
5.如权利要求1至4中的任意一项所述的虚拟视点图像生成方法，其特征在于，所述步骤1设定拍摄所述各被摄体图像的每个摄像机所固有的投影面，仅使用由所述多个摄像机拍摄到的被摄体图像的对应点的颜色信息或亮度信息来确定所述步骤3的所述投影点的颜色信息或亮度信息，将所述投影点所属的投影面所固有的摄像机的视点作为基准视点来计算所述步骤4的所述被摄体存在的可能性的程度，根据所述虚拟视点和所述各基准视点之间的位置关系来对所述步骤5的所述虚拟视点的颜色信息或亮度信息的混合处理进行校正。
6.一种虚拟视点图像生成装置，具有取得由多个摄像机拍摄到的多个被摄体图像的被摄体图像取得单元；确定作为观察所述被摄体的位置的虚拟视点的虚拟视点确定单元；以及基于所述取得的被摄体图像，生成作为从所述视点看到被摄体时的图像的虚拟视点图像的图像生成单元，其特征在于，所述图像生成单元具有投影面确定单元，其确定具有多层结构的投影面；基准视点确定单元，其确定基准视点的位置；纹理数组确保单元，其确保贴附到所述投影面上的纹理图像的数组；对应点匹配处理单元，其在所述多个被摄体图像之间进行拍摄了所述被摄体的同一区域的部分的对应建立；颜色信息确定单元，其对所述多个被摄体图像进行混合处理，从而确定所述纹理图像的数组中的颜色信息或亮度信息；存在概率信息确定单元，其基于所述对应点匹配处理单元的处理结果，确定所述纹理图像的数组中的、作为在与所述各投影点的位置相应的距离上存在所述被摄体的可能性的程度的存在概率信息；以及渲染单元，其基于由所述颜色信息确定单元确定的颜色信息或亮度信息以及由所述存在概率信息确定单元确定的存在概率信息，对从所述虚拟视点看到的所述投影面进行渲染。
7.如权利要求6所述的虚拟视点图像生成装置，其特征在于，所述存在概率信息确定单元具有对所述存在概率信息进行变换，从而对所述投影面上的各基准点设定具有从透过到不透过的多个级别的透明度的单元，所述渲染单元取代所述被摄体存在的可能性的程度而使用所述透明度进行渲染。
8.如权利要求7所述的虚拟视点图像生成装置，其特征在于，渲染单元具有从离所述虚拟视点远的投影点向着近的投影点依次进行处理的单元，到某投影点为止的混合处理中得到的颜色信息或亮度信息是通过以与所述透明度对应的比率对该投影点的颜色信息或亮度信息和到其之前的投影点为止的混合处理中得到的颜色信息或亮度信息进行内分而得到的。
9.如权利要求6至8中的任意一项所述的虚拟视点图像生成装置，其特征在于，所述投影面确定单元确定拍摄所述各被摄体图像的每个摄像机所固有的投影面，所述颜色信息确定单元仅使用由所述多个摄像机拍摄到的被摄体图像的对应点的颜色信息或亮度信息来进行确定，所述存在概率信息确定单元将所述投影点所属的投影面所固有的摄像机的视点作为基准视点来进行计算，所述渲染单元具有根据所述虚拟视点和所述各基准视点之间的位置关系来进行校正的单元。
10.一种虚拟视点图像生成程序，在计算机中执行取得由多个摄像机拍摄到的多个被摄体图像的步骤；确定作为观察所述被摄体的位置的虚拟视点的步骤；以及基于所述取得的被摄体图像，生成作为从所述视点看到被摄体时的图像的虚拟视点图像的步骤，其特征在于，生成所述虚拟视点图像的步骤具有步骤1，设定具有多层结构的投影面；步骤2，求出与所述投影面上的各投影点对应的所述各被摄体图像上的对应点；步骤3，基于多个对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息；步骤4，对于从空间上的某基准视点看为重合的多个投影点，基于所述对应点或其附近区域的相关程度，计算在与所述各投影点的位置相应的距离上存在所述被摄体的可能性的程度；步骤5，对从所述虚拟视点看为重合的基准点的颜色信息或亮度信息进行与所述被摄体存在的可能性的程度对应的混合处理，从而确定所述虚拟视点图像中的各像素的颜色信息或亮度信息；以及步骤6，对于与所述虚拟视点图像的像素相应的所有的点，重复进行所述步骤1到步骤5。
11.一种记录了权利要求10所述的虚拟视点图像生成程序的计算机可读记录介质。
12.一种图像生成方法，具有取得从多个不同的视点对被摄体进行拍摄而得到的图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所取得的所述被摄体的三维形状生成从观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息的步骤；计算与所述投影点对应的对应点之间的相关度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度，确定作为在所述各投影点上存在物体表面的概率的存在概率的步骤，计算所述相关度的步骤具有准备多组作为从所述多个视点中选择的几个视点的组合的摄像机组的步骤；以及根据所述各摄像机组中包含的图像上的对应点求出相关度的步骤，确定所述存在概率的步骤具有计算基于针对每个所述摄像机组求出的所述各投影点的相关度的存在概率的步骤；以及进行针对每个所述摄像机组确定的存在概率的综合处理，从而确定所述各投影点的存在概率的步骤。
13.如权利要求12所述的图像显示方法，其特征在于，计算基于针对每个所述摄像机组求出的所述各投影点的相关度的存在概率的步骤具有根据针对每个所述摄像机组计算出的所述各投影点的相关度来计算评价基准值的步骤；进行针对每个所述摄像机组计算出的所述各投影点的评价基准值的统计处理而计算存在概率的分布函数的步骤；以及基于所述存在概率的分布函数来确定所述各投影点的存在概率的步骤。
14.如权利要求12或13所述的图像生成方法，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的步骤按照与所述存在概率的高低对应的比例，混合从所述观察者的视点看为重合的各投影点的颜色信息或亮度信息，从而确定所生成的图像上的点的颜色信息或亮度信息，并生成一个二维图像。
15.如权利要求12或13所述的图像生成方法，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的步骤具有在从所述观察者的视点看为深度不同的位置上设定多个图像生成面的步骤；以及基于从所述观察者的视点看为重合的所述各投影点以及所述各图像生成面上的点之间的位置关系，将各投影点的颜色信息或亮度信息、以及存在概率变换为所述各图像生成面上的颜色信息或亮度信息、以及亮度分配系数的步骤。
16.一种图像生成装置，具有取得从多个不同的视点对被摄体进行拍摄而得到的图像的被摄体图像取得单元；根据所述多个图像取得所述被摄体的三维形状的三维形状取得单元；以及基于所取得的所述被摄体的三维形状，生成从观察者的视点看到的所述被摄体的图像的被摄体图像生成单元，其特征在于，所述三维形状取得单元具有在虚拟的三维空间上设定多层结构的投影面的单元；确定用于取得所述被摄体的三维形状的基准视点的单元；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的单元；计算与所述投影点对应的对应点之间的相关度的单元；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度，确定作为在所述各投影点上存在物体表面的概率的存在概率的单元，计算所述相关度的单元具有准备多组作为从所述多个视点中选择的几个视点的组合的摄像机组的单元；以及根据所述各摄像机组中包含的图像上的对应点求出相关度的单元，确定所述存在概率的单元具有计算基于针对每个所述摄像机组求出的所述各投影点的相关度的存在概率的单元；以及进行针对每个所述摄像机组确定的存在概率的综合处理，从而确定所述各投影点的存在概率的单元。
17.如权利要求16所述的图像生成装置，其特征在于，计算基于针对每个所述摄像机组求出的所述各投影点的相关度的存在概率的单元具有根据针对每个所述摄像机组计算出的所述各投影点的相关度来计算评价基准值的单元；进行针对每个所述摄像机组计算出的所述各投影点的评价基准值的统计处理而计算存在概率的分布函数的单元；以及基于所述存在概率的分布函数来确定所述各投影点的存在概率的单元。
18.如权利要求16或17所述的图像生成装置，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的单元是按照与所述存在概率的高低对应的比例混合从所述观察者的视点看为重合的各投影点的颜色信息或亮度信息，从而确定所生成的图像上的点的颜色信息或亮度信息，并生成一个二维图像的单元。
19.如权利要求16或17所述的图像生成装置，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的单元具有在从所述观察者的视点看为深度不同的位置上设定多个图像生成面的单元；以及基于从所述观察者的视点看为重合的所述各投影点以及所述各图像生成面上的点之间的位置关系，将各投影点的颜色信息或亮度信息、以及存在概率变换为所述各图像生成面上的颜色信息或亮度信息、以及亮度分配系数的单元。
20.一种图像生成程序，在计算机中执行取得从多个不同的视点对被摄体进行拍摄而得到的图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所取得的所述被摄体的三维形状，生成从观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息的步骤；计算与所述投影点对应的对应点之间的相关度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度，确定作为在所述各投影点上存在物体表面的概率的存在概率的步骤，计算所述相关度的步骤具有准备多组作为从所述多个视点中选择的几个视点的组合的摄像机组的步骤；以及根据所述各摄像机组中包含的图像上的对应点求出相关度的步骤，确定所述存在概率的步骤具有计算基于针对每个所述摄像机组求出的所述各投影点的相关度的存在概率的步骤；以及进行针对每个所述摄像机组确定的存在概率的综合处理，从而确定所述各投影点的存在概率的步骤。
21.一种记录了所述权利要求20所述的图像生成程序的计算机可读记录介质。
22.一种图像生成方法，具有取得改变对焦距离来对被摄体进行拍摄而得到的多个图像的步骤；设定作为观察所述多个图像上所反映的被摄体的视点的虚拟视点的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述虚拟视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的各图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；根据与所述投影点对应的对应点的对焦度确定所述投影点的对焦度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度，确定作为在与所述各投影点的位置相应的距离上存在所述被摄体的表面的概率的存在概率的步骤，生成从所述虚拟视点看到的所述被摄体的图像的步骤按照与所述存在概率对应的比例混合从所述虚拟视点看为重合的投影点的颜色信息或亮度信息，从而确定所生成的图像上的各点的颜色信息或亮度信息。
23.如权利要求22所述的图像生成方法，其特征在于，取得所述被摄体的三维形状的步骤或生成从所述虚拟视点看到的所述被摄体的图像的步骤具有基于从所述基准视点或所述虚拟视点看为重合的多个投影点的存在概率，在所述各投影点上设定具有从透过到不透过的多个级别的透明度的步骤，生成从所述虚拟视点看到的所述被摄体的图像的步骤按照与基于所述存在概率设定的所述透明度对应的比例混合从所述虚拟视点看为重合的多个投影点的颜色信息或亮度信息，从而确定所生成的图像上的各点的颜色信息或亮度信息。
24.如权利要求23所述的图像生成方法，其特征在于，生成从所述虚拟视点看到的所述被摄体的图像的步骤从所述虚拟视点看为远的投影点向着近的投影点依次混合颜色信息或亮度信息，到某投影点为止的颜色信息或亮度信息是按照与所述透明度对应的比率对该投影点的颜色信息或亮度信息和到其之前的投影点为止的混合处理中得到的颜色信息或亮度信息进行内分而得到的。
25.一种图像生成装置，具有取得改变对焦距离来对被摄体进行拍摄而得到的多个图像的被摄体图像取得单元；设定作为观察所述多个图像上所反映的被摄体的视点的虚拟视点的虚拟视点设定单元；根据所述多个图像取得所述被摄体的三维形状的三维形状取得单元；以及基于所述取得的被摄体的三维形状，生成从所述虚拟视点看到的所述被摄体的图像的渲染单元，其特征在于，所述三维形状取得单元具有在虚拟的三维空间上设定多层结构的投影面的单元；确定用于取得所述被摄体的三维形状的基准视点的单元；根据与作为所述投影面上的点的投影点对应的所述取得的各图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的单元；根据与所述投影点对应的对应点的对焦度确定所述投影点的对焦度的单元；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度，确定作为在与所述各投影点的位置相应的距离上存在所述被摄体的表面的概率的存在概率的单元，所述渲染单元具有以与所述存在概率对应的比例混合从所述虚拟视点看为重合的投影点的颜色信息或亮度信息，从而确定所生成的图像上的各点的颜色信息或亮度信息的单元。
26.如权利要求25所述的图像生成装置，其特征在于，所述三维形状取得单元或所述渲染单元具有基于从所述基准视点或所述虚拟视点看为重合的多个投影点的存在概率，在所述各投影点上设定具有从透过到不透过的多个级别的透明度的单元，所述渲染单元具有按照与基于所述存在概率设定的所述透明度对应的比例混合从所述虚拟视点看为重合的多个投影点的颜色信息或亮度信息，从而确定所生成的图像上的各点的颜色信息或亮度信息的单元。
27.如权利要求26所述的图像生成装置，其特征在于，所述渲染单元具有如下的单元从所述虚拟视点看为远的投影点向着近的投影点依次混合颜色信息或亮度信息，对于到某投影点为止的颜色信息或亮度信息，通过以与所述透明度对应的比率对该投影点的颜色信息或亮度信息和到其之前的投影点为止的混合处理中得到的颜色信息或亮度信息进行内分而得到。
28.一种图像生成程序，在计算机中执行取得改变对焦距离来对被摄体进行拍摄而得到的多个图像的步骤；设定作为观察所述多个图像上所反映的被摄体的视点的虚拟视点的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述虚拟视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的各图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；根据与所述投影点对应的对应点的对焦度确定所述投影点的对焦度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度，确定作为在与所述各投影点的位置相应的距离上存在所述被摄体的表面的概率的存在概率的步骤，生成从所述虚拟视点看到的所述被摄体的图像的步骤具有按照与所述存在概率对应的比例混合从所述虚拟视点看为重合的投影点的颜色信息或亮度信息，从而确定所生成的图像上的各点的颜色信息或亮度信息的步骤。
29.一种记录了权利要求28所述的图像生成程序的计算机可读记录介质。
30.一种图像生成方法，具有取得在不同的条件下对被摄体进行拍摄而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，确定所述存在概率的步骤具有根据所述对应点的图像信息计算所述各投影点的评价基准值的步骤；进行所述各投影点的评价基准值的统计处理的步骤；以及基于进行了所述统计处理的评价基准值计算所述各投影点的存在概率的步骤。
31.如权利要求30所述的图像生成方法，其特征在于，取得所述多个图像的步骤取得从多个不同的视点对所述被摄体进行拍摄而得到的图像，确定所述存在概率的步骤具有求出与所述投影点对应的对应点之间的相关度的步骤；计算基于所述各投影点的相关度的评价基准值的步骤；进行所述评价基准值的统计处理的步骤；以及基于进行了所述统计处理的评价基准值计算所述各投影点的存在概率的步骤。
32.如权利要求30所述的图像生成方法，其特征在于，取得所述多个图像的步骤取得从一个视点改变对焦距离而对被摄体进行拍摄得到的图像，确定所述存在概率的步骤具有根据与所述投影点对应的对应点的对焦度来计算所述投影点的对焦度的步骤；计算基于所述各投影点的对焦度的评价基准值的步骤；进行所述评价基准值的统计处理的步骤；以及基于进行了所述统计处理的评价基准值来计算所述各投影点的存在概率的步骤。
33.如权利要求30所述的图像生成方法，其特征在于，取得所述多个图像的步骤取得从多个视点对所述被摄体进行拍摄而得到的图像、以及从所述多个视点中的一个以上的视点改变对焦距离而对所述被摄体进行拍摄得到的图像，确定所述存在概率的步骤具有求出所述投影点和所述视点不同的多个图像上的对应点之间的相关度的步骤；计算基于所述各投影点的相关度的第一评价基准值的步骤；进行所述第一评价基准值的统计处理的步骤；根据从某视点拍摄的所述对焦距离不同的图像上的对应点的对焦度来计算所述投影点的对焦度的步骤；计算基于所述各投影点的对焦度的第二评价基准值的步骤；进行所述第二评价基准值的统计处理的步骤；以及基于进行了所述统计处理的第一评价基准值以及第二评价基准值来计算所述各投影点的存在概率的步骤。
34.如权利要求30至33中的任意一项所述的图像生成方法，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的步骤按照与所述存在概率的高低对应的比例混合从所述观察者看为重合的各投影点的颜色信息或亮度信息，从而确定所生成的图像上的点的颜色信息或亮度信息，并生成一个二维图像。
35.如权利要求30至33中的任意一项所述的图像生成方法，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的步骤具有在从所述观察者的视点看为深度不同的位置上设定多个图像生成面的步骤；以及基于从所述观察者的视点看为重合的所述各投影点以及所述各图像生成面上的点之间的位置关系，将各投影点的颜色信息或亮度信息、以及存在概率变换为所述各图像生成面上的颜色信息或亮度信息、以及亮度分配系数的步骤。
36.一种图像生成装置，具有取得在不同的条件下对被摄体进行拍摄而得到的多个图像的被摄体图像取得单元；根据所述多个图像取得所述被摄体的三维形状的被摄体形状取得单元；以及基于所述取得的被摄体的三维形状，生成从所述观察者的视点看到的所述被摄体的图像的被摄体图像生成单元，其特征在于，所述被摄体形状取得单元具有在虚拟的三维空间上设定多层结构的投影面的单元；确定用于取得所述被摄体的三维形状的基准视点的单元；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的单元；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的单元，确定所述存在概率的单元具有根据所述对应点的图像信息计算所述各投影点的评价基准值的单元；进行所述各投影点的评价基准值的统计处理的单元；以及基于进行了所述统计处理的评价基准值计算所述各投影点的存在概率的单元。
37.如权利要求36所述的图像生成装置，其特征在于，所述被摄体图像取得单元取得从多个不同的视点对所述被摄体进行拍摄而得到的图像，确定所述存在概率的单元具有求出与所述投影点对应的对应点之间的相关度的单元；计算基于所述各投影点的相关度的评价基准值的单元；进行所述评价基准值的统计处理的单元；以及基于进行了所述统计处理的评价基准值来计算所述各投影点的存在概率的单元。
38.如权利要求36所述的图像生成装置，其特征在于，所述被摄体图像取得单元取得从一个视点改变对焦距离而对所述被摄体进行拍摄得到的图像，确定所述存在概率的单元具有根据与所述投影点对应的对应点的对焦度来计算所述投影点的对焦度的单元；计算基于所述各投影点的对焦度的评价基准值的单元；进行所述评价基准值的统计处理的单元；以及基于进行了所述统计处理的评价基准值来计算所述各投影点的存在概率的单元。
39.如权利要求36所述的图像生成装置，其特征在于，所述被摄体图像取得单元取得从多个视点对所述被摄体进行拍摄而得到的图像、以及从所述多个视点中的一个以上的视点改变对焦距离而对所述被摄体进行拍摄得到的图像，确定所述存在概率的单元具有求出所述投影点和所述视点不同的多个图像上的对应点之间的相关度的单元；计算基于所述各投影点的相关度的第一评价基准值的单元；进行所述第一评价基准值的统计处理的单元；根据从某视点拍摄的所述对焦距离不同的图像上的对应点的对焦度来计算所述投影点的对焦度的单元；计算基于所述各投影点的对焦度的第二评价基准值的单元；进行所述第二评价基准值的统计处理的单元；以及基于进行了所述统计处理的第一评价基准值以及第二评价基准值来计算所述各投影点的存在概率的单元。
40.如权利要求36至39中的任意一项所述的图像生成装置，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的单元按照与所述存在概率的高低对应的比例混合从所述观察者看为重合的各投影点的颜色信息或亮度信息，从而确定所生成的图像上的点的颜色信息或亮度信息，并生成一个二维图像。
41.如权利要求36至39中的任意一项所述的图像生成装置，其特征在于，生成从所述观察者的视点看到的所述被摄体的图像的单元具有在从所述观察者的视点看为深度不同的位置上设定多个图像生成面的单元；以及基于从所述观察者的视点看为重合的所述各投影点以及所述各图像生成面上的点之间的位置关系，将各投影点的颜色信息或亮度信息、以及存在概率变换为所述各图像生成面上的颜色信息或亮度信息、以及亮度分配系数的单元。
42.一种图像生成程序，在计算机中执行取得在不同的条件下对被摄体进行拍摄而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；以及基于所述取得的被摄体的三维形状，生成从所述观察者的视点看到的所述被摄体的图像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，确定所述存在概率的步骤具有根据所述对应点的图像信息计算所述各投影点的评价基准值的步骤；进行所述各投影点的评价基准值的统计处理的步骤；以及基于进行了所述统计处理的评价基准值来计算所述各投影点的存在概率的步骤。
43.一种记录了权利要求42所述的图像生成程序的计算机可读记录介质。
44.一种三维图像显示方法，具有取得在不同的条件下对被摄体进行拍摄而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；设定观察者观察从所述观察者看为处于不同深度位置的多个图像显示面的视点位置的步骤；基于所述取得的被摄体的三维形状生成在所述各图像显示面上显示的二维图像的步骤；以及通过在所述各显示面上显示所述生成的二维图像来示出所述被摄体的三维像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，生成所述二维图像的步骤将所述投影点的颜色信息或亮度信息以及存在概率变换为显示点的颜色信息或亮度信息以及存在概率，从而生成所述二维图像，其中所述显示点是与存在所述投影点的投影面对应的所述图像显示面上的点，示出所述被摄体的三维像的步骤以与所述存在概率对应的亮度显示所述各显示点的颜色信息或亮度信息。
45.如权利要求44所述的三维图像显示方法，其特征在于，取得所述多个图像的步骤取得从多个不同的视点对所述被摄体进行拍摄而得到的图像，确定所述存在概率的步骤具有求出与所述投影点对应的对应点之间的相关度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度的高低来确定所述各投影点的存在概率的步骤。
46.如权利要求44所述的三维图像显示方法，其特征在于，取得所述多个图像的步骤取得从一个视点改变对焦距离而对所述被摄体进行拍摄得到的图像，确定所述存在概率的步骤具有根据与所述投影点对应的对应点的对焦度来计算所述投影点的对焦度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度的高低来确定所述各投影点的存在概率的步骤。
47.如权利要求44所述的三维图像显示方法，其特征在于，取得所述多个图像的步骤取得从多个视点对所述被摄体进行拍摄而得到的图像、以及从所述多个视点中的一个以上的视点改变对焦距离而对所述被摄体进行拍摄得到的图像，确定所述存在概率的步骤具有求出所述投影点和所述视点不同的图像上的对应点之间的相关度的步骤；计算所述各视点的对焦距离不同的图像上的对应点的对焦度的步骤；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的所述相关度的高低以及所述对焦度的高低来确定所述各投影点的存在概率的步骤。
48.一种三维图像显示装置，具有取得在不同的条件下对被摄体进行拍摄而得到的多个图像的被摄体图像取得单元；根据所述多个图像取得所述被摄体的三维形状的三维形状取得单元；设定观察者观察在所述观察者看来位于不同深度位置上的多个图像显示面的视点位置的观察者视点设定单元；以及基于所述取得的被摄体的三维形状生成在所述各图像显示面上显示的二维图像的二维图像生成单元，通过在所述各显示面上显示所述生成的二维图像来示出所述被摄体的三维像，其特征在于，所述三维形状取得单元具有在虚拟的三维空间上设定多层结构的投影面的单元；确定用于取得所述被摄体的三维形状的基准视点的单元；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的单元；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的单元，所述二维图像生成单元将所述投影点的颜色信息或亮度信息以及存在概率变换为显示点的颜色信息或亮度信息以及存在概率，从而生成所述二维图像，其中所述显示点是与存在所述投影点的投影面对应的所述图像显示面上的点，以与所述存在概率对应的亮度显示所述各显示点的颜色信息或亮度信息。
49.如权利要求48所述的三维图像生成装置，其特征在于，所述被摄体图像取得单元是取得从多个不同视点对所述被摄体进行拍摄而得到的图像的单元，确定所述存在概率的单元具有求出与所述投影点对应的对应点之间的相关度的单元；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的相关度的高低来确定所述各投影点的存在概率的单元。
50.如权利要求48所述的三维图像生成装置，其特征在于，所述被摄体图像取得单元是取得从一个视点改变对焦距离而对所述被摄体进行拍摄得到的图像的单元，确定所述存在概率的单元具有根据与所述投影点对应的对应点的对焦度来计算所述投影点的对焦度的单元；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的对焦度的高低来确定所述各投影点的存在概率的单元。
51.如权利要求48所述的三维图像生成装置，其特征在于，所述被摄体图像取得单元是取得从多个视点对所述被摄体进行拍摄而得到的图像、以及从所述多个视点中的一个以上的视点改变对焦距离而对所述被摄体进行拍摄得到的图像的单元，确定所述存在概率的单元具有求出所述投影点和所述视点不同的图像上的对应点之间的相关度的单元；计算所述各视点的对焦距离不同的图像上的对应点的对焦度的单元；以及对于从所述基准视点看为重合的多个投影点，基于所述各投影点的所述相关度的高低以及所述对焦度的高低来确定所述各投影点的存在概率的单元。
52.一种三维图像生成程序，在计算机中执行取得在不同的条件下对被摄体进行拍摄而得到的多个图像的步骤；根据所述多个图像取得所述被摄体的三维形状的步骤；设定观察者观察在所述观察者看来位于不同深度位置上的多个图像显示面的视点位置的步骤；基于所述取得的被摄体的三维形状生成在所述各图像显示面上显示的二维图像的步骤；以及通过在所述各显示面上显示所述生成的二维图像来示出所述被摄体的三维像的步骤，其特征在于，取得所述被摄体的三维形状的步骤具有在虚拟的三维空间上设定多层结构的投影面的步骤；确定用于取得所述被摄体的三维形状的基准视点的步骤；根据与作为所述投影面上的点的投影点对应的所述取得的图像上的对应点的颜色信息或亮度信息，确定所述投影点的颜色信息或亮度信息的步骤；以及对于从所述基准视点看为重合的多个投影点，确定作为在所述各投影点上存在被摄体的表面的概率的存在概率的步骤，生成所述二维图像的步骤具有如下步骤将所述投影点的颜色信息或亮度信息以及存在概率变换为显示点的颜色信息或亮度信息以及存在概率，从而生成所述二维图像，其中所述显示点是与存在所述投影点的投影面对应的所述图像显示面上的点，示出所述被摄体的三维像的步骤以与所述存在概率对应的亮度显示所述各显示点的颜色信息或亮度信息。
53.一种记录了权利要求52所述的三维图像生成程序的计算机可读记录介质。
全文摘要
提供了基于由多个摄像机拍摄到的多个被摄体图像，生成作为从虚拟视点看到被摄体时的图像的虚拟视点图像的虚拟视点图像生成方法。在该虚拟视点图像生成方法中，设定具有多层结构的投影面，求出与所述投影点上的各投影点对应的所述各被摄体图像上的对应点，基于多个对应点的颜色信息来确定所述投影点的颜色信息，对于从空间上的某基准视点看为重合的多个投影点，基于所述对应点的相关程度计算在与所述各投影点的位置相应的距离上存在所述被摄体的可能性的程度，对于从所述虚拟视点看为重合的基准点的颜色信息，进行与所述被摄体存在的可能性程度对应的混合处理，从而确定所述虚拟视点图像中的各像素的颜色信息。
文档编号G06T19/00GK1809844SQ20048001733
公开日2006年7月26日 申请日期2004年6月18日 优先权日2003年6月20日
发明者国田丰, 桥本秋彦, 陶山史朗 申请人:日本电信电话株式会社