专利名称：图像生成装置的制作方法
技术领域：
本发明涉及图像生成装置，更具体地，涉及一种适合用于基于多个图像来生成并显示视点变换(viewpoint conversion)图像的图像生成装置。
背景技术：
当为了观察特定区域等而在监控显示器上显示图像时，在划分屏幕上显示由多个摄像机对宽范围的区域进行成像而获取的图像，或者通过随着时间的流逝而依次切换这些图像来对其进行显示。此外，为了安全驾驶，在车辆上设置面向后方的摄像机，对驾驶员不能直接或间接看到的区域进行成像，以在设置在驾驶员座位附近的监控显示器上显示该区域的图像。
这些观察装置以摄像机为单位成像并显示图像，因此，对宽区域进行成像需要大量的摄像机。当为此而使用广角摄像机时，可以减少摄像机的数量，但是降低了在监控显示器上显示的图像的分辨率，而且所显示的图像变得难以查看，使得观察功能变坏。考虑这些问题，提出了一种技术，其中对通过多个摄像机成像的图像进行合成，以作为一个图像进行显示。
当进行这种合成时，通过测量车辆和车辆周围的障碍物等之间的距离来获取景深数据(depth data)，并且通过使用该景深数据来生成图像，以在图像中显示障碍物。
对于如上所述的技术，在日本专利No.3286306中，公开了一种技术，其中通过设置在车辆中的多个摄像机对车辆周围的区域进行成像，并且显示从任意视点的合成图像，以显示车辆周围的环境。在这种技术中，通过以像素为单位进行坐标变换，将从各个摄像机输出的图像变换并显影到从虚拟视点观察的二维平面上，并且将由多个摄像机获取的图像合成为从虚拟视点观察的一个图像，以将其显示在监控器屏幕上。由此，驾驶员可以根据一个虚拟视点图像来即时了解在整个车辆周围存在哪种物体。并且根据上述内容公开了一种方法，根据车辆和车辆周围的障碍物之间的距离以空间模型(spatial model)显示屏障(barrier wall)，其中通过距离传感器来测量该距离。
此外，在日本专利申请公报No.2002-31528中，公开了一种方法，其中通过使用激光雷达测量距离来获取景深数据，并且将通过成像单元获取的图像数据映射到三维映象坐标上，以生成空间图像。
发明内容
本发明一个方面中的装置是包括第一全景摄像机单元和第二全景摄像机单元的一种装置，其中第一全景摄像机单元包括具有不同视点的两个摄像机，用于获取图像数据之一；第二全景摄像机单元包括具有不同视点的两个摄像机，并且与第一全景摄像机单元沿一直线设置，以使得第一和第二全景摄像机单元具有下述的位置关系，在该位置关系中，包括在第二全景摄像机单元中的两个摄像机的至少一个的成像透镜的光轴方向与包括在第一全景摄像机单元中的摄像机之一的成像透镜的光轴方向相互平行，以获取另一图像数据，其中分别包括在第一和第二全景摄像机单元中的两个摄像机的成像透镜具有不相互平行的光轴。
另外，根据本发明的上述装置可以采用下述的构造，在该构造中，该装置还包括切换单元，用于切换全景图像数据和立体图像数据之间的选择，该全景图像数据是通过包括在第一和第二全景摄像机单元之一中的两个摄像机获取的，该立体图像数据是通过包括在第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合来获取的，在该位置关系中，摄像机的光轴方向相互平行。
另外，根据上述内容，所述切换单元可以采用下述的构造，在该构造中，当所述切换单元选择由包括在第一和第二全景摄像机单元中的摄像机当中处于下述位置关系的摄像机的组合获取的立体图像数据时，所述切换单元还选择两对摄像机中的一对，其中在该位置关系中，摄像机的光轴方向相互平行。
此外，在根据本发明的上述装置中，也可以在车辆或建筑物中设置该第一和第二全景摄像机单元。
根据以下参照附图的详细描述，本发明将变得更加明了。
图1是用于实现本发明的图像生成装置的系统框图；图2A表示全景摄像机单元的第一示例的示意性构造；图2B表示全景摄像机单元的第二示例的示意性构造；图3A表示基于单目摄像机(monocular camera)组合的全景摄像机单元的排列结构；图3B表示图3A所示的全景成像单元的全景成像范围；图4A表示基于单目摄像机组合的一对全景摄像机单元的排列构造；图4B表示图4A所示的成对全景摄像机单元中的一个的全景成像范围；图4C表示图4A所示的成对全景摄像机单元中的另一个的全景成像范围；图5A表示使用立体适配器的全景摄像机单元的排列构造；图5B表示图5A所示的全景摄像机单元的全景成像范围；图6A表示使用立体视频器的一对全景摄像机单元的排列构造；图6B表示图6A所示的成对全景摄像机单元中的一个的全景成像范围；图6C表示图6A所示的成对全景摄像机单元中的另一个的全景成像范围；图7表示设置在车辆中的全景摄像机单元的构造；图8A表示位于车辆后部的第一全景摄像机单元的全景成像范围；图8B表示位于车辆后部的第二全景摄像机单元的全景成像范围；图8C表示基于车辆后部的全景摄像机单元组合的立体成像范围；
图9是表示生成图像的方法中的处理顺序的流程图；以及图10是表示在生成通过立体匹配进行处理的景深图像时的处理顺序的流程图。
具体实施例方式
下文中，将参照附图详细地说明根据本发明的图像生成装置的实施例。
图1是表示用于实现本发明的图像生成装置的构造的系统框图。该系统的基本构造具有视点变换合成图像生成/显示装置10，其包括多个成像单元；图像生成装置，用于对通过成像单元获取的图像数据进行处理，并且再现和显示作为从与摄像机视点不同的虚拟视点观察的合成图像的图像。
视点变换合成图像生成/显示装置10主要执行下述的处理输入从各个成像单元的视点进行成像的图像；设置三维空间，在该三维空间中放置有诸如车辆的设置了成像单元的对象；通过任意设定的原点(虚拟视点)来识别该三维空间；对图像数据的像素进行坐标变换，并且使从虚拟视点观察的以上所识别的三维空间和所述像素之间具有对应关系；以及在从虚拟视点观察的图像平面上重新排列像素。由此可以获得下述的图像，在该图像中，在由虚拟视点限定的三维空间中，对通过从摄像机的视点进行成像而获得的图像数据的像素进行重新排列和合成，以使得可以创建从不同于摄像机的视点的所需视点观察的合成图像，并将其输出以进行显示。
作为在视点变换合成图像生成/显示装置10中使用的成像单元，通过多个全景摄像机单元来构成一个或者多个成像单元，这些全景摄像机单元分别通过组合具有不同视点的两个摄像机而构成。
图2A和2B分别示出了全景摄像机单元的示意性构造。通过图2A中所示的全景摄像机单元12A和图2B中所示的全景摄像机单元12B的类型或者基于单元2A和2B的组合的类型来构造设置在车辆中的多个全景摄像机单元。
全景摄像机单元12A具有其中设置有两个单目摄像机的构造，这两个单目摄像机分别包括前透镜组52a、后透镜组52b和成像装置52c。设置了两个单目摄像机，以使得光轴之间的会聚角展开，以对宽的区域进行成像。此外，当不需要宽视角时，不需要与前透镜组52a相对应的一组宽转换透镜(conversion lenses)。
全景摄像机单元12B包括设置在单目摄像机中的立体适配器。该立体适配器安装在单目摄像机的前面，而且通过该立体适配器展开单目摄像机的左右光轴之间的会聚角。通过设置在远离立体适配器的大约视差位置处的两个反射镜50a以及用于将由这些反射镜50a反射的光导向摄像机一侧的两个反射镜50b来构成该立体适配器。
在设置在左右两侧的两个反射镜50a和50b的前光轴上，设置有中继透镜54a和前透镜组54b。此外，在反射镜50a和反射镜50b之间分别设置有中继透镜54c。此外，在反射镜50b的后光轴上设置有作为成像系统的后透镜组54d。
全景摄像机单元12B通过反射镜50a和50b来划分视区，并且对在一个成像装置54e上的视区进行成像。在视角不需要很宽时，自然可以省略与前透镜组和中继透镜54a和54c相对应的宽转换透镜组，以使得可以仅通过反射镜50a和50b以及后透镜组54d来构成全景摄像机单元12B的该部分。
图3A表示基于单目摄像机的组合的全景摄像机单元的排列构造。全景摄像机单元12A具有下述的构造，在该构造中，将两个单目摄像机设置在具有宽视角的同一平面上，以使得视角如两个扇形L和R所示彼此稍微重叠，两个扇形L和R分别表示图3A中的摄像机的视角。
图中示出了在通过基于单目摄像机组合的全景摄像机单元12A对栅格图案(lattice pattern)58A和58B进行成像的情况下的左右全景成像范围，这些成像范围分别由图3B中的标号60和62来表示。通过全景成像获得的图像会产生失真，其中图像的周边会很圆(rounded)。但是，在图3B的全景图像中，对栅格图案的失真进行了补偿，以显示包括凹入部分的图像。
图4A表示基于单目摄像机组合的一对全景摄像机单元的排列构造。当如图4A所示设置全景摄像机单元12A1和12A2时，采用一种构造，以使得全景摄像机单元12A1的左侧单目摄像机和全景摄像机单元12A2的右侧单目摄像机的各自光轴方向相互平行。由此，可以通过组合全景摄像机单元12A1的左侧单目摄像机和全景摄像机单元12A2的右侧单目摄像机来进行立体成像。
图4B中的图像64和图4C中的图像66分别表示分别由全景摄像机单元12A1和12A2成像的图像。图像64和66两者通常包括栅格图案中的相同失真，因此，这两个失真可以由近似模型来表示，以使得用于补偿失真的参数彼此近似。因此，可以简化校正处理，该校正处理包括根据立体距离测量时的校准数据对立体图像的左右图像的畸变像差(distortion aberration)进行补偿，并且其中进行图像的几何变换，以使得计算视差时的核线(epipolar line)在左右图像中的同一图像的同一条线上彼此对应。
图5A表示使用立体适配器的全景摄像机单元的排列构造。在图5A中，与上述图3A中的排列相似地设置全景摄像机单元12B，以使得左右成像范围彼此稍微重叠。图5B示出了在通过全景摄像机单元12B对栅格图案58A和58B进行成像的情况下的左右全景成像范围，左右全景成像范围分别由标号68和70来表示。由于使用了立体适配器，所以仅存在一个成像装置，该成像装置用于对与通过上述全景摄像机单元12A(包括两个成像装置)进行成像的同一视区进行成像。因此，如图所示，在该图像周边的左右两侧的栅格图案中的失真与通过全景摄像机单元12A成像的图像中的失真不同。
图6A表示使用立体适配器的一对全景摄像机单元的排列构造。在图6A中，在同一平面上沿一直线设置有两个全景摄像机单元12B1和12B2。由此，基于各个全景摄像机单元12B1和12B2的该对右侧单元的组合的成像透镜的光轴方向相互平行，而且基于各个全景摄像机单元12B1和12B2的该对左侧单元的组合的成像透镜的光轴方向也相互平行。因此，可以进行立体成像。
图中示出了分别由全景摄像机单元12B1和12B2成像的图像，这些图像分别由图6B中的标号68和图6C中的标号70来表示。如图所示，通过使用下述构造的全景摄像机单元12B成像出的图像会产生失真，该失真在右侧图像和左侧图像(58A和58B，或58C和58D)之间存在很大的不同，在该构造中，通过改变立体适配器的反射镜的角度来展开光轴之间的会聚角。产生这些失真中的差异的原因在于通过前透镜组54b的失真和后透镜组54d的失真而产生复合失真(complex distortions)，在前透镜组54b和后透镜组54d之间具有折叠式反射镜50b，并且前透镜组54b和后透镜组54d的光轴不相互平行。这些是左右图像之间存在失真差异的原因。
因此，当使用分别基于全景摄像机单元12B1和12B2的右侧单元的组合而划分的视区，或分别基于全景摄像机单元12B1和12B2的左侧单元的组合而划分的视区时，失真彼此近似，而且在失真补偿之后的分辨率差异很小，因此，搜索立体图像的对应点变得较容易。
另外，用作为图1中的成像单元的全景摄像机单元具有下述的构造，在该构造中采用了包括两个成像装置52c的一对全景摄像机单元12A或者使用立体适配器的一对全景摄像机单元12B。并且可以任意地选择该多对单元(图1中的一对12A1和12A2，以及一对12B1和12B2)。
图7表示设置在车辆中的全景摄像机单元12A的构造。
如图7所示，在作为其中设置有成像单元的对象的车辆40的前后部分设置了作为成像单元的多个全景摄像机单元12A。在图7的示例中，在车辆40的前部设置全景成像单元12A1和12A2。各个摄像机对车辆40前面的全景成像范围a-b和c-d进行成像。此外，在车辆的后部设置有作为成像单元的全景摄像机单元12A1和12A2。类似地，各个摄像机对车辆后面的全景成像范围a-b和c-d进行成像。
在该实施例中，提供了图像选择装置30(30a和30b)，用于从设置在车辆40的前后部分的全景摄像机单元12A1和12A2中获取图像数据。各个图像选择装置30从设置在驾驶员座位附近的视点变换合成图像生成/显示装置10接收图像选择命令，选择所需的图像，并且将该图像作为图像数据返回到视点变换合成图像生成/显示装置10。此外，可以通过车辆内的LAN(局域网)来进行数据的发送/接收。
图8A、8B和8C分别表示根据一实施例的全景摄像机和立体摄像机的成像范围。图8A表示车辆40中的后部全景摄像机单元12A1的全景成像范围。图8B表示后部全景摄像机单元12A2的全景成像范围。图8C表示立体成像范围，该立体成像范围基于具有后部全景摄像机单元12A1的成像范围b和后部全景摄像机单元12A2的成像范围c的图像组合。如图所示，具有后部全景摄像机单元12A1的成像范围b的图像和具有后部全景摄像机单元12A2的成像范围c的成像图像的组合构成了立体图像，这是因为这种设置使得成像透镜的光轴方向相互平行。因此，可以生成后面将要描述的通过立体成像获得的景深图像数据。
另外，通过由图像选择装置30切换图像的选择，可以任意地实现通过全景成像以宽视角进行的成像，以及通过空间成像进行的用于生成空间模型的立体距离测量。
再次对图1进行说明。
以分组的形式将由各个全景摄像机单元12成像的图像的数据发送到图像选择装置30。通过所设置的虚拟视点来确定要从各个全景摄像机单元12获得的图像数据，因此，提供图像选择装置30来获得与所设置的虚拟视点相对应的图像数据。通过图像选择装置30，从由设置在任意全景摄像机单元12中的缓冲器装置(未示出)发送的图像数据分组中选择与所设置的虚拟视点相对应的图像数据分组，并将其用于在后续阶段执行的图像合成处理。
此外，在成像单元中，通过图像选择装置30来执行在多个全景摄像机单元12之间的切换。在用作控制单元的图像选择装置30中，在由全景摄像机单元12以宽视角进行的成像与通过组合一对全景摄像机单元而构成的立体成像之间进行切换。此外，图像选择装置30控制以宽视角进行的成像与基于由稍后描述的视点选择装置36选择的虚拟视点的立体成像之间的切换。此外，对于全景摄像机单元12B，可以进行切换，以分别从两个摄像机的左右视区之一进行成像，这两个摄像机被设置为使得成像透镜的光轴方向平行。
将通过成像单元成像的实像的数据临时存储在实像数据存储装置32中。
顺便提及，对于用作距离测量单元的距离测量装置13，可以一起使用通过立体成像进行的距离测量，以及通过诸如激光雷达、毫米波雷达等的雷达进行的距离测量。
在通过立体成像进行的距离测量中，从多个不同的视点对同一对象进行成像，获得对该对象上的同一点进行的成像图像之间的对应关系，并且通过使用三角测量原理根据上述对应关系来计算到该对象的距离。更具体地，将由立体成像单元成像的图像的整个右侧图像划分为多个小的区域，并且确定执行立体距离测量计算的范围，接下来，从左侧图像中检测被识别为与右侧图像相同的图像的位置。然后，计算这些图像的视差，并且根据上述计算结果和左右侧摄像机的安装位置之间的关系来计算到该对象的距离。基于通过由立体摄像机成像的两个或更多个图像之间的立体距离测量而获得的景深数据，来生成景深图像(作为距离测量图像)。
此外，对于设置在三维真实环境中的成像单元，校准装置18确定并识别摄像机参数，这些参数规定了摄像机的特性，例如成像单元在三维真实环境中的安装位置、安装角度、透镜失真补偿值、透镜焦距等。将通过校准装置18获得的摄像机参数作为校准数据临时存储在校准数据存储装置17中。
在空间模型生成装置15中，基于通过全景摄像机单元12和立体成像而获得的宽视角图像数据以及存储在景深图像数据存储装置28中的由距离测量装置13获得的景深图像数据来生成空间模型。将所生成的空间模型临时存储在空间模型存储装置22中。
用作合成图像生成单元的空间重构装置14通过计算构成由成像单元获取的图像的各个像素与三维坐标系统上的点之间的对应关系来生成空间数据。将所生成的空间数据临时存储在空间数据存储装置24中。另外，对由各个成像单元获取的图像中的所有像素执行该对应关系的计算。
用作视点变换单元的视点变换装置19将三维空间图像变换为根据任意视点位置估算的图像。另外，可以任意指定视点位置。换句话说，在上述三维坐标系统中指定用于观察图像的位置、角度和放大率。此外，根据上述空间数据再现从当前视点观察的图像，并且在用作显示单元的显示装置20上显示所再现的图像。此外，可以将该图像存储到视点变换图像数据存储装置26中。
另外，在视点变换合成图像生成/显示装置10中，提供了存储有对应车辆的模型的设置了成像装置的对象模型存储装置34，用于在显示装置20上与空间再现(reproduction of the space)同时显示对应车辆的模型。此外，提供了视点选择装置36，以在虚拟视点数据存储装置38中保存有与预先定义的设置虚拟视点相对应的图像数据的情况下，在视点选择处理中即时地将对应的图像发送给视点变换装置19，并且在显示装置20上显示与所选择的虚拟视点相对应的变换图像。
下面将参照图9来说明通过基于上述构造使用根据本发明的图像生成装置来生成图像的方法。图9是表示生成图像的方法中的处理顺序的流程图。
首先，在步骤S102，通过视点选择装置36来选择待显示的任意虚拟视点。
在步骤S104，通过图像选择装置30，在使用宽视角进行的成像和通过多个全景摄像机单元12进行的立体成像之间进行选择。
在步骤S106，通过所选择的全景摄像机单元12来进行成像。
另一方面，在步骤S108中，通过校准装置18预先进行要用于立体匹配的校准，并且创建诸如基于所选择的全景摄像机单元12的基线长度的校准数据、内部和外部摄像机参数等。
在步骤S110，基于所获取的校准数据通过距离测量装置13对所选择的图像进行立体匹配。具体地，当观察作为立体图像的图像时，从左右图像中裁减(cut out)指定的窗口，并且在扫描核线的同时计算用于这些窗口图像的调整(regularization)等的相关值，以搜索对应的点，并且计算左右图像的像素之间的视差。然后，根据所计算的视差，基于该校准数据来计算距离，并且将所获得的景深数据识别为景深图像数据。
在步骤S112，将使用宽视角成像的图像数据、通过全景摄像机单元12立体成像的图像数据、以及通过距离测量装置13获得的景深图像数据输入到用作空间模型更新单元的空间重构装置14中，并且选择性地使用上述数据，由此生成比由空间模型生成装置15生成的模型更详细的空间模型。
在步骤S114，为了获取与该空间模型相对应的实像数据，通过空间重构装置14根据校准数据将由成像单元获取的图像映射到三维空间模型中。由此，创建已进行了纹理映射的空间数据。
在步骤S116，基于由空间重构装置14创建的空间数据，通过视点变换装置19来生成视点变换图像，该视点变换图像是从所需虚拟视点来观察的。
在步骤S118，在显示装置20上显示如上生成的视点变换图像数据。
接下来，在图10中示出了用于生成通过立体匹配来立体成像的景深图像的流程图。现将对下述情况进行说明使用了立体适配器50的全景摄像机单元12B1和12B2，并且通过图像选择装置30，在通过全景摄像机单元12B1和12B2成像的图像中选择了构成立体对的右侧视区。
首先，在步骤S200和S204中，通过图像选择装置30以预定的大小裁减由各个立体摄像机单元12B1和12B2成像的右侧视区部分，并且生成立体左侧图像(S202)和立体右侧图像(S206)。
接下来，基于用于校正的校准数据(S208)，对左右立体图像的畸变像差分别进行补偿，并且在步骤S210中通过距离测量装置13进行校正处理，其中对图像进行几何变换，以使左右图像的对应点位于在核线上。另外，该校准数据与根据各个所选择的全景摄像机单元12B1和12B2的右侧摄像机的基线长度、内部和外部摄像机参数等相关，并且通过校准装置18进行校准来预先创建该校准数据。
接下来，对校准后的立体左侧图像(S212)和立体右侧图像(S214)进行立体匹配，搜索对应点，并且在步骤S216中，通过距离测量装置13来执行计算视差的处理。由此，在图像上的各个点处创建视差量的映象，并且所创建的映象成为视差数据(S218)。
接下来，基于立体景深校准数据(S220)，将图像上的各个点处的视差量转换为到基准点的距离，并且在步骤S222中，通过距离测量装置13来执行创建景深图像数据的处理。另外，该立体景深校准数据与根据各个所选择的全景摄像机单元12B1和12B2的右侧摄像机的基线长度、内部和外部摄像机参数等相关，并且通过校准装置18进行校准来预先创建该立体景深校准数据。
如上所述，创建并输出景深图像的数据(S224)。
通过进行上述处理，根据由多个立体摄像机成像的图像计算出了景深图像数据。将所获得的景深图像数据用于创建空间模型。
如上所述，该视点变换合成图像生成/显示装置10是下述的装置，该装置基于通过设置在车辆中的一个或多个成像单元获得的图像数据来生成视点变换图像，该成像单元采用下述构造，在该构造中，通过全景摄像机单元来构造成像单元，该全景摄像机单元包括具有不同视点处于组合状态的两个摄像机，并且可以通过全景摄像机单元使用宽视角进行成像，以及由通过成对设置的全景摄像机单元实现的被设置为使得成像透镜的光轴相互平行的摄像机组合进行立体成像。换句话说，该视点变换合成图像生成/显示装置10是下述的装置，该装置基于多种成像信息来生成视点变换图像，其包括第一全景摄像机单元，该第一全景摄像机单元包括具有不同视点的两个摄像机，用于获取图像数据中的一个；以及第二全景摄像机单元，该第二全景摄像机单元包括具有不同视点的两个摄像机，该第二全景摄像机单元与第一全景摄像机单元沿一直线设置，以使第一和第二全景摄像机单元具有下述的位置关系包括在第二全景摄像机单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在第一全景摄像机单元中的两个摄像机的至少一个的成像透镜的光轴方向平行，并且该第二全景摄像机单元获取图像数据中与通过第一全景摄像机单元获取的图像数据不同的一个图像数据，并且该装置10采用下述的构造分别包括在第一和第二全景摄像机单元中的两个摄像机的成像透镜的光轴不相互平行。因此，可以对成像窗口上的对象进行距离测量，并且可以通过使用该景深图像数据来提高图像生成的准确度。
此外，提供切换单元，用于在以下两个处理之间切换待应用于通过全景摄像机单元使用宽视角进行成像而获得的图像的宽视角处理；待应用于通过以成像透镜的光轴平行的位置关系设置的摄像机组合进行立体成像而获得的图像的立体成像处理。换句话说，提供该切换单元，用于在通过包括在第一和第二全景摄像机单元之一中的两个摄像机获得的全景图像数据与通过两个摄像机(在包括在第一和第二全景摄像机单元中的摄像机中，这两个摄像机处于摄像机的光轴方向相互平行的位置关系)的组合获得的立体图像之间进行切换，由此，可以彼此结合地使用宽视角进行成像的图像数据和景深图像数据，因此，可以提高图像生成的准确度。
此外，在上述立体图像处理中，可以进行切换，以使得可以通过使用设置在两个摄像机的组合(这两个摄像机的组合处于该成对全景摄像机单元中的成像透镜的光轴方向平行的位置关系)中的两对摄像机中的一对，从左右视区中的一个进行成像。换句话说，当上述切换单元选择通过由包括在第一和第二全景摄像机单元中的摄像机当中的摄像机(这些摄像机处于摄像机的光轴方向相互平行的位置关系)组合获取的立体图像数据时，可以进一步选择上述两对摄像机中的一对，由此在该立体图像处理中，可以分别从这两个摄像机的左右对中的一对的视区进行成像。因此，可以使用通常的失真补偿处理，以简化补偿处理。因此，可以容易地创建空间模型。
此外，通过在车辆中设置第一和第二全景摄像机单元，当在车辆中的监控装置上显示由视点变换合成图像生成/显示装置10生成的虚拟视点图像时，可以在较宽的范围内确认车辆周围的环境，因此，极大地提高了安全性。
此外，通过在建筑物中设置视点变换合成图像生成/显示装置10，即通过设置第一和第二全景摄像机单元，可以在生成建筑物内部环境和外部周边环境的图像的过程中，提高图像的准确度。
另外，在以上实施例中，可以在下述构造中使用所述多个成像装置，在该构造中，所述多个成像装置构成了所谓的三目立体摄像机或四目立体摄像机。公知的，当如上使用三目立体摄像机或四目立体摄像机时，可以在三维再现处理等中获得更加可靠和更加稳定的处理结果(例如，参见由Information Processing Society of Japan出版的FumiakiTomita所著的“Image processing”的第42卷的第四期中的“Highperformance three-dimensional vision system”)。具体地，沿双向基线长度的方向设置多个摄像机，可以实现基于所谓的多基线方法的立体摄像机，由此实现具有较高准确度的立体测量。
另外，在上述实施例中，说明了在车辆中以规定的形式设置诸如摄像机等的成像单元的示例，然而，即使在人行道、街道、建筑物(例如商店)、房间、办公室等中设置上述成像单元作为设置有成像装置对象时，也可以类似地生成图像。通过上述构造，可以将本发明应用于附着在监控摄像机或者人体上的可佩戴计算机，用于获取基于图像的信息。
此外，本发明并不限于上述实施例，而是允许在不脱离本发明的主旨的情况下进行各种修改和变型。
本申请要求于2004年7月20日提交的日本申请No.2004-211371的优先权，在此通过引用并入其内容。
权利要求
1.一种基于多个图像数据来生成一个视点变换图像的装置，其包括第一全景摄像机单元，包括具有不同视点的两个摄像机，用于获取所述图像数据中的一个；以及第二全景摄像机单元，包括具有不同视点的两个摄像机，该第二全景摄像机单元与所述第一全景摄像机单元沿一直线设置，以使得所述第一和第二全景摄像机单元处于下述位置关系，在该位置关系中，包括在所述第二全景摄像机单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在所述第一全景摄像机单元中的摄像机之一的成像透镜的光轴方向平行，该第二全景摄像机单元用于获取所述图像数据中的另一个，其中分别包括在所述第一和第二全景摄像机单元中的两个摄像机的成像透镜具有不相互平行的光轴。
2.根据权利要求1所述的装置，还包括切换单元，用于切换全景图像数据和立体图像数据之间的选择，该全景图像数据是通过包括在所述第一和第二全景摄像机单元之一中的两个摄像机获得的，该立体图像数据是通过包括在所述第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合而获得的，在该位置关系中，摄像机的光轴方向相互平行。
3.根据权利要求2所述的装置，其中当所述切换单元选择由包括在所述第一和第二全景摄像机单元中的摄像机中处于下述位置关系的摄像机的组合而获取的立体图像数据时，所述切换单元还选择所述两对摄像机中的一对，其中在该位置关系中，摄像机的光轴方向相互平行。
4.根据权利要求1所述的装置，其中所述第一和第二全景摄像机单元设置在车辆中。
5.根据权利要求1所述的装置，其中所述第一和第二全景摄像机单元设置在建筑物中。
全文摘要
图像生成装置。在基于多个图像数据生成一个视点变换图像的装置中，设置有第一单元，包括具有不同视点的两个摄像机，用于获取所述图像数据中的一个；以及第二单元，包括具有不同视点的两个摄像机，该第二单元与第一单元沿一直线设置，以使得第一和第二单元具有下述的位置关系，在该位置关系中，包括在第二单元中的两个摄像机中的至少一个的成像透镜的光轴方向与包括在第一单元中的摄像机之一的成像透镜的光轴方向平行，该第二单元用于获取所述图像数据中的另一个。将这些单元设置为使得包括在第一和第二单元中的两个摄像机的成像透镜具有不相互平行的光轴。
文档编号H04N7/18GK1725857SQ200510085058
公开日2006年1月25日 申请日期2005年7月20日 优先权日2004年7月20日
发明者三由贵史, 岩城秀和, 小坂明生 申请人:奥林巴斯株式会社