专利名称：图像处理设备、图像处理方法、以及程序和记录介质的制作方法
技术领域：
本发明涉及图像处理设备和方法、以及与之一起使用的程序和记录介质，并且尤其涉及用于向在未指定位置上的观察者提供自然的眼膜图像的图像处理设备和方法、以及与之一起使用的程序和记录介质。
背景技术：
为了使用大屏幕显示其大小为观察者的实物一样大小或者更大的逼真视频，通常，观察者需要站在屏幕前面的预定位置处，或者取决于观察者的位置而变换显示的视频，借此，观看屏幕的观察者可以获得逼真的正确(自然)眼膜图像。正确的眼膜图像意味着，使观察者观看显示在屏幕上的视频而获得的眼膜图像基本上等同于当观察者位于实际场景中时获得的眼膜图像。
用于为观察者显示逼真视频的技术包括例如所谓的“临境显示(immersive display)设备”。使用临境显示设备的示例是这样的系统，其中通过在用户周围的空间中布置大屏幕并且通过使用投影仪从屏幕后面投影视频，用户可以在该空间中具有各种虚拟体验。有关这个系统，参见，例如1993年的Proceedings of SIGGRAPH′93中第135-142页的由Cruz-Neira，C.、Sandin，D.J.、和DeFanti，T.A.所著的Surround-Screen Projection-Based Virtual RealityThe Design andImplementation of the CAVE。
发明内容
在其中如上所述使用大屏幕向观察者提供逼真视频的相关技术的情况下，观察者需要站在屏幕前面的预定位置处，或者需要取决于观察者的位置而变换显示的视频。换句话说，在相关领域的技术中，仅仅从某一位置观看的视频被设计成向观察者提供正确的眼膜图像。因此，在相关领域的技术中，例如，当多个观察者同时观看视频时，难以同时向每个观察者提供正确的眼膜图像。
已经鉴于这样的情况而做出了本发明。向在所显示的视频或者图像前面的未指定位置处(在与所显示的视频或者图像的宽度相等的范围内)的观察者提供逼真的眼膜图像，是所希望的。
根据本发明的一个实施例，提供了第一图像处理设备，其用于获取和变换代表具有景深的空间的第一平面图像数据。该图像处理设备包括消失点(vanishing point)估计装置，用于估计第一平面图像数据的消失点；视角估计装置，用于估计第一平面图像数据的视角；以及图像生成装置，用于基于由消失点估计装置所估计的消失点和由视角估计装置所估计的视角而生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点、将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
优选为，视角估计装置基于由消失点估计装置所估计的消失点而估计视角。
消失点估计装置可以包括绘制装置，用于绘制第一平面图像数据的透视线；以及消失点提取装置，用于在透视线的基础上提取第一平面图像数据的消失点。
消失点估计装置包括特征值提取装置，用于提取第一平面图像数据的特征值；特征值量化装置，用于量化由特征值提取装置所提取的特征值；特征值分布计算装置，用于基于由特征值量化装置所量化的特征值，计算特征值分布，该特征值分布指示特征值在第一平面图像数据的垂直方向中分布的梯度类型；以及消失点提取装置，用于在由特征值分布计算装置所计算的特征值分布的基础上，提取第一平面图像数据的消失点。
视角估计装置可以包括平面图生成装置，用于生成通过假定从上方垂直地查看由第一平面图像数据所代表的空间而获得的平面图；以及视角计算装置，用于通过在由平面图生成装置所生成的平面图中检测由第一平面图像数据所代表的空间中的视点位置，来计算视角。
平面图生成装置可以通过计算在由第一平面图像数据所代表的空间中的视点仰角，来生成平面图。
图像生成装置可以基于由视角估计装置所估计的视角以及第一平面图像数据的图像尺寸来确定圆柱的半径。
图像处理设备还可以包括显示装置，其用于显示由图像生成装置生成的第二平面图像数据，而且该显示装置可以包括平面显示器。
根据本发明的另一个实施例，提供了用于图像处理设备的第一图像处理方法，该设备用于获取和变换代表具有景深的空间的第一平面图像数据。该图像处理方法包括步骤估计第一平面图像数据的消失点；估计第一平面图像数据的视角；以及基于由消失点估计装置估计的消失点和由视角估计装置估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
根据本发明的另一个实施例，提供了第一程序或者记录在记录介质上的程序，其用于允许计算机执行用于获取和变换代表具有景深的空间的第一平面图像数据的处理，该程序包含步骤估计第一平面图像数据的消失点；估计第一平面图像数据的视角；以及，基于由消失点估计装置估计的消失点和由视角估计装置估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
在第一图像处理设备、图像处理方法和程序中，估计第一平面图像数据的消失点，估计第一平面图像数据的视角，并且基于所估计的消失点和视角而生成第二平面图像数据。所生成的第二平面图像是这样的，即通过使用位于具有预定半径的圆柱的中心并且与消失点等高的位置为参考点，将第一平面图像数据投影在该圆柱的曲面上、与视角相对应的部分上。
根据本发明的另一个实施例，提供了第二图像处理设备，其用于获取和变换代表具有景深的空间的第一平面图像数据。该图像处理设备包括输入装置，用于输入第一平面图像数据的消失点和视角；以及图像生成装置，用于基于由输入装置输入的消失点和视角而生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点、将第一平面图像数据投影在该圆柱的曲面上、与视角相对应的部分上。
优选为，该图像处理设备还包括显示装置，用于显示由图像生成装置生成的第二平面图像数据，而且该显示装置包括平面显示器。
根据本发明的另一个实施例，提供了用于图像处理设备的第二图像处理方法，其用于获取和变换代表具有景深的空间的第一平面图像数据。第二图像处理方法包括步骤控制第一平面图像数据的消失点和视角的输入；以及，基于在输入控制步骤中控制其输入的消失点和视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上、与视角相对应的部分上。
在第二图像处理设备和图像处理方法中，在输入了第一平面图像数据的消失点和第一平面图像数据的视角之后，基于所输入的消失点和平面图像数据而生成第二平面图像数据，其对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上、与该视角相对应的部分上。
根据本发明的实施例，第一平面图像可以变换为第二平面图像。特别是，基于代表具有景深的空间的第一平面图像，可以生成第二平面图像。通过使用第二平面图像，可以向在未指定位置上进行观看的观察者提供自然的眼膜图像。
图1为曲面屏幕和平面屏幕的说明；图2为说明其中应用了本发明的实施例的图像处理设备的配置示例的框图；图3为说明图2所示的消失点(vanishing point)估计单元的第一示例的框图；图4是所提供的图像示例的说明；图5是在景深方向的平行线和消失点的说明；图6为说明图2所示的消失点估计单元的第二示例的框图；图7为垂直观看的图像的说明；图8是以预定仰角获取的图像的说明；图9是量化数据的说明；图10是纹理的距离平均值的说明；图11是说明纹理的距离平均值的图形；图12为说明在纹理的距离平均值的基础上计算的消失点的图形；图13为在纹理的距离平均值的基础上计算的消失点的说明；图14为说明图2所示的视角估计单元的配置示例的框图；图15是水平平行线的说明；图16是提取平行于对角线的、在景深方向中的平行线的说明；图17包含生成平铺图像和估计视角的说明；图18包含其中在景深方向中绘制平行线时出现错误的情况的说明；
图19是说明图14所示的水平平行线绘制部分的配置示例的框图；图20是对象(subject)示例的说明；图21是图像变换原理的说明；图22是对于图20所示的对象所获取的图像的说明；图23是在所获取的图像和垂直观看的图像上的图像变换原理的说明；图24是在所获取的图像和垂直观看的图像上的图像变换原理的说明；图25是在所获取的图像和垂直观看的图像上的图像变换原理的说明；图26是在所获取的图像和垂直观看的图像上的图像变换原理的说明；图27具有在所获取的图像和垂直观看的图像上的图像变换原理的图示；图28是说明在所获取的图像和垂直观看的图像上的图像变换原理的图示；图29为说明如图2所示的图像变换单元的配置示例的框图；图30为用于普通图像的图像形成屏幕以及虚拟图像形成屏幕的说明；图31为在两个屏幕之间的像素位置对应的图示；图32为在两个屏幕之间的像素位置对应的图示；图33为用于普通图像的图像形成屏幕以及虚拟图像形成屏幕的位置的说明；图34为说明图像处理设备的处理的流程图；图35为说明第一消失点估计处理的流程图；图36为说明第二消失点估计处理的流程图；图37为说明参考值确定处理的流程图；图38为在指定纹理的情况下确定参考值的说明；
图39为在指定纹理的情况下确定参考值的说明；图40为在指定纹理的情况下确定参考值的说明；图41为说明视角估计处理的流程图；图42为说明水平平行线绘制处理的流程图；图43是说明图像变换处理的流程图；图44为基于通过应用本发明的实施例而正确估计的视角而改变的图像的说明；图45A和45B为基于通过应用本发明的实施例而正确估计的视角而改变的图像的说明；图46是基于不正确估计的视角而改变的图像的说明；图47是基于不正确估计的视角而改变的图像的说明；图48A、48B和48C是图44、46和47中的视角和焦距的说明；图49是其中在用户周围执行360度图像获取的情况的说明；图50A、50B、50C和50D是通过在图49中的四个方向执行获取图像获取而获得的图像的说明；图51是通过连接图50A到50D所示的图像而获得的图像的说明；图52是通过对通过在图49中的八个方向执行图像获取而获得的图像进行连接而生成的图像的说明；图53是通过应用本发明的实施例而生成的图像的说明；以及图54是显示个人计算机配置的框图。
具体实施例方式
在描述本发明的实施例之前，在下面论述在权利要求的特征与在本发明的实施例中公开的特定单元之间的对应关系。这个描述用于确保在这个说明书中描述了支持所要求保护的发明的实施例。因此，即使在以下实施例中的单元未被描述为与本发明的某一特征相关，这也未必意味着该单元不与权利要求的该特征相关。相反地，即使在此处将单元描述为与权利要求中的某一特征相关，这也未必意味着该单元不与权利要求的其它特征相关。
此外，这个描述不应当被看作是限制在权利要求中描述了在该实施例中所公开的本发明的所有方面。也就是说，该描述不否认存在实施例中描述了但是在这个申请的发明中未要求保护的本发明的方面，即，不否认存在将来可以由分案申请要求保护或者可以通过修改另外要求保护的本发明的方面。
根据本发明实施例的图像处理设备(例如，图2中的图像处理设备41)获取和变换代表具有景深的空间的第一平面图像数据(例如，图4中的图像81)。根据本发明实施例的图像处理设备包括消失点估计装置(例如，图2中的消失点估计单元52)，用于估计第一平面图像数据的消失点(例如，图13或者图5中的消失点)；视角估计装置(例如，图2中的视角估计单元53)，用于估计第一平面图像数据的视角；以及图像生成装置(例如，图2中的图像变换单元54)，用于基于由消失点估计装置估计的消失点和由视角估计装置估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径(例如，图31或者图32中的“a”)的圆柱的中心并且与消失点等高的位置(例如，图31或者图32中的位置(0，0，-a))作为参考点，将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
消失点估计装置(例如，图3中的消失点估计单元52-1)可以包括绘制装置(例如，图3中的景深方向平行线提取单元71)，用于绘制第一平面图像数据的透视线；以及消失点提取装置(例如，图3中的消失点计算单元72)，用于基于透视线而提取第一平面图像数据的消失点。
消失点估计装置(例如，图6中的消失点估计单元52-2)可以包括特征值提取装置(例如，图6中的特征值提取部分131)，用于提取第一平面图像数据的特征值；特征值量化装置(例如，图6中的量化部分132)，用于量化由特征值提取装置所提取的特征值；特征值分布计算装置(例如，图6中的纹理梯度计算部分133)，用于基于由特征值量化装置所量化的特征值，计算指示特征值在第一平面图像数据的垂直方向中分布的梯度类型的特征值分布(例如，纹理梯度)；以及消失点提取装置(例如，图6中的消失点计算部分134)，用于在由特征值分布计算装置计算的特征值分布的基础上，提取第一平面图像数据的消失点。
视角估计装置可以包括平面图生成装置(例如，图14中的平铺图像生成部分173)，用于生成通过假定从上方垂直观看由第一平面图像数据所代表的空间而获得的平面图(例如，图17中的平铺图像)；以及视角计算装置(例如，图14中的视角计算部分174)，用于通过在由平面图生成装置生成的平面图中检测由第一平面图像数据代表的空间中的视点位置(图17中的照相机位置)，来计算视角。
平面图生成装置可以通过计算在第一平面图像数据所代表的空间中的视点的仰角(例如，参考图19所述的水平平行线绘制部分171进行的处理)，来生成平面图。
根据本发明实施例的图像处理设备还可以包括显示装置，用于显示由图像生成装置生成的第二平面图像数据，而且该显示装置可以包括平面显示器(例如，图44或者图45中的图像显示平面显示器，或者用于显示图53中的图像501的平面显示器)。
根据本发明另一个实施例的图像处理方法用于这样一种图像处理设备(例如，图2中的图像处理设备41)，该图像处理设备获取和变换代表具有景深的空间的第一平面图像数据(例如，图4中的图像81)。这种图像处理方法包括步骤估计(例如，图34中的步骤S2)第一平面图像数据的消失点(例如，图13或者图5中的消失点)；估计(例如，图34中的步骤S3)第一平面图像数据的视角；以及基于由消失点估计装置估计的消失点和由视角估计装置估计的视角，生成(例如，图34中的步骤S4)第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径(例如，图31或者图32中的“a”)的圆柱的中心并且与消失点等高的位置(例如，图31或者图32中的位置(0，0，-a))作为参考点，将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
此外，在根据本发明实施例的程序以及根据本发明的实施例、记录在记录介质上的程序中，步骤所对应的特征(的示例)类似于根据上述实施例的图像处理方法中的那些特征(的示例)。
根据本发明另一个实施例的图像处理设备(例如，图2中的图像处理设备41)获取和变换代表具有景深的空间的第一平面图像数据(例如，图4中的图像81)。这个图像处理设备包括输入装置，用于输入第一平面图像数据的消失点和视角；以及图像生成装置(例如，图2中的图像变换单元54)，用于基于输入装置输入的消失点和视角生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径(例如，图31或者图32中的“a”)的圆柱的中心并且与消失点等高的位置(例如，图31或者图32中的位置(0，0，-a))作为参考点，将第一平面图像数据投影在该圆柱的曲面上与视角相对应的部分上。
上述图像处理设备还可以包括显示装置，用于显示由图像生成装置生成的第二平面图像数据，而且该显示装置可以包括平面显示器(例如，图44或者图45中的图像显示平面显示器，或者用于显示图53中的图像501的平面显示器)。
根据本发明另一个实施例的图像处理方法用于这样一种图像处理设备(例如，图2中的图像处理设备41)，该图像处理设备获取和变换代表具有景深的空间的第一平面图像数据(例如，图4中的图像81)。这种图像处理方法包括步骤控制第一平面图像数据的消失点和视角的输入；以及，基于在输入控制步骤中控制其输入的消失点和视角，生成(例如图34中的步骤S4)第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径(例如，图31或者图32中的“a”)的圆柱的中心并且与消失点等高的位置(例如，图31或者图32中的位置(0，0，-a))为参考点，将第一平面图像数据投影在该圆柱的曲面上与该视角相对应的部分上。
下面参考附图对本发明的具体实施例进行描述。
向其应用了本发明的实施例的图像处理设备在由普通照相机获取的预定视角内生成平面图像或者视频。换句话说，图像处理设备生成这样的平面图像或者视频，其中当观察者从多个视点观看平面图像或者视频时，观察者不会注意到有任何不自然。
例如，如图1所示，可以在包括曲面部分1的柱面上投影图像或者视频，以便在圆柱中心上的观察者11水平旋转360度时，观察者在任何角度都不会注意到任何不自然。
在将由普通照相机获取的平面图像或者活动画面(视频)(该活动画面包括多个平面图像)变换为当将该平面图像或者活动画面投影在曲面部分1上时所获得的图像或者视频之后，向其应用了本发明实施例的图像处理设备可以在平面2上显示所获得的图像或者视频，或者可以在类似的平面上打印出所获得的图像或者视频。基于显示在平面2上的图像或者视频，当在平面2前面的多个观察者12到14从他们的位置观看前方时(当观察者12到14的视线垂直于平面2或者每个视线都具有接近于垂直的角度时)，他们可以获得正确的眼膜图像，这些眼膜图像类似于当在包括曲面部分1的圆柱的中心处的观察者11改变其到平面2的方向(角度)时所获得的那些眼膜图像。
下面举例说明了图像处理。然而，显然，通过在所有帧图像上实现向其应用了本发明实施例的处理，本发明的实施例甚至可应用于其中显示视频(活动画面)的情况，其中假定该视频包括多个帧图像(静止图像)。
图2为示出其中应用了本发明实施例的图像处理设备41的配置示例的框图。
图像处理设备41包括图像数据获取单元51、消失点估计单元52、视角估计单元53、图像变换单元54和图像数据输出单元55。
图像数据获取单元51获取由普通照相机获取的平面图像，也就是，与基于所谓的“针孔照相机”的原理、通过使用照相机的透镜位置作为视点而获取的普通平面图像相对应的图像数据，并且将所获取的图像数据提供给消失点估计单元52。
消失点估计单元52检测所提供的图像数据的消失点，然后将所检测到的消失点的信息和所提供的图像数据提供给视角估计单元53。消失点是这样的点，其中当通过透视变换将三维空间中的平行线投影到图像平面上时，在该图像平面上的与平行线相对应的直线在该点处会聚。换句话说，消失点是在向其上投影实际具有景深的空间的平面图像上的“无限远点”。消失点被认为是这样的点，其中在景深方向上的平行线(例如，在房间的图像中，它的屋脊线)的延长线和在景深方向上延伸的平面(例如，在房间的图像中，与在景深方向上延伸的地板、墙、和天花板相对应的平面)的延伸的交叉点在无穷方向上的会聚。从图像中的消失点水平绘制的直线是地平线。因此，消失点的估计，换言之是地平线的估计。消失点估计单元52对消失点的估计可以通过任何方法执行。下面参考图3到13描述了两种类型的消失点估计方法作为具体示例。
视角估计单元53估计所提供的图像数据的视角，即表示用于获取图像数据的照相机的图像获取范围的角度，并且将所估计的视角和所提供的图像数据提供给图像变换单元54。视角估计单元53对视角的估计可以通过任何方法执行。稍后参考图14到28描述了该方法的一个具体示例。
图像变换单元54基于从视角估计单元53提供的估计视角而变换所提供的图像数据，并且将变换后的图像数据提供给图像数据输出单元55。下面参考图29到33描述图像变换单元54的处理细节。
图像数据输出单元55执行这样的处理，诸如输出变换后的图像数据并且在大的平面显示器上显示该图像数据，打印出变换后的图像数据，记录变换后的图像数据，以及通过预定的通信介质将变换后的图像数据传输到另一个设备。
当事先已知所提供的图像数据的消失点时，通过使用事先已知的消失点的信息用于视角的估计，可以略去消失点估计单元52进行的视角估计。此外，当事先已知所提供的图像数据的视角时，通过使用事先已知的视角信息用于由图像变换单元54进行的图像数据变换，可以略去由视角估计单元53进行的视角估计。
在这种情况下，通过向图2所示的图像处理设备41提供数据输入单元(未示出)，数据输入单元可以接收消失点或者视角的输入数据，并且可以将该输入数据提供给图像变换单元54。
图3是示出消失点估计单元52-1的配置的框图，该单元使用第一消失点估计方法来估计消失点，并且其是图1所示的消失点估计单元52的第一示例。
通过使用例如边缘滤波器从所提供的图像数据中提取直线分量，景深方向平行线提取单元71提取所谓的“透视线”，其平行于地面(水平面)并且从图像的前面延伸到后面(沿与照相机的视点方向相同的方向)。当提供了与图4所示的图像相对应的图像数据时，要被提取的直线包括例如房间的屋脊线以及楼层的地板纹理。仅仅为了查找消失点，则仅仅需要绘制多条透视线。然而，基于所提取的直线(透视线)，景深方向平行线提取单元71绘制多条平行线，它们在实际空间中以等间隔布置在诸如地面或者地板之类的预定平面上，以便使它们适合于处理(稍后描述)。换句话说，景深方向平行线提取单元71以等间隔在由平面图像所指示的空间中的预定平面上绘制平行线(透视线)。所绘制的平行线在下之中称为“在景深方向上的平行线”。
消失点计算单元72查找由景深方向平行线提取单元71提取的在景深方向上的平行线的交叉点，并且使用该交叉点作为这个图像的消失点。
换句话说，当图像数据获取单元51接收图4所示的输入图像81、并且将其图像数据提供给消失点估计单元52-1时，如图5所示，景深方向平行线提取单元71沿景深方向绘制多条平行线，而且在景深方向上的平行线的交叉点由消失点计算单元72用作消失点。例如，当由于诸如在景深方向上的平行线提取中的错误之类的原因而提取在景深方向上的多条平行线时，消失点计算单元72可以使用交叉点的质心作为消失点，并且可以使用沿景深方向上的大多数平行线相交叉处的点作为消失点。
图6是示出消失点估计单元52-2的配置的框图，该单元通过使用第二消失点估计方法来估计消失点，并且其是图1所示的消失点估计单元52的示例。
参考图6描述的消失点估计单元52-2通过使用所谓的“纹理梯度”从图像数据中估计消失点。
通过使用照相机以预定仰角获取这样一个位置的图像，在该位置中，例如图7中所示的花园中，预定图案(诸如颜色和亮度)以基本一致的方式在俯视图中延伸，则可以获得图8所示的画面，其中预定图案在更接近前侧的位置变粗并且在远离前侧的位置变细。具有这样的趋势、即当以预定仰角获取图案的图像时图案在接近图像前侧的位置处显得粗而在远离前侧的位置处显得细的图案单元被称作“纹理”。该趋势的程度被称作“纹理梯度”。换句话说，由图像获取时的仰角确定纹理梯度。
特征值提取部分131提取输入图像中每个像素的特征值(例如，像素的色差值或者边缘强度)。当使用边缘强度作为特征值时，特征值提取部分131通过使用内置的差动滤波器(未示出)来增强输入图像边缘而提取边缘强度。
量化部分132基于由特征值提取部分131提取的每个像素的特征值，量化该输入图像。例如，当特征值是色差值时，具有等于预定参考值的色差值的每一个像素的值被设置为一，并且将具有不同色差值的每一个像素的值设置为零。当对图8中的图像的图像数据进行量化时，可以获得例如图9所示的量化数据。
纹理梯度计算部分133从由量化部分132获得的量化数据(例如，参考图9描述的量化数据)中以线为单位计算在白色点(纹理)之间的距离。如例如图10所示，当值为一的多个像素布置在预定线中时，计算在距离a1，a2，a3，和a4之间的平均值。
通过如图11所示在图像数据中Y轴上的位置的基础上绘制由AV代表的、以线为单位计算的平均值，如图12所示，纹理梯度计算部分133设置回归线。换句话说，这条回归线对应于纹理梯度。纹理梯度计算部分133将所设置的回归线提供给消失点计算部分134。
消失点计算部分134计算在所设置的回归线和Y轴之间的交叉点作为消失点。
因为消失点是这样的点，在该点处当观看对象时对象的平面在无限远的方向会聚，所以如图13所示的消失点R所指示的，消失点可以存在于超过输入图像的图像区域的位置处。消失点R的X座标是输入图像的中心点的X坐标。
接下来，图14是示出图3所示的视角估计单元53的配置示例的框图。
视角估计单元53包括水平平行线绘制部分171、平行线提取部分172、平铺图像生成部分173以及视角计算部分174。
水平平行线绘制部分171绘制基线并且基于该基线沿水平方向绘制平行线，其中基线在实际的对象空间中垂直于沿景深方向所提供的平行线，并且指示获取了其图像的对象的宽度。这些平行线被称为“水平平行线”。这样绘制水平平行线，以便其具有与沿景深方向上的平行线的间隔相同的间隔。具体地说，这样绘制水平平行线，以便如图15所示，在绘制了基线191之后，水平平行线平行于基线191，而且水平平行线之间的距离等于沿景深方向上的平行线之间的距离，也就是说，以便通过沿景深方向上的平行线和水平平行线在对象空间中绘制正方形。在这时，通过仅仅绘制基线191和从其开始的第一内侧平行线，以及另外绘制所形成的正方形的对角线，可以容易地绘制其它的水平平行线。
当参考图6描述的消失点估计单元52-2用作消失点估计单元52，没有绘制沿景深方向上的平行线。因此，类似于参考图3描述的、消失点估计单元52-1中的景深方向平行线提取单元71，水平平行线绘制部分171绘制在景深方向上的平行线，并且随后绘制水平平行线。
从景深方向的平行线和正方形的对角线中，平行线提取部分172提取在图像中彼此平行的那些。当从图像中的左下角到右上角绘制正方形的对角线时，在图像右侧的任何一条对角线和沿景深方向的任何一条平行线在图像中彼此平行。如图16所示，对角线201和景深方向平行线202彼此平行。因此，由平行线提取部分172提取对角线201和景深方向平行线202。此外，当从图像的右下角到左上角绘制正方形的对角线时，在图像左侧的任何一条对角线和在图像右侧的沿景深方向的任何一条平行线在图像中彼此平行。
平铺图像生成部分173基于沿景深方向的平行线和水平平行线而生成平铺图像。具体地说，平铺图像生成部分173生成当从顶部观看包括对象和照相机在内的区域时获得的平面图，并且如图17所示，以平铺(网格化)的形式，在平面图中绘制沿景深方向的平行线和水平平行线。以下将其中以平铺形式绘制沿景深方向的平行线和水平平行线的平面图称为“平铺图像”。
视角计算部分174基于由平铺图像生成部分173生成的平铺图像、由水平平行线绘制部分171绘制的基线191、以及由平行线提取部分172提取的成对的景深方向平行线和正方形的对角线，计算照相机的视角。换句话说，如图17所示，视角计算部分174在平铺图像中绘制由平行线提取部分172提取的对角线201和景深方向平行线202。在平铺图像中对角线201和景深方向平行线202的交叉点和基线191之间的距离，对应于在用于获取这个图像的照相机和该照相机的焦点之间的距离。换句话说，可以假定在平铺图像中对角线201和景深方向平行线202的交叉点是照相机221的位置。所假定的照相机221的位置对应于图像81中的视点(当图像81是正确的眼膜图像时，为观察者的视点)。在平铺图像中，在从照相机221绘制到基线191的端点的直线之间的角度是所计算的视角。
在图17的情况下，由fov所代表的视角被计算为大约为57度。
虽然水平平行线绘制部分171绘制了间隔等于沿景深方向的平行线的间隔的水平平行线，但是当沿景深方向的平行线和水平平行线的每个间隔中出现错误时，在由视角计算部分174计算的视角中出现错误。
如例如图18所示，当以与参考图17所述的情况中的间隔不同的间隔绘制水平平行线时，通过使用平铺图像计算的视角不同于在图17的情况下获得的视角。
在这种情况下，在基于由消失点估计单元52估计的消失点计算了上述仰角，并且生成与当输入图像是从顶部获取的一个输入图像时所获得的图像相对应的垂直观看图像(例如，当输入图像是图8所示的图像时，为图7所示的图像)之后，可以在该垂直观看图像的基础上绘制水平平行线。
图19是示出当可以计算仰角时水平平行线绘制部分171的配置示例的框图。
水平平行线绘制部分171可以包括仰角计算器251、垂直观看图像生成器252、和水平线绘制器253。
仰角计算器251使用从消失点估计单元52提供的消失点的坐标来计算当获取输入图像时所使用的照相机的仰角，并且将所计算的仰角提供给垂直观看图像生成器252。
通过使用从仰角计算器251提供的所计算的仰角，垂直观看图像生成器252将所输入的图像变换为垂直观看的图像。
接下来，下面参考图20到28描述由仰角计算器251和垂直观看图像生成器252执行的处理。
通过使用照相机CA以预定仰角φ如图21所示在例如其中具有等间隔孔的铁板T上执行图像获取，可以获得具有这样的梯度的图像Da，其中在更接近前侧的位置处孔图案(纹理)看上去显得粗，而在远离前侧的位置处孔图案(纹理)看上去显得细。图22中的标尺M指示孔图案在垂直方向(纹理梯度方向)上的位置。
接下来，如图23所示，通过使用投影仪PJ将具有上述纹理梯度的图像Da投影在以等于照相机CA的仰角φ的角度倾斜的屏幕SC上，来显示铁板T的图像Db，在该图像中，如图24所示，孔图案具有类似于实际铁板T(图20)的相等间隔。
图24所示的箭头的底部指示图像Da的图案中孔的预定垂直位置，而箭头尖部指示图像Db的图案中孔的垂直位置，其与原始图像Da的图案中的孔相对应。
换句话说，垂直观看图像生成器252这样生成垂直观看的图像，其通过使用图24所示的在垂直观看图像(图像Db)和输入图像(图像Da)的像素位置与仰角(φ)之间的几何关系来检测与垂直观看图像的像素相对应的、输入图像中的像素，并且在该垂直观看图像的像素中设置输入图像中的所检测像素的像素值来进行。
在图22所示的示例中，消失点R(准确地说，消失点图像)存在于图像Da的上部，其中孔图案中的垂直间隔减少了。如图24所示，连接消失点R和焦点Q的线平行于对象平面(在图24的示例中的屏幕表面)。因此，可以通过计算消失点R获得仰角(在照相机光轴和对象平面之间的角度)。换句话说，因此，仰角计算器251可以通过使用消失点R来计算仰角φ。
如图25所示，仰角φ等于在连接消失点R和焦点Q的线和连接成像平面Z的中心点的线之间形成的角度。仰角φ通过下式计算φ＝tan-1(p/kh)＝tan-1(r/k) …(1)其中，p表示在图13所示的输入图像中在中心位置和消失点R之间的距离，h表示图13所示的输入图像的Y轴尺寸(高度)，r表示p/h，以及K表示预定的系数。
此外，图25所示的几何关系还可以如图26所示。
在如上所述计算了仰角φ之后，垂直观看图像生成器252使用所计算的仰角将输入图像变换为垂直观看图像。
具体地说，如图27所示，对于每个像素，例如垂直观看图像中的像素(x1，y1)，垂直观看图像生成器252检测相应的像素(x0，y0)。
垂直观看图像的像素(x1，y1)、输入图像的像素(x0，y0)以及仰角φ具有图28所示的几何关系。因此，可以通过以下表达式找到与垂直观看图像的像素(x1，y1)相对应的输入图像的像素(x0，y0)
y0=y1sinφd+y1cosφkh]]>x0=x1d+y1cosφkh---(2)]]>通过使用这些表达式，当提供输入图像时，可以估计对象平面上的实际图案。
通过在由垂直观看图像生成器252生成的垂直观看图像上绘制景深方向平行线和水平平行线，并且随后对由垂直观看图像生成器252执行的变换执行逆变换，水平线绘制器253生成图像(在该图像中，如参考图16和17所述，绘制了正确的沿景深方向的平行线和水平平行线)的图像数据，并且将该图像数据提供给平行线提取部分172。
接下来，图29是示出图2所示的图像变换单元54的配置示例的框图。
虽然设计了基于针孔照相机模型的普通图像，以便可以在平面屏幕上形成图像，但是图像变换单元54可以执行到这样的图像的变换，其中该图像是当在由包括在圆柱中的曲面部分形成的屏幕上形成在平面屏幕上形成的图像时获得的。换句话说，图像变换单元54可以执行到这样的图像的变换，其中该图像是当使用作为圆柱的中心并且用作水平线高度的位置作为参考位置时、将平面屏幕上的图像投影在由包括在圆柱中并且对应于视角的曲面部分形成的屏蔽上时获得的。例如，如图30所示，将由照相机301获取并且提供给照相机301的图像投影在普通的成像屏幕302上。不同于此，假定其形状为圆柱切块的虚拟成像屏幕303。图像变换单元54将提供给图像处理设备41的图像、即投影在普通成像屏幕302上的图像变换为形成在虚拟成像屏幕303上的图像。
源图像数据获取部分281获取从视角估计单元53提供并且提供给图像处理设备41的图像，也就是，获取在变换之前的图像的图像数据。源图像数据获取部分281将所获取的图像数据提供给相应的像素提取部分284，并且向变换图像表面生成部分282提供在变换之前的尺寸信息。
基于从源图像数据获取部分281提供的、在变换之前的图像的尺寸信息，变换图像表面生成部分282准备尺寸上等于源图像的输出图像的表面，并且将该输出图像的表面提供给关注像素(pixel-of-interest)提取部分283和变换图像生成部分285。
关注像素提取部分283从由变换图像表面生成部分282提供的变换图像的表面中提供所关注的像素，并且将所关注像素的信息提供给相应像素提取部分284和变换图像生成部分285。
对于变换图像中的、由从关注像素提取部分283提供的坐标信息所代表的每个像素，相应像素提取部分284基于从视角估计单元53提供的估计视角而计算在变换图像中的相应像素，并且将相应像素的像素值提供给变换图像生成部分285。
具体地说，如图31所示，当具有半径a的圆柱形屏幕紧靠平面屏幕时，相应像素提取部分284查找平面屏幕上的下述像素位置，其中在具有半径a的圆柱形屏幕的至少部分中形成的图像的每一个像素与该平面屏幕上的所述像素位置相对应。由视角和变换之前的图像的水平宽度确定圆柱形屏幕的半径a。换句话说，值a是这样的值，其中当变换之前的图像的水平宽度的1/2是1而且视角的1/2是θ时，tanθ＝1/a。
假定xyz坐标系统中的原点(0，0，0)是在具有半径a的圆柱形屏幕和平面屏幕之间的交叉线上的点并且是高度(即，水平线的高度)等于消失点的高度的坐标，而且具有半径a的圆柱形屏幕的中心点表示为(0，0，-a)。当基于距离X-Y平面上的Z轴的角度θ以及Y轴坐标β，将在具有半径a的圆柱形屏幕上的一组坐标表示为(θ，β)，并且将该组坐标变换到xyz坐标系统中时，所获得的坐标是(asinθ，β，A(cosθ-1))。因此，与在具有半径a的圆柱形屏幕上形成的图像的像素(θ，β)相对应的一组坐标是连接中心位置(0，0，-a)和坐标(sinθ，β，A(cosθ-1))的直线与X-Y面交叉处的点，并且具有值(atanθ，β/cosθ，0)。
此外，如图32所示，当具有半径a的圆柱形屏幕和平面屏幕彼此紧靠时，相应像素提取部分284可以查找与平面屏幕上的每一像素相对应的、在具有半径“a”的至少部分圆柱形屏幕中的像素位置。
类似于参考图31描述的情况，假定xyz坐标系统中的原点(0，0，0)是在具有半径a的圆柱形屏幕和平面屏幕之间的交叉线上的点，而且是高度(即，水平线的高度)等于消失点的坐标。当具有半径a的圆柱形屏幕的中心点表示为坐标(0，0，-a)时，在圆柱形屏幕上的、与平面屏幕上的坐标(X，Y，0)相对应的坐标，表示连接中心点(0，0，-a)和坐标(X，Y，0)的直线与圆柱形屏幕交叉处的点，并且被表示为(sin-1(X/a2+X2),aY/a2+X2,a(cosθ-1))---(3)]]>变换图像生成部分285通过使用上述方法重复地执行将从相应像素提取部分284提供的、源图像的相应像素的像素值复制到变换图像表面的所关注像素的位置中的操作，而生成变换图像并且将其提供给图像数据输出单元55。
当比较参考图31描述的方法和参考图32描述的方法时，在参考图31描述的方法中，最终生成的图像数据不会缺少像素。让相应像素提取部分284使用参考图31描述的方法为变换图像中的每个像素查找变换图像的相应像素，是更可取的。
图31和32说明了其中作为具有半径a的圆柱的一部分的虚拟成像屏幕303紧靠普通成像屏幕302的情况。然而，即使假定在其中虚拟成像屏幕303和普通成像屏幕302不彼此紧靠的情况下执行变换，该变换也类似于上述情况下的变换。换句话说，在具有某一视角的平面屏幕上的图像可以被投影在具有预定半径的圆柱上的与该相同视角相对应的区域(其中扇区的圆心角由中心点和屏幕形成的区域)上。圆柱的半径由视角和屏幕之间的位置关系所确定。此外，变换图像表面的大小也由视角和屏幕之间的位置关系确定。
换句话说，如图33所示，如果在普通成像屏幕302上形成的变换之前的图像和在虚拟成像屏幕303-1到303-4上形成的每个变换图像之间执行图像投影，以便具有相同的视角和视点(照相机301的位置，也就是与中心点(0，0，-a)相对应的点)，则即使普通成像屏幕302在包括虚拟成像屏幕303的圆柱的外侧或者内侧，也可以执行基本上与上述情况中的变换类似的变换。
接下来，在下面参考图34所示的流程图描述由图2所示的图像处理设备41执行的处理。
在步骤S1，图像数据获取单元51获取变换之前的图像数据，并且将所获取的图像数据提供给消失点估计单元52。
在步骤S2，消失点估计单元52执行稍后参考图35描述的第一消失点估计处理，或者执行稍后参考图36描述的第二消失点估计处理。
在步骤S3，视角估计单元53执行稍后参考图41描述的视角估计处理。
在步骤S4，图像变换单元54执行稍后参考图43描述的图像变换处理。
在步骤S1中计算消失点、在步骤S3中估计视角，以及在步骤S4中通过执行变换生成变换后的图像数据之后，在步骤S5，将所生成的变换图像数据提供给图像数据输出单元55，而且图像数据输出单元55在处理完成之前输出所提供的图像数据。
如上所述，图2中的图像处理设备41计算消失点、估计视角、基于视角变换图像数据、并且输出变换后的图像数据。所输出的图像数据被显示在大的平面显示器上，被打印出，被记录在预定记录介质上，以及通过预定的通信介质进行传送。
接下来，由参考图3描述的消失点估计单元52-1在图34的步骤S2中执行的第一消失点估计处理描述如下。
在步骤S21，通过从由图像数据获取单元51获取的图像中提取与地面(水平面)平行并且从图像的前面延伸到内侧(在与照相机视点的方向相同的方向上)的直线，景深方向平行线提取单元71如参考图5所述，在景深方向以等间隔提取平行线。
在步骤S22，如参考图5所述，消失点计算单元72通过计算由景深方向平行线提取单元71提取的、在景深方向上的平行线在图像上的交叉点，来计算消失点。在那之后，处理返回到图34中的步骤S2并且继续到步骤S3。
在这个处理中，基于在图像数据的景深方向上的平行线，估计消失点。
接下来，下面参考图36描述由参考图6所述的消失点估计单元52-2在图34的步骤S2中执行的第二消失点估计处理。
在步骤S41，特征值提取部分131提取输入图像中每个像素的特征值。例如，提取每个像素的色差值或者边缘强度作为特征值。当边缘强度用作特征值时，图像数据获取单元51使用差动滤波器(未示出)来增强输入图像的边缘并且提取边缘强度。
在步骤S42，量化部分132基于在步骤S41中提取的像素的特征值，量化输入图像的特征值。
当特征值是例如色差值时，其色差值等于预定参考值的每个像素的像素值被设置为具有1，而且具有不同色差值的每个像素的像素值被设置为具有0。
例如，将图8所示的输入图像量化为图9所示的状态。在图9中，白点指示具有值1的像素，而黑点指示具有值0的像素。
在步骤S43，在由纹理梯度计算部分133和消失点计算部分134进行的处理中，计算消失点。处理返回到步骤S2，并且继续到步骤S3。
具体地说，从在步骤S42中获得的量化数据(图9)中，纹理梯度计算部分133以线为单位计算在白点(纹理)之间的距离的平均值(纹理梯度数据)。如参考图10所述的，当具有值1的像素布置在预定线中时，计算在距离a1、a2、a3和a4之间的平均值。
如参考图12所述的，纹理梯度计算部分133基于以线为单位计算的平均值设置回归线，其中该平均值由AV(图12)所表示。换句话说，回归线对应于纹理梯度。
量化部分132计算在所设置的回归线和Y轴(在输入图像上的Y轴)之间的交叉点作为消失点。
在这个处理中，基于纹理梯度计算消失点。
在图36的步骤S41，特征值提取部分131提取输入图像中每个像素的特征值。例如，提取像素的色差值和边缘强度作为特征值。
当色差值用作特征值时，由特征值提取部分131在图36的步骤S41中执行的参考值确定处理描述如下。
在步骤S61，特征值提取部分131从输入图像中生成预定特征值(在这个示例中为色差值)的直方图。
在步骤S62，特征值提取部分131在步骤S61中所生成的直方图中选择n个具有高频率的色差值。
在步骤S63，特征值提取部分131从在步骤S62中选择的n个色差值中选择一个色差值。在步骤S64，特征值提取部分131检测这样的像素的位置，其中这些像素中的每一个都具有等于选定色差值的色差值。
如图38到40所示的示例所指示的那样，在步骤S65，计算在步骤S64中检测其位置的像素的水平位置(X轴坐标)的最大和最小值之间的差值，以及在步骤S64中检测其位置的像素的垂直位置(Y轴坐标)的最大和最小值之间的差值，并且计算这两个差值的和。
在步骤S66，特征值提取部分131确定在步骤S63中是否已经选择了在步骤S62中选择的所有n个色差值。如果在步骤S66中确定存在有还没有被选择的色差值，则处理返回到步骤S63，并且选择下一个色差值。重复执行在步骤S64以及后续步骤中的处理。
如果在步骤S66确定已经选择了全部色差值，则在步骤S67，特征值提取部分131选择从中获得在步骤S65中计算的和的最大值的色差值作为参考值。
用这样的方式，确定参考值。例如，将相对大量存在于输入图像中并且分布在整个输入图像中的颜色的色差值用作参考值，并且执行这样的颜色的量化。
已经举例说明了其中特征值是色差值的情况。然而，对于诸如边缘强度之类的其它特征值，类似地确定参考值。
接下来，由参考图14描述的视角估计单元53在图34中的步骤S3中执行的视角估计处理描述如下。
在步骤S91，如参考图15和16所述，当存在有为了查找消失点而事先绘制的在景深方向上的平行线时，对于在景深方向上的平行线，水平平行线绘制部分171以与景深方向上的平行线的间隔相等的间隔绘制水平平行线。换句话说，这样绘制水平平行线以便以垂直观看图像的形式绘制正方形。作为选择，当没有事先绘制景深方向上的平行线时，在类似于参考图5所述的情况、水平平行线绘制部分171绘制了景深方向上的平行线之后，对于这些在景深方向上绘制的平行线，如参考图15和16所述，水平平行线绘制部分171以与景深方向上的平行线的间隔相等的间隔绘制水平平行线。换句话说，这样绘制水平平行线以便在垂直观看图像中绘制正方形。
在步骤S92，如参考图16所述，平行线提取部分172从在景深方向上的平行线和所绘制正方形的对角线当中提取平行的那些线。
在步骤S93，基于在景深方向上的平行线和水平平行线，如参考图17所述，平铺图像生成部分173生成平铺图像。
在步骤S94，基于由平铺图像生成部分173生成的平铺图像，由水平平行线绘制部分绘制的基线，以及由平行线提取部分172提取的、成对的在景深方向上的平行线和所绘制正方形的对角线，如参考图17所述，视角计算部分174计算视角，而且处理在继续到步骤S4之前返回到步骤S3。
在上述处理中，可以估计用于获取转换之前的图像的照相机的视角。
此外，当难以以与景深方向上的平行线的间隔相等的间隔绘制水平平行线时，也就是当难以这样绘制水平平行线以便以垂直观看的图像形式绘制正方形时，在沿景深方向的平行线的每个间隔中以及在水平平行线的每个间隔中出现错误，因此导致由视角计算部分174计算的视角中的错误。
例如，如图18所示，当以与参考图17描述的间隔不同的那些间隔绘制水平平行线时，通过使用平铺图像计算的视角不同于在图17所示的情况下获得的那个视角。在这种情况下，通过将水平平行线绘制部分171的配置改变为参考图18所描述的配置，计算在当获取转换之前的图像时照相机的仰角，以及生成垂直观看的图像，可以这样绘制水平平行线，以便在垂直观看的图像中对于景深方向上的平行线绘制正方形。
接下来，在下面参考图42所示的流程图描述当计算仰角以生成垂直观看图像时与图41中的步骤S91相对应的水平平行线绘制处理。
在步骤S111，仰角计算器251基于在由消失点估计单元52进行的处理中获得的消失点，计算照相机的仰角。
具体地说，可以使用表达式(1)计算仰角，这是因为如图25所示，仰角等于在连接消失点R和焦点Q的直线和连接成像平面z的中心点和焦点Q的直线之间形成的角度。
在步骤S112，垂直观看图像生成器252使用所计算的仰角，以便通过变换输入图像来生成垂直观看的图像。
具体地说，如参考图27所述，对于垂直观看图像中的每个像素(x1，y1)，由垂直观看图像生成器252检测输入图像中的相应像素(x0，y0)。
垂直观看图像中的像素(x1，y1)、输入图像中的像素(x0，y0)以及仰角φ具有图28所示的几何关系。因此，可以通过使用表达式(2)计算与垂直观看图像中的像素(x1，y1)相对应的、输入图像中的像素(x0，y0)。通过使用这种方式，当提供了输入图像时，可以估计在对象平面上的实际图案。
在步骤S113，水平线绘制器253在所生成的垂直观看图像中水平地绘制平行线，以便以垂直观看图像的形式对于景深方向上的平行线绘制正方形，其中为了查找消失点而绘制了在景深方向上的平行线。
在垂直观看图像生成器252中绘制了景深方向上的平行线和水平平行线之后，通过对由垂直观看图像生成器252所执行的变换执行逆变换，水平线绘制器253生成用于指示绘制了在景深方向上的正确的平行线和正确的水平平行线的图像数据，并且将所生成的图像数据提供给平行线提取部分172。
因为这个处理基于仰角生成垂直观看图像，所以可以这样绘制水平平行线，以便以垂直观看图像的形式对于景深方向上的平行线准确地绘制正方形。因此，可以用良好的精确度估计视角。
接下来，下面参考图43所示的流程图描述由参考图29所述的图像变换单元54在图34的步骤S4中执行的图像变换处理。
在步骤S131，源图像数据获取部分281获取变换之前的图像数据，并且将所获取的图像数据提供给变换图像表面生成部分282和相应像素提取部分284。
在步骤S132，变换图像表面生成部分282准备其尺寸等于变换之前的图像数据的尺寸的变换图像表面，并且将该图像表面提供给关注像素提取部分283和变换图像生成部分285。
在步骤S133，关注像素提取部分283从由变换图像表面生成部分282提供的图像表面中提取未处理的像素作为所关注的像素，并且将所关注像素的坐标信息提供给相应像素提取部分284和变换图像生成部分285。
在步骤S134，基于从视角估计单元53提供的估计视角，通过使用参考图31或者图32描述的变换表达式，相应像素提取部分284从变换之前的图像数据的像素中提取与所提取的关注像素相对应的像素，并且将所提取的像素提供给变换图像生成部分285。
在步骤S135，变换图像生成部分285将在从相应像素提取部分284提供的、源图像中的对应像素的像素值复制到图像表面中的关注像素的位置中。
在步骤S136，变换图像生成部分285确定是否已经为所有像素完成了像素值复制。如果在步骤S136中确定还没有为所有像素完成像素值复制，则处理返回到步骤S133，并且重复执行后续的步骤。如果在步骤S136中确定已经为所有像素完成了像素值复制，则处理返回到图34中的步骤S4并且继续到步骤S5。
在这个处理中，基于视角和变换之前的图像数据的大小，从预定照相机位置获取的图像的平面图像数据中的每个像素由形成为圆柱的至少一部分的虚拟屏幕上的任何像素所替代，借此生成变换后的图像数据。
图44示出了变换后的图像的示例，该变换后的图像这样生成以便基于如参考图17所述而获得的视角fov1＝57(度)来变换图4所示的变换之前的图像。然后，a＝1.086。
基于图44所示的所获取的“室内空间”图像，当观察者从图45A所示的位置α向前方观看时，如图45B所示，观察者可以获得与当处于“室内空间”中心的观察者351在向方向α看时所获得的眼膜图像相对应的眼膜图像。基于图44所示的所获取的“室内空间”图像，当观察者从图45B所示的位置β向前方观看时，如图45B所示，观察者可以获得与当处于“室内空间”中心的观察者351在向方向β看时所获得的眼膜图像相对应的眼膜图像。基于图44所示的所获取的“室内空间”图像，当观察者从位置γ向前方观看时，如图45B所示，观察者可以获得与当处于“室内空间”中心的观察者351在向方向γ看时所获得的眼膜图像相对应的眼膜图像。换句话说，图44和45A所示的变换图像使得观察者能够获得正确的眼膜图像，而不管诸如图45A所示的位置α到γ之类的观察者位置如何。
当位于“室内空间”中心的观察者351在将角度从方向α改变到方向γ的同时，从房间的左下角到房间的右下角观看在房间的内壁和地板之间的界限时，在该界限和观察者351之间的距离对于房间的左下角(方向α)和房间的右下角(方向γ)是最大的，而对于房间的中心部分(方向β)是最小的。换句话说，图44和图45A所示的变换图像中，在房间的内壁和地板之间的界限不是直线而是稍微向下凸的曲线，而且在比在中心部分的地板和房间内壁之间的界限高的位置上，也就是说，在感觉更远离观察者351的位置上，绘制房间的左下角和右下角。
在该变换后的图像中，会出现在普通图像中不会出现的上下弯曲。因此，优选为，为观察者显示其中如图45A所示删除了上下弯曲的图像，也就是，在图45A中的直线352-1和352-2之间的图像部分。
图46示出了当tanθ2＝1.0、即视角fov2＝2tan-11.0＝90(度)以及a＝2时获得的变换图像的示例。
此外，图47示出了当tanθ2＝0.25、即视角fov3＝2tan-10.25＝28.1(度)以及a＝0.5时获得的变换后图像的示例。
换句话说，基于图48A所示的、在视角fov和在照相机与照相机焦点间的景深距离a之间的关系，通过变换获得图44所示的变换后的图像。基于48B所示的、在视角fov和在照相机和照相机焦点间的景深距离a之间的关系，通过变换获得图46所示的变换后的图像。基于48C所示的、在视角fov和在照相机和照相机焦点间的景深距离a之间的关系，通过变换获得图47所示的变换后的图像。
换句话说，如图48B所示，生成图46所示的变换图像，作为以比实际更宽的视角从远程照相机获取的、用于图48A中正确获得的视角fov和景深距离a(在照相机和照相机焦点之间的距离)的图像。如图48C所示，生成图47所示的变换图像，作为以比实际更窄的视角从近处近照相机获取的、用于图48A中正确获得的视角fov和景深距离a(在照相机和照相机焦点之间的距离)的图像。
如上所述，如果没有基于正确估计的视角和焦距执行图像变换，则难以生成这样的图像，其中通过该图像可以把正确的眼膜图像提供给观察者而不管观察者的位置如何。
接下来，在下面通过举例说明从预定点获得在整个360度的方向中、与眼膜图像相对应的平面图像数据的情况，来描述当应用本发明的实施例时所获得的显著优点。
例如，假定如图49所示用户401在线性延伸的人行道402上获得在该用户401周围360度的图像数据，其中在人行道402上安装了长凳411和412，而且在人行道402的周围种植了树413-1到413-8，下面描述其优点。
首先，图50A到50D示出了当在四个方向上执行图像获取时所获得的图像，如图49所示，这四个方向为作为人行道402的一侧并且对应于长凳411和412的方向的方向a，与方向a相差90度并且对应于树413-8的方向的方向b，与方向a相差180度的方向c，以及与方向c相差90度并且对应于树413-1到413-7的方向的方向d。
如图50A所示，图像451是在方向a上获取图像的结果。图像451包括长凳411和412，并且在图像451中，人行道402沿远侧延伸，而且人行道402的边界是会聚在消失点处的倾斜直线(消失点存在于图像451的外面)。如图50B所示，图像452是在方向b上获取图像的结果。图像452包括树413-8，而且在图像452中，人行道402的边界看起来象是水平直线。如图50C所示，图像453是在方向c上获取图像的结果。在图像453中，人行道402沿图像453中的远侧延伸，而且人行道402的边界是会聚在消失点处的倾斜直线(消失点存在于图像453的外面)。如图50D所示，图像454是在方向d上获取图像的结果。图像454包括多颗树413，而且在图像454中，人行道402的边界看起来象是水平直线。
通过简单地连接图50A到50D所示的四个图像451到454，可以生成图51所示的图像471。在图像471中，校正存在于图像之间的边界部分中的一颗树413等，以便不会看起来不自然。
在作为图像471的组成部分的图像451到454中，人行道402的边界被显示为会聚在消失点处的直线或者被显示为水平直线。因此，在图像471中，人行道402的边界全部都由直线形成。因此，不同于当用户401在用户401周围360度观看时所获得的眼膜图像，图像471形成为一个不自然的图像，其中刚好在上述角度a到d中每一个的中间角度(图像451到454中的每个连接部分)处，人行道402的边界以预定角度弯曲。
相反，例如，假定通过增加在图49所示的用户401的位置处获取的图像数目，例如，通过组合并且连接双倍数目的图像或者八个图像，来生成一图像。
例如，通过将在上述角度a到d的中间角度处所获取的图像与参考图51描述的、在图像471中的图像451到454的连接部分相连接，可以生成图52所示的图像481。然而，在图像481中，人行道402的边界也被形成为以预定角度在八个图像的连接部分中所连接的一组直线。
换句话说，即使通过使用基于相关技术中的针孔照相机的原理而获得的图像，来增加所获取图像(图像获取方向)的数目，以便获得与当在周围360度观看时所获得的眼膜图像接近的图像，但是，在精确的意义上说，人行道402的边界也被形成为连接的直线，以致所获得的图像不同于由作为观察者的用户401的眼睛所观看到的眼膜图像。
不同于上述情况，通过使用图像处理设备41(其中应用了本发明的实施例)来变换基于相关技术中的针孔照相机的原理而获得的图像，并且适当地连接这些图像，如图53中的图像501所示，人行道402的边界被变换为平滑曲线。换句话说，即使从在图像501前侧的任何位置观看该图像的正面，提供给观察者的眼膜图像也基本上等同于当用户401 360度旋转时由用户401的眼睛所观看到的眼膜图像。
如上所述，通过应用本发明的实施例，可以在多个观察者的每个视点处获得平面图像以及通过该平面图像获取眼膜图像，其中仅仅通过连接基于相关技术中的针孔照相机原理而获得的图像难以形成该平面图像，而且该眼膜图像基本上等同于由实际空间中的用户401的眼睛所观看到的眼膜图像。
本发明的实施例不仅可应用于由普通照相机获取的图像或者视频的变换，而且还可以应用于例如使用计算机图形学创建图像或者视频的情况。换句话说，可以通过使用本发明的实施例来变换这样的图像或者视频，其中该图像或者视频中的景深由与用于基于针孔照相机的原理而获取的图像的方法相类似的方法所表示。
此外，存在有例如这样的应用，其使得用户能够感受到其中人进入屏幕中而且屏幕变为镜面的虚拟感觉。特别地，存在有这样的应用，尽管其为二维的，但是可向用户提供所谓的“虚拟现实”或者“混合现实”。例如，在这样的虚拟现实或者混合现实中，将示出了小水珠以及以液态形式的那些水珠滴下的视频投影在大屏幕上，而且在屏幕中的水珠以及以液态形式的那些击打位于屏幕前方的用户在屏幕上的阴影，且如同在现实世界中水珠以及以液态形式的那些击打用户那样进行动作，并且此外，蝴蝶飞入屏幕并且停留在用户在屏幕上的阴影中。
在这样的应用中，可应用本发明的实施例。换句话说，通过应用本发明的实施例以生成显示在屏幕上的图像或者视频，可以向相对于显示在屏幕上的图像或者视频、存在于未指定位置处(例如，在图45A中的每个位置α，β，和γ)的用户提供更接近于现实世界中的体验的感觉。
通过使用通过应用本发明的实施例以及对用普通照相机获取的图像执行预定的图像变换而生成的变换图像，即使观看该变换图像的观察者从该变换图像前侧的任何位置上观看该观察者的前方(换句话说，如果观察者的视点垂直于变换图像平面或者在基本上垂直于该变换图像平面的方向上)，也可以向观察者提供与当观察者存在于现实世界中时所获得的眼膜图像类似的眼膜图像。
优选为，用于对如上所述、通过应用本发明的实施例以及对用普通照相机获取的图像执行预定的图像变换而生成的变换图像进行显示的显示器的尺寸较大。
本发明中的图像变换不仅可应用于利用照相机等获取的图像，还可应用于通过诸如计算机图形学之类的技术生成的图像。
如上所述生成的图像或者视频显示在大的平面屏幕上，并且被打印出来用于由观察者观看。除此之外，图像或者视频可应用于使用图像或者视频的各种类型的应用。
上述连续处理可通过硬件或者软件执行。在这种情况下，例如，图像处理设备41由图54所示的个人计算机901形成。
参见图54，CPU(中央处理单元)921根据存储在ROM(只读存储器)922中的程序或者加载到RAM(随机存取存储器)923中的程序，执行各种类型的处理。必要时，RAM 923还存储当CPU 921执行各种类型的处理时所必需的数据。
CPU 921、ROM 922、和RAM 923通过总线924彼此相连。总线924还连接到输入/输出接口925。
输入/输出接口925连接到包括键盘和鼠标的输入单元926、包括由CRT(阴极射线管)或者LCD(液晶显示器)形成的显示器以及扬声器的输出单元927、包括硬盘的存储单元928、以及包括调制解调器的通信单元929。通信单元929使用包括Internet在内的网络执行通信处理。
必要时，输入单元926还连接到驱动器930，而且必要时，诸如磁盘、光盘、磁光盘或者半导体存储器之类的可移动介质931被加载到驱动器930中。必要时，将从可移动介质931读取的计算机程序安装在存储单元928中。
当使用软件来执行上述连续处理时，构成该软件的程序从网络或者记录介质中安装到内置了专用硬件的计算机、其中通过安装各种程序而执行各种功能的计算机、例如多用途个人计算机等中。
记录介质的类型不仅包括可移动介质931，还包括ROM 922以及包括在存储单元928中的硬盘，其中可移动介质931与个人计算机901分离地分配以便向用户提供程序，而且其包括记录有程序的磁盘(包括软盘)、光盘(包括CD-ROM(光盘只读存储器)以及DVD(数字通用盘))、磁光盘(包括MD(迷你盘))、或者半导体存储器，而且其中ROM 922以内置于个人计算机901中的状态提供给用户并且包含程序。
在这个说明书中，构成记录在记录介质上的程序的步骤明确包括以给定次序按时间顺序方式执行的处理步骤，并且包括如果不必以时间顺序方式执行则并行或者单独执行的处理步骤。
此外，在这个说明书中，系统意指多个设备(或者用于实现特定功能的功能模块)的逻辑集合，并且与每个设备以及每个功能模块是否设置在单个外壳内无关。
本领域技术人员应当理解，取决于设计要求及其他因素，在所附权利要求或者其等效含义的范围内，可以进行各种修改、组合、子组合以及改变。
权利要求
1.一种图像处理设备，用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理设备包括消失点估计装置，用于估计第一平面图像数据的消失点；视角估计装置，用于估计第一平面图像数据的视角；以及图像生成装置，用于基于由消失点估计装置估计的消失点和由视角估计装置估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所估计的消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所估计的视角相对应的部分上。
2.如权利要求1所述的图像处理设备，其中视角估计装置基于由消失点估计装置所估计的消失点来估计视角。
3.如权利要求1所述的图像处理设备，其中消失点估计装置包括绘制装置，用于绘制第一平面图像数据的透视线；以及消失点提取装置，用于在透视线的基础上提取第一平面图像数据的消失点。
4.如权利要求1所述的图像处理设备，其中消失点估计装置包括特征值提取装置，用于提取第一平面图像数据的特征值；特征值量化装置，用于量化由特征值提取装置提取的特征值；特征值分布计算装置，用于基于由特征值量化装置量化的特征值来计算特征值分布，该特征值分布指示特征值在第一平面图像数据的垂直方向上分布的梯度类型；以及消失点提取装置，用于基于由特征值分布计算装置计算的特征值分布，提取第一平面图像数据的消失点。
5.如权利要求1所述的图像处理设备，其中视角估计装置包括平面图生成装置，用于生成通过假定从上方垂直地观看由第一平面图像数据所代表的空间而获得的平面图；以及视角计算装置，用于通过在由平面图生成装置生成的平面图中检测由第一平面图像数据所代表的空间中的视点位置，来计算视角。
6.如权利要求5所述的图像处理设备，其中平面图生成装置通过在由第一平面图像数据所代表的空间中计算视点的仰角，来生成平面图。
7.如权利要求1所述的图像处理设备，其中图像生成装置基于由视角估计装置估计的视角以及第一平面图像数据的图像尺寸，来确定圆柱的半径。
8.如权利要求1所述的图像处理设备，还包含显示装置，用于显示由图像生成装置生成的第二平面图像数据；其中该显示装置包括平面显示器。
9.一种用于图像处理设备的图像处理方法，该图像处理设备用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理方法包含步骤估计第一平面图像数据的消失点；估计第一平面图像数据的视角；以及基于由消失点估计步骤估计的消失点和由视角估计步骤估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所估计的消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所估计的视角相对应的部分上。
10.一种用于允许计算机执行处理的程序，该处理用于获取和变换代表具有景深的空间的第一平面图像数据，该程序包含步骤估计第一平面图像数据的消失点；估计第一平面图像数据的视角；以及基于由消失点估计步骤估计的消失点和由视角估计步骤估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所估计的消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所估计的视角相对应的部分上。
11.一种记录介质，包含如权利要求10所述的程序。
12.一种图像处理设备，用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理设备包括输入装置，用于输入第一平面图像数据的消失点和视角；以及图像生成装置，用于基于由输入装置输入的消失点和视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所述消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所述视角相对应的部分上。
13.如权利要求12所述的图像处理设备，还包含显示装置，用于显示由图像生成装置生成的第二平面图像数据，其中该显示装置包括平面显示器。
14.一种用于图像处理设备的图像处理方法，该图像处理设备用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理方法包含步骤控制第一平面图像数据的消失点和视角的输入；以及基于在输入控制步骤中控制其输入的消失点和视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所述消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所述视角相对应的部分上。
15.一种图像处理设备，用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理设备包括消失点估计部分，估计第一平面图像数据的消失点；视角估计部分，估计第一平面图像数据的视角；以及图像生成部分，用于基于由消失点估计部分估计的消失点和由视角估计部分估计的视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有部分半径的圆柱的中心并且与所估计的消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所估计的视角相对应的部分上。
16.一种图像处理设备，用于获取和变换代表具有景深的空间的第一平面图像数据，该图像处理设备包括输入部分，输入第一平面图像数据的消失点和视角；以及图像生成部分，用于基于由输入部分输入的消失点和视角，生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所述消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所述视角相对应的部分上。
全文摘要
一种图像处理设备获取和变换代表具有景深的空间的第一平面图像数据。该设备包括消失点估计单元，用于估计第一平面图像数据的消失点；视角估计单元，用于估计第一平面图像数据的视角；以及图像生成单元，用于基于由消失点估计单元估计的消失点和由视角估计单元估计的视角生成第二平面图像数据，该第二平面图像数据对应于这样的情况，其中通过使用在具有预定半径的圆柱的中心并且与所述消失点等高的位置作为参考点，将第一平面图像数据投影在该圆柱的曲面上与所述视角相对应的部分上。
文档编号G06T19/00GK1855150SQ200610082530
公开日2006年11月1日 申请日期2006年4月28日 优先权日2005年4月28日
发明者近藤哲二郎, 小久保哲志, 向井仁志, 日比启文, 田中和政, 田中健司 申请人:索尼株式会社