专利名称：图像处理装置以及图像处理方法
技术领域：
本发明是有关根据静态图像生成立体图像的技术，特别是有关从静态图像中提取人或物、动物、建筑物等对象物，并生成立体信息的技术，该立体信息是表示有关包括上述对象物的静态图像全体的纵深的信息。
背景技术：
在以往的根据静态图像来获得立体信息的方法中，有从以二个或更多的照相机所拍摄的静态图像中，生成任意视点方向的立体信息的方法。例如，示出的方法是，通过在拍摄时提取有关图像的立体信息，从而生成与拍摄时不同的视点或视线方向上的图像(例如，参照专利文献1)。这是因为具有输入图像的左右二个图像输入部和演算被摄体的距离信息的距离演算部等，还具有图像处理电路，该图像处理电路生成从任意的视点及视线方向所看到的图像。上述的以往技术曾在专利文献2和专利文献3中提出过，并提出了二个或更多的图像以及分别记录视差且可以广泛应用的图像记录播放装置。
并且，在专利文献4中示出的方法是，至少在不同的3个位置对物体进行摄影，并可以快速地识别物体正确的三维形状，另外在专利文献5等中也示出了很多其它的摄像系统。
并且，在专利文献6中提出了，不使物体旋转，而是用1台照相机以获得该物体的形状为目的，用附有鱼眼透镜的摄像机，在一定的区间中拍摄移动物体(车辆)，并从上述各摄影图像中除去背景图像，从而得到车辆的轮廓。求出各图像中车辆轮胎的接地点的移动轨迹，从而求出照相机的视点和各图像中车辆之间的相对位置。以此相对位置关系将各轮廓配置到投影空间，并在各投影空间对各轮廓进行投影，从而获得车辆的形状。从二个或更多的图像中获得立体信息的方法是，利用核线影像(Epipolar)的方法已广为周知，在此专利文献6中，不是以二个或更多的照相机获得对象物的二个或更多视点的图像，而是将移动物体作为对象，通过以时系列来获得二个或更多的图像，从而获得立体信息。
并且，在示出从单一的静态图像中提取三维结构的方法中，例举了HOLON公司制的“Motion Impact”软件包。这是通过由一张静态图像中制作出假想的立体信息，用以下的步骤来构筑立体信息。
1)准备原始图像(图像A)。
2)使用其它的图像处理软件(润饰软件等)，从原始图像制作“消去了立体化的对象物图像(图像B)”和“仅屏蔽了立体化的对象物的图像(图像C)”。
3)分别将图像A～C登录到“Motion Impact”软件包中。
4)设定原始图像中的消失点，并设定照片中的立体空间。
5)选择想要立体化的对象物。
6)设定照相机的角度和照相机的动作。
图1是示出在上述以往技术中，由静态图像生成立体信息，并到生成立体影像的处理过程的流程图(并且，在图1的各步骤中，用网线表示的方框内的步骤为用户手动操作步骤)。
当输入静态图像时，通过用户手动操作来输入表示空间构图的信息(以下称为“空间构图信息”)(步骤S900)。具体而言，决定消失点的个数(步骤S901)，调整消失点的位置(步骤S902)，输入空间构图的倾斜度(步骤S903)，对空间构图的位置或大小进行调整(步骤S904)。
然后，由用户输入对对象物进行屏蔽化后的屏蔽图像(步骤S910)，从屏蔽的配置和空间构图信息中生成立体信息(步骤S920)。具体而言，由用户选择屏蔽后的对象物的区域(步骤S921)，以及当选择对象物的1个边(或1个面)时(步骤S922)，就会判断所选择的部分是否与空间构图相接触(步骤S923)，在未接触的情况下(步骤S923否)，输入未接触之消息(步骤S924)，在接触的情况下(步骤S923是)，输入接触部分的坐标(步骤S925)。对对象物的所有的面都要进行以上的处理(步骤S922～步骤S926)。
而且，对所有的对象物进行完上述处理之后(步骤S921～步骤S927)，要在空间构图所规定的空间，对所有的对象物进行贴图处理，从而生成用于生成立体影像的立体信息(步骤S928)。
之后，由用户输入有关摄影动作的信息(步骤S930)。具体而言，当由用户选择移动照相机的路径时(步骤S931)，在预览完毕后(步骤S932)，就会决定最终的摄影动作(步骤S933)。
在结束以上处理后，通过作为上述软件的一个功能的变形引擎(mophing engine)而产生了纵深感(步骤S940)，向用户提示影像到此完成。
专利文献1特开平09-009143号公报专利文献2特开平07-049944号公报专利文献3特开平07-095621号公报专利文献4特开平09-091436号公报专利文献5特开平09-305796号公报专利文献6特开平08-043056号公报如上所述，示出了众多以往的立体信息获得方法，即从二个或更多的静态图像或从二个或更多的照相机所得到的静态图像中获得立体信息的方法。
另一方面，自动解析并显示静态图像的内容的三维结构的方法还未确立，因此需要依靠如上所述的手动操作。
如图1所示在以往的技术中，几乎全部需要手动操作。换言而之，唯一所提供的状态是，对于生成立体信息之后的摄影动作而言，仅提供了用于每次手动输入照相机位置的工具。
如上所述，所出现的课题是不能简单地制作立体信息，具体状况是，以手动操作来挑选静态图像中的各对象物，并且对于背景图像也要采用另外的手动操作，而且，消失点等的制图空间信息也要通过手动操作来进行个别设定，在进行以上各操作之上，才能对各对象物以手动操作并以假想立体信息进行贴图处理。并且，还出现的课题是不能对应消失点在图像外的情况。
而且，还有这样的课题即对于三维结构的解析结果后的显示而言，摄影动作的设定也较繁琐，且没有考虑采用纵深信息的效果。特别是在娱乐方面的用途上，这将成为一个大的问题。
发明内容
本发明为了解决上述以往的课题，目的在于提供一种图像处理装置，其能够减轻用户在根据静态图像生成立体信息时的操作负担。
为了解决以往的课题，涉及本发明的图像处理装置，其根据静态图像生成立体信息，包括图像获得单元，获得静态图像；对象物提取单元，从获得的上述静态图像中提取对象物；空间构图确定单元，利用获得的上述静态图像中的特征，确定空间构图，该空间构图示出含有消失点的假想空间；以及立体信息生成单元，通过将被提取的上述对象物与被确定的上述空间构图相关联，来决定上述假想空间中的对象物的配置，并根据被决定的该对象物的配置，来生成有关上述对象物的立体信息。
通过这样的构成，由于可以根据一幅静态图像来自动生成立体信息，因此，可以减轻在生成立体信息时的用户操作的繁琐性。
并且，上述图像处理装置还具有这样的特征，即上述图像处理装置还包括视点控制单元，假设在上述假想空间内有照相机，并使该照相机的位置移动；图像生成单元，通过上述照相机，来生成在任意位置进行拍摄的情况下所能得到的图像；以及图像显示单元，显示被生成的上述图像。
通过这样的构成，利用生成的立体信息，可以生成从静态图像中派生出来的新的图像。
并且还具有这样的特征，即上述视点控制单元进行控制，从而使上述照相机在被生成的上述立体信息所存在的范围内移动。
通过这样的构成，由在假想空间内移动的照相机所拍摄的图像，可以不必映出没有数据的部分，从而提高了图像的质量。
并且还具有这样的特征，即上述视点控制单元进一步进行控制，从而使上述照相机在上述对象物所不存在的空间移动。
通过这样的构成，由在假想空间内移动的照相机所拍摄的图像，可以回避与对象的冲突或通过对象物，从而提高了图像的质量。
并且还具有这样的特征，即上述视点控制单元进一步进行控制，从而使上述照相机拍摄上述对象物所存在的区域，该上述对象物由被生成的上述立体信息来表示。
通过这样的构成，可以在假想空间内移动的照相机在进行拍摄全景、变焦或旋转时，防止由于对象物的背面没有数据等而造成的质量低下。
并且还具有这样的特征，即上述视点控制单元进一步进行控制，从而使上述照相机向上述消失点的方向移动。
通过这样的构成，由在假想空间内移动的照相机所拍摄的图像，可以得到好像是逐渐进入到图像中的视觉效果，从而提高了图像的质量。
并且还具有这样的特征，即上述视点控制单元进一步进行控制，从而使上述照相机向上述对象物的方向移动，该上述对象物由被生成的上述立体信息来表示。
通过这样的构成，由在假想空间内移动的照相机所拍摄的图像，可以得到好像是逐渐接近对象物的视觉效果，从而提高了图像的质量。
并且还具有这样的特征，即上述对象物提取单元从被提取的上述对象物中，确定具有2条或2条以上非平行的直线的对象物；上述空间构图确定单元还通过将被确定的具有上述2条或2条以上非平行的直线的对象物延长，来推定1个或1个以上的消失点的位置；上述空间构图确定单元，还通过被确定的具有上述2条或2条以上非平行的直线的对象物和上述被推定的消失点的位置，来确定上述空间构图。
通过这样的构成，可以根据静态图像自动地提取立体信息，并能够确切地反应空间构图信息，从而提高了生成的图像的全体质量。
并且还具有这样的特征，即上述空间构图确定单元还对在上述静态图像的外部的上述消失点进行推定。
通过这样的构成，即使对于消失点不在图像内的图像，也可以确切地获得空间构图信息，从而提高了生成地图像地全体质量。
并且还具有这样的特征，即上述图像处理装置还包括用户接口单元，接受来自用户的指示；上述空间构图确定单元还按照所接受的来自用户的指示，来修正已被确定的上述空间构图。
通过这样的构成，可以容易地反应关于空间构图信息的用户的意图，从而可以提高全体质量。
并且，还可以是这样的构成，即上述图像处理装置还包括空间构图模板存储单元，存储空间构图模板，该空间构图模板为空间构图的雏形；上述空间构图确定单元，利用所获得的上述静态图像中的特征，从上述空间构图模板存储单元选择1个空间构图模板，并利用所选择的该空间构图模板来确定上述空间构图。
并且还具有这样的特征，即上述立体信息生成单元还算出接地点，该接地点是上述对象物在上述空间构图中与地平面相接触的点，并生成上述对象物存在于上述接地点位置的情况下的上述立体信息。
通过这样的构成，可以更确切地指定对象物的空间配置，从而可以提高图像全体的质量。例如，在映有人的整体像的照片中，通过算出人脚与地平面的接点，从而可以在更正切的空间位置上对人进行贴图处理。
并且还具有这样的特征，即上述立体信息生成单元还根据上述对象物的种类，来变更上述对象物与上述空间构图所接触的面。
通过这样的构成，可以根据对象物的种类来变更接点面，并可以得到现实感更高的空间配置，从而可以提高图像的全体质量。例如，若是人的情况，则利用人脚与地平面的接点；若是牌子的情况，则利用与侧面的接点，若是电灯的情况，则利用与天花板的接点等，可以进行适应的对应。
并且还具有这样的特征，即上述立体信息生成单元，还在未能算出上述对象物与上述空间构图的地平面相接触的接地点的情况下，至少对上述对象物或上述地平面的某一个，通过内插、外插或插值来算出与地平面相接触的假想接地点，并生成上述对象物存在于上述假想接地点位置的情况下的上述立体信息。
通过这样的构成，例如即使在映有人物的上半身等与地平面无接点的情况下，也能够更确切地指定对象物的空间配置，从而可以提高图像全体的质量。
并且还具有这样的特征，即上述立体信息生成单元还对上述对象物赋与规定的厚度并配置在空间，从而生成上述立体信息。
通过这样的构成，可以将更自然的对象物配置在空间，从而可以提高图像全体的质量。
并且还具有这样的特征，即上述立体信息生成单元还对上述对象物赋与图像处理，该图像处理使上述对象物的外缘变得模糊或清晰，从而生成上述立体信息。
通过这样的构成，可以将更自然的对象物配置在空间，从而可以提高图像全体的质量。
并且还具有这样的特征，即上述立体信息生成单元还利用未被屏蔽的数据，至少构成以下数据的某一个，上述数据是指缺少的背景的数据和其它的对象物的数据，上述缺少的背景和其它的对象物是由上述对象物的影像所屏蔽的部分。
通过这样的构成，可以将更自然的对象物配置在空间，从而可以提高图像全体的质量。
并且还具有这样的特征，即上述立体信息生成单元还根据上述对象物的正面的数据，来构成表示上述对象物的背面或侧面的数据。
通过这样的构成，可以将更自然的对象物配置在空间，从而可以提高图像全体的质量。
并且还具有这样的特征，即上述立体信息生成单元根据上述对象物的种类，使有关上述对象物的处理发生动态地变化。
通过这样的构成，可以将更自然的对象物配置在空间，从而可以提高图像全体的质量。
另外，本发明还可以将上述图像处理装置中的具有特征性的构成单元作为具有步骤的图像处理方法来实现，并且，这些步骤可以作为使个人电脑等执行的程序来实现。并且，还可以通过DVD等记录介质或因特网等传送介质，使上述这些程序广泛流通。
发明效果通过本发明所涉及的图像处理装置，能够以在以往的技术中没有达成的非常简便的操作，来再次构筑具有纵深效果的图像，该纵深效果是根据照片(静态图像)来生成三维信息时的效果。并且，通过在三维空间内以假想的照相机移动拍摄，从而能够消除繁琐的操作，并且，提供了一种新的利用照片的娱乐方式，其能够在静态图像中享受动态图像，这是在以往技术中没有达成的。
图1是示出在以往技术中从静态图像生成立体信息的处理内容的流程图。
图2是示出本实施方式所涉及的图像处理装置的功能构成方框图。
图3(a)是示出本实施方式所涉及的输入到图像获得部的原图像的一个例子。
图3(b)是示出将上述图3(a)的原图像进行2值化后的图像的例子。是示出原图像和2值化的示例图。
图4(a)示出了本实施方式所涉及的提取边缘的例子。
图4(b)示出了本实施方式所涉及的提取空间构图的例子。
图4(c)示出了本实施方式所涉及的空间构图确认画面的一示例图。
图5(a)、(b)是示出在实施方式1中用于提取空间构图的模板的一示例图。
图6(a)、(b)是示出在实施方式1中用于提取扩大型空间构图的模板的一示例图。
图7(a)是示出在实施方式1中提取对象物的示例图。
图7(b)是示出在实施方式1中合成图像示例图，此合成图像是指提取对象物和所决定的空间构成的合成图。
图8是示出在实施方式1中设定假想视点的示例图。
图9(a)、(b)是示出在实施方式1中生成视点变更图像的示例图。
图10是示出在实施方式1中用于提取空间构图的模板的一示例图(1个消失点的情况)。
图11是示出在实施方式1中用于提取空间构图的模板的一示例图(2个消失点的情况)。
图12(a)、(b)是示出在实施方式1中用于提取空间构图的模板的一示例图(包括棱线的情况)。
图13是示出在实施方式1中用于提取空间构图的模板的一示例图(包括棱线的纵向的情况)。
图14(a)、(b)是示出在实施方式1中生成合成立体信息的示例图。
图15是示出在实施方式1中变更视点位置的示例图。
图16(a)是示出在实施方式1中变更视点位置的示例图。图16(b)是示出在实施方式1中图像共通部分的示例图。图16(c)是示出在实施方式1中图像共通部分的示例图。
图17是示出在实施方式1中图像显示迁移的示例图。
图18(a)、(b)是示出在实施方式1中照相机移动的示例图。
图19是示出在实施方式1中照相机移动的示例图。
图20是示出在实施方式1中空间构图确定部的处理过程的流程图。
图21是示出在实施方式1中视点控制部的处理过程的流程图。
图22是示出在实施方式1中立体信息生成部的处理过程的流程图。
符号说明100图像处理装置101图像获得部110空间构图模板存储部111空间构图用户IF部112空间构图确定部120对象物模板存储部121对象物用户IF部122对象物提取部130立体信息生成部131立体信息用户IF部140信息补正用户IF部141信息补正部150立体信息存储部151立体信息比较部160风格/效果模板存储部161效果控制部162效果用户IF部170图像生成部
171图像显示部180视点变更模板存储部181视点控制部182视点控制用户IF部190用于设定摄影动作的图像生成部201原图像2022值化图像301边缘提取图像302空间构图提取示例303空间构图确认图像401空间构图模板例子402空间构图提取模板示例410消失点420正面后墙壁501图像范围示例502图像范围示例503图像范围示例510消失点511消失点520扩大型空间构图提取模板示例521扩大型空间构图提取模板示例610对象物提取示例611纵深信息合成示例701假想视点位置702假想视点方向810纵深信息合成示例811视点变更图像生成示例901消失点
902正面后墙壁903墙壁高度904墙壁宽度910用于提取空间构图的模板1001消失点1002消失点1010用于提取空间构图的模板1100用于提取空间构图的模板1101消失点1102消失点1103棱线1104棱线高1110用于提取空间构图的模板1210用于提取空间构图的模板1301当前的图像数据1302过去的图像数据1311当前图像数据对象物A1312当前图像数据对象物B1313过去图像数据对象物A1314过去图像数据对象物B1320合成立体信息示例1401图像位置示例1402图像位置示例1403视点位置1404视点对象1411图像示例1412图像示例1501图像位置示例
1502图像位置示例1511图像示例1512图像示例1521图像共通部分示例1522图像共通部分示例1600图像显示变迁示例1700照相机移动示例1701开始视点位置1702视点位置1703视点位置1704视点位置1705视点位置1706视点位置1707结束视点位置1708照相机移动线1709照相机移动的地上投影线1710开始视点区域1711结束视点区域1750照相机移动示例1751开始视点位置1752结束视点位置1753照相机移动线1754照相机移动的地上投影线1755照相机移动墙面投影线1760开始视点区域1761结束视点区域1800照相机移动示例1801开始视点位置
1802结束视点位置具体实施方式
以下参照附图对本发明所涉及的实施方式进行详细的说明。并且，在以下的实施方式中，虽然利用有关本发明的附图进行说明，但是并非意味着本发明受其所限。
(实施方式1)图2是示出本实施方式所涉及的图像处理装置的功能构成的方框图。图像处理装置100是将立体的影像提示给用户的装置，此立体的影像的生成方法是，从静态图像(也称“原图像”)生成立体信息(也称三维信息)，利用所生成的立体信息来生成新的图像，此新的图像为立体的影像；该图像处理装置100包括图像获得部101、空间构图模板存储部110、空间构图用户IF(接口)部111、空间构图确定部112、对象物模板存储部120、对象物用户IF部121、对象物提取部122、立体信息生成部130、立体信息用户IF部131、信息补正用户IF部140、信息补正部141、立体信息存储部150、立体信息比较部151、风格/效果模板存储部160、效果控制部161、效果用户IF部162、图像生成部170、图像显示部171、视点变更模板存储部180、视点控制部181、视点控制用户IF部182、用于设定摄影动作的图像生成部190。
图像获得部101包括随机存储器(RAM)或存储卡等存储装置，通过数字照相机或扫描等，获得在静态图像或动态图像中的每一帧的图像的图像数据，并对该图像进行2值化以及边缘抽出。并且，在下述中将上述所获得的静态图像或动态图像中的每一帧的图像统称为“静态图像”。
空间构图模板存储部110，包括RAM等存储装置，存储空间构图确定部112中所使用的空间构图模板。在此，“空间构图模板”是指，为了表现静态图像纵深感的由二条或更多的线所构成的骨架，具有表示各条线的始点及终点的位置、线的交叉点的位置的信息，还具有静态图像中基准长度等信息。
空间构图用户IF部111，包括鼠标、键盘以及液晶面板等，接受用户的指示，并通知给空间构图确定部112。
空间构图确定部112，根据所获得的静态图像的边缘的信息或后述的对象物信息等，决定有关此静态图像的空间构图(以下简称为“构图”)。并且，在空间构图确定部112根据需要，从空间构图模板存储部110中选择空间构图模板(并且，还根据需要将所选择的空间构图模板进行修正)并确定空间构图。而且，空间构图确定部112也可以参照在对象物提取部122中所提取的对象物，决定或修正空间构图。
对象物模板存储部120包括RAM或硬盘等存储装置，存储用于从上述所获得的原图像中提取对象物的对象物模板或参数等。
对象物用户IF部121包括鼠标或键盘等，选择从静态图像中提取对象物时的方法(模板匹配或神经网络、色彩信息等)，通过上述的方法，从所提示的对象物候补中选择对象物，或选择对象物本身，在对所选择的对象物的修正或模板进行追加时，或对提取对象物的方法进行追加时，接受来自用户的操作。
对象物提取部122从静态图像中提取对象物，并确定有关此对象物的位置、数量、形状以及种类等对象物的信息(以下称为“对象物信息”)。此时对于所提取的对象物是预先所决定的此对象物的候补(例如，人、动物、建筑物、植物等)。而且，对象物提取部122根据需要，参照对象物模板存储部120中的对象物模板，并根据各模板和静态图像的对象物之间的相关函数值来提取对象物。并且，也可以参照在上述空间构图确定部112中所决定的空间构图，提取对象物或对所提取的对象物进行修正。
立体信息生成部130，根据在空间构图确定部112所决定的空间构图，或根据在对象物提取部122所提取的对象物信息，以及根据通过立体信息用户IF部131所接受的用户的指示等，来生成有关所获得的静态图像的立体信息。而且，立体信息生成部130包括ROM或RAM等，是微型计算机，对图像处理装置100全体进行控制。
立体信息用户IF部131包括鼠标或键盘等，根据用户的指示来变更立体信息。
信息补正用户IF部140包括鼠标或键盘等，接受用户的指示，并通知给信息补正部141。
信息补正部141根据通过信息补正用户IF部140所接受的用户指示，对错误提取的对象物进行补正，或对错误确定的空间构图或立体信息进行补正。此时作为其它的补正方法有基于所规定的规则基准的补正等，例如有根据到此为止的对象物的提取、空间构图的确定或立体信息的生成结果所进行的补正。
立体信息存储部150包括硬盘等存储装置，存储正在制作的立体信息或过去生成的立体信息。
立体信息比较部151对过去生成的立体信息的全体或一部分，和现在处理中的(或处理完毕的)立体信息的全体或一部分进行比较，在类似点或一致点被确认的情况下，对立体信息生成部130提供使立体信息更加充实的信息。
风格/效果模板存储部160包括硬盘等存储装置，附加在图像生成部170所生成的图像上，该风格/效果模板存储部160存储有关切换效果或色调变换等任意的效果的程序、数据、风格或模板等。
效果控制部161添加任意的效果，此任意的效果指在图像生成部170所生成的新的图像中的切换效果或色调变换等。此效果也可以利用为了达到全体统一感按照所规定的风格的效果群。而且，效果控制部161将新的模板等追加到风格/效果模板存储部160，或对参照的模板等进行编辑。
效果用户IF部162包括鼠标或键盘等，并将用户的指示通知给效果控制部161。
图像生成部170根据立体信息生成部130所生成的立体信息，将上述静态图像生成为立体表现的图像。具体而言，利用上述所生成的立体信息，生成从静态图像中所派生出来的新的图像。并且，三维图像可以是模式上的，也可以是将摄影位置或摄影方向在三维图像中表现。而且，图像生成部170利用其它所指定的视点信息或显示效果等，来生成新的图像。
图像显示部171例如是液晶面板或PDP(等离子体显示屏plasmadisplay panel)等显示装置，向用户提示在图像生成部170所生成的图像或影像。
视点变更模板存储部180存储视点变更模板，该视点变更模板表示预先决定的三维摄影动作。
视点控制部181决定摄影动作的视点位置。此时，视点控制部181也可以参照在视点变更模板存储部180所存储的视点变更模板。而且，视点控制部181根据通过视点控制用户IF部182所接受的用户指示，制作、变更或删除视点变更模板。
视点控制用户IF182包括鼠标或键盘等，将有关从用户接受到的视点位置的控制的指示，通知给视点控制部181。
用于设定摄影动作的图像生成部190生成从现在的摄影位置所看到的图像，此现在的摄影位置指用户在决定摄影动作时所参照的位置。
而且，本实施方式所涉及的图像处理装置100的构成要素中，并非上述的功能要素(即在图2中以“～部”所表示的部件)全部都需要，可以按照需要来选择功能要素。
以下对如上述所构成的图像处理装置100中的各部功能进行详细说明。以下对从原静态图像(以下称为“原图像”)生成立体信息，并对生成立体的影像的实施方式进行说明。
首先，对空间构图确定部112及其周边的部件功能进行说明。
图3(a)是示出本实施方式所涉及的原图像的一示例图。且图3(b)是示出将上述原图像进行2值化后的2值化图像的一示例图。
为了决定空间构图，提取大致的空间构图是重要的，首先，从原图像中确定主要的空间构图(以下称为“概略空间构图”)。在此示出的实施方式是，为了提取概略空间构图而进行“2值化”，之后，通过模板匹配来进行适用。当然，2值化及匹配只不过是提取概略空间构图的方法中的一个例子，除此之外可以利用任意的方法来提取概略空间构图。而且，也可以不提取概略空间构图，而直接提取详细空间构图。并且，以下将概略空间构图及详细空间构图统称为“空间构图”。
首先，如图3(b)所示，图像获得部101将原图像201进行2值化，并获得2值化后的图像202，再从2值化图像202中获得边缘提取图像。
图4(a)示出了本实施方式所涉及的提取边缘的例子，图4(b)示出了提取空间构图的例子，图4(c)示出了为了确认空间构图的显示例。
图像获得部101在进行2值化后，对2值化图像202进行边缘提取，从而生成边缘提取图像301，并输出到空间构图确定部112及对象物提取部122。
空间构图确定部112利用边缘提取图像301生成空间构图。具体而言，空间构图确定部112从边缘提取图像301中提取非平行的2条或2条以上的直线，并生成由这些直线所组成的“骨架”。此“骨架”为空间构图。
图4(b)中的空间构图提取示例302是上述所生成的空间构图的一个例子。而且，空间构图确定部112根据通过空间构图用户IF部111接受用户的指示，对空间构图确认图像303中的空间构图进行补正，使其与原图像的内容相吻合。在此，空间构图确认图像303是为了确认上述空间构图是否合适的图像，是将原图像201和空间构图提取示例302进行合成后的图像。而且，用户在进行修正的情况或适用于其它的空间构图提取的情况，或调整空间构图提取示例302的情况等，也按照通过空间构图用户IF部111所接受的用户的指示进行。
并且，在上述实施方式中，虽然通过将原图像进行“2值化”提取了边缘，但是并非仅限于此方法，也可以利用现有的图像处理方法或组合上述这些方法来提取边缘。在现有的图像处理方法中有利用色彩信息的、利用亮度信息的、利用正交变换或小波变换的、还有利用各种一维/多维滤波的，对此没有限制。
并且，空间构图并非仅限于上述的从边缘提取图像中生成的情况，为了提取空间构图，也可以利用预先准备的作为空间构图的雏形的“用于提取空间构图的模板”来决定。
图5(a)、(b)示出了用于提取空间构图的模板的一个例子。在空间构图确定部112，可以根据需要从空间构图模板存储部110中选择如图5(a)、(b)所示的用于提取空间构图的模板，并与原图像201合成进行匹配，来决定最终的空间构图。
以下对利用用于提取空间构图的模板来决定空间构图的实施方式进行说明，但是，也可以考虑到不利用用于提取空间构图的模板，而从边缘信息或对象物配置信息(示出在哪儿有什么的信息)中得到空间构图。而且，还可以将现有的图像处理方法进行任意的组合来决定空间构图，此现有的图像处理方法包括分段(区域分割)或正交变换、小波变换、色彩信息、亮度信息等。例如可以根据面向被分割的各区域的界面来决定空间构图。并且，也可以利用静态图像所附带的后设信息(EXIF等任意的标签信息)。例如，“以焦距和被摄体深度来判断后述的消失点是否在图像内”等，利用任意的标签信息来用于提取空间构图。
并且，空间构图用户IF部111可以作为用户所希望的所有的进行输出入接口来使用，例如，模板的输入、修正、变更，或空间构图信息本身的输入、修正、变更等。
图5(a)、(b)中示出了用于提取各空间构图的模板中的消失点VP410。在此例中虽然示出了消失点为1点的情况，消失点也可以为二个或更多。用于提取空间构图的模板如后述那样，并非仅限于此，是对应于持有纵深信息(或可感觉到持有纵深信息)的任意图像的模板。
而且，从用于提取空间构图的模板401到用于提取空间构图的模板402，通过移动消失点的位置，可以从1个模板中生成类似的任意模板。并且，也有到消失点为止墙壁也存在的情况。此时，例如像正面后墙壁420那样，也可以在用于提取空间构图的模板内设定(纵深方向的)墙壁。正面后墙壁420的纵深方向的距离也和消失点同样，是可以移动的。
作为用于提取空间构图的模板的例子，除了有空间构图提取模板示例401或空间构图提取模板示例402那样1个消失点的情况以外，也有以下各种情况，即，图11的空间构图提取模板示例1010那样，持有2个消失点(消失点1001和消失点1002)的情况；或图12的空间构图提取模板1110那样，墙壁从2个方向相交的情况(也可以称为2个消失点)；图13的用于提取空间构图的模板1210那样，成为竖型的情况；图18(a)的照相机移动示例1700所示的地平线(水平线)那样，消失点连接成线状的情况；图18(b)的照相机移动示例1750所示的那样，消失点在图像范围外的情况等，因此可以任意地利用在制图或CAD、设计等领域所广泛使用地空间构图。
并且，图18(b)的照相机移动示例1750那样，对于消失点在图像范围外的情况下，也可以利用图6中的用于提取扩大型空间构图的模板520或用于提取扩大型空间构图的模板521那样，将用于提取空间构图的模板扩大后使用。此时，如在图6(a)、(b)中的图像范围示例501、图像范围示例502以及图像范围示例503那样，对于消失点位于图像外部的图像也可以进行消失点的设定。
而且，对于用于提取空间构图的模板，可以自由变更有关消失点的位置等空间构图的任意的参数。例如，在图10的用于提取空间构图的模板910中，通过变更消失点901的位置或正面后墙壁902的墙壁高903及墙壁宽904等，从而能够灵活地对应各种各样的空间构图。同样，在图11中的用户提取空间构图的模板1010中，示出了可以任意移动2个消失点(消失点1001和消失点1002)的位置的例子。当然，变更的空间构图的参数，不仅限于消失点或正面后墙壁，对于侧面墙壁、天花板、正面后墙面等空间构图内的任意的对象，可以变更其参数。而且，上述这些面的倾斜或空间配置上的位置等，可以将有关面的任意的状态作为参数来利用。并且，变更方法也不仅限于上下左右，也可以通过旋转或变形、仿射转换等进行变形。
上述这些转换或变更等，可以按照利用图像处理装置100的硬盘的空间或用户接口上的要求任意组合。例如，在安装在较低性能的CPU的情况下，可以消减预先准备用于提取空间构图的模板数量，转换或变更也很少，因此可以考虑到通过模板匹配，在上述的模板中选择最接近的用于提取空间构图的模板。并且，在存储装置较丰富的图像处理装置100的情况下，预先准备较多的模板，并保存在存储装置中，还可以对所持有的用于提取空间构图的模板，按级别进行分类(可以配置为正好与进行高速检索的数据库上的数据配置相同的模板)，从而可以在抑制转换或变更时所要的时间的同时，还可以提高在短时间内进行高精确度的匹配效果。
并且，在图12的空间构图提取模板示例1100或空间构图提取模板示例1110中，除示出了消失点、正面后墙壁以外，还示出了变更棱线(棱线1103、棱线1113)的位置、棱线的高度(棱线高1104、棱线高1114)的例子。同样，在图13中示出了竖型的空间构图的情况下的消失点(消失点1202、消失点1201)、棱线(棱线1203)、棱线宽(棱线宽1204)的例子。
有关这些空间构图的参数可以通过空间构图用户IF部111，由用户的操作(例如可以举出，指定、选择、修正、登录等，且并非受此所限)来设定。
图20是示出在空间构图确定部112中，到确定空间构图的处理过程的流程图。
首先，空间构图确定部112从图像获得部101中获得边缘提取图像301时，则从此边缘提取图像301中提取空间构图的要素(例如，非平行的通过透视对象物所构成的直线条等)(步骤S100)。
然后，空间构图确定部112算出消失点位置的候补(步骤S102)。此时，空间构图确定部112在所算出的消失点的候补不是点的情况下(步骤S104是)，设定地平线(步骤S106)。而且，此消失点候补的位置不在原图像201内的情况下(步骤S108否)，外插消失点(步骤S110)。
之后，空间构图确定部112制作含有构成以消失点为中心的空间构图要素的空间构图模板(步骤S112)，并对制作的空间构图模板和空间构图构成要素进行模板匹配(简称为“TM”)(步骤S114)。
以上的处理(步骤S104～S116)要对所有的消失点候补执行，最后确定最合适的空间构图(步骤S118)。
以下，对象物提取部122及其周边的部件功能进行说明。
作为对象物提取方法可以任意地利用在现有的图像处理方法或图像识别方法中所使用的方法。例如，若是提取人物的情况下，可以根据模板匹配或神经网络、色彩信息等来提取。并且，可以通过分段或区域分割，将所分割的段或区域视为对象物。若是动态图像或连续的静态图像中的一个静止画面的情况下，可以从前后的帧图像中抽出对象物。当然提取方法或提取对象是不受限制的，是任意的。
上述的用于提取对象物的模板或参数等被存储在对象物模板存储部120中，且可以根据情况将其读出并使用。并且，可以将新的模板或参数等输入到对象物模板存储部120中。
并且，对象物用户IF部121可以提供用户为了进行全部操作的接口，即，可以选择提取对象物的方法(模板匹配或神经网络、色彩信息等)，可以选择作为候补而被提示的对象物的候补，可以选择对象物本身，进行结果的修正或模板的追加，以及追加对象物提取方法等。
以下，对立体信息生成部130及其周边的部件机能进行说明。
图7(a)是示出提取了对象物的图，图7(b)是示出由提取了对象物和决定的空间构图所合成的图像的示例图。在对象物提取示例610中，将原图像201中主要的人物像作为对象物601、对象物602、对象物603、对象物604、对象物605以及对象物606来提取。将此各对象物和空间构图结合后，则成为纵深信息合成示例611。
立体信息生成部130可以通过将在上述中所提取的对象物配置到空间构图中，而生成立体信息。并且，对于立体信息，可以通过立体信息生成用户IF部131，并按照所接受的用户的指示，进行输入、修正。
图像生成部170在具有上述所生成的立体信息的空间，设定新假想的视点，并生成与原图像不同的图像。
图22是示出在上述所说明的、立体信息生成部130中的处理过程的流程图。
首先，立体信息生成部130从空间构图信息中生成在空间构图中有关平面的数据(以下称为“构图平面数据”)(步骤S300)。然后，立体信息生成部130算出所提取的对象物(也称为“Obj)和构图平面之间的接点(步骤S302)，在对象物与地平面之间无接点时(步骤S304否)，而且与墙壁或天花板也无接点的情况下(步骤S306否)，将对象物作为最前面的物体来设定在空间的位置(步骤S308)。在除此之外的情况，则算出接点坐标(步骤S310)，并算出对象物在空间的位置(步骤S312)。
将以上的处理对所有的对象物执行的情况下(步骤S314是)，将对象物以外的图像信息在空间构图平面上进行贴图处理(步骤S316)。
而且，立体信息生成部130将有关对象物的修正内容加进到信息补正部141中(步骤S318～324)，并结束生成立体信息(步骤S326)。
在此，边参照图8，边对假想视点位置的设定方法进行说明。首先，将假想视点位置701视为空间中的视点位置来考虑，将假想视点方向702作为视点方向来设定。将此假想视点位置701和假想视点方向702作为图9的纵深信息合成示例810(与纵深信息合成示例611相同)来考虑，对于从正面的视点来看的纵深信息合成示例810而言，在设定假想视点位置701和假想视点方向702这样的视点方向的情况下(即稍微移动一些，从横方向来看的情况)，可以生成如视点变更图像生成示例811这样的图像。
同样，在图15中，对于具有某立体信息的图像，示出了假定的视点位置和方向的图像示例。图像示例1412为图像位置示例1402时的图像示例。并且，图像示例1411为图像位置示例1401时的图像示例。对于图像位置示例1401而言，对视点位置和视点对象在视点位置1403和视点对象1404，进行模式上的表现。
在此，将图15作为了一个例子，此例子的内容是从具有某立体信息的图像设定假想视点并生成图像。并且，将在获得立体信息(空间信息)时所利用的静态图像视为图像示例1412，对于从此图像示例1412中提取立体信息而言，设定视点位置1403、视点对象1404的情况下的图像也可以称为图像示例1412。
同样，将在图16中的图像位置示例1501和图像位置示例1502所对应的图像示例，分别作为图像示例1511和图像示例1512来表示。此时，会出现各自的图像示例的一部分重复的情况。例如，图像共通部分1521和图像共通部分1521就是重复的部分。
并且，如上述那样，可以作为在生成新的图像时的摄影动作、效果，在立体信息的内外边进行视点或焦点、变焦、拍摄全景等，或在边进行切换、添加效果时生成图像。
而且，不只是生成在立体空间内利用假想的照相机拍摄动态图像或静态图像，如上述图像共通部分1521和图像共通部分1521那样，可以在作为静态图像切换出时，在使共通部分相对应的同时，将摄影动作、效果联合起来对动态图像或静态图像(或动态图像和静态图像混在的情况下)进行处理。在以往的摄影动作中没有考虑到的是，可以利用变形或切换，使共通的对应点或对应区域联合起来进行处理，但在此使上述的处理成为了可能。图17示出了利用变形或切换、图像转换(仿射转换等)、效果、摄影角度变更、摄影参数变更等，是使持有共通部分(即，以粗线框表示的部分)的图像与图像之间迁移的表示例。共通部分可以容易地通过立体信息来确定，反而言之，即可以通过设定摄影动作而确定共通部分。
图21是示出在上述所说明的在视点控制部181的处理过程的流程图。
首先，视点控制部181设定摄影动作的始点及终点(步骤S200)。此时，对于摄影动作的始点及终点而言，将始点大体上设定在假想空间前面的附近，将终点设定在始点与消失点之间的靠近消失点的位置。可以在此始点及终点的设定中利用规定的数据库等。
然后，视点控制部181决定照相机将要移动到的位置或移动方向(步骤S202)，并决定移动方法(步骤S204)。例如，在通过各对象物的近旁，且沿着从近前到消失点的方向移动。而且，不仅是直线移动，也可以是螺旋状移动或在移动途中变更速度等。
而且，视点控制部181按照实际上所规定的距离移动照相机(步骤S206～224)。在此之间若执行拍摄全景等摄影效果的情况下(步骤S208是)，并执行规定的效果子程序(步骤S212～S218)。
并且，视点控制部181在照相机与对象物或空间构图本身将要接触的情况下(步骤S220接触)，重新设定下一个将要移动到的位置(步骤S228)，并重复上述的处理(步骤S202～S228)。
并且，视点控制部181进行控制，从而使照相机移动到终点并使摄影动作结束。
反复而言，有关这些图像生成的摄影动作，如视点变更模板存储部180，可以将预先决定的视点变更模板作为数据库来利用。并且，可以在视点变更模板存储部180中追加新的视点变更模板，也可以编辑视点变更模板后来利用。并且，可以通过视点控制用户IF部182，并根据用户的指示来决定视点位置，或也可以制作、编辑、追加、删除视点变更模板。
并且，有关这些图像生成的效果，如风格/效果模板存储部160，可以将预先界定的风格/效果模板作为数据库来利用。并且，可以在风格/效果模板存储部160中追加新的风格/效果模板，也可以编辑风格/效果模板后来利用。并且，可以通过效果用户IF部162，并根据用户的指示来决定视点位置，或也可以制作、编辑、追加、删除风格/效果模板。
而且，在设定摄影动作时，可以围绕着对象物进行任意的摄影动作的设定，例如可以考虑到对象物的位置，从而设定为沿着对象物或对对象物进行特写，或绕到对象物的后边等。可以围绕着对象物进行图像制作的不仅是摄影动作，对于效果也同样适用。
同样，在设定摄影动作时，也可以考虑空间构图。效果也是同样。以上所述的考虑了共通部分的处理，仅为利用了空间构图和对象物这两者的摄影动作或效果的一个例子，无论所生成的图像是动态图像还是静态图像，都可以利用持有空间构图和对象物的现有的摄影动作或效果、摄影角度、摄影参数、图像转换、切换等。
图18(a)、(b)是示出摄影动作的一个例子。在图18(a)中示出了这样一种情况，即在示出摄影动作的轨迹的照相机移动示例1700中，假想的照相机的摄影从开始视点位置1701开始，且照相机沿着照相机移动线1708移动的情况。摄影动作顺序通过从视点位置1702、视点位置1703、视点位置1704、视点位置1705到视点位置1706、且到结束视点位置1707时结束摄影动作。在开始视点位置1701，拍摄了开始视点区域1701，在结束视点位置1707，拍摄了结束视点区域1711。在此移动区间，将照相机的移动投影到所对应的地面平面上，此投影出的移动轨迹即是照相机移动的地上投影线1709。
同样，图18(b)中所示的照相机移动示例1750的情况是，照相机从开始视点位置1751移动到结束视点位置1752，且分别拍摄开始视点区域1760及结束视点区域1761。在此区间的照相机移动轨迹以照相机移动线1753进行模式上的显示。并且，照相机移动线1753的地面上及墙壁上的投影轨迹，分别以照相机移动的地上投影线1754及照相机移动的地上投影线1755来表示。
当然，也可以在上述照相机移动线1708及照相机移动线1753上，以任意的移动时机来生成图像(既可以是动态图像，也可以是静态图像，还可以是两者混在的情况)。
并且，用于设定设定动作的图像生成部190，为了能够使用户在决定摄影动作时参照，可以生成以现在的照相机位置所看到的图像，并提示给用户，此例在图18的照相机图像生成示例1810中被示出。在图19中，将拍摄以现在摄影位置1803的摄影范围1805时的图像，以现在摄影图像1804来表示。
通过视点控制用户IF部182，并根据用户以照相机移动示例1800来移动照相机，从而能够提示模式上的立体信息或此信息中的对象物等。
而且，图像处理装置100可以合成所生成的二个或更多的立体信息。图14(a)、(b)是示出合成二个或更多的立体信息时的一个例子。在图14(a)中示出了，在现在的图像数据1301内映现了现在图像数据对象物A1311和现在图像数据对象物B1312，在过去图像数据1302内映现了过去图像数据对象物A1313和过去图像数据对象物B1314。此时，可以在统一立体空间内合成2个图像数据。此时的合成示例为图14(b)中所示的合成立体信息示例1320。在进行此合成时，可以以二个或更多的原图像之间的共通要素来合成。并且，也可以合成完全不同的原图像数据，也可以根据需要来变更空间构图。
而且，在本实施方式中所谓“效果”是指，对于图像(静态图像及动态图像)的所有的效果而言的。作为效果的一个例子，可以举出一般的非线性图像处理方法、摄影动作或摄影角度、由摄影参数的变化而可以在摄影时所赋与(可以赋与)的事物等。并且，也包括可以以一般的数字图像处理软件等来进行的处理。而且，与图像场景相配合，配置音乐或模拟音等也属于效果的范畴。并且，如摄影角度等，表示包含在效果的定义中的效果的其它的用语，和“效果”一起被记载的情况是为了强调记载的效果，而不是缩小效果的范畴。
而且是为了从静态图像中提取对象物，会出现对提取的对象物缺乏厚度信息的情况。此时，可以根据纵深信息，将适当的值作为厚度来设定(可以采用任意的方法，例如由纵深信息算出相对的对象物的大小，再由大小来设定适当的厚度等。)。
而且，也可以预先准备模板等，识别对象物是什么之后，再将此识别结果作为厚度来设定。例如，可以在识别为是苹果的情况下，设定与苹果的大小相应的厚度，或在识别为是汽车的情况下，设定与汽车的大小相应的厚度。
并且，也可以将消失点作为对象物来设定。实际上，即使在无限远处没有对象物，也可以作为在无限远处有对象物来处理。
并且，对于对象物的提取，也可以屏蔽对象物，从而生成屏蔽图像。
并且，在对所提取的对象物的立体信息进行贴图处理时，也可以在纵深信息内的适当的位置进行再配置。并非必需要在忠实原图像数据的位置上进行贴图处理，可以在易制出效果的位置或易进行数据处理的位置等任意的位置进行再配置。
而且，可以在提取对象物时，或对立体信息进行贴图处理时，或在进行有关立体信息的对象物处理时，适当地赋与相当于对象物后面的信息。虽然会有从原图像中得不到对象物后面的信息的情况，此时则可以根据前面的信息来设定后面的信息(例如，将相当于对象物前面的图像信息(在立体信息上相当于纹理或多边形等信息)复制到对象物的后面等)。当然，也可以参照其它的对象物或其它的空间信息等，来设定后面的信息。而且，可以对赋与后面的信息本身赋与任意的事物，例如，附加影子、变黑显示、从后面看上去好像是不存在对象物等。并且，为了使对象物和背景看上去流畅，可以进行任意地圆滑处理(使境界模糊等)。
并且，可以根据作为三维空间信息来配置的对象物位置，来变更摄影参数。例如，也可以从图像生成时的对象物的位置或空间构图中，根据摄影位置/深度来生成焦点信息(焦点不对信息)，并可以生成具有远近感的图像。此时，可以是仅对象物模糊，也可以是对象物及其周围模糊。
而且，在上述实施方式1所射击的图像数据管理装置100虽然是将空间构图用户IF部111、对象物用户IF部121、立体信息用户IF部131、信息补正用户IF部140、效果用户IF部162及视点控制用户IF部182分离后的功能结构，不过，也可以是将上述各IF部的功能合成1个IF部的构成。
产业上利用的可能性本发明能够利用于从微型计算机、数字照相机或附带照相机的移动电话等的静态图像中，生成立体图像的图像处理装置等。
权利要求
1.一种图像处理装置，根据静态图像生成立体信息，其特征在于，包括图像获得单元，获得静态图像；对象物提取单元，从获得的上述静态图像中提取对象物；空间构图确定单元，利用获得的上述静态图像中的特征，确定空间构图，该空间构图示出含有消失点的假想空间；以及立体信息生成单元，通过将被提取的上述对象物与被确定的上述空间构图相关联，来决定上述假想空间中的对象物的配置，并根据被决定的该对象物的配置，来生成有关上述对象物的立体信息。
2.根据权利要求1所述的图像处理装置，其特征在于，上述图像处理装置还包括视点控制单元，假设在上述假想空间内有照相机，并使该照相机的位置移动；图像生成单元，通过上述照相机，来生成在任意位置进行拍摄的情况下所能得到的图像；以及图像显示单元，显示被生成的上述图像。
3.根据权利要求2所述的图像处理装置，其特征在于，上述视点控制单元进行控制，从而使上述照相机在被生成的上述立体信息所存在的范围内移动。
4.根据权利要求2所述的图像处理装置，其特征在于，上述视点控制单元进一步进行控制，从而使上述照相机在上述对象物所不存在的空间移动。
5.根据权利要求2所述的图像处理装置，其特征在于，上述视点控制单元进一步进行控制，从而使上述照相机拍摄上述对象物所存在的区域，该上述对象物由被生成的上述立体信息来表示。
6.根据权利要求2所述的图像处理装置，其特征在于，上述视点控制单元进一步进行控制，从而使上述照相机向上述消失点的方向移动。
7.根据权利要求2所述的图像处理装置，其特征在于，上述视点控制单元进一步进行控制，从而使上述照相机向上述对象物的方向移动，该上述对象物由被生成的上述立体信息来表示。
8.根据权利要求1所述的图像处理装置，其特征在于，上述对象物提取单元从被提取的上述对象物中，确定具有2条或2条以上非平行的直线的对象物；上述空间构图确定单元还通过将被确定的具有上述2条或2条以上非平行的直线的对象物延长，来推定1个或1个以上的消失点的位置；上述空间构图确定单元，还通过被确定的具有上述2条或2条以上非平行的直线的对象物和上述被推定的消失点的位置，来确定上述空间构图。
9.根据权利要求8所述的图像处理装置，其特征在于，上述空间构图确定单元还对在上述静态图像的外部的上述消失点进行推定。
10.根据权利要求1所述的图像处理装置，其特征在于，上述图像处理装置还包括用户接口单元，接受来自用户的指示；上述空间构图确定单元还按照所接受的来自用户的指示，来修正已被确定的上述空间构图。
11.根据权利要求1所述的图像处理装置，其特征在于，上述图像处理装置还包括空间构图模板存储单元，存储空间构图模板，该空间构图模板为空间构图的雏形；上述空间构图确定单元，利用所获得的上述静态图像中的特征，从上述空间构图模板存储单元选择1个空间构图模板，并利用所选择的该空间构图模板来确定上述空间构图。
12.根据权利要求1所述的图像处理装置，其特征在于，上述立体信息生成单元还算出接地点，该接地点是上述对象物在上述空间构图中与地平面相接触的点，并生成上述对象物存在于上述接地点位置的情况下的上述立体信息。
13.根据权利要求12所述的图像处理装置，其特征在于，上述立体信息生成单元还根据上述对象物的种类，来变更上述对象物与上述空间构图所接触的面。
14.根据权利要求12所述的图像处理装置，其特征在于，上述立体信息生成单元，还在未能算出上述对象物与上述空间构图的地平面相接触的接地点的情况下，至少对上述对象物或上述地平面的某一个，通过内插、外插或插值来算出与地平面相接触的假想接地点，并生成上述对象物存在于上述假想接地点位置的情况下的上述立体信息。
15.根据权利要求1所述的图像处理装置，其特征在于，上述立体信息生成单元还对上述对象物赋与规定的厚度并配置在空间，从而生成上述立体信息。
16.根据权利要求1所述的图像处理装置，其特征在于，上述立体信息生成单元还对上述对象物赋与图像处理，该图像处理使上述对象物的外缘变得模糊或清晰，从而生成上述立体信息。
17.根据权利要求1所述的图像处理装置，其特征在于，上述立体信息生成单元还利用未被屏蔽的数据，至少构成以下数据的某一个，上述数据是指缺少的背景的数据和其它的对象物的数据，上述缺少的背景和其它的对象物是由上述对象物的影像所屏蔽的部分。
18.根据权利要求17所述的图像处理装置，其特征在于，上述立体信息生成单元还根据上述对象物的正面的数据，来构成表示上述对象物的背面或侧面的数据。
19.根据权利要求18所述的图像处理装置，其特征在于，上述立体信息生成单元根据上述对象物的种类，使有关上述对象物的处理发生动态地变化。
20.一种图像处理方法，根据静态图像生成立体信息，其特征在于，包括图像获得步骤，获得静态图像；对象物提取步骤，从获得的上述静态图像中提取对象物；空间构图确定步骤，利用获得的上述静态图像中的特征，确定空间构图，该空间构图示出含有消失点的假想空间；以及立体信息生成步骤，通过将被提取的上述对象物与被确定的上述空间构图相关联，来决定上述假想空间中的对象物的配置，并根据被决定的该对象物的配置，来生成有关上述对象物的立体信息。
21.一种程序，用于根据静态图像生成立体信息的图像处理装置，并且是为了使计算机执行的程序，包括图像获得步骤，获得静态图像；对象物提取步骤，从获得的上述静态图像中提取对象物；空间构图确定步骤，利用获得的上述静态图像中的特征，确定空间构图，该空间构图示出含有消失点的假想空间；以及立体信息生成步骤，通过将被提取的上述对象物与被确定的上述空间构图相关联，来决定上述假想空间中的对象物的配置，并根据被决定的该对象物的配置，来生成有关上述对象物的立体信息。
全文摘要
本发明的图像处理装置在根据静态图像生成立体信息时，可以减轻用户的操作负担。其中包括立体信息生成部(130)、空间构图确定部(112)、对象物提取部(122)、立体信息用户IF部(131)、空间构图用户IF部(111)以及对象物用户IF部(121)，由于能够从获得的原图像中分别提取空间构图和对象物，通过在其假想空间内配置对象物，来生成有关对象物的立体信息，同时，为了生成在此假想空间内移动的照相机所拍摄的图像，因此能够生成与原图像处于不同视点的立体的影像。
文档编号G01B11/24GK101019151SQ20058002475
公开日2007年8月15日 申请日期2005年7月22日 优先权日2004年7月23日
发明者山内真树 申请人:松下电器产业株式会社