专利名称：立体影像制作装置以及立体影像制作方法
技术领域：
本发明涉及立体影像制作装置以及立体影像制作方法，尤其涉及从ニ维影像制作三维影像的立体影像制作装置以及立体影像制作方法。
背景技术：
作为受人关注的技术有关于3D (Three Dimensions 三维)的技术。与3D相关的技术的适用范围较广，从军用导航到エ业上的检查、一般消费者用的电子设备等均有应用。 近些年，像众多的电视制造商销售的3D电视机、以及各种3D电影院上映的3D电影等，适用了 3D技术的应用程序或产品不断地在市场上出现。而且，还有进行实验性地播放3D频道的电视广播公司。这样，通过适用与3D相关的技木，从而人们增加了与立体影像(3D影像) 接触的3D体验的机会。并且，从1838年开始就已开始了有关3D技术的立体图像的研究。由于人的左眼与右眼之间具有视差，因此能够感到深度的感觉。因此，对于人来说生成具有恰当的视差的左眼图像和右眼图像，若能够将生成的左眼图像和右眼图像分别传送到人的左眼和右眼， 则人能够鉴赏具有临场感的立体图像(3D图像)。因此，为了能够向人提供良好的3D体验，因此开发了各种技木。在被开发的技术中具有实现ー连串的3D处理的各种功能的技术，这些ー连串的3D处理包括3D图像的摄影技木、3D影像的拍摄技术、后处理技术、数据包(3D内容)、3D内容的分发以及3D显示。3D电视在近些年虽然有了显著的发展，但是用于家庭用户能够鉴赏的3D内容却不完备。对于这种状况能够利用两个解决方法来缓解。一个是促进新的3D摄像机的开发，向市场提供更多的3D摄像机的方法。但是要想实现这些的话需要花费时间。而且，购买新的3D摄像机等对于用户而言，负担较大。还有ー个方法是，将2D (ニ維)影像的内容变换为3D (三維)影像。例如有将现有的2D影像的内容变换为3D影像的内容的方法，以及在以通常摄像机或数码摄像机 (Camcorder)拍摄2D影像的同吋，变换为3D影像的内容的方法。这种方法的较好之处是， 与开发新的3D摄像机等相比，可以不必花费成本就能够向人们提供良好的3D体验。在专利文献1中公开的技术是，能够应对复杂性(计算成本低)，且自动地从2D图像(2D影像)变换到3D图像(3D影像)。在专利文献1公开的技术中，首先将帧分类为平坦图像以及非平坦图像。接着，平坦图像直接被变换为3D立体显示形式，非平坦图像则根据预先估计的深度图而被变换。并且，根据深度图的立体变换与更多的种类相对应。专利文献2公开的技术是，将2D图像信号变换为3D图像信号，并输出变换后的3D 图像信号。在专利文献2公开的技术中，首先分析各个帧的运动，并将这些帧分类为三种。 具体而言，分类为(1)包含水平方向的运动而不包含场面变化的帧、( 不包含水平方向的运动以及场面变化的帧、C3)不包含水平方向的运动的帧。接着，在包含水平方向的运动而不包含场面变化的情况下，直接利用对象帧和下ー帧来建立立体对。在非专利文献1中公开了根据SFM (structure from motion 运动估计结构)的
5立体变换方法。在非专利文献1公开的技术中，首先通过SFM算法来估计位置、旋转、以及焦距等摄像机參数。接着，根据推定的摄像机參数，从原影像序列中选择左眼图像的候补以及与其对应的右眼图像。(现有技术)(专利文献)专利文献1美国专利申请公开第2008/0150945号说明书专利文献2国际公开第2010/0M479号(非专利文献)非专利又献 IGuofeng Zhang,Wei Hua, Xueying Qin, Tien-Tsin Wong, and Hujun Bao,"Stereoscopic Video Synthesis from a Monocular Viaeo，，，IEEE iransactions on Visualization and Computer Graphics,13(4) : 686-696 (2007)非专利文献2"International Joint Conference on Artificial Intelligence，， 中的Bruce D. Lucas 以及Takeo Kanade 的“An Iterative Image Registration Technique with an Application to Stereo Vision(1981)，，非专利文献3 "Alvey vision conference，，中的 C. Harris 以及 Μ· Stephens 的“A combined corner and edge detector (1988)，，非专禾Ij 文 4R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, London,2000然而，在上述的以往的技术中，具有以下的问题。首先，在上述专利文献1公开的技术中，由于计算过于复杂，因此不能即时地进行质量高的深度图的估计。并且，在根据质量低的深度图变换到3D图像(3D影像)的情况下， 不能满足变换到使人能够舒适地感受3D图像的条件。接着，在专利文献2公开的技术中存在不能充分满足舒适的3D条件的问题。具体而言，在实际的影像中几乎不会发生仅包含水平方向的运动的帧。因此，在上述的专利文献 2公开的技术中，大多情况是根据被估计的深度图来将2D影像变换为3D影像。深度图的估计由于是根据水平边界来估计的，因此容易受到噪声的影响。并且，在估计质量高的深度图时需要花费时间。最后，在非专利文献1公开的技术中存在的问题是，立体变换的性能依存于SFM 的精确度。高精确度的SFM是需要花费时间的处理，因此即时地适用是困难的。而且，虽然记载了在在线的变换中利用离线的SFM，但是实现性较低。
发明内容
本发明鉴于上述问题，目的在于提供ー种从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。为了达成上述的目的，本发明的一个实施例所涉及的立体影像制作装置，从ニ维影像制作三维影像，该立体影像制作装置包括接收部，接收ニ维影像；选择部，从构成所述ニ维影像的多个帧中，将与对象帧具有共同的图像区域的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；决定部，根据规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成部，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及变换部，从所述对象帧与由所述选择部选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对。根据此构成，可以不必进行由计算成本高的SFM执行的推定就能够生成立体影像。并且，本发明的立体影像制作装置可以不必进行花费时间的纵深图的推定就能够生成立体影像。据此，能够实现从ニ维影像制作恰当且舒适的三维影像的立体影像制作装置。本发明不仅可以作为装置来实现，而且可以作为具备这些装置所包括的处理单元的集成电路来实现，并且可以作为将构成这些装置的处理单元作为步骤的方法来实现，还可以作为使计算机执行这些步骤的程序来实现。并且，程序也可以通过CD — ROM等记录介质或互联网等通信介质来分发。通过本发明，能够实现ー种从2D影像制作恰当且舒适的3D影像的立体影像制作装置以及立体影像制作方法。
图1是示出本发明的实施例1中的立体影像制作装置的构成的方框图。图2是示出本发明的实施例1中的稳定化部的详细构成的方框图。图3是示出本发明的实施例1中的立体影像制作部的详细构成的方框图。图4是示出本发明的实施例1中的立体影像变换部的处理的流程图。图5是示出本发明的实施例1中的稳定化部的处理的流程图。图6示出了本发明的实施例1中的利用手持式摄像机的成为拍摄对象的场面的例子。图7示出了本发明的实施例1中的手持式摄像机所拍摄的稳定化之前的2D影像。图8示出了本发明的实施例1中的手持式摄像机所拍摄的稳定化后的2D影像。图9示出了本发明的实施例1中的对象帧以及与其对应的立体同伴帧候补的共同区域。图10是示出本发明的实施例1中的决定部的处理的流程图。图11是用于说明本发明的实施例1中的生成变换矩阵的处理的流程图。图12A是用于说明本发明的实施例1中的用语的概念的图。图12B是用于说明本发明的实施例1中的用语的概念的图。图13示出了本发明的实施例1中的对以摄像机拍摄的稳定化后的2D影像进行立体变换后的3D影像。图14是示出本发明所涉及的立体影像制作装置的最小构成的方框图。图15是示出图14所示的立体影像制作装置的工作的流程图。图16是示出本发明的实施例2中的立体影像制作装置的构成的方框图。图17是示出本发明的实施例3所涉及的图像装置的构成的方框图。
具体实施方式
以下，參照附图对本发明的实施例进行说明。(实施例1)图1是示出本发明的实施例1中的立体影像制作装置的构成的方框图。图2是示出本发明的实施例1中的稳定化部的详细构成的方框图。图3是示出本发明的实施例1中的立体影像制作部的详细构成的方框图。图1所示的立体影像制作装置100从2D (ニ維)影像制作3D影像，并输出制作的 3D (三維)影像。被输出的3D影像由外部的显示部112显示，或者由外部的存储发送装置 114存储。该立体影像制作装置100具备接收部101、立体影像变换部106、影像输出部 108、以及内部缓冲器110。接收部101接收2D影像。接收部101例如由图1所示的存储介质阅读器102和视频解码器104构成。存储介质阅读器102累积构成2D影像的多个帧(图像数据)。视频解码器104从存储介质阅读器102获得图像数据S11，并输出到立体影像变换部106。视频解码器104在图像数据Sll被编码的情况下，按照需要将解码了图像数据Sll的2D影像数据S13输出到立体影像变换部106。立体影像变换部106由稳定化部116和立体影像制作部118构成。立体影像变换部106利用稳定化部116和立体影像制作部118将2D影像数据S13稳定化，之后变换为3D 影像(立体影像)。稳定化部116通过在构成2D影像(2D影像数据S13)的多个帧中校正该多个帧之间的摇晃，从而使该多个帧稳定化。在此，多个帧之间的摇晃例如是在拍摄2D影像时的手的震动而造成的影像的晃动。并且，稳定化例如是指校正为不摇晃的影像。稳定化部116如图2所示由检测部121和算出部122构成。稳定化部116通过利用投影变换矩阵，来对多个帧之间的摇晃进行校正，所述投影变换矩阵是根据帧中具有特征的、且在规定帧与多个近邻帧之间具有对应关系的特征点而被算出的，所述多个近邻帧是在时间上与规定帧近的帧。具体而言，检测部121检测在规定帧与近邻帧之间具有对应关系的多个特征点， 该多个特征点是具有特征的点，所述近邻帧是与规定帧近的帧。算出部122，将使规定帧变形的投影变换矩阵作为稳定化矩阵来算出，以使规定帧的多个特征点与对应的近邻帧中的被加权后的多个特征点具有相同的坐标值。例如，算出部122利用加权函数来算出多个近邻帧的权重。算出部122在对应的近邻帧为在时间上与规定帧最近的帧的情况下，利用加权函数，算出与1更近的值的权重。并且，在对应的近邻帧为在时间上与规定帧远的帧的情况下，利用加权函数，算出比1小的值的权重。这样，稳定化部116将算出的投影变换矩阵适用于规定帧，并对所有的帧进行同样的处理，从而将构成2D影像数据的多个帧稳定化。立体影像制作部118如图3所示，由选择部123、决定部124、立体对生成部125、以及变换部1 构成，从被稳定化后的2D影像数据S13制作3D影像。选择部123从构成2D影像的多个帧中，将与对象帧具有共同的图像的区域的共同区域所占区域的大小为预先规定的值以上的多个帧，选择为立体同伴帧候补，该立体同伴帧候补是与对象帧一起构成立体图像的帧的候补。例如，选择部123从构成2D影像的多个帧中，选择与对象帧为同一场面拍摄的多个帧，以作为立体同伴帧候补。具体而言，选择部123在共同区域占对象帧的大小的比例以及共同区域占立体同伴帧候补的大小的比例分别为预先规定的值(例如0.9)以上的情况下，则判断为立体同伴帧候补为与对象帧在同一场面被拍摄的帧。在此，共同区域是根据特征点而被算出的，该特征点是在对象帧与立体同伴帧候补之间具有对应关系的、帧中具有特征的点。并且，选择部123例如在构成2D影像的多个帧中，也可以将作为在时间上与对象帧接近的帧的近邻帧作为立体同伴帧候补来选择。决定部IM根据第一基准，从立体同伴帧候补中在决定立体同伴帧，该立体同伴帧是与对象帧一起构成立体图像的帧。换而言之，决定部1 通过利用帧中的具有特征的点的特征点，来判断是否满足第一基准，从而决定立体同伴帧，所述特征点并且是通过执行图像处理能够检测到的点。立体对生成部125利用对象帧和立体同伴帧，来生成与对象帧对应的构成立体图像的立体对。并且，第一基准是由垂直方向差基准、水平视差基准、平滑化基准、以及变形减少基准构成的基准。具体而言，在垂直方向差基准规定了，将对象帧的共同区域与垂直方向的位置的差略等于零的帧作为立体同伴帧。在水平视差基准规定了，将对象帧的共同区域与水平方向的位置的差(视差)包含在规定的范围内的帧作为立体同伴帧。并且，在平滑化基准规定了，将在时间上连续的立体对之间的、共同区域的位移为平滑的帧作为立体同伴帧。 在变形减少基准规定了，将共同区域所占区域的大小与对象帧中的共同区域所占区域中的大小均在预先规定的值以上的帧作为立体同伴帧。变换部126，从对象帧以及由选择选择123选择的立体同伴帧候补中，生成用于使立体同伴帧候补变形的变换矩阵，并通过将生成的变换矩阵适用于立体对，从而对生成的立体对进行变换。在此，变换部1 根据在对象帧与立体同伴帧之间具有对应关系的、且是帧中具有特征的特征点来生成变换矩阵。具体而言，变换部126使算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵组合，从而生成变换矩阵。更具体而言，首先变换部1 在对象帧与立体同伴帧候补之间算出基本矩阵。接着，变换部126根据基本矩阵算出投影变换矩阵，以使立体对中的对象帧与立体同伴帧候补之间的垂直方向差最小化。接着，变换部1 在维持由投影变换矩阵变换的立体同伴帧中的共同区域与变换前的正交性和纵横比相同的状态下，算出倾斜变换矩阵。接着，变换部126算出平移变换矩阵，以使对象帧与被适用了投影变换矩阵以及倾斜变换矩阵的立体同伴帧之间的视差、与该对象帧以前的对象帧和立体同伴帧之间的视差成为相同。内部缓冲器110相当于本发明的存储部，存储由变换部126变换的立体对。具体而言，内部缓冲器存储在立体影像制作部118生成的立体对，以作为由影像输出部108输出之前的数据的中间数据。换而言之，立体影像变换部106通过内部缓冲器110，将生成的立体对数据S15发送到影像输出部108。影像输出部108相当于本发明的输出部，输出被存储在内部缓冲器110的被变换后的立体对。并且，影像输出部108输出由变换部1 变换的立体对，该立体对是与构成2D 影像的多个帧的每个帧相对应的立体对。并且，影像输出部108将被输入的立体对数据S15调整为与优选的输出形式相对应的输出影像形式(立体对数据S17)，并输出到显示部112。具体而言，影像输出部108为了能够使显示部112进行显示，从而将输出影像形式调整为与显示部112的显示形式相一致的形式。例如，作为输出影像形式例如有用于不佩戴眼镜而直接用肉眼来看立体装置的形式，但是并非受此所限。例如也可以是使用眼镜来看的灰色/彩色立体图片的形式，也可以是交错形式。并且，也可以是方格形式，或者可以是利用主动式快门眼镜来看帧连续型的立体显示装置的其他的形式。并且，影像输出部108也可以利用存储发送装置114来对立体对数据S17进行存储以及发送。存储发送装置114例如是以闪存为主的内存卡、硬盘驱动器、或光学驱动器，但并非受此所限。例如，存储发送装置114可以是HDMI接ロ(高清晰度多媒体接ロ)、USB接ロ、 无线接ロ或direct-to-printer (直接连接打印机)接ロ，不过并非受此所限。另外，存储发送装置114也可以进行任意地可逆或不可逆压縮，来进行存储以及发送。如以上所述，构成了立体影像制作装置100。并且，立体影像制作装置100(或构成立体影像制作装置的立体影像变换部106等) 通常可以由IC (集成电路)、ASIC (专用集成电路)、或LSI (大规模电路)来实现，并且可以由多个芯片构成也可以由ー个芯片构成。并且，立体影像制作装置100或立体影像变换部 106等的实现并非受LSI的形式所限。也可以按照集成度而以被称为IC (集成电路)、系统 LSI、超级LSI、或极超级LSI。并且，立体影像制作装置100等也可以利用专用电路或通用处理器等被集成化后来实现。作为专用电路例如有能够按照程序指令来进行控制的DSP (数字信号处理器)等特殊化后的微处理器。并且，立体影像制作装置100等在LSI制造后，也可以利用可编程的FPGA(现场可编程门阵列)或LSI的连接或者可重构的处理器。将来，在制造以及处理技术提高之后，在以全新的技术来取代LSI的情况下，也可以利用该技木，通过进行集成化来实现。并且，立体影像制作装置100也可以被组装到以时间序列来显示图像(影像)的液晶显示装置、等离子体显示装置、附加有柱状透镜层的显示装置、或能够显示其他的种类的显示装置等的立体图像的显示装置。并且，立体影像制作装置100也可以被安装在DVD播放器、蓝光盘播放器、以及其他种类的数字媒体播放器等的数字媒体播放装置。也可以安装在其他种类的装置中。上述的任何ー种情况均不限定本发明的范围。图4是示出本发明的实施例1所涉及的立体影像变换部106的工作的流程图。首先，在S102，2D影像被输入到立体影像变换部106。具体而言，立体影像变换部 106被输入有来自接收部101的2D影像数据S13。接着，在S104，立体影像变换部106检测在相邻的帧之间的具有对应关系的特征
好、ο在此，在具有对应关系的特征点的检测(注册/追踪)中采用现有技术中公开的方法。并且，用于追踪特征的现有的方法例如由非专利文献2公开。并且，注册特征的现有的方法例如由非专利文献3公开。并且，特征点的检测(注册/追踪)的方法并非受上述非专利文献2以及非专利文献3公开的方法所限。
接着，在S106，立体影像变换部106使2D影像稳定化。具体而言，立体影像变换部106利用基于在对象(參考)帧与多个近邻帧之间的彼此对应的特征点而被算出的矩阵， 来进行针对规定帧的稳定化变换。更具体而言，通过利用基于在规定帧与多个近邻帧之间的彼此对应的帧中的具有特征的特征点而被算出的投影变换矩阵，从而对该多个帧之间的摇晃进行校正，所述多个近邻帧是指，在时间上与规定帧接近的帧。这样，立体影像变换部 106能够使2D影像稳定化。接着，在S108，立体影像变换部106选择与对象帧对应的立体同伴帧候补。具体而言，立体影像变换部106从构成2D影像的多个帧中，选择具有共同区域的、且该共同区域所占的区域的大小在预先规定的值(例如0. 9)以上的多个帧，以作为与对象帧一起构成立体图像的帧的候补的立体同伴帧候补，所述共同区域是与对象帧共同的区域。例如，立体影像变换部106从构成2D影像的多个帧中选择包含有与对象帧具有相同场面的帧。接着，在S110，立体影像变换部106决定与对象帧对应的立体同伴帧。具体而言， 立体影像变换部106根据第一基准，从立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与对象帧一起构成立体图像的帧。在此，第一基准如以上所述，包括以下的基准a)至基准d)。即，在决定形成立体对的立体同伴帧和对象帧时需要以下的基准基准a)垂直方向差几乎为零(垂直方向差基准)，基准b)具有充分且恰当的水平视差(水平视差基准)，基准c)与相邻的立体对的对应点的视差相似(平滑化基准)，以及基准d)变形为最小(变形减少基准)。接着，在Sl 12，立体影像变换部106生成立体对。具体而言，立体影像变换部106 利用对象帧和立体同伴帧，生成与对象帧对应的构成立体图像的立体对。即，立体影像变换部106利用被稳定化的对象帧与基于第一基准而被決定的立体同伴帧，生成立体对。接着，在S114，立体影像变换部106保存或显示生成的立体对(对象立体对)。例如，立体影像变换部106将生成的对象立体对保存到内部缓冲器110。接着，在S115，立体影像变换部106确认生成的对象立体对的对象帧是否为构成 2D影像的多个帧中的最后的帧。在S115，立体影像变换部106在确认到生成的对象立体对的对象帧不是最后的帧的情况下(sii5的“否”)，返回到Sioe0另外，立体影像变换部106在确认到生成的对象立体对的对象帧是最后的帧的情况下(S115的“是”)，则进入到S116。最后，在S116输出以在立体影像变换部106被生成的立体对构成的立体影像(3D 影像)。如以上所述，立体影像变换部106将2D影像变换为3D影像。接着，对本申请的特征性处理S106、S108、以及SllO进行详细说明。首先，对S106进行详细说明。例如，在被输入到立体影像变换部106的2D影像是由摄像机等拍摄的情况下，将要解决的课题之ー是由于手的晃动以及其他的理由而造成的摄像机的晃动。即，在以因手的晃动等而晃动的摄像机拍摄2D影像吋，则2D影像成为含有摇晃等的不稳定影像。因此， 即使从不稳定的2D影像制作3D影像，制作后的3D影像也成为不稳定的3D影像。不稳定的3D影像在由人视听吋，会给人带来不健全且不愉快的感觉。
因此，通过对因手的晃动或其他的理由而造成的帧间的晃动进行校正，从而能够使不稳定的2D影像稳定化。以下，对稳定化部116进行的稳定化处理(S106)的详细进行说明。图5是示出本发明的实施例1中的稳定化部116的处理的流程图。首先，在S201，2D影像被输入到稳定化部116。具体而言，2D影像数据S13从接收部101被输入到稳定化部116。接着，在S202，稳定化部116在构成2D影像(2D影像数据S13)的多个帧中检测 (追踪)在相邻的帧之间的具有对应关系的特征点。具体而言，检测部121在构成2D影像的多个帧中检测多个特征点，该多个特征点是在规定帧与近邻帧之间的彼此对应的具有特征的点，所述近邻帧是与规定帧接近的帧。接着，在S204，稳定化部116根据在规定帧以及多个近邻帧之间具有对应关系的特征点，算出使规定帧变形的稳定化矩阵。具体而言，算出部122算出作为使规定帧变形的稳定化矩阵的投射变换矩阵，以使规定帧的多个特征点与对应的近邻帧的被加权后的多个特征点具有相同的坐标值。具体而言，在S204算出稳定化矩阵Sm，针对作为规定帧的第m个帧Lii算出矩阵， 该矩阵能够平稳地变更对应的多个近邻帧Nm= {Im_k，· · ·，Inri，Iffl, Im+1，· · ·，Im+k}的特征点。稳定化矩阵、是作为使式1的目标函数最小化的矩阵而被算出的。(数式1 )
m+kSm = ai-gmin SPm 一 WjVj ||2 (式 ι)
S j~rfi-k在此，S是3X3投影变换矩阵，、是被推定的3X3稳定化矩阵。P〗是包含第j个帧的所有的特征点(K个)的3XK矩阵。这些矩阵的各个列是特征点的三维齐次坐标。ろ 是在第j个帧的特征点的权重。在第j个帧离第m个对象帧远的情况下，权重变小。在第 j个帧离第m个对象帧近的情况下，权重变大。权重是通过式2所示的高斯函数算出的。(数式2)
权利要求
1.ー种立体影像制作装置，从ニ维影像制作三维影像，该立体影像制作装置包括 接收部，接收ニ维影像；选择部，从构成所述ニ维影像的多个帧中，将与对象帧具有共同的图像区域的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；决定部，根据规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成部，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及变换部，从所述对象帧与由所述选择部选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对。
2.如权利要求1所述的立体影像制作装置，该立体影像制作装置还包括稳定化部，该稳定化部通过在构成所述ニ维影像的多个帧中对该多个帧之间的摇晃进行校正，从而使该多个帧变得稳定；所述选择部，从由所述稳定化部稳定后的构成所述ニ维影像的多个帧中，选择立体同伴帧候补。
3.如权利要求1或2所述的立体影像制作装置， 所述立体影像制作装置包括存储部，用于存储由所述变换部变换后的立体对；以及输出部，用于输出由所述存储部存储的被变换后的立体对；所述输出部，通过输出由所述变换部变换后的立体对，从而从所述ニ维影像生成三维影像，所述变换后的立体对与构成所述ニ维影像的多个帧的每ー个相对应。
4.如权利要求1至3的任一项所述的立体影像制作装置，所述选择部，从构成所述ニ维影像的多个帧中，选择与所述对象帧为在同一场面拍摄的多个帧，以作为所述立体同伴帧候补。
5.如权利要求4所述的立体影像制作装置，所述选择部，在所述共同区域的大小占所述对象帧的比例、以及所述共同区域的大小占所述立体同伴帧候补的比例分別在所述预先规定的值以上的情况下，判断所述立体同伴帧候补是与所述对象帧在同一场面拍摄的帧；所述共同区域是根据帧中具有特征的、且在所述对象帧与所述立体同伴帧候补之间具有对应关系的特征点而被算出的。
6.如权利要求4或5所述的立体影像制作装置，所述选择部，在构成所述ニ维影像的多个帧中，选择在时间上与所述对象帧近的近邻帧，以作为所述立体同伴帧候补。
7.如权利要求1至6的任一项所述的立体影像制作装置，所述规定的基准包括垂直方向差基准、水平视差基准、平滑化基准、以及减少失真基准；在所述垂直方向差基准中规定了，将与所述对象帧的所述共同区域在垂直方向的位置上的差略等于零的帧，作为所述立体同伴帧；在所述水平视差基准中规定了，将与所述对象帧的所述共同区域在水平方向的位置上的差属于规定的范围内的帧，作为所述立体同伴帧；在所述平滑化基准中规定了，将在时间上连续的立体对之间的所述共同区域的变位成为平滑的帧，作为所述立体同伴帧；在所述减少失真基准中规定了，将所述共同区域所占的区域中的大小与所述对象帧同样，均为所述预先规定的值以上的帧，作为所述立体同伴帧。
8.如权利要求7所述的立体影像制作装置，所述决定部，利用通过进行图像处理而能够检测到的、作为帧中的具有特征的点的特征点，来判断是否满足所述规定的基准，以便决定所述立体同伴帧。
9.如权利要求1或2所述的立体影像制作装置，所述变换部，根据作为帧中具有特征的、且在所述对象帧与所述立体同伴帧之间具有对应关系的特征点来生成所述变换矩阵。
10.如权利要求1或2所述的立体影像制作装置，所述变换部，对算出的投影变换矩阵、倾斜变换矩阵以及平移变换矩阵进行组合以便生成所述变换矩阵，并且将生成的所述变换矩阵应用于所述立体对；所述变换部，在所述对象帧与所述立体同伴帧候补之间算出基本矩阵； 所述变换部，根据所述基本矩阵算出所述倾斜变换矩阵，以使所述立体对中的对象帧与所述立体同伴帧候补之间的垂直方向差成为最小；所述变换部，算出所述投影变换矩阵，以使由所述投影变换矩阵变换后的所述立体同伴帧中的所述共同区域，維持与变换前相同的正交性和纵横比；所述变换部，算出所述平移变换矩阵，以使以下的两种视差成为相同，该两种视差是指所述对象帧与被应用了所述投影变换矩阵以及所述倾斜变换矩阵后的立体同伴帧之间的视差、以及所述对象帧之前的对象帧与立体同伴帧之间的视差。
11.如权利要求2所述的立体影像制作装置，所述稳定化部，通过利用投影变换矩阵来对多个帧之间的摇晃进行校正，该投影变换矩阵是基于帧中具有特征的、且在规定帧与在时间上和所述规定帧接近的多个近邻帧之间具有对应关系的特征点而被算出的。
12.如权利要求2所述的立体影像制作装置， 所述稳定化部包括检测部，检测多个特征点，该多个特征点是在规定帧和与所述规定帧邻近的近邻帧之间具有对应关系且具有特征的点；以及算出部，算出使所述规定帧变形的投影变换矩阵，以使所述规定帧的多个特征点、与对应的所述近邻帧中被加权后的多个特征点具有相同的坐标值；所述稳定化部通过将所述投影变换矩阵应用于所述规定帧，从而使该多个帧变得稳疋。
13.如权利要求12所述的立体影像制作装置， 所述多个近邻帧是在时间上与所述规定帧近的帧。
14.如权利要求12所述的立体影像制作装置，所述算出部利用加权函数，算出所述多个近邻帧的权重； 所述算出部，在对应的所述近邻帧为在时间上与所述规定帧最近的帧的情况下，利用所述加权函数，算出值为更近于1的权重；在对应的所述近邻帧为在时间上离所述规定帧远的帧的情况下，利用所述加权函数， 算出值为比1小的权重。
15.如权利要求2所述的立体影像制作装置，所述接收部，接收用户以拍摄装置拍摄的ニ维影像； 所述立体影像制作装置进ー步包括分析部，分析所述拍摄装置的动作，生成用于引导所述用户的信息，以便拍摄稳定的ニ 维影像；反馈部，根据由所述分析部生成的信息，生成用于向所述用户反馈的反馈信息；以及显示部，显示被生成的所述反馈信息以及所述ニ维影像。
16.ー种立体影像制作方法，从ニ维影像制作三维影像，该立体影像制作方法包括 接收步骤，接收ニ维影像；选择步骤，从构成所述ニ维影像的多个帧中，将与对象帧具有共同的图像区域的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补，该立体同伴帧候补是与该对象帧一起构成立体图像的帧的候补；决定步骤，根据所述规定的基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成步骤，利用所述对象帧与所述立体同伴帧，生成构成立体图像的立体对；以及变换步骤，从所述对象帧与由所述选择部选择的所述立体同伴帧候补中，生成用于使所述立体同伴帧候补变形的变换矩阵，通过将生成的所述变换矩阵应用于所述立体对，来变换所述立体对。
全文摘要
本发明的立体影像制作装置(100)包括接收部(101)，接收二维影像；选择部(123)，从构成所述二维影像的多个帧中，将与对象帧共同的共同区域所占的区域大小在预先规定的值以上的多个帧选择为立体同伴帧候补；决定部(124)，根据第一基准，从所述立体同伴帧候补中决定立体同伴帧，该立体同伴帧是与该对象帧一起构成立体图像的帧；立体对生成部(125)，利用所述对象帧与所述立体同伴帧，生成与所述对象帧对应的构成立体图像的立体对；以及变换部(126)，根据对象帧和被决定的所述立体同伴帧生成变换矩阵，根据第二基准将生成的所述变换矩阵应用于所述立体对，从而对所述立体对进行变换。
文档编号H04N13/02GK102598683SQ201180004478
公开日2012年7月18日 申请日期2011年9月16日 优先权日2010年9月17日
发明者山田整, 李博, 王振珀, 申省梅 申请人:松下电器产业株式会社