专利名称：多视角立体影像产生方法及其装置的制作方法
多视角立体影像产生方法及其装置技术领域
本发明是有关于多视角立体影像的技术领域，且特别是有关于一种多视角立体影像产生方法及采用此方法的多视角立体影像产生装置。
背景技术：
近年来，影像处理的技术不断进步，代表着人类持续地追求更真实的视觉感受。而除了一般的影像与色彩的处理技术增进之外，多视角立体影像的处理更进一步增加了立体空间的视觉感受。
目前的多视角立体影像技术是利用一张二维影像与一张深度图(cbpth map)来产生多张具有其它视角的二维影像。然而，这种技术会造成严重的影像失真问题，以图1来说明之。
图1所示即为现有多视角立体影像产生技术的示意图。请参照图1，深度影像绘图单元(cbpth image based rendering，DIBR) 100接收一张第一视角的二维影像view3与对应于此二维影像view3的一张深度图DM3，并依据此二者来产生四张具有其它视角的二维影像，分别以viewl、view2、view4与view5来标示。而在产生出来的这四个二维影像中，二维影像view2与view4这二者的视角皆与二维影像view3的视角相邻，而二维影像viewl 与view5这二者的视角则分别与二维影像view2与view4的视角相邻。
由于上述的二维影像view2将二维影像view3中的像素重新投影，使得二维影像 view3向左位移预设位移量Δ shift而得，因此二维影像view2会因为遮蔽效应与视角的不同而产生影像缺口(holes)。同样的，二维影像view4将二维影像view3中的像素重新投影，使得二维影像view3向右位移预设位移量Δ shift而得，因此二维影像view4也会因为遮蔽效应与视角的不同而产生影像缺口(holes)。
而由于上述的二维影像viewl将二维影像view3中的像素重新投影，使得二维影像view3向左位移二倍的预设位移量Δ shift而得，因此二维影像viewl会因为遮蔽效应与视角的不同而产生二倍大的影像缺口(holes)。同理，由于上述的二维影像view5 将二维影像view3中的像素重新投影，使得二维影像view3向右位移二倍的预设位移量 Δ shift而得，因此二维影像view5也会因为遮蔽效应与视角的不同而产生二倍大的影像缺口(holes)。如此一来，便造成了多视角立体影像的严重失真问题。
由上述的说明可知，当产生的二维影像的视角越多时，多视角立体影像失真的情形就会越严重。发明内容
本发明提供一种多视角立体影像产生方法，依照此方法所产生的多视角立体影像不会有严重失真的问题。
本发明提供一种多视角立体影像产生装置，其采用上述的多视角立体影像产生方法。
本发明提出一种多视角立体影像产生方法，其包括下列步骤提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角；依据第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角；依据第二二维影像来产生对应的第二深度图；以及依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。
本发明另提出一种多视角立体影像产生装置，其包括有第一深度影像绘图单元、 第一深度图产生单元以及第二深度影像绘图单元。上述的第一深度影像绘图单元用以接收第一二维影像与对应于第一二维影像的第一深度图，并依据第一二维影像与第一深度图来产生第二二维影像，其中第一二维影像具有第一视角，第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角。上述的第一深度图产生单元用以接收第二二维影像，并据以产生对应的第二深度图。而上述的第二深度影像绘图单元用以接收上述的第二二维影像与第二深度图，并依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。
本发明解决上述问题的方式，乃是先依据一张二维影像与对应于此二维影像的一张深度图来产生具有相邻视角的二维影像，并依据产生出来的二维影像来产生对应的深度图，然后再依据产生出来的二维影像及这些二维影像对应的深度图来进一步产生具有相邻视角的二维影像。由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量，而不会有数倍(例如是二倍)的预设位移量发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例， 并配合所附图式，作详细说明如下。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图2为依照本发明一实施例的多视角立体影像产生装置的示意图。请参照图2，此多视角立体影像产生装置20包括有深度影像绘图单元200、深度图产生单元210、深度影像绘图单元220、深度图产生单元230以及深度影像绘图单元M0。深度影像绘图单元200用以接收具有第一视角的二维影像view3与对应于此二维影像view3的深度图DM3，并依据这二者来产生二维影像view2与view4。上述的二维影像view3、view2与view4各自具有一视角，且二维影像view2与view4这二者的视角皆与二维影像view3的视角为相邻的视角， 但二维影像view2与view4这二者的视角并非是相邻的视角。
深度图产生单元210用以接收具有第二视角的二维影像view2，并据以产生对应于二维影像view2的深度图DM2。此外，深度图产生单元210还会将二维影像view2与深度图DM2传送给深度影像绘图单元220。深度影像绘图单元220用以接收二维影像view2与深度图DM2，并依据此二者来产生具有第三视角的二维影像viewl。此二维影像viewl亦具有一视角，且二维影像viewl的视角与二维影像view2的视角亦为相邻的视角。类似地，深度图产生单元230用以接收具有第四视角的二维影像view4，并据以产生对应于二维影像 view4的深度图DM4。此外，深度图产生单元230还会将二维影像view4与深度图DM4传送给深度影像绘图单元M0。深度影像绘图单元240用以接收二维影像view4与深度图DM4， 并依据此二者来产生具有第五视角的二维影像view5。此二维影像view5亦具有一视角，且二维影像view5的视角与二维影像view4的视角亦为相邻的视角。
藉由上述说明可以知道，由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量Δ shift，而不会有数倍(例如是二倍)的预设位移量Δ shift发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
值得一提的是，在此例中，深度影像绘图单元200、220与240皆是采用深度影像绘图法(cbpth-image-based rendering, DIBR)来依据所接收到的二维影像与深度图来产生具有相邻视角的一张新的二维影像，然此并非用以限制本发明。此外，虽然上述例子以产生 5个具有不同视角的二维影像为例，然此亦非用以限制本发明。举例来说，若仅需要3个具有不同视角的二维影像，则仅需采用深度影像绘图单元200、深度图产生单元210与深度影像绘图单元220来依据二维影像view3衍生出二维影像view2与viewl，或者是仅采用深度影像绘图单元200、深度图产生单元230与深度影像绘图单元240来依据二维影像view3 衍生出二维影像view4与view5即可。当然，若是需要6个具有不同视角的二维影像，甚至是更多个具有不同视角的二维影像，则可增设新的深度图产生单元与深度影像绘图单元来依据二维影像viewl与view5至少其中之一来衍生出其它具有不同视角的二维影像。
通过上述各实施的说明，本领域具有通常知识者当可归纳出上述多视角立体影像产生装置的一些基本操作步骤，一如图3所示。图3为依照本发明一实施例的多视角立体影像产生方法的流程图。请参照图3，此多视角立体影像产生方法包括下列步骤首先，提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角(如步骤S31所示)。接着，依据上述第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角(如步骤S32所示)。然后，依据上述第二二维影像来产生对应的第二深度图(如步骤S33所示)。再来，依据上述第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角(如步骤S34所示)。
仅管在上述例子中，深度影像绘图单元200直接接收具有第一视角的二维影像 view3与对应于此二维影像view3的深度图DM3来实现，然本领域具有通常知识者当知在图 2的深度影像绘图单元200之前，亦可配置一个深度图产生单元，一如图4所标示的深度图产生单元410。在图4中，标示与图2的标示相同者表示为相同对象。而图4所示的深度图产生单元410，可用以接收具有第一视角的二维影像view3，并据以产生对应于此二维影像 view3的深度图DM3。接着，此深度图产生单元410就会将二维影像view3与深度图DM3传送给深度影像绘图单元200。
当然，本领域具有通常知识者亦当知在图2的深度影像绘图单元200之前，亦可透过一个深度图产生单元来接收二个具有不同视角的二维影像(可视为接收一立体影像)， 一如图5所标示的深度图产生单元510。在图5中，标示与图2的标示相同者表示为相同对象。而图5所示的多视角立体影像产生装置与图2所示的多视角立体影像产生装置20的不同之处，在于深度图产生单元510用以接收具有第一视角的二维影像view3-l与具有第二视角的二维影像view3-2，并据以产生对应于二维影像view3-l的深度图DM3-1，或者是据以产生对应于二维影像view3-2的深度图DM3-2。接着，此深度图产生单元510就会将二维影像view3-l与深度图DM3-1，或者是将二维影像view3-2与深度图DM3-2传送给深度影像绘图单元200。
综上所述，本发明解决上述问题的方式，乃是先依据一张二维影像与对应于此二维影像的一张深度图来产生具有相邻视角的二维影像，并依据产生出来的二维影像来产生对应的深度图，然后再依据产生出来的二维影像及这些二维影像对应的深度图来进一步产生具有相邻视角的二维影像。由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量， 而不会有数倍(例如是二倍)的预设位移量发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。
权利要求
1.一种多视角立体影像产生方法，其特征在于，包括提供一第一二维影像与对应于该第一二维影像的一第一深度图，其中该第一二维影像具有一第一视角；依据该第一二维影像与该第一深度图来产生一第二二维影像，其中该第二二维影像具有一第二视角，且该第二视角与该第一视角为相邻的视角；依据该第二二维影像来产生对应的一第二深度图；依据该第二二维影像与该第二深度图来产生一第三二维影像，其中该第三二维影像具有一第三视角，且该第三视角与该第二视角为相邻的视角。
2.根据权利要求1所述的多视角立体影像产生方法，其特征在于，以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第二二维影像，并以该深度影像绘图法来依据该第二二维影像与该第二深度图来产生该第三二维影像。
3.根据权利要求1所述的多视角立体影像产生方法，其特征在于，还包括依据该第一二维影像与该第一深度图来产生一第四二维影像，其中该第四二维影像具有一第四视角，且该第四视角与该第一视角亦为相邻的视角。
4.根据权利要求3所述的多视角立体影像产生方法，其特征在于，以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第四二维影像。
5.根据权利要求3所述的多视角立体影像产生方法，其特征在于，还包括依据该第四二维影像来产生对应的一第三深度图，并依据该第四二维影像与该第三深度图来产生一第五二维影像，其中该第五二维影像具有一第五视角，且该第五视角与该第四视角为相邻的视角。
6.根据权利要求5所述的多视角立体影像产生方法，其特征在于，以一深度影像绘图法来依据该第四二维影像与该第三深度图来产生该第五二维影像。
7.一种多视角立体影像产生装置，其特征在于，包括一第一深度影像绘图单元，用以接收一第一二维影像与对应于该第一二维影像的一第一深度图，并依据该第一二维影像与该第一深度图来产生一第二二维影像，其中该第一二维影像具有一第一视角，该第二二维影像具有一第二视角，且该第二视角与该第一视角为相邻的视角；一第一深度图产生单元，用以接收该第二二维影像，并据以产生对应的一第二深度图；以及一第二深度影像绘图单元，用以接收该第二二维影像与该第二深度图，并依据该第二二维影像与该第二深度图来产生一第三二维影像，其中该第三二维影像具有一第三视角，且该第三视角与该第二视角为相邻的视角。
8.根据权利要求7所述的多视角立体影像产生装置，其特征在于，该第一深度影像绘图单元以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第二二维影像，而该第二深度影像绘图单元以该深度影像绘图法来依据该第二二维影像与该第二深度图来产生该第三二维影像。
9.根据权利要求7所述的多视角立体影像产生装置，其特征在于，该第一深度影像绘图单元还依据该第一二维影像与该第一深度图来产生一第四二维影像，其中该第四二维影像具有一第四视角，且该第四视角与该第一视角亦为相邻的视角。
10.根据权利要求9所述的多视角立体影像产生装置，其特征在于，该第一深度影像绘图单元以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第四二维影像。
11.根据权利要求9所述的多视角立体影像产生装置，其特征在于，还包括一第二深度图产生单元，用以依据该第四二维影像来产生对应的一第三深度图；以及一第三深度影像绘图单元，用以依据该第四二维影像与该第三深度图来产生一第五二维影像，其中该第五二维影像具有一第五视角，且该第五视角与该第四视角为相邻的视角。
12.根据权利要求11所述的多视角立体影像产生装置，其特征在于，该第三深度影像绘图单元以一深度影像绘图法来依据该第四二维影像与该第三深度图来产生该第五二维影像。
全文摘要
本发明有关于一种多视角立体影像产生方法，包括下列步骤提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角；依据第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角；依据第二二维影像来产生对应的第二深度图；以及依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。此外，一种采用此方法的多视角立体影像产生装置亦被提出。本发明使得产生的多视角立体影像不会有严重失真。
文档编号H04N13/02GK102497564SQ20111039673
公开日2012年6月13日 申请日期2011年11月29日 优先权日2011年11月3日
发明者和家璞, 李信德, 杨智翔, 苏峻贤, 蔡富全 申请人:友达光电股份有限公司