用于生成3d全景图像的图像生成装置及方法
【技术领域】
[0001]本发明涉及一种用于生成3D全景图像的图像生成装置及方法，具体而言，涉及一种用于基于多个2D图像以及与多个2D图像分别对应的深度图(depth map)来生成3D全景图像的图像生成装置及方法。
【背景技术】
[0002]随着电子技术的发展，多种类型的电子产品得到开发和普及。尤其，TV、手机、PC、笔记本电脑、PDA等各种拍摄装置在大部分一般家庭中也都广泛使用。
[0003]随着拍摄装置的使用增加，用户对更为多样的功能的需求(needs)也随之增大。据此，各制造商为符合用户需求加大了努力，从而具备以往没有的新技能的产品也正在陆续登场。
[0004]特别是，近来开发的智能手机或平板电脑等电子装置可利用通过内置摄像机连续拍摄的2D图像而生成2D全景图像。进一步地，最近开发的电子装置可以利用连续拍摄的多个2D图像生成3D全景图像。下述的方式作为如上所述的用于基于多个2D图像来生成3D全景图像的方式而得到应用。
[0005]第一，是一种利用2D全景图像和深度全景图像生成3D全景图像的方式(以下称为‘第一现有技术’)。具体而言，第一现有技术利用连续拍摄的多个2D图像生成2D全景图像，并根据与多个2D图像分别对应的多个深度图来生成深度全景图像。之后，第一现有技术基于利用多个深度图生成的深度全景图像来把2D全景图像生成为3D全景图像。
[0006]但是，如上所述的通过第一现有技术生成3D全景图像时，存在背景区域上发生隐藏区域的问题，而且对隐藏区域执行孔填充时，会存在基于孔填充的3D全景图像上出现图像缺陷的问题。
[0007]第二，是一种在2D图像中提取摄像机的条带(Strip)而生成两个系列的条带(Strip)，并且对这两个系列的条带进行镶嵌(Mosaicing)处理或者拼接(stitching)处理而生成3D全景图像的方式(以下统称为‘第二现有技术’)。
[0008]但是，在通过上述的第二现有技术从2D影像生成稳定的条带时，会存在必须得利用专门的旋转型机械装置的问题。即，在从2D图像中生成稳定的条带时，2D图像的拍摄方向或拍摄装置的移动方向需要以垂直方向移动。但是，用户拍摄时的拍摄装置的拍摄方向及移动方向不规则，因此，连续拍摄的2D图像会发生缺陷或失真。因此，利用这种发生失真的2D图像生成3D全景图像时，会存在所生成的3D全景图像上发生阶梯型图像缺陷、结构失真及发生全景图像生成区域减少的飘移(Drift)现象等问题。
【发明内容】
[0009]本发明是根据上述的必要性而提出的，本发明的目的在于从多个2D图像中生成没有失真的3D全景图像。
[0010]进一步地，本发明的目的在于在没有专门的补助装置的情况下利用手提式(Hand-Held)摄像机生成没有失真的3D全景图像。
[0011]用于达成上述目的的根据本发明的一实施例的图像生成装置上生成3D全景图像的方法包括如下步骤:接收多个2D图像及与多个2D图像对应的多个深度图；基于所述多个深度图，对所述多个2D图像分别设定左眼图像区域及右眼图像区域；合成所述多个2D图像内所设定的各个左眼图像区域的图像而生成左眼全景图像，并合成所述多个2D图像内所设定的各个右眼图像区域的图像而生成右眼全景图像。
[0012]而且，所述多个2D图像中至少一个2D图像与前后2D图像的一部分重叠。
[0013]另外，在所述设定的步骤中，可以分析所述多个深度图各自的区域的深度值，以在与具有相似深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。
[0014]而且，在所述设定的步骤中，可以利用色彩分割算法设定所述多个2D图像各自的图像区域，并在所设定的所述图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。
[0015]另外，还包括从所述多个2D图像中提取特征点的步骤，而且在所述生成的步骤中，基于所述多个左眼图像区域的各图像的特征点来生成针对所述多个左眼图像区域的左眼全景图像，并基于所述多个右眼图像区域的各图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。
[0016]而且，还包括如下步骤:估计拍摄所述多个2D图像的所述拍摄装置的拍摄方向及位置；考虑所述估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时能够获得的基准图像及基准深度图；而且在所述设定的步骤中，可基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。
[0017]另外，在所述估计的步骤中，基于通过从所述多个2D图像提取到的特征点的变化信息及传感器来测到的结果中的至少一个来估计所述拍摄装置的拍摄方向及位置，而且所述传感器可以是惯性测量传感器(IMU)。
[0018]而且，还可以包括如下步骤:在没有接收到与所述多个2D图像对应的深度图时，通过与基于经由所述传感器所测量到的结果而估计的所述拍摄装置的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与所述多个2D图像对应的深度图。
[0019]另外，所述生成的步骤可以利用图像镶嵌算法来合成所述多个左眼图像区域的图像，还可以合成所述多个右眼图像区域的图像。
[0020]另外，根据本发明的另一实施例，图像生成装置包括:图像输入部，接收多个2D图像及与所述多个2D图像对应的多个深度图；区域设定部，基于所述多个深度图对所述多个2D图像分别设定左眼图像区域及右眼图像区域；以及控制部，合成所述多个2D图像内所设定的各左眼图像区域的图像来生成左眼全景图像，并合成所述多个2D图像内所设定的各右眼图像区域的图像来生成右眼全景图像。
[0021]而且，所述多个2D图像中至少一个2D图像可以与前后2D图像的一部分重叠。
[0022]另外，所述区域设定部可以对多个深度图各自的各区域的深度值进行分析，以在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，并把属于已设定的第二区域的图像区域设定为右眼图像区域。
[0023]而且，所述区域设定部可以利用色彩分割算法对所述多个2D图像分别设定图像区域，并在所设定的所述图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼体现区域。
[0024]另外，所述控制部可以从所述多个2D图像中提取特征点，而且在提取到的所述特征点中，可以基于所述多个左眼图像区域的各图像特征点来生成针对所述多个左眼图像区域的左眼全景图像，并基于所述多个右眼图像区域的各图像的特征点来生成针对所述多个右眼图像区域的右眼全景图像。
[0025]而且，还可以包括:位置估计部，估计拍摄所述多个2D图像的拍摄装置的拍摄方向及位置；图像变换部，考虑由所述位置估计部估计到的估计结果，把所述多个2D图像及所述多个深度图校正为所述拍摄装置在基准方向及基准位置拍摄时能够获得的基准图像及基准深度图，而且所述区域设定部可以基于所述校正的基准深度图来对所述校正的多个2D图像分别设定左眼及右眼图像区域。
[0026]另外，所述位置估计部基于通过从所述多个2D图像提取到的特征点的变化信息及传感器来测到的结果中的至少一个来估计所述拍摄装置的拍摄方向及位置，而且所述传感器可以是惯性测量传感器(Inertial Measurement Unit:1MU) ο
[0027]还有，在没有接收到与所述多个2D图像对应的深度图时，所述控制部可以通过与基于经由所述传感器所测量的结果而估计的所述拍摄装置的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与所述多个2D图像对应的深度图。
[0028]另外，所述控制部可以利用图像镶嵌算法来合成所述多个左眼图像区域的图像，还可以合成所述多个右眼图像区域的图像。
[0029]如上所述地，根据本发明的多样的实施例，图像生成装置可以基于多个2D图像来生成无失真的3D全景图像。
【附图说明】
[0030]图1是根据本发明的一实施例的将多个2D图像生成为3D全景图像的图像生成装置的模块图。
[0031]图2是根据本发明的一实施例的图像生成装置的详细模块图。
[0032]图3是在根据本发明的一实施例的图像生成装置中，基于多个2D图像来生成与多个2D图像对应的深度图的示例图。
[0033]图4是在根据本发明的一实施例的图像生成装置中，基于2D图像的深度图来设定为左眼图像区域的示例图。
[0034]图5是在根据本发明的一实施例的图像生成装置中，基于2D图像的深度图来设定为右眼图像区域的示例图。
[0035]图6是根据本发明的一实施例的拍摄装置的模块图。
[0036]图7是根据本发明的一实施例的图像生成装置中生成3D全景图像的方法的流程图。
【具体实施方式】
[0037]图1是根据本发明的一实施例的把多个2D图像生