成为3D全景图像的图像生成装置的模块图。
[0038]如图1所示，图像生成装置100可以是能够拍摄2D形态的全景图像的摄像机。这种图像生成装置100包括:图像输入部110、区域设定部120以及控制部130。
[0039]图像输入部110接收多个2D图像及与多个2D图像分别对应的多个深度图的输入。在此，优选地，多个2D图像分别与其前后的2D图像的一部分重叠。这种多个2D图像是下述的拍摄装置10所拍摄的图像，与多个2D图像分别对应的多个深度图可以在图像生成装置100内生成或者从外部装置(未图示)接收。但是，本发明并不局限于此，多个2D图像以及与多个2D图像分别对应的深度图可以从外部装置(未图示)接收。在此，生成与多个2D图像分别对应的深度图的外部装置(未图示)可以是深度图像拍摄装置。这种深度图像拍摄装置可通过图案投影(pattern project1n)方式、立体相机(stereo camera)方式、飞行时间(Time of Flight)方式中的至少一种方式来生成与多个2D图像分别对应的深度图。
[0040]区域设定部120根据多个深度图，对与多个深度图分别对应的多个2D图像分别设定左眼图像区域及右眼图像区域。
[0041]根据一实施例，区域设定部120对多个深度图分别按区域分析深度值，并在与具有相似的深度值的区域对应的各个2D图像的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域可设定为右眼图像区域。
[0042]根据其他的实施例，区域设定部120可以利用色彩分割算法(color segmentat1nalgorithm)对多个2D图像分别设定图像区域，并在设定的图像区域中，把属于已设定的第一区域的图像区域设定为左眼图像区域，把属于已设定的第二区域的图像区域设定为右眼图像区域。
[0043]控制部130对图像生成装置100的各构成的动作进行全面的控制。尤其是，控制部130对多个2D图像内所设定的各个左眼图像区域的图像进行合成而生成左眼全景图像。另外，控制部130对多个2D图像内所设定的各个右眼区域的图像进行合成而生成右眼全景图像。
[0044]具体而言，控制部130从多个2D图像中分别提取特征点。在此，从2D图像提取特征点的技术是公知技术，所以本发明省略详细的说明。如果从这种多个2D图像中分别提取到特征点，则控制部130在由多个2D图像所分别提取到的特征点中，基于多个左眼图像区域的各图像的特征点来生成对应于多个左眼图像区域的左眼全景图像。还有，控制部130基于多个右眼图像区域的各图像的特征点来生成针对右眼图像区域的右眼全景图像。
[0045]根据实施例，控制部130可利用图像镶嵌(image mosaicking)算法合成多个左眼图像区域的图像而生成左眼全景图像，并合成多个右眼图像区域的图像而生成右眼全景图像。合成这样的图像来合成全景图像的技术是公知技术，因此在本发明省略详细的说明。
[0046]图2是根据本发明的一实施例的图像生成装置的详细模块图。
[0047]如图2所示，图像生成装置100除了前述的图像输入部110、区域设定部120、及控制部130等构成以外，还可以额外地包括位置估计部140以及图像变换部150
[0048]位置估计部140估计拍摄多个2D图像的拍摄装置10的拍摄方向及位置，图像变换部150考虑由位置估计部140所估计的估计结果而把多个2D图像及多个深度图校正为拍摄装置10在基准方向及基准位置拍摄时可以获得的基准图像及基准深度图。因此，区域设定部120可针对基于通过图像变换部150校正的基准深度图而得到校正的多个2D图像中的每一个2D图像分别设定左眼及右眼图像区域。
[0049]另外，估计拍摄装置10的拍摄方向及位置的位置估计部140可基于从多个2D图像提取的特征点的变化信息及通过传感器测量的结果中的至少一个来估计拍摄装置10的拍摄方向及位置。在此，传感器是检测运动的惯性力来提供作为惯性测量对象的拍摄装置10的加速度、速度、方向、距离等多种导航相关信息的惯性测量传感器(MU)，其可以是加速度传感器、陀螺仪传感器以及地磁传感器中的至少一种。
[0050]另外，如果没有输入对应于多个2D图像的深度图，控制部130可以通过与被估计的拍摄装置10的方向及位置对应的2D图像之间的图像匹配(Stereo Matching)来生成与多个2D图像对应的深度图，其中拍摄装置10的方向及位置是基于通过位置估计部140测量的结果来估计的。
[0051]以下，对通过前述的图像生成装置100由2D图像生成3D全景图像的操作进行更为详细的说明。
[0052]图3是根据本发明的一实施例的在图像生成装置中基于多个2D图像来生成与多个2D图像对应的深度图的示例图。
[0053]拍摄装置10可以从左侧向右侧方向移动的同时拍摄被摄体，从而在左侧和右侧方向分别进行拍摄。拍摄装置10在左侧方向拍摄被摄体时，如图3的(a)所示，可以生成与在左侧拍摄的被摄体对应的第一 2D图像310。此外，拍摄装置10在右侧方向拍摄被摄体时，如图3的(b)所示，可以生成与在右侧拍摄的被摄体对应的第二 2D图像320。
[0054]如此，生成第一及第二 2D图像310、320时，控制部130对第一 2D图像310所包含的第1-1对象311及第1-2对象313的特征点和第二 2D影像320所包含的第2_1对象321及第2-2对象323的特征点进行比较。S卩，控制部130比较与第一 2D图像310所包含的第1-1对象311的特征点对应的像素值和与第二 2D图像320所包含的第2_1对象321的特征点对应的像素值。另外，控制部130比较与第一 2D图像310所包含的第1-2对象313的特征点对应的像素值和与第二 2D图像320所包含的第2-2对象323的特征点对应的像素值。
[0055]根据比较结果，如果第1-2对象313和第2_2对象323之间的像素值之差大于已设定的临界值，而第1-1对象311和第2-1对象321之间的像素值之差小于已设定的临界值，则控制部130判断为第1-2对象313和第2-2对象323位于与拍摄装置10距离近的位置。即，与拍摄装置10距离较近的对象的位置变化相对大于与拍摄装置10距离较远的对象的位置变化。
[0056]因此，控制部130把第一 2D图像310所包含的第1_2对象313和第二 2D图像320所包含的第2-2对象323的深度值设定为比第一 2D图像310包含的第1_1对象311和第二2D图像320包含的第2-1对象321的深度值更高，由此生成针对第一及第二 2D图像310、320各自的深度图。
[0057]不仅如此，控制部130可以根据通过拍摄装置10拍摄的第一 2D图像310所包含的第1-1对象311及第1-2对象313的特征点和第二 2D图像320所包含的第2_1对象321及第2-2对象323的特征点来估计拍摄装置10的拍摄方向及位置。
[0058]据此，根据本发明的图像生成装置100可在通过多个2D图像被拍摄时的拍摄装置10的拍摄方向及位置而将由拍摄装置10所拍摄到的多个2D图像中，除去逆方向上拍摄的2D图像之外的剩余的2D图像确定为用于生成3D全景图像的图像。
[0059]如上所述地，当通过第一 2D图像310及第二 2D图像320估计出拍摄第一 2D图像310及第二 2D图像320的拍摄装置10的拍摄方向及位置时，图像变换部150可以估计随后拍摄2D图像时的拍摄装置10的拍摄方向及位置，并基于此，可通过拍摄装置10的拍摄方向及位置来判断拍摄装置10的移动轨迹。S卩，图像变换部150可以确定在三维空间上的拍摄装置10移动轨迹的坐标值，并基于该确定的坐标值来把以往的移动轨迹变形为能够使错误率最小化的移动轨迹。在此，变形的移动轨迹可以是拍摄装置10能够在基准方向及基准位置进行2D图像拍摄的地点。因此，这种以往的移动轨迹变形时，图像变换部150可以根据以往的移动轨迹上的坐标值和变形的移动轨迹上的坐标值的变化程度，把2D图像校正为基准2D图像，并基于校正的基准2D图像而把对应于各个校正前的2D图像的深度图校正为对应于各个基准2D图像的深度图。
[0060]如上所述地，多个2D图像及与多个2D图像分别对应的深度图得到校正时，区域设定部120可以根据校正后的深度图设定与校正后的各个2D图像对应的左眼及右眼图像区域。
[0061]图4是由根据本发明的一实施例的图像生成装置基于2D图像的深度图设定为右眼图像区域的示例图，图5是由根据本发明的一实施例的图像生成装置基于2D图像的深度图来设定为左眼图像区域的示例图。
[0062]如图4所示地，区域设定部120在输入的第一深度图410及第二深度图420各个区域中，分析属于第一区域411、421的深度值而分离具有相似的深度值的区域。即，区域设定部120可在第一深度图410的第一区域411上把a区域411-1、b区域411-2、及c区域411-3分离为具有相似的深度值的区域。因此，区域设定部120可以把具有相似的深度值的a区域411-l、b区域411-2以及c区域411-3设定为第一深度图410的右眼图像区域。另夕卜，区域设定部120可在第二深