一种基于图像拼接的全景图合成方法
【专利摘要】本发明公开了一种基于图像拼接的全景图合成方法，对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；将所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M；采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量；采用LM迭代算法来求解相应的非线性最小二乘问题。本发明中采用基于图像灰度相似度和最大似然估计的算法来计算矩阵M，这种算法确保了所得解的最优性，并且无需提供容易辨识的特征点。计算量相对较小且匹配误差小，可以实现精确匹配。
【专利说明】一种基于图像拼接的全景图合成方法
【技术领域】
[0001]本发明公开了一种基于图像拼接的全景图合成方法，涉及图像处理【技术领域】。
【背景技术】
[0002]全景图是一种重要的场景表示方法，在实际应用中主要有两种方式来获得，直接法和图像拼接法。直接法使用特殊的全景相机等器材可以直接获取，但是拍摄用的器材通常比较昂贵，而且拍照时需要精确地校准摄像机，实用性较差，而采用普通摄像机图像拼接获得全景图是一种低成本而且比较灵活的方法。采用图像拼接的方式获取全景图这种方式对拍照的器材没有太高的要求，可以使用普通的照相机。
[0003]图像拼接(Photo graphic mosaic)或称蒙太奇拼贴,是一种影像处理技术,广泛应用于虚拟环境构建和电影特效的制作。其基本原理是通过对包含某一大场景部分信息的各小照片的校准，将这些校准和标定后的小照片无缝地合成为一张包含场景全部信息的大图像。
[0004]图像拼接技术主要包括两个关键环节即图像配准和图像融合对于图像融合部分，由于其耗时不太大，且现有的几种主要方法效果差别也不多，所以总体来说算法上比较成熟。而图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年来研究的重点。目前的图像配准算法基本上可以分为两类:基于频域的方法(相位相关方法)和基于时域的方法。
[0005]相位相关法最早是由Kuglin和Hines在1975年提出的，并且证明在纯二维平移的情形下，拼接精度可以达到I个像素，多用于航空照片和卫星遥感图像的配准等领域。该方法对拼接的图像进行快速傅立叶变换，将两幅待配准图像变换到频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图像的配准。由于其具有简单而精确的特点，后来成为最有前途的图像配准算法之一。但是相位相关方法一般需要比较大的重叠比例(通常要求配准图像之间有50%的重叠比例)，如果重叠比例较小，则容易造成平移矢量的错误估计，从而较难实现图像的配准。
[0006]基于时域的方法又可具体分为基于特征的方法和基于区域的方法。基于特征的方法首先找出两幅图像中的特征点(如边界点、拐点)，并确定图像间特征点的对应关系，然后利用这种对应关系找到两幅图像间的变换关系。这一类方法不直接利用图像的灰度信息，因而对光线变化不敏感，但对特征点对应关系的精确程度依赖很大。这一类方法采用的思想较为直观，大部分的图像配准算法都可以归为这一类。基于区域的方法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大。
[0007]按照匹配算法的具体实现又可以分为直接法和搜索法两大类，直接法主要包括变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用非线性迭代最小化算法直接计算出模型的变换参数，从而确定图像的配准位置。该算法效果较好，收敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果初始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像中的某些特征为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法，块匹配法和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这种算法计算量较小，但精度较低；块匹配法则是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大；网格匹配法减小了块匹配法的计算量，它首先要进行粗匹配，每次水平或垂直移动一个步长，记录最佳匹配位置，然后在此位置附近进行精确匹配，每次步长减半，然后循环此过程直至步长减为O。这种算法较前两种运算量都有所减小，但在实际应用中仍然偏大，而且粗匹配时如果步长取的太大，很可能会造成较大的粗匹配误差，从而很难实现精确匹配。
[0008]图像拼接的关键在于对各个元素图片的标定，即确定变换矩阵M。
【发明内容】
[0009]本发明所要解决的技术问题是:针对现有技术的缺陷，提供一种基于图像拼接的全景图合成方法。
[0010]本发明为解决上述技术问题采用以下技术方案:
[0011]一种基于图像拼接的全景图合成方法，具体步骤如下:
[0012]步骤一、对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；
[0013]步骤二、将步骤一所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，分块拍摄图像的几何变换表达式如下:
【权利要求】
1.一种基于图像拼接的全景图合成方法，其特征在于，具体步骤如下: 步骤一、对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度； 步骤二、将步骤一所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，分块拍摄图像的几何变换表达式如下:
其中，m0至m7分别表示像素点的四个主要方向上，该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值；(X，y，w)表示齐次坐标系中分块拍摄图像上某一像素的位置，对应的笛卡尔坐标为(x/w，y/w) ；x, y表示像素点旧坐标，《表示尺度参数；(1’，/，《’)表示在其他分块拍摄图像中与(x，y，w)相对应的像素坐标； 设定矩阵M为变换矩阵，当发生刚性变换时，表示为:
其中，Θ表示变换矩阵的旋转角度；τχ、^表示刚体变换矩阵中沿X、y方向的平移量; 当发生线性几何变换时，矩阵M用仿射变换来表示，即:
步骤三、采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M，计算公式为:
其中，X'、1'表示求出的像素新坐标； 步骤四、采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量，相应的最小~ 乘问题表不为:
E= Σ [ (X, ,Y' )-1 (x, y)]2 = Σθ2 其中，I(x，y)表示图像数据在点(x，y)处的灰度值； U丨，y')表示图像数据在点(X' ,1')处的灰度值；e表示二者灰度差值； 步骤五、采用LM迭代算法来求解上述非线性最小二乘问题； 步骤六、检查误差e的大小，并且将其与设定的阈值进行比较，误差e低于设定的阈值时，计算结束；误差e高于设定的阈值时，还需要再次迭代运算，直到误差满足设定的阈值要求为止。
2.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于:完成步骤一至步骤六之后，用平滑滤波的方法对拼接后的图像进行再次处理。
3.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于:步骤二中所述像素是指分块拍摄图像在当前位置的颜色索引值或颜色值，当分块拍摄图像是灰度图像是，像素用灰度值表示；当分块拍摄图像是彩色图像时，像素用复数个灰度值来表示。
4.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于:步骤二中所述刚性变换包括平移变换和旋转变换。
5.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于:步骤二中所述线性几何变换包括平移变换，旋转变换和尺度变换。
6.如权利要求3所述的一种基于图像拼接的全景图合成方法，其特征在于:对于分块拍摄图像中非整数坐标 处的灰度值，采用双线性插值来进行估算。
【文档编号】G06T3/40GK104077764SQ201410330763
【公开日】2014年10月1日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】周洪成, 胡艳, 陈存宝, 姜志鹏, 刘海陵 申请人:金陵科技学院