一种多视角图像自动拼接方法
【专利摘要】本发明公开了一种多视角图像自动拼接方法，属于图像拼接领域。通过逼近投影变换模型，提高了重叠区域融合的精度；使用全局最优相似变换，解决了拼接图发生透视变形的问题；将逼近投影变换模型与全局最优相似变换相结合，使得拼接图的局部更加精准，总体更加自然，很好地提高了图像拼接的性能；使用多波段融合技术，解决拼接图曝光差异的问题，进一步提高了图像拼接的精度。本方法首先提取图像特征点；其次计算局部投影变换模型；接着计算全局最优相似变换模型；然后将局部投影变换模型与全局最优相似变换模型相结合；最后使用多波段融合技术得到最终的拼接图。
【专利说明】
一种多视角图像自动拼接方法
技术领域
[0001] 本发明属于图像拼接领域，具体地说是一种多视角图像自动拼接方法。
【背景技术】
[0002] 图像拼接的目标是将多幅有重叠区域的图像进行融合，得到一幅看起来非常自然 的宽视角图像。图像拼接方法在航空航天、军事应用、医学图像分析、遥感图像处理等多个 领域有着广泛的应用。但是由于摄像机视差、镜头畸变、场景光照等诸多因素的影响，鲁棒 的图像处理方法一直是一个极富挑战性的问题。目前，对于图像拼接的研究在某些条件下 取得了较好的效果，但是由于三维场景与相机参数的复合作用，使得在摄像机在有些情况 下获取的图像的拼接性能较差。
[0003] 当前的多视角图像自动拼接方法，通常需要摄像机满足同一轴心的要求，即摄像 机围绕同一竖直轴旋转，拼接时使用柱面或球面图像拼接算法，该算法有较大的局限性，在 摄像机不满足条件时，会出现鬼影、产生较大的透视变形等问题。
【发明内容】
[0004] 为了解决上述问题，本发明提供了一种多视角图自动拼接方法，通过计算局部投 影变换模型，提高图像拼接的精度，减小鬼影问题的产生，同时结合全局最优相似变换，减 小透视变形的问题，提高多视角图像自动拼接的性能。
[0005] 实现本发明目的的一种多视角图像自动拼接方法是使用现有的逼近投影变换方 法，通过计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通过计算全局 相似变换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图像进行处理， 消除曝光差异的影响；
[0006] 具体步骤如下：
[0007] 步骤一:图像特征点提取：
[0008] 使用尺度不变特征转换算法(SIFT)提取参考图像与目标图像的特征点，首先构建 尺度空间，高斯差分尺度空间;然后在高斯差分尺度空间中进行极值点检测，关键点精确定 位;最后确定关键点的模值与方向，生成关键点描述子；
[0009] 步骤二:计算图像的逼近投影变换：
[0010]对于待拼接图像，计算目标图像到参考图像的变换模型，计算目标图像中每个像 素点的局部投影变换模型，使用经典的直接线性转换(Direct Linear Transformation， DLT)算法计算逼近投影变换模型，
[0011]计算逼近投影变换模型，使用公式1中的目标函数： V
[0012] h. =argminy^.|| r；yafh ||2, subject to ||h ||=l (1)
[0013] 似:=(e-(-"n,. ||2/a2)) (2)
[0014] 公式2中x*为目标图像中任一像素点，Xl表示第i个特征匹配点在原始图像中的坐 标。是权重参数，用于提高局部投影变换的精度；
[0015] 得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参 数能够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等 的较小的权重，保证局部投影变换的精度；
[0016] 步骤三:计算全局最优相似变换：
[0017] 获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像 之间的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少 进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相 似变换模型；
[0018] 首先使用阈值为e 8的随机采样一致性算法(RANSAC)去除外点;然后，使用阈值为e 1 (ei< eg)的RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内 点数目小于设定值n;使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排 序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换 模型；
[0019] 步骤四：结合局部变换与全局最优相似变换：
[0020] 单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能 解决透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考 图像进行调整;得到全局相似变换之后，为了减轻拼接图的透视变形，将相似变换与投影变 换相结合:对目标图像调整之后，需要对参考图像进行补偿；
[0021] 使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使 用公式4对参考图像进行变换，以补偿目标图像变换的影响：
[0022] H<?) = //;Hf} + jusS (3)
[0023] (4)
[0024] 其中，Hf表示第i个局部单应矩阵，H"是更新的第i个局部单应矩阵，S是全局相 似变换，yh和ys是加权系数，上标t表示目标图像，上标r表示参考图像；
[0025]步骤五：多波段融合处理：
[0026] 经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理 技术，通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到 的每一层再进行相加得到拼接图。
[0027] 本发明的有益效果是:使用步骤二中计算得到的逼近投影变换模型，提高了重叠 区域融合的精度;使用全局最优相似变换，解决了拼接图发生透视变形的问题;将逼近投影 变换模型与全局最优相似变换相结合，使得拼接图的局部更加精准，总体更加自然，很好地 提高了图像拼接的性能;最后，使用多波段融合技术对拼接图进行处理，很好地解决的曝光 差异的问题，进一步提高了图像拼接的精度。
【具体实施方式】
[0028] 为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一 步地详细描述。本发明的多视角自动图像拼接方法是使用现有的逼近投影变换方法，通过 计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通过计算全局相似变 换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图像进行处理，消除曝 光差异的影响；
[0029] 具体步骤如下：
[0030] 步骤一：图像特征点提取：
[0031] 使用尺度不变特征转换算法(SIFT)提取参考图像与目标图像的特征点，首先构建 尺度空间，高斯差分尺度空间;然后在高斯差分尺度空间中进行极值点检测，关键点精确定 位;最后确定关键点的模值与方向，生成关键点描述子；
[0032]步骤二:计算图像的逼近投影变换：
[0033] 对于待拼接图像，计算目标图像到参考图像的变换模型，本发明计算目标图像中 每个像素点的局部投影变换模型，使用经典的直接线性转换（Direct Linear Transformat ion，DLT)算法计算变换模型，
[0034] 计算逼近投影变换模型，使用公式1中的目标函数： N.
[0035] h本二argmin[|| 份:aji ||2， subject to ||h||=I (1) h /-I
[0036] 〇j = (exp(-11 x?-x(. 112 /a2(2)
[0037] 公式2中x*为目标图像中任一像素点，Xl表示第i个特征匹配点在原始图像中的坐 标。是权重参数，用于提高局部投影变换的精度;N为匹配特征点数目，由特征提取自动 确定。
[0038] 得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参 数能够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等 的较小的权重，保证局部投影变换的精度；
[0039]使用I、疒分别表示参考图像与目标图像，x=[x y]T、Y=[Y /]T表示一对匹配 特征点，使用投影变换的方式将目标图像中像素点映射到参考图像，下述公式表示映射关 系X' =h(x):
[0042]其次坐标形式的映射关系如下：
[0043] (3)
[0044] 其中，金=[x y if、f = / if分别为x与金的其次坐标表示形式，HGR3X3 表示投影变换的单应矩阵，使用^表示H的第j行。
[0045] DLT算法是估计单应矩阵H的基本方法，该方法通过参考图像与目标图像中的匹配 点集合来计算;对公式(3)进行重写： 0lx3 -i1 yfiT hi
[0046] 03xI = ir 01X3 ~xxT h9h.=. h2 C4)" -yfxT xxT 0lx3 h3
[0047]由于03xleR3x9的前两行是线性独立的，所以4ai￡R 2x9表示公式⑷的前两行，对 于有N个匹配点的集合，使用DLT算法估计单应矩阵H的目标函数如下：
[0048] h = arg min V|| a；h ||2 = arg min. || Ah |f5 subject to )|h||=l (5) h h
[0049] 为了提高投影变换模型的精度，在目标函数中加入一个权重参数c〇*，目标函数则 改写为： W
[0050] = arg min ^|| eol.a^\ ||2, subject to ||h||=l (6)
[l m
[0051 ] < = (exp( -1| x* - x; l|2 /cr2)) (7)
[0052]其中x*为目标图像中任一像素点，Xl表示第i个特征匹配点在原始图像中的坐标。 [0053]步骤三:计算全局最优相似变换：
[0054] 获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像 之间的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少 进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相 似变换模型；
[0055] 首先使用阈值为e g的随机采样一致性算法(RANSAC)去除外点;然后，使用阈值为e 1 (ei< eg)的RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内 点数目小于设定值n;使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排 序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换 模型。本例中取值为4取值为〇. 1，ei取值为0.01，n取值为50。
[0056] 步骤四：结合局部变换与全局最优相似变换：
[0057] 单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能 解决透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考 图像进行调整;得到全局相似变换之后，为了减轻拼接图的透视变形，本发明将相似变换与 投影变换相结合;如果只调整目标图像的变换模型，会导致变换之后的拼接图的重叠区域 出现不对齐现象;因此，在对目标图像调整之后，需要对参考图像进行补偿。
[0058] 使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使 用公式4对参考图像进行变换，以补偿目标图像变换的影响：
[0059] Hf'(3)
[0060] Hf! (4^
[0061] 其中，Hf表示第i个局部单应矩阵，H,(n是更新的第i个局部单应矩阵，S是全局相 似变换，yh和ys是加权系数，上标t表示目标图像，上标r表示参考图像。
[0062] 目标图像中局部投影变换模型与全局相似变换模型结合过程使用如下公式表示：
[0063] Af)二外用')+从S (8)
[0064] 其中，表示第i个局部单应矩阵，是更新的第i个局部单应矩阵，S是全局相 似变换，此和ys是加权系数，上标t表示目标图像;对于y h和ys，添加约束yh+ys = 1，且％与ys的 取值范围都在〇到1之间，具体计算公式如下：
[0065] A (z) - (/(",/>(0,Kku)l\k,nkit I (9)
[0066] Us(i) = l-Uh(i) (10)
[0067] 式中，k是目标图像在&方向上的投影点，or与ot分别是参考图像与变形的目标 图像的中心点；km与kM分别是^的最小值与最大值对应的点;P ( i )表示拼接图中 第i个位置的像素点。
[0068] 使用下列公式计算参考图像的变换模型：
[0069] (11)
[0070] 通过结合全局相似变换，减小了拼接图的透视变形。
[0071] 步骤五:多分辨率融合处理：
[0072] 经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理 技术，通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到 的每一层再进行相加得到拼接图。
[0073]对原始图像与目标图像进行扩展，然后对其进行多分辨率分析，将原始图像与目 标图像各自分解成一系列带宽近似为一个倍频的图像，拼接在所有分辨率相同的范围内进 行，最后将分解得到的一系列图像拼接并相加，这样能够消除曝光差异对拼接图带来的影 响，得到更好的拼接效果。
[0074] 详细如下所述：
[0075]首先构造高斯金字塔，使用Go表示高斯金字塔的最底层，使用Gl表示第L层，高斯金 字塔共N层，N的取值为：
[0076] N= log2{min(M,N) }-t (12)
[0077] 式中M，N为原图像的大小，t为塔顶图像的最小维数的对数值。通过将仏^与低通滤 波窗口 w(m，n)进行卷积运算构造 Gl，然后将卷积结果进行隔行隔列降采样处理： 2. 2.
[0078] $ = Z2>( x (], , (2/ + (13 ) m~-2 n~-2
[0079] w(m,n) =w(m)w(n) (14)
[0080] 其中0〈L〈N，0彡i彡Cl，0彡i彡Rl，Cl和Rl分别是金字塔第L层图像的行数和列数，w (0) =a，w(_l) = w(l) = l/4，w(_2) = w(2) = l/4_a/2，a 取值为 0.4。
[0081] 各层分别融合，在图像相加时为保证图像大小一致，使用插值方法，使一个大小为 Cl X RL的图像扩展到大小为Cl-1X RL-:的图像：
[0083] 构造拉普拉斯金字塔：
[0084] {Lh， Gn ( 16)
[0085] 使用Gl作为权值进行像素融合:U = GlLAl+(1-Gl)Lbl，LAl与Lbl分别表示两幅图像的 拉普拉斯金字塔，将融合之后的多分辨率图像各个分量图融合得到最后的结果图：
[0086] Go = LL〇+Expand(LLi)+Expand(Expand(LL2)) + . . .Expand(Expand. . .(Lln)) (17)
[0087] Go即为融合后的图像。
【主权项】
1. 一种多视角图像自动拼接方法，其特征在于，图像自动拼接方法是使用现有的逼近 投影变换方法，通过计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通 过计算全局相似变换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图 像进行处理，消除曝光差异的影响； 具体步骤如下： 步骤一：图像特征点提取： 使用尺度不变特征转换算法提取参考图像与目标图像的特征点，首先构建尺度空间， 高斯差分尺度空间；然后在高斯差分尺度空间中进行极值点检测，关键点精确定位;最后确 定关键点的模值与方向，生成关键点描述子； 步骤二:计算图像的逼近投影变换： 对于待拼接图像，计算目标图像到参考图像的变换模型，计算目标图像中每个像素点 的局部投影变换模型，使用经典的直接线性转换算法计算逼近投影变换模型， 计算逼近投影变换模型，使用公式1中的目标函数：公式2中X*为目标图像中任一像素点，X1表示第i个特征匹配点在原始图像中的坐标。 ω *是权重参数，用于提高局部投影变换的精度； 得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参数能 够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等的较 小的权重，保证局部投影变换的精度； 步骤三:计算全局最优相似变换： 获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像之间 的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行 排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变 换模型； 首先使用阈值为^的随机采样一致性算法去除外点；然后，使用阈值为ει(ει<4)的 RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内点数目小于 设定值η;使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转 角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型； 步骤四：结合局部变换与全局最优相似变换： 单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能解决 透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考图像 进行调整;得到全局相似变换之后，为了减轻拼接图的透视变形，将相似变换与投影变换相 结合:对目标图像调整之后，需要对参考图像进行补偿； 使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使用公 式4对参考图像进行变换，以补偿目标图像变换的影响：其中，Hf表示第i个局部单应矩阵，#/1是更新的第i个局部单应矩阵，S是全局相似变 换，Ph和μ5是加权系数，上标t表示目标图像，上标r表示参考图像； 步骤五:多波段融合处理： 经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理技术， 通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到的每 一层再进行相加得到拼接图。
【文档编号】G06T3/40GK105931185SQ201610248131
【公开日】2016年9月7日
【申请日】2016年4月20日
【发明人】姚睿, 夏士雄, 牛强, 周勇, 孙金亮
【申请人】中国矿业大学