提高图像拼接精度和稳定性的方法

专利名称：提高图像拼接精度和稳定性的方法
技术领域：
本发明涉及的是一种视频图像处理技术领域的方法，具体是一种提高图像拼接精 度和稳定性的方法。
背景技术：
图像拼接技术可以用来建立大视角的高分辨率图像，在虚拟现实领域、医学图像 处理领域、遥感技术领域等均有广泛的应用。图像拼接的过程由图像配准和图像合成两个 步骤组成，其中图像配准是整个图像拼接的基础。图像拼接的质量主要依赖图像的配准程 度，因此图像的配准是拼接方法的核心和关键。根据图像配准方法的不同，一般可以将图像 拼接方法分为基于区域相关的拼接方法和基于特征相关的拼接方法两个类型。一般来说， 基于区域相关的拼接方法图像配准的精度不高，容易受旋转、变形以及照明不同的影响；而 基于特征相关的拼接方法由于利用了图像的特征信息，对旋转、变形以及照明具有较强的 抗干扰能力，其配准精度通常较高。基于特征相关的拼接方法的一般步骤分为提取图像中 的特征、不同图像间特征的匹配、估计图像间的单应矩阵和利用单应矩阵转移图像像素。由 于实际中特征的提取存在定位误差以及特征的匹配存在误匹配，用于图像拼接的单应矩阵 的估计精度将会受此影响。近年来，随着图像拼接技术的进一步发展，出现了大量减小特征 定位误差以及消除误匹配的方法。经过对现有技术文献的检索发现，David Lowe于2004年在《International Journal ofComputer Vision (国际计算机视觉期刊)》上发表的“Distinctive image features fromscale-invariant keypoints (基于尺度不变关键点的显著图像特征)”中提 出了图像尺度不变特征点即SIFT特征点的提取方法。通过引入尺度空间将二维图像拓展 成三维的金字塔结构并取在三个方向上都有较大灰度变化的点为特征点，极大地改善了特 征定位误差。然而该技术在对SIFT特征点进行匹配的后仍然存在大量误匹配的问题。又经检索发现，Matthew Brown 禾口 David Lowe 于 2007 年在《International Journal ofComputer Vision (国际计算机视觉期刊)》上发表的 “Automatic panoramic image stitching usinginvariant features (使用不变特征的自动全景图像拼接)”中提 出了利用SIFT特征点进行全景图自动拼接的方法。该方法利用随机抽样一致性方法(即 RANSAC方法)消除误匹配，提高单应矩阵的估计精度。RANSAC方法将在一定精度内满足某 一单应矩阵的匹配点对称为该单应矩阵的内点，否则称为外点。RANSAC方法能够处理存在 点对误匹配的情况，然而当误匹配在总匹配点对中的比例较大时，RANSAC方法的耗时会相 当大，且单应矩阵的精度也会受到抽样次数的不足的影响。

发明内容
本发明的目的在于克服现有技术中的上述不足，提出一种提高图像拼接精度和稳 定性的方法。该方法利用遗传方法内含的并行性和全局最优性来提高单应矩阵估计的效 率、估计精度及鲁棒性，从而提高图像拼接的精度和稳定性，可广泛应用于摄影测量、遥感图像处理、医学图像分析和虚拟现实等领域。本发明是通过以下技术方案实现的，本发明包括以下步骤第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特 征点进行匹配，得到初始匹配点对集。第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处 理，得到满足同一单应矩阵的一致最大内点集。所述的剔除误匹配处理，包括以下步骤1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点 数，且至少有一个个体中包含的内点数大于或者等于相关阈值Tin;所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对。所述的s取值范围是区间[4，10]上的整数。所述的相关阈值Tin的取值范围是[2s，4s]，其中s为个体所包含的匹配点对数。所述的？的取值范围为[8+2，20(8+2)]，其中s为个体所包含的匹配点对数。所述的内点是对称转移误差小于内点阈值Thr的匹配点对。所述的内点阈值Thr的取值范围是
。所述的对称转移误差，是 其中=Dij是初始匹配点对集中第i组匹配点对(xu，xEi)对于第j个个体Ij的对 称转移误差，1彡i彡N，N是初始匹配点对集中匹配点对的总数目，Xu = (xLi, yLi, 1)τ为第 i组匹配点对中第一幅图匹配点的齐次坐标，(xu，yu)T是以第一幅图左上角像素点为原点 建立的坐标系中的像素坐标；xKi = (xEi, yEi, 1)τ为第i组匹配点对中第二幅图匹配点的齐 次坐标，(xKi，yKi)T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，Hj是利 用第j个个体L所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵 估计实例，1 < j ^P0所述的归一化直接线性变化处理，包括以下步骤a)计算第一幅图的归一化矩阵IY 其中:uL=-jyu ,vL =-^>L· , fL = Wl+Fl/2，Wl为第一幅图以像素为单位的宽
度，&为第一幅图的以像素为单位的长度，4为第一幅图的尺度归一化因子；b)计算第二幅图的归一化矩阵Tk 其中:
, We为第二幅图以像素为单位的宽
度，Fk为第二幅图的以像素为单位的长度，4为第二幅图的尺度归一化因子；
c)归一化匹配点对Xnu — TlX Li Xnei — TeX Ri 其中Xm为第一幅图匹配点的归一化齐次坐标，xNEi为第二幅图匹配点的归一化 齐次坐标，X' Li = (x' Li,y' Li,l)T,x' Ei = (x' Ei,y' Ei,l)T, (x' Li,x' Ki)是提供的 匹配点对； d)对A =
A1A..
进行奇异值分解 A = UDVT,
其中=A1 =
0 ~XNRi
y NLi^-NRi
JiNRi 0 ~XNLi^NRi XNLi “ =“N Li' ^NLi' J-/ , XNRi “对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h ；e)解除归一化，得到单应矩阵 H = Tl1HTs ,
fKKK
其中H =KKK，[fhKK,
比为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。
2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数 最大和次大的两个个体作为母体；3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体共 形成4个中间个体。所述的q为区间[1，s-1]上的随机整数。4)保留每个子群4个中间个体中内点数最大的个体作为候选个体。5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为s+1个变异个 体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群。所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组 外点组成的变异个体，0 < m < S。每个候选个体都生成s+1个变异个体。所述的外点是对称转移误差大于或等于内点阈值Thr的匹配点对。所述的调整处理，是对每个候选个体生成的变异个体，逐个与判别个体进行比 较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。所述的判别个体是从候选个体的内点中随机选择的s组非奇异匹配点对。6)对新的种群重复执行2)_5)共G次后，此时种群中内点数最大的个体的内点就 是满足同一单应矩阵的一致最大内点集。
所述的G，是
Iog(I-C)
其中P是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体 的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由s个正确 匹配点对组成的个体至少出现过一次的概率。所述的C的取值范围是
。第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得 到单应矩阵的初始估计Hinit,并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩 阵的最优估计H。pt。所述的LM迭代优化处理，是在下面的公式中当总对称转移误差E不变时，H。pt即为 单应矩阵的最优估计 其中(xINU，xINEJ)是一致最大内点集中的第j个匹配点对，1彡j彡M，M为一致 最大内点集中匹配点对的个数，Il · I If表示矩阵的Frobenius范数，H。pt的初始值取为 Hinit/ I IHinitI |F, Hinit是单应矩阵的初始估计。第四步，利用单应矩阵的最优估计H-进行图像的拼接，确定两幅待拼接图像的公 共区域，并得到公共区域的最小外接矩形所含的第一幅图像的子图像If^g和第二幅图像的 子图像IfM。所述的图像的拼接，包括以下步骤1)、将第二幅图像拼接到第一幅图像上，根据Reg2 = Quad {Rk/Rk (3)得到第二幅图 像所占的区域Reg2，其中=Rk= Hopt · Vk,Rk是第二幅图像拼接到第一幅图像上后的第k个顶点的齐次坐标，1彡k彡4，Vk 是第二幅图像本身的第k个顶点的齐次坐标，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (ffL, Fl, 1)T，V4= (Wy 1，1)T，W^为第一幅图以像素为单位的宽度，&为第一幅图的以像素为单位的 长度，Quad{.}表示由四点依次连接构成的四边形所包含的区域，Rk(3)是表示矢量Rk的第 三个分量；2)、根据1)方法，得到第一幅图像所占的区域Regl，区域Reg2和区域Regl的交集 就是两幅待拼接图像的公共区域，并将第二幅图像与公共区域不同的内容拼接到第一幅图 像上。第五步，对第一幅图像的子图像IfM和第二幅图像的子图像ΙΓ^进行无缝融合， 将融合后的图像贴到公共区域即可得到图像拼接的最终结果。与现有技术相比，本发明的有益效果是能够在初始匹配点对中存在大量误匹配 的情况下精确快速稳定地估计出用于图像拼接的单应矩阵，通过控制初始种群的形成并进 一步采用子群的方式同时在解空间内的多个区域进行搜索，与现有技术中RANSAC每次只 在单个区域搜索形成鲜明对比，能够在误匹配点对大量存在的情况下快速实现单应矩阵的 估计；利用变异个体根据内点的可能分布进行有目的的搜索，能够在全局意义上更准确地 找出一致最大内点集，与现有技术中RANSAC每次随机选择搜索区域的盲目性形成鲜明对 比，显著提高了单应矩阵估计的估计精度和鲁棒性，从而保证图像拼接的精度；所采用的归 一化直接线性变化中，两幅图像的尺度归一化因子都只与图像自身的长宽有关，这使得处理的结果与点的具体分布无关，提高了稳定性。


图1是实施例待拼接和拼接后的图像示意图；其中(a)是第一幅待拼接图像；(b)是第二幅待拼接图像；(C)是拼接后的图像。图2是实施例中尺度空间中的高斯金字塔和DOG金字塔结构示意图。图3是实施例中尺度空间极值检测示意图。图4是实施例中特征描述子示意图；其中(a)是将坐标轴转为关键点的方向示意图；(b)是特征点的32个维度示意 图。图5是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的内点检 测能量对比示意图。图6是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的估计误 差对比示意图。图7是实施例中分别采用实施例方法和现有技术中的RANSAC方法得到的耗时对 比示意图。
具体实施例方式以下结合附图对本发明的方法进一步描述本实施例在以本发明技术方案为前提 下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述 的实施例。实施例本实施例用于将图1(a)所示图像拼接到图1(b)所示的图像上，拼接得到的图像 如图1(c)所示，具体包括以下步骤第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特 征点进行匹配，得到初始匹配点对集{(Xu，XRi) |1 < i ^ N}，N是初始匹配点对集中匹配点 对的总数目。xu = (^^，、，丨”为第i组匹配点对中第一幅图匹配点的齐次坐标，(xLi,yLi) τ是以第一幅图左上角像素点为原点建立的坐标系中的像素坐标；xKi =(如卩^，丨”为第i 组匹配点对中第二幅图匹配点的齐次坐标，(xKi，yKi)T是以第二幅图左上角像素点为原点建 立的坐标系中的像素坐标。所述的SIFT特征点的提取与匹配过程如下1)建立高斯金字塔高斯金字塔有ο阶，每一阶有1层尺度图像。本实施例建立(O，1) = (4,5)的高 斯金字塔。第1阶的第1层是放大2倍的原始图像，在同一阶中相邻两层的尺度因子比例 系数是k，则第1阶第2层的尺度因子是k σ，然后其它层以此类推则可；第2阶的第1层 由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是k2 σ，然后第2阶的第2层的尺 度因子是第1层的k倍即k3 σ。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获 得。其它阶的构成以此类推。得到的高斯金字塔的结构如图2左半边所示。对于二维图像 I(x，y)在不同尺度下的尺度空间表示L(x，y，(0可由图像10^，y)与高斯核G(x，y，σ)的卷积得到L(x，y，σ ) = G(x，y，σ )*I(X，y)，其中:G(x,y,a)=^e-(x2+y2)'2(72，本实施例取σ = 1· 6。
2πσ2)建立DOG金字塔DOG金字塔通过高斯金字塔中相邻尺度空间函数相减即可。DOG金字塔的第1层 的尺度因子与高斯金字塔的第1层是一致的，其它阶也一样。本实施例得到的DOG金字塔 如图2右半边所示。3) DOG空间的极值检测为了检测到DOG空间的最大值和最小值，需要比较DOG尺度空间图像中的每个像 素与它邻近26个像素的值，在图3中，标记为叉号的像素若比相邻26个像素的DOG值都大 或都小，则该点将作为一个SIFT特征点，记下它的位置、对应阶数和层数。4)确定特征点的主方向根据特征点的阶数和层数在高斯金字塔中找到对应的图像层，并以特征点的位置 为中心，在9X9的正方形邻域内统计所有点的梯度的大小和方向，并用梯度直方图统计邻 域像素的梯度方向。梯度直方图的范围是0° 360°，其中每10度为一个方向，总共36 个方向。统计得到的直方图峰值所在的方向就代表了该特征点的主方向。其中正方形邻域 内点的梯度的大小m(x，y，σ)和方向计算如下m(x,y,σ) = ^(Ux +1,j,σ)-L(x-1,j,σ))2 + (L(毛y + Ι,σ)-L(x,y-l,a)f ,θ (x, y, σ ) = arctan((L(x, y+1, σ )-L(x, y-1, σ ))/(L(x+l, y, σ )-L(x-l, y, o)))。5)确定特征点的特征描述子为了确保旋转不变性，首先将坐标轴旋转为关键点的方向。以关键点为中心，取 8X8的窗口，将这个窗口切成2X2的子窗口，如图4所示。图4(a)的中心代表当前关键点的位置，每一个小格代表了与关键点同尺度，并且 是在关键点邻域内的一个像素，小格中箭头的方向代表该像素的梯度方向，箭头的长度代 表梯度的模的大小，圆圈代表了高斯加权的范围。图4(b)中2X2的窗口的每个子窗口由 其上4X4的小块组成。在每个4X4的小块上计算8个方向的梯度方向直方图，统计每个 方向的累加值，即形成一个种子点。一个特征点由2X2共4个种子点组成，每个种子点包 含8个方向的信息，这样每个特征点的特征描述子就有4X8 = 32个维度。所述的匹配，具体是首先将第一幅图和第二幅图中所有特征点的特征描述子进 行长度归一化，接着对第一幅图中的每个特征点在第二幅图中寻找相似性度量最大的两个 特征点。当次大的相似性度量除以最大的相似性度量少于比例阈值0. 8，则第一幅图中的特 征点与第二幅图中最相似的特征点为一对匹配点。两特征点间的相似性度量Sd如下Sd(Descl, Desc2) = Descl1 · Desc2,其中=Descl和Desc2代表以32维列向量表示的特征描述子。Sd值越大表明两特 征点越相似。第二步，在初始点对集A上利用基于单应矩阵的遗传一致性估计，对初始匹配点 对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集。
所述的剔除误匹配处理，包括以下步骤1)在初始匹配点对集中选择P (P = 12)个个体组成初始种群，得到每个个体包含 的内点数，且至少有一个个体中包含的内点数大于或者等于相关阈值TinCTin= 12)；所述的个体包含从初始匹配点对集中随机选择的s (S = 4)组非奇异匹配点对。所述的内点是对称转移误差小于内点阈值ThHThr = 1)的匹配点对。所述的对称转移误差，是
其中=Dij是初始匹配点对集中第i组匹配点对(xu，xEi)对于第j个个体Ij的对 称转移误差，1彡i彡N，N是初始匹配点对集中匹配点对的总数目，xu = (xLi, yLi, 1)τ为第 i组匹配点对中第一幅图匹配点的齐次坐标，(xu，yu)T是以第一幅图左上角像素点为原点 建立的坐标系中的像素坐标；xKi = (xEi, yEi, 1)τ为第i组匹配点对中第二幅图匹配点的齐 次坐标，(xKi，yKi)T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，Hj是利 用第j个个体L所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵 估计实例，1 < j ^P0所述的归一化直接线性变化处理，包括以下步骤a)计算第一幅图的归一化矩阵！Y
Wl为第一幅图以像養
度，&为第一幅图的以像素为单位的长度，4为第一幅图的尺度归一化因子；
b)计算第二幅图的归一化矩阵Tk
其中-Ul =1 v -JlxL
其中-.uR1 v1 s ^R =-YdVm
S /:1 S /:1
度，Fk为第二幅图的以像素为单位的长度，4为第二幅图的尺度归一化因子；C)归一化匹配点对Xnu — TlX Li Xnei — TeX Ri 其中Xm为第一幅图匹配点的归一化齐次坐标，xNEi为第二幅图匹配点的归一化
齐次坐标，χ' u=(x' Li,y' 匹配点对；
Li，l)T，x'
Ri
=(χ' Ei,y' Ei,l)T, (χ' u，χ' Ki)是提供的 d)对A =
A,
A
进行奇异值分解 A = UDVT,
12
其中 对角矩阵D的对角元素沿着对角线按降序排列，V的最后一列为h ；e)解除归一化，得到单应矩阵H = T￡ 1HTs ,
其中 比为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。2)将初始种群随机划分为个体数目都为6的子群，并在每个子群中选择内点数最 大和次大的两个个体作为母体；3)将每个子群中的两个母体随机交换q(q = 2)组匹配点对生成2个子体，子体与 母体共形成4个中间个体。4)保留每个子群4个中间个体中内点数最大的个体作为候选个体。5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为5个变异个 体，并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群。所述的变异处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组 外点组成的变异个体，0 < m < 4。每个候选个体都生成5个变异个体。所述的外点是对称转移误差大于或等于内点阈值ThHThr = 1)的匹配点对。所述的调整处理，是对每个候选个体生成的变异个体，逐个与判别个体进行比 较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。所述的判别个体是从候选个体的内点中随机选择的4组非奇异匹配点对。6)对新的种群重复执行2)_5)共G次后，此时种群中内点数最大的个体的内点就 是满足同一单应矩阵的一致最大内点集。所述的G，是 其中Ρ是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体 的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由4个正确 匹配点对组成的个体至少出现过一次的概率，C = O. 99。第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得 到单应矩阵的初始估计Hinit,并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩 阵的最优估计H。pt。所述的归一化直接线性变化处理参照第二步的归一化直接线性变化处理。所述的LM迭代优化处理，是根据下面的公式，当总对称转移误差E不变时，Hopt即 为单应矩阵的最优估计
13
其中(XlNU，xINEJ)是一致最大内点集中的第j个匹配点对，1彡j彡4，4M为一 致最大内点集中匹配点对的个数，Μ · I If表示矩阵的Frobenius范数，H。pt的初始值取为 Hinit/ I IHinitI I F，Hinit是单应矩阵的初始估计。第四步，利用单应矩阵的最优估计H-进行图像的拼接，确定两幅待拼接图像的公 共区域，并得到公共区域的最小外接矩形所含的图1(b)的子图像lfM和第二幅图像的子 图像Ireg。所述的图像的拼接，包括以下步骤1)、将图1 (a)拼接到图1 (b)上，根据Reg2 = Quad{Rk/Rk(3)得到图1 (a)所占的 区域Reg2，其中:Rk= Hopt · Vk,Rk是图1 (a)拼接到图1 (b)上后的第k个顶点的齐次坐标，1彡k彡4，Vk是图1 (a) 本身的第 k 个顶点的齐次坐标，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (ffL,FL,l)T,V4= (ffL, 1，1)T，Wl为第一幅图以像素为单位的宽度，Fl为第一幅图的以像素为单位的长度，Quad{. } 表示由四点依次连接构成的四边形所包含的区域，Rk(3)是表示矢量Rk的第三个分量；对于区域Reg2中任意整数像素点的齐次坐标X，其灰度值可由第二幅图中的对应 点Xr =H^x的灰度值确定。令如=如/如(3)，贝IJ (ΧΚ(1)，如(2))1卩为此点的像素坐标。由 于(χκ(1)，χκ(2))τ通常为小数，需利用双线性插值确定此点的像素值并赋给区域Reg2中的
；X O所述的双线性插值，具体公式如下IE(xE(l), xe(2)) = (1-a) (l_b)IK(c，d)+a(l_b)IK(c，d+l)+abIK(c+l，d+l) + (l_a) bIE(c+l, d)，其中Ικ(χκ(1)，χκ(2))表示第二幅图在点(χκ(1)，χκ(2))处的灰度值。c = [xR⑴」，
为小于等于Xk(I)的最大整数4 = [、(2)」，为小于等于如(2)的最大整数；a = Xk(2)-d;b =xK(l)_c。2)、根据1)的方法，得到图1(b)所占的区域Regl，区域Reg2和区域Regl的交集 就是两幅待拼接图像的公共区域，并将图1(a)与公共区域不同的内容拼接到图1(b)上。第 五步，采用Multi-band Blending方法对图1 (b)的子图像lfReg和图1 (a)的子图像 Γ^进 行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。所述的无缝融合，具体包括以下步骤1)分别建立两幅子图的高斯金字塔以建立子图lfReg的高斯金字塔为例，把lfReg作为高斯金字塔的第一层(底层)，那 么高斯金字塔的第k层图像可以这样构造ΙΓ68 (U J.) = Σ Σ 一, “)1=! (2ζ· + 肌，2 J. + π),
m=—2η=—2其中w(m，η) = w(m) · w (η), w (0) = 3/8，w (士 1) = 1/4，w (士 2) = 1/16，
1 ^ k ^ N, N为高斯金字塔的层数。
子图Ifieg的高斯金字塔结构ΙΓ^以同样方式建立。2)分别建立两幅子图的拉普拉斯金字塔以建立子图lfReg的拉普拉斯金字塔为例，设高斯金字塔中第k层的内插放大图为
I RPReg* ·
Γ π廿士 TRP吻V +肌j + n,当^^和^为整数其中1二8= 12 22 2’
2 2 [ ο其它引入放大算子Expand，内插放大变换可以简记为= Expand(I^fReg')。到此，子图IfM的拉普拉斯金字塔LPir^g构造如下 子图Ifieg的拉普拉斯金字塔结构LPirieg以同样方式建立。3)建立融合系数的高斯金字塔以创建子图lfReg的融合系数高斯金字塔为例，首先建立一个与区域RPReg等大的 系数图像ICy将图像IQ接近图1(b)的那一半图像的灰度值设为1，而接近第二幅图的一 半设为0。并建立图像Iq的高斯金字塔ICut，此即为图IfM的融合系数高斯金字塔，同时 子图lfM的融合系数高斯金字塔为ICKk = I-ICy4)建立融合后图像的拉普拉斯金字塔设融合后图像为I·8，其拉普拉斯金字塔LPIfM构造如下 5)重建融合后的图像通过融合后图像的拉普拉斯金字塔LPIfpM重建融合后图像的高斯金字塔IfpM,
如下 取高斯金字塔的第一层Iju^g,即为子图IfM和子图ΙΓ^融合后的图像。利用Visual Geometry Group研究组提供的Graffiti数据库做实验，通过SIFT 方法在两幅图像中引入100对正确匹配数据点，然后随机引入不同个数的错误匹配点对以 形成不同的正确匹配点对比例，进而得到的本实施例方法(HM-GCE)和现有的RANGSAC方法 在不同的正确数据点比例下性能的差异如图5、图6和图7所示。从图5可以看出本实施 例方法在不同正确匹配数据点比例下检测到的内点数均大于RANSAC方法，且内点数稳定 在85附近，这显示了本实施例方法能够更鲁棒更稳定地检测出内点，从而为估计结果的精 度和稳定性提供了条件。图6显示出本实施例方法在不同正确匹配数据点比例下对目标单应矩阵的估计误差均小于RANSAC方法，估计误差采用Frobenius范数:H-H1 ‘,其中。为
单应矩阵估计实例，Ht为真实单应矩阵。图7显示出尽管本实施例方法在正确匹配点对比 例较大时时间消耗略大于RANSAC方法，但是在错误匹配点对大量存在时本实施例方法的 耗时要远小于RANSAC方法。
权利要求
一种提高图像拼接精度和稳定性的方法，其特征在于，包括以下步骤第一步，分别对待拼接的两幅图像进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集；第二步，基于单应矩阵的遗传一致性估计，对初始匹配点对集进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；第三步，利用一致最大内点集的所有匹配点对进行归一化直接线性变化处理，得到单应矩阵的初始估计Hinit，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计Hopt；第四步，利用单应矩阵的最优估计Hopt进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的第一幅图像的子图像和第二幅图像的子图像第五步，对第一幅图像的子图像和第二幅图像的子图像进行无缝融合，将融合后的图像贴到公共区域，得到图像拼接的最终结果。FDA0000023001710000011.tif,FDA0000023001710000012.tif,FDA0000023001710000013.tif,FDA0000023001710000014.tif
2.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第二步中所 述的剔除误匹配处理，包括以下步骤1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点数，且 至少有一个个体中包含的内点数大于或者等于相关阈值Tin;所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对；所述的内点是对称转移误差小于内点阈值Thr的匹配点对；2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数最大 和次大的两个个体作为母体；3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体共形成 4个中间个体；4)保留每个子群4个中间个体中内点数最大的个体作为候选个体；5)对每个子群中的候选个体进行变异处理，使每个候选个体变异为s+1个变异个体， 并将变异个体进行调整处理，得到调整后的变异个体与候选个体组成的新的种群；6)对新的种群重复执行2)-5)共G次后，此时种群中内点数最大的个体的内点就是满 足同一单应矩阵的一致最大内点集；所述的G，是 其中p是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体的内 点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由S个正确匹配 点对组成的个体至少出现过一次的概率；所述的C的取值范围是
。
3.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的对称 转移误差，是 其中DU是初始匹配点对集中第i组匹配点对(xu，xEi)对于第j个个体L的对称转 移误差，1彡i彡N，N是初始匹配点对集中匹配点对的总数目，xu = (xLi, yLi, 1)τ为第i组 匹配点对中第一幅图匹配点的齐次坐标，(xu，yu)T是以第一幅图左上角像素点为原点建立 的坐标系中的像素坐标；xKi = (xEi, yEi, 1)τ为第i组匹配点对中第二幅图匹配点的齐次坐 标，(xEi, yKi)T是以第二幅图左上角像素点为原点建立的坐标系中的像素坐标，Hj是利用第 j个个体^所包含的s对匹配点对进行归一化直接线性变化处理所得到的单应矩阵估计实 例，1 < j ( P。
4.根据权利要求1或3所述的提高图像拼接精度和稳定性的方法，其特征是，所述的归 一化直接线性变化处理，包括以下步骤 a)得到第一幅图的归一化矩阵IY 其中 Wl为第一幅图以像素为单位的宽度， 为第一幅图的以像素为单位的长度，4为第一幅图的尺度归一化因子； b)得到第二幅图的归一化矩阵Τκ: 为第二幅图的以像素为单位的长度，4为第二幅图的尺度归一化因子； C)归一化匹配点对XNLi — TlX Li' XNEi — TrX Ri 其中xNU为第一幅图匹配点的归一化齐次坐标，xNKi为第二幅图匹配点的归一化齐次坐标，X' Li = (χ' 点对； =(χ' Ei,y' Ei,l)T, (χ' Li,x' Ki)是提供的匹配进行奇异值分解其中A,=A = UDVt,0層 y NLi^ NRiJ^NRi 0~ XNLi^· NRiXNLi “ =“N Li ‘ ^NLi' J-/ , xNRi “ =(xNEi' yNEi' ι)1，对角矩阵D的对角元素沿着对角线按降序排列，ν的最后一列为h e)解除归一化，得到单应矩阵 H = Tl1HTs , 比为h的第i个元素，H就是由提供的匹配点对得到的单应矩阵估计实例。
5.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的变异 处理，分别在每个候选个体划分的内外点中选择由m组内点和4-m组外点组成的变异个体， 0 ^m^ s,每个候选个体都生成s+1个变异个体；所述的外点是对称转移误差大于或等于内点阈值Thr的匹配点对。
6.根据权利要求2所述的提高图像拼接精度和稳定性的方法，其特征是，所述的调整 处理，是对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体 的内点数大于变异个体的内点数，则将变异个体置换为判别个体；所述的判别个体是从候选个体的内点中随机选择的s组非奇异匹配点对。
7.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第三步中所 述的LM迭代优化处理，是在下面的公式中当总对称转移误差E不变时，H。pt即为单应矩阵的 最优估计 其中(xINU，xINEJ)是一致最大内点集中的第j个匹配点对，1彡j彡M，M为一致最 大内点集中匹配点对的个数，Μ · I |F表示矩阵的Frobenius范数，H。pt的初始值取为 Hinit/ I IHinitI |F, Hinit是单应矩阵的初始估计。
8.根据权利要求1所述的基于单应矩阵遗传一致性估计的图像拼接方法，其特征是， 第四步中所述的图像的拼接，包括以下步骤1)、将第二幅图像拼接到第一幅图像上，根据Reg2= Quad{Rk/Rk(3)得到第二幅图像所 占的区域Reg2，其中=Rk = Hopt · Vk,Rk是第二幅图像拼接到第一幅图像上后的第k个顶点的齐次坐标，1 < k < 4，Vk是第 二幅图像本身的第k个顶点的齐次坐标，V1 = (1,1,1)T, V2 = (1, Fl, 1)T, V3= (Wl,Fl,1)t, V4= (Wy 1，1)T，W[为第一幅图以像素为单位的宽度，&为第一幅图的以像素为单位的长度， Quad{. }表示由四点依次连接构成的四边形所包含的区域，Rk(3)是表示矢量Rk的第三个分 量；2)、根据1)方法，得到第一幅图像所占的区域Regl，区域Reg2和区域Regl的交集就 是两幅待拼接图像的公共区域，并将第二幅图像与公共区域不同的内容拼接到第一幅图像 上。
9.根据权利要求1所述的提高图像拼接精度和稳定性的方法，其特征是，第五步中所 述的无缝融合，包括以下步骤1)分别建立两幅子图的高斯金字塔把lfM作为高斯金字塔的第一层，高斯金字塔的第k层图像I^ieg是 2 2 其中:w(m, n) = w(m) · w (η), w (0) = 3/8，w (士 1) = l/4，w (士2) = 1/16，1 彡 k 彡 N， N为高斯金字塔的层数，子图ΙΓ^的高斯金字塔结构ΙΓ^以同样方式建立；2)分别建立两幅子图的拉普拉斯金字塔子图IfM的拉普拉斯金字塔LPir^g构造如下 ‘子图Cieg的拉普拉斯金字塔结构LPireg以同样方式建立；3)建立融合系数的高斯金字塔首先建立一个与区域RPReg等大的系数图像IQ，将图像IQ接近第二幅图像的那一 半图像的灰度值设为1，而接近第二幅图的一半设为0，并建立图像IQ的高斯金字塔ICut, 此即为图IfM的融合系数高斯金字塔，同时子图Irieg的融合系数高斯金字塔为ICfflt = l"ICLk ；4)建立融合后图像的拉普拉斯金字塔融合后图像为Ikpk^其拉普拉斯金字塔LPIf^g构造如下 5)重建融合后的图像通过融合后图像的拉普拉斯金字塔LPIfM重建融合后图像的高斯金字塔IfM,如下 取高斯金字塔的第一层IrpM,即为子图ifM和子图融合后的图像。
全文摘要
一种视频图像处理技术领域的提高图像拼接精度和稳定性的方法，包括以下步骤对待拼接图像进行SIFT特征点提取和匹配，得到初始匹配点对集；进行剔除误匹配处理，得到满足同一单应矩阵的一致最大内点集；进行归一化直接线性变化处理，得到单应矩阵的初始估计，并对单应矩阵的初始估计进行LM迭代优化处理，得到单应矩阵的最优估计；进行图像的拼接，确定两幅待拼接图像的公共区域，并得到公共区域的最小外接矩形所含的两幅图像的子图像；进行无缝融合，将融合后的图像贴到公共区域即可得到图像拼接的最终结果。本发明能够在初始匹配点对中存在大量误匹配的情况下进行图像拼接，且拼接精度高，耗时短，稳定性好。
文档编号G06T5/50GK101882308SQ201010216340
公开日2010年11月10日 申请日期2010年7月2日 优先权日2010年7月2日
发明者周军, 姚达, 安然 申请人:上海交通大学