一种基于向量形状保持变换的图像快速拼接方法

1.本发明涉及图像处理技术邻域，具体涉及一种基于向量形状保持变换的图像快速拼接方法。


背景技术：

2.图像拼接是一种将两幅或多幅具有一定重叠区域的局部区域观测图片融合形成一幅包含整体观测区域的广视角、高分辨率图片的技术。在实际应用场景中，如实际战场监视任务，图像拼接技术主要有两方面的具体要求，其一为快速性，即能在拍摄获取大量图片后快速完成拼接，实时拼接完成目标区域全景图；其二为准确性，即拼接后的图像无重影、鬼影等成像质量问题，成像自然美观，真实反映实际成像区域。因此，图像快速准确拼接对实际应用场景是一个极其重要的需求。图像拼接技术主要分为四个步骤，即图像采集、图像预处理、图像配准和图像融合。其中最为关键的步骤是图像配准，在这一步骤中会根据提取所得的图像特征点位置信息，计算匹配图像之间的变换矩阵参数，即旋转参数和平移参数，随后利用bundle adjustment方法迭代优化全部图像的所有参数，进而根据所求参数实现图像几何位置上的对齐。采用迭代优化后的参数能改善图像拼接效果，但由于其采用特征点位置信息的局限性，需同时计算所有参数，优化过程中矩阵规模过大，耗时严重，且由于变换矩阵中两种参数差异过大，优化时会相互影响，拼接后的图片仍存在配准效果不佳的现象。
3.因此，设计一个计算快速准确的多图拼接方法是很有必要的。本发明基于向量形状保持变换的方法，使用向量分离变换矩阵中的两类参数，减小优化矩阵计算规模的同时消除优化过程中参数相互干扰的现象，使其在满足快速拼接的基础获取优秀的拼接效果。


技术实现要素：

4.为了克服现有技术存在的缺点与不足，本发明提供一种基于向量形状保持变换的图像快速拼接方法。
5.本发明可以获取较好拼接效果的前提下加快多幅图像拼接速度，使其满足实际工业应用需求。
6.为了实现以上目的，本发明采用如下技术方案：
7.一种基于向量形状保持变换的图像快速拼接方法，包括：
8.读取多幅待拼接图像，并对其进行预处理；
9.分别提取每一幅图像的sift特征点并保存；
10.对任意两幅图像之间提取的sift特征点进行提纯，获取图像对之间的特征内点，并计算该图像对之间的匹配关系；
11.根据特征内点构造特征向量；
12.根据匹配图像的匹配关系及提纯后的特征内点，计算匹配的两幅图像之间的变换矩阵，进一步得到每幅图像的旋转参数和平移参数迭代优化初始值；
13.根据特征向量迭代优化每幅图像的旋转变换参数；
14.根据优化后的旋转变换参数及特征内点匹配关系迭代优化每幅图像的平移变换参数；
15.根据优化后的旋转变换参数和平移变换参数计算最终的变换矩阵；
16.根据计算所得的每幅图像的变换矩阵，得到所有图像的相对位置，通过图像融合步骤得到最终拼接图像。
17.进一步，所述预处理步骤为去噪处理。
18.进一步，所述对任意两幅图像之间提取的sift特征点进行提纯采用ransac算法，去除无匹配的点。
19.进一步，获取图像对之间的特征内点，并计算该图像对之间的匹配关系，具体为：
20.设其提取所得的sift特征匹配对总数量为nf，通过ransac算法进行提纯后得出的特征内点对数量为ni，若ni＞8+0.3
·
nf，则两幅图像匹配。
21.进一步，所述根据特征内点构造特征向量，具体为：
22.在单幅图像中，按照特征内点的保存顺序，以第k个点为起点，则k+1个点为终点，依次顺序构造向量：
[0023][0024]
其中，分别为保存的特征内点中第k和第k+1个内点，为构造所得的第k个向量；
[0025]
进一步，所述进一步得到每幅图像的旋转参数和平移参数迭代优化初始值，具体为：
[0026]
假设任意两幅匹配图像中的一对特征内点分别为和和变换矩阵旋转参数θ和平移参数t＝[t
x ty]
t
初始值具体计算步骤如下：
[0027][0028][0029][0030][0031][0032]
其中a∈r
2n
×4，b∈r
2n
×1，n为提取出的图像内点特征数量，矩阵a，矩阵b即是根据所有特征内点计算得出的ak，bk组合而成。
[0033]
进一步，所述根据特征向量迭代优化每幅图像的旋转变换参数，具体为：
[0034]
将两幅匹配的图片i，j之间的误差定义为图像内部特征向量通过旋转变换后的向量差的模值之和，计算方式如下：
[0035][0036]
其中，和分别为图片i,，j中的第k个匹配的特征向量，表示图片i,，j中构造的所有特征向量，r
ij
表示图片i,，j间的旋转变换矩阵，
[0037][0038]
全体图像的累积误差为所有图像与其匹配的图像之间的对应特征向量通过旋转变换矩阵后的距离总和，计算方式如下所示：
[0039][0040]
其中n表示待拼接图像数量，i(i)表示所有与图像i匹配的图像，随后迭代优化计算所有旋转变换矩阵r
ij
，得出旋转参数θ
ij
。
[0041]
进一步，根据优化后的旋转变换参数和平移变换参数计算最终的变换矩阵，具体为：
[0042]
将两幅匹配的图片i，j之间的误差定义为经过优化后旋转变换，所有特征内点通过平移变换后的距离总和，计算方式如下：
[0043][0044]
其中，和分别为图片i,，j中的第k个匹配内点，表示图片i,，j所有特征内点，表示图片i,，j间的已优化的旋转变换矩阵，t
ij
表示图片i,，j间的平移变换参数，全体图像的累积误差为所有图像与其匹配的图像之间的特征内点通过平移变换后的距离总和，计算方式如下所示：
[0045][0046]
其中n表示待拼接图像数量，i(i)表示所有与图像i匹配的图像，随后进行迭代优化计算所有平移变换参数t
ij
。
[0047]
进一步，所述最终变换矩阵表示如下：
[0048]
[0049]
进一步，矩阵a，矩阵b即是根据所有特征内点计算得出的ak，bk组合而成，具体为：
[0050][0051]
本发明的有益效果：
[0052]
(1)本发明提出的利用向量替代传统特征点的方法计算配准过程中每幅图像的变换矩阵，可分步计算变换矩阵中的两种参数，进而可实现分步优化两种参数，分步后两个迭代优化矩阵相较于传统同时优化所有参数的迭代优化矩阵规模显著减小，大幅缩减计算量，使得拼接速度显著提高；
[0053]
(2)本发明提出的利用向量替代传统特征点的方法计算配准过程中每幅图像的变换矩阵，可实现变换矩阵中两种参数的分离计算，排除优化过程中两种参数因差异过大相互干扰的现象，提高优化计算矩阵变换参数的准确性，使得拼接效果显著改善。
附图说明
[0054]
图1是本发明基于向量形状保持变换拼接方法示意图；
[0055]
图2(a)为原始待拼接图片，图2(b)原始未优化拼接效果图，为图2(c)为采用传统点特征优化计算变换矩阵拼接效果图，图2(d)为采用本实施例所述方法拼接效果图；
[0056]
图3是本发明的工作流程图。
具体实施方式
[0057]
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0058]
实施例
[0059]
本实施例提供了一种基于向量形状保持变换的图像快速拼接方法，提取所有待拼接图像内的特征点，根据图像内部特征点构造向量特征，分离计算图像变换矩阵中的两种参数，使得其在迭代优化过程中不会因为参数差异过大相互影响，使得矩阵计算结果更为精确，大幅提高图像拼接效果。同时由于参数计算分离，迭代优化过程亦可分离，分离后两个优化矩阵规模相较于原始包含所有参数的优化矩阵规模大幅减小，拼接速度显著加快。
[0060]
如图1及图3所示，包括以下步骤：
[0061]
s1读取所有原始待拼接图片，对原始图像进行预处理，去除噪声；
[0062]
s2直接提取每一幅图像的sift特征点并保存；
[0063]
s3通过ransac(random sample consensus)算法对直接提取的sift特征点进行提纯，去除误匹配的特征点，保留正确匹配的特征内点并保存，进而判断图像匹配关系。假设其直接提取所得的sift特征匹配对总数量为nf，通过ransac算法进行提纯后得出的内点数量为ni。若ni＞8+0.3
·
nf，即可判断两幅图像匹配；
[0064]
s4通过提纯后的特征内点构造特征向量，构造方式为按照保存后的内点顺序在单
幅图像内中以前一个点为起点，后一个点为终点，依次顺序构造向量：
[0065][0066]
其中，分别为保存的特征内点中第k和第k+1个内点，为构造所得的第k个向量；
[0067]
s5根据匹配图像匹配关系及提纯后所得的特征内点信息，计算匹配的两幅图像之间的变换矩阵，为bundle adjustment迭代优化提供初始值，假设两幅匹配图像中其中一对内点分别为和变换矩阵旋转参数θ和平移参数t＝[t
x ty]
t
初始值具体计算步骤如下：
[0068][0069][0070][0071][0072][0073]
其中a∈r
2n
×4，b∈r
2n
×1，n为提取出的图像内点特征数量，矩阵a，b即是根据所有特征内点计算得出的ak，bk组合而成。
[0074]
s6根据构造的特征向量匹配关系，迭代优化旋转参数，其具体计算步骤如下：
[0075]
将两幅匹配的图片i，j之间的误差定义为图像内部特征向量通过旋转变换后的向量差的模值之和，计算方式如下：
[0076][0077]
其中，和分别为图片i,，j中的第k个匹配的特征向量，表示图片i,，j中构造的所有特征向量，r
ij
表示图片i,，j间的旋转变换矩阵。
[0078][0079]
全体图像的累积误差为所有图像与其匹配的图像之间的对应特征向量通过旋转变换矩阵后的距离总和。计算方式如下所示：
[0080][0081]
其中n表示待拼接图像数量，i(i)表示所有与图像i匹配的图像。随后根据levenberg-marquardt算法对其进行迭代优化计算所有旋转变换矩阵r
ij
，得出旋转参数θ
ij
；
[0082]
s7根据已优化好的旋转变换参数和图像之间的内点匹配关系，联合所有匹配图像之间的内点迭代优化每幅图像的平移参数其具体计算步骤如下：
[0083]
将两幅正确匹配的图片i，j之间的误差定义为经过优化后旋转变换，所有特征内点通过平移变换后的距离总和，计算方式如下：
[0084][0085]
其中，和分别为图片i,，j中的第k个匹配内点，表示图片i,，j所有特征内点，表示图片i,，j间的已优化的旋转变换矩阵，t
ij
表示图片i,，j间的平移变换参数。全体图像的累积误差为所有图像与其匹配的图像之间的特征内点通过平移变换后的距离总和。计算方式如下所示：
[0086][0087]
其中n表示待拼接图像数量，i(i(表示所有与图像i匹配的图像。随后根据levenberg-marquardt算法对其进行迭代优化计算所有平移变换参数t
ij
；
[0088]
s8根据优化所得的旋转参数和平移参数，构造最终的变换矩阵，其具体形式如下：
[0089][0090]
s9根据计算所得的变换矩阵，计算得到所有图像的相对位置，根据平均值融合算法实现图像融合，得到最终拼接图像。
[0091]
图2(a)为原始待拼接图片，图2(b)原始未优化拼接效果图，图2(c)为采用传统特征点优化计算变换矩阵拼接效果图，图2(d)为采用本实施例所诉方法拼接效果图。采用传统特征点进行变换矩阵迭代计算的方法配准误差较大，存在明显的重影模糊现象，拼接质量不佳，且运行时间很长，不能满足实际工业运用需求；而本实施例所提出的基于特征向量分步迭代优化参数的方法得到的拼接效果好，图像配准误差较小，且所需时间相对于同时迭代优化全体参数的方法明显减少，说明本实施例具有相较于现有算法更符合实际运用需求。
[0092]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，
均应为等效的置换方式，都包含在本发明的保护范围之内。