基于缝合线的无人机航拍图像拼接方法与流程

本发明属于无人机技术领域，尤其涉及一种基于缝合线的无人机航拍图像拼接方法。

背景技术：

图像拼接技术通过将若干部分重叠的图像进行匹配融合，形成一幅宽视角、高分辨率的无缝拼接图像，在遥感、航拍图像处理中有着广泛应用，是计算机视觉、模式识别和图像处理等领域的热点研究方向。近年来无人机作为一种灵活机动的遥感平台，其航拍图像获得广泛的应用。无人机航拍图像的拼接技术可以有效解决单幅航拍图像对应场景区域小，不利于准确、全面的观察和分析地面场景的问题，被广泛地用于危险区域侦查、战场实时性侦查、海洋环境监测、自然灾害监测与评估等，成为图像处理研究的热点。基于缝合线的图像拼接技术，相比加权函数融合、多分辨率塔式分解融合和基于小波变换融合等方法，能够有效地避免鬼影现象，且拼接效果能够真实的反映地物情况，从而在无人机航拍图像拼接中得到了广泛的应用。现有缝合线检测算法，如基于图割的缝合线检测方法、基于蚁群的缝合线检测方法以及基于动态规划的缝合线检测算法等，在航拍图像拼接中均具有较好的效果，然而由于无人机航拍图像通常为非正射影像图，且易受拍摄地区地势地貌、相机畸变、图像配准和几何变换误差等的影响，这些方法在拼接无人机航拍图像时存在缝合线两侧图像拼接不连续、易产生局部‘错位’现象等问题。例如，基于dijkstra的最优缝合线检测方法，通过求解最小代价路径作为缝合线，实现包含运动物体的图像拼接，然而，此算法拼接的图像仍存在局部不连续现象，且计算复杂度较高。为降低缝合线搜索复杂度，将dijkstra算法简化为贪心算法，对局部最优路径进行选择，拼接效果易受迭代收敛性的影响，且依然存在局部‘错位’现象。最大流求解图最小割的方法，搜索最佳缝合线，取得不错的拼接效果，但计算复杂度较高。采用twinsnake算子自动选择图像缝合线，不能保证其选择的缝合线为最优缝合线。chon提出通过最小化最大误匹配的方法，动态搜索缝合线，改善缝合线上图像拼接不连续的现象，但算法的计算量随着缝合线长度的增加以指数级增长，时效性较差。

综上所述，现有技术存在的问题是：由非正射投影、图像配准误差等引起的拼接图像局部不连续现象，即局部‘错位’问题；计算复杂度较高，时效性较差，不能保证高效率处理大量的图像数据时，图像拼接算法必须具有较好的时效性的需要。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于缝合线的无人机航拍图像拼接方法。

本发明是这样实现的，一种基于缝合线的无人机航拍图像拼接方法，所述基于缝合线的无人机航拍图像拼接方法通过消除跨重叠区域遮挡，剔除配准误差较大的像素点，求解缝合线所在的最小连通子区域；并在连通区域内，利用递归回溯搜索最短路径方式，生成一条缝合线实现图像拼接；

所述求解缝合线所在最小连通子区域包括：

计算误匹配度量矩阵cost；设置起始阈值；计算分割矩阵tcost，并计算其二值化矩阵tcost_b；对tcost_b矩阵，判断起点终点是否在同一个连通分量中，若不在，则存在跨重叠区域的遮挡，查找并减小遮挡区域误匹配量值，即令cost(x,y)＝cost(x,y)-δth，其中(x,y)∈s，s为跨重叠区域的遮挡区域；

所述缝合线所在连通区域再小化包括：计算两幅图像的距离矩阵，设distance等于0；计算二值矩阵nbh、tcost_dist；由起点开始深度遍历，判断在矩阵tcost_dist为1的区域，是否存在一条起点到终点连通通路，若不存在，则扩大等距线邻域宽度，即增加distance，令distance＝distance+δd。

进一步，所述缝合线采用消除跨重叠区域遮挡求解最小连通域的方法，具体包括：

1)采用阈值分割的方法将图像分为两部分，高量值区和低量值区，阈值代价准则定义如式(2)(3)：

其中为cost(x,y)公式(1)求得的误匹配度量矩阵，δ·thmax是图像分割阈值，其中thmax为重叠区域的最大误匹配量值，δ为固定常量，δ∈(0,0.2)；tcost_b为tcost的二值化矩阵；

2)判断缝合线的起点和终点是否均在低量值区(tcost_b＝0)且位于同一连通分量，即判断起点终点间是否存在一条路径；若不存在，表示图中存在一条或多条跨重叠区域的遮挡；查找跨重叠区域的遮挡，并逐步减小此遮挡区域的量值，直到不存在跨重叠区域的遮挡，使起点和终点位于同一连通分量内；此时起点终点所在的连通区域，即求解的缝合线最小连通域。

进一步，所述递归回溯最短缝合线搜索通过计算各像素点四邻接点到缝合线终点的距离，确定入栈顺序，即搜索方向，并在最小连通域内递归回溯搜索最短缝合线，入栈顺序dir_idx由式(4)计算出的索引值确定：

dir_idx＝index(sort(dist(ad_jpoint(x,y),endpoint))(4)

其中，adj_point(x,y)表示像素点的四个邻接点坐标，endpoint表示缝合线终点坐标，dist()为欧氏距离，sort()表示对四个距离值降序排列，index()为排序的索引值；依据栈先进后出的原则，降序入栈，则每次出栈时，将会优先选取距离缝合线终点最近的点。

进一步，所述缝合线的优化方法包括：针对缝合线上每个像素点，判断缝合线上其邻接像素点的个数，若大于2个，则表示存在局部回路，此时，按邻接像素点在缝合线上出现的顺序，消除从第一个到最后一个邻接像素点间的像素点，遍历缝合线消除所有小回路，得到一条无回路路径，即优化后的缝合线。

进一步，所述缝合线连通域再小化包括：

求解两幅图像中各像素到边界的最小距离，生成距离矩阵，并对两个距离矩阵进行比较，按式(5)(6)计算等距线的邻域：

tcost_dist＝nbh&(～tcost)(6)

其中，dist1、dist2分别表示两幅图像的距离矩阵，distance表示扩展邻域的宽度，其初始值为0，此时nbh为等距线；逐步增大distance,，直到由式(6)计算的tcost_dist矩阵为1的区域存在起点到终点的连通通路。

本发明的另一目的在于提供一种应用所述基于缝合线的无人机航拍图像拼接的无人机。

本发明的优点及积极效果为：针对现有方法在无人机航拍图像拼接中存在的上述问题，本发明提出最小连通域内递归回溯的缝合线搜索算法，通过消除跨重叠区域遮挡，剔除配准误差较大的像素点，求解缝合线所在的最小连通子区域；并在连通区域内，利用递归回溯搜索最短路径方式，生成一条缝合线实现图像拼接；改善缝合线融合图像局部‘错位’现象。该算法在取得较好拼接效果的同时，具有线性时间复杂度，时效性较高。

本发明通过最大化剔除误匹配的像素点，求解缝合线所在的最小连通子区域；并在最小连通域内通过递归回溯搜索最短路径的方式搜索缝合线，实现图像拼接；采用等距线邻域搜索方法，进一步缩小缝合线所在的最小连通子区域，减少计算量，提高算法效率。实验结果表明，本发明算法可有效改善缝合线融合时出现的局部‘错位’现象，能够在获得准确拼接图像的同时，提高拼接效率。

附图说明

图1是本发明实施例提供的基于缝合线的无人机航拍图像拼接流程图。

图2是本发明实施例提供的跨区域遮挡示意图。

图3是本发明实施例提供的最小连通域示意图；

图中：(a)重叠区域量值矩阵；(b)本发明的效果图；(c)chon的算法效果图；(d)最小连通域算法；(e)chon的最小最大误匹配算法。

图4是本发明实施例提供的搜索方向顺序图。

图5是本发明实施例提供的递归回溯搜索缝合线流程图。

图6是本发明实施例提供的缝合线搜索示意图。

图7是本发明实施例提供的缝合线局部放大示意图。

图8是本发明实施例提供的缝合线搜索结果示意图(实线为本文算法搜索的缝合线，虚线为chon提出的动态搜索缝合线)。

图9是本发明实施例提供的等距线邻域示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于缝合线的无人机航拍图像拼接包括以下步骤：

s101：输入图像，计算图像重叠区域、起点和终点；

s102：求解缝合线所在最小连通子区域；

s103：缝合线所在连通区域再小化；

s104：求解的最小连通域内，递归回溯搜索最短缝合线；

s105：遍历路径，消除局部小回路，优化缝合线；

s106：按缝合线对两幅图像进行融合拼接。

下面结合附图对本发明的应用原理作进一步的描述。

1、缝合线搜索原理

1.1图像误匹配度量准则

为评估图像配准效果，需要对重叠区域像素点进行度量，寻找最优缝合线。理想中的缝合线，缝合线两侧图像配准误差为零，即缝合线上的点及其周围的点一一对应，此时缝合线上像素点的灰度值和梯度也一一对应。因此本发明采用像素灰度差和梯度差作为图像错误匹配度量准则，度量函数定义如式(1)：

cost(x,y)＝|c(i1(x,y))-c(i2(x,y))|+|d(i1(x,y))-d(i2(x,y))|(1)

其中c(i(x,y))表示图像的3×3邻域均值矩阵，d(i(x,y))表示图像的梯度矩阵，采用如下5×5高斯梯度算子计算：

将度量矩阵中像素看作节点，度量值看作节点的带权路径长度，则缝合线搜索即为最优路径求解问题，本发明算法的核心演化为通过绕开遮挡区域寻找最短路径，搜索缝合线。

1.2跨重叠区域遮挡

由于无人机航拍图像为非正射影像图，同一地物在不同图像上的投影不同，并受相机畸变、图像配准和几何变换误差等的影响，使待拼接图像中对应像素灰度存在差异。其中对应像素灰度差异较大的区域(式(1)计算的度量矩阵中量值较大的区域)称之为高量值区，即遮挡区域。通过遮挡区域的缝合线会具有明显的拼接痕迹，产生局部‘错位’现象。缝合线检测实质上是寻找一条避开遮挡区域路径的过程。当起点和终点之间不存在路径时，表示存在遮挡跨越整个重叠区域。判断跨重叠区域遮挡的方法如下：

第一，确定重叠区域边界，由起点和终点将边界划分为边edge1和边edge2两部分(如图2)。第二，对边edge1上的高量值点，判断其连通域内是否存在边edge2上的点，若存在,则此连通域为跨重叠区域的遮挡；若不存在，则此连通区域不是跨重叠区域的遮挡。

如图2，重叠区域分为两部分，浅色表示低量值区，深色表示高量值区。依次遍历边edge1上高量值点所在的连通区域，其中，a点所在的连通区域a中，存在点c落在edge2上，则a所在连通区域为跨重叠区域的遮挡；而b点所在的连通区域，不存在位于edge2上的点，所以此区域不是跨重叠区域的遮挡。

2、图像缝合线检测方法

缝合线检测是基于缝合线的图像拼接算法的关键，良好的缝合线，能有效避免缝合线两侧图像融合时出现视觉可见的不连续现象，使图像拼接过渡平滑。首先，对待拼接的两幅图像进行图像配准，确定重叠区域、缝合线的起点及终点(重叠区域边界线的交点)；其次，对重叠区域误匹配度量，剔除配准误差较大的像素点，求解缝合线最小连通域；在求解的连通区域内，递归回溯搜索一条最短路径作为缝合线，并沿缝合线进行图像拼接。

2.1缝合线最小连通域

为使融合时缝合线两侧图像平滑过渡，本发明通过消除跨重叠区域遮挡的方法，求解缝合线所在最小连通子区域，避免图像融合时局部‘错位’现象。

最小化缝合线上最大误匹配的算法，通过漫水法剔除配准误差较大的区域，避免局部‘错位’的现象，并降低求解最小代价路径的计算量。考虑到航拍图像的特点，受非正射影像、镜头畸变等因素的影响，通常图像边缘区域比中心区域配准误差大。而缝合线的起点和终点恰好落在图像边界上，其邻域的配准误差值相对较高，采用漫水法进行阈值分割，不能有效地剔除误匹配较大的区域，算法实用性较差，如图3(c)。

为避免这一现象，本发明采用减小跨重叠区域的遮挡区域的度量值，而不是降低分割阈值的方式，剔除更多配准误差较大的像素点，求解最小连通域。算法如下：

1)采用阈值分割的方法将图像分为两部分，高量值区和低量值区，阈值代价准则定义如式(2)(3)：

其中为cost(x,y)公式(1)求得的误匹配度量矩阵，δ·thmax是图像分割阈值，其中thmax为重叠区域的最大误匹配量值，δ为固定常量，δ∈(0,0.2)；tcost_b为tcost的二值化矩阵；当tcost_b＝tcost＝0，即低量值区域，cost(x,y)≤δ·thmax，经过此区域的缝合线视觉上将得到良好的拼接效果。

2)判断缝合线的起点和终点是否均在低量值区(tcost_b＝0)且位于同一连通分量，即判断起点终点间是否存在一条路径。若不存在，表示图中存在一条或多条跨重叠区域的遮挡。按1.1节所述方法查找跨重叠区域的遮挡，并逐步减小此遮挡区域的量值，直到不存在跨重叠区域的遮挡，使起点和终点位于同一连通分量内。此时起点终点所在的连通区域，即求解的缝合线最小连通域。如图3(a)，a所在的区域视为跨重叠区域的遮挡，由图可以看出，点a位于起点到终点的必经之处，逐步降低a所在连通区域的量值，使点a位于低量值区，进而使起点终点位于同一连通域内(如图3(b))。

采用降低遮挡区域量值的方法求解缝合线所在最小连通子区域，连通域内除一些必需较大量值点外(如点a)，大部分像素点量值均小于δ·thmax，而在此区域搜索缝合线，将会得到较佳的拼接效果。

图3(a)、图3(b)、图3(c)为重叠区域量值矩阵效果图，浅色为低量值区，深色为高量值区，颜色越深表示量值越大，实线为预计求解的缝合线。可以看出，b处较c处具有更高度量值，因此图3(b)经过c处的缝合线将比图3(c)经过b处的缝合线得到更好地拼接效果。图3(d)、图3(e)为两幅航拍图像重叠区域误匹配像素点的剔除结果，图3(d)为本发明最小连通域算法处理结果，图3(e)为chon的最小最大误匹配算法处理结果，其中黑色的点表示剔除的配准误差较大的点。可以看出，本发明算法可以剔除更多错误配准量值较大的像素点，进一步缩小了缝合线所在连通区域。

2.2递归回溯最短缝合线搜索

2.2.1递归回溯最短缝合线搜索

为进一步求取最小连通域内起点终点之间的缝合线，本发明提出了以缝合线终点为导向的递归回溯缝合线搜索算法。通过计算各像素点四邻接点到缝合线终点的距离，确定入栈顺序，即搜索方向，并在最小连通域内递归回溯搜索最短缝合线。入栈顺序dir_idx由式(4)计算出的索引值确定：

dir_idx＝index(sort(dist(ad_jpoint(x,y),endpoint))(4)

其中，adj_point(x,y)表示像素点的四个邻接点坐标，endpoint表示缝合线终点坐标，dist()为欧氏距离，sort()表示对四个距离值降序排列，index()为排序的索引值。依据栈‘先进后出’的原则，降序入栈，则每次出栈时，将会优先选取距离缝合线终点最近的点。

依据式(4)的计算结果，优化后当前像素的四邻域像素的入栈顺序如图4所示。其中，以缝合线终点为原点，将二维平面均分为八部分，每一部分对应一种入栈顺序。如此，拼接时，在确定缝合线终点坐标后，即可得到重叠区域各像素点的入栈顺序，递归回溯求解路径。

缝合线搜索流程图如图5所示，在2.1节求解的最小连通域内，由起点递归回溯搜索缝合线，若存在tcost_b＝0的邻接点，则按图4所示的入栈顺序入栈；若不存在，即tcost_b＝1，则表示当前路径不能到达目标节点，回退出栈到上一分支处；如此不断地入栈出栈操作，直到到达目标节点，搜索得到一条最短缝合线结束。缝合线搜索的时间复杂度为o(n)，其中n为最小连通域内像素点的个数。理想情况中，即不存在配准误差，tcost_b为全0矩阵时，求解的缝合线为起点与终点的连线(虚线)；当连线上存在遮挡时，缝合线将自行绕行(实线)，如图6所示。

2.2.2缝合线优化

缝合线实质上为一条无回路路径，而由2.2.1求解的缝合线上可能存在局部小回路，影响图像的拼接效果，从而需要对缝合线进行优化处理。对递归回溯搜索求解缝合线上的像素点进行分析，发现仅存在如下两种情况，a)四邻接点中仅有2个邻接点位于当前所求缝合线上，此时无回路；b)四个邻接点有多于或等于3个邻接点位于当前所求缝合线上，此时有回路。如图7所示。

为消除回路优化缝合线，算法对缝合线上每个像素点，判断缝合线上其邻接像素点的个数，若大于2个，则表示存在局部小回路，此时，按邻接像素点在缝合线上出现的顺序，消除从第一个到最后一个邻接像素点间的像素点(即回路)，遍历缝合线直到消除所有小回路，得到一条无回路路径，即优化后的缝合线。

图8为按本发明递归回溯缝合线搜索方法和chon提出的动态搜索缝合线方法，在图3(d)、图3(e)求解的连通域内搜索缝合线的结果。从图中椭圆区域看出，本发明算法求解的缝合线(实线)，能很好地绕开高量值区域，而chon算法求解的缝合线(虚线)贯穿高量值区，可能出现局部‘错位’现象。

2.3、缝合线连通域再小化

为进一步缩小了缝合线所在的连通区域面积，提高计算效率，本发明在等距线的邻域搜索缝合线(图9)。求解两幅图像中的像素到边界的最小距离，生成距离矩阵，并对两个距离矩阵进行比较，按式(5)(6)计算等距线的邻域：

tcost_dist＝nbh&(～tcost)(6)

其中，dist1、dist2分别表示两幅图像的距离矩阵，distance表示扩展邻域的宽度，其初始值为0，此时nbh为等距线。逐步增大distance,，直到由式(6)计算的tcost_dist矩阵为1的区域存在起点到终点的连通通路。本发明在等距线邻域搜索路径，寻找缝合线，减少计算量的同时，达成了平衡重叠区域分割的目的。

2.4、缝合线搜索算法流程

根据最小连通域求解方法与递归回溯搜索最短路径方法，总结本发明图像拼接缝合线搜索算法如下：

step1.输入图像，计算图像重叠区域、起点和终点；

step2.求解缝合线所在最小连通子区域；

step2.1计算误匹配度量矩阵cost；

step2.2设置起始阈值δ·thmax(thmax为最大值)；

step2.3计算分割矩阵tcost，并计算其二值化矩阵tcost_b。

step2.4对tcost_b矩阵，判断起点终点是否在同一个连通分量中，若不在，则存在跨重叠区域的遮挡，查找并减小遮挡区域误匹配量值，即令cost(x,y)＝cost(x,y)-δth(其中(x,y)∈s，s为跨重叠区域的遮挡区域)，返回步骤step2.3；

step3.缝合线所在连通区域再小化；

step3.1.计算两幅图像的距离矩阵，设distance等于0；

step3.2计算二值矩阵nbh,tcost_dist；

step3.3由起点开始深度遍历，判断在tcost_dist矩阵为1的区域，是否存在一条起点到终点连通通路，若不存在，则扩大等距线邻域宽度，即增加distance，令distance＝distance+δd，返回step3.2；

step4.在求解的最小连通域内，递归回溯搜索最短缝合线；

step5.遍历路径，消除局部小回路，优化缝合线；

下面结合实验对本发明的应用效果作详细的描述。

1、实验结果分析

为验证本发明提出的缝合线检测算法性能，将本发明算法与chon提出的最小最大误匹配的缝合线检测算法进行对比，实验采用了三组图像进行拼接，第一组是某郊区航拍图像，第二组是某水泥厂周边航拍图像，第三组是某平原航拍图像。

为定量评价图像的拼接效果，本发明采用chon提出的visualdiscordance(visd)评价准则，将其平均值(avisd)作为评价缝合线优劣的度量准则。avisd计算过程见式(7)(8)：

cost'＝sortdec{cost(x,y)|(x,y)∈path}(7)

其中cost为式(1)求解的误匹配度量矩阵，cost'是缝合线上像素点量值的降序排列，n为小于路径长度的常量。则绕开遮挡区域的缝合线具有较小的avisd，该评价准则能较好的反映缝合线的拼接效果。

表1给出了本发明方法和两种对比方法在三组图像上的拼接结果实验数据。对比表中方法a和b，可以看出，本发明提出的最小连通域算法较chon提出的最小最大误匹配方法，更好地避免了拼接‘错位’现象，降低了avisd值，拼接效果更佳。同时由于本发明方法剔除了更多的像素点，降低了计算量，因此搜索时间较短。对比分析方法b和方法c，本发明的缝合线搜索算法在视觉上取得了良好的拼接效果，同时算法降低了缝合线搜索的时间复杂度，缩短了搜索时间，提高了拼接效率。

表1三组航拍图像拼接实验数据对比(n表示重叠区域面积)

针对基于缝合线的图像拼接方法在无人机航拍图像拼接处理时存在的局部‘错位’现象，本发明通过消除跨重叠区域遮挡，求解缝合线最小连通域的方式，减少缝合线上视觉可见的不连续现象。由于最小连通域算法计算复杂度较低，且在此连通域内搜索缝合线，计算量减少的同时具有较低的avisd值，因此本发明方法可以取得较好的拼接效果。针对无人机系统处理大量的图像数据时，要求图像拼接算法具有较高的时效性这一问题，本发明进一步提出递归回溯的最短缝合线搜索方法，主动绕开配准误差较大的区域，有效减少了视觉可见的不连续现象，较之所有路径中搜索最短路径作为缝合线的想法，避免了最优问题求解，降低了计算复杂度，具有较好的时效性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。