一种基于图像卷积的无人机图像拼接方法与流程

1.本发明涉及一种基于图像卷积的无人机图像拼接方法，属于信息技术领域。


背景技术：

2.近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。
3.专利cn 201510145429.4(申请名称：一种基于控制点的多分辨率图像拼接方法，申请日：2015.03.30，申请人：中国人民解放军63655部队)提出了一种基于控制点的多分辨率图像拼接方法，包括：1)无人机航拍序列图像的获取；利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配；3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像；再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。但由于将无人机采集图像进行拼接的过程中，经常会出现图像特征稀少而无法进行拼接的情况，该方案没有解决该技术问题。
4.因此，如何有效解决无人机采集图像的拼接过程中由于图像特征稀少而无法拼接的技术问题，已成为现有技术中亟待解决的技术问题之一。


技术实现要素：

5.有鉴于此，本发明的目的是提供一种基于图像卷积的无人机图像拼接方法，能有效解决无人机采集图像的拼接过程中由于图像特征稀少而无法拼接的技术问题。
6.为了达到上述目的，本发明提供了一种基于图像卷积的无人机图像拼接方法，包括：
7.步骤一、采用图像卷积算法，使用卷积核将无人机采集到的每张原始图像的像素值进行调整以增强图像特征，从而获得每张原始图像对应的特征增强图像；
8.步骤二、将所有特征增强图像按照无人机采集的时间戳进行排序，然后构建图像拼接网络，并逐一选取每2张时间相邻的特征增强图像输入图像拼接网络，所述图像拼接网络用于将输入的2张图像合成1张拼接图输出，其处理流程如下：检测输入的2张图像之间的重叠区域，分别从2张图像的重叠区域中提取若干特征点，并从特征点中确定2张图像的匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，即拼接图，最后输出拼接图；
9.步骤三、从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入图像拼接网络中，以将选取的2张拼接图再继续拼接成1张图，这样直至将无人机采集到的所有图像最终合成1张图。
10.与现有技术相比，本发明的有益效果是：本发明采用图像卷积算法来对无人机采集到的原始图像进行预处理，从而可以达到增强图像特征的目的，有效解决因图像特征稀少而无法拼接的问题；本发明还使用相位算法来获取图像的重叠区域，相较于现有技术中一般利用无人机的飞行状态等参数来估算图像之间的重叠区域，本发明可以更精确的基于坐标点来计算得到图像之间的重叠区域，并针对重叠区域进行特征检测和匹配，从而有效降低计算工作量和提高准确率。
附图说明
11.图1是本发明一种基于图像卷积的无人机图像拼接方法的流程图。
12.图2是图像拼接网络的处理流程中，检测输入的2张图像之间的重叠区域的具体操作流程图。
13.图3是图像拼接网络的处理流程中，根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图的具体操作流程图。
具体实施方式
14.为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
15.如图1所示，本发明一种基于图像卷积的无人机图像拼接方法，包括：
16.步骤一、采用图像卷积算法，使用卷积核将无人机采集到的每张原始图像的像素值进行调整以增强图像特征，从而获得每张原始图像对应的特征增强图像；
17.步骤二、将所有特征增强图像按照无人机采集的时间戳进行排序，然后构建图像拼接网络，并逐一选取每2张时间相邻的特征增强图像输入图像拼接网络，所述图像拼接网络用于将输入的2张图像合成1张拼接图输出，其处理流程如下：检测输入的2张图像之间的重叠区域，分别从2张图像的重叠区域中提取若干特征点，并从特征点中确定2张图像的匹配点，然后根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，即拼接图，最后输出拼接图；
18.步骤三、从图像拼接网络输出的所有拼接图中按顺序逐一选取每2张拼接图，并继续输入图像拼接网络中，以将选取的2张拼接图再继续拼接成1张图，这样直至将无人机采集到的所有图像最终合成1张图。
19.步骤一可以进一步包括有：
20.设置1个四方形的网格结构(即n*n的矩阵)作为卷积核，卷积核上每个方格都设定一个权重值，权重值可以根据实际业务需要而设定，然后将卷积核围绕中心旋转180度，滑动卷积核，使得卷积核的中心按顺序逐一放置于原始图像的每个像素点上，并将原始图像上被卷积核的中心所覆盖的像素值调整为卷积核上的每个权重值和被其覆盖的原始图像的像素值的乘积总和，调整后的原始图像即是特征增强图像。
21.卷积核(算子)是用来做图像处理时的矩阵，图像处理时也称为掩膜，是与原图像
做运算的参数。通过本发明中的卷积运算，可以增大原始图像中的每一个像素值与周边像素值的方差，轻则起到锐化作用，重则成了边缘提取，从而达到增强图像特征的目的。在无人机拍摄图像的过程中，会存在很多图像特征不明显的情况，因此本发明采用图像卷积算法可以很好的增强图像特征。每个像素值的调整计算公式可以如下：其中，g(i，j)是调整后的第i行第j列的像素值，h(k，l)是卷积核上第k行第l列的权重值，f(i-k，j-l)是原始图像上第i-k行第j-l列的像素值，卷积核是n*n的矩阵，n的值可以根据实际业务需要而设定。
22.传统的基于sift特征图像拼接算法是首先在整副图像上进行特征检测，然后根据这些检测到的特征点进行匹配，而不是基于图像之间的重叠区域进行检测，因此会造成检测和匹配过程相当耗时而且很容易出错。为了解决这个问题，本发明进一步采用基于相位相关算法来确定图像之间的重叠区域，然后在重叠区域进程特征检测和匹配。如图2所示，在图像拼接网络的处理流程中，检测输入的2张图像之间的重叠区域，可以进一步包括有：
23.步骤a1、使用傅里叶变换将输入的每张图像变换到频域，再使用归一化的互功率谱计算2张图像之间的偏移系数p：其中，分别是输入的2张图像i1(x，y)、i2(x，y)傅里叶变换后得到的频域图，(x，y)表示图像i1(x，y)或i2(x，y)中的一个坐标点，(u，v)是(x，y)对应的频域坐标，是的复共轭，表示交叉功率谱；
24.步骤a2、将偏移系数p进行傅里叶逆变换，获得二维冲击函数c(x，y)；
25.步骤a3、提取图像i1(x，y)中每个点的坐标，并根据坐标所对应的二维冲击函数的峰值，判断所提取坐标点是否处于重叠区域内：如果坐标对应的冲击函数的峰值是1，则该坐标点处于重叠区域内；如果坐标对应的冲击函数的峰值是0，则该坐标点不处于重叠区域内。
26.设定2张图像为i1(x,y)和i2(x,y)，他们之前的偏移关系为i2(x,y)＝i1(x+δx,y+δy)，则经过傅里叶变换后为：归一化的互功率谱为：交叉功率谱的相位即为2张图像之间的相位差，对上式进行傅里叶逆变换可以计算得到一个二维的冲击函数，冲击函数中的峰值大小表示2张图像的相关性，峰值为1的图像区域表示为2张图像的重叠区域，峰值为0的图像区域表示为2张图像的非重叠区域。
27.图像拼接网络还可以使用基于sift特征点提取算法，分别对2张图像在重叠区域进行特征点提取，具体实现过程为：构建高斯差分金字塔(dog金字塔)；进行空间极值点检测，将每一个像素点和它所有的相邻点进行比较，从而检测获得极值点；去除不稳定和错误检测出的极值点，所剩下的极值点即是特征点。在构建高斯差分金字塔中可以采用下采样
图像，在下采样图像中提取的极值点对应在原始图像中的确切位置。
28.图像拼接网络的处理流程中，确定2张图像的匹配点的具体过程可以是：
29.依次选取其中1张图像上的每个特征点，然后计算选取的特征点和另1张图像的每个特征点之间的欧式距离，并从中挑选欧式距离最小、且欧式距离小于设定阈值的特征点，所挑选的特征点和选取特征点是1对匹配点。欧式距离越小则相似度越高，当欧式距离小于设定的阈值时可以判定为匹配成功。
30.如图3所示，在图像拼接网络的处理流程中，根据匹配点的图像坐标，计算获得2张图像之间的投影矩阵，并据此将2张图像拼接合成1张图，可以进一步包括有；
31.步骤b1、采用基于svd分解的方法，计算2张图像之间的投影矩阵h：其中，(x
1a
，y
1a
)、(x
2a
，y
2a
)分别是图像i1、i2中的1对匹配点的坐标，
32.步骤b2、计算i2中每个像素点在拼接后的坐标：其中，(x2，y2)是i2中任一像素点的坐标，(x
′2，y
′2)是i2中坐标为(x2，y2)的像素点在拼接后的坐标，然后按照拼接后的坐标，将i2的每个像素值复制到i1对应的坐标点上，即将i2的坐标点(x2，y2)的像素值复制到i1的坐标点(x
′2，y
′2)上，复制后得到的i1即是2张图像合成后的拼接图。
33.图像拼接网络在将2张图像拼接合成1张图后，还可以继续对拼接之后的图像纹理进行融合。因为不同视角和方向拍摄的图像对应的光照和颜色会有一定的差别，为了优化拼接缝隙和得到理想的拼接效果，本发明采用加权平滑算法对拼接之后的图像进行处理，从而消除拼接缝隙对图像的影响。图像拼接网络在将2张图像拼接合成1张图后，还包括有：
34.调整拼接图的像素值：其中，图像i1和i2被拼接合成1张图，s
′
(x
p
，y
p
)是拼接图上的坐标点(x
p
，y
p
)调整后的像素值，当坐标点(x
p
，y
p
)拼接前仅属于i1图像时，s
′
(x
p
，y
p
)是i1上坐标点(x
p
，y
p
)的像素值s1(x
p
，y
p
)；当坐标点(x
p
，y
p
)拼接前属于i1和i2图像的重叠区域时，s
′
(x
p
，y
p
)是i1上坐标点(x
p
，y
p
)的像素值s1(x
p
，y
p
)和i2上坐标点(x
p
，y
p
)的像素值s2(x
p
，y
p
)的加权之和，权重ω1的值由1变化到0，权重ω2的值由0变化到1；当坐标点(x
p
，y
p
)拼接前仅属于i2图像时，s
′
(x
p
，y
p
)是i2上坐标点(x
p
，y
p
)的像素值s2(x
p
，y
p
)。
35.由于无人机采集到的原始图像数量较多，因此本发明可以采用并行化的处理方法来完成对所有图像的拼接操作。首先，基于图像卷积算法，采用并行化的处理方法，将所有原始图像进行卷积计算，获得分别对应的特征增强图像；然后，将卷积计算后得到的特征增
强图像按照无人机采集的时间戳来顺序保存，并按照一定的时间间隔将所有特征增强图像均匀的分成若干份，且每份包含相同数量的、并按照时间顺序存储的特征增强图像；再采用并行化的处理方法，并行的对每份中的所有特征增强图像两两进行拼接，从而直至所有图像被合成1张图。
36.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。