Quick-SIFT算子下无人机航拍图像拼接方法

本发明涉及航拍图像拼接
技术领域：
，具体涉及一种quick-sift算子下无人机航拍图像拼接方法。
背景技术：
：无人驾驶飞机简称“无人机”，英文缩写为“uav”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。基于无人机光电载荷的巡查技术发展迅速，与卫星遥感技术相比，无人机能够在云下低空作业，减少了云雾遮挡的干扰，可以实现实时图传，迅速获取影像，同时凭借其高机动性能，起飞条件简易，低成本，低损耗等优势，无人机已广泛应用于军事及民用领域。但是对于大范围区域的巡查与侦察，由于受到飞行高度及相机视角局限性的影响，单张航拍图像视野范围较小，获取信息有限，需要将无人机航拍图像以拼接的方式获得该区域的全局信息，因此图像拼接成为提高无人机应用能力与水平的重要技术手段。图像拼接是指将一定数量的包含重叠区域的航拍序列影像进行拼接以获取一幅全景图像的技术方法。拼接图像不仅保留了原始图像的细节信息，还能对拍摄区域进行全局的把握与信息分析。准确快速的图像拼接技术一直是计算机视觉与图像处理的热点问题之一。图像拼接一般来说包含以下几个步骤：图像采集，图像特征提取，图像特征匹配和最后的图像融合。大致流程如下：通过设备采集到一组待拼接的图像，采用不同的方法对图像进行信息提取，然后根据特征信息，完成图像配准，把图像变换到同一个坐标系下，进行图像融合，得到全景拼接图。图像配准是图像拼接的关键，旨在找出两图像中带有相似关系的信息，求出图像间的变换模型，现有的主流技术中，通常采用基于特征的图像配准方法，其中sift作为一种性能优异的特征提取方法，具备出色的尺度不变性与旋转不变性等性能，是当前应用最广泛的特征体方法。针对图像配准，提取出鲁棒性高，运算速度快的特征点，是后续得到良好的图像融合效果的关键。通过分析，sift的改进方法都存在着一种现象：要提高算子的运算速度就必需牺牲其精确性和鲁棒性，反之亦然。针对特定的应用场景，在保证精确性和鲁棒性的前提下，构造出一种更快速的sift算子来提高航拍图像拼接的实时性，是提高无人机巡查与侦察应用水平的重要基础工作。现有sift的改进算法并不能很好适用于无人机航拍图像的拼接问题，这很大程度上是因为没有充分考虑航拍图像的特点。目前大部分无人机在采集鸟瞰图像时，由于航迹规划的需要，飞行高度一般相对稳定不变，采集数据所用云台相机的焦距也固定不变。因此，一般相邻序列航拍图像不存在显著的尺度变化，这使得图像对特征提取算子的需求是以具有旋转不变，光照不变，抗噪稳定等性能为主，对于尺度不变性则要求不高。此外，当航拍图像为野外场景时，图像的细节信息不明显，高频特征少，因此无需在精细的尺度上进行检测。技术实现要素：为解决上述问题，本发明提供了一种quick-sift算子下无人机航拍图像拼接方法，为了兼顾检测特征的计算时间、稳定性和准确性，提出一种quick-sift算子，为无人机航拍图像快速拼接甚至实时在线拼接提供了技术支持，有效改善了现有技术中无人机航拍图像特征检测耗时多的问题、显著提高了拼接效率。为了克服现有技术中的不足，本发明提供了一种quick-sift算子下无人机航拍图像拼接方法的解决方案，具体如下：一种quick-sift算子下无人机航拍图像拼接方法，包括如下步骤：步骤1：图像采集；步骤2：图像配准；步骤3：图像融合。进一步的，所述图像采集包括：利用搭载光学载荷的无人机经过一定路线，拍摄带有重叠部分航拍图像，通过图传设备获取图像；所述图像配准包括：采用基于图像特征的图像配准方法，即首先用quick-sift算子提取两幅图像的特征点，利用ransac特征点进行匹配筛选，得到m个最优的匹配对，m为正整数；所述图像融合包括：利用匹配对数计算出特征点之间的单应性矩阵，对待配准图像进行仿射变换，使之与参考图像进行融合，得到拼接后的图像。进一步的，所述quick-sift算子的构造的方法，包括四个步骤：步骤1-1：尺度空间的极值检测；步骤1-2：关键特征点的定位；步骤1-3：特征点的方向分配；步骤1-4：关键点描述。进一步的，所述尺度空间的极值检测的方式，包括：对原始图像构建高斯金字塔，再由两个相邻的高斯金字塔相减，得到高斯差分尺度空间,即dog差分金字塔，所述对原始图像构建高斯金字塔，再由两个相邻的高斯金字塔相减，得到高斯差分尺度空间的方法，具体如下：首先，利用不同尺度因子的高斯函数对原始图像进行卷积计算；其后对图片进行降采样，通过隔点采样的方式缩小卷积图像的尺寸，得到高斯尺度空间，其原始图像i(x，y)的尺度空间被定义为函数l(x，y，σ)，即log算子，如公式(1)和公式(2)所示：l(x，y，σ)＝g(x，y，σ)*i(x，y)(1)其中x和y分别为原始图像的横坐标和纵坐标，σ为可变的尺度因子的高斯函数，σ越大，图像的平滑程度越大，卷积后的图像越模糊。作差得到的高斯差分尺度空间dog可表示为公式(3)所示：d(x，y，σ)＝(g(x，y，kσ)-g(x，y，σ))*i(x，y)＝l(x，y，kσ)-l(x，y，σ)(3)其中k表示相邻尺度的比例系数，一般取其差分高斯金字塔的构建过程，包括：该高斯差分尺度空间中大小相同的图像组为一阶图像octave，每阶有s层尺度图像，若某阶中首层尺度因子为σ，则同阶中其他层的尺度因子依次乘上比例系数k；下一阶的首层则为上一阶的中间层降采样得到；最后，在高斯差分金字塔上查找潜在的对于尺度和旋转不变的兴趣点，每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，如果在26个点中是最大或最小值时，将作为局部极值点，即兴趣点，其中s为正整数。进一步的，所述quick-sift的金字塔构造可以通过以下三种方式实现：(1)减少金字塔阶数：当航拍图像缩放特征不显著时，可以减少高斯金字塔的阶数；(2)减少金字塔层数：为了检测出对图像缩放稳定的特征点，需要在多尺度图像上进行搜索；(3)选择不同层图像作初始检索层：大尺度对应于轮廓特征，小尺度对应于图像的细节特征。进一步的，所述关键特征点的定位方法，包括：对尺度空间dog函数进行曲线拟合，利用dog函数的泰勒展开式的导数来求得极值。d(x，y，σ)的泰勒展开式为公式(4)所示：对d(x，y，σ)求导，令其导数等于0可求得极值点的精确位置；进一步去除低对比度的关键点和不稳定的边缘响应点。进一步的，所述去除低对比度的关键点和不稳定的边缘响应点的方法，包括：采用特征点处2×2的hessian矩阵h，由于d(x)的主曲率和h的特征值成正比，计算h矩阵秩的平方与行列式值的比值与阈值作比较，剔除不确定点。进一步的，所述特征点的方向分配的方法，包括：利用图像的局部特征用公式(5)为给每一个关键点分配一个基准方向和梯度：其中，m(x，y)表示在图像(x，y)上模的值，θ(x，y)表示(x，y)的梯度方向，对之前检测到的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征，并按照1.5σ的高斯分布加成；在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；梯度直方图将0～360度的方向范围分为36个柱，其中每柱10度。进一步的，所述关键点描述的方法，包括：首先将图像旋转至特征点主方向，从而使得图像不受旋转因素的影响。然后以特征点为中心的附近领域划分为4×4窗口，每个窗口计算8个方向的梯度信息，并进行统计和归一化处理。这样一个特征点可以产生128维的特征描述量。得到特征点后，需要对两幅图像的特征点集合进行匹配筛选。ransac是一种参数估计算法，其主要思想是：从样本数据集中随机选取一个子集，对该子集进行参数估计，从而确定参数估计模型。将所有样本数据集带入该模型，对其进行验证，根据损失函数得到一致性集合。根据样本数据集中符合一致性集合的点集数量大小，确定该模型的正确性。通过多次的假设与检验，最后得到一个全局最优的模型参数。在quick-sift中使用ransac算法，去除错误的配准，从而提高算法的匹配正确率。在由两幅图像的特征点描述符对图像进行配准后，需要根据图像间的空间变换关系对图像进行拼接融合。对不同区域图像进行权重赋值，然后根据权重值进行叠加平均得到像素值，取两邻近的图像权重取值分别为w1和w2，其中w1，w2都满足在(0,1)范围内，且满足w1+w2＝1。假设待拼接的图像分别为im1i,j，im2i,j，且设δi,j是拼接融合后的图像。拼接重叠后的像素值公式所示。本发明的有益效果为：1.本发明提出quick-sift算子，通过减小差分尺度空间规模，显著降低了算法复杂度，能够获得匹配稳健、鲁棒性高的特征点。2.本发明的方法计算简便，运算速度快，匹配耗时只有经典sift的1/10，为无人机航拍图像快速拼接甚至实时在线拼接提供了技术支持。附图说明图1是本发明的高斯金字塔与dog金字塔的原理示意图。图2是本发明的兴趣点搜索的原理示意图。图3是本发明的梯度方向直方图。图4是本发明的算法流程图。图5是本发明的实验图像，其中：图5(a)为第一组图像，图5(b)为第二组图像。图6是本发明的第一组图像的配准效果图。图7是本发明的第一组图像的拼接效果图。图8是本发明的第二组图像的配准效果图。图9是本发明的第二组图像的拼接效果图。具体实施方式目前大部分无人机在采集鸟瞰图像时，由于航迹规划的需要，飞行高度一般相对稳定不变，采集数据所用云台相机的焦距也固定不变。因此，一般相邻序列航拍图像不存在显著的尺度变化，这使得图像对特征提取算子的需求是以具有旋转不变，光照不变，抗噪稳定等性能为主，对于尺度不变性则要求不高。此外，当航拍图像为野外场景时，图像的细节信息不明显，高频特征少，因此无需在精细的尺度上进行检测。基于以上分析，针对尺度变化不大的无人机航拍图像拼接的特点，本发明提出了quick-sift算子，通过缩减尺度空间的复杂度来降低sift算子的尺度不变性，减少计算成本，使其更适合于航拍图像快速甚至实时拼接。下面将结合附图和实施例对本发明做进一步地说明。如图1-图4所见，quick-sift算子下无人机航拍图像拼接方法，包括：步骤1：图像采集；步骤2：图像配准；步骤3：图像融合。所述图像采集包括：利用搭载光学载荷的无人机经过一定路线，拍摄带有重叠部分航拍图像，通过图传设备获取图像；所述图像配准包括：采用基于图像特征的图像配准方法，即首先用quick-sift算子提取两幅图像的特征点，利用ransac特征点进行匹配筛选，得到m个最优的匹配对，m为正整数；所述图像融合包括：利用匹配对数计算出特征点之间的单应性矩阵，对待配准图像进行仿射变换，使之与参考图像进行融合，得到拼接后的图像。所述quick-sift算子的构造的方法，包括四个步骤：步骤1-1：尺度空间的极值检测；步骤1-2：关键特征点的定位；步骤1-3：特征点的方向分配；步骤1-4：关键点描述。所述尺度空间的极值检测的方式，包括：对原始图像构建高斯金字塔，再由两个相邻的高斯金字塔相减，得到高斯差分尺度空间(difference-of-gaussian),即dog差分金字塔，所述对原始图像构建高斯金字塔，再由两个相邻的高斯金字塔相减，得到高斯差分尺度空间的方法，具体如下：首先，利用不同尺度因子的高斯函数对原始图像进行卷积计算；其后对图片进行降采样，通过隔点采样的方式缩小卷积图像的尺寸，得到高斯尺度空间，其原始图像i(x，y)的尺度空间被定义为函数l(x，y，σ)，即log算子，如公式(1)和公式(2)所示：l(x，y，σ)＝g(x，y，σ)*i(x，y)(1)其中x和y分别为原始图像的横坐标和纵坐标，σ为可变的尺度因子的高斯函数，σ越大，图像的平滑程度越大，卷积后的图像越模糊。作差得到的高斯差分尺度空间dog可表示为公式(3)所示：d(x，y，σ)＝(g(x，y，kσ)-g(x，y，σ))*i(x，y)＝l(x，y，kσ)-l(x，y，σ)(3)其中k表示相邻尺度的比例系数，一般取其差分高斯金字塔的构建过程如图1所示，包括：该高斯差分尺度空间中大小相同的图像组为一阶图像octave，每阶有s层尺度图像，若某阶中首层尺度因子为σ，则同阶中其他层的尺度因子依次乘上比例系数k；下一阶的首层则为上一阶的中间层降采样得到；最后，在高斯差分金字塔上查找潜在的对于尺度和旋转不变的兴趣点，如图2所示，每一个采样点要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，如果在26个点中是最大或最小值时，将作为局部极值点，即兴趣点，其中s为正整数。所述quick-sift的金字塔构造可以通过以下三种方式实现：(1)减少金字塔阶数：当航拍图像缩放特征不显著时，可以减少高斯金字塔的阶数；降低阶数后，不仅减少了对图像的降采样次数，在搜索极值点时，还跳过了对高阶图像的极值比较，减少图像的缩放变化，提升计算速度；(2)减少金字塔层数：为了检测出对图像缩放稳定的特征点，需要在多尺度图像上进行搜索；减少金字塔的层数相当于减少图像的尺度数量，节省了卷积计算，缩短了特征点检测时间；(3)选择不同层图像作初始检索层：大尺度对应于轮廓特征，小尺度对应于图像的细节特征。由于在匹配航拍图像特别是野外场景时，由于缺乏细节特征信息，并不需要检测最精细尺度图像上的特征点。因此可以选择从第二层图像开始检测，进一步节省特征提取的时间。在高斯差分尺度空间建立过程中，阶数、层数和初始检索层数的选择会对整个算法的精准性和复杂性有不同程度的影响。减少金字塔阶数只是减少对高阶小尺寸图像的极值点检测计算量；金字塔层数减少的不仅有高阶小尺寸图像，还包含对低阶大尺寸图像的检测计算量，初始检索层的选择原理与减少层数类似。因此，在同时减少金字塔的层数与阶数时，对金字塔阶数减少的幅度相对较大，才能显著提升特征点提取速度。所述关键特征点的定位方法，包括：由于初步得到的兴趣点为局部极值点，因此需要拟合三维二次函数来精确确定关键点的位置及尺度。为了提高关键点的稳定性，需要对尺度空间dog函数进行曲线拟合，利用dog函数的泰勒展开式的导数来求得极值。d(x，y，σ)的泰勒展开式为公式(4)所示：对d(x，y，σ)求导，令其导数等于0可求得极值点的精确位置；由于dog算子会产生较强的边缘响应，所以还会进一步去除低对比度的关键点和不稳定的边缘响应点，从而增强匹配稳定性，提高抗噪声能力。所述去除低对比度的关键点和不稳定的边缘响应点的方法，包括：主要采用特征点处2×2的hessian矩阵h，由于d(x)的主曲率和h的特征值成正比，可以计算h矩阵秩的平方与行列式值的比值与阈值作比较，剔除不确定点。所述特征点的方向分配的方法，包括：为了使描述符具有旋转不变性，需要利用图像的局部特征用公式(5)为给每一个关键点分配一个基准方向和梯度：其中，m(x，y)表示在图像(x，y)上模的值，θ(x，y)表示(x，y)的梯度方向，对之前检测到的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征，并按照1.5σ的高斯分布加成；在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；梯度直方图将0～360度的方向范围分为36个柱，其中每柱10度；如图3所示，直方图的峰值方向代表了关键点的主方向，图中为了简化只画了八个方向的直方图。所述关键点描述的方法，包括：首先将图像旋转至特征点主方向，从而使得图像不受旋转因素的影响。然后以特征点为中心的附近领域划分为4*4窗口，每个窗口计算8个方向的梯度信息，并进行统计和归一化处理。这样一个特征点可以产生128维的特征描述量。得到特征点后，需要对两幅图像的特征点集合进行匹配筛选。ransac是一种参数估计算法，其主要思想是：从样本数据集中随机选取一个子集，对该子集进行参数估计，从而确定参数估计模型。将所有样本数据集带入该模型，对其进行验证，根据损失函数得到一致性集合。根据样本数据集中符合一致性集合的点集数量大小，确定该模型的正确性。通过多次的假设与检验，最后得到一个全局最优的模型参数。在quick-sift中使用ransac算法，去除错误的配准，从而提高算法的匹配正确率。在由两幅图像的特征点描述符对图像进行配准后，需要根据图像间的空间变换关系对图像进行拼接融合。对不同区域图像进行权重赋值，然后根据权重值进行叠加平均得到像素值，取两邻近的图像权重取值分别为w1和w2，其中w1，w2都满足在(0,1)范围内，且满足w1+w2＝1。假设待拼接的图像分别为im1i,j，im2i,j，且设δi,j是拼接融合后的图像。拼接重叠后的像素值公式所示。以下用具体实例来说明本发明：如图4所示，本实施例提供一种无人机航拍图像快速拼接方法，包括如下步骤：1.图像采集：利用搭载光学载荷的无人机经过一定路线，拍摄带有重叠部分航拍图像，通过图传平台获取图像，如图5所示，输入两幅待拼接的无人机航拍图像分别作为参考图像f1(x，y)和待配准图像f2(x，y)；2.图像配准：采用基于图像特征的图像配准方法，运用quick-sift算子对参考图像f1(x，y)和待配准图像f2(x，y)进行处理，提取出两图的特征点，利用ransac特征点进行匹配筛选，得到m个最优的匹配对，如图6和图8所示；3.图像融合：利用匹配对数计算出特征点之间的单应性矩阵，对待配准图像f2(x，y)进行仿射变换，使之与参考图像f1(x，y)进行融合，得到如图7和图9拼接后的图像。下表表1为本发明的quick-sift算子与现有技术的sift、surf、orb的检测性能比较：表1特征点算子性能对比特征算子筛选后匹配点数/对特征提取耗时/秒sift5114.14surf1760.54orb210.21quick-sift1100.47由上表1可见，sift算子的匹配点数目最多，消耗时间最长，远远达不到实时拼接的要求，orb算子结合了fast的检测使其匹配耗时显著减少，但匹配点数过少，只有21个，构成的单应性矩阵严重影响图像拼接的质量。由于quick-sift的特征点描述子有128维，是surf的两倍，提取的特征点更加准确有效，且匹配速度优于surf。本发明算法集合了sift与surf的优点，其性能优于以上三种算子。以上以用实施例说明的方式对本发明作了描述，本领域的技术人员应当理解，本公开不限于以上描述的实施例，在不偏离本发明的范围的情况下，可以做出各种变化、改变和替换。当前第1页12