一种改进AKAZE特征的无人机影像匹配方法

一种改进akaze特征的无人机影像匹配方法
技术领域
1.本发明属于无人机影像匹配技术领域，涉及一种改进akaze特征的无人机影像匹配方法，具体涉及一种利用akaze算法检测特征，并对其构建bebli d描述符进行泥石流影像匹配方法。


背景技术：

2.随着无人机技术的快速发展，基于无人机影像构建地面三维场景成为一种非常便捷的方式，使其成为滑坡、泥石流等应急救灾的重要手段之一。然而，受到传感器视野、拍摄角度、平台运动等的限制，通常需要拍摄上百张甚至上千张才能完整覆盖灾害区域，这就需要将不同位置不同视角拍摄的影像数据进行匹配。相较于其他影像，无人机影像通常具有较高的空间分辨率，获取到的地物细节信息较多，这极大的增加了影像匹配的难度。相较于人工地物较为丰富的影像，泥石流等自然地貌分布为主的影像具有地形起伏变化大、地貌复杂多变、纹理重复或纹理单一、不同地物边界模糊等特点，特征提取和匹配时难度更大，出现错误匹配的概率也更大。在进行无人机数据处理时，包括图像拼接、动态恢复结构、稠密三维场景重构等，匹配是基础与前提，因此，提高匹配的质量与速度具有极其重要的意义。
3.目前常用的无人机影像匹配主要是基于影像特征的匹配，其实质是通过识别特征点、特征线或特征面并对其进行描述，再通过计算相似性测度寻找同名特征。根据局部特征匹配算法构建尺度空间方法的异同，目前研究和应用最为广泛的特征点提取和匹配算法主要分为两类，第一类利用高斯核函数构建线性尺度空间，对图像进行高斯平滑，造成轮廓细节信息丢失，边界模糊，不同尺度的特征点稳定性降低，典型代表有sift(scale invariant feature transform)算法、surf(speeded up robust features)算法、orb(oriented fast and rotated brief)算法、harris算法等；第二类是利用非线性扩散滤波的方法构建非线性尺度空间，自适应滤除噪声和低频信息的同时，保留图像轮廓的关键特征信息，匹配效果及特征定位准确性得到显著提高，但计算时间复杂度较高，运行效率明显低于其他算法，典型代表有kaze算法和accelerated-kaze(akaze)算法。
4.鉴于akaze算法在保留图像轮廓信息方面的优势，加上该算法的计算速度相较于sift和surf算法更快，已被学者们广泛研究、改进并应用于各类影像匹配和配准中。薄单,李宗春,王晓南等的《适用于倾斜影像的加速kaze-sift特征提取算法》构建了akaze-sift算法，采用akaze算子进行特征检测，结合sift描述符进行特征描述，应用于无人机倾斜影像的特征匹配，克服了akaze算法原有描述符m-ldb稳定性较弱的问题，相较于akaze算法，匹配召回率及精准率均得到提高，但是匹配时间复杂度也略有升高。邢长征,李思慧的《基于akaze的bold掩码描述符的匹配算法的研究》提出基于akaze的bold掩码描述符的匹配算法，鲁棒性相较akaze算法有巨大的提升，但匹配速度稍有下降。dan li,qiannan xu,wennian yu等的《srp-akaze:an improved accelerated kaze algorithm based on sparse random projection》提出了srp-akaze算法进行影像的匹配，在akaze算法完成特
征点检测的基础上，进一步基于稀疏随机投影(sparse random projection,srp)策略构建了srp-sift描述子来描述特征点，该方法既保留了akaze算法在特征检测方面的高效性优势，又具有sift描述子的识别能力和稳定性，同时srp策略还降低了特征向量的维数，大大降低了计算复杂度，使得计算效率接近akaze。夏宇的《基于akaze算法的三维重建研究》提出了在构建非线性尺度空间步骤中使用charbonnier扩散方程对akaze算法优化方法，在不同程度的噪声、尺度变化及旋转变换情况下，引入charbonnier滤波后检测出的特征点更加准确，噪声数目更少，平均正确匹配率提高了2％左右，图像匹配所花费的时间略有降低。沈学利，陈鑫彤的《三元组描述符的特征匹配算法》利用三元组算法建立二进制描述符latch(learned arrangements of three patch codes)，与akaze算法结合提出akaze-latch算法，进行影像匹配实验，发现该方法比原akaze算法匹配正确率提升了10％，运行速度提升7％，具有更好的鲁棒性和实时性。吴禄慎,陈小杜的《一种改进akaze特征和ransac的图像拼接算法》通过搭建l2-net网络结构在数据集gl3d上训练了一种通用cnn描述符代替传统m-ldb描述符，该方法配准精度高于传统akaze算法，但该描述子的计算时间明显增多。李瑞祥,赵海涛,葛小三等的《多匹配策略融合的无人机影像匹配方法》采用rootsift描述符，与akaze算法结合，进一步融合最近邻距离比值、双向匹配和余弦相似度约束等多种匹配策略进行无人机影像特征匹配，得到了较高的匹配正确率和精度，但整体计算时间相较于akaze算法却有所增加。
5.在采用akaze特征进行影像匹配时，以上几种改进akaze的方法准确率有所提升，但是整体计算时间复杂度高，时效性较低，在应用于灾害应急等场景时还难以满足对数据自动化处理时的速度要求。因此如何克服现有技术的不足是目前无人机影像匹配技术领域亟需解决的问题。


技术实现要素：

6.本发明的目的是为了解决现有技术的不足，提供一种利用bebli d描述符改进akaze特征进行泥石流影像匹配的方法，将akaze特征检测算法与增强有效二进制局部特征描述符(boosted efficient binary local image descriptor，beblid)相结合，提出akaze-bebllid算法，应用于泥石流区无人机遥感影像匹配，进一步引入运动平滑统计策略和核线约束剔除错误匹配点并提纯，能更快速得到精度较高的匹配结果。
7.为实现上述目的，本发明采用的技术方案如下：
8.一种改进akaze特征的无人机影像匹配方法，包括如下步骤：
9.步骤(1)，检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
10.步骤(2)，对检测到的特征点构建beblid二进制描述符；
11.步骤(3)，汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
12.步骤(4)，基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
13.步骤(5)，引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
14.进一步，优选的是，步骤(1)中，akaze的特征点检测是通过寻找不同尺度归一化后
的hessian局部极大值点来实现；在寻找极值点时，每一个像素点和它上下2层及本层，共26个相邻点比较，当其大于所有26个相邻点时，即为极值点；在找到特征点后，再进行亚像素的精确定位。在特征点处使用二阶泰勒展开式，内插得到亚像素精确定位解作为特征点。
15.进一步，优选的是，步骤(2)中，构建beblid二进制描述符进行描述时，采用的特征提取函数f(x)定义如式(8)所示；
[0016][0017]
式中：i(t)是像素t的灰度值；r(p1,s)是中心位于p1，尺寸为s的方形区块；r(p2,s)是中心位于p2，尺寸为s的方形区块；
[0018]
给定阈值t，对f(x)进行阈值判断，得到公式(9)中的特征h(x)≡hk(x；f,t)；
[0019][0020]
最后将-1转化为了0，+1转化为了1，得到beblid二进制描述符。
[0021]
进一步，优选的是，步骤(4)中，基于gms方法划分网格，统计匹配点邻域内的支持度si，当si大于α时，mi是正确匹配，将其保留，si小于α时，mi是错误匹配，将其剔除；
[0022][0023]
β为超参数，kn表示邻域总匹配对数量。
[0024]
进一步，优选的是，β取值为8。
[0025]
进一步，优选的是，步骤(5)中，通过鲁棒算法ransac方法计算基础矩阵时，利用通过8对以上同名点计算基本矩阵中的未知参数；所述的核线约束条件为点到核线的最大距离设为2个像素。
[0026]
本发明同时提供改进akaze特征的无人机影像匹配系统，包括：
[0027]
第一处理模块，用于检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
[0028]
第二处理模块，用于对检测到的特征点构建beblid二进制描述符；
[0029]
初步匹配模块，用于汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
[0030]
第三处理模块，用于基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0031]
最终匹配模块，用于引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0032]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述基于改进akaze特征的无人机影像匹配方法的步骤。
[0033]
本发明另外提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述改进akaze特征的无人机影像匹配方法的步骤。
[0034]
本发明中，左右影像是个相对概念，在无人机影像拍摄中具有一定重叠度的两张照片被称为1个立体像对，两张照片分别称为左、右影像。
[0035]
本发明与现有技术相比，其有益效果为：
[0036]
泥石流分布区地形起伏大、沟壑纵深、影像局部存在阴影，该地区无人机影像在采用akaze算法进行匹配时，效果好但计算效率较低，针对现有技术存在的问题，本发明提出一种将akaze特征检测算法与二进制描述符beblid相结合并融合网格运动统计(gms)策略的无人机影像特征匹配算法。首先使用akaze算法构建非线性尺度空间来检测局部稳定特征，构建二进制描述符beblid，接着用暴力匹配法完成初步匹配，再用网格运动统计(gms)方法进行第一次粗差剔除，最后加入核线约束，进一步提纯内点，得到可靠匹配结果。将本发明算法与经典sift算法、orb算法、akaze算法、akaze-latch算法进行实验对比分析，结果表明本发明方法匹配正确率与akaze算法相差不大，匹配速度较akaze算法提升了40％左右，与orb算法速度接近，正确匹配点对数量相较几种对比方法都明显提高，且匹配点空间分布分散均匀，具有明显的优势和实用性。
附图说明
[0037]
图1为影像匹配流程图；
[0038]
图2为beblid描述符提取示意图；其中，每对实线方框与虚线方框为弱学习方法生成的不同尺寸的窗口对，f(x)为特征提取函数，t为阈值，h(x)为特征；点划线表示其中一个正确的匹配对，实线表示该匹配对邻域内正确的匹配对，虚线表示错误匹配对。
[0039]
图3为图像网格化及匹配点对示意图；
[0040]
图4为实验数据图；注：实验数据主要选取所拍摄低空遥感影像集中明显存在阴影遮挡区、地形起伏大、沟壑纵深的影像对；
[0041]
图5为特征匹配结果；
[0042]
图6为匹配效率对比结果；
[0043]
图7是本发明改进akaze特征的无人机影像匹配系统的结构示意图；
[0044]
图8为本发明电子设备结构示意图。
具体实施方式
[0045]
下面结合实施例对本发明作进一步的详细描述。
[0046]
本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。
[0047]
实施例1
[0048]
一种改进akaze特征的无人机影像匹配方法，包括如下步骤：
[0049]
步骤(1)，检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
[0050]
步骤(2)，对检测到的特征点构建beblid二进制描述符；
[0051]
步骤(3)，汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
[0052]
步骤(4)，基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0053]
步骤(5)，引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一
步提纯内点，然后得到正确匹配结果。
[0054]
实施例2
[0055]
一种改进akaze特征的无人机影像匹配方法，包括如下步骤：
[0056]
步骤(1)，检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
[0057]
步骤(2)，对检测到的特征点构建beblid二进制描述符；
[0058]
步骤(3)，汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
[0059]
步骤(4)，基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0060]
步骤(5)，引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0061]
步骤(1)中，akaze的特征点检测是通过寻找不同尺度归一化后的hessian局部极大值点来实现；在寻找极值点时，每一个像素点和它上下2层及本层，共26个相邻点比较，当其大于所有26个相邻点时，即为极值点；在找到特征点后，再进行亚像素的精确定位。在特征点处使用二阶泰勒展开式，内插得到亚像素精确定位解作为特征点。
[0062]
步骤(2)中，构建beblid二进制描述符进行描述时，采用的特征提取函数f(x)定义如式(8)所示；
[0063][0064]
式中：i(t)是像素t的灰度值；r(p1,s)是中心位于p1，尺寸为s的方形区块；r(p2,s)是中心位于p2，尺寸为s的方形区块；
[0065]
给定阈值t，对f(x)进行阈值判断，得到公式(9)中的特征h(x)≡hk(x；f,t)；
[0066][0067]
最后将-1转化为了0，+1转化为了1，得到beblid二进制描述符。
[0068]
步骤(4)中，基于gms方法划分网格，统计匹配点邻域内的支持度si，当si大于α时，mi是正确匹配，将其保留，si小于α时，mi是错误匹配，将其剔除；
[0069][0070]
β为超参数，kn表示邻域总匹配对数量。
[0071]
实施例3
[0072]
一种改进akaze特征的无人机影像匹配方法，包括如下步骤：
[0073]
步骤(1)，检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
[0074]
步骤(2)，对检测到的特征点构建beblid二进制描述符；
[0075]
步骤(3)，汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
[0076]
步骤(4)，基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0077]
步骤(5)，引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0078]
步骤(1)中，akaze的特征点检测是通过寻找不同尺度归一化后的hessian局部极大值点来实现；在寻找极值点时，每一个像素点和它上下2层及本层，共26个相邻点比较，当其大于所有26个相邻点时，即为极值点；在找到特征点后，再进行亚像素的精确定位。在特征点处使用二阶泰勒展开式，内插得到亚像素精确定位解作为特征点。
[0079]
步骤(2)中，构建beblid二进制描述符进行描述时，采用的特征提取函数f(x)定义如式(8)所示；
[0080][0081]
式中：i(t)是像素t的灰度值；r(p1,s)是中心位于p1，尺寸为s的方形区块；r(p2,s)是中心位于p2，尺寸为s的方形区块；
[0082]
给定阈值t，对f(x)进行阈值判断，得到公式(9)中的特征h(x)≡hk(x；f,t)；
[0083][0084]
最后将-1转化为了0，+1转化为了1，得到beblid二进制描述符。
[0085]
步骤(4)中，基于gms方法划分网格，统计匹配点邻域内的支持度si，当si大于α时，mi是正确匹配，将其保留，si小于α时，mi是错误匹配，将其剔除；
[0086][0087]
β为超参数，kn表示邻域总匹配对数量。
[0088]
β取值为8。
[0089]
步骤(5)中，通过鲁棒算法ransac方法计算基础矩阵时，利用通过8对以上同名点计算基本矩阵中的未知参数；所述的核线约束条件为点到核线的最大距离设为2个像素。
[0090]
实施例4
[0091]
如图7所示，改进akaze特征的无人机影像匹配系统，包括：
[0092]
第一处理模块101，用于检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；
[0093]
第二处理模块102，用于对检测到的特征点构建beblid二进制描述符；
[0094]
初步匹配模块103，用于汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；
[0095]
第三处理模块104，用于基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0096]
最终匹配模块105，用于引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0097]
在本发明实施例中，第一处理模块101检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；第二处理模块102对检测到的特征点构建beblid二进制描述符；初步匹配模块103采用汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；第三处理模块104基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；最终匹配模块105引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0098]
本发明实施例提供的一种改进akaze特征的无人机影像匹配系统，该系统应用于
泥石流区无人机遥感影像匹配，匹配速度较akaze算法提升了40％左右，与orb算法速度接近，正确匹配点对数量相较几种对比方法都明显提高，且匹配点空间分布分散均匀，具有明显的优势和实用性。
[0099]
本发明实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
[0100]
实施例5
[0101]
图8为本发明实施例提供的电子设备结构示意图，参照图8，该电子设备可以包括：处理器(processor)201、通信接口(communications interface)202、存储器(memory)203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。处理器201可以调用存储器203中的逻辑指令，以执行如下方法：检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；对检测到的特征点构建beblid二进制描述符；汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0102]
此外，上述的存储器203中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0103]
实施例6
[0104]
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的改进akaze特征的无人机影像匹配方法，例如包括：检测并提取立体像对的左、右影像亚像素级定位精度的akaze特征作为特征点；对检测到的特征点构建beblid二进制描述符；汉明距离暴力匹配法对构建好描述符的特征点进行初步匹配；基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点，然后得到正确匹配结果。
[0105]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0106]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0107]
实施例7
[0108]
1.影像匹配
[0109]
本算法整体流程如图1所示。
[0110]
基本思路如下：
[0111]
1)检测并提取左右影像亚像素级定位精度的akaze特征；
[0112]
2)对检测到的特征点构建beblid二进制描述符进行描述；
[0113]
3)汉明距离暴力匹配法完成初步匹配；
[0114]
4)基于gms方法划分网格，统计匹配点邻域内的支持度，剔除粗差，得到初次筛查匹配点集；
[0115]
5)引入核线约束条件限制，通过鲁棒算法ransac方法计算基础矩阵，进一步提纯内点；
[0116]
6)得到正确匹配结果。
[0117]
1.1akaze特征检测
[0118]
akaze特征检测算法使用非线性扩散滤波方法构建尺度空间，能较好地保留图像边缘信息。具体的可以通过非线性偏微分方程来描述，如式(1)所示。
[0119][0120]
式中：l为图像亮度；为梯度；div为散度；(x,y)为图像坐标；c(x,y,t)是传导函数，决定影像的扩散方式。通过设置合适的传导函数c(x,y,t)，可以使得扩散自适应于图像的局部结构。时间t作为尺度参数，其值越大，则图像的表示形式越简单。传导函数的构造方式如式(2)所示。
[0121][0122]
式中：是高斯平滑后的图像l
σ
的梯度(gradient)。akaze算法中函数g()如式3所示。
[0123][0124]
式中：参数λ是控制扩散级别的对比度因子(contrast factor)，能够决定保留多少边缘信息，优先保留宽度较大的区域，其值越大，保留的边缘信息越少。在akaze算法中，参数λ的取值是梯度图像的直方图70％百分位上的值。
[0125]
akaze特征的非线性尺度空间构造与sift算法的类似。尺度级别按对数递增，共有o组金字塔影像，每组有s层。与sift中每组逐层进行降采样不同的是，akaze的各个层级均采用与原始图像相同的分辨率。不同组和层分别通过序号o和s来标记，并且通过式(4)与尺度参数σ相对应：
[0126][0127]
式中：σi是尺度参数，o是组，s是层。非线性扩散滤波模型是以时间t为单位的，因此需要将像素为单位的尺度参数σi转换至时间单位。在高斯尺度空间下，使用标准差为σ的
高斯核对图像进行卷积，相当于对图像进行持续时间ti＝σ
i2
/2的滤波，ti被称为进化时间(evolution time)。随着尺度层级的提升，除了那些对应于目标轮廓的图像边缘像素外，大部分像素对应的传导函数值将趋于一个常量值。
[0128]
akaze的特征点检测是通过寻找不同尺度归一化后的hessian局部极大值点来实现的。hessian矩阵的计算如式(5)所示。
[0129][0130]
式中：σ
i,norm
是归一化尺度因子；和分别为二阶横向和纵向微分；为二阶交叉微分。在寻找极值点时，每一个像素点和它上下2层及本层，共26个相邻点比较，当其大于所有26个相邻点时，即为极值点。
[0131]
在找到特征点后，再进行亚像素的精确定位。在特征点处使用二阶泰勒展开式(式(6))，内插得到亚像素精确定位解(式(7))。
[0132][0133][0134]
式中：x＝(x,y,σ)是关键点的偏移量；l是l(x,y,σ)在关键点处的值；为x的极值。
[0135]
1.2构建beblid特征描述符
[0136]
增强有效二进制局部图像描述符(beblid)是一种非常高效的描述符，执行时间接近orb，精度与sift相似，且具有一定的仿射不变性。该算法使用adaboost算法帮助选择弱学习器(weak-learner,wl)，选择k个特征，特征使用积分图像来计算一对图像正方形区域的平均灰度值之间的差，并将它们组合起来产生强描述，输出中心区域接近高斯分布的局部描述信息。beblid描述符提取示意图如图2所示，实线方框和虚线方框代表着中心位于p，尺寸为s的方形区块，分别用r(p1,s)和r(p2,s)表示，特征提取函数f(x)计算实线方框和虚线方框内像素的平均灰度值之间的差异。具体地，特征提取函数f(x)定义如式(8)所示。
[0137][0138]
式中：i(t)是像素t的灰度值；r(p,s)是中心位于p，尺寸为s的方形区块。给定阈值t，对f(x)进行阈值判断，得到公式(9)中的特征h(x)：h(x)≡hk(x；f,t)
[0139][0140]
最终，为了让输出为{0,1}，将-1转化为了0，+1转化为了1(如图2)，得到增强有效二进制局部图像描述符(beblid)。
[0141]
1.3特征匹配与粗差剔除
[0142]
特征匹配时通过计算汉明距离比较特征描述符的相似性，采用暴力匹配得到初步匹配结果。因基于邻域支持度的真假匹配分割能力随着特征匹配对数量的增加而提高，此处不做其他筛选，应尽量多的保留匹配点对，然后利用网格运动统计方法完成粗差剔除。
[0143]
网格运动统计(gms)算法认为缺乏足够的正确匹配不是因为匹配对数量太少，而是因为难以区分正确和错误的匹配。该算法的基本思想是：运动的平滑性导致正确匹配的邻域内的特征点之间往往保持了几何一致性，而错误匹配对之间往往不会有这种一致性关
系，即两幅图像正确匹配对的邻域内应该有多个支持它的匹配对，而错误匹配对的邻域内支持它的匹配对很少甚至没有，因此，通过评估待匹配特征点对邻域内含有的匹配对的数量，可以区分正确和错误的匹配。
[0144]
首先将图像ia、ib划分为不重复网格，图3为正确匹配与错误匹配的特征分布图，ia为匹配图像，ib为待匹配图像。其中3
×
3加粗网格代表的是网格a5、b5的邻域，匹配对表示为mi。
[0145]
然后计算该正确匹配对mi的邻域支持度si，如式(10)所示。
[0146][0147]
式中：网格a5和b5邻域的9个网格中匹配对数量分别表示为xi(i＝1,2,
…
,9)，减1表示从总数中减去匹配对自身。由于匹配点对相互独立分布，si属于二项分布，可将匹配点对的分布表示为式(11)。
[0148][0149]
式中：si表示邻域支持度，b代表二项分布，mi表示匹配区域和待匹配区域的匹配点对，kn表示邻域总匹配对数量，p
t
表示正确匹配率，pf表示错误匹配率。
[0150]
根据式(11)可得出si整体呈双峰分布，则匹配点对分布的平均值e和标准差δ公式分别如下：
[0151]
1)当mi匹配正确，e
t
(mi)＝knp
t
，
[0152]
2)当mi匹配错误，ef(mi)＝knpf，
[0153]
由此可得概率评估标准函数，如式(12)所示。
[0154][0155]
式中：p为匹配概率，可看出表明提取的图像特征点越多，所得p数值越大，匹配准确率越高，因此试验通过增加检测点数量来提高匹配的概率。
[0156]
进一步地，可通过设置合适阈值，有效判断匹配是否正确，如式(13)所示。
[0157][0158]
式中：β是用于调节阈值的超参数，经验值选择4-6。当si大于α时，mi是正确匹配，将其保留，si小于α时，mi是错误匹配，将其删除。本发明中，由于图像本身尺寸较大，划分为20
×
20的网格后，落在每个格网中的匹配对数量可观，且自然地貌区存在大量重复纹理，为剔除重复纹理带来的错误匹配对，实验超参数设置为更严苛的8。这是由于图像本身尺寸较大，划分为20
×
20的网格后，落在每个格网中的匹配对数量可观，且自然地貌区存在大量重复纹理，原经验参数4-6不足以完全剔除错误匹配对，为更好的剔除错误匹配对，试验调参发现超参数设置为8，可以得到比较好的效果。
[0159]
1.4核线约束内点提纯
[0160]
基于网格运动统计(gms)策略得到的匹配点对难免还会有错误的匹配对，需要进一步提高匹配正确率。根据摄影测量核线几何关系可知，在立体匹配时，一条核线上的任意
一点，在另一幅影像上的同名像点必定位于其同名核线上，这一几何关系由基本矩阵(或称基础矩阵，fundamental matrix)来表达，可以通过8对以上同名点计算相应的未知参数。
[0161]
具体的，在参考图像和待匹配图像上，若两个特征点p与p
′
的特征向量间距离很小时，判断这两个特征点对应同一场景，认为是同名点对，点对坐标分别为p(x1,y1)和p
′
(x2,y2)。参考图像特征点(x1,y1)经基础矩阵f映射到待匹配图像的理论点位为可表示为：
[0162]
p
′
t
fp＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0163][0164]
此处通过ransac算法来计算基本矩阵，然后利用计算得到的基本矩阵测试所有数据，剔除不能满足核线约束的点对。将参考图像特征点(x1,y1)经基础矩阵f映射到待匹配图像的点到对应核线的最大距离设为2个像素，即距离小于等于2个像素的点为内点，对其保留，距离超过2个像素的点为外点，对其删除，达到提纯内点的目的，提高匹配的可靠度。
[0165]
本发明将akaze特征检测算法与二进制描述符beblid相结合并融合网格运动统计(gms)策略的无人机影像特征匹配算法。首先使用akaze算法构建非线性尺度空间来检测局部稳定特征，对检测到的特征点不再构建原有描述符m-ldb，而是构建二进制描述符beblid，接着用暴力匹配法完成初步匹配，再用网格运动统计(gms)方法进行第一次粗差剔除，最后加入核线约束，进一步提纯内点，得到可靠匹配结果。本发明方法匹配正确率与akaze算法接近，匹配速度较akaze算法提升了40％左右，克服了akaze算法原有描述符m-ldb计算速度较慢的问题，正确匹配点对数量也有了明显提高，且匹配点空间分布分散均匀，具有明显的优势和实用性。
[0166]
应用实例
[0167]
为验证本发明方法的可行性和有效性，实验数据采用大疆精灵4无人机拍摄了754张泥石流山区影像，大小为5472像素
×
3648像素，如图4所示。本发明利用5种算法对选取的6组典型泥石流自然地貌覆盖影像进行匹配实验，选用内点数、内点率和匹配耗时对匹配效果进行量化评估。所有实验均在intel(r)core(tm)i5-9400h cpu－8core processor 2.5ghz，40gbram硬件环境中，windows10 pycharm community edition2020软件环境搭建基于python3.6的opencv 4.5.1计算机视觉库中完成。
[0168]
每组影像采用sift、orb、akaze关键点检测算法分别对左右两张影像提取特征点，具体提取的特征点数见表1。实验为了保证各个方法匹配运行时间的公平性，设置每对影像特征提取特征点数量尽量接近，以akaze方法提取的特征点数量为参照，设置sift和orb算法提取的特征点数量尽量接近akaze算法的特征点数量。本发明初始提取的特征点数进行暴力匹配，没做任何的初始筛查，因此初始匹配获得的同名点数即为两影像中提取到的特征点较少的那张影像中提取的特征点数量，gms得到的点在本发明中就是表2中本发明方法粗匹配点数，其余即为剔除的外点数。因此本发明每对影像匹配后保留的特征点越多，剔除的点就越少，故在文中不再讨论外点剔除情况。图5为匹配结果。从图中可以看出，采用本发明算法进行特征匹配时，比sift、orb、akaze、文献方法(沈学利，陈鑫彤的《三元组描述符的特征匹配算法》)得到更多正确的匹配点对，匹配点空间分布分散且均匀，这非常有利于运
动恢复结构(structure from motion，sfm)和三维场景重建。
[0169]
表1各影像中检测的特征点数(单位：个)
[0170][0171][0172]
表2粗匹配和精匹配点对数(单位：对)
[0173][0174]
表2中粗匹配为六组影像对的粗差剔除后匹配点对数精匹配为内点提纯后匹配点数。统计结果图6为各算法匹配效率的对比，分别为匹配正确率和匹配运行时间。从统计结果可以发现：本发明所提方法在泥石流区影像实验中得到的正确匹配点数最多。从表1可以看出，在对比方法中经典akaze算法相较其他方法得到的正确匹配点数是最多的，但本发明方法除了在b组稍比akaze算法少一些，在其他几组数据中均比akaze算法数量多，尤其在a组、d组、e组、f组增幅较大。可见本发明方法所用的beblid描述符比akaze原有的m-ldb描述符和文献方法所用的latch描述符能更好的描述检测到的特征点。文献方法提出的akaze-latch算法，在本发明自然灾害影像中也具有较好的适用性，匹配正确率较高，但整体得到的正确匹配点数没有本发明方法多，本发明方法的运行速度较akaze-latch算法提升了近20％-33％左右。
[0175]
六组数据采用5种影像匹配方法效率对比见图6。从图6中可以发现：本发明方法的匹配正确率与几种对比方法基本相当，比较稳定；本发明方法的用时不到sift一半，也明显
快于akaze算法，略快于文献方法方法，接近于orb算法。本发明方法运行速度相较于akaze算法提升了将近40％，是因为用到的beblid描述符是一种比akaze算法原有描述符m-ldb计算速度较快的描述符；本发明方法运行速度相较于文献方法方法提升了20％-33％左右，说明beblid描述符比latch描述符运算速度更快；本发明方法稍慢于orb算法是因为本发明算法采用的akaze特征检测算法比orb算法需要花更多特征检测的时间。
[0176]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。