基于图像相似度的无人机航拍图像差异分析方法与流程

本发明涉及图像差异分析技术领域，尤其是基于图像相似度的无人机航拍图像差异分析方法。

背景技术：

近年来，随着科学技术的迅猛发展，无人机航拍技术也得到了快速的发展，其是利用无线电遥控设备和自备的程序控制装置操纵的无人机。目前，现有技术对无人机航拍获得的图像分析依然采用人工方式，其分析效率极低，且容易出现误差。

因此，急需提出一种用于分析航拍获得的同一地区、不同时间的图像的差异。

技术实现要素：

针对上述问题，本发明的目的在于提供一种基于图像相似度的无人机航拍图像差异分析方法，本发明采用的技术方案如下：

基于图像相似度的无人机航拍图像差异分析方法，包括以下步骤：

步骤h01，利用无人机航拍获取同一地区、不同时间段的两幅图像。

步骤h02，对两幅图像进行高斯模糊变换。

步骤h03，检测并匹配筛选经高斯模糊变换处理后的两幅图像的特征点，以获得同一视角的图像。

步骤h04，分别将步骤h03中的两幅图像分割成m×n个小图；所述m、n均为大于零的自然数；

步骤h05，采用ssim结构化算法对所述两幅图像分割成m×n个小图进行一一对应像素级别对比，以获得相似图resmap；

步骤h06，生成相似度图像。

进一步地，所述步骤h02中，对两幅图像进行高斯模糊变换，具体包括以下步骤：

步骤h21，选取3×3的高斯模糊核函数；

步骤h21，求取任一像素四周像素的加权平均值。

更进一步地，所述步骤h03中，检测两幅图像的特征点，具体包括以下步骤：

步骤h31，建立两幅图像的hessian矩阵，其表达式为：

其中，σ为尺度系数，lxx(x，σ)表示在x方向的二阶偏导，lxy(x，σ)表示在xy方向的二阶偏导，lyy(x，σ)表示在y方向的二阶偏导；

步骤h32，预设hessian矩阵阈值参数设置为δ，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2；所述δ为大于1000、且小于1500的自然数。

更进一步地，所述步骤h03中，匹配筛选两幅图像的特征点，以获得同一视角的图像，具体包括以下步骤：

步骤h33，采用knnmatch最近邻算法对所述特征点集pts1和特征点集pts2进行特征点筛选；

步骤h34，添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点；

步骤h35，根据步骤h34中匹配的特征点，对特征点集pts1和特征点集pts2进行仿射变换，以获得同一视角的图像。

基于图像相似度的无人机航拍图像差异分析方法，包括以下步骤：

步骤s01，利用无人机航拍获取同一地区、不同时间段的两幅图像；

步骤s02，分别采用自适应的征匹配优化算法对所述两幅图像进行特征匹配；

步骤s03，分别将步骤s02中的两幅图像分割成m×n个小图；所述m、n均为大于零的自然数；

步骤s05，采用ssim结构化算法对所述两幅图像分割成m×n个小图进行一一对应像素级别对比，以获得相似图resmap；

步骤s06，生成相似度图像。

优选地，所述步骤s02中，分别采用自适应的征匹配优化算法对所述两幅图像进行特征匹配，包括以下步骤：

步骤s21，采用sufr算法检测特征点，并设定hessian矩阵阈值参数为a，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2；所述a为大于等于400、且小于等于1200的自然数；

步骤s22，判断特征点集pts1与特征点集pts2的特征点是否大于等于2；若是，则进入步骤s23；否则，进入步骤s26；

步骤s23，采用knnmatch最近邻算法对所述特征点集pts1和特征点集pts2进行特征点筛选；

步骤s24，添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点；

步骤s25，采用ransac算法寻找一个最佳单应性矩阵h，以获得一组匹配的特征点对matches；并判断两幅图像匹配的特征点对matches的对数是否大于5；若是，则进入步骤s26；否则进入步骤s27；

步骤s26，分别采用卷积核为m对两幅图像进行卷积锐化处理，并调低hessian矩阵阈值参数为a，重复一次步骤s23～步骤s24；并进入步骤s27；

步骤s27，对两幅图像匹配的特征点对matches的任一组特征点进行先验知识约束；

步骤s28，判断两幅图像的特征点数量是否大于零，若是，则进入步骤s03；否则，特征匹配失败。

进一步地，所述步骤s21中，hessian矩阵阈值参数为a为1200。

进一步地，所述步骤s26中，hessian矩阵阈值参数为a为400。

更进一步地，所述步骤s26中，卷积核m的表达式为：

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地采用高斯模糊变换对历史图像和当前图像进行图像降噪处理，以增加图像比对的鲁棒性。如此一来，便能突显图像的整体性，滤除局部像素。

(2)本发明由于无人机采集图像会存在无人机平台、相机姿态的影响，使得前后拍出来的照片存在图像上的旋转、缩放等差别。为了排除这些硬件上的误差干扰。本发明巧妙地采用surf特征点检测可以很好的将两张图转换到同一视角。本发明增加了特征匹配筛选算法，其转换更加精准。由此可见，本发明能很好的适应图像的旋转、缩放、平移等场景，其适用性更强。

(3)本发明的分块算法能够突出局部对比，根据需要可以控制分块数量。虽然分块是离散操作，但是在本发明中属于整体性考虑，其像素级别的对比关注每一个像素，仅仅关注每个像素的对比很难对比出个较准确的结果。本发明从整体上考虑，其匹配准确更高。

(4)本发明的相似度计算是像素级别的对比，比像素块的对比更加严格、更加精确。在ssim的结构中：同时考虑了尺度效应，对比度、亮度、结构性指标，其评价更加全面。对于对比中有阴天、晴天对比等光照对比需求时，此方法便能很好的对比出异常。对于图像比对更严格的领域，如元器件电路对比，采用像素级的对比更精确。

(5)本发明巧妙的采用自适应的征匹配优化算法对两幅图像进行特征匹配，其中，采用knnmatch算法搜索两个最优匹配的点，并且添加对称约束，使特征点匹配更准确。

(6)本发明采用采用ransac算法寻找一个最佳单应性矩阵，可从全局层面滤掉一些匹配错误的点，进一步地提高了特征匹配的准确度。

(7)由于无人机拍摄的同一位置图像是存在gps误差的，但是这个误差是在一定的精度范围内的；单纯从图像特征来判断匹配是否最优，其较为局限性。而本发明通过增加先验知识的约束，可以筛选掉匹配错误的点，使得匹配结果更加精准。

(8)发明采用卷积核进行锐化处理，其有效地增加了图像的角点、边缘点等特征，以增加surf提取到的特征点，提高光线较暗的区域的图像特征匹配的成功率。

(9)本发明通过严格的surf算法和宽松的surf算法检测特征点，既能保证光线较好区域的图像的特征点检测，又能拆分区别光线较差区域的图像，为光线较差区域的图像锐化处理提供基础。

综上所述，本发明具有识别准确、识别效率高、流程简单、计算工作量少等优点，在图像差异分析技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的流程图。

图2为本发明的高斯模糊变换的流程图。

图3为本发明的检测、匹配筛选特征点的流程图。

图4为本发明的某地区的历史与当前的航拍图像。

图5为本发明的某地区的历史与当前的特征点匹配结果视图。

图6为本发明的图像分块示意图。

图7为本发明的某地区的历史与当前的图像差异分析结果图。

图8为本发明的自适应的征匹配优化算法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1

如图1至图4所示，本实施例提供了一种基于图像相似度的无人机航拍图像差异分析方法，其包括以下步骤：

第一步，利用无人机航拍获取同一地区、不同时间段的两幅图像。即历史图像img1和当前图像img2，如图4所示。

第二步，对两幅图像进行高斯模糊变换。具体包括以下步骤：

(1)选取3×3的高斯模糊核函数；

(2)求取任一像素四周像素的加权平均值。其中，每个像素都取周边像素的加权平均值，权重跟高斯函数有关。

第三步，检测并匹配筛选经高斯模糊变换处理后的两幅图像的特征点，以获得同一视角的图像。具体如下：

(1)建立两幅图像的hessian矩阵，其表达式为：

其中，σ为尺度系数，lxx(x，σ)表示在x方向的二阶偏导，lxy(x，σ)表示在xy方向的二阶偏导，lyy(x，σ)表示在y方向的二阶偏导；

(2)预设hessian矩阵阈值参数设置为1200，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2。在此，阵阈值参数设置为1200既能有效保证特征点检测匹配和匹配速度。

(3)采用knnmatch最近邻算法对所述特征点集pts1和特征点集pts2进行特征点筛选。

经过knnmatch后，img1中特征点集pts1中的每个点p1i都会在img2中找到两个最佳匹配点p2i，p3j。img2中特征点集pts2中的每个点pi都会在img1中找到两个最佳匹配点p2，p3。

(4)添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点；即一个好的匹配点满足：

img1的特征点集pts1中点p1在img2的特征点集pts2中匹配的好的点p2；

img2的特征点集pts2中点p2在img1的特征点集pts1中匹配的好的点p1；

通过上述匹配获得的匹配结果如图5所示、

(5)根据匹配的特征点，对特征点集pts1和特征点集pts2进行仿射变换，以获得同一视角的图像。

第四步，分别将第三步中的两幅图像分割成50×50个小图，案例如图6所示。

第五步，采用ssim结构化算法对所述两幅图像分割成2500个小图进行一一对应像素级别对比，以获得相似图resmap。最终获得两幅图像的差异集合，如图7所示。在本实施例中，该ssim结构化算法为现有技术，本发明并未对其算法本身进行改进，在此就不予赘述。

第六步，生成相似度图像。

在第五步中得到2500个小图的对比结果评分，其得到相似度x(0<＝x<＝1)。

相似图resmap的每个像素值的计算如下：

x>＝0.4pixel＝255(白色)

x<0.4；pixel＝x/0.4*255

通过上述转换生成无人机航拍图像差异结果，如图7所示，其中，颜色黑的地方代表这两张图相似度低，颜色越白代表相似度高。

实施例2

如图8所示，本实施例提供了一种基于图像相似度的无人机航拍图像差异分析方法，其包括以下步骤：

第一步，利用无人机航拍获取同一地区、不同时间段的两幅图像；

第二步，分别采用自适应的征匹配优化算法对所述两幅图像进行特征匹配；具体如下：

(1)采用sufr算法检测特征点，并设定hessian矩阵阈值参数为1200，分别得到与两幅图像一一对应的特征点集pts1和特征点集pts2。

(2)判断特征点集pts1与特征点集pts2的特征点是否大于等于2；若是，则进入(3)；否则，进入(6)。

(3)采用knnmatch最近邻算法对所述特征点集pts1和特征点集pts2进行特征点筛选。根据空间中距离最近的点属于同一类的可能性越大这个公理，我们把未知点和离它最近的那一个点归为一类。

(4)添加对称约束，以获得特征点集pts1和特征点集pts2一一对应匹配的特征点。

经过knnmatch后，img1中特征点集pts1中的每个点p1i都会在img2中找到两个最佳匹配点p2i，p3j。img2中特征点集pts2中的每个点pi都会在img1中找到两个最佳匹配点p2，p3。

增加对称约束，即一个好的匹配点满足：

img1的特征点集pts1中点p1在img2的特征点集pts2中匹配的好的点p2；

img2的特征点集pts2中点p2在img1的特征点集pts1中匹配的好的点p1。

(5)采用ransac算法寻找一个最佳单应性矩阵h，以获得一组匹配的特征点对matches；其中，找一个最佳单应性矩阵h为现有技术，在此就不予赘述。

判断两幅图像匹配的特征点对matches的对数是否大于5；若是，则进入(6)；否则进入(7)。

(6)分别采用卷积核为m对两幅图像进行卷积锐化处理，并调低hessian矩阵阈值参数为400，重复一次第四步、第五步；并进入第八步。其中，该卷积核m的表达式为：

(7)对两幅图像匹配的特征点对matches的任一组特征点进行先验知识约束。例如gps精度在20cm以内，那么如果特征匹配结果出来某图需要移动30cm去匹配上对应特征点，则从matches中删除这组特征点对，过滤该组匹配结果。

(8)判断两幅图像的特征点数量是否大于零，若是，则进入第三步；否则，特征匹配失败。

第三步，分别将第三步中的两幅图像分割成50×50个小图，案例如图6所示。

第四步，采用ssim结构化算法对所述两幅图像分割成2500个小图进行一一对应像素级别对比，以获得相似图resmap。最终获得两幅图像的差异集合，在本实施例中，该ssim结构化算法为现有技术，本发明并未对其算法本身进行改进，在此就不予赘述。

第五步，生成相似度图像。

综上所述，本发明具有步骤简单、运算工作量小、分析准确等优点，与现有技术相比，具体突出的实质性特点和显著的进步，在图像差异分析技术领域具有很高的实用价值和推广价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。