特征点的提取方法、图像的重建方法及装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种特征点的提取方法、图像的重建方法及装置。


背景技术：

2.在计算机视觉中，图像处理过程是极其重要的环节，而在图像处理过程中，特征点的提取是至关重要的步骤。由于特征点可以代表图像的内容，因此，特征点的提取广泛应用于运动目标跟踪、物体识别、图像配准、全景图像的拼接、三维重建等领域中。目前常用的特征点的提取方法容易出现特征点扎堆、分布不均匀的问题，尤其对于重复纹理场景，该问题较为严重。分布不均匀的特征点会直接影响后续图像处理结果的准确度。


技术实现要素：

3.有鉴于此，本技术实施例提供了一种特征点的提取方法、图像的重建方法及装置，能够提高特征点的分布均匀性。
4.第一方面，本技术的实施例提供了一种特征点的提取方法，包括：确定针对输入图像初步提取到的多个特征点的数量；在多个特征点的数量大于期望特征点数量时，基于空间划分方法对输入图像进行第一网格划分以得到k个第一网格，其中，k大于或等于期望特征点数量；确定k个第一网格中每个第一网格的特征点数量，在第一网格的特征点数量大于1时，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数；基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
5.在本技术某些实施例中，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数，包括：基于第一网格中各个特征点距离第一网格的中心的距离，以及各个特征点的响应值，确定各个特征点的统计置信度分数。
6.在本技术某些实施例中，基于第一网格中各个特征点距离第一网格的中心的距离，以及各个特征点的响应值，确定各个特征点的统计置信度分数，包括：通过对第一网格中各个特征点距离第一网格的中心的距离的倒数以及各个特征点的响应值进行加权求和，确定各个特征点的统计置信度分数。
7.在本技术某些实施例中，第一网格划分是基于二叉树、四叉树或八叉树分割方法执行的。
8.在本技术某些实施例中，第一方面的特征点的提取方法还包括：基于预设的网格大小对输入图像进行第二网格划分，以得到t个第二网格，其中，t为大于1的整数；针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点。
9.在本技术某些实施例中，第一方面的特征点的提取方法还包括：针对输入图像构建图像金字塔，其中，针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点，包括：基于图像金字塔与初始阈值对第二网格进行极值点的提取；在极值点的数
量为0时，基于第一规则和初始阈值得到第一更新阈值，其中，第一更新阈值小于初始阈值；基于图像金字塔与第一更新阈值重新对第二网格进行极值点的提取，其中，从第二网格中提取的极值点作为特征点。
10.在本技术某些实施例中，针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点，还包括：在极值点的数量大于门槛值时，基于第二规则和初始阈值得到第二更新阈值，其中，第二更新阈值大于初始阈值；基于图像金字塔与第二更新阈值重新对第二网格进行极值点的提取。
11.在本技术某些实施例中，第一方面的特征点的提取方法还包括：对输入图像执行尺度金字塔池化操作，得到多个不同尺度空间的图像；在多个不同尺度空间的图像中计算第一网格中统计置信度分数最高的特征点对应的特征描述子。
12.第二方面，本技术的实施例提供了一种图像的重建方法，包括：采用第一方面所述的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子；采用第一方面所述的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子；基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果；根据匹配结果对待重建对象进行重建。
13.第三方面，本技术的实施例提供了一种特征点的提取装置，包括：第一确定模块，用于确定针对输入图像初步提取到的多个特征点的数量；第一划分模块，用于在多个特征点的数量大于期望特征点数量时，基于空间划分方法对多个特征点进行第一网格划分以得到k个第一网格，其中，k大于或等于期望特征点数量；第二确定模块，用于确定k个第一网格中每个第一网格的特征点数量，在第一网格的特征点数量大于1时，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数；筛选模块，用于基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
14.第四方面，本技术的实施例提供了一种图像的重建装置，包括：第一提取模块，用于采用第一方面所述的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子；第二提取模块，用于采用第一方面所述的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子；匹配模块，用于基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果；重建模块，用于根据匹配结果对待重建对象进行重建。
15.第五方面，本技术的实施例提供了一种无人设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的特征点的提取方法，或执行第二方面所述的图像的重建方法。
16.第六方面，本技术的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的特征点的提取方法，或执行第二方面所述的图像的重建方法。
17.本技术实施例提供了一种特征点的提取方法、图像的重建方法及装置，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提
供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
附图说明
18.图1所示为本技术一示例性实施例提供的特征点的提取系统的系统架构示意图。
19.图2所示为本技术一示例性实施例提供的特征点的提取方法的流程示意图。
20.图3所示为本技术另一示例性实施例提供的特征点的提取方法的流程示意图。
21.图4所示为本技术一示例性实施例提供的特征匹配方法的流程示意图。
22.图5所示为本技术一示例性实施例提供的图像的重建方法的流程示意图。
23.图6a所示为采用传统的特征点的提取方法得到的一提取结果的示意图。
24.图6b所示为采用本技术一实施例提供的特征点的提取方法得到的一提取结果的示意图。
25.图7a所示为采用传统的特征点的提取方法得到的另一提取结果的示意图。
26.图7b所示为采用本技术一实施例提供的特征点的提取方法得到的另一提取结果的示意图。
27.图8所示为本技术一示例性实施例提供的特征点的提取装置的结构示意图。
28.图9所示为本技术一示例性实施例提供的特征匹配装置的结构示意图。
29.图10所示为本技术一示例性实施例提供的图像的重建装置的结构示意图。
30.图11所示为本技术一示例性实施例提供的用于执行特征点的提取方法的无人设备的框图。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.申请概述
33.农田测绘和重建一般是对输入的图像提取特征点，基于特征点生成多帧图像之间的数据关联关系，然后估计帧间(图像之间)相对运动，最后利用bundleadjustment(光束平差法)优化相机姿态和三维场景结构。
34.在期望特征点数量为m的条件下，常用的特征点提取方法是采用统一的阈值对整幅图像进行特征点提取，随后对提取的所有特征点按照响应值由大到小进行排序，最后从排序结果中提取前m个特征点，并计算前m个特征点的特征描述子作为最终的特征输出。
35.对于重复纹理场景，例如农田场景中的香蕉林、小麦地、玉米地等，采用统一的阈值通常很难提取到特征点，这是因为重复纹理场景中邻域信息非常接近，区分性相对较低。当阈值条件较为严苛时，无法提取到特征点；当阈值条件较为宽松时，提取到的特征点质量较低。
36.此外，对于由重复纹理和道路构成的场景，大部分提取到的特征点集中在道路两边，而重复纹理的农田只能提取到非常少的特征点(可以参见图7a)，即出现特征点扎堆的
情况。
37.综上，利用传统的特征点提取方法对包含重复纹理的场景进行特征点的提取时，容易出现特征点扎堆、分布不均匀的问题。
38.示例性系统
39.图1所示为本技术一示例性实施例提供的特征点的提取系统100的系统架构示意图，其示出了一种对图像进行特征点提取的应用场景。特征点的提取系统100包括计算机设备110以及图像采集设备120。
40.图像采集设备120可以对某一特定场景进行拍摄以获得一张或多张图像，这里，特定场景可以是农田、道路、建筑物等。
41.计算机设备110可以从图像采集设备120获取一张或多张图像，并对获取的图像进行特征点提取，具体的提取方法可参见下文中的描述。
42.计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本技术实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(personal computer，pc)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。本技术实施例对计算机设备110的数量和设备类型不加以限定。
43.图像采集设备120可以是摄像机，例如可以是单目摄像机、双目摄像机或三目摄像机等。在一实施例中，图像采集设备120可以是安装在无人机上的摄像机。
44.在一些实施例中，计算机设备110以及图像采集设备120可以是独立的两个设备，计算机设备110可以与一个或多个图像采集设备120通信连接。在其他一些实施例中，图像采集设备120可以集成在计算机设备110中，集成在计算机设备110中的图像采集设备120可以是一个或多个。
45.需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施例并不限于此。相反，本技术的实施例可以应用于可能适用的任何场景。
46.示例性方法
47.图2所示为本技术一示例性实施例提供的特征点的提取方法的流程示意图。图2的方法可由计算机设备执行。如图2所示，该特征点的提取方法包括如下内容。
48.210：确定针对输入图像初步提取到的多个特征点的数量。
49.具体地，可以针对整个图像进行特征点的提取，以获得多个特征点。可选地，可以将整个图像划分成多个区域，对于每个区域进行特征点的提取，进而获得整个图像对应的多个特征点。
50.在一实施例中，可以设置合理的阈值，以获得多个分布在输入图像不同区域的特征点。
51.本技术实施例中的特征点可以是尺度不变特征变换(scale invariant feature transform，sift)特征点，加速稳健特征(speeded up robust feature，surf)特征点，orb(oriented fast and rotated brief)特征点或其他类型的特征点。
52.220：在多个特征点的数量大于期望特征点数量时，基于空间划分方法对输入图像进行第一网格划分以得到k个第一网格，其中，k大于或等于期望特征点数量。
53.期望特征点数量为m，当提取到的多个特征点的数量大于期望特征点数量m时，需
要从多个特征点中筛选出m个特征点。为了保证筛选出的m个特征点在输入图像上均匀分布，可以对输入图像进行第一网格划分，提取到的多个特征点被划分到多个第一网格中，例如可以根据特征点的坐标将该特征点划分到对应的第一网格中。每个第一网格中可以有0个，1个或更多个特征点。
54.具体地，网格的形状可以是正方形，网格大小可以通过正方形的边长进行表示。边长相等的正方形网格可以实现对多个特征点的均匀划分，提高后续得到的特征点的分布均匀性。在一些实施例中，网格的形状可以是长方形，菱形、三角形等多边形，或者其他规则或不规则的形状，具体的网格形状可以根据实际需要进行设置，本技术实施例对此不作限制。
55.在一实施例中，可以尽可能多地提取特征点，使得提取到的特征点数量大于期望特征点数量为m，这样可以保证在输入图像的各个区域均提取到特征点，尤其对于重复纹理区域，从而可以便于后续的特征点匹配以及三维重建过程。
56.230：确定k个第一网格中每个第一网格的特征点数量，在第一网格的特征点数量大于1时，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数。
57.具体地，可以对每个第一网格中的特征点数量进行统计，当第一网格中的特征点数量大于1时，确定第一网格中每个特征点的统计置信度分数s。统计置信度分数s可以表征该特征点距离第一网格中心的距离d，例如，统计置信度分数s越高，则表明该特征点距离第一网格中心越近。
58.240：基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
59.根据第一网格中每个特征点的统计置信度分数s对第一网格中的特征点进行排序，将统计置信度分数s最大的特征点保留下来，删除其他的特征点。
60.可以根据统计置信度分数s对k个第一网格分别进行特征点的筛选，以从每个第一网格中挑选出比较接近第一网格中心的特征点，从而可以保证最后得到的所有特征点在输入图像中均匀分布。
61.本技术实施例提供了一种特征点的提取方法，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
62.根据本技术一实施例，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数，包括：基于第一网格中各个特征点距离第一网格的中心的距离，以及各个特征点的响应值，确定各个特征点的统计置信度分数。
63.具体地，响应值越大，对应的特征点的质量越高。特征点的响应值可以是特征提取与检测技术中的角点的响应值，例如，harris响应值、shi
‑
tomasi响应值或其他响应值。
64.对于第一网格中的多个特征点进行筛选时，该多个特征点距离第一网格中心的距离可能各不相同，且该多个特征点的响应值也可能各不相同。此外，特征点距离第一网格中心的距离与特征点的响应值之间没有关系，其中，特征点距离第一网格中心的距离会影响
最终得到的特征点的分布均匀性，而特征点的响应值会影响最终得到的特征点的整体质量。
65.因此，在特征点距离第一网格中心的距离和特征点的响应值之间需要进行权衡，以在提高特征点的分布均匀性的同时，尽量提高特征点的整体质量。
66.本实施例通过基于特征点距离第一网格的中心的距离以及特征点的响应值来确定特征点的统计置信度分数，可以综合考虑影响特征点的分布均匀性的因素以及影响特征点的整体质量的因素，进而可以从第一网格中筛选出比较靠近第一网格中心且具有较高质量的特征点，从而可以得到较为鲁棒的特征点，且可以达到提高最终得到的特征点的分布均匀性以及整体质量的效果。
67.根据本技术一实施例，基于第一网格中各个特征点距离第一网格的中心的距离，以及各个特征点的响应值，确定各个特征点的统计置信度分数，包括：通过对第一网格中各个特征点距离第一网格的中心的距离的倒数以及各个特征点的响应值进行加权求和，确定各个特征点的统计置信度分数。
68.具体地，统计置信度分数s的计算公式可以是：s＝w1*1/d+w2*f，这里，d为特征点距离第一网格的中心的距离，f为特征点的响应值，w1为第一权重值，w2为第二权重值。w1和w2可以根据实际需要进行设置。
69.在其他实施例中，统计置信度分数s可以根据其他计算公式获得，只要其可以综合考虑特征点距离第一网格中心的距离以及特征点的响应值即可。
70.根据本技术一实施例，第一网格划分是基于二叉树、四叉树或八叉树分割方法执行的。
71.具体地，二叉树分割方法每次分割可以得到2
t
个节点，四叉树分割方法每次分割可以得到4
t
个节点，八叉树分割方法每次分割可以得到8
t
个节点，其中，t为分割次数。不论是二叉树、四叉树还是八叉树分割方法，在分割前存在一个节点，初步提取到的多个特征点(步骤210中提到的)全部位于该节点中，这个节点对应整个输入图像。随着分割次数的增加，可以得到多个节点，多个节点可以与多个第一网格一一对应。
72.基于四叉树分割方法可以以合理的分割速度获得数量合适的分割结果(k个第一网格)，因此在某些实施例中可采用四叉树分割方法。
73.例如，采用四叉树分割方法执行第一网格划分，当划分得到的节点数4
t
大于或等于期望特征点数量m时，停止划分，以得到k个节点(对应k个第一网格)。若第一网格中的特征点数量大于1，则基于统计置信度分数对第一网格的特征点进行筛选。
74.根据本技术一实施例，该特征点的提取方法还包括：基于预设的网格大小对输入图像进行第二网格划分，以得到t个第二网格，其中，t为大于1的整数；针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点。
75.具体地，可以通过第二网格划分将整个输入图像划分成t个第二网格，对每个第二网格分别进行特征点的提取以得到多个特征点，然后对整个输入图像进行第一网格划分以得到k个第一网格，基于统计置信度分数对每个第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
76.第二网格的形状与第一网格的类似，此处不再赘述。网格大小可以是网格的边长或面积。
77.在一实施例中，第二网格的形状为正方形，预设的网格大小可以是指正方形的边长w。
78.例如，预设的网格大小为w，输入图像的行数为r，列数为c，则每一行的网格数量rgrid为r/w，每一列的网格数量cgrid为c/w，总网格数量ngrid为rgrid
×
cgrid，每个网格大小为w
×
w。
79.w具体可以是根据计算量和均匀化需求确定的，即可以根据需求预先设置。例如，w越大，第二网格的尺寸就越大，第二网格的数量就越少，这样在针对一个第二网格提取特征点时，需要基于一定阈值从该第二网格中提取较多的特征点以便于后续筛选。在这个过程中，由于第二网格数量少，所以可以降低计算量；但因第二网格尺寸大，可能会出现该第二网格中的特征点集中在第二网格中的局部区域，而第二网格中的其他区域没有提取到特征点，这样会导致最终提取的特征点分布不均匀。因此，在设定w时需要平衡计算量和均匀化需求，以获得足够多且分布相对均匀的特征点，以便基于上述的空间划分方法从这些特征点中筛选出最终的特征点。
80.在一实施例中，第二网格的数量t可以大于期望特征点数量m，这样每个第二网格可以提取至少一个特征点，可以使得初步提取的特征点数量足够多，便于后续从数量众多的特征点中筛选出具有较高分布均匀性和较高质量的特征点。
81.本实施例通过先对输入图像进行第二网格划分，并对每个第二网格分别进行特征点的提取以得到多个特征点，可以尽可能地保证每个第二网格都可以提取到特征点，为最终获得均匀分布的特征点做准备。此外，本实施例对输入图像进行第一网格划分，并基于统计置信度分数对每个第一网格的特征点进行筛选，可以进一步提高最终得到的特征点的分布均匀性，同时可以尽可能地提高最终得到的特征点的整体质量。
82.根据本技术一实施例，该特征点的提取方法还包括：针对输入图像构建图像金字塔，其中，针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点，包括：基于图像金字塔与初始阈值对第二网格进行极值点的提取；在极值点的数量为0时，基于第一规则和初始阈值得到第一更新阈值，其中，第一更新阈值小于初始阈值；基于图像金字塔与第一更新阈值重新对第二网格进行极值点的提取，其中，从第二网格中提取的极值点作为特征点。
83.具体地，图像金字塔可以是差分高斯金字塔。初始阈值(可以表示为t0)，是预先设置的。根据初始阈值对每个网格进行极值点的提取。初始阈值可以用于衡量图像上的某一像素点与周围像素点之间的差异，例如像素值差异(灰度或亮度差异)。具体地，若某一像素点与周围像素点的像素值之差均大于初始阈值，则可以提取该像素点作为极值点。当然，在其他实施例中，初始阈值的具体含义以及极值点的具体提取方式可以根据实际需求进行设定，本技术实施例对此不作限制。
84.对于第二网格中的任一像素点，在当前差分高斯金字塔图像i
i
和前一层差分高斯金字塔图像i
i
‑1以及下一层差分高斯金字塔图像i
i+1
中的26个邻域中进行强度值(如，亮度值，或像素值)统计。若当前像素点在三个图像层的强度值是最大的或最小的，则将该像素点作为候选极值点。
85.进一步地，通过对该像素点进行亚像素计算，例如对候选极值点邻域像素插值，找到亚像素点。判断亚像素点与周围像素点之间的强度值之差是否大于等于初始阈值，若是，
则将该亚像素点对应的候选极值点转化为正式极值点。
86.若第二网格中提取到的正式极值点的数量为0，则表明当前第二网格处于弱纹理或者重复纹理较为严重的场景，比如小麦地、玉米地等农田场景，此时需要降低阈值，宽松提取条件，以在当前第二网格中提取出极值点(正式极值点)，保证最终提取的特征点的分布均匀性。即，基于第一规则和初始阈值t0得到第一更新阈值t1。具体地，第一规则可以是取现有阈值的二分之一作为新的阈值，即t1＝t0/2。
87.基于图像金字塔与阈值t1重新对第二网格进行极值点的提取，若提取到的极值点的数量仍为0，则继续基于第一规则和阈值t1得到新的阈值t2。以此类推，直到针对当前第二网格提取到的极值点的数量大于0。从第二网格中提取的极值点可作为特征点。
88.本实施例中，第一规则可以是其他内容，只要可以保证第一更新阈值小于初始阈值即可。
89.本实施例通过设置第一规则，可以针对弱纹理或者重复纹理较为严重的场景，适当降低阈值，以在该当前网格提取出特征点，保证最终提取的特征点的分布均匀性。此外，基于图像金字塔提取极值点，可以保证尺度空间的不变性，进而得到尺度因子更加鲁棒的特征点。
90.在一实施例中，在基于图像金字塔对候选极值点进行亚像素计算时，可以进一步统计主方向，以便于后续计算特征描述子。
91.根据本技术一实施例，针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点，还包括：在极值点的数量大于门槛值时，基于第二规则和初始阈值得到第二更新阈值，其中，第二更新阈值大于初始阈值；基于图像金字塔与第二更新阈值重新对第二网格进行极值点的提取。
92.在本实施例中，门槛值可以是根据实际需要预先设置的，例如可以是5，10等数值。
93.若第二网格中提取到的正式极值点的数量大于门槛值，则表明当前第二网格处于纹理较为丰富的场景，比如城市或农田作物种类较多的场景，此时需要提高阈值，防止后续提取特征时耗时太多。即，基于第二规则和初始阈值t0得到第二更新阈值t1’。具体地，第二规则可以是取现有阈值的两倍作为新的阈值，即t1’＝2
×
t0。
94.基于图像金字塔与阈值t1’重新对第二网格进行极值点的提取，若提取到的极值点的数量仍大于门槛值，则继续基于第二规则和阈值t1’得到新的阈值t2’。以此类推，直到针对当前第二网格提取到的极值点的数量小于或等于门槛值。从第二网格中提取的极值点可作为特征点。
95.本实施例中，第二规则可以是其他内容，只要可以保证第二更新阈值大于初始阈值即可。
96.本实施例通过设置第二规则和门槛值，可以针对纹理较为丰富的场景，适当提高阈值，避免提取的特征点数量较多，从而可以节约运算时间，提高运算效率。
97.对于重复纹理场景的特征点提取，本技术实施例采用网格化策略对场景进行特征点的均匀提取，可以防止特征点扎堆，并且对于每个网格采用自适用动态阈值调节，可以保证每个区域都能最大概率地提取到特征点，为最终获取均匀分布的特征点提供充分的准备。
98.根据本技术一实施例，该特征点的提取方法还包括：对输入图像执行尺度金字塔
池化操作，得到多个不同尺度空间的图像；在多个不同尺度空间的图像中计算第一网格中统计置信度分数最高的特征点对应的特征描述子。
99.具体地，在农业场景中，无人机在飞行过程中并非是一直在同一水平线上，特别是在山地、果林等场景中，高度变化非常明显。只依靠极值点(或特征点)检测阶段的尺度不变性对三维重建来说是不够鲁棒的。因此，在计算特征点对应的特征描述子时，可以引入多尺度因子。为了尽可能考虑多尺度约束，可以对输入图像执行尺度金字塔池化操作。
100.例如，池化层数为l，则卷积核大小分别为3
×
3，5
×
5，
…
，(1+2l)
×
(1+2l)。对输入图像按照上述卷积核执行l次卷积，得到不同尺度空间的图像。针对任意特征点，可以在l+1个图像(包括原始的输入图像)中统计特征点对应的特征描述子，从而可以得到尺度因子更加鲁棒的特征点。
101.在一实施例中，通过尺度金字塔池化操作得到的图像(多个不同尺度空间的图像)的大小与输入图像的一致，但模糊程度不同。即，l+1个图像的尺寸一致，但模糊程度不同。从l+1个图像中寻找不同的梯度角，进而对不同的梯度角的数量进行统计可以得到表征特征描述子的向量(如128维向量)。相比于只在输入图像中统计不同的梯度角，本技术实施例通过在l+1个图像中统计不同的梯度角，进而计算特征点对应的特征描述子，可以得到尺度因子更加鲁棒的特征点。
102.本实施例中，不同的梯度角可以包括30度，60度，90度等等，具体的角度值可以根据实际需要进行设置。在一实施例中，不同梯度角数量的统计可以在上述提取极值点的过程中执行，其中，主方向可以是不同梯度角中数值最大的梯度角。
103.图3所示为本技术另一示例性实施例提供的特征点的提取方法的流程示意图。图3实施例是图2实施例的例子，为避免重复，相同之处不再赘述。如图3所示，该特征点的提取方法包括如下内容。
104.310：基于预设的网格大小对输入图像进行第二网格划分，以得到t个第二网格。
105.t为大于1的整数。
106.320：针对输入图像构建图像金字塔，基于图像金字塔与初始阈值对第二网格进行极值点的提取。
107.330：在极值点的数量为0时，基于第一规则和初始阈值得到更新阈值。
108.本步骤中，更新阈值小于初始阈值。第一规则以及更新阈值的获取过程可以参见上述实施例中的描述。
109.340：在极值点的数量大于门槛值时，基于第二规则和初始阈值得到更新阈值。
110.本步骤中，更新阈值大于初始阈值。第二规则以及更新阈值的获取过程可以参见上述实施例中的描述。
111.350：基于图像金字塔与更新阈值重新对第二网格进行极值点的提取。
112.360：将从每个第二网格中提取的极值点作为特征点，确定特征点的数量。
113.极值点的具体获取过程可以参见上述实施例中的描述，为避免重复此处不再赘述。
114.本步骤中，若从第二网格中得到的特征点的总数小于或等于期望特征点数量，则可以直接将这些特征点作为最终的特征点。
115.370：在多个特征点的数量大于期望特征点数量时，基于空间划分方法对输入图像
进行第一网格划分以得到k个第一网格。
116.k大于或等于期望特征点数量。空间划分方法(例如四叉树分割方法)，以及第一网格划分的具体内容可以参见上述实施例中的描述，为避免重复此处不再赘述。
117.380：在第一网格的特征点数量大于1时，确定第一网格中各个特征点的统计置信度分数，基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
118.具体地，可以通过对第一网格中各个特征点距离第一网格的中心的距离的倒数以及各个特征点的响应值进行加权求和，确定各个特征点的统计置信度分数。
119.390：汇总每个第一网格中统计置信度分数最高的特征点作为最终的特征点。
120.最终得到的特征点数量可以是m个或稍大于m个，这主要与四叉树划分的节点数量有关。可选地，当汇总得到的特征点数量大于m时，可以基于响应值对所有特征点进行排序，以提取靠前的m个特征点作为最终的特征点。
121.针对提取的最终的特征点，可以计算每个特征点对应的特征描述子，并将结果输出。
122.本技术实施例提供的特征点的提取方法，是一种针对农田重复纹理场景的网格化及自适应动态阈值的特征点提取方法。此外，在特征点的提取过程中，越靠近网格(第一网格)中心的特征点越可靠，越靠近网格边缘的特征点可靠性越低。本技术实施例通过基于统计置信度分数对特征点进行筛选，可以综合考虑特征点在网格中的分布位置以及响应值，从而可以得到更加鲁棒的特征点。
123.图4所示为本技术一示例性实施例提供的特征匹配方法的流程示意图。如图4所示，该特征匹配方法包括如下内容。
124.410：提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子。
125.具体地，可以采用上述实施例中提供的特征点的提取方法提取第一图像中的特征点。
126.420：提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子。
127.具体地，可以采用上述实施例中提供的特征点的提取方法提取第二图像中的特征点。
128.430：基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果。
129.具体地，可以采用近似最近邻比例法选择初始匹配对，通过计算本质矩阵f，执行ransac滤除不满足几何约束的匹配对，得到最终的匹配结果。
130.本技术实施例提供了一种特征匹配方法，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
131.图5所示为本技术一示例性实施例提供的图像的重建方法的流程示意图。如图5所示，该图像的重建方法包括如下内容。
132.510：提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子。
133.具体地，可以采用上述实施例中提供的特征点的提取方法提取第一图像中的特征点。
134.520：提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子。
135.具体地，可以采用上述实施例中提供的特征点的提取方法提取第二图像中的特征点。
136.530：基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果。
137.具体地，可以采用近似最近邻比例法选择初始匹配对，通过计算本质矩阵f，执行ransac滤除不满足几何约束的匹配对，得到最终的匹配结果。
138.540：根据匹配结果对待重建对象进行重建。
139.待重建对象可以是农田、道路、建筑物等。
140.本技术实施例提供了一种图像的重建方法，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
141.本技术实施例提供的特征点的提取方法不仅可以用于三维重建领域，还可以用于运动目标跟踪、物体识别、图像配准、全景图像的拼接等需要提取特征点的领域中。
142.图6a所示为采用传统的特征点的提取方法得到的一提取结果的示意图。图6b所示为采用本技术一实施例提供的特征点的提取方法得到的一提取结果的示意图。图7a所示为采用传统的特征点的提取方法得到的另一提取结果的示意图。图7b所示为采用本技术一实施例提供的特征点的提取方法得到的另一提取结果的示意图。比较图6a与图6b，以及图7a与图7b，可以看出，采用本技术实施例提供的特征点的提取方法可以在整张图像几乎所有区域都能提取到特征点，保证特征点的均匀分布，为后续运动估计和三维重建提供可靠数据输入。
143.示例性装置
144.图8所示为本技术一示例性实施例提供的特征点的提取装置800的结构示意图。如图8所示，提取装置800包括：第一确定模块810，第一划分模块820，第二确定模块830以及筛选模块840。
145.第一确定模块810用于确定针对输入图像初步提取到的多个特征点的数量。第一划分模块820用于在多个特征点的数量大于期望特征点数量时，基于空间划分方法对多个特征点进行第一网格划分以得到k个第一网格，其中，k大于或等于期望特征点数量。第二确定模块830用于确定k个第一网格中每个第一网格的特征点数量，在第一网格的特征点数量
大于1时，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数。筛选模块840用于基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。
146.本技术实施例提供了一种特征点的提取装置，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
147.根据本技术一实施例，第二确定模块830用于基于第一网格中各个特征点距离第一网格的中心的距离，以及各个特征点的响应值，确定各个特征点的统计置信度分数。
148.根据本技术一实施例，第二确定模块830用于通过对第一网格中各个特征点距离第一网格的中心的距离的倒数以及各个特征点的响应值进行加权求和，确定各个特征点的统计置信度分数。
149.根据本技术一实施例，第一网格划分是基于二叉树、四叉树或八叉树分割方法执行的。
150.根据本技术一实施例，提取装置800还包括第二划分模块850，用于：基于预设的网格大小对输入图像进行第二网格划分，以得到t个第二网格，其中，t为大于1的整数；针对t个第二网格中每个第二网格进行特征点的初步提取，以得到多个特征点。
151.根据本技术一实施例，第二划分模块850还用于针对输入图像构建图像金字塔。第二划分模块850用于：基于图像金字塔与初始阈值对第二网格进行极值点的提取；在极值点的数量为0时，基于第一规则和初始阈值得到第一更新阈值，其中，第一更新阈值小于初始阈值；基于图像金字塔与第一更新阈值重新对第二网格进行极值点的提取，其中，从第二网格中提取的极值点作为特征点。
152.根据本技术一实施例，第二划分模块850用于：在极值点的数量大于门槛值时，基于第二规则和初始阈值得到第二更新阈值，其中，第二更新阈值大于初始阈值；基于图像金字塔与第二更新阈值重新对第二网格进行极值点的提取。
153.根据本技术一实施例，提取装置800还包括计算模块860，用于：对输入图像执行尺度金字塔池化操作，得到多个不同尺度空间的图像；在多个不同尺度空间的图像中计算第一网格中统计置信度分数最高的特征点对应的特征描述子。
154.应当理解，上述实施例中的第一确定模块810，第一划分模块820，第二确定模块830，筛选模块840，第二划分模块850以及计算模块860的操作和功能可以参考上述图2或图3实施例中提供的特征点的提取方法中的描述，为了避免重复，在此不再赘述。
155.图9所示为本技术一示例性实施例提供的特征匹配装置900的结构示意图。如图9所示，特征匹配装置900包括：第一提取模块910，第二提取模块920以及匹配模块930。
156.第一提取模块910用于采用上述实施例提供的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子。第二提取模块920用于采用上述实施例提供的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子。匹配模块930用于基于第一特征描述子和第二特征描述子对第
一图像和第二图像进行特征匹配以得到匹配结果。
157.本技术实施例提供了一种特征匹配装置，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
158.应当理解，上述实施例中的第一提取模块910，第二提取模块920以及匹配模块930的操作和功能可以参考上述图4实施例中提供的特征匹配方法中的描述，为了避免重复，在此不再赘述。
159.图10所示为本技术一示例性实施例提供的图像的重建装置1000的结构示意图。如图10所示，图像的重建装置1000包括：第一提取模块1010，第二提取模块1020，匹配模块1030以及重建模块1040。
160.第一提取模块1010用于采用上述实施例提供的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子。第二提取模块1020用于采用上述实施例提供的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子。匹配模块1030用于基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果。重建模块1040用于根据匹配结果对待重建对象进行重建。
161.本技术实施例提供了一种图像的重建方法，通过基于空间划分方法对输入图像进行第一网格划分以得到多个第一网格，并对每个第一网格中的特征点按照统计置信度分数进行筛选，以保留每个第一网格中统计置信度分数最高的特征点。由于统计置信度分数越高的特征点距离第一网格中心越近，因此采用本技术实施例提供的特征点的提取方法，可以提高最终得到的所有特征点的分布均匀性，避免出现输入图像中重复纹理区域提取不到特征点的情况，可以有效地防止特征点扎堆。
162.应当理解，上述实施例中的第一提取模块1010，第二提取模块1020，匹配模块1030以及重建模块1040的操作和功能可以参考上述图5实施例中提供的图像的重建方法中的描述，为了避免重复，在此不再赘述。
163.图11所示为本技术一示例性实施例提供的用于执行特征点的提取方法的无人设备1100的框图。
164.参照图11，无人设备1100包括处理组件1110，其进一步包括一个或多个处理器，以及由存储器1120所代表的存储器资源，用于存储可由处理组件1110执行的指令，例如应用程序。存储器1120中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1110被配置为执行指令，以执行上述特征点的提取方法，特征匹配方法，或图像的重建方法。在一实施例中，无人设备可以是无人机。
165.无人设备1100还可以包括一个电源组件被配置为执行无人设备1100的电源管理，一个有线或无线网络接口被配置为将无人设备1100连接到网络，和一个输入输出(i/o)接口。可以基于存储在存储器1120的操作系统操作无人设备1100，例如windows server
tm
，mac os x
tm
，unix
tm
，linux
tm
，freebsd
tm
或类似。
166.一种非临时性计算机可读存储介质，当存储介质中的指令由上述无人设备1100的处理器执行时，使得上述无人设备1100能够执行一种特征点的提取方法，特征匹配方法，或图像的重建方法。特征点的提取方法包括：确定针对输入图像初步提取到的多个特征点的数量；在多个特征点的数量大于期望特征点数量时，基于空间划分方法对输入图像进行第一网格划分以得到k个第一网格，其中，k大于或等于期望特征点数量；确定k个第一网格中每个第一网格的特征点数量，在第一网格的特征点数量大于1时，基于第一网格中各个特征点距离第一网格的中心的距离确定各个特征点的统计置信度分数；基于各个特征点的统计置信度分数对第一网格的特征点进行筛选，以得到第一网格中统计置信度分数最高的特征点。特征匹配方法包括：采用上述实施例提供的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子；采用上述实施例提供的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子；基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果。图像的重建方法包括：采用上述实施例提供的特征点的提取方法提取第一图像中的特征点，并计算第一图像中的特征点对应的第一特征描述子；采用上述实施例提供的特征点的提取方法提取第二图像中的特征点，并计算第二图像中的特征点对应的第二特征描述子；基于第一特征描述子和第二特征描述子对第一图像和第二图像进行特征匹配以得到匹配结果；根据匹配结果对待重建对象进行重建。
167.上述所有可选技术方案，可采用任意结合形成本技术的可选实施例，在此不再一一赘述。
168.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
169.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
170.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
171.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
172.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
173.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
174.需要说明的是，在本技术的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
175.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换等，均应包含在本技术的保护范围之内。