特征提取网络模型的训练方法、图像处理方法及其装置与流程

1.本技术涉及神经网络技术领域，具体涉及一种特征提取网络模型的训练方法、图像处理方法及其装置。


背景技术：

2.众所周知，针对图像的特征点提取方法，被广泛应用到诸多图像处理场景中，比如农田测绘场景和农田重建场景。
3.然而，通常情况下，基于现有特征点提取方法提取的特征点的鲁棒性较差，尤其是具有重复纹理的图像。依赖于鲁棒性较差的特征点，难以保证后续特征点匹配对的数量。没有足够数量的特征点匹配对，便难以建立图像的帧间数据关联关系，进而难以保障后续的图像处理操作的顺利进行。


技术实现要素：

4.有鉴于此，本技术提供一种特征提取网络模型的训练方法、图像处理方法及其装置，以解决所提取的特征点的数量过少且鲁棒性较差的问题。
5.第一方面，本技术提供了一种特征提取网络模型的训练方法，该特征提取网络模型的训练方法包括：获取训练数据集，训练数据集中包括多幅图像帧；基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型，其中，特征提取网络模型用于基于待处理图像集确定待处理图像集对应的特征点数据。
6.第二方面，本技术提供了一种飞行器的航向确定方法，该飞行器的航向确定方法包括：获取飞行器在飞行过程中，拍摄的遥感图像集；基于特征提取网络模型，确定遥感图像集对应的特征点数据，特征提取网络模型基于上述第一方面所述的方法训练得到；基于遥感图像集对应的特征点数据，生成遥感图像集对应的特征点匹配对数据；基于遥感图像集对应的特征点匹配对数据，确定飞行器的航向数据。
7.第三方面，本技术提供了一种特征提取网络模型的训练装置，该特征提取网络模型的训练装置包括：获取模块，用于获取训练数据集，所述训练数据集中包括多幅图像帧；训练模块，用于基于所述多幅图像帧之间的邻近关系和所述多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型，其中，所述特征提取网络模型用于基于待处理图像集确定所述待处理图像集对应的特征点数据。
8.第四方面，本技术提供了一种飞行器的航向确定装置，该飞行器的航向确定装置包括：获取模块，用于获取飞行器在飞行过程中，拍摄的遥感图像集；匹配对确定模块，用于基于特征提取网络模型，确定遥感图像集对应的特征点数据，所述特征提取网络模型基于上述第一方面所述的方法训练得到；并基于所述遥感图像集对应的特征点数据，生成所述遥感图像集对应的特征点匹配对数据；航向确定模块，用于基于遥感图像集对应的特征点匹配对数据，确定飞行器的航向数据。
9.第五方面，本技术提供了一种计算机可读存储介质，存储介质存储有指令，当指令
由电子设备的处理器执行时，使得电子设备能够执行上述第一方面或第二方面所提及的方法。
10.第六方面，本技术提供了一种电子设备，该电子设备包括：处理器；用于存储计算机可执行指令的存储器；该处理器，用于执行计算机可执行指令，以实现上述第一方面或第二方面所提及的方法。
11.本技术实施例提供的特征提取网络模型的训练方法，通过m个架次的飞行器各自采集的图像序列数据，生成训练数据集，进而基于所述训练数据集，弱监督训练待训练网络模型的方式，训练得到了特征提取网络模型。基于本技术实施例训练得到的特征提取网络模型，不仅能够保证提取的特征点的数量，而且能够提高所提取的特征点的鲁棒性，进而为保证后续特征点匹配对的数量提供了前提条件。尤其是针对具备重复纹理的图像，本技术实施例训练得到的特征提取网络模型能够充分兼顾特征点的数量和鲁棒性。
附图说明
12.图1所示为本技术一实施例提供的方法应用场景示意图。
13.图2所示为本技术一实施例提供的特征提取网络模型的训练方法的流程示意图。
14.图3所示为本技术一实施例提供的基于训练数据集，弱监督训练待训练网络模型，得到特征提取网络模型的流程示意图。
15.图4所示为本技术一实施例提供的根据多幅图像帧之间的邻近关系从第一损失函数和第二损失函数中确定目标损失函数的流程示意图。
16.图5所示为本技术一实施例提供的训练数据集的构建原理示意图。
17.图6所示为本技术另一实施例提供的训练数据集的构建原理示意图。
18.图7所示为本技术一实施例提供的特征提取网络模型的训练方法的流程示意图。
19.图8所示为本技术一实施例提供的图像处理方法的流程示意图。
20.图9所示为本技术一实施例提供的飞行器的航向确定方法的流程示意图。
21.图10所示为本技术一实施例提供的特征提取网络模型的训练装置的结构示意图。
22.图11所示为本技术一实施例提供的图像处理装置的结构示意图。
23.图12所示为本技术一实施例提供的飞行器的航向确定装置的结构示意图。
24.图13所示为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
26.目前，常用的特征点提取方法包括尺度不变特征变换(scale invariant feature transform，sift)方法。即，提取待处理图像的sift特征点，进而基于提取的sift特征点生成特征点匹配对。然而，提取的sift特征点往往不够鲁棒，无法保证后续有足够多的特征点匹配对。尤其是针对具有重复纹理的图像(比如香蕉林图像、小麦地图像和玉米地图像等等)，特征点的提取难度更大，尽管降低阈值的方式能够提高所获得的sift特征点的数量，
但是依然不能保障特征点的鲁棒性。
27.为了解决上述问题，本技术实施例提供一种特征提取网络模型的训练方法、图像处理方法及其装置，以解决所提取的特征点的鲁棒性较差等问题。
28.下面结合图1介绍本技术提及的方法的具体应用场景。
29.图1所示为本技术一实施例提供的方法应用场景示意图。如图1所示，本技术实施例提供的应用场景为飞行器的航向确定场景。具体地，该场景中包括具有重复纹理的目标区域110以及飞行器120。飞行器120包括图像采集装置111以及与图像采集装置111连接的处理器112。图像采集装置111用于在飞行器120的飞行过程中，拍摄遥感图像集。处理器112用于确定遥感图像集对应的特征点匹配对数据，并基于遥感图像集对应的特征点匹配对数据，确定飞行器120的航向数据。其中，航向数据包括飞行器(比如无人机)的飞行姿态数据(又称为位姿数据)。如此设置，能够利用鲁棒性较好的特征点数据提高航向数据的精准度。
30.可选地，本技术实施例提供的方法还适用于另一场景，在该场景中，图像采集装置111拍摄遥感图像集后将遥感图像集发送至云端服务器或图像处理装置，由云端服务器或图像处理装置确定遥感图像集对应的特征点匹配对数据，并基于遥感图像集对应的特征点匹配对数据，确定飞行器120的航向数据。
31.示例性地，遥感图像集对应的特征点匹配对数据的确定方式包括：基于特征提取网络模型，确定待处理图像集(即遥感图像集)对应的特征点数据，基于所述待处理图像集对应的特征点数据，生成待处理图像集对应的特征点匹配对数据。
32.示例性地，特征提取网络模型的训练方法包括：获取训练数据集，训练数据集中包括多幅图像帧；基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型，其中，特征提取网络模型用于基于待处理图像集确定待处理图像集对应的特征点数据。
33.下面结合图2至图6对本技术提供的相关方法进行详细描述。
34.图2所示为本技术一实施例提供的特征提取网络模型的训练方法的流程示意图。示例性地，本技术实施例提供的特征提取模型的训练方法既可以在飞行器等硬件设备的处理器中执行，也可以在相关的服务器中执行。
35.如图2所示，本技术实施例提供的特征提取网络模型的训练方法包括如下步骤。
36.步骤s210，获取训练数据集，所述训练数据集中包括多幅图像帧。
37.示例性地，基于m个架次的飞行器各自采集的图像序列数据，生成训练数据集。比如，将m个架次的飞行器各自采集的图像序列数据直接作为训练数据集。
38.飞行器的架次信息包括飞行日期、飞行器编号和飞行次数等诸多信息。由此可见，基于飞行器的架次信息(即基于飞行器的架次)便可确定在该架次中，飞行器采集的图像序列数据。示例性地，图像序列数据对应的场景为农田场景，并且，飞行器包括但不限于为植保无人机、测绘无人机。更进一步地，图像序列数据对应p幅具有重复纹理的图像帧，图像帧包括农田场景图像帧，农田场景图像帧包括香蕉林图像帧、小麦地图像帧和玉米地图像帧中的至少一种图像帧。
39.针对同一架次的飞行器采集的图像序列数据，图像帧之间(尤其相邻图像帧)的相似性可能相对较高，因此，通常会存在较多的特征点匹配对。对应地，针对不同架次的飞行器各自采集的图像序列数据，图像序列数据之间的相似性可能相对较低，比如，两套图像序
列数据本就不是同一目标场景，则两套图像序列数据之间的相似性可能相对较低甚至无相似性。
40.在一些实施例中，m为正整数，即架次的数量既可以为一个，亦可以为多个。可以理解，通常情况下，一个架次的图像序列数据所涉及的图像帧亦是数百幅，因此，即使只有一个架次，所生成的训练数据集亦是非常庞大且丰富的。进一步地，为使待训练模型能够充分学习到图像帧之间的数据关联关系，限定m为大于1的正整数，即基于多个不同架次的飞行器各自采集的图像序列数据，生成训练数据集。
41.步骤s220，基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型。
42.示例性地，特征提取网络模型用于基于待处理图像集确定待处理图像集对应的特征点数据。可以理解，实质上，待处理图像集具备训练数据集中的图像帧的图像特性，比如，待处理图像集包括多幅具有重复纹理的图像帧，多幅具有重复纹理的图像帧包括同一架次的飞行器拍摄的农田场景图像帧。
43.在一些实施例中，待训练网络模型为预先建立的、需要进行训练的初始网络模型。可以理解为，待训练网络模型和特征提取网络模型的区别在于模型参数。弱监督训练待训练网络模型，即基于弱监督信号训练待训练网络模型，具体地，基于弱监督信号生成训练约束(即模型损失函数)，进而基于训练约束训练待训练网络模型，得到特征提取网络模型。对应地，在实际应用过程中，利用模型的损失函数判断模型是否收敛，即判断模型是否训练完毕。
44.本技术实施例提供的特征提取网络模型的训练方法，通过基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型的方式，训练得到了特征提取网络模型。基于本技术实施例训练得到的特征提取网络模型，不仅能够保证提取的特征点的数量，而且能够提高所提取的特征点的鲁棒性，进而为保证后续特征点匹配对的数量提供了前提条件。尤其是针对具备重复纹理的图像，本技术实施例训练得到的特征提取网络模型能够充分兼顾特征点的数量和鲁棒性。
45.图3所示为本技术一实施例提供的基于训练数据集，弱监督训练待训练网络模型，得到特征提取网络模型的流程示意图。如图3所示，在本技术实施例中，基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型步骤，包括如下步骤。
46.步骤s221，构建待训练网络模型对应的第一损失函数和第二损失函数。
47.示例性地，第一损失函数包括响应约束函数，第二损失函数包括响应约束函数和正则项。
48.步骤s222，根据多幅图像帧之间的邻近关系从第一损失函数和第二损失函数中确定目标损失函数。
49.下面结合图4举例说明根据多幅图像帧之间的邻近关系从第一损失函数和第二损失函数中确定目标损失函数的具体实现方式。如图4所示，在本技术实施例中，根据多幅图像帧之间的邻近关系从第一损失函数和第二损失函数中确定目标损失函数步骤，包括步骤s2221和s2222。步骤s2221，当不存在邻近关系时，确定第一损失函数为目标损失函数。步骤s2222，当存在邻近关系时，确定第二损失函数为目标损失函数。
50.步骤s223，基于目标损失函数和多帧图像，弱监督训练待训练网络模型，得到特征提取网络模型。
51.本技术实施例能够充分利用多幅图像帧之间的邻近关系确定目标损失函数，由于目标损失函数是基于多幅图像帧之间的邻近关系确定的，因此，本技术实施例能够使训练得到的模型所输出特征点数据更精准。
52.进一步地，在一些实施例中，邻近关系包括正邻近关系和次邻近关系。根据多帧图像数据之间的邻近关系从第一损失函数和第二损失函数中确定目标损失函数，包括：当存在邻近关系时，获取正邻近关系对应的第二损失函数，以及次邻近关系对应的第二损失函数；基于正邻近关系对应的第二损失函数，以及次邻近关系对应的第二损失函数，共同确定出目标损失函数。在飞行器的实际飞行过程中，如果k时刻对应一个位置，那么利用模型推测k+1时刻的位置，则可能有一定的误差，如果飞机一直飞行，则误差会不断累积，导致越来越大。在这种情况下，如果利用邻近关系，尤其是次邻近关系，则可实现利用前一帧或前几帧的信息来推测当前帧的目的，从而实现联合优化。由此可见，加入次邻近关系能够进一步提高后续重建后的地图的精度。
53.下面结合图5和图6举例说明邻近图像帧(又称正邻近图像帧)和次邻近图像帧的含义。
54.图5所示为本技术一实施例提供的训练数据集的构建原理示意图。如图5所示，在本技术实施例中，共涉及两个架次各自的图像序列，分别是架次1和架次2。架次1的图像序列包括三幅图像帧，分别为图像帧31、图像帧32和图像帧33。架次2的图像序列包括三幅图像帧，分别为图像帧34、图像帧35和图像帧36。
55.在同一架次中，相邻的每两幅图像帧可视为正邻近图像帧。具体地，在架次1中，图像帧31和图像帧32可被视为正邻近图像帧，图像帧32和图像帧33可被视为正邻近图像帧。类似地，在架次2中，图像帧34和图像帧35可被视为正邻近图像帧，图像帧35和图像帧36可被视为正邻近图像帧。在同一架次中，间隔一帧的每两幅图像帧可视为次邻近图像帧。具体地，在架次1中，图像帧31和图像帧33可被视为次邻近图像帧。类似地，在架次2中，图像帧34和图像帧36可被视为次邻近图像帧。此外，由于架次1和架次2为两个不同架次，因此，图像帧之间无邻近关系。
56.图6所示为本技术另一实施例提供的训练数据集的构建原理示意图。如图6所示，在本技术实施例中，共涉及一个架次的不同航道的两组图像序列，分别是架次1的第s航道和架次1的第s+1航道。第s航道和第s+1航道为相邻航道(可视为一对往返航道)，s为正整数即可。具体地，第s航道的图像序列包括三幅图像帧，分别为图像帧41、图像帧42和图像帧43。第s+1航道的图像序列包括三幅图像帧，分别为图像帧44、图像帧45和图像帧46。
57.在同一航道中，相邻的每两幅图像帧可视为正邻近图像帧。具体地，在第s航道中，图像帧41和图像帧42可被视为正邻近图像帧，图像帧42和图像帧43可被视为正邻近图像帧。类似地，在第s+1航道中，图像帧44和图像帧45可被视为正邻近图像帧，图像帧45和图像帧46可被视为正邻近图像帧。在同一航道中，间隔一帧的每两幅图像帧可视为次邻近图像帧。具体地，在第s航道中，图像帧41和图像帧43可被视为次邻近图像帧。类似地，在第s+1航道中，图像帧44和图像帧46可被视为次邻近图像帧。此外，由于第s航道和第s+1航道为同一架次的相邻航道，所以图像帧之间亦可以被视为具备旁向关联关系的次邻近图像帧。具体
地，图像帧41和图像帧44可被视为次邻近图像帧，图像帧42和图像帧45可被视为次邻近图像帧，图像帧43和图像帧46可被视为次邻近图像帧。
58.需要说明的是，图5和图6仅仅是举例，并不限制正邻近图像帧和次邻近图像帧的含义。比如，针对同一航道，间隔两帧的每两幅图像帧亦可视为次邻近图像帧。此外，每一航道所包含的图像帧的数量亦不局限于三幅，再者，第s+1航道亦可以替换为第s-1航道，s为大于1的正整数。
59.综上，在一些实施例中，邻近关系包括正邻近关系和次邻近关系，具备正邻近关系的图像帧为正邻近图像帧，具备次邻近关系的图像帧为次邻近图像帧。正邻近图像帧包括，针对同一架次的飞行器在同一航道采集的图像序列数据，图像序列数据中的每两幅相邻图像帧。次邻近图像帧包括，针对同一架次的飞行器在同一航道采集的图像序列数据，图像序列数据中的间隔预设帧数的每两幅图像帧。和/或，次邻近图像帧包括，针对同一架次的飞行器在相邻航道采集的两套图像序列数据，两套图像序列数据中的每两幅旁向相邻图像帧。
60.在一些实施例中，响应约束函数基于多幅图像帧中待匹配的图像帧的特征点数量、待匹配的图像帧之间的特征点匹配对的最小距离和次小距离确定；正则项基于待匹配的图像帧的特征点距离矩阵确定，待匹配的图像帧的数量大于或等于2。如此设置，是为了进一步提高所确定的特征点数据的鲁棒性。
61.下面以待匹配的图像帧的数量为两幅举例说明。
62.具体地，下面结合下述公式(1)进一步解释说明。
[0063][0064]
在公式(1)中，loss
weakly
表征目标损失函数，d表征每两幅图像帧的特征点距离矩阵，y表征弱监督信号，当y＝0时，表征待匹配的图像帧(即每两幅图像帧)不存在邻近关系，当y＝1时，表征待匹配的图像帧(即每两幅图像帧)存在邻近关系。n表征每两幅图像帧的特征点数量，d1表征每两幅图像帧的特征点匹配对之间的最小距离，d2表征每两幅图像帧的特征点匹配对之间的次小距离。表征正则项，nm表征特征点距离矩阵中，在矩阵元素所在的矩阵行和矩阵列，矩阵元素均为最小值的矩阵元素数目。其中，每两幅图像帧的特征点距离矩阵指的是，每两幅图像帧中的所有特征点所形成的距离矩阵。比如，若第一幅图像帧包括两个特征点，第二幅图像帧包括两个特征点，那么，该两幅图像帧的特征点距离矩阵即为两行两列的矩阵。
[0065]
需要说明的是，上述提及的距离指的是欧氏距离，可以理解，距离越小，说明匹配准确度越高。公式(1)表达的含义包括：针对每两幅图像帧，若y＝0，即无邻近关系，则期望比值能够尽可能地接近，若y＝1，即具备邻近关系或次邻近关系，期望即期望
趋近于意味着辨识性比较强。此外，期望即期望趋近于0，即期望nm尽可能大。
[0066]
本技术实施例利用上述提及的损失函数，能够极大提高最终得到的特征提取网络模型提取的特征点的鲁棒性和数量。
[0067]
在一些实施例中，待训练网络模型包括特征提取器(又称为特征提取网络)和描述器(又称为描述网络)。对应地，针对训练数据集中的每两幅图像帧(即待匹配的图像帧)，特征提取器和描述器均执行下述步骤。
[0068]
特征提取器用于，分别对每两幅图像帧进行处理，得到每两幅图像帧各自对应的分数图数据、方向图数据和尺度图数据，进而得到每两幅图像帧对应的关键点数据。进一步地，为保证训练效果，针对每两幅图像帧，第一幅图像帧对应的分数图数据、方向图数据和尺度图数据和第二幅图像帧对应的分数图数据、方向图数据和尺度图数据要尽可能相似。比如，特征提取器包括感受野网络(receptive fields network，rf-net)。描述器用于，描述每两幅图像帧对应的关键点数据，生成包括关键点描述信息的特征点数据。比如，采用hardnet作为描述器，构造hard loss函数，从而提取得到关键点对应的局部图像特征信息。
[0069]
需要说明的是，特征提取器和描述器不局限于上述提及的rf-net和hardnet，只要是端到端的特征提取器和描述器均可应用到本技术实施例中。
[0070]
图7所示为本技术一实施例提供的特征提取网络模型的训练方法的流程示意图。如图7所示，在本技术实施例中，在基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型之前，还包括如下步骤。
[0071]
步骤s211，针对多幅图像帧中的待匹配的图像帧，确定每至少两幅图像帧之间的重叠度。其中，待匹配的图像帧的数量大于或等于2。
[0072]
在一些实施例中，确定每至少两幅图像帧之间的重叠度，包括：确定待匹配的图像帧中每一图像帧对应的标识信息，其中，标识信息包括图像位置信息、图像时间戳信息和图像帧号信息中的至少一种；基于待匹配的图像帧中每一图像帧对应的标识信息，确定待匹配的图像帧之间的重叠度。
[0073]
步骤s212，若待匹配的图像帧之间的重叠度大于预设重叠度阈值，则确定待匹配的图像帧之间存在邻近关系。
[0074]
步骤s213，若待匹配的图像帧之间的重叠度小于或等于预设重叠度阈值，则确定待匹配的图像帧之间不存在邻近关系。
[0075]
本技术实施例能够实现利用图像帧之间的重叠度实现确定图像帧之间的邻近关系的目的。与现有技术相比，所确定的邻近关系的范围更广，从而有利于进一步提高训练得到的模型的鲁棒性。
[0076]
图8所示为本技术一实施例提供的图像处理方法的流程示意图。如图8所示，本技术实施例提供的图像处理方法包括如下步骤。
[0077]
步骤s510，基于特征提取网络模型，确定待处理图像集对应的特征点数据。
[0078]
示例性地，步骤s510中提及的特征提取网络模型基于上述任一实施例提及的特征提取网络模型的训练方法训练得到。
[0079]
步骤s520，基于待处理图像集对应的特征点数据，生成待处理图像集对应的特征
点匹配对数据。
[0080]
在一些实施例中，待处理图像集包括多幅具有重复纹理的图像帧，多幅具有重复纹理的图像帧包括同一架次的飞行器拍摄的农田场景图像帧。农田场景图像帧包括香蕉林图像帧、小麦地图像帧和玉米地图像帧中的至少一种图像帧。
[0081]
本技术实施例提供的图像处理方法，能够利用特征提取网络模型得到数量足够多且鲁棒性足够好的特征点数据，进而基于得到的特征点数据生成数量足够多且匹配程度足够好的特征点匹配对，进而建立较好的帧间数据关联关系，为后续三维场景重建和/或飞行器的航向确定提供了有利数据基础。
[0082]
在一些实施例中，基于待处理图像集对应的特征点数据，生成待处理图像集对应的特征点匹配对数据，包括：基于待处理图像集对应的特征点数据和最近邻比例法，生成特征点匹配对数据。也就是说，本技术实施例利用最近邻比例法筛选得到了特征点匹配对，从而提高了特征点匹配对的精准度。
[0083]
图9所示为本技术一实施例提供的飞行器的航向确定方法的流程示意图。如图9所示，本技术实施例提供的飞行器的航向确定方法包括如下步骤。
[0084]
步骤s610，获取飞行器在飞行过程中，拍摄的遥感图像集。
[0085]
示例性地，遥感图像集指的是，飞行器在飞行过程中拍摄的图像序列。可以理解，步骤s610中提及的遥感图像集可视为上述实施例提及的待处理图像集。
[0086]
步骤s620，确定遥感图像集对应的特征点匹配对数据。
[0087]
示例性地，步骤s620中提及的遥感图像集对应的特征点匹配对数据基于上述任一实施例提及的图像处理方法得到。也就是说，基于特征提取网络模型，确定遥感图像集对应的特征点数据，进而基于遥感图像集对应的特征点数据，生成遥感图像集对应的特征点匹配对数据。其中，特征提取网络模型基于上述任一实施例所述的方法训练得到。
[0088]
步骤s630，基于遥感图像集对应的特征点匹配对数据，确定飞行器的航向数据。
[0089]
由于飞行器在飞行过程中拍摄的图像序列是连续的，每两幅相邻图像之间的差异可基于该两幅相邻图像之间的特征点匹配对数据确定，进而基于图像序列中，每两幅相邻图像之间的差异便可确定飞行器的航向数据。与现有技术相比，本技术实施例能够进一步提高所确定的飞行器的航向数据的精准度。
[0090]
上文结合图2至图9，详细描述了本技术的方法实施例，下面结合图10至图13，详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
[0091]
图10所示为本技术一实施例提供的特征提取网络模型的训练装置的结构示意图。如图10所示，本技术实施例提供的特征提取网络模型的训练装置包括获取模块710和训练模块720。获取模块710用于获取训练数据集，训练数据集中包括多幅图像帧。训练模块720用于，基于多幅图像帧之间的邻近关系和多幅图像帧，弱监督训练待训练网络模型，得到特征提取网络模型，其中，特征提取网络模型用于基于待处理图像集确定待处理图像集对应的特征点数据。
[0092]
图11所示为本技术一实施例提供的图像处理装置的结构示意图。如图11所示，本技术实施例提供的图像处理装置包括确定模块810和匹配对生成模块820。确定模块810用于，基于特征提取网络模型，确定待处理图像集对应的特征点数据。特征提取网络模型基于
上述任一实施例所提及的特征提取网络模型的训练方法训练得到。匹配对生成模块820用于，基于待处理图像集对应的特征点数据，生成待处理图像集对应的特征点匹配对数据。
[0093]
在一些实施例中，匹配对生成模块820还用于，基于待处理图像集对应的特征点数据和最近邻比例法，生成特征点匹配对数据。
[0094]
图12所示为本技术一实施例提供的飞行器的航向确定装置的结构示意图。如图12所示，本技术实施例提供的飞行器的航向确定装置包括获取模块910、匹配对确定模块920和航向确定模块930。获取模块910用于，获取飞行器在飞行过程中，拍摄的遥感图像集。匹配对确定模块920用于，基于特征提取网络模型，确定遥感图像集对应的特征点数据；并基于遥感图像集对应的特征点数据，生成遥感图像集对应的特征点匹配对数据。其中，特征提取网络模型基于上述任一实施例所述的特征提取网络模型的训练方法训练得到。航向确定模块930用于，基于遥感图像集对应的特征点匹配对数据，确定飞行器的航向数据。
[0095]
在一些实施例中，还提供一种飞行器，该飞行器包括上述任一实施例所提及的飞行器的航向确定装置。
[0096]
图13所示为本技术一实施例提供的电子设备的结构示意图。如图13所示，本技术实施例提供的电子设备1000包括：处理器1010；以及存储器1020，在存储器1020中存储有计算机程序指令，计算机程序指令在被处理器1010运行时使得处理器1010执行上述实施例所提及的方法。
[0097]
处理器1010可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。
[0098]
存储器1020可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1010可以运行所述程序指令，以实现上文所述的本技术的上述实施例提到的方法的功能。在所述计算机可读存储介质中还可以存储诸如特征提取网络模型等各种内容。
[0099]
在一个示例中，电子设备1000还可以包括：输入装置1030和输出装置1040，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0100]
该输入装置1030可以包括例如键盘、鼠标、麦克风等等。
[0101]
该输出装置1040可以向外部输出各种信息，包括特征点数据等。该输出装置1040可以包括例如显示器、通信网络、扬声器及其所连接的远程输出设备等等。
[0102]
当然，为了简化，图13中仅示出了该电子设备1000中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1000还可以包括任何其他适当的组件。
[0103]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的方法中的步骤。
[0104]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如
java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0105]
此外，本技术实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的方法中的步骤。
[0106]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0107]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0108]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0109]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0110]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0111]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。