带有位置信息的无人机视频拼接方法、装置、设备及介质与流程

本发明涉及图像处理，尤其是涉及一种带有位置信息的无人机视频拼接方法、装置、设备及介质。

背景技术：

1、基于摄影测量或计算机视觉的无人机影像拼接技术已成为一种常用的对地观测手段，并被应用到越来越多的领域。随着该技术对无人机影像数据规范性要求的不断降低，以及无人机数据存储设备存储能力的增强，满足一定要求的无人机视频数据也可通过抽取关键帧的方式进行影像帧拼接，从而用于dom生产。一方面，基于摄影测量或计算机视觉的无人机影像拼接技术的优势在于，所获视频帧的连续性以及任意抽取的灵活性，弥补了无人机影像可能因拍摄时飞行速度控制不当或飞机转向等因素造成的不满足航向重叠度要求的缺陷；另一方面，相较于传统的采用相似变换或单应变换的视频帧拼接方法，其具有更高的地理位置及形状精确度，以及更强的地形适应性，能够更好地服务测绘等领域。但是，现有的无人机视频拼接技术的精度仍然存在一定提升空间。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种带有位置信息的无人机视频拼接方法、装置、设备及介质，可以更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。

2、第一方面，本发明实施例提供了一种带有位置信息的无人机视频拼接方法，包括：

3、获取待拼接的无人机视频；

4、通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；

5、基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；

6、基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。

7、在一种实施方式中，通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数的步骤，包括：

8、将多个候选间隔帧数和所述无人机视频输入至预先训练得到的相似度估算模型，以通过所述相似度估算模型输出每个所述候选间隔帧数对应的前后帧影像平均相似度；

9、根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数。

10、在一种实施方式中，根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数的步骤，包括：

11、如果当前候选间隔帧数对应的所述前后帧影像平均相似度大于预设阈值，且下一候选间隔帧数对应的所述前后帧影像平均相似度小于所述预设阈值，则将所述当前候选间隔帧数确定为目标间隔帧数。

12、在一种实施方式中，所述相似度估算模型采用孪生神经网络。

13、在一种实施方式中，所述关键帧显示的内容包括无人机采集的画面和所述无人机采集所述画面时的初始位置信息；基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息的步骤，包括：

14、对于每个所述关键帧，通过文字识别模型识别该关键帧显示的所述初始位置信息对应的文本框；

15、如果所述文本框包括方位标识信息和数值信息，则根据所述方位标识信息和所述数值信息之间的对应关系，确定该关键帧对应的目标位置信息；

16、或者，如果所述文本框包括数值信息，则通过图形用户界面显示所述数值信息，并响应针对于所述数值信息的方位标注操作，确定该关键帧对应的目标位置信息；

17、其中，所述目标位置信息包括经度信息、纬度信息和高度信息中的一种或多种。

18、在一种实施方式中，基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像的步骤，包括：

19、基于所述目标位置信息提取每个所述关键帧的场景信息；其中，所述场景信息包括影像外方位元素和场景稀疏点云；

20、根据预设高程数据和所述场景信息，对每个所述关键帧进行正射纠正处理和镶嵌处理，得到所述无人机视频对应的数字正射影像。

21、在一种实施方式中，基于所述目标位置信息提取每个所述关键帧的场景信息的步骤，包括：

22、对于每个所述关键帧，基于所述目标位置信息确定该关键帧对应的邻近关键帧，并对该关键帧与所述邻近关键帧进行特征提取与匹配处理，以确定同名特征点；

23、对所述同名特征点进行初始像对选择处理、初始像对平差处理和异常影像滤除处理，以构建初始模型；

24、基于所述目标位置信息，对所述初始模型进行局部光束法平差处理和全局光束法平差处理，以确定场景信息。

25、第二方面，本发明实施例还提供一种带有位置信息的无人机视频拼接装置，包括：

26、视频获取模块，用于获取待拼接的无人机视频；

27、关键帧截取模块，用于通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数，并按照所述目标间隔帧数从所述无人机视频中截取关键帧；

28、位置提取模块，用于基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息；

29、拼接模块，用于基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像。

30、第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。

31、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。

32、本发明实施例提供的一种带有位置信息的无人机视频拼接方法、装置、设备及介质，首先获取待拼接的无人机视频；然后通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，从而按照目标间隔帧数从无人机视频中截取关键帧；最后基于关键帧显示的内容提取每个关键帧对应的目标位置信息，以基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。上述方法通过相似度估算模型确定出更合理的目标间隔帧数，以按照目标间隔帧数截取关键帧，以便于在后续拼接过程中较好地兼顾关键帧的数量和拼接精度，另外，通过提取每个关键帧对应的目标位置信息，有助于更加精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。

33、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

34、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种带有位置信息的无人机视频拼接方法，其特征在于，包括：

2.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，通过预先训练得到的相似度估算模型，基于所述无人机视频确定目标间隔帧数的步骤，包括：

3.根据权利要求2所述的带有位置信息的无人机视频拼接方法，其特征在于，根据每个所述候选间隔帧数对应的所述前后帧影像平均相似度，从所述候选间隔帧数中确定目标间隔帧数的步骤，包括：

4.根据权利要求2所述的带有位置信息的无人机视频拼接方法，其特征在于，所述相似度估算模型采用孪生神经网络。

5.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，所述关键帧显示的内容包括无人机采集的画面和所述无人机采集所述画面时的初始位置信息；基于关键帧显示的内容，提取每个所述关键帧对应的目标位置信息的步骤，包括：

6.根据权利要求1所述的带有位置信息的无人机视频拼接方法，其特征在于，基于所述目标位置信息对每个所述关键帧进行拼接，得到所述无人机视频对应的数字正射影像的步骤，包括：

7.根据权利要求6所述的带有位置信息的无人机视频拼接方法，其特征在于，基于所述目标位置信息提取每个所述关键帧的场景信息的步骤，包括：

8.一种带有位置信息的无人机视频拼接装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。

技术总结
本发明提供了一种带有位置信息的无人机视频拼接方法、装置、设备及介质，涉及图像处理技术领域，包括：获取待拼接的无人机视频；通过预先训练得到的相似度估算模型，基于无人机视频确定目标间隔帧数，并按照目标间隔帧数从无人机视频中截取关键帧；提取每个关键帧对应的目标位置信息；基于目标位置信息对每个关键帧进行拼接，得到无人机视频对应的数字正射影像。本发明可以更加高效且精确地实现无人机视频拼接，从而获得更高精度的数字正射影像。

技术研发人员：李民录,王宇翔,钟函笑,肖文,刘国华
受保护的技术使用者：航天宏图信息技术股份有限公司
技术研发日：
技术公布日：2024/1/15