一种基于神经隐式地图的相机定位方法、装置及电子设备

本发明涉及视觉定位，尤其是一种基于神经隐式地图的相机定位方法、装置及电子设备。

背景技术：

1、视觉定位是计算机视觉和机器人领域的关键问题之一，对于许多应用至关重要，包括同时定位与地图构建、增强现实和自主导航等。传统的视觉定位技术常依赖于特征匹配，这些特征描述符容易受到光照和天气变化的影响。在恶劣天气条件下，如浓雾、雨雪或强烈阳光下，这些特征描述的性能可能会受到严重影响。特征匹配算法通过在图像之间寻找orb、sift或线特征描述符等对应关系来解决这个问题。然而，这些算法依赖于对光照和天气变化敏感的特征描述符，同时在复杂场景中，例如存在大量遮挡或具有重复模式的环境，特征匹配方法容易出现错误，导致错误的定位结果或匹配点的混淆。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于神经隐式地图的相机定位方法、装置及电子设备，以克服环境复杂因素的影响，提高位姿估计的准确率和精度,实现鲁棒精准的相机重定位。

2、本发明实施例的一方面提供了一种基于神经隐式地图的相机定位方法，该方法包括：

3、将查询图像输入卷积骨干网络，生成深度特征图以及粗糙位姿特征；

4、根据所述深度特征图，得到目标张量；

5、将所述目标张量输入transformer编码器，得到目标输出；

6、根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征；

7、将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿。

8、可选地，所述根据所述深度特征图，得到目标张量，包括：

9、对所述深度特征图进行压缩操作，得到序列表征；

10、对所述序列表征进行位置编码，得到所述深度特征图的位置编码；

11、根据所述深度特征图的位置编码以及所述序列表征，进行连接编码，得到目标张量。

12、可选地，所述一种基于神经隐式地图的相机定位方法，还包括：

13、将神经辐射场模块的多层感知机网络嵌入所述transformer编码器中，得到神经隐式地图多层感知机。

14、可选地，所述将所述目标张量输入transformer编码器，得到目标输出，包括：

15、对所述transformer编码器设置若干个相同的预设层，对每个所述预设层设置第一子模块以及第二子模块，所述第一子模块包括多头注意力层以及残差连接和归一化层，所述第二子模块包括所述神经隐式地图多层感知机以及残差连接和归一化层；

16、将所述目标张量输入所述第一子模块，对所述目标张量进行归一化操作，并通过所述多头注意力层生成多头注意力输出；

17、将所述多头注意力输出与所述目标张量进行残差连接，得到第一子模块输出；

18、将所述第一子模块输出输入所述第二子模块，对所述第一子模块输出进行归一化操作，并通过所述神经隐式地图多层感知机得到中间输出；

19、将所述中间输出与所述第一子模块输出进行残差连接后再进行归一化操作得到目标输出。

20、可选地，所述根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征，包括：

21、将所述粗糙位姿特征作为查询嵌入；

22、将所述目标输出以及所述查询嵌入输入transformer解码器，得到所述位置解码特征；

23、将所述查询嵌入输入所述transformer解码器，得到所述方向解码特征。

24、可选地，所述预测头包括预测位置的多层感知机以及预测方向的多层感知机，所述将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿，包括：

25、将所述位置解码特征输入所述预测位置的多层感知机，对所述位置解码特征进行回归，得到所述精细位姿的目标位置向量；

26、将所述方向解码特征输入所述预测方向的多层感知机，对所述方向解码特征进行回归，得到所述精细位姿的目标方向向量。

27、本发明实施例还提供了一种基于神经隐式地图的相机定位装置，包括：

28、第一模块，用于将查询图像输入卷积骨干网络，生成深度特征图以及粗糙位姿特征；

29、第二模块，用于根据所述深度特征图，得到目标张量；

30、第三模块，用于将所述目标张量输入transformer编码器，得到目标输出；

31、第四模块，用于根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征；

32、第五模块，用于将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿。

33、本发明实施例还提供了一种电子设备，该电子设备包括处理器以及存储器；存储器存储有程序；处理器执行程序以执行前述的基于神经隐式地图的相机定位方法；该电子设备具有搭载并运行本发明实施例提供的业务数据处理的软件系统的功能，例如，个人计算机(personal computer，pc)、手机、智能手机、个人数字助手(personal digitalassistant，pda)、可穿戴设备、掌上电脑ppc(pocket pc)、平板电脑、车载终端等。

34、本发明实施例还提供了一种计算机可读存储介质，存储介质存储有程序，所述程序被处理器执行实现前述的基于神经隐式地图的相机定位方法。

35、本发明实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述的基于神经隐式地图的相机定位方法。

36、本发明的实施例将查询图像输入卷积骨干网络，生成深度特征图以及粗糙位姿特征；根据所述深度特征图，得到目标张量；将所述目标张量输入transformer编码器，得到目标输出；根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征；将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿。本发明将神经辐射场模块的多层感知机网络嵌入transformer编码器中，在transformer位姿优化模块中将查询图像与隐式地图网络进行高维交互,实现局部图像在全局地图之间的定位，克服环境复杂因素的影响以及基于几何地图定位的视觉挑战，实现鲁棒精准的相机重定位；并且本发明通过生成粗略的位姿特征作为查询嵌入，在transformer解码阶段实现快速精准的位姿求解，提高位姿估计的准确率和精度。

技术特征：

1.一种基于神经隐式地图的相机定位方法，其特征在于，包括：

2.根据权利要求1所述的一种基于神经隐式地图的相机定位方法，其特征在于，所述根据所述深度特征图，得到目标张量，包括：

3.根据权利要求1所述的一种基于神经隐式地图的相机定位方法，其特征在于，还包括：

4.根据权利要求3所述的一种基于神经隐式地图的相机定位方法，其特征在于，所述将所述目标张量输入transformer编码器，得到目标输出，包括：

5.根据权利要求1所述的一种基于神经隐式地图的相机定位方法，其特征在于，所述根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征，包括：

6.根据权利要求1所述的一种基于神经隐式地图的相机定位方法，其特征在于，所述预测头包括预测位置的多层感知机以及预测方向的多层感知机，所述将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿，包括：

7.一种基于神经隐式地图的相机定位装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括处理器以及存储器；

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。

技术总结
本发明公开了一种基于神经隐式地图的相机定位方法、装置及电子设备，方法包括：将查询图像输入卷积骨干网络，生成深度特征图以及粗糙位姿特征；根据所述深度特征图，得到目标张量；将所述目标张量输入Transformer编码器，得到目标输出；根据所述目标输出以及所述粗糙位姿特征，得到位置解码特征以及方向解码特征；将所述位置解码特征以及所述方向解码特征输入预测头，得到精细位姿。本发明能克服环境复杂因素的影响，提高位姿估计的准确率和精度,实现鲁棒精准的相机重定位，可广泛应用于视觉定位技术领域。

技术研发人员：王帅先,谭光
受保护的技术使用者：中山大学·深圳
技术研发日：
技术公布日：2024/2/1