确定共视关键帧的方法、装置、设备、介质和程序产品与流程

本公开涉及计算机视觉，尤其涉及一种确定共视关键帧的方法、装置、设备、介质和程序产品。

背景技术：

1、同时定位与地图构建(simultaneous localization and mapping，简称slam)是一种可以在周围环境未知的情况下，在运动过程中建立周围环境的模型，同时估计自己的运动的计算机视觉技术，slam技术可以应用在无人机、机器人和自动驾驶车辆等实时设备中以实现导航功能。

2、slam技术的定位精度，通常取决于当前帧与地图中所有关键帧建立联系的能力，在现有技术中，通常需要在所有帧中确定关键帧，然后再遍历所有的关键帧，来寻找共视关键帧。可视地图点所在的帧称为共视关键帧，当共视关键帧中的可视地图点越多说明相机的位姿漂移越小，定位精度越高。

3、而遍历所有关键帧来寻找共视关键帧，导致视觉slam系统的耗时随着运行时间以及运行范围的增加而线性增加，无法满足视觉slam系统的实时性。

技术实现思路

1、本公开提供一种确定共视关键帧的方法、装置、设备、介质和程序产品，用以解决现有技术中遍历所有关键帧来寻找共视关键帧，导致视觉slam系统的耗时随着运行时间以及运行范围的增加而线性增加，无法满足视觉slam系统的实时性的问题。

2、第一方面，本公开提供一种确定共视关键帧的方法，包括：

3、获取当前帧图像对应的物理空间的多个体素；

4、从所述多个体素中确定可视体素，所述可视体素内包含多个地图点；

5、根据所述可视体素中的地图点的物理坐标确定所述当前帧图像的可视地图点，所述当前帧图像的可视地图点包括所述可视体素中可以投影到所述当前帧图像中的地图点；

6、在存储的关键帧集合中确定所述当前帧图像的可视地图点所在的关键帧图像，将所述当前帧图像的可视地图点所在的关键帧图像确定为所述当前帧图像的共视关键帧图像

7、第二方面，本公开提供一种确定共视关键帧的装置，包括：

8、获取模块，用于获取当前帧图像对应的物理空间的多个体素；

9、第一确定模块，用于从所述多个体素中确定可视体素，所述可视体素内包含多个地图点；

10、第二确定模块，用于根据所述可视体素中的地图点的物理坐标确定所述当前帧图像的可视地图点，所述当前帧图像的可视地图点包括所述可视体素中可以投影到所述当前帧图像中的地图点；

11、第三确定模块，用于在存储的关键帧集合中确定所述当前帧图像的可视地图点所在的关键帧图像，将所述当前帧图像的可视地图点所在的关键帧图像确定为所述当前帧图像的共视关键帧图像。

12、第三方面，本公开提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；

13、所述存储器存储计算机执行指令；

14、所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的确定共视关键帧的方法。

15、第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的确定共视关键帧的方法。

16、第五方面，本公开提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的确定共视关键帧的方法。

17、本公开提供的一种确定共视关键帧的方法、装置、设备、介质和程序产品，通过获取当前帧图像对应的物理空间的多个体素，然后从多个体素中确定可视体素，该可视体素中包括多个地图点。然后根据这些地图点的物理坐标确定当前帧图像的可视地图点，在存储的关键帧集合中确定当前帧图像的可视地图点所在的关键帧图像为当前帧图像的共视关键帧图像，不需要先确定关键帧，然后再遍历所有的关键帧来寻找共视关键帧，保证了视觉slam系统的实时性，同时，也减少了位姿漂移提高了定位精度。

技术特征：

1.一种确定共视关键帧的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，从所述多个体素中确定可视体素，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述可视体素中的地图点的物理坐标确定所述当前帧图像的可视地图点，包括：

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述当前帧图像的可视地图点所在的关键帧图像确定为所述当前帧图像的共视关键帧图像之后，还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述可视地图点或者所述共视关键帧图像的数量，确定所述当前帧图像为关键帧，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求5或6所述的方法，其特征在于，获取当前帧图像对应的物理空间的多个体素，包括：

8.根据权利要求7所述的方法，其特征在于，所述特殊地图点包括图像的中心点和四个顶点。

9.一种确定共视关键帧的装置，其特征在于，包括：

10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-8任一项所述的确定共视关键帧的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述的确定共视关键帧的方法。

技术总结
本公开提供的一种确定共视关键帧的方法、装置、设备、介质和程序产品，通过获取当前帧图像对应的物理空间的多个体素，从多个体素中确定可视体素，该可视体素中包括多个地图点。然后根据这些地图点的物理坐标确定当前帧图像的可视地图点，在存储的关键帧集合中确定当前帧图像的可视地图点所在的关键帧图像为当前帧图像的共视关键帧图像，不需要先确定关键帧，然后再遍历所有的关键帧来寻找共视关键帧，保证了视觉SLAM系统的实时性，同时，也减少了位姿漂移提高了定位精度。

技术研发人员：王欣
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/3/24