一种融合实景三维与视频的视觉重定位方法与流程

本发明涉及图像处理的，具体涉及一种融合实景三维与视频的视觉重定位方法。

背景技术：

1、在自动驾驶、增强现实和智能监控等领域，视觉重定位是非常重要的基础问题。视觉重定位是指根据视觉传感器实时拍摄的数据，在大规模视觉数据库和地理信息数据库中进行查询，以确定位置和姿态的问题。视觉重定位技术可应用于多个领域，包括安防监控、智能交通、无人机导航等。在安防监控方面，视觉重定位技术可以帮助监控系统识别出异常行为或可疑目标的准确位置，提供更精确的监控和警报。在智能交通领域，视觉重定位技术可以用于车辆跟踪和交通流分析，优化交通管理和调度。在无人机导航方面，视觉重定位技术可以实时定位无人机的位置，实现精确的导航和避障。

2、但是目前的视觉传感器由于其结构简单，成本低，往往是各类智能设备自定位的首选传感器，但是视觉传感器存在无法直接获取深度信息，易受光照等环境因素影响，视觉里程计存在累计误差，难以获取视频中目标的三维位置信息，不利于后续决策。

技术实现思路

1、针对现有技术中所存在的不足，本发明提供了融合实景三维与视频的视觉重定位方法，以解决现有技术中视觉传感器存在无法直接获取深度信息，易受光照等环境因素影响，视觉里程计存在累计误差，难以获取视频中目标的三维位置信息，不利于后续决策的技术问题。

2、本发明提供了一种融合实景三维与视频的视觉重定位方法，包括：

3、s1、基于高空云台和连接所述高空云台的摄像机实时获取视频流和摄像机的位姿，并对所述视频流进行视频帧图像预处理；

4、s2、基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库；

5、s3、采用sift算法对包含目标点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2d-3d点对；

6、s4、对所述2d-3d点对采用solvepnp算法来计算出对应目标点的摄像机的位姿，并用ransac算法剔除异常值；

7、s5、采用投影变换，将目标点的2d坐标投影转换为目标点的三维坐标。

8、可选地，所述对所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，包括：

9、s201、从所述历史监控视频中采样，获取视频帧图像，对所述视频帧图像进行刺点操作，获取所述视频帧图像的一组2d-3d点对，对所述2d-3d点对中2d图像的特征点像素坐标和对应的三维坐标点坐标进行归一化，得到归一化后的2d-3d点对数据；

10、s202、将3d点通过摄像机的初始内外参投影到图像平面，并将投影结果与对应的2d点比较，然后通过最小化误差函数计算摄像机的内参，采用solvepnp算法结合所述2d-3d点对求得所述摄像机的外参，循环交替进行内参计算和外参计算，并采用最小化重投影误差确定最优的摄像机的内参和外参，所述摄像机的内参和外参对应视频帧图像的位姿。

11、可选地，所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，还包括：

12、s203、基于所述视频帧图像的位姿和实景三维模型，得到视频帧图像对应的深度图和视频帧图像上每个点的三维坐标。

13、可选地，所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，还包括：

14、s204、将所述视频帧图像的位姿作为起始帧，将所述起始帧相邻帧作为位姿传递的目标帧，对起始帧和目标帧进行特征点提取和匹配，获得特征点之间的匹配对应关系,通过所述起始帧的深度图可知其所有特征点的三维坐标，再由起始帧和目标帧上的特征点匹配对应关系，得到目标帧的一组2d-3d点对，基于目标帧的2d-3d点对重复步骤s202-s203得到目标帧的位姿和深度图；

15、s205、以计算出位姿的目标帧重新作为起始帧，重复步骤s204，并选择下一帧的视频帧图像作为新的目标帧，直至获取全部视频帧图像的位姿，收集所有视频帧图像的2d-3d点对和对应实景三维数据创建视觉特征库。

16、可选地，所述对所述2d-3d点对采用solvepnp算法来计算出对应目标点的摄像机的位姿，包括：

17、将摄像机的水平角、仰视角和空间位置信息作为位姿计算的初值。

18、相比于现有技术，本发明具有如下有益效果：

19、基于实景三维数据建立视觉特征库，为后续确定实景三维模型和空间特征匹配关系提供了基础，通过视觉重定位技术计算目标点位置，提高了视觉定位的精度和效率。

技术特征：

1.一种融合实景三维与视频的视觉重定位方法，其特征在于，包括：

2.如权利要求1所述的融合实景三维与视频的视觉重定位方法，其特征在于，所述对所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，包括：

3.如权利要求2所述的融合实景三维与视频的视觉重定位方法，其特征在于，所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，还包括：

4.如权利要求3所述的融合实景三维与视频的视觉重定位方法，其特征在于，所述基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库，还包括：

5.如权利要求1所述的融合实景三维与视频的视觉重定位方法，其特征在于，所述对所述2d-3d点对采用solvepnp算法来计算出对应目标点的摄像机的位姿，包括：

技术总结
本发明提供了一种融合实景三维与视频的视觉重定位方法，包括基于高空云台和连接所述高空云台的摄像机实时获取视频流和摄像机的位姿，并对所述视频流进行视频帧图像预处理；基于所述摄像机的历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维空间信息的视觉特征库；采用SIFT算法对包含目标点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D‑3D点对；对所述2D‑3D点对采用solvePnP算法来计算出对应目标点的摄像机的位姿，并用RANSAC算法剔除异常值；采用投影变换，将目标点的2D坐标投影转换为目标点的三维坐标。通过视觉重定位技术计算目标点位置，提高了视觉定位的精度和效率。

技术研发人员：黄印,马泽忠,龙霞,罗鼎,李静泽,陈卉君,余静,杨纯,李晓,魏文杰,林熙,刘朝晖,张滔,胡晓辉,袁力
受保护的技术使用者：重庆市地理信息和遥感应用中心（重庆市测绘产品质量检验测试中心）
技术研发日：
技术公布日：2024/3/21