基于改进的nerf-slam的室内大型场景高精度定位与导航系统

本发明涉及室内定位，具体为基于改进的nerf-slam的室内大型场景高精度定位与导航系统。

背景技术：

1、随着人们的生活日益多彩化，越来越多的人喜欢在大型室内公共场所进行各种活动，比如：在大型商场内举办朋友聚会、去大型商场购物等。然而，大型室内公共场所的室内环境十分复杂，若对大型室内公共场所的室内环境不熟悉或缺乏正确的指引路线，想要快速到达目的地不仅十分困难，而且容易迷路。因此，人们对于室内精确定位与导航的需求日益强烈。

2、现如今，由于室内环境的日益复杂和人们对室内导航与位置服务需求的日益增加，伴随着通信技术和导航的进步与普及，这些技术虽然能够解决室内定位或导航问题，但是由于通信设备的辐射范围有限，在面对室内的地形较为复杂(大)，墙壁阻隔大，行人运动密集等室内环境都会导致定位信号的不稳定，影响定位精度，以及当室内结构发生变化时，结构变化的信息无法快速更新，进而导致用户难以准确判断自身所在的位置和方向，因而无法获得较好的体验。

技术实现思路

1、为解决上述技术问题，本发明采用如下技术方案：基于改进的nerf-slam的室内大型场景高精度定位与导航系统，包括精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块，所述精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块依次相连，

2、其中，精确定位模块，基于改进的神经辐射场nerf-slam融合tsdf技术进行室内多层三维重建，并采用fpga进行图像硬件加速处理，运用dso在检测不到特征点的场景得到精准的相机定位、svo检测fast特征、直接法跟踪特征、重投影误差模型来优化位姿

3、其中，目标识别模块，通过算法来实现视频目标的检测和跟踪，并传递给目标识别模块进行语义信息，从而实现语义地图；

4、其中，语义地图模块，首先利用深度学习算法对视频进行分析，提取视频中的目标物体、场景信息、动作信息等语义信息。主要的深度学习算法包括卷积神经网络(cnn)、循环神经网络(rnn)、长短时记忆网络(lstm)等。然后，将从视频中提取出来的语义信息表示成计算机可处理的形式，采用向量表示。再将语义信息以可视化的形式呈现出来，建立语义地图

5、算法是基于imu与lidar紧耦合的里程计算法以及基于yolov8n和deepsort的深度学习的算法；

6、其中，imu与lidar紧耦合的里程计算法，首先，在数据预处理阶段进行主干目标点云提取，去除部分干扰点云，同时采用imu状态估计，校正lidar畸变数据，提高lidar数据的质量；其次，通过双阈值地面滤波和基于pca进行多类别特征点提取，在特征点匹配阶段进行特征点的主向量和法向量方向上一致性检查，使特征点匹配在距离和方向上更加鲁棒；最终使用imu数据构建紧耦合，进行联合优化，提高里程计精度；

7、由于距离lidar中心较远的点云数据较为稀疏，存在大量噪声，极大影响特征点匹配精度，所以需要对lidar数据进行预处理。具体算法步骤为：(1)对lidar数据进行主干目标点云提取，剔除部分干扰点云；(2)通过imu状态估计值对运动畸变点云进行畸变校正，得到质量较高的点云数据；(3)对畸变校正后的点云数据进行下采样处理，得到特定数量的点云数据；(4)使用双阈值地面滤波和基于pca进行多类别特征点提取，得到不同类别特征点；(5)每种类别特征点在欧式距离最小范围内搜索最近点对应关系，并进行特征点法向量和主向量方向上的一致性检查；(6)使用imu数据构建系统误差函数，共同约束激光里程计，进行后端优化。

8、yolov8n和deepsort的深度学习的算法：利用训练好的yolov8n模型对视频帧进行目标检测，获取目标的位置和类别信息。对每个目标区域提取特征向量，作为deepsort跟踪算法的输入；利用deepsort算法对目标进行跟踪，获取目标的速度和加速度等信息。利用匈牙利算法将当前帧检测到的目标与上一帧跟踪的目标进行关联，确保跟踪的目标不丢失，并更新目标的状态信息。将检测和跟踪的结果可视化，在小程序界面上标注目标的位置和类别信息，deepsort算法的基本思想是利用卷积神经网络提取目标的特征，然后利用卡尔曼滤波进行目标跟踪，并利用匈牙利算法进行目标关联。

9、其中，最优路径选择模块，利用融合深度神经网络和强化学习方法的基于改进dqn算法选出最佳路径；

10、首先利用slam算法建成的地图包含了机器人所经过的路径和环境中的障碍物等过多信息，并对该地图进行适当简化，减少大量无关节点和边，同时也考虑到节点和边的分布情况，以确保转换后的有向图能够有效地应用于基于改进dqn算法的路径规划方法中，然后，将地图环境划分成一个个小区域，并建立起它们之间的关系，并将每个小区域作为一个状态，并将所有状态组合成一个状态空间。每个状态包括当前位置、目标位置、周围环境等信息

11、其中，辅助导航模块，通过wifi+ble+lora三合一网关的组合方式进行导航，同时结合室内地图和rgb-d深度相机，深度相机slam及激光定位技术，并用camera、激光雷达、imu、毫米波雷达等传感器的融合实现多传感器融合；

12、当用户连接到相应的wifi及蓝牙设备时，蓝牙模块收集用户的蓝牙设备信息，包括mac地址、rssi等信息，通过uart串口发给wifi模块，wifi模块把信息传输到指定的udp服务器，并能接受服务器返回的信息，同时从标签搜集数据的设备将能够经过lora将信息中继到中心网关。udp服务器接收到来自某个ip的数据后，通过数据解析和计算，运用由各种算法和过滤器组成的方位引擎处理数据，得到用户的位置信息并且显示在电脑前台页面上，终端操作人员可以下发命令到wifi模块，wifi模块再透传到蓝牙模块，这样就实现了信息的采集和管理。最终，用户便能够打开移动或web运用程序以查询当前个人及车位位置，最终实现实时定位。

13、其中，语音模块，通过ar和语音合成技术在手机屏幕上呈现实时导航信息，并提供语音导航服务；

14、结合路径规划算法与vio技术实现室内的实时ar导航，进一步增强了导航系统的操作易用性。为了实现虚拟信息和真实场景的无缝叠加，这就要求虚拟信息与真实环境在三维空间位置中进行配准注册。而移动设备摄像头与虚拟信息的位置对应则通过跟踪技术来实现。

15、本发明的有益效果在于：可轻松、有效解决大众在此类空间易迷路，室内导航误差大的难题，以及当室内结构发生变化时，信息快速的更新，可使用户快速的判断自身所在的位置和方向，因而获得较好的体验。

技术特征：

1.基于改进的nerf-slam的室内大型场景高精度定位与导航系统，其特征在于：包括精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块，所述精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块依次相连。

2.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，其特征在于：精确定位模块，基于改进的神经辐射场nerf-slam融合tsdf技术进行室内多层三维重建，并采用fpga进行图像硬件加速处理，运用dso在检测不到特征点的场景得到精准的相机定位、svo检测fast特征、直接法跟踪特征、重投影误差模型来优化位姿。

3.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，其特征在于：其中，目标识别模块，通过算法来实现视频目标的检测和跟踪，并传递给目标识别模块进行语义信息，从而实现语义地图。

4.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，其特征在于：算法是基于imu与lidar紧耦合的里程计算法以及基于yolov8n和deepsort的深度学习的算法。

5.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，最优路径选择模块，利用融合深度神经网络和强化学习方法的基于改进dqn算法选出最佳路径。

6.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，辅助导航模块，通过wifi+ble+lora三合一网关的组合方式进行导航，同时结合室内地图和rgb-d深度相机，深度相机slam及激光定位技术，并用camera、激光雷达、imu、毫米波雷达等传感器的融合实现多传感器融合。

7.根据权利要求1所述的基于改进的nerf-slam的室内大型场景高精度定位与导航系统，语音模块，通过ar和语音合成技术在手机屏幕上呈现实时导航信息，并提供语音导航服务。

技术总结
本发明公开了基于改进的nerf‑slam的室内大型场景高精度定位与导航系统，包括精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块，所述精确定位模块、目标识别模块、语义地图模块、最优路径选择模块、辅助导航模块和语音模块依次相连；精确定位模块，基于改进的神经辐射场nerf‑slam融合TSDF技术进行室内多层三维重建；目标识别模块，通过算法来实现视频目标的检测和跟踪；最优路径选择模块，基于改进DQN算法选出最佳路径；辅助导航模块，通过WiFi+BLE+LoRa三合一网关的组合方式进行导航；语音模块，通过AR和语音合成技术在手机屏幕上呈现实时导航信息。本发明涉及室内定位技术领域，具体为基于改进的nerf‑slam的室内大型场景高精度定位与导航系统。

技术研发人员：杨建文,段章领,王梦然,梁好,万秭濛,高刘轩祺,孙亚顺
受保护的技术使用者：安徽大学
技术研发日：
技术公布日：2024/1/15