一种实时地图构建方法、系统及导盲眼镜与流程

本发明属于智能数据处理，更具体地说，涉及一种实时地图构建方法、系统及导盲眼镜。

背景技术：

1、眼镜是人们感知周围环境最主要的工具，盲和视力障碍问题严重影响了人们的正常生活。盲和视力问题也许在未来得到彻底的解决，但就现阶段而言，导盲辅助课题的研究十分有必要。一般来说，大多数盲人和视力障碍者使用的导盲工具基本位功能简单的手杖。当今社会发展迅速，周围的环境变得越来越复杂，简单的手杖已经不能适应变化如此之快的环境，然而以导盲犬为代表的生物导盲方式受高训练成本、长训练周期和寿命等影响始终无法普及，由于智能化机械越来越成熟，性能优异的导盲机器人是解决盲人日常困难问题的最优解。在导盲机器人自定位与自动导引研究方面，张志美等人利用超声波和红外传感器结合模糊pid控制理论实现导盲机器人的寻迹导航功能，但是缺乏实用性，只能实现局部避障的功能。陈超采用射频识别技术(radio frequency identification)完成导盲机器人自主定位，但这需要在房间内预先布置好射频标签。张探利用kinect深度相机进行定位和地图构建，实现导盲机器人的避障和路径规划，但是该方法构建的地图是直接将kinect获取的三维模型进行平面投影所得，与真实环境相差较大。可见传统的导盲机器人难以实现对复杂环境精确而有效的认知，也无法完成全局定位和导航，并在人机交互方面上存在较为明显的不足。在数据融合构建地图方面，国内的相关研究还很少，yeon as a等人最先使用kinect和激光雷达进行数据融合，优化所得地图；viejo d等人对tof相机和kinect进行融合，获得更精确的点云，构建更准确的三维地图；santos j m等人使用声呐和激光雷达进行数据融合，使得机器人在低能见度下进行定位和地图构建，但受外界环境影响较大，导致整体精度差。

2、针对上述问题也进行了相应的改进，如中国专利申请号cn202310421773.6，公开日为2023年7月14日，该专利公开了一种基于多毫米波雷达融合的地图构建方法，方法包括：算法初始化；传感器信息时间同步；传感器信息空间同步；更新局部地图；更新全局地图；地图发布。该专利的不足住处在于：精度仍有待提高。

技术实现思路

1、1、要解决的问题

2、针对现有导盲效果差且复杂的问题，本发明提供一种实时地图构建方法、系统及导盲眼镜。本发明的方法采用毫米波雷达和摄像头的数据融合来大大增加对周围环境的感知能力，并以此建立环境地图，并使用所得地图进行自主路径规划和实时避障，对于较为复杂的环境使用多传感器数据融合来增加所得地图的可用数据量，以完成更为复杂和精确的导盲任务；整个过程操作简便。

3、2、技术方案

4、为解决上述问题，本发明采用如下的技术方案。

5、一种实时地图构建方法，包括如下步骤：

6、通过毫米波雷达和摄像头获取环境信息，所述环境信息包括目标和静态物；将环境信息输入至毫米波雷达最优参数波优化模型调整所述毫米波雷达发射的ofdm-mimo发射波束图；

7、根据毫米波雷达获得的环境信息，采用通过深度学习的多维点云目标识别模型、深度学习的目标检测算法模型、毫米波雷达三维扩展目标跟踪算法模型和视觉感觉匹配算法模型构建实时地图；其中：

8、深度学习的多维点云目标识别模型：通过对经过距离、水平角、俯仰角和速度的多维-fft幅度值进行训练得到对目标种类的识别；

9、深度学习的目标检测算法模型：通过对单帧毫米波雷达的数据进行训练得到目标的距离、水平角、俯仰角和速度信息；

10、毫米波雷达三维扩展目标跟踪算法模型：通过对目标进行三维扩展，并对扩展目标进行跟踪；

11、视觉感觉匹配算法模型：通过对图像进行构建地图。

12、更进一步的，所述ofdm-mimo发射波束图表示为：

13、

14、其中：θ为目标水平角度；为目标俯仰角度；m为发射阵元的个数；m为第m个发射阵元；r为距离；δf为频率分辨率；j为虚部；c为光速；λ为波长；β为俯仰角度；

15、更进一步的，所述深度学习的多维点云目标识别模型包括输入层、卷积-池化层、全连接层和输出层；所述卷积-池化层用多维信息的提取；全连接层用于分类信息。

16、更进一步的，所述深度学习的目标检测算法模型包括rd-net网络模块和ang-net网络模块，所述rd-net网络模块用于生成候选区域，在距离-多普勒域检测、识别和定位所有可能的目标距离和速度信息；所述ang-net网络模块用于提取rd-net网络模块识别的目标的水平角和俯仰角信息。

17、更进一步的，所述毫米波雷达三维扩展目标跟踪算法模型具体执行如下步骤：

18、定义目标量测模型：所述定义目标量测模型为：其中，为k时刻量测集合其中nk是k时刻的量测个数；h是量测矩阵；是高斯白噪声；

19、定义量测均值和方位得到：

20、

21、其中：w(·)是沙维特分布概率密度函数；

22、扩展状态预测，扩展状态更新为：其中：

23、αk|k＝αk|k-1+nk

24、

25、更进一步的，所述视觉感觉匹配算法模型具体执行如下步骤：

26、初始化：在地图构建之前，定位在最初时刻定位盲人的位置；

27、死循环检测：用于对地图和目标定位进行修正；

28、重新定位：用于在没有先前盲人位置信息下找到当下盲人位置信息；

29、地图重建：用于在原有的地图基础上，融合当前的目标信息至原有地图上，形成更新后的地图；

30、实时运算：用于在整个地图构建过程中进行实时计算。

31、更进一步的，所述视觉感觉匹配算法模型还包括鲁棒性检测，用于检测异常值。

32、一种使用如上述任一项所述的实时地图构建方法的系统，包括：

33、毫米波雷达和摄像头，以及：

34、获取模块：用于通过毫米波雷达获取环境信息；

35、实时地图构建模块：用于根据毫米波雷达获得的环境信息进行实时地图的构建。

36、一种导盲眼镜，包括眼镜本体，眼镜本体上设置有如上述所述的实时地图构建的系统。

37、3、有益效果

38、相比于现有技术，本发明的有益效果为：

39、(1)本发明通过使用毫米波雷达和摄像头获取环境信息，毫米波雷达可以全天候工作、不受恶劣天气影响，有效保障其整体工作精度与工作效率；同时将环境信息输入至毫米波雷达最优参数波优化模型中进行获取发射波束图，该发射波束图可以使雷达的性能根据目标距离、水平角度、俯仰角和工作频率来调整，满足了多维点云成像毫米波雷达性能要随功能和场景变化而变化的需求；再配合高清摄像头大大增加对周围环境的感知能力，并以此建立环境地图，最后再将环境信息通过不同模型进行实时地图的构建，并使用所得地图进行自主路径规划和实时避障，对于较为复杂的环境使用多传感器数据融合来增加所得地图的可用数据量，以完成更为复杂和精确的导盲任务；

40、(2)本发明的ofdm-mimo发射波束图结合了ofdm的频率分集和mimo的波形分集的优点，使得在地面场景较为复杂，空间电磁环境、多路径干扰、地物杂波等随着盲人的运动而变化的状态下能够进行自适应调整，进一步保障整个过程的精准度；深度学习的多维点云目标识别模型实现多类目标的精确识别，从而为深度学习的目标检测算法模型提供潜在目标的四维信息；

41、(3)本发明通过米波雷达三维扩展目标跟踪算法模型实现扩展目标的高精度跟踪，因多维度点云成像毫米波雷达可以对周围的目标形成高密度点云，地面场景目标具有典型的轮廓特征，从而进一步保障进度；通过视觉感觉匹配算法模型进行最终地图的重建，以完成更为复杂和精确的导盲任务；

42、(4)本发明的系统结构组成简单，采用毫米波雷达和高清摄像头的配合，且通过四个模型的处理，进而获得精准、完备、丰富、可信的目标位置及轮廓、类别和行为等特征信息，完成更为复杂和精确的导盲任务，开创和推动本技术在导盲领域的应用；且本发明的导盲眼镜其结构简单，导盲精度高，使用效果好。