一种煤矿井下场景现实捕捉感知方法及设备与流程

本发明涉及煤矿开采，尤其涉及一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质。

背景技术：

1、煤矿智能化开采是现阶段煤矿转型的必然趋势，而对于视觉感知技术的研究将极大程度上促进煤矿智能化开采进程。然而，现有煤矿井下场景感知系统往往手段单一，功能有限，无法为煤矿智能化无人开采提供完备技术支撑。因此，当前煤矿井下尚缺乏一套成熟的环境感知与现实捕捉方法与系统，针对采场环境设备状况进行充分、全面感知，为构建感知、决策、控制有效闭环，实现智能开采奠定基础。

2、现有技术中，有技术人员提出一种基于激光雷达与imu的煤矿井下机器人运动平台定位方案并基于catograppher等slam开源算法进行煤矿井下空间地图构建，此方案利用机器人运动平台通过简单技术方案实现场景环境感知与定位，其定位结果精度较低；其具有机器人运动平台定位与建图功能，但此系统无法全面感知机器人周围环境状态，仅简单实现障碍物的避障功能；而且缺乏关键目标对象追踪捕获、环境状态感知与分析等功能。

技术实现思路

1、本发明提供一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质，旨在实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。

2、为此，本发明的第一个目的是提出一种煤矿井下场景现实捕捉感知方法，包括：

3、在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；

4、基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；

5、对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。

6、其中，在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建包括步骤：

7、获取多模态同步配准数据，并进行输出处理分析；其中，所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(imu)、uwb设备、轮速计及标识标靶识别装置的感知传感器所采集的数据；

8、基于分析处理后的所述多模态同步配准数据，进行场景特征提取与动态特征检测识别；

9、结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪，获取初步机器人运动平台定位信息；

10、基于初步机器人运动平台定位信息，生成局部地图和全局地图，并对所述局部地图和全局地图进行优化；

11、对优化后的所述局部地图和全局地图进行地图矫正，并进行实景投影。

12、其中，基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中，包括：

13、通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型；

14、将实时的场景数据输入已完成构建的所述感知算法模型，输出结果为目标对象检测识别结果及场景区域分割结果；

15、基于机器人运动平台定位数据与局部地图数据，将目标对象检测识别或者场景区域分割结果映射到相应特征地图中，实现目标对象在场景地图中的实例分割；

16、根据目标对象在场景地图中的实例分割结果，通过分析处理目标对象所在的局部空间地图数据，实现目标对象状态实时感知。

17、其中，在构建感知算法模型的步骤中，基于数据分析与处理计算，选择模型训练架构，完成深度神经网络结构设计；其中，

18、针对视觉图像的场景分割与目标对象检测识别使用yolov7，针对激光雷达点云的场景分割使用spvcnn，针对图像与激光点云融合数据的实例分割使用2dpass。

19、其中，对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航的步骤包括：

20、在目标对象检测识别的基础上，结合目标对象定位信息与场景地图实例分割结果信息，基于特征匹配与滤波/非线性优化等算法进行目标对象的二维与三维特征追踪；

21、根据目标对象特征追踪结果，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测；

22、根据目标对象的移动规划预测结果，结合场景全局地图数据进行机器人运动平台的路径规划与状态控制规划；

23、在机器人运动平台的目标路径规划完成的基础上，实时判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪。

24、其中，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测的步骤中，局部避障路径规划流程如下：

25、基于场景特征地图，生成指定高度的障碍物地图；

26、根据机器人运动平台外观几何特征，在地图障碍物四周进行安全边缘轮廓生成；

27、根据机器人运动平台的物理模型与状态信息构建相应质点控制模型，结合障碍物地图生成状态栅格(lattice graph)；

28、以目标对象的空间位置作为终点坐标，在状态栅格(lattice graph)中生成目标结点的控制空间路径；

29、基于控制空间路径数据，通过机器人运动平台速度规划器，计算获取速度信息；

30、机器人运动平台按照控制空间路径进行运动导航；

31、在运动过程中，循环执行本流程，根据机器人运动平台位置信息及目标对象实时状态位置信息，进行障碍物场景地图更新。

32、其中，在进行目标对象追踪捕获的步骤中，包括：

33、在机器人运动平台目标路径规划完成的基础上，实时检测目标对象是否在前端传感器数据帧中，据此判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪；

34、若目标对象未被捕获则将针对机器人运动平台运动进行规划控制，直至目标对象被稳定捕获，此时目标对象状态与机器人运动平台状态均被稳定监测。

35、本发明的第二个目的是提出一种煤矿井下场景现实捕捉感知装置，包括：

36、煤矿井下场景定位及地图构建模块，用于在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；

37、煤矿井下关键目标对象智能识别与定位模块，用于基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；

38、煤矿井下捕获追踪与避障导航模块，用于对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。

39、本发明的第三个目的在于提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的方法中的各步骤。

40、本发明的第四个目的在于提出存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据前述技术方案的方法中的各步骤。

41、区别于现有技术，本发明提供的煤矿井下场景现实捕捉感知方法，能够准确获取在一体化坐标系下的环境设备状态信息，而且针对关键目标对象进行实时捕获与追踪。同时结合采场环境先验数据信息、目标对象物理模型，实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。