煤矿井下多机器人虚实融合协同感知、决策与控制方法

本发明涉及智能控制，具体而言，涉及一种基于数字孪生的煤矿井下多机器人协同感知、决策与远程控制方法。

背景技术：

1、随着对井下开采的智能化和无人化的要求越来越高，集成了各种功能，形状各异的机器人逐渐应用于井下各类场景。根据煤矿井下机器人的功能，可以将其分为掘进机器人、巡检机器人、救援机器人、运输机器人和清扫机器人。这些机器人能够自主地在煤矿井下进行移动、定位和作业，如采煤、掘进、巡视、检测、救援、运输、清扫和除尘等。

2、根据煤矿井下机器人的行走方式，可以将其分为履带式机器人、轮式机器人、腿式机器人和滑板式机器人。其中，履带式机器人采用履带作为行走方式，具有较强的通过能力和稳定性，能够在煤矿井下复杂地形中自由行驶；轮式机器人采用轮子作为行走方式，具有速度快、机动性好等特点，适用于较平坦的地形；腿式机器人采用仿生学原理设计，模拟人类的行走方式，具有较强的适应性和灵活性，能够在煤矿井下复杂地形中自由行驶；滑板式机器人采用滑板作为行走方式，具有速度快、体积小等优点，适用于较平坦的地形。根据具体的煤矿井下环境和作业需求，可以选择不同类型的机器人来完成相应的任务。

3、煤矿环境具有复杂、封闭、易变的特点，机器人在煤矿环境中应用需要具有准确、快速的感知能力，能够实时获取煤矿井下的环境信息和状态数据。需要具备智能化、自主化的决策能力，能够根据感知到的环境信息和任务需求，自主制定合理的行动计划。需要具备高度的可靠性和自适应性，能够调整控制策略，适应煤矿井下的复杂环境和变化情况。

4、公开号cn113485325a介绍了一种基于slam建图和自主导航的煤矿井下水泵房巡检机器人方法。该方法利用kinect机器视觉的地形感知系统识别障碍物，采用运动规划模型规划最短路径，并使用迭代最小二乘方法对里程计进行标定和图优化的方式建立全局一致性的地图，实现无人控制、无轨道、线缆和gps辅助的情况下对水泵房设备进行巡检。

5、公开号cn114398455a公开了一种应用于云端服务器的异构多机器人协同slam地图融合方法。该方法通过接收第一无人机和第二无人机在不同时刻对不同区域构建的地图，确定重叠区域并确定相对运动关系，然后将两个地图融合成包含全局地图的一个地图。该全局地图下发至各无人车，并根据无人车获取的更新数据进行更新。

6、公开号cn112394701a公开了一种基于云边端混合计算环境的多机器人云控系统。该系统包括执行模块、通信模块、知识库模块、智能算法模块和总控模块。执行模块负责机器人和传感设备的感知数据采集、加工及控制指令执行。通信模块在云边端环境中转发和处理实时、动态数据。场景通用知识库模块用于存储场景中所涉及的通用知识，并提供统一的调用接口。智能算法模块提供场景中所需的智能感知及自主决策算法。总控模块编排和调度机器人协同完成指定任务。

7、公开号cn111596691b公开了一种基于人在回路的多机器人系统的决策建模与协同控制方法及系统。该方法包括获取机器人执行任务后的输出信息值，选择机器人位置偏差信息作为人的决策信息。使用人的漂移扩散模型作为建模方法，根据人的决策信息对人的决策行为进行建模。同时，设计人为决策任务，帮助机器人顺利完成任务。

8、煤矿环境具有复杂、封闭、易变的特点，传统的机器人导航和定位方法在煤矿环境中难以实现高精度、实时性的要求。此外，现有技术中缺乏对煤矿环境下多机器人协同工作的有效支持。因此，开发一种煤矿双机器人协同slam构图与数字孪生系统及其控制方法，在井下发生危险时，面对复杂的未知环境，更加精准构建出实时可视化地图，对进行井下受困人员以及损坏设备快速精准定位，保障人员安全以及综采设备安全运行，实现井下机器人可视化的远程调度，提高煤矿智能化具有重要意义。

9、以上研究的井下机器人感知以及多机器人协同决策控制存在以下缺陷：

10、1）目前所存在的针对井下slam构图方法，大多是基于单巡检机器人设备，通过单一传感设备，获取机器人运动信息，确定机器人在井下位置，进行slam构图。基于单一信息来源的slam，构图效率较低，地图精准度不足。

11、2）井下环境较于地面环境更加复杂，可视化程度较低，特征信息提取较于地面环境更加困难，基于机器视觉的slam技术难以直接应用于煤矿井下slam。

12、3）目前所涉及的基于激光雷达的多机器人slam地图融合技术，根据多个机器人分别构建出slam地图，再对局部地图进行融合，构建整体地图。并未涉及协同控制以及协同构图，基本构图方式仍然与单机器人构图相似。而此类slam构图方式用于井下环境，难以进行准确的定位，导致构图效果不佳，难以构建精准的井下地图。各机器人构图过程相对分散，难以实时进行地图融合，无法实时生成当前以及探测的全局地图。

13、4）缺乏可视化的调度中心，难以将井下真实情况及时反馈给操作人员。煤矿环境复杂，所以需要高度可视化的实时地图，通过远程显示设备实时把握井下机器人工作情况。

14、5）目前煤矿井下机器人作业过程中缺乏人与机器人远程交互手段。在井下工作时，仅依靠机器人的自主避障与循迹难以保证安全性。部分工作场景人员无法到达，保障井下人员与设备运行安全，需要工作人员监测机器人的运行过程，并对机器人进行远程控制。

技术实现思路

1、本发明的目的是提供一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，通过多机器人协同控制以及点云融合提高构图效率以及构图准确度，使用虚拟现实技术实时生成高度可视化的数字孪生场景，并通过vr设备根据实时虚拟场景和视频反馈与机器人进行远程交互。

2、为实现上述目的，本发明提供的一种煤矿井下多机器人虚实融合协同感知、决策与控制方法，包括虚实协同感知循环、虚实协同决策循环和虚实协同控制循环；

3、所述虚实协同的感知循环包括机器人物理感知系统和机器人虚拟感知系统；机器人物理感知系统在物理层面下获取井下的环境信息，以及各物理协同机器人在井下环境的位置信息和运动参数信息，生成物理点云信息；机器人虚拟感知系统在虚拟层面对物理环境信息进行信息增强，并获取虚拟点云信息，进行虚拟点云信息与物理点云信息的虚实点云融合；

4、所述虚实协同决策循环包括机器人物理决策系统以及机器人虚拟决策系统；机器人物理决策系统中，物理协同机器人根据路径规划算法生成待选择路径，通过云边端协同的模式，增强机器人面对紧急情况的自主决策能力以及协同决策能力；机器人物理决策系统中的决策结果以及信息实时传输到机器人虚拟决策系统中，机器人虚拟决策系统在虚拟场景中进行虚拟规划并预演结果，获取最优决策对机器人物理决策系统的决策结果进行决策修正，修正之后的结果反馈到机器人物理决策系统中，实现虚实综合决策；

5、所述虚实协同控制循环包括机器人物理控制系统以及机器人虚拟控制系统；机器人物理控制系统通过对物理协同机器人进行协同控制以及编队，根据路径规划结果进行自主导航与循迹，通过数字孪生虚景场景在unity 3d中进行实时映射；通过多模块可视化交互界面增强虚拟操作人员的态势感知以及减少时延问题的影响，在虚拟场景中远程操作人员控制数字孪生机器人实现对物理协同机器人的远程干预。

6、进一步地，在虚实协同的感知循环中，所述机器人物理感知系统包括物理协同机器人和集成在物理协同机器人上各类传感器设备；所述传感器设备包括机载三维激光雷达、uwb定位系统、机载相机和机载红外感知设备；物理协同机器人基于三维激光雷达进行激光slam，并通过不同的地图融合算法进行实时地图融合；结合uwb定位系统与多机器人协同定位实现多模式融合定位，机载相机对井下障碍物进行标定以及特征识别，并获取参数信息；红外传感设备对进下人员进行识别与感知。

7、进一步地，所述多模式融合定位是结合slam实时定位、uwb定位技术与多机器人协同定位实现多种定位模式融合定位，通过激光雷达slam对各个机器人进行定位，激光雷达获取环境信息，并对扫描信息进行特征提取，获得特征点；将机器人当前位置与激光雷达扫描数据中的特征点信息进行匹配；结合里程计信息，初步确定机器人位置及姿态信息；通过uwb定位技术，对各机器人进行辅助定位，从而获取一个更加准确的位置信息；每台机器人估计出自己的位置以及姿态信息后，将估计出的位置信息发送给其他机器人，与其他机器人进行位置信息融合，实现整个环境的全局定位。

8、进一步地，在虚实协同的感知循环中，所述机器人虚拟感知系统包含数字孪生虚拟场景、虚拟雷达系统、参数化模型库模块、先验信息融合模块。根据物理感知系统及信息，在unity 3d中构建井下数字孪生虚拟场景，通过特征信息在参数化模型库中匹配参数化模型，并融合先验信息对数字孪生虚拟场景进行修补与信息增强。虚拟雷达系统根据数字孪生虚拟场景获取虚拟点云。

9、进一步地，所述数字孪生虚拟场景包括虚拟环境场景和数字孪生机器人；通过unity与ros通信，在unity 3d中订阅ros系统中的节点从而获取物理协同机器人融合后的三维雷达的点云地图信息，通过unity3d中的粒子系统首先对齐unity 3d与ros系统的坐标系，将三维点云的pcd文件在unity中实时展现出来；使用xml文件记录点的坐标，通过mesh网格生成虚拟环境场景；在solidworks中构建机器人的三维模型，导入到unity 3d虚拟环境场景中，通过物理协同机器人的位置坐标以及姿态信息，确定数字孪生机器人在虚拟环境场景中的位置以及姿态，并在数字孪生机器人模型上集成虚拟雷达等虚拟感知系统。

10、进一步地，所述虚实协同决策循环中，所述机器人物理决策系统包括多台物理协同机器人、工控机和云端服务器；每台物理协同机器人作为终端设备，物理协同机器人上搭载工控机作为边缘节点，工控机上内置了ros系统，通过智能ai算法，分析环境信息并做出自主决策，通过云端服务器对各个终端传感器信息进行综合处理与融合，构成云边端协同的决策系统。

11、进一步地，所述云边端协同的决策系统多台物理协同机器人进行协同slam地图构建，通过云端服务器对各个终端设备的传感器信息进行实时综合处理与融合，从而得到更准确、更完整的地图信息；云端服务器将地图信息实时发送到终端设备，帮助机器人更快速地更新地图，提高地图的实时性。

12、进一步地，所述虚实协同决策循环中，机器人虚拟决策系统包括在数字孪生虚拟场景中进行虚拟规划以及结果预演；针对unity中的数字孪生虚拟场景对虚拟机器人进行路径规划，并能将规划的路径实时在虚拟场景中展现；在虚拟场景中针对规划后的路径，对结果进行预演；综合考虑安全度与效率的情况下，在数字孪生虚拟场景中选择较优的路径，并实时对物理决策系统中的路径进行修正。

13、进一步地，所述虚实协同控制循环中，机器人物理控制系统包括多台物理协同机器人以及作为上位机的工控机；每台机器人根据自身尺寸、移动速度、最大转弯半径等参数信息，在工控机上配置自主控制程序以及控制接口，实现上位机发送控制指令控制物理协同机器人；通过在ros系统下配置ip地址以及局域网通信等方式，控制中心控制多台工控机，实现分布式控制，负责整个系统的协调和管理，多台工控机则作为被控制节点，负责具体的执行任务和控制操作。

14、进一步地，所述虚实协同控制循环中，机器人虚拟控制系统包括数字孪生虚拟场景、多模块可视化交互界面、vr交互设备；根据unity 3d中的实时数字孪生虚拟场景，针对其中的数字孪生机器人，在unity 3d中设计可视化的交互界面，并编译相应的控制程序；远程工作人员通过vr交互设备实现对数字孪生机器人的虚拟监测、虚拟远程调度以及vr交互控制。

15、本发明是一种矿井下多机器人虚实融合协同感知、决策与控制方法，具体而言，该方法将虚拟环境和实际环境相结合，利用多台机器人的传感器获取煤矿井下实时环境信息，与三维模型与虚拟环境进行融合，实现多机器人的协同感知和路径规划。

16、本发明基于数字孪生的煤矿井下虚实融合协同感知、决策与控制方法，与现有技术相比具有如下的有益效果。

17、1）在井下机器人定位方面：本发明是一种多种定位模式融合定位的方法。针对井下无法进行gps定位，采取多种定位模式融合的定位方法比现有的井下机器人slam定位精度更高。实现更加精准的定位使机器人获取的井下点云信息更加精准。

18、2）在slam构图方面：并且本发明点云信息来源来自多个协同机器人，针对同一场景能够从多角度获取点云信息。多台机器人能够相互通讯，实现点云信息的实时融合。点云信息能够在unity 3d实时生成可视化场景。在虚拟场景中进行点云修补与信息增强。虚拟雷达系统获取虚拟点云与物理点云进行点云融合。本发明构建的slam地图，融合了真实环境信息、井下设备参数信息以及先验地质及施工信息，比现有的机器人slam构建的地图更加精准。

19、3）在机器人决策模式方面：本发明采用云边端协同的机器人在决策方面具有很多优势，包括数据处理能力强、算法优化、实时性高、灵活性强和安全性高等。云计算平台拥有强大的数据处理能力，可以集中存储和分析机器人数据，并优化决策算法，使机器人在执行任务时更加高效和准确。边缘计算可以在本地实现数据处理和决策，减少数据传输延迟，提高机器人的实时性和响应速度。

20、4）在机器人自主决策方面：通过智能ai算法，井下机器人同时也可以根据任务需求和环境变化，动态调整决策策略，使机器人更加灵活适应不同的场景。此外，云端可以实现数据加密和安全传输，保证机器人数据的安全性和隐私性。并且融合了数字孪生的虚拟决策模式，通过在虚拟场景中进行虚拟规划与结果预演，对物理机器人的自主决策做出修正，实现虚实融合的决策模式。

21、5）在机器人控制方面：在unity 3d中构建了物理机器人的数字孪生模型与高度可视化的实时虚拟场景，在每个机器人能够自主控制的基础上，通过高度可视化的数字孪生虚拟场景与实时视频信息，实现工作人员全局把控与调度。并且集成了vr交互设备，在考虑时间延迟的情况下实现工作人员使用vr设备通过数字孪生虚拟场景对物理世界中的机器人进行沉浸式vr远程遥操作。比现有的井下机器人控制模式更加丰富，结合了机器人的自主控制以及具有丰富经验的煤矿工作人员全局把控，煤矿工作人员以及机器人工作的安全性更高。