一种基于5G通信的可交互多机器人编队泊车巡检装置及方法

本发明属于多机器人编队巡检领域，具体涉及一种基于5g通信的可交互多机器人编队泊车巡检装置及方法。

背景技术：

1、近年来，随着私人汽车的不断普及，车辆保有量的不断提升，道路环境日益复杂，在市区，校园以及商圈等城市环境中，停车位的需求量日益增加，停车管理的难度也日益增大。不规范的停车现象会给道路交通情况带来较大的干扰，影响正常的道路通行，造成安全隐患。高效灵活的巡检机制可以及时发现并反馈不规范的停车行为，一方面对安全隐患进行提前预警，另一方面提高道路秩序管理的效率。现有的巡检方法包含人工方法与自动化方法两类，其代表性方法均存在一定的局限性。

2、人工方法对于人力的需求较强，且执行效率相对较低，环境适应性较差，对于高频动态变化的大范围场景难以适用，一般主要用于停车场等相对规范的固定进出口场景。

3、自动化方法一般又分为固定设备方法以及移动设备方法。固定设备方法包括视频监控设备，固定线圈方法等，该类方法的自动化程度有一定的提高，但是也存在一定的问题。例如视频监控方法难以应对画面遮挡，识别错误等问题，固定线圈方法存在成本过高，改造难度大的问题等。目前的移动设备方法则多采用固定轨道巡检方法，沿道路两侧预先准备的固定导轨进行重复巡检，无法对开放的动态非结构化场景进行巡检，一般适用于结构化的路侧巡检场景。

4、随着人工智能的发展，移动机器人的出现为智能化自动巡检提供了更为灵活的解决方案，但是也存在着通讯效率较低，操作较为困难，巡检稳定性与灵活性不强的问题。

技术实现思路

1、本发明要解决的技术问题是提供一种基于5g通信的可交互多机器人编队泊车巡检装置及方法，可以用多机器人编队平台在复杂动态的非结构化大规模场景下实现智能移动泊车巡检作业，利用多机器人编队的灵活性以及协作性，保证泊车巡检任务的高效完成。通过可交互的远程控制平台，本发明可以进一步向用户提供更为明晰的操作方式，实现更为高效的人机交互。本发明是采用以下技术方案来实现的：

2、本发明公共了一种基于5g通信的可交互多机器人编队泊车巡检装置，主要包含多机器人编队平台与远程控制装置，多机器人编队平台由多个机器人平台组成，每个机器人平台主要包括车载5g通信单元，自主定位单元，导航决策单元，车辆检测与车牌识别单元四个组成部分；远程控制装置主要包括边缘服务器端5g通信单元，可视化交互单元以及路径规划单元；

3、车载5g通信单元主要负责多机器人编队平台与远程控制装置的边缘服务器端5g通信单元建立通信，接收来自远程控制装置的指令信号，发送来自自主定位单元的定位及感知信息以及来自车辆检测与车牌识别单元的识别结果；

4、边缘服务器端5g通信单元主要负责远程控制装置与多机器人编队平台的车载5g通信单元建立通信，接收来自多机器人编队平台的定位及感知信息以及识别结果，发送来自路径规划单元的规划结果；

5、自主定位单元，用于根据包括激光雷达，imu以及摄像头的车载传感器系统获得的传感器信息进行单个机器人的位置获取，根据传感器的选型以及地图和坐标系的选择分为包括gps定位，uwb定位以及slam定位，将定位及感知信息发送至车载5g通信单元，进而进行上传至远程控制装置；

6、导航决策单元，用于负责单个机器人的自主移动导航决策，根据来自自主定位单元的定位结果，来自车辆检测与车牌识别单元的精确目标以及来自车载5g通信单元接收得到的远程控制装置给定的局部目标位置，生成机器人的速度控制指令，引导机器人进行动态避障，逼近目标点，保证任务执行的高效性以及复杂动态人机共存环境下的安全性；

7、车辆检测与车牌识别单元，用于负责机器人编队到达指定位置并调整姿态至车载传感器观测到车辆时进行信息处理，一方面通过激光传感器获取雷达观测信息判断车辆停放姿态，找到车头车尾位置，通过协调多机器人位置分配，为编队成员提供更为合理的目标位置，细化逐个机器人的导航目标，另一方面在机器人到达指定位置并调整姿态至车载摄像头传感器获取到车辆牌照信息时进行车牌号识别，确定车辆具体信息并进行标记以及泊车规范判断；

8、可视化交互单元，一方面用于整合多机器人编队感知信息并生成可视化图像，便于用户进行实时化环境信息获取，另一方面，用于接收用户的任务需求，转化为机器人平台的任务指令，后续通过路径规划单元进行处理，最终由边缘服务器端5g通信单元进行任务下达；

9、路径规划单元，用于在远程控制装置根据当前机器人编队位置信息为多机器人生成全局路径规划，为机器人编队提供初始的方向引导，将规划结果发送至边缘服务器端5g通信单元，进而下达至多机器人编队平台。

10、作为进一步地改进，所述的实现远程控制装置的用户信息交互、多机器人协同规划和编队全局路径规划以及多机器人编队平台的局部动态避障决策，车辆检测与车牌识别以及泊车规范判别，具体包括如下步骤：

11、系统各单元获取任务设定参数，包含有机器人状态参数以及巡检任务参数，根据参数对多机器人编队平台进行初始化；

12、通过多机器人编队成员机器人车载的传感器获取当前环境感知信息，利用自主定位单元进行位置确定，得到机器人状态信息，将环境感知信息与机器人状态信息通过车载5g通信单元上传至远程控制装置，并通过可视化交互单元实现信息的可视化显示；

13、通过远程控制装置获取用户根据环境感知信息、机器人状态信息以及任务设定参数进行确定的任务指令，发送至路径规划单元，进一步获取机器人编队的具体导航任务指令，由边缘服务器端5g通信单元下达至多机器人编队；

14、通过编队车载5g通信单元接收远程控制单元的导航任务指令，基于导航决策单元生成初始控制指令，引导机器人编队前往目标位置，到达大致目标范围后，根据车辆检测与车牌识别单元提供的车辆位置信息，利用导航决策单元进行位置精调，直至完成车牌号抄录，获取巡检目标车辆的具体信息；

15、将当前车辆信息与位置和泊车规范进行对比，若实际位置与规定泊车位置存在大幅偏移，则进行安全预警，若存在车辆变更，则及时进行数据更新。

16、作为进一步地改进，本发明所述的通过多机器人编队成员机器人车载的传感器获取当前环境感知信息，利用自主定位单元进行位置确定，具体为：

17、通过多机器人编队成员机器人的车载传感器系统对自主定位方法进行区分，若车载传感器仅包含gps等粗定位传感器，则自主定位单元仅输出不反应具体环境障碍物分布信息粗略定位结果；若机器人携带有三维激光雷达以及轮式里程计等多种传感器，则自主定位方法联合利用多种信息进行基于高精点云地图的精细slam建图与定位。

18、作为进一步地改进，本发明所述的将环境感知信息与机器人状态信息通过车载5g通信单元上传至远程控制装置，并通过可视化交互单元实现信息的可视化显示，具体为：

19、可视化交互单元对巡检区域的全局地图以及当前机器人感知信息进行二维可视化处理，随着机器人编队任务的执行过程，根据机器人的实时观测信息进行信息更新维护。

20、作为进一步地改进，本发明所述的通过远程控制装置端获取用户根据环境感知信息、机器人状态信息以及任务设定参数进行确定的任务指令，发送至路径规划单元，进一步获取机器人编队的具体导航任务指令，由边缘服务器端5g通信单元下达至多机器人编队平台具体为：

21、可视化交互单元通过图像显示所有用户可操作指令，等待获取用户指令，随后将用户指令转化为具体的导航任务，并传递至路径规划单元；

22、用户指令包含有包括但不限于预定线路自主巡查和指定区域临时巡查等多种模式，要求机器人按照默认巡查路线进行重复巡检，或根据具体巡检需求，安排机器人前往指定区域或指定车辆位置进行针对性巡查；

23、若获取当前环境的高精地图，则路径规划单元采用a*路径规划算法根据当前地图为机器人编队生成全局路径，根据机器人位置选取局部目标点，随后发送至各个编队机器人成员；

24、若无法获取当前环境高精地图，则路径规划单元仅提供最终目标大致方向，为机器人编队导航提供粗略引导，由导航决策单元生成具体控制指令。

25、作为进一步地改进，本发明所述的通过编队车载5g通信单元接收远程控制单元的导航任务指令，基于导航决策单元生成初始控制指令，引导机器人编队前往目标位置，具体为：

26、导航决策单元根据包括三维激光信息，车载摄像机信息等的环境感知信息，利用实时的轨迹生成算法，例如传统的dwa算法，基于深度学习的局部避障算法等，生成实时轨迹，引导机器人前往目标位置，并躲避障碍物保证安全。

27、作为进一步地改进，本发明所述的到达大致目标范围后，根据车辆检测与车牌识别单元提供的车辆位置信息，利用导航决策单元进行位置精调，直至完成车牌号抄录，获取巡检目标车辆的具体信息具体为：

28、车辆检测与车牌识别单元根据三维激光信息或者图像信息判断巡检目标车辆的具体位置，并根据车辆位姿以及编队机器人数目，生成更为精细的编队目标位置，例如包含但不限于前后包夹，多角度合围等编队状态，从而提高观测车辆信息的灵活性与可靠性；

29、多机器人编队到达指定位置以及姿态后，任一获得车辆牌照图像信息的机器人可以根据当前图像进行车牌识别，并将当前车辆位置以及牌照信息进行上传。

30、作为进一步地改进，本发明所述的多机器人编队平台将当前车辆信息与位置和泊车规范进行对比，若实际位置与规定泊车位置存在大幅偏移，则进行安全预警，若存在车辆变更，则及时进行数据更新具体为：

31、多机器人编队根据巡检得到的车辆信息与泊车规范进行对比，如果存在偏移，包含有位置偏移以及姿态偏移，则表明当前车辆停泊存在不规范，可能造成安全隐患，车辆信息需要通过可视化交互界面进行更新标注，向用户提供安全预警。若存在车辆变更，则及时更新数据以及可视化显示，方便用户进行任务安排。

32、本发明具有如下有益效果：

33、1)灵活性。本发明通过使用移动机器人平台的方式实现了复杂动态的非结构化大规模场景下的灵活泊车巡检，避免了人工方法中对于人力的需求或者传统自动化方法中对于固定设备的依赖性，使得该方法适用于灵活多变的开放性场景。

34、通过进一步引入多机器人编队，本发明可以进一步解决视野遮挡，单一角度观测可信度较低等问题。可交互可视化界面则从人机交互层面提升了系统任务设定的灵活性，为用户提供了任意时刻、指定区域或者指定车辆等多样化的巡检需求选择。

35、2)实时性。本发明采用了高带宽，低延时的5g通信框架，可以保证多机器人编队与远程控制单元的高效实时通信，一方面保证用户以及机器人及时获取环境情况以及巡检结果，维护机器人运行的安全性，另一方面保证用户指令的及时下达，使得任务可以高效完成。

36、3)智能性。本发明通过多车编队协同控制可以针对环境情况进行稳定性更高的巡检性能，保证巡检结果的稳定获取。通过引入基于深度学习的局部规划算法，本发明可以适应于多样的人机或多机共存场景，灵活动态避障，保证行人，行车以及多机器人编队自身的安全。通过基于多机器人平台观测的车辆检测与车牌识别可以实现智能调整的车牌抄录与泊车规范监管，提升巡检的稳定性与适应性。

37、因此，本发明是一种非常实用有效的多机器人编队泊车巡检装置及方法，具有很好的应用前景。