一种基于三维地图和自主导航的空地协作搜救系统及方法

1.本发明涉及搜救机器人技术领域，特别是涉及一种基于三维地图和自主导航的空地协作搜救系统及方法。


背景技术：

2.在这世界上，每时每刻都在发生一些自然灾害事件，尤其是地震、泥石流等较为常见。发生这些灾害后，会出现很多受灾群众等待我们的救援。可是伴随灾害的是一些极为苛刻的救援环境及救援条件，使得救援任务变得棘手，且容易造成施救人员的伤亡事件。为了能使救援任务变得高效且降低危险性，采用机器人进行救援任务可以解决上述问题。目前，国家在863计划中就已经提出研制一种搜索机器人的项目，这给我们提供了一个研究搜救机器人的方向。同时，近些年来，以人工智能为代表的高新技术正在飞速发展，遍布在我们生活的每一个角落。其中，机器人技术被应用到了多种领域，越来越多的机器人也变得更加智能化，智能机器人在我们的生活中随处可见，其功能完备且结合多种技术于一身。


技术实现要素：

3.本发明的目的是提供一种基于三维地图和自主导航的空地协作搜救系统及方法，由空中和地面部分构成，具有空地协作的功能，可以构建搜救场景的三维地图，并能使机器人搜救系统自动导航，查找搜救目标，并成功营救出目标。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于三维地图和自主导航的空地协作搜救系统，该系统包括：空中监测单元和地面搜救单元，所述空中监测单元包括无人机以及搭载在无人机上的第一微型计算机、惯性测量装置、第一图像采集装置、第一无线传输装置，所述惯性测量装置、第一图像采集装置和第一无线传输装置分别与所述第一微型计算机电性连接，所述惯性测量装置用于测量无人机的飞行状态，所述第一图像采集装置用于采集待搜救区域的图像；所述第一微型计算机内装设slam算法软件，通过slam算法软件对所述第一图像采集装置和惯性测量装置输入的传感数据进行数据融合，构建出一套搜救场景的三维地图，并通过第一无线传输装置发送至所述地面搜救单元；
6.所述地面搜救单元包括履带式车辆以及安装在履带式车辆上的第二微型计算机、第二图像采集装置、激光雷达、超声波模块、第二无线传输装置，所述第二图像采集装置、激光雷达、超声波模块、第二无线传输装置分别与所述第二微型计算机电性连接，所述第二无线传输装置与所述第一无线传输装置无线通信连接，实现所述空中监测单元和地面搜救单元之间的通信；所述第二微型计算机内装设a
‑
star算法软件，通过a
‑
star算法软件对激光雷达回传的激光障碍信息及由超声波模块回传的声波障碍信息进行信息融合，得到最终的障碍物点云信息，与搜救场景的三维地图进行点云匹配，对履带式车辆进行实时定位，然后通过a
‑
star算法在障碍物中建立出一条前往搜救点的最短路径，进行自主导航及避障。
7.进一步的，所述第一无线传输装置与所述第二无线传输装置均工作在5ghz频段。
8.进一步的，所述履带式车辆上还设置有无人机升降平台，所述无人机升降平台上设置有二维码定位标识以及第一无线充电线圈，所述无人机上设置有与所述第一无线充电线圈匹配的第二无线充电线圈，所述第一图像采集装置在所述无人机降落到所述无人机升降平台时，对所述二维码定位标识进行扫描识别。
9.进一步的，所述无人机升降平台设置为矩形平台，所述二维码定位标识设置有四个，分别位于所述矩形平台的四个角，所述第一无线充电线圈位于所述矩形平台的中心。
10.进一步的，所述第一图像采集装置为相机。
11.进一步的，所述履带式车辆上还安装有机械臂抓取装置，用于对指定目标进行抓取。
12.本发明还提供了一种基于三维地图和自主导航的空地协作搜救方法，应用于上述的基于三维地图和自主导航的空地协作搜救系统，包括以下步骤：
13.s1，构建搜救场景的三维地图：系统首先发出命令，令无人机从无人机升降平台上起飞，同时无人机搭载的第一微型计算机开始运行软件，并接收第一图像采集装置、惯性测量装置采集的数据，通过改进的vio算法对第一图像采集装置和惯性测量装置采集的数据进行融合，输出无人机的实时定位信息，然后通过semi
‑
dense slam算法根据无人机的实时定位信息及第一图像采集装置采集的图像信息生成搜救场景的三维地图；
14.s2，将搜救场景的三维地图传输给地面搜救单元：通过第一无线传输装置将搜救场景的三维地图发送给第二无线传输装置；
15.s3，无人机降落：空中监测单元完成搜救场景的三维地图的构建任务后，根据地面搜救单元的无人机升降平台上的二维码定位标志进行定点降落，第一微型计算机通过二维码路标识别算法识别出标志信息，然后使用中心算法求解出无人机相对无人机升降平台的水平偏移量，再慢慢平移矫正，直至无人机停滞于无人机升降平台中心上方，最后缓缓降落；
16.s4，地面部分路径规划：首先第二微型计算机启动软件，运行深度学习算法，利用已经训练好的人类检测模型，在接收到的三维地图中识别人类特征，当识别到人类时，则认为该附近区域存在搜救对象，然后确立搜救目标，根据三维地图信息获取到其坐标及方位，最后根据三维地图所显示的地图信息，使用a
‑
star算法进行路径规划，生成导航路径，履带式车辆准备进行自主导航到搜救目标点；
17.s5，地面部分导航、避障：履带式车辆在获取到导航路径后开始导航，第二微型计算机收到由激光雷达回传的激光障碍信息及由超声波模块回传的声波障碍信息，并生成障碍物点云信息，供履带式车辆进行局部避障；
18.s6，搜救目标识别与抓取：履带式车辆上安装有机械臂装置，第二微型计算机通过接收第二图像采集装置传输的图片，运行深度学习算法，然后查找目标再进行定位，确定目标的位置，使机械臂对目标进行抓取，最后返回初始点完成搜救任务。
19.进一步的，所述步骤s3中还包括：
20.无人机降落后，第二无线充电线圈与第一无线充电线圈处在充电工作区域，此时利用无线充电技术给无人机充电。
21.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于三维地图和自主导航的空地协作搜救系统及方法，设置空中监测单元和地面搜救单元进行
通信协作，空中监测单元中通过第一微型计算机内装设slam算法软件，通过slam算法软件对所述第一图像采集装置和惯性测量装置输入的传感数据进行数据融合，构建出一套搜救场景的三维地图，并通过第一无线传输装置发送至地面搜救单元；地面搜救单元中第二微型计算机内装设a
‑
star算法软件，通过a
‑
star算法软件对激光雷达回传的激光障碍信息及由超声波模块回传的声波障碍信息进行信息融合，得到最终的障碍物点云信息，与搜救场景的三维地图进行点云匹配，对履带式车辆进行实时定位，然后通过a
‑
star算法在障碍物中建立出一条前往搜救点的最短路径，进行自主导航及避障；当履带式车辆经过导航和避障后，最终到达救援目标点时，此时再次利用深度学习算法识别目标，若识别出救援目标，则使用机械臂装置抓取目标，达成救援任务，从而返航；此外，系统运行后，空中部分的无人机先起飞，利用vio和semi
‑
dense slam算法进行定位和建图，途中无人机会循环检测自身电量情况，若电量不足，则系统自动回收无人机进行充电，此时无人机利用二维码定位标识自动定位降落，然后利用无线充电技术开始充电，待电量充满，无人机重新起飞，继续执行建图任务，进一步提升了系统的运行可靠性。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明实施例基于三维地图和自主导航的空地协作搜救系统的结构示意图；
24.图2为本发明实施例升降平台的结构示意图；
25.图3为本发明实施例基于三维地图和自主导航的空地协作搜救方法的流程图；
26.图4为本发明实施例空中部分的定位、建图流程图；
27.图5为本发明实施例地面部分路径规划流程图；
28.附图标记：1、空中监测单元；1
‑
1、惯性测量装置；1
‑
2、第一图像采集装置；1
‑
3、第一微型计算机；1
‑
4、第一无线传输装置；2、地面搜救单元；2
‑
1、第二无线传输装置；2
‑
2、第二微型计算机；2
‑
3、激光雷达；2
‑
4、超声波模块；2
‑
5、第二图像采集装置；3、无人机升降平台；4、二维码定位标识；5、第一无线充电线圈。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.本发明的目的是提供一种基于三维地图和自主导航的空地协作搜救系统及方法，由空中和地面部分构成，具有空地协作的功能，可以构建搜救场景的三维地图，并能使机器人搜救系统自动导航，查找搜救目标，并成功营救出目标。
31.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实
施方式对本发明作进一步详细的说明。
32.如图1所示，本发明实施例提供的基于三维地图和自主导航的空地协作搜救系统，包括：空中监测单元1和地面搜救单元2，所述空中监测单元1包括无人机以及搭载在无人机上的第一微型计算机1
‑
3、惯性测量装置1
‑
1、第一图像采集装置1
‑
2、第一无线传输装置1
‑
4，第一图像采集装置1
‑
2采用相机，例如双目视觉相机，所述惯性测量装置1
‑
1、第一图像采集装置1
‑
2和第一无线传输装置1
‑
4分别与所述第一微型计算机1
‑
3电性连接，所述惯性测量装置1
‑
1用于测量无人机的飞行状态，所述第一图像采集装置1
‑
2用于采集待搜救区域的图像；所述第一微型计算机1
‑
3内装设slam算法软件，通过slam算法软件对所述第一图像采集装置1
‑
2和惯性测量装置1
‑
1输入的传感数据进行数据融合，构建出一套搜救场景的三维地图，并通过第一无线传输装置1
‑
4发送至所述地面搜救单元2；
33.所述地面搜救单元2包括履带式车辆以及安装在履带式车辆上的第二微型计算机2
‑
2、激光雷达2
‑
3、超声波模块2
‑
4、第二图像采集装置2
‑
5、第二无线传输装置2
‑
1，所述激光雷达2
‑
3、超声波模块2
‑
4、第二图像采集装置2
‑
5、第二无线传输装置2
‑
1分别与所述第二微型计算机2
‑
2电性连接，所述第二无线传输装置2
‑
1与所述第一无线传输装置1
‑
4无线通信连接，实现所述空中监测单元1和地面搜救单元2之间的通信；所述第二图像采集装置2
‑
5可以采用相机或摄像头，能够实时采集履带式车辆行进中的图像，进行目标定位，所述第二微型计算机2
‑
2内装设a
‑
star算法软件，通过a
‑
star算法软件对激光雷达2
‑
3回传的激光障碍信息及由超声波模块2
‑
4回传的声波障碍信息进行信息融合，得到最终的障碍物点云信息，与搜救场景的三维地图进行点云匹配，对履带式车辆进行实时定位，然后通过a
‑
star算法在障碍物中建立出一条前往搜救点的最短路径，进行自主导航及避障。
34.所述第一无线传输装置1
‑
4与所述第二无线传输装置2
‑
1均工作在5ghz频段。
35.如图2所示，所述履带式车辆上还设置有无人机升降平台3，所述无人机升降平台上设置有二维码定位标识5以及第一无线充电线圈4，所述无人机上设置有与所述第一无线充电线圈4匹配的第二无线充电线圈，所述第一图像采集装置1
‑
2在所述无人机降落到所述无人机升降平台3时，对所述二维码定位标识5进行扫描识别。无人机升降平台3上方由一层透明板覆盖，其材质为钢化玻璃面板，下方由四个二维码定位标识及一组无线充电线圈组成。
36.所述无人机升降平台3设置为矩形平台，所述二维码定位标识5设置有四个，分别位于所述矩形平台的四个角，所述第一无线充电线圈4位于所述矩形平台的中心。
37.所述履带式车辆上还安装有机械臂抓取装置，用于对指定目标进行抓取。
38.如图3所示，本发明还提供了一种基于三维地图和自主导航的空地协作搜救方法，应用于上述的基于三维地图和自主导航的空地协作搜救系统，包括以下步骤：
39.s1，构建搜救场景的三维地图：如图4所示，系统首先发出命令，令无人机从无人机升降平台上起飞，同时无人机搭载的第一微型计算机1
‑
3开始运行软件，并接收第一图像采集装置1
‑
2、惯性测量装置1
‑
1采集的数据，通过改进的vio算法对第一图像采集装置1
‑
2和惯性测量装置1
‑
1采集的数据进行融合，输出无人机的实时定位信息，然后通过semi
‑
dense slam算法根据无人机的实时定位信息及第一图像采集装置1
‑
2采集的图像信息生成搜救场景的三维地图；该三维地图是按照一定比例将实际场景进行缩放，上标出了地形、地面深度及地理信息；为地面部分提供可靠的导航地图信息；
40.s2，将搜救场景的三维地图传输给地面搜救单元：通过第一无线传输装置1
‑
4将搜救场景的三维地图发送给第二无线传输装置2
‑
1；第一无线传输装置1
‑
4和第二无线传输装置2
‑
1还装有一对信号放大器，目的是将信号的传输距离扩大到5公里远，此时如果无人机在地面部分半径为5公里的范围内运行，可以保证通信的正常工作，并且由于5ghz信号的低时延性和多信道性，可以保证信号的快速、有效传输，空中部分已在上一步骤建立好了搜救三维地图，所以通过该无线传输装置，三维地图可以经过编码并打包发送到地面部分，并进行定位和导航工作；保证地面部分与空中部分的通信，以及将空中部分建立好的三维地图传输至地面部分；
41.s3，无人机降落：空中监测单元完成搜救场景的三维地图的构建任务后，根据地面搜救单元的无人机升降平台上的二维码定位标志进行定点降落，第一微型计算机1
‑
3通过二维码路标识别算法识别出标志信息，然后使用中心算法求解出无人机相对无人机升降平台的水平偏移量，再慢慢平移矫正，直至无人机停滞于无人机升降平台中心上方，最后缓缓降落；
42.s4，地面部分路径规划：如图5所示，首先第二微型计算机2
‑
2启动软件，运行深度学习算法，利用已经训练好的人类检测模型，在接收到的三维地图中识别人类特征，当识别到人类时，则认为该附近区域存在搜救对象，然后确立搜救目标，根据三维地图信息获取到其坐标及方位，最后根据三维地图所显示的地图信息，使用a
‑
star算法进行路径规划，生成导航路径，履带式车辆准备进行自主导航到搜救目标点；本步骤确定搜救对象，查找其坐标、方位信息，并规划出一条可运行路径供履带车辆导航使用；所述的激光雷达及超声波模块方案，将它们作为避障传感器，能够实时扫描近点局部障碍物，有效保护了车体的安全，提高了机器人的机动能力；
43.s5，地面部分导航、避障：履带式车辆在获取到导航路径后开始导航，第二微型计算机2
‑
2收到由激光雷达2
‑
3回传的激光障碍信息及由超声波模块2
‑
4回传的声波障碍信息，并生成障碍物点云信息，供履带式车辆进行局部避障；
44.s6，搜救目标识别与抓取：履带式车辆上安装有机械臂装置，第二微型计算机2
‑
2通过接收第二图像采集装置2
‑
5传输的图片，运行深度学习算法，然后查找目标再进行定位，确定目标的位置，使机械臂对目标进行抓取，最后返回初始点完成搜救任务。
45.所述步骤s3中还包括：
46.无人机降落后，第二无线充电线圈与第一无线充电线圈处在充电工作区域，此时利用无线充电技术给无人机充电。由于无人机普遍续航能力不足，无人机建图较为耗时耗电，通常需要更换数个电池，所以利用此方案，无人机可在无需人工干预的情况下自主往返充电，直至建图完成回收无人机。
47.本发明提供的基于三维地图和自主导航的空地协作搜救系统及方法，能让空中与地面部分有机结合起来，最终完成对搜救场景的地图创建、定位及导航；空地协同建图、导航是一套整体系统，无人机和履带式车辆均装有多个传感器，如惯性测量单元、相机、激光雷达等，传感器之间的数据相互融合，为整套系统提供建图、导航的信息来源，空中与地面部分之间的结合将两者的优缺点互补，不光解决了地面部分视野不充足的问题，也解决了空中部分无法单独执行救援任务的短板，可以构建搜救场景的三维地图，并能使地面搜救系统自动导航，查找搜救目标，并成功营救出目标；本发明可以在一些环境危险的场合开展
一些辅助救援工作，如发生地震、洪水、火灾及爆炸等现场，在这些危险的环境下，本发明可以辅助救援人员开展科学有效的搜救任务，如此不仅可以提高救援效率，还能大大保障救援人员的生命安全。
48.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。