一种面向未知环境的地空协同式无人集群搜索平台

1.本发明涉及无人集群协同搜索技术领域，更具体的说是涉及一种面向未知环境的地空协同式无人集群搜索平台。


背景技术：

2.一方面，现有技术中的协同搜索系统大多为单一种类多平台的协同(如多无人机或多无人车)，而未能考虑跨域多平台的系统形式。实际上，跨域无人平台的协同作业可以提供单一种类无人平台所不存在的对未知环境的高度适应性。
3.另一方面，现有技术中的类似协同搜索平台多为理论框架的提出，对问题的建模过于简单且未进行实验验证，未能考虑到实际会影响系统任务效能的关键因素(定位质量，建图能力，搜索效率等)，因此实际应用难度高。
4.因此，如何提供可适应多种复杂环境且协同程度高的一种面向未知环境的地空协同式无人集群搜索平台是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种面向未知环境的地空协同式无人集群搜索平台，目的在于解决现有技术中的多平台协同搜索系统的实际应用难度高的问题。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种面向未知环境的地空协同式无人集群搜索平台，基于地面无人车集群、空中无人机集群和通信组网，包括：融合地图构建模块、定位导航模块、协同探索模块、无人机编队模块和覆盖监视模块；
8.所述融合地图构建模块，用于接收地面无人车集群实时采集到的栅格地图，并将所述栅格地图进行拼接融合得到融合地图map发送至所述定位导航模块；
9.所述定位导航模块，用于基于所述融合地图map对所述地面无人车集群和所述空中无人机集群提供实时定位和导航服务；
10.所述协同探索模块，用于在每个时间步t内，执行实时信息的更新，并获取待探索航点集合，针对所述待探索航点集合向所述地面无人车集群提供探索策略；
11.所述无人机编队模块，用于在所述空中无人机集群中选取长机，其余无人机作为从机，根据所述长机的实时状态信息对所述从机进行编队；
12.所述覆盖监视模块，用于获取无人机的期望速度控制无人机的飞行，实现协同监视任务。
13.优选的，所述融合地图构建模块将所述栅格地图进行拼接融合得到融合地图map的具体内容包括：
14.(1)获取地面集群的实时栅格地图更新和相关的实时tf坐标变换；
15.(2)由tf变换确定各个slam地图之间的坐标关系，调用opencv的图像拼接算法实现栅格地图的融合；
16.(3)依据预设的slam建图的地图大小(map_size_x,map_size_y)，将融合地图原点设定为从而补偿融合产生的整体漂移，其中map_size_x和map_size_y分别为矩型栅格地图的长宽。
17.优选的，所述定位导航模块包括无人车定位单元、无人车导航单元、无人机定位单元和无人机导航单元；
18.所述无人车定位单元，用于实时接收所述融合地图map并存储各个无人车的地图坐标系、里程计坐标系odom、车身坐标系footprint和车载设备坐标系的坐标变换，进行无人车定位；
19.所述无人车导航单元，用于实时计算每台无人车执行当前的探索策略时所需的速度指令，并发送至相应的无人车执行其速度指令；
20.所述无人机定位单元，用于采用视觉定位结合无人机自身imu实现无人机的定位；
21.所述无人机导航单元，用于接收无人车识别到目标后给出的估计位置作为无人机的目标点，并实现无人机的路径规划和避障。
22.优选的，所述协同探索模块包括数据更新单元、目标航点检测单元、航点预处理单元、任务分配优化单元和航点移除单元；
23.所述数据更新单元，用于在每个时间步t内，执行实时信息的更新；
24.所述目标航点检测单元，用于获取确定的扩张路径和扩张点加入树结构，同时获取待探索航点并加入所述待探索航点集合p内；
25.所述航点预处理单元，用于对所述待探索航点集合p进行航点预处理得到目标航点集合p
*
；
26.所述任务分配优化单元，用于根据所述目标航点集合p
*
所述地面无人车集群内可用的无人车进行任务分配优化，基于所述实时信息，获取所述地面无人车集群内可用的无人车到目标航点集合p
*
的最优映射关系和最优路径作为探索策略，并将实时得到的新的探索策略π
new
加入总探索策略π中；
27.所述航点移除单元，用于在任意无人车完成其自身的探索任务时，将相应探索任务对应的待探索航点从p
*
中移除，并将相应的探索策略从总探索策略π中删除。
28.优选的，所述实时信息的更新内容包括：所述融合地图map的实时更新、所述地面无人车集群内成员集合a更新和集群整体状态s更新，其中所述集群整体状态s包括所述地面无人车集群内每个成员的当前状态，包括位置、速度和是否处于工作状态。
29.优选的，所述目标航点检测单元包括：扩张目标选取子单元、邻居节点选取子单元、栅格检测子单元和树结构扩张子单元；
30.所述扩张目标选取子单元，用于在随机树扩张时对扩张目标x
rand
的采样选取；
31.所述邻居节点选取子单元，用于根据当前树结构tree选择距离所述扩张目标x
rand
最近的邻居节点x
near
以确定该次扩张操作的起点；
32.所述栅格检测子单元，用于获取所述融合地图map中每个栅格点的grid_value值，定义航点指示器θ，将x
near
至x
rand
作为扩张路径，在所述融合地图map上以β作为采样步长，获取所述扩张路径上的点集x
sample
，并依据x
sample
计算θ，其中θ定义为：
[0033][0034]
所述树结构扩张子单元，用于根据所述融合地图map和实际的探索任务需求，基于航点指示器θ进行扩张：若θ＝1，则当前扩张路径中存在已探测的障碍，舍弃当前扩张目标；若θ＝0，则当前扩张路径完全自由，即该路径为已知路径并且不存在障碍，可将该次扩张点和路径加入树结构tree；若θ＝-1，则当前扩张路径中存在于未知区域且无障碍点，则将该扩张点加入所述待探索航点集合p备用。
[0035]
优选的，所述覆盖监视模块，包括强覆盖区域计算单元、最大速度约束区域计算单元和期望速度计算单元；
[0036]
所述强覆盖区域计算单元，用于针对长机的每个邻居无人机的实时状态信息，从而获得所述长机的所有邻居无人机的强覆盖区域；
[0037]
所述最大速度约束区域计算单元，用于获取所述长机自身的最大速度约束区域，并根据所述最大速度约束区域和所述强覆盖区域取交集后对应得到所述长机的速度可行区域；
[0038]
所述期望速度计算单元，用于以所述速度可行区域的中心作为实际采取的期望速度，所述长机根据所述期望速度飞行。
[0039]
优选的，还包括目标识别模块；
[0040]
所述目标识别模块，用于接收各无人车上摄像头回传的图片，根据连续预设数量的图片内是否均含有目标来判断是否完成目标识别的任务。
[0041]
优选的，所述无人机编队模块中根据所述长机的实时状态信息对所述从机进行编队的方法包括：
[0042]
依据无人机速度控制模型：
[0043]
pi∈r3,ui∈r3[0044]
其中pi∈r3表示无人机在融合地图坐标系下的三维位置坐标，表示无人机的速度控制矢量；
[0045]
针对领导者的控制协议为：
[0046][0047]
其中表示初始时刻长机的编队机动速度；
[0048]
针对从机的控制协议为：
[0049][0050]
其中分别表示第i个从机和长机的三维位置坐标，表示第i个从机在期望编队形状中相对于长机的相对三维位置坐标。
[0051]
优选的，所述无人机编队模块中根据所述长机的实时状态信息对所述从机进行编队的方法包括：
[0052]
所述无人机编队模块生成姿态序列，并将所述姿态序列发送至所述从机，在长机
开始进行导航规划后，每行进一个预设距离发布一个当前时刻姿态，而每个从机接收姿态序列，并在本地维护一个姿态序列接收长机发出的姿态点，不断按序跟踪姿态序列的过程即为从机跟踪长机的跟随式编队过程，并且所述无人机编队模块还用于根据预设的期望的编队距离调整目标姿态序列长度。
[0053]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种面向未知环境的地空协同式无人集群搜索平台，本发明由地面集群和空中集群的协同建图、自主定位能力可适应多种复杂环境，将地空协同搜索监视问题分解为地面集群协同搜索和空中集群协同覆盖监视问题，并利用任务层面和运动层面的协同有效减小了单一平台的工作压力，协同程度高，可延展性好。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0055]
图1为本发明提供的一种面向未知环境的地空协同式无人集群搜索平台整体框架示意图；
[0056]
图2为本发明提供的一种面向未知环境的地空协同式无人集群搜索平台中协同搜索模块的算法流程示意图；
[0057]
图3为本发明提供的一种面向未知环境的地空协同式无人集群搜索平台中覆盖监视模块的算法流程示意图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
本发明实施例公开了一种面向未知环境的地空协同式无人集群搜索平台，基于地面无人车集群、空中无人机集群和通信组网，在本实施例中，地面集群的无人车搭载intel nuc作为机载电脑。由锂电池进行供电，续航约为3到4小时。采用全向轮结构，便于在更复杂狭小的室内环境实现导航避障。车上搭载imu和轮式里程计用于实现融合定位，同时每辆车搭载一部rplidar a1，点云用于amcl融合定位以及激光slam建图。搭载一部usb摄像头用于实现目标识别。
[0060]
空中集群使用p200无人机，板载电脑使用jetsonnano，供电使用4s锂电池，持续飞行时间约为10分钟。飞控硬件使用pixhawk 4，固件为px41.11版本。无人机使用realsense t265实现视觉里程计，同时在飞机顶部搭载一部rplidar s1，用于实现局部动态避障。单台无人机的基本配置主要由基本的飞控单元、编队控制器、rplidar、realsense t265、movebase和光电吊舱组成。
[0061]
使用homer自组网套件进行组网。地面端电脑和每台无人车、无人机均配置一部
homer，从而实现集群的远距离高速信息互通。
[0062]
同时，地面端和各无人平台的软件系统均使用ubuntu18.04，ros melodic，以保障软硬件兼容性。
[0063]
如图1所示，该平台包括：融合地图构建模块、定位导航模块、协同探索模块、无人机编队模块和覆盖监视模块；
[0064]
融合地图构建模块，用于接收地面无人车集群实时采集到的栅格地图，并将栅格地图进行拼接融合得到融合地图map发送至定位导航模块；
[0065]
定位导航模块，用于基于融合地图map对地面无人车集群和空中无人机集群提供实时定位和导航服务；
[0066]
协同探索模块，用于在每个时间步t内，执行实时信息的更新，并获取待探索航点集合，针对待探索航点集合向地面无人车集群提供探索策略；
[0067]
无人机编队模块，用于在空中无人机集群中选取长机，其余无人机作为从机，根据长机的实时状态信息对从机进行编队；
[0068]
覆盖监视模块，用于获取无人机的期望速度控制无人机的飞行，实现协同监视任务。
[0069]
需要说明的是：
[0070]
无人车目标是探索整个区域并发现目标，无人机针对目标所在的局部区域进行监视。两者关系主要在于，无人车的探索提供了增量式建立的全局地图和目标位置信息，从而为无人机导航至目标所在区域提供便利。
[0071]
在本实施例中，每台无人车的关键任务是进行实时栅格地图建立、未知区域探索和实时的目标检测。具体来说，依赖于opencv图像拼接技术的地图融合算法运行于地面站或一台长机上，会采集每台无人车的地图数据并进行拼接得到融合的栅格地图。协同搜索算法根据融合地图进行最优的任务分配，引导侦查无人车集群进行高效的未知空间探索。在探索的过程中，目标检测节点持续运行，一旦检测到目标则将相关数据回传。
[0072]
在ros系统中用到的地图一般为概率栅格地图结构，具体可依每个栅格点的grid_value值分为三类区域，分别是1)已探索可行区域也即自由区域，满足grid_value＝0。2)障碍区域，以一定概率存在障碍物，取值区间为grid_value∈[1,100]，grid_value＝100则代表必定存在障碍物。3)未知区域也即未探索部分，grid_value＝-1。每个栅格均为这三种之一。栅格地图本身可作为图像进行处理。基于此想法可实现对于不同来源的slam地图的实时拼接(在每个地图之间的坐标变换关系实时可知的情况下)。具体在实现过程中采用了m-explore功能包的multirobot_map_merge功能，并针对本发明进行了优化改进。改进内容分为两方面。首先，原方法适用于旧的ros版本，而对ros melodic支持不佳。这导致了两个实际问题。一，协同建图不适用于较大的区域。二，协同建图会出现漂移。这里引入了一个新的参数(map_size_x,map_size_y)(矩形地图的长宽)，并在融合后将二维融合地图的原点设置为了来同时解决这两个问题。进一步，根据本方案对协同建图算法的参数进行了优化。
[0073]
地图融合参考两方面内容，一是预先给出的无人车的相对初始位置，二是实时的slam地图的特征匹配，据此可以实现较高精度的地图融合。同时，该方案建立起的融合地图
会作为定位体系的根节点(即全局地图)，供地面集群和空中集群实现统一的局部定位和导航。
[0074]“长机”仅用于导航编队，在覆盖监视中每台无人机的作用和地位是等价的，每台无人机都需要不断通信获得其最近几台邻居无人机的实时位置和速度并依据互惠规划算法计算自身的期望速度并执行(从而可以快速铺开，提高监视的效率)，直至达到预先设定的覆盖率或算法收敛。
[0075]
为了进一步实施上述技术方案，融合地图构建模块将栅格地图进行拼接融合得到融合地图map的具体内容包括：
[0076]
(1)获取地面集群的实时栅格地图更新；
[0077]
(2)依据实际slam建图的地图大小map_size，将融合地图原点设定为(-map_size，-map_size)；
[0078]
(3)调用opencv的图像拼接算法实现栅格地图的融合。
[0079]
为了进一步实施上述技术方案，定位导航模块包括无人车定位单元、无人车导航单元、无人机定位单元和无人机导航单元；
[0080]
无人车定位单元，用于实时接收融合地图map并存储各个无人车的地图坐标系、里程计坐标系odom、车身坐标系footprint和车载设备坐标系的坐标变换，进行无人车定位；
[0081]
无人车导航单元，用于实时计算每台无人车执行当前的探索策略时所需的速度指令，并发送至相应的无人车执行其速度指令；
[0082]
无人机定位单元，用于采用视觉定位结合无人机自身imu实现无人机的定位；
[0083]
无人机导航单元，用于接收无人车识别到目标后给出的估计位置作为无人机的目标点，并实现无人机的路径规划和避障。
[0084]
需要说明的是：
[0085]
无人车导航部分，基于无人车集群共同建立维护的融合地图和rrt搜索节点计算给出的当前搜索策略(也就是为无人车初步规划的路径)，每台车自身的movebase会计算给出实时的速度指令用于跟踪该路径，而这一速度指令会发送到底盘实时执行。总的来说，导航的逻辑是全局rrt搜索
→
movebase
→
底盘，而一般的单车导航不涉及到全局的策略搜索，所以任务效率会低。
[0086]
为了进一步实施上述技术方案，如图2所示，协同探索模块包括数据更新单元、目标航点检测单元、航点预处理单元、任务分配优化单元和航点移除单元；
[0087]
数据更新单元，用于在每个时间步t内，执行实时信息的更新；
[0088]
目标航点检测单元，用于获取确定的扩张路径和扩张点加入树结构，同时获取待探索航点并加入待探索航点集合p内；
[0089]
航点预处理单元，用于对待探索航点集合p进行航点预处理得到目标航点集合p
*
；
[0090]
任务分配优化单元，用于根据目标航点集合p
*
地面无人车集群内可用的无人车进行任务分配优化，基于实时信息，获取地面无人车集群内可用的无人车到目标航点集合p
*
的最优映射关系和最优路径作为探索策略，并将实时得到的新的探索策略π
new
加入总探索策略π中；
[0091]
航点移除单元，用于在任意无人车完成其自身的探索任务时，将相应探索任务对应的待探索航点从p
*
中移除，并将相应的探索策略从总探索策略π中删除。
[0092]
需要说明的是：
[0093]
协同搜索采用的是快速扩展随机树算法，快速扩展随机树算法是一种基于采样的单查询随机搜索算法。该部分为指导地面集群进行协同搜索的全局节点，采用rrt集群搜索算法实现在融合地图上对未知空间的探索。
[0094]
对于航点预处理单元，由于航点检测得到的航点集合p难以直接用于任务分配中优化问题的构建(主要问题是数量过多冗余等)，因此采用一些预处理技巧来优化航点集合，加快算法整体计算速度。这里考虑采用聚类算法来实现。依据给定的聚类系数γ，实现对航点集合p的冗余处理并得到优化的航点结合p
*
。
[0095]
为了进一步实施上述技术方案，实时信息的更新内容包括：融合地图map的实时更新、地面无人车集群内成员集合a更新和集群整体状态s更新，其中集群整体状态s包括地面无人车集群内每个成员的当前状态，包括位置、速度和是否处于工作状态。
[0096]
为了进一步实施上述技术方案，目标航点检测单元包括：扩张目标选取子单元、邻居节点选取子单元、栅格检测子单元和树结构扩张子单元；
[0097]
扩张目标选取子单元，用于在随机树扩张时对扩张目标x
rand
的采样选取；
[0098]
邻居节点选取子单元，用于根据当前树结构tree选择距离扩张目标x
rand
最近的邻居节点x
near
以确定该次扩张操作的起点；
[0099]
栅格检测子单元，用于获取融合地图map中每个栅格点的grid_value值，定义航点指示器θ，将x
near
至x
rand
作为扩张路径，在融合地图map上以β作为采样步长，获取扩张路径上的点集x
sample
，并依据x
sample
计算θ，其中θ定义为：
[0100][0101]
树结构扩张子单元，用于根据融合地图map和实际的探索任务需求，基于航点指示器θ进行扩张：若θ＝1，则当前扩张路径中存在已探测的障碍，舍弃当前扩张目标；若θ＝0，则当前扩张路径完全自由，即该路径为已知路径并且不存在障碍，可将该次扩张点和路径加入树结构tree；若θ＝-1，则当前扩张路径中存在于未知区域且无障碍点，则将该扩张点加入待探索航点集合p备用。
[0102]
需要说明的是：
[0103]
对于目标航点检测单元中采用的算法，其使用方便，适用于地图或环境信息完全未知的情况，在未知空间中的探索效率较高。并且适用于非完整系统的规划问题，可以与系统的动态特性相结合，并根据系统动力学在执行过程中动态修改树结构的生长逻辑参数，因此与路径规划、航迹规划模块共同工作的特性良好。
[0104]
具体到本发明中，rrt算法是在协同建图中实时更新的融合地图上进行树结构的扩张和探索的。rrt搜索算法初始化时，建立树结构，此时只有一个根节点即人为指定的根节点位置(位于目标区域内部的已知区域即可)然后在目标航点检测的过程中该树结构会不断扩展叶子节点。结合栅格地图的特点，可以高效的提取出当前的未知区域与已知区域的边界，在经过聚类算法可以给出高质量的待探索目标点。这样的好处在于从全局角度去进行优化计算，给出当前最好的探索规划策略。同时，通过依据当前可获取的数据(如空闲
的无人车数量，待探索节点数量等)可动态调整聚类的相关参数进而平衡探索的最优性和运算量，从而使得地面集群系统可以自适应的进行不同尺度的空间环境的高效探索，避免遭遇优化问题消耗过多运算资源导致规划效率低下，或待探索点过少导致最终未能完成全空间探索的情况。
[0105]
从实现角度来说，可使用ros框架将上述rrt集群搜索算法设计实现为地图融合节点、目标航点检测节点、航点预处理节点、任务分配优化节点等，每个节点执行相应任务。算法中不同节点可以有不同的处理频率(ros通信框架的特点)，但整体逻辑不变。一般来说，目标航点检测节点和航点预处理节点的任务较简单，可以有较高的处理频率(100hz左右)，而地图融合节点、航点预处理节点和任务分配优化节点的处理频率则较低(1-5hz)同时，该算法中涉及到的所有节点均为全局节点(组网中只有一个)。
[0106]
为了进一步实施上述技术方案，如图3所示，覆盖监视模块，包括强覆盖区域计算单元、最大速度约束区域计算单元和期望速度计算单元；
[0107]
强覆盖区域计算单元，用于针对长机的每个邻居无人机的实时状态信息，从而获得长机的所有邻居无人机的强覆盖区域；
[0108]
最大速度约束区域计算单元，用于获取长机自身的最大速度约束区域，并根据最大速度约束区域和强覆盖区域取交集后对应得到长机的速度可行区域；
[0109]
期望速度计算单元，用于以速度可行区域的中心作为实际采取的期望速度，长机根据期望速度飞行。
[0110]
为了进一步实施上述技术方案，还包括目标识别模块；
[0111]
目标识别模块，用于接收各无人车上摄像头回传的图片，根据连续预设数量的图片内是否均含有目标来判断是否完成目标识别的任务。
[0112]
需要说明的是：
[0113]
在算法执行过程中，当一个无人车完成一次探索任务时，这一任务对应的航点会被从p
*
移除，实时策略π中也会去除该次任务对应的策略。为进一步减少计算消耗，这里假设仅非空集时才进行航点处理和任务分配。算法的终止依赖于系统的目标识别模块，即在全部目标均搜索识别到(若假设已知目标数量)或航点集合p
*
为空集足够长时间时停止算法(未知目标数量)，即若未提供目标的数量而仅提供目标描述(如，人)，则会在全部空间探索完毕后视为任务完成，rrt搜索和目标识别均终止；若提前提供了目标的具体信息(如，两个人)等，则rrt搜索和目标识别会一直运行至所有目标均找到为止。
[0114]
为了进一步实施上述技术方案，无人机编队模块中根据长机的实时状态信息对从机进行编队的方法包括：
[0115]
依据无人机速度控制模型：
[0116]
pi∈r3,ui∈r3[0117]
其中pi∈r3表示无人机在融合地图坐标系下的三维位置坐标，表示无人机的速度控制矢量；
[0118]
针对领导者的控制协议为：
[0119][0120]
其中表示初始时刻长机的编队机动速度；
[0121]
针对从机的控制协议为：
[0122][0123]
其中分别表示第i个从机和长机的三维位置坐标，表示第i个从机在期望编队形状中相对于长机的相对三维位置坐标。
[0124]
为了进一步实施上述技术方案，无人机编队模块中根据长机的实时状态信息对从机进行编队的方法包括：
[0125]
无人机编队模块生成姿态序列，并将姿态序列发送至从机，在长机开始进行导航规划后，每行进一个预设距离发布一个当前时刻姿态，而每个从机接收姿态序列，并在本地维护一个姿态序列接收长机发出的姿态点，不断按序跟踪姿态序列的过程即为从机跟踪长机的跟随式编队过程，并且无人机编队模块还用于根据预设的期望的编队距离调整目标姿态序列长度。
[0126]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0127]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。