用于由再充电站支持以执行服务的多个混合无人飞行器的自主操作的系统的制作方法

相关申请的交叉引用

该申请要求于2015年6月23日提交的标题为“systemforautonomousoperationofmultipleunmannedaerialvehiclessupportedbyrechargingstationstoperformservices”的美国第62/183,597号临时专利申请和于2016年4月6日提交的标题为“groundmovementsystempluginforverticaltakeoffandlandingunmannedaerialvehicles,”的提交日期在先的第pct/us16/26152号国际专利申请的权益，在此以引用的方式将上述申请的全部内容全文并入。

本文中引用的所有专利、专利申请和出版物的全部内容特此以引用方式并入，以便更充分地描述截止本文中所述的本发明日期的本领域技术人员已知的现有技术。

本公开的一个或更多个实施方式总体涉及无人飞行器(uav)或“无人机”，并且具体涉及uav的自主控制。

背景技术：

uav是可以承载传感器、摄像机、通信设备或其他有效载荷的无人飞机，并且通常由操作员独立地远程驾驶或受自动化系统控制。

技术实现要素：

这里所描述的实施方式包括一种用于控制多个无人飞行器(uav)的自动化系统。自动化系统可以包括导航系统和/或调度系统。导航系统和调度系统可以被总称为规划系统。在一些这种实施方式中，系统包括接收器、发送器以及与存储器通信的处理器。接收器从多个uav接收第一遥测数据，并且发送器被配置为向多个uav发送控制数据。处理器可发布指令可以包括用于进行以下操作的指令：至少基于第一遥测数据大致同时地确定用于多个uav中的每一个的多个规划(例如，导航、调度和/或其他规划)；以及反复地修改多个规划。多个规划可以包括用于使多个uav中的至少一个uav行进到再充电站的指令。本公开的再充电站可以为被动装置(passivedevice)，或者可以与自动化系统和/或多个uav中的一个或更多个uav无线通信。

在一些实施方式中，第一遥测数据和更新后的遥测数据中的至少一个包括位置数据和/或电池电量数据(batterychargedata)。

在一些实施方式中，反复地修改多个规划基于经由接收器从多个uav接收的更新后的遥测数据。

多个uav中的至少一个uav可以是包括用于地面移动的轮的无人地面飞行器(ugav)(还可以被称为“混合”uav)，并且被发送到至少一个uav(即，到ugav)的控制数据可以包括飞行导航数据和地面导航数据这两者。

在一些实施方式中，可以协调用于多个uav中的每一个的规划，以便进行以下中的至少一个：避免多个uav中的uav之间的碰撞；避免uav与在地理导航模型上指定的其他对象或区域之间的碰撞；避免uav与在时间模型上指定的事件之间的相互作用；使uav的所规划移动与它们的传感器的启动同步，以便保证特定区域或事件的数据获取在随机长的时间量内的连续；确保用于uav的规划允许被指定为规划的目标的数据获取；以及确保多个uav中的各uav维持在预定水平以上的电池电量(batterycharge)，所述预定水平对于各uav可以是不同的。

在一些实施方式中，可以协调规划，以确保至少一个uav存在于预定的多个地理区域中的每一个中。

在一些实施方式中，可以协调规划，以确保不多于一个uav存在于预定的多个地理区域中的每一个中。

在一些实施方式中，从多个uav接收的更新后的遥测数据可以包括uav故障通知。

在一些实施方式中，第一遥测数据和更新后的遥测数据中的至少一个可以包括气象数据。

在一些实施方式中，更新后的遥测数据可以包括触发事件数据。

在一些实施方式中，控制数据可以包括以下数据中的至少一个：地面导航数据、飞行导航数据、数据获取数据、通信数据、起飞数据、降落(landing)数据、停靠(docking)数据以及再充电数据。

在一些实施方式中，协调规划，以便彼此大致同时地运行。

在一些实施方式中，一种控制多个无人飞行器(uav)的方法包括以下步骤：(1)至少基于第一遥测数据确定用于多个uav中的每一个的多个规划；以及随后，(2)反复地修改多个规划。反复地修改多个规划可以以预定时间间隔(例如，在一天中预指定的时间)来执行和/或可以基于由已配置的软件程序进行的决策。

在一些实施方式中，调度系统包括接收器、发送器以及与存储器通信的处理器。接收器和/或发送器在调度系统和/或导航系统中可以相同。接收器可以从一个或更多个外部装置(例如，uav)接收第一遥测数据，并且发送器被配置为向外部装置发送控制数据。存储器可以包括处理器可发布指令，所述处理器可发布指令用于：大致同时地确定用于被安装在多个uav中的每一个中的装置或不是必须安装在uav上的其他预定连接的接收器(例如，报警系统、充电站等)中的多个动作。

附图说明

为了例示可以获得实施方式的以上所提及的优点和特征的方式，在附图中提供部件的简要描述。需要强调的是，附图不是按比例绘制的，并且在功能或形状方面类似的元件借助附图标记来指示；附图应被认为是典型实施方式的例示，而非限制范围。

图1是根据实施方式的、用于控制多个无人飞行器(uav)的自动化系统的框图。

图2是根据实施方式的、无人地面飞行器(ugav)规划器的框图。

图3是根据实施方式的、受监督器功能支配的规划器的框图。

图4是描绘根据实施方式的、控制多个uav的方法的流程图。

图5例示了根据实施方式的、在矩形导航模型上涉及3个ugav的报警监视规划。

图6例示了随着时间的过去的、图5的报警监视规划。

图7例示了根据实施方式的、配置调度系统的一些方面的前端图形界面。

具体实施方式

包括具有垂直起降(vtol)交通工具的混合飞机的小型直升机和多用途直升飞机是民用市场中快速扩展的技术。它们越来越多地用于可能将人暴露到危险中的操作(例如，在化工厂、核电厂等中)、在高度难达到的区域中进行的活动(例如，高架桥、摩天楼、火炉、海上救援等)以及需要高精度的监视过程(例如，水坝/桥梁中的裂缝的检查、飞机维修、油箱翻转等)。除了工业和政府关键基础设施应用之外，vtol交通工具技术的潜在应用还在从工业(例如，工厂、机械等中)到环境保护的范围内变化，环境保护包括敏感区域(例如，遗迹、领土边界等)的保护。

诸如24/7视频监控、报警响应、监视以及检查的一些操作可以受益于自动导航系统。例如在诸如国际自动化规划和调度(icaps)会议和国际自主代理和多代理系统(aamas)会议的国际会议提出了用于规划并调度自主机器人系统的研究系统。如这里所用的术语“导航”、“规划”以及“调度”根据例如如由icaps和aamas研究代表的它们在相关领域中的一般用法来定义。

已知自主导航系统具有相对有限的功能。虽然它们可以能够执行仅涉及具有有限剩余电池使用时间的一个无人机的简单操作，但它们通常不能在无限制时间段内连续执行复杂多无人机操作。另外，这种系统可能缺乏用于诸如以下功能的支持：多个uav同时的智能协调、连续24/7操作、自动精确降落、自动再充电、关于操作的不可预测性的鲁棒性以及报警综合。

另外，一些uav可以装配有地面推进系统，该地面推进系统允许uav比如借助于各种性质的轮在地面上平移和/或旋转，并且比如借助于推进器或翼起飞、飞行并降落。示例包括装配有附接地面推进系统的多用途直升飞机或装配有附件的移动地面机器人(例如，迷你探测车)，该附件向移动地面机器人提供翼和/或垂直起飞和降落推进方法。2016年4月6日提交的标题为“groundmovementsystempluginforverticaltakeoffandlandingunmannedaerialvehicles,”的第pct/us16/26152号国际专利申请中描述了uav可附接地面推进系统，在此以引用的方式将该申请的全部内容全文并入。这种系统仅考虑作为单独实体的飞行机器人/飞机/uav或地面机器人之间的规划/调度操作，这些系统在一些情况下可以协作，但它们不被设计为控制既能够飞行又能够在地面上主动移动的机器人。

由此可见，当前需要在地面上和/或在空中以动态且可靠方式在室内和/或室外环境中引导具有空中和地面能力的大群机器人(诸如，uav)的自主操作的系统和方法。

这里所描述的实施方式涉及一种用于同时控制和/或同时协调多个uav(即，“大群”uav)的操作或活动(包括在软件的控制下进行的驾驶)的系统。这种系统在这里被称为“规划器”(例如，uav规划器)。操作可以由被统称为“导航”的地面上或空中的移动(例如，在特定时间特定距离以特定速度)以及其他操作(诸如，从机载传感器获取数据、与另一个uav通信、使用致动器、起飞/降落、停靠、以特定方式(例如，每5秒拍摄区域的景观照片或特定点的连续视频)在特定时间内监视导航模型的特定区域、与充电站(这里还被称为“uav站”)传送一些数据、停靠到具体uav站中、经由外部装置通信、启动具体机载传感器或设备、启动具体致动器、垂直起飞且达到特定海拔、按具体迹线和速度降落、在给定时间量内再充电)构成。控制包括导航以及其他形式的uav控制。这里所描述的系统用于使用预计算和/或动态信息来规划任务，在操作时段期间没有服务中断的情况下保证时间连续(这将消耗比在单个uav中可用的能量多的能量)，并且生成可以适于故障的不确定性和发生的鲁棒任务规划。这里所描述的规划器可以实现成群的uav的高效空间和时间协调。

操作的选择问题被称为“调度”，并且将调度连同导航一起考虑的问题可以被称为“规划”。规划器可以包括由一个或更多个决定自动化规划和调度算法引导的软件，或者到优化/人工智能/启发式软件系统的界面，或者可以与由一个或更多个人类操作员部分操作的另一个软件界面连接。

uav的飞行可以借助由机载装置建立的某一永久或间歇远程链接/连接来控制(数据传输可以为无线电、wi-fi、蜂窝lte或任意其他已知移动通信技术，其他技术包括借助卫星中继或凭借聚焦电磁束等)。导航和操作指令可以为所给予的命令(诸如，由无人机销售商发布的应用程序界面(api))或到uav的自动驾驶仪的直接指令。示例api包括由3d机器人学、dji或mavlink协议发布的api。

图1是根据实施方式的、用于控制多个无人飞行器(uav)110a-110d的自动化系统100的框图。如图1所示，系统100包括接收器102、处理器104、发送器108以及存储器106。接收器被配置为从可以共同形成“群”的多个uav(例如，包括ugav)接收信号。在一些实施方式中，接收器还被配置为从一个或更多个非uav位置(诸如，地面上的外部传感器(例如，报警系统))接收信号。uav群可以以协作样式一起工作，以完成一个或更多个任务(诸如，检查大型基础设施或扩展区域的监督操作)。多个uav中的各uav可以具有飞行(例如，在一个或更多个翼和/或推进器的帮助下)以及沿着地面/地形移动(例如，在轨道、轮等的帮下下)的能力。

在接收器102处从一个或更多个uav接收的信号可以包括遥测数据，诸如：(例如在飞行和/或地面行进期间经由一个或更多个机载传感器由对应的uav收集的)传感器数据、位置数据、电池/能量水平数据、视频数据、所捕获的静态图像、来自激光器的点云数据、由uav上的机载计算机处理的结构化或原始数据、用于测程法的加速度或速度数据等。

存储器106可以对于系统100是本地的和/或可以包括基于云的存储。存储器106可以包括处理器可读指令，所述处理器可读指令用于：例如至少基于从多个uav接收的第一遥测数据大致同时地确定用于多个uav中的每一个的多个导航和/或调度规划；以及修改多个导航和/或调度规划(例如，反复地)。反复地修改多个规划可以以预定时间间隔(例如，在一天中预指定的时间)来执行和/或可以基于由已配置软件程序进行的决策。存储器还可以存储一个或更多个地图(例如，2d和/或3d地形图)、气象天气数据、gps坐标数据、uav导航历史数据、对于任务规划相关的历史或统计数据、与用于一些uav和传感器的硬件性能有关的信息、与被授权配置或控制规划系统的不同人或自动化用户的行为有关的信息等。

接收器102可操作地联接到与存储器106(例如，基于云的数据库或局部易失性或非易失性存储器)通信的一个或更多个处理器104且与一个或更多个处理器104进行通信，例如以从其获得指令和/或存储从一个或更多个uav110a-110d接收的数据。

如以上所讨论的，处理器104可以被配置为从存储器106获得数据和/或指令，并且确定用于多个uav中的每一个的多个导航和/或调度规划。确定用于多个uav中的每一个的多个导航和/或调度规划可以涉及遵守一个或更多个预定和/或主动变化的规划约束和目标函数。多个规划可以包括使多个uav中的至少一个uav行进到再充电站的指令。这种指令可以包括再充电事件的时刻、位置和/或持续时间。

规划约束可以为影响规划的确定的确定性规则。规则例如可以迫使uav在耗尽它们的电池之前在最近的可用uav站再充电。规则可以引导uav以“中继模式”在它们之间切换，以执行持续比单个uav的电池剩余时间更长的操作。这种规则的示例将是在特定电池电量(假设20％)下，uav需要在30秒内中断它正在进行的事情，并且在2分钟内到达站，而电池电量为至少80％且可以在30秒内到达第一uav的点的另一个uav需要到达靠近第一uav的位置，以便代替其操作。

规划约束可以表示uav的函数，并且实施由uav执行的移动或动作与系统中定义的其他变量的状态之间的关系。例如，规则可以确定关联到uav的电池电量变量需要根据机器人的移动性质和程度减小特定量。另一个规则确定uav在指定条件下随着时间的过去在导航模型上的位置。

规划约束可以采取在时间间隔上定义的概率性规则的形式。比如，规划约束可以为导航模型中的特定区域包含可用uav中的一个uav在夜晚时间期间存在于为利用uav进行的所有操作分配的总时间的至少50％。

规划约束可以以为数学计算机科学、机器人学或人工智能中的形式逻辑的典型特征的形式动作语言或被设计为关于动态情景推理的形式主义来制定。示例包括pddl/strips变型、taems、布尔(boolean)sat、情景/流演算语言(诸如，golog、线性时间逻辑公式)等。

如图1所示，处理器104可操作地联接到发送器108，例如以向发送器108提供数据，以便向多个uav110a-110d中的一个或更多个进行无线传输。经由发送器108发送到一个或更多个uav的数据可以包括多个导航和/或调度规划。这些规划可以包括诸如地面导航数据、飞行导航数据、数据获取数据、通信数据、起飞数据、降落数据、停靠数据以及再充电数据的控制数据。

导航规划可以包括以下内容中的一个或更多个：在指定时间段内位置目的地的行程规划(例如，以到达航路点(waypoint)的期望时间的形式)、系统的所有状态变量在规定时间的值的变化、用于规定轨迹的速度和加速度向量的列表、借助可用推进方法(空中或地面)进行的导航的平均值的定义、在所计算的轨迹期间的任意给定时间在uav的空间中的方位的列表等。在一些实施方式中，协调用于多个uav中的每一个的导航规划，以便以下内容中的至少一个：避免多个uav中的uav之间的碰撞；避免uav与在地理导航模型上指定的其他对象或区域之间的碰撞；避免uav与在时间模型上指定的事件之间的相互作用；使uav的所规划移动与它们的传感器的启动同步，以便保证特定区域或事件的数据获取在随机长的时间量内的连续；确保用于uav的导航规划允许被指定为规划的目标的数据获取；以及确保多个uav中的各uav维持在对于各uav可以不同的预定水平以上的电池电量。在一些实施方式中，可以协调导航规划，以确保预定数量(例如，至少一个、不多于一个、两个等)的uav存在于例如如由导航模型中的区域标签限定的一组预定地理区域(例如，具有人存在的高概率的区域)中的每一个中。

调度规划以时间分辨方式可以包括以下内容中的一个或更多个：一个或更多个传感器启动指令、一个或更多个数据收集指令、引起诸如门、通道、输送带的装置的机械零件的移动的指令、控制由外部装置发射的光或声音的指令、使得外部装置通过有线或无线信道传达或发送的指令、启动诸如防盗系统的装置(例如，喷雾器或发烟器)的指令等。一个或更多个导航和/或调度规划可以被发送到一个或更多个uav，并且这些导航和/或调度规划可以彼此相同、与其他中的每一个不同(例如，定制的)、或任意组合。

导航和/或调度规划的修改可以基于自动预定触发(诸如，以预定时间间隔)或响应于一个或更多个所检测事件(即，外部触发)(诸如，报警点火、天气条件的变化、空中交通控制策略的变化、来自人类操作员的输入、附近交通工具的检测、来自对可行动环境上的发生建模的外部程序的输入、经由接收器从多个uav接收的更新后的遥测数据、或来自与系统100通信的用户的输入)。如这里所用的，触发是打算由处理器104(例如，uav或ugav规划器，如以下详细描述的)检测并分类为表示生成触发的事件的、具有预定信息结构的数据包。在由处理器104指示时，发送器108可以同时或大致同时地向多个uav110a-110d中的一个或更多个发送多个导航和/或调度规划。同样，可以协调多个导航和/或调度规划，以便大致并发地运行(例如，通过由处理器定义为在交叠或并发时间段运行)。

从多个uav接收的更新后的遥测数据包括uav故障通知和/或触发事件数据。例如，异常可以为gps链接故障，或uav的电池状态不遵循预测模型，或者移动轨迹与所指示的轨迹不同。另选地或另外，更新后的遥测数据可以包括气象数据、传感器数据、位置数据、电池寿命数据等中的一个或更多个。在一些实施方式中，多个uav110a-110d中的一个或更多个uav与多个uav110a-110d中的另一个uav无线通信，并且例如向另一个uav发送包括气象数据、传感器数据、位置数据和/或电池寿命数据的数据。

接收器102、处理器104、存储器106以及发送器108共定位在公共外壳或装置内。

图2是根据实施方式的、无人地面飞行器(ugav)规划器200或规划系统的框图。图2表示系统的实施方式可以如何连接到外部消息(externalword)的全局描述。根据实施方式，ugav规划器200可以以软件、固件以及硬件的许多形式来实施，只要用于实施的实际软件代码或算法或控制硬件不限制如这里所描述的ugav规划器200的使用和能力即可。在这里所阐述的所有实施方案中，ugav规划器200使用所有可用资源(例如，uav、ugav)和可用于表示在执行规划算法时系统的状态的所有相关信息来生成将尝试满足预定和/或主动变化的规划约束和目标函数的规划。如图2所示，ugav规划器200可以从一个或更多个报警传感器222(例如，在地面上/不是机载的)、经由一个或更多个天气传感器224从气象(天气)站、和/或从外部触发或刺激(诸如，可以以人在回路模式由人在图形用户界面(gui)控制室226或在任意其他用户交互(ui)系统中按压的按钮)接收数据。在一些实施方式中，外部触发可以允许人类操作员例如借助控制杆进行一个或更多个uav导航的完全控制。在一些实施方式中，一个或更多个天气传感器224经由数据馈送(例如，包括地理基准)向ugav规划器200提供环境信息。

ugav规划器200可以从一个或更多个充电站220接收例如指示uav当前是否在那里充电、它们的机械部件的状态等的数据，犹如所述充电站是外部传感器。ugav规划器200可以无线连接到ugav210，并且从ugav210接收遥测数据。在一些实施方式中，可以在没有通知的情况下或定期通知ugav规划器200所有ugav的遥测状态。

一些或所有信息到ugav规划器200的存取可以为直接的或由数据库或第三方软件调解。

ugav规划器200例如可以基于从uav接收的遥测数据执行规划操作并生成控制ugav规划器200所无线连接到的若干uav210(例如，ugav)的导航和/或调度规划(经受任意规划约束)。给定至少一个处理器上处理的足够计算资源和时间，则可以在给定时间间隔(该间隔可以为有限的、半无限的或开放式的)内确定导航和/或调度规划，该时间间隔遵守任意规划约束，并且在软约束存在时返回与约束违反有关的信息以及规划质量的信息。确定导航和/或调度规划的方法包括在规划和调度以及组合优化领域中的已知方法。计算技术或求解器的示例为：分枝定界、动态编程、正向搜索、启发式搜索、尝试和错误、贪婪法、基于sat的公式化、马尔可夫(markov)决策过程(诸如，pomdp方法)、混合整数线性编程求解器(诸如，cplex或gurobi)、迭代法、遗传算法、蒙特卡罗(montecarlo)树搜索和随机游动、多级启发式技术、蚁群优化法、模拟退火、主代理分解软件架构、析取图法、奔德斯分解(bendersdecompositions)、约束满足编程法、分层任务网络、机器学习方法(包括无监督和监督学习、强化学习、深度学习方法)、非数字法(诸如，使用模拟或神经形态(neuromorphic)计算机以及电子、生物或量子计算装置)。

ugav规划器200可以与存储与ugav规划操作相关的数据的一个或更多个数据库(206a-206b)通信。在一些实施方案中，ugav规划器200可以借助一个或更多个数据库206a-206b存取与uav210中的一个或更多个对应的状态数据(例如，位置数据、天气数据、速率/速度数据、电池寿命数据等)。另选地或另外，ugav规划器200可以借助一个或更多个数据库206a-206b存取地理数据。

ugav规划器200可以存取用于ugav操作发生的区域的地理数据，并且可以借助远程通信链接与ugav永久或间歇连接。到ugav的连接可以使得规划系统例如可以通过向ugav210发送导航和/或调度规划(例如，包括一个或更多个已调度再充电事件)来控制ugav的导航和安装在ugav上的传感器的数据获取。

导航和/或调度规划可以包括用于多个ugav中的一个或更多个的将来位置数据。将来位置数据可以指定多个ugav中的一个或更多个的精确位置，或者可以指定多个ugav中的一个或更多个在任意给定时间被准许处于的位置范围。

在一些实施方式中，uav规划器的一些规划约束可以为在特定条件下，uav中的一些需要被禁止在所有或一些规定操作区域中的地面移动操作或飞行操作。更一般地，甚至可以以集体形式制定对uav的可能移动的任意限制。例如，可以实施的是需要在地面上执行建筑物内部的所有移动或跨可能人类存在的区域的所有路径。

规划约束可以在ugav规划器200的初始化期间来配置，或者例如可以由可用于ugav规划器200的已封装模块自动地和/或借助图形或命令行用户界面由用户在任意时间注入ugav规划器200中。在一些实施方式中，ugav规划器200的初始化或更新包括密码认证，诸如补丁更新的数字签名或用户密码的插入(例如，包括多个因素认证)。

在一些实施方式中，规划约束可以被定义为“软约束”或“目标函数”，所述“软约束”或“目标函数”可以充当基于质量区分多个不同规划的用于ugav规划器200的品质因数(figure-of-merit)。这些函数的输出可以由标量、向量或张量来表示，或者通常由任意n元组的实数来表示(假如还定义确定最优性水平的距离度量)。例如，目标函数可以是使在规划中消耗的能量总量最小化，或者使用所有可用uav进行的并发操作的数量最大化。

在一些实施方式中，由ugav规划器200生成的规划包括使再充电站增加所停靠uav的再充电单元的电力的指令。如以下参照图5进一步讨论的，另一个示例是允许uav进入建筑物的门的打开。

在ugav规划器200的一个实施方案中，以被表示为布尔可满足性问题(booleansatisfiabilityproblem)的形式转换自动化规划约束和目标函数。另选地或并发地，该问题可以被制定为作业车间调度(job-shop-scheduling)的变型或无约束混合整数编程问题(线性或非线性的)。

在ugav规划器200的一些实施方案中，可以由一个或更多个避障算法(例如，基于向量场直方图(vfh)的算法)或避撞算法修改所生成的导航规划。

在一些实施方式中，规划器(panner)具有绝对时间信息(即，它可以与外部传感器同步)，并且可以在需要时在特定时间间隔内存取以下信息，假设作为输入：(a)表示系统的状态(例如，uav的位置和uav电池传感器状态)的变量的值；(b)依赖(a)且还依赖另外静态条件(诸如，操作的一天中的时间和日期、以及操作发生的区域的地理信息)的一些预定规则或“规划约束”；(c)依赖(a)和(b)且还依赖另外动态条件(诸如，由外部传感器或人类交互进行的触发的发生)的一些其他规划约束。

图3是根据实施方式的、受监督器功能支配的规划器300(例如，ugav规划器)的框图。更具体地，图3示出了被封装为监督器330(例如，人工智能系统)的模块的规划器300。规划器300和/或监督器330可以以软件、固件以及硬件的许多形式来实施，只要用于实施的实际软件代码或算法或控制硬件不限制如这里所描述的规划器300和/或监督器330的使用和能力即可。在这里所阐述的所有实施方案中，规划器300和/或监督器330使用所有可用资源(例如，uav、ugav)和可用于表示在执行规划算法时系统的状态的所有相关信息来生成将尝试满足预定和/或主动变化的规划约束和目标函数的规划。如图3所示，监督器330和/或规划器300可以从一个或更多个报警传感器322(例如，在地面上/不是机载的)、经由一个或更多个天气传感器324从气象(天气)站、和/或从外部触发或刺激(诸如，可以由人在gui控制室326中按压的按钮)接收数据。监督器330和/或规划器300还可以从多个uav310和/或多个uav再充电站320接收数据，并且规划器300可以被配置为与多个uav310和/或多个uav再充电站320无线通信。监督器330和/或规划器300可以与存储与规划操作相关的数据的一个或更多个数据库(306a-306b)通信。规划器300可以执行规划操作，并且创建控制规划器300所无线连接到的若干uav210(例如，ugav)的导航和/或调度规划。在一些实施方式中，监督器330可以使用规划器300来生成用于多个uav310和一个或更多个再充电站320的规划、时间表和/或动作，并且更新数据库306a-306b，然而，和图2中不同，监督器330具有对何时调用规划器300的控制(例如，对规划器300何时向uav310发送规划、时间表和/或动作数据的控制)。在其他实施方式中，规划器300生成用于多个uav310和一个或更多个再充电站320的规划、时间表和/或动作，并且监督器330具有对何时调用规划器300的控制(例如，对规划器300何时向uav310发送规划、时间表和/或动作数据的控制)。

监督器330可以基于当前状态和/或预测算法关于表示所投射的现实模型的参数定期(例如，大约10秒)查询规划器300。监督器330可以具有其自己的、与何时执行由规划器300生成的规划和在什么条件下执行规划有关的内部策略。

在一些实施方式中，监督器330程序具有如通过外部传感器且通过遥测通信的、由uav310进行的所有所生成并执行的规划和状态变量随着时间的存储存取(在数据库306a、306b中存储的数据)。

在一些实施方式中，监督器330程序查询规划器300何时达到uav遥测馈送中的至少一个的状态与由规划器300所计算的执行中的规划预测的所投射状态之间的差的特定阈值。例如，监督器330可以在uav310的所有轨迹与它们的预测模型之间的差的绝对值的集成和达到例如大约10平方米的值时或在相对于具体航路点处的预测到达时间的时移的绝对值的和多于(superior)10秒时决定“重新规划”。

在一些实施方式中，监督器330程序完全或部分在人类操作员的引导之下，该人类操作员确定或影响何时由规划器300生成规划且何时由uav310执行规划。

在一个实施方式中，调用规划器300，以生成一个或更多个规划，以便在从安装在工业地点上的报警器322接收触发事件经过的特定时间量内执行具体地理区段(geographicsector)的摄影和/或视频记录。例如，规划器300可以由人配置的监督器330来调用，以生成持续15分钟的规划，其中，监视区段的目的是报警器响起以及工业园区的沿着正门和通道的若干建筑物的周界以预定概率超过15分钟时段。规划器可以使用所有可用资源(例如，成群的uav或ugav)和可用于表示在执行规划算法时系统的状态的所有信息来生成将尝试满足规划约束和目标函数的规划。

在一个实施方式中，假定存在影响数据捕捉的质量的不利大气事件，则调用规划器300，以生成一个或更多个规划，以便在一天期间的特定时刻或在已调度操作之后的最早可用时刻执行机械的检查。例如，在水力发电厂中，可以在每天上午11点调用规划器300，以检查并映射高度100m和宽度600m的水坝的状态。运行经受这些规划约束的规划算法的规划器30比如可以对于持续大约6小时的操作生成以中继模式连续使用8个uav的规划，其中，4个uav在任意给定时间为活跃的。

在一些实施方式中，在一天期间的预定时刻调用规划器300，并且所提议的动作由uav和/或受规划器300控制的其他装置直接执行。

在其他实施方式中，可以调用规划，以生成其他使用情况的解决方案。这种使用情况的示例非限制性列表包括：城市地区的视频监控、仓库内部的入侵检测、国界巡逻、油气设施的检查、桥梁的检查、发电厂外部的检查、荒野保护区中的火灾或非法狩猎的检测、检测通过管道的泄露、货物的海港视频监控和跟踪、监视火山的活动、建筑工地的3d映射、以及经受诸如地震的自然灾害的区域的视频和/或相片文件。

在规划器300的一个实施方案中，可以使用开源且专有求解器的组合来执行规划。例如，可以使用诸如ibmilogcplex优化工作室(cplex)的优化软件包来求解调度问题，而在机器人学文献中发布的算法中的遗传算法可以提出用于多代理系统的导航规划。在一些情况下，为了具有另选的解并根据给定策略配置选择执行一个，可以由在不同求解器上的监督器330软件并发运行产生的规划。

图4是描绘根据实施方式的、控制多个uav(例如，ugav)的方法440的流程图。如图4所示，可与图1至图3所示的系统兼容的方法440包括以下步骤：读取uav、传感器和/或其他外部受控装置441的状态变量(例如，停靠位置、航路点数据、与uav及其状态(例如，它正飞行还是正充电)关联的标签、描述标签等)441，随后例如基于状态变量(例如，经由图1的处理器104或图2的ugav规划器)确定用于多个uav的多个导航规划和/或调度规划(442)。在444处，(例如，经由发送器)向多个uav发送多个导航规划和/或调度规划。在446处，执行是否满足更新条件的评估。更新条件可以包括预定时间段的通过、多个uav中的一个或更多个超过预定地理窗口或体积的所检测移动、(例如，在接收器处或处理器处进行的)外部触发或刺激的接收等。如果不满足更新条件，则方法进行到452(“等待”时段)，并且(例如，在预定等待时段之后)自主地或响应于一个或更多个外部触发或这两者返回到评估446。如果在446处确定满足更新条件，那么方法进行到448，在448处，确定一个或更多个经修改导航规划和/或调度规划。在450处向多个uav中的一个或更多个发送一个或更多个经修改导航规划和/或调度规划。在一些实施方式中，448处经修改导航规划和/或调度规划的确定包括确定用于多个uav中的所有uav的经修改导航规划和/或调度规划，并且对应地，发送多个经修改导航规划和/或调度规划-向多个uav中的每一个发送一个经修改导航规划和/或调度规划。方法然后进行到在452处在再次评估是否满足随后更新条件(在446处)之前等待，直到经过预定等待时段为止，或者直到接收一个或更多个外部触发为止。

在一些实施方式中，图4的方法还包括以下步骤：将2d地图和/或3d地图用作用于导航模型的输入(例如，以在442处生成导航规划)。这种地图可以表示操作区域的地形和/或状态。另选地或另外，地图可以包括在一时间点与一个或更多个充电站有关的数据和/或与多个uav中的uav的初始位置有关的数据。导航模型可以由人类操作员来创建，或者可以是例如可从模型库获得的默认模型。导航模型可以包括对停靠/降落/再充电站(“uav站”)的位置的基准。uav站可以包括地面上的装置或位置(可以或不可以移动)，在装置或位置处，uav可以通过直接降落在装置或位置上或通过借助于地面可进入开口进入装置或位置来自主停靠，以便对它们的电池(或能量供应单元，例如氢燃料电池)再充电/交换，在这些装置或位置处，可以使uav免于外部环境，和/或uav可以更新、上传或下载在机载的、它们的伴随计算机系统中存储的数据。

图5例示了根据实施方式的、在矩形导航模型上涉及3个ugav的报警监测规划。例如由与以上参照图1至图3描述的系统类似的系统和/或根据与图4的方法类似的方法生成的报警监测规划具有26分钟的持续时间，并且具有连续监视(至少部分由图表区限定的)报警区段至少15分钟的目的(规划“约束”)。在图5的报警监测规划中，ugav-1在所调度时间的开始时处于区段f4中，随后被发射，以检查区段l3中的报警，该报警刚刚发出且触发规划的生成。然后，ugav-1被发射到c9中的站，以再充电。为了停靠到站中，uav飞行到f8并降落在f8中，然后沿着地面移动，以达到c9。与所有这些动作并发地，发射第二ugav-2，以在地面上从它再充电的q9中的站朝向建筑物(q3)内部的监视区域移动。该监视区域可以为可选的(例如被指定为软约束)。为了促进机器人到建筑物中的进入，规划器(例如，与图1的处理器104、图2的ugav规划器或图3的规划器300类似)协调q6中的门的打开和关闭。在简短的监视时段之后，向区段l3发射ugav-2，以代替ugav-1的监视动作，ugav-2一到达，ugav-1就离开区段l3。在3.5分钟之后，ugav-2离开区段，起飞并飞到区段n9，在n9处，它降落并移动，以停靠到21分钟前容纳它的q9中的再充电站中。在所有这些操作期间，c2中的ugav-3再充电。图6借助甘特图(ganttchart)从时间轮廓视点例示了图5的报警监视规划。对于在报警监视规划中所描述的各动作，绘制并限定对应的任务栏。同步执行垂直对齐的任务。

图7例示了允许人类操作员配置规划系统和/或监督器软件的图形界面的实施方式。表格701是操作员可以设置被称为“火警”的具体规划的、单位为分钟的持续时间所经由的表格，该规划例如在火警传感器的触发发生时被调用。在表格方框中，用户可以指定要被设置为规划约束的参数的(要在导航模型上限定的)各具体区段的重要性。在702处，在方框中将“区段1巡逻”配置为例如在每天上午6:00开始并持续到下午12:30为止。703处示出了用于地图中的所有区段的巡逻操作的调度的“所有区段巡逻”规划。包括按钮704，以向现在被配置的规划器/监督器提交表格方框的值。

虽然已经在前述示例性实施方式中描述并例示了所公开的主题，但应当理解，本公开仅通过示例的方式来进行，并且可以在不偏离所公开主题的精神和范围的情况下进行所公开主题的实施方案的细节的大量变更。