本发明涉及一种仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法，属于无人机控制领域。
背景技术：
无人机(Unmanned Aerial Vehicle,UAV)是指不载有操作人员、利用空气动力提供升力、可自主飞行或遥控驾驶、可一次使用也可回收使用、携带致命或非致命有效载荷的有动力飞行器，具有“平台无人、系统有人”的基本属性，在军事和民用领域中具有广阔的应用发展前景。
无人机分布式机载能力的提高改变了无人机任务执行模式。在传统任务执行模式中，无人机通常通过空中加油执行远距离任务。而在改变后的任务执行模式中，无人机将以集群为单位、由母机进行投放和回收的形式执行远距离任务。由于通常情况下为减少损失，母机无法抵近任务区域，因此无人机集群需要具备较强的续航能力。无人机集群编队使得集群中的僚机可有效利用引导机的尾流减小阻力、节省燃油、延长续航，但集群中的长机由于无法利用任何无人机的尾流，其续航时间并未得到延长，因此无人机集群编队并未延长无人机集群的整体续航时间。只有通过无人机集群编队轮换，即集群内部的无人机轮流充当集群中的长机，才能有效延长无人机集群的整体续航时间，因此设计合理有效的无人机自主集群编队轮换控制方法至关重要。本发明旨在通过设计一种无人机自主集群编队轮换控制方法，提高无人机自主集群编队控制水平，使无人机可以较低的燃油配置执行远距离任务。
目前，常见的无人机集群编队轮换方法主要为循环式，即当集群内的某一架无人机以长机身份消耗规定的燃油后，集群内的无人按照顺时针或者逆时针方向轮流充当集群中的长机。该方法虽然简单易行，但存在如下缺陷：首先，当无人机集群内的无人机出现故障时，该方法无法继续执行，鲁棒性差；其次，该方法不适用于除V形、梯形外的非常规集群编队，并且，当无人机集群内的无人机燃油配置不均匀时，该方法并不合理，适应性不足。本发明针对现有无人机集群编队轮换方法在鲁棒性、适应性方面的自主能力不足，模拟候鸟迁徙行为，基于进化雪堆博弈设计了一种分布式的无人机自主集群编队轮换控制方法。
候鸟为节省能量增加存活几率，通常排列成紧密的线性编队进行迁徙，并存在位置轮换合作行为。不管其内部亲缘关系如何，鸟群内的候鸟其领头和尾随飞行的时间大致相当，即所有的个体均有机会在其它个体的尾迹里飞行，且均愿意牺牲自身利益成为头鸟。候鸟的这种轮换合作行为符合雪堆博弈的收益结构，当两个个体相遇时，每个个体均有两个选择：领头(合作)或尾随(背叛)。如果均选择合作，则得到利益，但同时承担了代价。如果均选择背叛，则收益为零。如果一个个体合作而另一个体背叛，则背叛者获得比合作者更大的收益。无人机集群编队轮换问题与候鸟头鸟轮换问题在收益结构上存在相似性，此外，无人机智能有限且所处环境复杂，个体无法即时求取当前的最好策略，符合进化博弈对博弈个体智能局限性的考虑，进化博弈中个体通过遵循简单规则更新策略，最终达到进化稳定策略。综上所述，本发明提出了一种仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法，以解决现有无人机集群编队轮换控制方法在鲁棒性和适应性方面的不足，有效提高无人机自主集群编队控制水平。
技术实现要素：
1、发明目的：
本发明提供了一种仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法，其目的是提供一种分布式的无人机自主集群编队轮换控制方法，旨在提高无人机在集群编队自主轮换过程中的鲁棒性和适应性，从而有效提高无人机远距离任务执行能力水平。
2、技术方案：
本发明针对无人机集群编队轮换控制问题，开发了一种仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法，该方法的实现流程如图1所示，具体实现步骤如下：
步骤一：初始化
随机生成N架无人机的初始状态，包括位置Pi、水平速度Vi以及航向角ψi，其中i为无人机编号，Pi＝(Xi,Yi)，Xi和Yi分别为无人机i在地面坐标系下的横轴坐标和纵轴坐标；设定每架无人机的引导机编号当前仿真时间t＝0，仿真计数器n＝1，轮换计数器Count＝1，博弈次数计数器n1＝0。当且仅当不存在无人机j满足Xj≥Xi且Yj≥Yi时，飞行模式标识符策略Si(n)＝1，反策略否则飞行模式标识符策略Si(n)＝0，反策略
步骤二：基于候鸟进化雪堆博弈确定无人机飞行模式
如果仿真计数器n＞1，并且Count小于轮换计数器上限Countmax，则轮换计数器累计加一，无人机的策略、反策略以及飞行模式标识符均保持不变，即Count＝Count+1，Si(n)＝Si(n-1)，而后执行步骤三。
如果Count＝Countmax，则轮换计数器归一，邻居策略集清空，博弈次数计数器加一，即Count＝1，n1＝n1+1。当且仅当不存在无人机j满足Xj≥Xi且Yj≥Yi时，策略Si(n)＝0，反策略记忆策略飞行模式标识符而后执行步骤四；否则，将N架无人机组成的集群视为一个迁徙的鸟群，其中无人机i为候鸟i，无人机i的引导机为候鸟i的前鸟无人机i的策略Si(n)和反策略分别为候鸟i进行进化雪堆博弈时的策略Si(n)和反策略
若存在候鸟j满足则将候鸟j的策略存入候鸟i的邻居策略集，即若候鸟i的前鸟编号则将候鸟的策略存入候鸟i的邻居策略集，即并根据候鸟i的策略Si(n)以及邻居策略计算候鸟i的真实雪堆博弈收益Bi：
其中r1是非合作者遇到合作者的收益系数，r2是合作者遇到合作者的损耗系数。根据候鸟i的反策略以及邻居策略计算候鸟i的虚拟雪堆博弈收益
根据候鸟i的真实雪堆博弈收益Bi以及虚拟雪堆博弈收益计算候鸟i的记忆策略
根据候鸟i的记忆策略生成进化候鸟i的雪堆博弈策略选择概率pg：
其中Lm是雪堆博弈记忆长度。随机生成随机数rand，根据候鸟i的雪堆博弈策略选择概率pg生成候鸟i的策略Si(n)和反策略
根据候鸟i的策略Si(n)更新无人机i的飞行模式标识符
步骤三：确定引导机及其相对僚机的期望位置
若飞行模式标识符则无人机i处于僚机模式。处于僚机模式的无人机i选择位于前方且相距最近的无人机作为引导机；若可选择的引导机不唯一时，无人机i选择编号最小的无人机作为引导机。即当且仅当Xj＞Xi，且不存在无人机j'满足Xj'＞Xi且Rij'＜Rij时或满足Xj'＞Xi，Rij'＝Rij且j'＜j时，有其中为无人机i和无人机j间的距离。若前方不存在无人机，则处于僚机模式的无人机i选择相距最近的无人机作为引导机；若可选择的引导机不唯一时，无人机i选择编号最小的无人机作为引导机。即当且仅当不存在无人机j'满足Xj'＞Xi，且不存在无人机j”满足Rij”＜Rij时或满足Rij”＝Rij且j”＜j时，有根据无人机i与其对应引导机的当前位置，计算其对应引导机相对无人机i的前向期望位置和侧向期望位置
其中xexp和yexp分别为前向期望距离和侧向期望距离，为无人机i的引导机在地面坐标系下的纵轴坐标。
步骤四：运行无人机模型
若飞行模式标识符则无人机i处于长机模式。由下式所描述的长机模型，得到下一仿真时间的无人机状态：
其中和分别为无人机i在地面坐标系下的横轴坐标、纵轴坐标、速度以及航向角对时间的一阶微分，τV和τψ分别为速度保持自驾仪和航向保持自驾仪的时间常数，长机速度保持自驾仪控制输入VLC＝Vexp，长机航向保持自驾仪控制输入ψLC＝ψexp，Vexp和ψexp分别为长机期望水平速度和期望航向角。若飞行模式标识符由下式所描述的僚机模型，得到下一仿真时间的无人机状态：
其中和分别为无人机i的引导机在地面坐标系下的横轴坐标以及速度，xi和yi分别为无人机在无人机i机体坐标系下的x轴和y轴坐标，僚机的速度保持自驾仪控制输入僚机航向保持自驾仪控制输入和分别是前向和侧向通道的PID控制参数，为前向通道的误差，为侧向通道的误差，kx、kV、ky和kψ分别为前向误差、速度误差、侧向误差以及航向误差的控制增益，为无人机i的引导机的航向角。
步骤五：判断是否结束仿真
仿真时间t＝t+ts，其中ts为采样时间。若t大于最大仿真运行时间Tmax，则仿真结束并绘制无人机集群飞行轨迹，每一轮换时刻的无人机集群编队、无人机集群水平速度变化曲线以及航向角变化曲线；否则，返回步骤二。
3、优点及效果：
本发明提出了一种仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法。该方法是模拟候鸟迁徙行为，基于进化雪堆博弈设计的一种分布式控制方法，主要优势主要体现在两个方面：一方面，该方法模拟候鸟交互的局部性，仅基于无人机及其小范围内邻居的近期历史信息生成无人机集群编队轮换策略，降低了单机计算和通信负载；另一方面，该方法秉承了候鸟迁徙过程中的环境适应性特点，运算过程不依赖于无人机集群编队形状、整体燃油配置，可应对突发故障，具有较强的适应性和鲁棒性，进而有效提高了无人机自主集群编队能力。
附图说明
图1基于候鸟进化雪堆博弈的无人机自主集群编队轮换控制流程。
图2无人机集群飞行轨迹。
图3 t＝3s时的无人机集群编队。
图4 t＝6s时的无人机集群编队。
图5 t＝9s时的无人机集群编队。
图6 t＝12s时的无人机集群编队。
图7无人机集群水平速度曲线。
图8无人机集群航向角曲线。
图中标号及符号说明如下：
t—仿真时间；n—仿真计数器；Count—轮换计数器；i—无人机编号；
Countmax—轮换计数器上限；—仿真计数器为n时，无人机i的飞行模式标识符；N—无人机数量；Tmax—最大仿真运行时间；ts—采样时间。
具体实施方式
见图1至图8，下面通过一个具体的无人机自主集群编队轮换控制实例来验证本发明所提出的方法的有效性。实验计算机配置为Intel Core i7-6700HQ处理器，2.60Ghz主频，16G内存，软件为MATLAB 2014a版本。该方法具体步骤如下：
步骤一：初始化
随机生成5架无人机的初始状态：无人机1至5的初始位置P1至P5分别为(12.5926m,7.1515m)、(13.1907m,3.2101m)、(1.4969m,-3.1140m)、(3.0873m,3.5804m)以及(0.5687m,-5.9005m)，初始水平速度Vi均为42m/s，初始航向角ψi均为0°，其中i＝1,2,...,5；设定每架无人机的引导机编号当前仿真时间t＝0，仿真计数器n＝1，轮换计数器Count＝1，博弈次数计数器n1＝0，其中i＝1,2,...,5。实例中，不存在无人机j满足Xj≥X2＝13.1907m且Yj≥Y2＝3.2101m，则飞行模式标识符策略S2(n)＝1，反策略无人机1和无人机3至5的飞行模式标识符策略Si(n)＝0，反策略其中i＝1,3,4,5。
步骤二：基于候鸟进化雪堆博弈确定无人机飞行模式
如果仿真计数器n＞1，并且Count小于轮换计数器上限Countmax＝300，则轮换计数器累计加一，无人机的策略、反策略以及飞行模式标识符均保持不变，即Count＝Count+1，Si(n)＝Si(n-1)，而后执行步骤三，其中i＝1,2,...,5。如果Count＝300，则轮换计数器归一，邻居策略集清空，博弈次数计数器加一，即Count＝1，n1＝n1+1，其中i＝1,2,...,5。当且仅当不存在无人机j满足Xj≥Xi且Yj≥Yi时，策略Si(n)＝0，反策略记忆策略飞行模式标识符而后执行步骤四；否则，将N架无人机组成的集群视为一个迁徙的鸟群，其中无人机i为候鸟i，无人机i的引导机为候鸟i的前鸟无人机i的策略Si(n)和反策略分别为候鸟i进行进化雪堆博弈时的策略Si(n)和反策略若存在候鸟j满足则将候鸟j的策略存入候鸟i的邻居策略集，即若候鸟i的前鸟编号则将候鸟的策略存入候鸟i的邻居策略集，即并由式(1)，并根据候鸟i的策略Si(n)以及邻居策略计算候鸟i的真实雪堆博弈收益Bi，其中非合作者遇到合作者的收益系数r1＝0.5，合作者遇到合作者的损耗系数r2＝0.2。由式(2)，根据候鸟i的反策略以及邻居策略计算候鸟i的虚拟雪堆博弈收益由式(3)，根据候鸟i的真实雪堆博弈收益Bi以及虚拟雪堆博弈收益计算候鸟i的记忆策略由式(4)，根据候鸟i的记忆策略生成候鸟i的进化雪堆博弈策略选择概率pg，其中雪堆博弈记忆长度Lm＝2。随机生成随机数rand，由式(5)和式(6)，根据候鸟i的雪堆博弈策略选择概率pg生成候鸟i的策略Si(n)和反策略由式(7)，根据候鸟i的策略Si(n)更新无人机i的飞行模式标识符
步骤三：确定引导机及其相对僚机的期望位置
若飞行模式标识符则无人机i处于僚机模式。处于僚机模式的无人机i选择位于前方且相距最近的无人机作为引导机；若可选择的引导机不唯一时，无人机i选择编号最小的无人机作为引导机。即当且仅当Xj＞Xi，且不存在无人机j'满足Xj'＞Xi且Rij'＜Rij时或满足Xj'＞Xi，Rij'＝Rij且j'＜j时，有若前方不存在无人机，则处于僚机模式的无人机i选择相距最近的无人机作为引导机；若可选择的引导机不唯一时，无人机i选择编号最小的无人机作为引导机。即当且仅当不存在无人机j'满足Xj'＞Xi，且不存在无人机j”满足Rij”＜Rij时或满足Rij”＝Rij且j”＜j时，有由式(8)和式(9)，根据无人机i与其对应引导机的前向期望位置和侧向期望位置其中前向期望距离xexp＝3.92m和侧向期望距离yexp＝1.54m。
步骤四：运行无人机模型
若飞行模式标识符则无人机i处于长机模式。由式(10)所描述的长机模型，得到下一仿真时间的无人机状态，其中速度保持自驾仪时间常数τV＝10s，航向保持自驾仪时间常数τψ＝1.5s，长机期望水平速度Vexp＝42m/s以及长机期望航向角ψexp＝0°。若飞行模式标识符由式(11)所描述的僚机模型，得到下一仿真时间的无人机状态，其中前向通道的PID控制参数侧向通道的PID控制参数前向误差控制增益kx＝-15，速度误差控制增益kV＝5，侧向误差控制增益ky＝-4.5，航向误差控制增益kψ＝50。
步骤五：判断是否结束仿真
仿真时间t＝t+ts，其中采样时间ts＝0.01s。若t大于最大仿真运行时间Tmax＝12s，则仿真结束并绘制仿真结果图；否则，返回步骤二。全过程无人机集群飞行轨迹如图2所示，t＝3s,6s,9s,12s时的无人机集群编队分别如图3至图6所示，全过程无人机集群水平速度曲线和航向角曲线分别如图7和图8所示。无人机仿真验证了通过本发明所提出的仿候鸟进化雪堆博弈的无人机自主集群编队轮换控制方法，无人机集群可实现自主编队轮换。