面向空间目标协同观测的卫星集群构形调整规划方法与流程

技术特征：

1.一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：包括如下步骤：

(1)基于集群通信链路以及星载传感器获取决策因素，包括集群系统状态信息和观测任务约束信息，将集群中每颗卫星视为智能Agent；

(2)基于集群的通信关系建立协调图，在协调图框架下引入MAS强化学习机制，并基于集群的相对运动动力学模型及构形调整的推力控制模型定义规划过程中的状态、各颗卫星的调整动作及调整策略，在此基础上对观测任务构形约束进行处理；

(3)通过集群全局协调以及单星局部优化的协作规划方法确定集群最优构形调整策略。

2.根据权利要求1所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(1)所述集群系统状态信息包含各颗卫星的相对运动状态、集群当前构形状态、当前规划时刻，以及集群中各颗卫星的轨控推力器配置信息；所述观测任务约束信息包括构形调整的推力、控制能耗、协同观测期望的构形、规划的时间段以及星间碰撞避免。

3.根据权利要求1所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(2)所述集群的通信关系包括集群通信拓扑结构以及星间的协作信息传递关系，以图论G＝＜V,E＞进行描述；

所述构形调整的推力控制模型包括卫星轨控发动机的脉冲型、连续推力型以及继电型推力模型；

所述规划过程中的状态为集群系统状态信息；

所述调整动作由各颗卫星星载轨控推力器的工作状态决定：用aik∈{0,1}表示推力器工作状态，1表示工作，0表示未工作，标号k代表各轴的推力器；

所述调整策略为规划时间段内按决策窗口顺序生成的卫星调整动作序列。

4.根据权利要求1所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(3)所述集群最优构形调整策略是以集群构形调整效果和调整所需的总速度增量为优化的性能指标，其函数表达式如下：

其中：Δvxⁱ，Δvyⁱ，Δvzⁱ分别为集群中第i颗卫星完成构形调整所需的沿x轴、y轴、z轴的速度增量，K为集群中卫星总数。

5.根据权利要求1所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(3)所述的集群全局协调以及单星局部优化的协作规划方法具体包括如下步骤：

(31)将集群中每颗卫星视为智能Agent，以集群的通信结构为基础建立协调图框架，在协调图框架下引入MAS强化学习机制；

(32)基于通信协调图将全局最优构形调整策略寻优的任务分解到各颗卫星的局部学习；

(33)根据集群系统状态信息和观测任务约束确定局部效用函数，通过在时间维度上累加折扣效用函数的方式确定性能指标函数；

(34)针对集群全局协调决策问题，设计基于Max-plus的全局协调决策算法来实现局部学习过程中的协作交互；

(35)针对单星局部优化问题，在通信协调图分解的基础上，设计基于神经网络的局部Q学习算法来拟合性能指标函数，在局部学习基础上，各星基于全局协调决策算法进行协作交互，进而获得集群最优构形调整策略。

6.根据权利要求5所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(31)中所述以集群的通信结构为基础建立协调图框架的步骤如下：

采用图模型G＝＜V,E＞来描述集群通信关系，以集群卫星之间的通信关系来描述Agent之间的协作依赖关系，以此为基础构建基于集群通信结构的协调图框架；其中，V＝{v1,v2,…,vK}表示图G中所有顶点vi的集合，即集群中所有的卫星节点；E表示图G中所有的边eij构成的集合，边eij∈E是连接两个卫星节点vi和vj的直线，如果两个顶点之间存在一条边，则表示对应的两个卫星节点可以直接进行通信。

7.根据权利要求5所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(32)基于通信协调图将全局最优构形调整策略寻优的任务分解到各颗卫星的局部学习的方法为：将集群通信协调图转换成只包含成对依赖关系的图，以通信的两颗卫星i、j为一个分解单位，基于G＝＜V,E＞中的边eij对全局Q函数进行分解，每条边对应一个局部Qi函数，以此将集群构形调整全局协作规划分解为一系列局部协作问题，每个局部协作问题中只涉及两个卫星Agent，则集群组合动作和状态下的全局Q函数分解为局部值函数Qi的线性组合：

其中，Qi为卫星Agent i的局部值函数，是Agenti局部优化所得的调整动作对集群整体构形调整的贡献；为局部状态，Si和Sj分别为Agent i、j的有限状态集，ai和aj分别为Agent i、j的调整动作。

8.根据权利要求5所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(33)所述根据集群系统状态信息和观测任务约束确定局部效用函数的方式为：根据状态sk以及动作ak构建体现了在状态sk下执行动作ak的构形调整效果的效用函数U(sk,ak)，具体如下：

首先，构建具有通信关系的Agenti、j在k时刻实施各自的调整动作ai^k,aj^k所获得的局部回报Rij(sk,ak)：

其次，利用Agent当前局部构形与目标构形之间的构形差来设计回报函数：

r(ai^k)＝||di^k-Di^k||

r(aj^k)＝||dj^k-Dj^k||

其中，di^k表示Agenti相对于观测目标的距离，Di^k表示观测任务目标构形约束下Agenti相对于目标的期望距离，dj^k表示Agent j相对于观测目标的距离，Dij^k表示目标构形约束下Agenti、j的期望相对距离，dsafe为星间碰撞避免的安全距离；

然后，根据Agent所执行的调整动作的推力加速度U确定所需的控制量：

最后，通过Rij(sk,ak)和Ue(sk,ak)构建效用函数U(sk,ak)：

U(sk,ak)＝βRij(sk,ak)+(1-β)Ue(sk,ak)

其中，β为权重，k表示第k个决策阶段，sk＝sij^k为局部状态，ak＝(ai^k,aj^k)；

其中，步骤(33)中通过在时间维度上累加折扣效用函数的方式确定的性能指标函数如下：

Q(sk,ak)＝U(sk,ak)+γJ^*(sk+1)

其中，γ∈[0,1]为折扣因子，sk＝sij^k为局部状态，ak＝(ai^k,aj^k)，Θ＝Ai×Aj为Agent i、j的组合动作空间，NT为规划时间段内划分的决策级数。

9.根据权利要求5所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(34)针对集群全局协调决策问题，设计基于Max-plus的全局协调决策算法来实现局部学习过程中的协作交互的方法，其过程如下：

根据通信协调图G＝＜V,E＞，协作规划开始时，每个Agent i不断给它的邻居j∈Γ(i)发送局部规划结果作为协作信息，然后各个Agent基于通信协调图不断交换彼此的局部规划结果进行全局协调，Agent i发送给邻居j的消息μij为：

其中，Γ(i)\j表示除j以外的Agent i的其他邻居Agent，μki表示其他邻居Agent发送给i的消息，cij用于归一化。

10.根据权利要求5所述一种面向空间目标协同观测的卫星集群构形调整规划方法，其特征在于：步骤(35)针对单星局部优化问题，在通信协调图分解的基础上，设计基于神经网络的局部Q学习算法来拟合性能指标函数，在局部学习基础上，各卫星Agent基于全局协调决策算法进行协作交互，进而获得集群最优构形调整策略的方法为：对分解后的每个局部Q函数Qi(sij,ai,aj)分别采用神经网络进行拟合，将第k个决策周期中的协调图各条边上的局部状态及其对应的调整动作组合[sij,ai,aj]^T分别输入各个神经网络，映射为各局部Q函数的估计值执行(ai,aj)，各局部状态转移至sij′；根据基于Max-plus的全局协调决策算法进行协作交互，确定状态sij′下的最优局部调整动作组合(ai^*,aj^*)，将协调图四条边上的局部状态和动作[sij',ai^*,aj^*]^T分别输入各个神经网络，获得

其中，根据下式对局部Q函数进行更新：

其中，α为神经网络学习率，γ为折扣因子；

各神经网络的训练误差为：

采用训练误差Ec根据随机梯度下降法修正各神经网络的权值后进行下一次迭代训练，周而复始地，直至训练次数达到最大迭代次数或构形偏差达到要求，输出各星的最优构形调整动作ai^*：

将卫星i所有决策周期中的最优构形调整动作ai^*组合所得的动作序列即为其最优构形调整策略πi^*＝{ai^1*,ai^2*,…,ai^NT*}，整个集群的最优构形调整策略为π^*＝{π1^*,π2^*,…,πK^*}，NT为规划时间内的决策周期总数，K为集群中卫星总数。