一种基于博弈论的多目标优化卫星资源分配算法

1.本发明涉及一种卫星系统技术，尤其涉及一种卫星系统资源分配方法，更具体地说，涉及一种基于博弈论的多目标优化资源分配算法。


背景技术：

2.近年来，随着5g地面蜂窝网络的飞速发展，数据流量呈现爆炸式增长，移动多媒体业务能力飞速提高，带给了人们更高品质的生活。然而地面蜂窝网络本身具有很大局限性：受限于地理和经济条件，地面蜂窝网络的服务覆盖范围很低；地面蜂窝网络的抗毁性很差，对地震、海啸等自然灾害的抵御能力很低，回程网络易受到大规模的破坏。相较而言，卫星网络由于其本身具有覆盖范围广、通信容量大、抗毁能力强等优点，能够很好的弥补地面蜂窝网络的上述缺点，因此星地一体化网络成为未来通信系统的重要发展方向。
3.在轨卫星数量的高速增长，使得有限的卫星网络资源难以支撑卫星多媒体业务的大规模运转。多波束卫星系统因其高效的频谱资源利用率成为未来卫星系统的发展趋势，然而多波束卫星由于自身高增益的特点，其负载压力也会变得更大，为了进一步提高系统资源利用率和系统性能，应合理分配有限的板载资源。
4.随着现代网络服务需求的不断提升，多目标优化渐渐成为资源分配问题的重要研究方向。本发明通过对每个优化目标设置权值实现不同侧重多目标优化。


技术实现要素：

5.发明目的：针对现有的研究大多只关注单独某一层轨道的卫星，本发明从多波束高低轨卫星联合的角度出发，为了解决多波束高低轨卫星联合星地链路中的资源分配决策问题，提出了一种基于势博弈的带宽和功率联合分配算法。
6.技术方案：完成上述发明通过以下技术方案实现：一种基于博弈论的多目标优化卫星资源分配算法，包括步骤如下：
7.(1)根据势博弈理论，将用户建模为博弈参与者，卫星的带宽和功率资源建模为策略空间。
8.(2)基于以上模型描述提出对多目标的优化建模。
9.(3)针对问题进行复杂性分析。
10.(4)每个用户将归一化处理之后的吞吐量和功率利用率的加权和作为自身的效用函数。为了降低所提出多目标优化问题的计算复杂度，提出一种基于势博弈的方法来构建分析范式。
11.(5)构建系统势函数，证明势博弈纳什均衡的存在性。
12.(6)基于模拟退火的思想，使系统逼近收敛到全局最优纳什均衡。
13.(7)对势博弈模型进行收敛性分析，保障系统最终逼近全局最优解。
14.进一步的，所述步骤(1)包括如下具体步骤：
15.(1a)系统共有一个多波束高轨卫星和一个多波束低轨卫星，每个卫星s属于卫星
集s{0，1}，其中0表示高轨卫星，1表示低轨卫星。每个卫星的总波束数目为m，波束小区之间采用七色频率复用减少同频干扰。
16.(1b)每个卫星设置最大的功率输出和最大的链路传输带宽同时每个卫星波束有最大链路传输带宽门限因此每个用户可选的功率集带宽集卫星和地面用户之间的信道遵循莱斯衰落。
17.(1c)地面用户是卫星信号的接收方，每个地面用户i属于用户集i{1，2，3，...，i}。每个用户维护一个信息表listi{l1，l2，l3，l4}，其中l1代表与该用户通信的卫星，我们依据用户的数据传输流量需求选择高轨或者低轨卫星；l2代表用户被分配到的波束编号，初始用户均匀的分配到每一个波束中，最大程度利用多波束的优势；l3和l4分别代表用户分配到的带宽和功率值。
18.(1d)每个地面用户i的信干噪比(sinr)计算如下：
[0019][0020]
其中p
s，i
是卫星s向用户i的信号发射功率，h
s，i
是卫星s到用户i的总传输增益，可以表示为
[0021]hs，i
＝|h
s，i
|2g
s，i
l
s，i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式2
[0022]
其中，h
s，i
是卫星s和地面服务用户i之间的莱斯信道矩阵，g
s，i
为天线增益，具体取值参见itu-r s.1528建议书，l
s，i
是地球-空间路径上的传播损耗，取北纬40
°
、东经116
°
作为地理位置参考点，假设仰角为30
°
，传播损耗的具体取值参见itu-r p.618-12建议书。为噪声功率，卫星不同波束小区之间虽然通过七色频率复用技术尽量减少了干扰，但是难以避免的还是有必要考虑地面用户之间的干扰问题：是指地面用户i所在波束mi内其他用户对其造成的干扰，是指与波束mi复用相同频率的其他波束小区内用户对其造成的干扰，下文中与用户i复用相同频率的波束小区均用来表示。
[0023]
(1e)基于香农公式，每个地面用户i接收到来自卫星s的数据接收速率可以表示为：
[0024]rs，i
＝b
s，i
log(1+γ
s，i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式3
[0025]
其中，b
s，i
表示卫星s中用户i所在的波束向用户i分配的的信道带宽。
[0026]
(1f)假设系统在理想状态下，即用户可以达到最大的数据接收速率，则系统此时的总吞吐量为：
[0027][0028]
系统的功率利用率定义为：
[0029][0030]
其中p
extra
表示卫星平台自身正常运转所产生的功率损耗。
[0031]
(1g)为了保障每个地面用户的服务质量(quality of service，qos)，使每个地面
用户都有接入卫星网络的能力，每个用户设定最小的接收速率约束r
min
。
[0032]
(1h)考虑用户的角度，比如是否满足用户大流量业务的需求，引入满意度(degree of satisfaction，dos)指标，表征系统内所有用户大流量业务需求的满意程度。假设每个用户的大流量业务需求速度是满意度指标定义如下：
[0033][0034]
其中，为当前用户i的满意度指数，当时，表示该用户的大流量业务需求得到了满足；当时，表示大流量业务需求未得到满足，此时该值表示的是用户的具体满足程度，在0～1之间取值。num
user
表示高轨和低轨卫星总用户之和。从表达式(6)中可以看出，dos的取值范围为0～1，且取值越接近1，表示系统总用户满意度越高。
[0035]
进一步的，所述步骤(2)包括如下具体步骤：
[0036]
opt.p1＝max th
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式7
[0037]
p2＝max ee
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式8
[0038][0039][0040][0041][0042]
本发明研究的是多目标的优化，p1表示最大化系统总吞吐量；p2表示最大化系统功率利用率。任意时刻，每个卫星的总分配带宽和功率应不高于总带宽限制和总功率限制每个波束总分配带宽同样应不高于波束总带宽门限此外，任意时刻，每个用户的数据接收速率应该满足最小速率要求r
min
，以保证每个用户的最低服务质量。
[0043]
进一步的，所述步骤(3)包括如下具体步骤：
[0044]
首先将上述多目标优化问题简单归化到单目标优化问题上，即仅优化系统总数据传输速率；接下来我们再将问题简单归化到单研究功率资源分配问题上。此时优化问题显然简化成一个功率分配下和速率最大化问题。在本发明中，求和速率最大化可以等价于寻找互不干扰的最大用户子集，这进一步等价于组合优化中的最大独立集问题，而最大独立集问题是组合优化中众所周知的np难问题。因此，本发明研究的多目标优化问题显而易见是一个np难问题。
[0045]
考虑使用势博弈的相关理论，找到多项式时间内的多目标优化问题的高质量近似解。
[0046]
进一步的，所述步骤(4)包括如下具体步骤：
[0047]
(4a)势博弈用g＝[i，{ai}
i∈i
，{ui}
i∈i
，f]来表示，i表示博弈参与者集合，即所有地面用户集合；ai表示博弈参与者i的联合策略选择，为参与者i的策略集，同样的有表示除参与者i之外其他参与者的策略选择，其中
×
表示笛卡尔积；ui为参与者i的效用函数。
[0048]
(4b)为了能够系统的表示每个用户效用函数的真实影响，我们做如下设计：
[0049]
首先对表达式4修改为个人吞吐量，即
[0050]
th
s，i
＝b
s，i
log(1+γ
s，i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式13
[0051]
为了避免“公式悲剧”，我们将用户i所选策略造成的波束内干扰以及同频复用的波束间干扰考虑在内，此时用户i的个人吞吐量表示为：
[0052][0053]
接着，为了保证每个优化指标(个人吞吐量th
s，i
、功率利用率ee)的影响公平，将优化指标都归一化到[0，1]。
[0054]
(4c)最后依据优化目标的侧重程度给每个指标赋予相应的权重，然后加权求和得到参与者i的效用函数：
[0055][0056]
其中，ω1、ω2为权重因子，λ1、λ2为归一化参数。f为该系统构造的势函数，下一步骤中将给出具体表达式。
[0057]
进一步的，所述步骤(5)包括如下具体步骤：
[0058]
(5a)为寻找最优解，必须探讨所提出的势博弈的纳什均衡是否存在。
[0059]
有如下定义：当且仅当没有任何博弈参与者可以通过单方面的偏离来提高其效用，即
[0060][0061]
此时称该博弈达到纳什均衡点，此时各个博弈参与者的策略集合表示为：
[0062][0063]
(5b)做如下探讨，证明纳什均衡存在：
[0064]
将势函数构造为：
[0065]
f(ai，a-i
)＝ω1λ1th+ω2λ2ee
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式18
[0066]
对势函数做如下推导(由于高低轨卫星之间无干扰，因此对于用户处于高轨卫星波束覆盖区还是低轨卫星波束覆盖区两种情况的推导是相同的，下文统一用si概括这两种
情况)：
[0067][0068]
f(a
′i，a-i
)＝ui(a
′i，a-j
)+υ(a-j
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式20
[0069]
通过上式表达式19和20，可以推导出：
[0070]
f(a
′i，a-i
)-f(ai，a-i
)＝ui(a
′i，a-i
)-ui(ai，a-i
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
表达式21
[0071]
表达式21表明博弈参与者的任何单方面的偏离引起的个人效用的变化都可以完全的映射到势函数f(ai，a-i
)的改变中，因此可以证明定义的g＝[i，{aj}
j∈i
，{uj}
j∈i
，f]为势博弈，该函数为势函数。由于势博弈的内在特性，至少存在一个纯纳什均衡点，并且所有的纳什均衡点都是势函数的全局或局部最优解。
[0072]
进一步的，所述步骤(6)包括如下具体步骤：
[0073]
(6a)初始化参数。初始化场景参数、用户分布；初始化系统策略配置文件；初始化每个用户的带宽和功率配置文件；初始化算法相关参数。
[0074]
(6b)迭代带宽分配。保持上次迭代中功率配置文件不变，用户i从上个用户i-1带宽更新之后的可选带宽集中随机选取带宽值
[0075]
(6c)带宽上升判断。取步骤(6b)中选取的带宽值计算效用函数改变量：
[0076]
δui＝ui(a
′i，a-i
)-ui(ai，a-i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式22
[0077]
(6d)策略步长限制。如果(其中为设定的最大带宽策略步长限制值)，则跳转到步骤(6a))(最多两次)，否则，进入下一步骤)。
[0078]
(6e)模拟退火。如果δui≤0，跳转到步骤(6b))(最多两次)，否则，计算退火转移概率：
[0079][0080]
其中：
[0081]
τ＝max δuiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式24
[0082]
t＝t
0-kt0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式25
[0083]
表达式25是计算当前时刻的温度，其中t0为系统初始化时的温度，k为退火系数，表达式如下：
[0084][0085]
iter表示当前的迭代次数。
[0086]
(6f)以转移概率ρ，在和带宽集合中随机选取的值作为最终带宽值bi，并更新用户i带宽配置文件、系统策略配置文件以及下一个用户的可选带宽集：
[0087][0088]
其中：
[0089][0090]
(6g)迭代功率分配
[0091]
功率分配步骤与上述带宽分配类似，这里不做过多说明，不同点是中策略步长判断改为最大功率策略步长限制值用户的可选功率集改为：
[0092][0093]
其中：
[0094][0095]
(6h)当δui≈0或达到最终温度tf时，系统性能基本不会有所改进，算法结束，返回最终的系统策略配置文件。
[0096]
根据上述算法具体步骤，该算法的计算复杂度为o(n)，因此，即便是在机载处理卫星中，执行时间也同样可以接受。
[0097]
进一步的，所述步骤(7)包括如下具体步骤：
[0098]
(7a)本发明提出的算法将带宽分配和功率分配迭代分解为两个子过程，同时确保每一个子过程都不会造成系统性能的降低，因而可以保证系统最终可以收敛到纳什均衡点。
[0099]
(7b)模拟退火机制可以最大程度的保障系统收敛到最优纳什均衡点，以取得最优解。
[0100]
有益效果：本发明提出了一种基于博弈论的多目标优化算法，即rr-sa算法。该算法在更好响应算法的基础上，通过引入模拟退火、最大策略步长限制、和重复策略选择机制，使得算法可以高效的逼近全局最优纳什均衡。本发明从多波束高低轨卫星联合的角度出发，可以解决多波束高低轨卫星联合系统中的资源分配决策问题，使用的一种基于势博
弈的带宽和功率联合分配算法能够达到更好的系统性能。
附图说明
[0101]
图1为本发明实施例提供的系统网络模型示意图；
[0102]
图2为本发明实施例提供的卫星波束小区采用的七色频率复用方法示意图；
[0103]
图3为本发明实施例提供的验证系统收敛于纳什均衡的用户效用变化仿真结果图；
[0104]
图4为本发明实施例提供的验证系统收敛于纳什均衡的分配功率变化仿真结果图；
[0105]
图5为本发明实施例提供的rr-sa算法在加权系统总效用性能与br算法和rl算法的仿真结果对比图；
[0106]
图6为本发明实施例提供的rr-sa算法在系统的吞吐量随功率限制变化的情况上与br算法和rl算法的仿真结果对比图；
[0107]
图7为本发明实施例提供的rr-sa算法在系统分配功率随功率限制变化的情况上与br算法和rl算法的仿真结果对比图；
[0108]
图8为本发明实施例提供的rr-sa算法在不同用户数量的情况下的系统满意度变化与br算法和rl算法的仿真结果对比图；
[0109]
图9为本发明实施例提供的rr-sa算法在高低轨联合效果上带宽分配情况与br算法和rl算法的仿真结果对比图；
[0110]
图10为本发明实施例提供的rr-sa算法在高低轨联合效果上功率分配情况与br算法和rl算法的仿真结果对比图；
具体实施方式
[0111]
本发明的核心思想在于：基于势博弈理论，从多波束高低轨卫星联合的角度出发，考虑卫星的最大带宽、功率、波束的最大带宽和用户的最小速率等约束，采用分布式迭代算法，建立基于多目标优化的带宽和功率联合资源分配模型。根据构建的系统势函数和模拟退火的机制，实现最优的带宽和功率联合分配策略。
[0112]
下面对本发明做进一步详细描述。
[0113]
步骤(1)根据势博弈理论，将用户建模为博弈参与者，卫星的带宽和功率资源建模为策略空间，包括如下步骤：
[0114]
(1a)系统共有一个多波束高轨卫星和一个多波束低轨卫星，每个卫星s属于卫星集s{0，1}，其中0表示高轨卫星，1表示低轨卫星。每个卫星的总波束数目为m，波束小区之间采用七色频率复用减少同频干扰。
[0115]
(1b)每个卫星设置最大的功率输出和最大的链路传输带宽同时每个卫星波束有最大链路传输带宽门限因此每个用户可选的功率集带宽集卫星和地面用户之间的信道遵循莱斯衰落。
[0116]
(1c)地面用户是卫星信号的接收方，每个地面用户i属于用户集i{1，2，3，...，i}。每个用户维护一个信息表listi{l1，l2，l3，l4}，其中l1代表与该用户通信的卫星，依据用户
的数据传输流量需求选择高轨或者低轨卫星；l2代表用户的波束编号，初始用户均匀分配到每一个波束中，最大程度利用多波束的优势；l3和l4分别代表用户分配到的带宽和功率值。
[0117]
(1d)每个地面用户i的信干噪比(sinr)计算如下：
[0118][0119]
其中p
s，i
是卫星s向用户i的信号发射功率，h
s，i
是卫星s到用户i的总传输增益，可以表示为：
[0120]hs，i
＝|h
s，i
|2g
s，i
l
s，i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式2
[0121]
其中，h
s，i
是卫星s和地面服务用户i之间的莱斯信道矩阵，g
s，i
为天线增益，具体取值参见itu-r s.1528建议书，l
s，i
是地球-空间路径上的传播损耗，取北纬40
°
、东经116
°
作为地理位置参考点，假设仰角为30
°
，传播损耗的具体取值参见itu-r p.618-12建议书。为噪声功率，不同波束小区之间虽然通过七色频率复用技术尽量减少了干扰，但是还是有必要考虑地面用户之间的干扰问题：是指地面用户i所在波束mj内其他用户对其造成的干扰，是指与波束mi复用相同频率的其他波束小区内用户对其造成的干扰，下文中与用户i复用相同频率的波束小区均用来表示。
[0122]
(1e)基于香农公式，每个地面用户i接收到来自卫星s的数据接收速率可以表示为：
[0123]rs，i
＝b
s，i
log(1+γ
s，i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式3
[0124]
其中，b
s，i
表示卫星s中用户i所在的波束向用户i分配的的信道带宽。
[0125]
(1f)假设系统在理想状态下，即用户可以达到最大的数据接收速率，则系统此时的总吞吐量为：
[0126][0127]
系统的功率利用率定义为：
[0128][0129]
其中p
extra
表示卫星平台自身正常运转所产生的功率损耗。
[0130]
(1g)为了保障每个地面用户的服务质量(quality of service，qos)，使每个地面用户都有接入卫星网络的能力，每个用户设定最小的接收速率约束r
min
。
[0131]
(1h)考虑用户的角度，比如是否满足用户大流量业务的需求，引入满意度(degree of satisfaction，dos)指标，表征系统内所有用户大流量业务需求的满意程度。假设每个用户的大流量业务需求速度是满意度指标定义如下：
[0132][0133]
其中，为当前用户i的满意度指数，当时，表示该用户的大流量业务需求得到了满足；当时，
表示大流量业务需求未得到满足，此时该值表示的是用户的具体满足程度，在0～1之间取值。num
user
表示高轨和低轨卫星总用户之和。从表达式6中可以看出，dos的取值范围为0～1，且取值越接近1，表示系统总用户满意度越高。
[0134]
步骤(2)基于以上模型描述提出以下优化问题：
[0135]
opt.p1＝max th
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式7
[0136]
p2＝max ee
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式8
[0137][0138][0139][0140][0141]
本发明研究的是多目标的优化，p1表示最大化系统总吞吐量；p2表示最大化系统功率利用率。任意时刻，每个卫星的总分配带宽和功率应不高于总带宽限制和总功率限制每个波束总分配带宽同样应不高于波束总带宽门限此外，任意时刻，每个用户的数据接收速率应该满足最小速率要求r
min
，以保证每个用户的最低服务质量。
[0142]
步骤(3)，针对问题进行复杂行分析：
[0143]
首先将上述多目标优化问题简单归化到单目标优化问题上，即仅优化系统总数据传输速率，接下来再将问题简单归化到单研究功率资源分配问题上。此时优化问题显然简化成一个功率分配下和速率最大化问题。在本发明中，求和速率最大化可以等价于寻找互不干扰的最大用户子集，这进一步等价于组合优化中的最大独立集问题，而最大独立集问题是组合优化中众所周知的np难问题。因此，本发明研究的多目标优化问题显而易见是一个np难问题。
[0144]
考虑使用势博弈的相关理论，找到多项式时间内的多目标优化问题的高质量近似解。
[0145]
步骤(4)每个用户将归一化处理之后的吞吐量和功率利用率的加权和作为自身的效用函数。为了降低所提出多目标优化问题的计算复杂度，提出一种基于势博弈的方法来构建分析范式。
[0146]
包括如下步骤：
[0147]
(4a)势博弈用g＝[i，{ai}
i∈i
，{ui}
i∈i
，f]来表示，i表示博弈参与者集合，即所有地面用户集合；ai表示博弈参与者i的联合策略选择，为参与者i的策略集，同样的有表示除参与者i之外其他参与者的策略选择，其中
×
表示笛卡尔积；ui为参与者i的效用函数。
[0148]
(4b)为了能够系统的表示每个用户效用函数的真实影响，我们做如下设计：
[0149]
首先对表达式4修改为个人吞吐量，即
[0150]
th
s，i
＝b
s，i
log(1+γ
s，i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式13
[0151]
为了避免“公式悲剧”，我们将用户i所选策略造成的波束内干扰以及同频复用的波束间干扰考虑在内，此时用户i的个人吞吐量表示为：
[0152][0153]
为保证每个优化指标(个人吞吐量th
s，i
、功率利用率ee)的影响公平，将优化指标都归一化到[0，1]。
[0154]
(4c)依据优化目标的侧重程度给每个指标赋予相应的权重，然后加权求和得到参与者i的效用函数：
[0155][0156]
其中，ω1、ω2为权重因子，λ1、λ2为归一化参数。f为该系统构造的势函数。
[0157]
步骤(5)构建系统势函数，证明势博弈纳什均衡的存在性。
[0158]
包括如下步骤：
[0159]
(5a)为寻找最优解，必须探讨所提出的势博弈的纳什均衡是否存在。
[0160]
有如下定义：当且仅当没有任何博弈参与者可以通过单方面的偏离来提高其效用，即
[0161][0162]
此时称该博弈达到纳什均衡点，此时各个博弈参与者的策略集合表示为：
[0163][0164]
(5b)做如下探讨，证明纳什均衡存在：
[0165]
将势函数构造为：
[0166]
f(ai，a-j
)＝ω1λ1th+ω2λ2ee
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式18
[0167]
对势函数做如下推导(由于高低轨卫星之间无干扰，因此对于用户处于高轨卫星波束覆盖区还是低轨卫星波束覆盖区两种情况的推导是相同的，下文统一用si概括这两种情况)：
[0168][0169]
f(a
′i，a-i
)＝ui(a
′i，a-i
)+υ(a-i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式20
[0170]
由表达式19和20，可以推导出：
[0171]
f(a
′i，a-j
)-f(ai，a-i
)＝ui(a
′i，a-j
)-uj(aj，a-j
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
表达式21
[0172]
表达式21表明博弈参与者的任何单方面的偏离引起的个人效用的变化都可以完全的映射到势函数f(ai，a-i
)的改变中，因此可以证明定义的g＝[i，{aj}
j∈i
，{uj}
j∈i
，f]为势博弈，该函数为势函数。由于势博弈的内在特性，至少存在一个纯纳什均衡点，并且所有的纳什均衡点都是势函数的全局或局部最优解。
[0173]
步骤(6)基于模拟退火的思想，使系统逼近收敛到全局最优纳什均衡。
[0174]
包括如下步骤：
[0175]
(6a)初始化参数。初始化场景参数、用户分布；初始化系统策略配置文件；初始化每个用户的带宽和功率配置文件；初始化算法相关参数。
[0176]
(6b)迭代带宽分配。保持上次迭代中功率配置文件不变，用户i从上个用户i-1带宽更新之后的可选带宽集中随机选取带宽值
[0177]
(6c)带宽上升判断。取步骤(6b)中选取的带宽值计算效用函数改变量：
[0178]
δui＝ui(a
′i，a-i
)-ui(ai，a-i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式22
[0179]
(6d)策略步长限制。如果(其中为设定的最大带宽策略步长限制值)，则跳转到步骤(6a))(最多两次)，否则，进入下一步骤)。
[0180]
(6e)模拟退火。如果δui≤0，跳转到步骤(6b))(最多两次)，否则，计算退火转移概率：
[0181][0182]
其中：
[0183]
τ＝max δuiꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式24
[0184]
t＝t
0-kt0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
表达式25
[0185]
表达式25是计算当前时刻的温度，其中t0为系统初始化时的温度，k为退火系数，表达式如下：
[0186][0187]
iter表示当前的迭代次数。
[0188]
(6f)以转移概率ρ，在和带宽集合中随机选取的值作为最终带宽值bi，并更新用户i带宽配置文件、系统策略配置文件以及下一个用户的可选带宽集：
[0189][0190]
其中：
[0191][0192]
(6g)迭代功率分配。功率分配步骤与上述带宽分配类似，不同点是功率分配中策略步长判断改为最大功率策略步长限制值用户的可选功率集改为：
[0193][0194]
其中：
[0195][0196]
(6h)当δuj≈0或达到最终温度tf时，系统性能基本不会有所改进，算法结束，返回最终的系统策略配置文件。
[0197]
根据上述算法具体步骤，该算法的计算复杂度为o(n)。在机载处理卫星中，执行时间也同样可以接受。
[0198]
步骤(7)对势博弈模型进行收敛性分析，保障系统最终逼近全局最优解。
[0199]
包括如下步骤：
[0200]
(7a)本发明提出的算法将带宽分配和功率分配迭代分解为两个子过程，同时确保每一个子过程都不会造成系统性能的降低，因而可以保证系统最终可以收敛到纳什均衡点。
[0201]
(7b)模拟退火机制可以最大程度的保障系统收敛到最优纳什均衡点，以取得最优解。
[0202]
在图1中，描述了本发明建立的系统模型，即一个多波束高低轨卫星联合星地链路网络。系统包含一个多波束高轨卫星、一个多波束低轨卫星和地面用户，可以有效解决资源分配决策问题。
[0203]
在图2中，描述了波束小区之间采用的七色频率复用，以减少同频干扰。
[0204]
在图3中，描述了六个博弈参与用户效用函数的变化。在多次迭代后，用户的效用函数基本不再变化，系统收敛于纳什均衡。
[0205]
在图4中，描述了六个博弈参与用户分配功率的变化。在多次迭代后，用户的分配功率基本不再变化，系统收敛于纳什均衡。
[0206]
在图5中，描述了加权系统总效用性能及收敛情况的仿真结果。本发明提出的rr-sa算法的最大总效用值高于br算法和rl算法；在收敛速度上，rr-sa算法相较于br算法和rl算法提高了45％以上。
[0207]
在图6中，描述了系统的吞吐量随功率限制变化的情况。给出了rr-sa算法、br算法和rl算法的对比结果。随着功率限制的升高，各算法的系统总吞吐量呈现上升的趋势。
[0208]
在图7中，描述了系统分配功率随功率限制变化的情况。给出了rr-sa算法、br算法和rl算法的对比结果。随着功率限制的升高，各算法的系统分配的功率呈现上升的趋势。
[0209]
在图8中，描述了不同用户数量的情况下，系统满意度变化的仿真结果。rr-sa算法在不同用户数量下，用户满意度均优于br和rl算法。
[0210]
在图9中，描述了高低轨卫星联合系统与两个低轨卫星系统分配总带宽的对比结果。高低轨联合系统带宽节省11.57％，可以以较少的带宽分配量达到相同的系统总吞吐量。
[0211]
在图10中，描述了高低轨卫星联合系统与两个低轨卫星系统分配总功率的对比结果。高低轨联合系统功率节省18.80％，可以以较少的功率分配量达到同样的系统总吞吐量。
[0212]
根据对本发明的说明，本领域的技术人员应该不难看出，本发明的基于博弈论的多目标优化卫星资源分配算法可以提高系统性能并且能保证用户隐私。
[0213]
本发明申请书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。