基于双层博弈框架下的联合功率控制和源节点选择的控制方法与流程

本发明属于无线网络通讯技术领域，具体涉及一种基于双层博弈框架下的联合功率控制和源节点选择的控制方法。

背景技术：

无线协作中继技术因其可增强系统的抗衰落能力，提高传输速率并扩大覆盖范围，而被广泛应用于无线网络中。合理的中继选择和功率控制可以在确保服务质量的同时最小化发送功率。因此，中继选择和功率控制一直是无线协作网络研究中的热点问题。例如：文献[mariciandyatesr，“bandwidthandpowerallocationforcooperativestrategiesingaussianrelaynetworks，”inieeetransactionsoninformationtheory，2010，vol.56，no.4，pp.1880-1889]中提出了一种应用于放大转发协作网络的联合中继选择和功率分配方案。该方案确定了最优中继子集并采用注水算法实现了中继的最优功率分配。文献[wudi，zhugang，zhaodong-mei，etal，“cross-layerdesignofjointrelayselectionandpowercontrolschemeinrelay-basedmulti-cellnetworks，”inieeewirelesscommunicationsandnetworkingconference，quintanaroo，2011，pp.251-256]在中继辅助蜂窝网络中综合考虑了中继选择和功率控制，提出了一种跨层设计方案以增加平均网络容量并抑制干扰。博弈论作为研究网络资源分配问题的有效工具，已被用于解决无线协作网络的中继节点选择和功率控制等问题。在多源多中继协作网络中，文献[xiaohai-linandouyangshan.“powercontrolgameinmultisourcemultirelaycooperativecommunicationsystemswithaquality-of-serviceconstraint，”inieeetransactionsonintelligenttransportationsystems，2015，vol.16，no.l，pp.41-50]提出了基于博弈论的功率控制算法以最小化总功率。该算法在减少能量消耗的同时提高了系统性能。文献[baidasmwandmackenzieab，“anauctionmechanismforpowerallocationinmulti-sourcemulti-relaycooperativewirelessnetworks，”inieeetransactionsonwirelesscommunications，2012，vol.11，no.9，pp.3250-3260]提出了一种向上叫价时钟拍卖算法以有效的控制多源多中继协作网络的中继节点发送功率。演化博弈作为博弈论的一个分支，可以用于网络动态博弈问题的建模。在放大转发协作网络中，文献[liuling-ya，huacun-qing，chencai-lian，etal，“semidistributedrelayselectionandpowerallocationforoutageminimizationincooperativerelayingnetworks，”inieeetransactionsonvehiculartechnology，2017，vol.66，no.l，pp.295-305]利用演化博弈论进行了中继选择和功率分配以减小接收端的中断概率。在中继辅助蜂窝网络中，演化博弈被用来解决不完全信息条件下的动态中继选择问题。拥有协作资源的中继节点不仅要选择最优发送功率，也要合理的选择源节点以最大化效用。在协作认知中继网络中，文献[zhangzhao-weiandzhanghai-lin，“avariable-populationevolutionarygamemodelforresourceallocationincooperativecognitiverelaynetworks，”inieeecommunicationsletters，2013，vol.17，no.2，pp.361-364]采用演化博弈论解决了中继节点的源节点选择问题。

目前利用博弈论解决无线通信网络中的资源分配问题多聚焦于静态博弈，不能很好的预测节点长期演化过程中网络的状态问题。上述文献中，利用传统非合作博弈理论进行节点功率控制的方案，不能实现动态的中继节点选择。而利用演化博弈理论进行中继选择的方案无法实现节点的最优功率动态控制问题。本文通过对系统进行动态建模来描述理性的网络节点状态随时间的变化过程，将传统非合作博弈和演化博弈理论相结合应用于多源多中继协作网络中在确定中继节点最优发送功率的同时也实现了源节点的合理选择。

技术实现要素：

针对现有技术存在的上述缺陷，本发明的目的在于提供一种基于双层博弈框架下的联合功率控制和源节点选择的控制方法。该控制方法利用双层博弈框架对中继节点联合功率控制和源节点选择问题进行了建模，通过双层博弈的分布式算法，在确定中继节点最优发送功率的同时也实现了源节点的合理选择。

为实现上述目的，本发明采用的技术方案：该基于双层博弈框架下的联合功率控制和源节点选择的控制方法，其特征在于：该控制方法为两层：第一层采用非合作子博弈进行中继节点发送功率的控制，第二层采用演化子博弈进行源节点的选择，双层博弈分布式算法通过交替进行中继节点发送功率的控制和源节点的选择，最终使系统达到双层博弈纳什均衡，实现了多源多中继协作网络资源的合理分配。

所述第一层子博弈为中继节点功率控制的非合作子博弈，在协助同一个源节点的中继节点集合中，中继节点之间形成了功率控制的非合作子博弈，中继节点功率控制的最优化问题表示如下：

式中，为中继节点r的最大发送功率，ur为中继节点的净效用函数；对于在同一信号时隙内协助源节点的各个中继节点，纳什均衡是由它们的最优发送功率组成的向量，用表示，其中是均衡状态时中除中继节点外，其它中继节点最优发送功率组成的向量；通过多次迭代，此非合作子博弈最终达到纳什均衡，即在最大发送功率限制下，每个中继节点可以得到唯一的最优发送功率。

所述第二层子博弈采用演化子博弈，中继节点对源节点的选择问题可建模为演化子博弈，在时刻t，选择协助源节点s的中继节点数记为ns(t)，系统中继节点的总数为选择协助源节点s的中继节点所占比例可表示为xs(t)＝ns(t)/k，向量x(t)＝[x1(t)，l，xm(t)]用来表示t时刻中继节点选择协助源节点的状态；

在中继节点选择源节点的演化子博弈中，复制动态表示如下：

式中，δ为演化步长，可以用来控制中继节点选择源节点的演化速率；

定义u^s(t)为中继节点集合γs的平均净效用函数，表示整个系统中所有中继节点的平均净效用函数，则u^s(t)和分别表示为：

式中，s，l∈ф，经过若干次演化迭代，演化子博弈最终会收敛至由下列方程组确定的演化稳定策略：

所述双层博弈分布式算法是交替进行中继节点两种子博弈的迭代，最终使系统达到纳什均衡，表述如下：

(1)t＝0时，每个中继节点随机选择发送功率和协助的源节点；

(2)选择协助同一源节点s的所有中继节点开始进行功率控制非合作子博弈；

(3)在t时刻，由公式(16)得到中继节点r的最优发送功率

若令t＝t+1，重复步骤(3)；

否则，功率控制子博弈结束转至步骤(4)；

(4)根据步骤(3)确定协助源节点s的所有中继节点，此时的最优发送功率向量中继节点开始进行源节点选择的演化子博弈；

(5)对于中继节点集合γs的平均净效用函数u^s(t)：

若则选择协助源节点s是优势策略，中继节点保持此源节点选择不变；

若则选择协助源节点s是劣势策略，中继节点放弃协助该源节点，并以概率选择另一个源节点q，使得

(6)判断是否达到中继节点对源节点选择问题的演化均衡：

若子载波选择演化子博弈结束；

否则，令t＝t+1，返回步骤(5)；

(7)判断系统是否达到整个双层博弈的纳什均衡：

若转至步骤(2)；

否则，转至步骤(8)；

(8)达到双层博弈的纳什均衡，双层博弈结束。

采用上述技术方案的有益效果：本发明基于双层博弈框架下的联合功率控制和源节点选择的控制方法，是针对多源多中继协作网络中存在的两种博弈行为：中继节点之间的功率控制博弈和源节点选择的演化博弈，分别采用非合作子博弈和演化子博弈来进行中继节点发送功率的控制和源节点的选择，并在双层博弈框架下提出了一种联合功率控制及源节点选择的分布式算法。

中继节点功率控制的非合作子博弈

非合作博弈强调个人理性和个人最优决策，作为非合作博弈解的纳什均衡能保证在其它参与者效用不被降低的情况下，最大化参与者自己的效用。在协助同一个源节点的中继节点集合中，中继节点之间形成了功率控制的非合作子博弈。因此，中继节点功率控制的最优化问题可表示如下：

式中，为中继节点r的最大发送功率。定理1中证明功率控制非合作子博弈的纳什均衡存在且唯一。

定理1.非合作博弈g＝[ψ，{pr}，{ur}，ψ是参与博弈的中继节点的集合，{pr}是参与博弈的中继节点发送功率的策略空间，ur为中继节点的净效用函数。若对所有的r∈ψ，都有

1.{pr}是欧氏空间上的一个非空紧致凸子集。

2.ur在pr上是连续且凹的。

那么该博弈存在纳什均衡且唯一。

证明：任取r∈ψ，中继节点r存在一个策略空间该策略空间包含中继节点r转发源节点信息时可能选取的所有发送功率。任取pr∈{pr}，可以看出中继节点r的发送功率空间{pr}是非空紧致子集。

按照凸集定义，给定q1，q2∈{pr}，则对于有：

将两式相加，可得

因此，可得{pr}是凸集。

对ur分别求一阶导数和二阶导数可得：

式中，

由于中继节点r的净效用函数ur是关于pr的凹函数。故该子博弈存在纳什均衡且唯

一，定理1得证。

由公式(8)，进一步得到

令公式(9)等于0，所得等式可表示为中继节点r所选发送功率pr的二次方程式：

式中，

我们定义中继节点r协助源节点s的收益代价比为ρs，r，选择协助源节点s的门限值为

按照二次方程的性质，公式(10)存在解的必要条件是b²-4ac≥0。故收益代价比ρs，r应该满足：

由公式(12)可得，当ρs，r大于门限值时，中继节点r可以选择协助源节点s。在满足公式(12)的条件下，求解公式(10)的二次方程，取正解，得：

考虑到中继节点的发送功率限制，可得均衡状态时中继节点r的发送功率

对于在同一信号时隙内协助源节点s的各个中继节点，纳什均衡是由它们的最优发送功率组成的向量，用表示，其中是均衡状态时γs中除中继节点r外，其它中继节点最优发送功率组成的向量。通过多次迭代，此非合作子博弈最终达到纳什均衡，即在最大发送功率限制下，每个中继节点可以得到唯一的最优发送功率。在该点上，γs集合内的所有中继节点都不能在其它中继节点发送功率不变的情况下，通过单方面提升发送功率来增加自身的净效用。

中继节点选择源节点的演化子博弈

在中继节点发送功率一定时，协助不同的源节点会给中继节点带来不同的收益。因此，中继节点会选择能给其带来最大收益的源节点进行协助。中继节点通过合理地选择源节点最大化了自身效用，从而实现了网络资源的有效利用。

中继节点对源节点的选择问题可建模为演化子博弈。在时刻t，选择协助源节点s的中继节点数记为ns(t)，系统中继节点的总数为选择协助源节点s的中继节点所占比例可表示为xs(t)＝ns(t)/k。向量x(t)＝[x1(t)，l，xm(t)]用来表示t时刻中继节点选择协助源节点的状态。

在中继节点选择源节点的演化子博弈中，复制动态表示如下：

式中，δ为演化步长，可以用来控制中继节点选择源节点的演化速率。

定义u^s(t)为中继节点集合γs的平均净效用函数，表示整个系统中所有中继节点的平均净效用函数。则u^s(t)和分别表示为：

式中，s，l∈φ。经过若干次演化迭代，演化子博弈最终会收敛至由下列方程组确定的演化稳定策略：

定理2中证明此动态系统存在唯一演化均衡解x^*(t)＝[x1^*(t)，l，xm^*(t)]。

定理2.一个动态系统f(xs(t))，对于任意的s∈φ，如果在任意时刻t，xs(t)是[0，。。)范围内的可测函数，且函数f(xs(t))对xs(t)的一阶导数是连续的，则此动态系统存在唯一解。

证明：将公式(16)代入f(xs(t))，可以得到：

任意时刻t，函数f(xs(t))对xs(t)的一阶导数是连续的。由于xs(t)是[0，∞)范围内的可测函数，则f(xs(t))在此区间内也是可测函数。为方便描述，令：

将公式(19)代入公式(18)，有

对于任意的假设则有：

我们构造函数g(xs(t))：

g(xs(t))＝f1(xs(t))-kh0xs(t)(22)

式中，h0＝max(ui)。将代入g(xs(t))，则有：

对函数g(xs(t))求导，可以得到：

因此，函数g(xs(t))随着变量xs(t)的增大而单调递减，故可得结合公式(23)可以得到：

对任意的l∈φ，可得：

式中，

由公式(25)和公式(26)，可得：

因此，函数f(xs(t))满足lipschitz条件，此动态系统存在唯一解，定理2得证。

在中继节点经过功率控制子博弈初步确定发送功率的情况下，基于演化博弈论，再次选择源节点进行协助。当中继节点选择协助源节点s的u^s(t)大于时，此选择会被认为是优势策略，下一个时刻选择协助源节点s的中继节点数量会增加；反之，此选择被认为是劣势策略，下一个时刻选择协助源节点s的中继节点数量会减少。演化子博弈经过多次迭代最终可以达到演化稳定状态，即每个中继节点的净效用函数可以得到唯一的最优解。源节点选择的演化稳定策略用中继节点选择协助源节点的状态向量x^*(t)＝[x1^*(t)，l，xm^*(t)]表示。此时，协助同一源节点的中继节点平均净效用等于整个系统的中继节点平均净效用，所有中继节点不再更换协助的源节点。

双层博弈分布式算法

将上述两种子博弈放入双层博弈框架，提出了一种双层博弈分布式算法。该算法交替进行中继节点两种子博弈的迭代，最终使系统达到纳什均衡。

附图说明

下面结合附图对本发明的具体实施例作进一步详细的说明。

图1为多源多中继协作网络系统模型；

图2为中继节点发送功率状态；

图3为中继节点的源节点选择状态；

图4为中继节点净效用对比。

具体实施方式

如图1所示，在多源多中继协作网络中有m个源节点，记作s∈φ@{1，l，m}，k个中继节点，记作r∈γ@{1，l，k}以及n个目的节点，记作d∈ω@{1，l，n}。每个源节点都有与之对应的目的节点。节点i与节点j间的信道增益用gi，j表示。每一次信息传输，中继节点只能选择协助一个源节点，并且中继节点的发送功率不能超过最大发送功率。

在本发明中，中继节点采用放大转发协议。目的节点d收到来自于源节点s的直接链路信噪比记为γs，d，源节点s经中继节点r到目的节点d的中继传输链路信噪比记为γs，r，d：

式中，ps表示源节点s的发送功率，pr表示中继节点r的发送功率，σ²表示加性高斯白噪声的方差。目的节点d采用最大比合并所获得的传输速率可表示为：

式中，w表示传输带宽，rs表示协助源节点s的中继节点集合。目的节点d除中继节点r协助之外获得的速率用rd-r表示：

为保证中继节点之间的公平性，按照中继节点对源节点速率提升的贡献并借鉴sharply方法，构造了中继节点r的效用函数rr：

rr＝αs(rd-rd-r)(31)

式中，αs表示协助源节点s的中继节点r每单位速率所获得的收益。将公式(29)和(30)代入公式(31)，有：

综合公式(28)和(32)可以看出，中继节点r的效用函数rr不仅与自身的发送功率pr有关，还与中继节点集合γs中其它中继节点的发送功率有关。中继节点的效用函数随着发送功率的增大而单调递增，每个中继节点都有选择最大发送功率的动机。这必然会对其它中继节点造成干扰，从而降低网络性能。为解决这一问题，引入一种定价机制，在中继节点获益的同时制定其所需要付出的代价，以实现资源在中继节点间的公平分配。中继节点效用函数与代价函数之差就是净效用函数ur：

ur＝rr-crpr(33)

式中，cr为中继节点r每单位功率所付出的代价。

该基于双层博弈框架下的联合功率控制和源节点选择的控制方法，其特征在于：该控制方法为两层：第一层采用非合作子博弈进行中继节点发送功率的控制，第二层采用演化子博弈进行源节点的选择，双层博弈分布式控制通过交替进行中继节点发送功率的控制和源节点的选择，最终使系统达到双层博弈纳什均衡，实现了多源多中继协作网络资源的合理分配。

所述第一层的中继节点功率控制的非合作子博弈，在协助同一个源节点的中继节点集合中，中继节点之间形成了功率控制的非合作子博弈，中继节点功率控制的最优化问题表示如下：

式中，为中继节点r的最大发送功率，ur为中继节点的净效用函数；对于在同一信号时隙内协助源节点的各个中继节点，纳什均衡是由它们的最优发送功率组成的向量，用表示，其中是均衡状态时中除中继节点外，其它中继节点最优发送功率组成的向量；通过多次迭代，此非合作子博弈最终达到纳什均衡，即在最大发送功率限制下，每个中继节点可以得到唯一的最优发送功率。

所述第二层采用演化子博弈，中继节点对源节点的选择问题可建模为演化子博弈，在时刻t，选择协助源节点s的中继节点数记为ns(t)，系统中继节点的总数为选择协助源节点s的中继节点所占比例可表示为xs(t)＝ns(t)/k，向量x(t)＝[x1(t)，l，xm(t)]用来表示t时刻中继节点选择协助源节点的状态；

在中继节点选择源节点的演化子博弈中，复制动态表示如下：

式中，δ为演化步k，可以用来控制中继节点选择源节点的演化速率；

定义u^s(t)为中继节点集合γs的平均净效用函数，表示整个系统中所有中继节点的平均净效用函数，则u^s(t)和分别表示为：

式中，s，l∈φ，经过若干次演化迭代，演化子博弈最终会收敛至由下列方程组确定的演化稳定策略：

所述双层博弈分布式控制是交替进行中继节点两种子博弈的迭代，最终使系统达到纳什均衡，表述如下：

(1)t＝0时，每个中继节点随机选择发送功率和协助的源节点；

(2)选择协助同一源节点s的所有中继节点开始进行功率控制非合作子博弈；

(3)在t时刻，由公式(14)得到中继节点r的最优发送功率

若令t＝t+1，重复步骤(3)；

否则，功率控制子博弈结束转至步骤(4)；

(4)根据步骤(3)确定协助源节点s的所有中继节点，此时的最优发送功率向量中继节点开始进行源节点选择的演化子博弈；

(5)对于中继节点集合γs的平均净效用函数u^s(t)：

若则选择协助源节点s是优势策略，中继节点保持此源节点选择不变；

若则选择协助源节点s是劣势策略，中继节点放弃协助该源节点，并以概率选择另一个源节点q，使得

(6)判断是否达到中继节点对源节点选择问题的演化均衡：

若子载波选择演化子博弈结束；

否则，令t＝t+1，返回步骤(5)；

(7)判断系统是否达到整个双层博弈的纳什均衡：

若转至步骤(2)；

否则，转至步骤(8)；

(8)达到双层博弈的纳什均衡，双层博弈结束。

通过对上述方法仿真验证了所提出的双层博弈分布式算法的有效性。仿真参数设置如下：源节点数m＝2，中继节点数k＝100，目的节点数n＝2，传输带宽w＝1，协助源节点s的中继节点每单位速率所获得的收益αs＝20，中继节点r每单位功率所付出的代价cr＝0.1，源节点s的发送功率ps＝1，源节点s到目的节点d直接链路信道增益gs，d＝1，源节点s到中继节点r的信道增益gs，r＝1，中继节点r到目的节点d的信道增益gr，d＝1，加性高斯白噪声的方差σ²＝1。随机选取中继节点1和中继节点51进行了发送功率和净效用的分析。

图2描述了采用双层博弈算法时，中继节点1和中继节点51的发送功率随非合作子博弈迭代次数的变化。在中继节点随机选择初始发送功率的情况下，经过若干次迭代，中继节点的发送功率最终收敛至纳什均衡，不再变化，从而验证了功率控制非合作子博弈的收敛性。

图3给出了采用双层博弈算法时，选择协助每个源节点的中继节点数量随迭代次数的变化，显示了每次迭代后中继节点的源节点选择状态。初始状态下，有10个中继节点选择协助源节点1，有90个中继节点选择协助源节点2。由于协助源节点1和源节点2的中继节点每单位速率所获得的收益相同，经过4次随机演化迭代，各有50个中继节点选择协助源节点1和源节点2，即中继节点选择源节点的演化子博弈达到演化均衡状态。

从图4的仿真曲线可以看出中继节点1和中继节点51的净效用随迭代次数的变化趋势。中继节点净效用的变化可以分为四个部分，每一部分对应图3中继节点选择源节点的一次迭代。在中继节点随机选择初始发送功率和协助源节点的情况下，经过若干次迭代，中继节点的净效用最终收敛至纳什均衡，不再变化。可以看出，通过非合作子博弈和演化子博弈的交替迭代，最终使整个系统收敛至纳什均衡。

本发明通过对多源多中继协作网络中的资源分配，利用双层博弈框架对中继节点联合功率控制和源节点选择问题进行了建模。该模型描述了中继节点之间发送功率的非合作博弈以及源节点选择的演化博弈。证明了双层博弈均衡状态存在且唯一，并给出了双层博弈的分布式算法。仿真结果表明该算法在确定中继节点最优发送功率的同时也实现了源节点的合理选择。