一种考虑业务优先级的多信道接入建模及分布式实现方法

1.本发明属于无线网络动态频谱接入领域，具体地涉及一种考虑业务优先级的多信道接入建模及分布式实现方法。


背景技术：

2.近来，不断提高的无线通信需求与日渐紧缺的频谱资源间矛盾日益凸显，允许用户在可用无线信道上灵活切换的动态频谱接入技术是提高稀缺频谱资源利用率的关键手段。对于多链路动态频谱接入通常需要考虑三个目标：选择最佳条件的信道、碰撞避免和按需接入。目标一主要通过链路的信道估计和频谱感知所获取的局部信息实现，而目标二和目标三在仅依赖局部信息决策时所得性能较差，尤其对于目标三，各链路按照自己业务需求进行接入信道选择较易实施，但各链路间协作接入以平衡业务负载则较为困难，通常在没有全局信息辅助下难以实现。中心式频谱资源调度虽然能够实现同时满足三个目标的频谱接入，但所需协调信号开销较大，过度消耗原本稀缺的频谱资源。而一个既能够达到可接受性能的分布式频谱接入，以局部信息为输入进行信道接入决策，且信号开销小是动态频谱接入问题中广泛考虑的实现形式。
3.传统基于竞争的分布式动态频谱接入方式中，各节点自私地去抢占无线资源、不考虑其他链路的业务需求情况和全网的效益，其性能随着网络负载的增加而急剧恶化。因此，在无信息交互下，实现具有全局意识的无线资源分配效果，是动态频谱接入面临的关键挑战之一。考虑到深度强化学习中神经网络具有的记忆性和泛化能力，本发明将每个链路看作一个agent，基于考虑业务优先级的缓存队列模型，提出一个新颖的多信道接入优化问题建模方法，并将该问题优化目标作为奖励来对所有agent进行集中训练，从而赋予了各链路在分布式执行时，仅根据局部信息便具有全局业务优先级平衡的能力。


技术实现要素：

4.为了解决传统动态频谱接入方法中无线资源利用效率低且缺乏全局业务优先级平衡意识的问题，本发明提出一种考虑业务优先级的多信道接入优化问题建模方法，并基于multi-agent深度强化学习设计了一种分布式实现方法，即通过将上述优化问题模型的优化目标作为奖励去集中训练所有agent，并将训练好的agent加载到各链路设备上进行分布执行，以达到各链路仅依赖局部信息便可进行具有全局业务优先级平衡能力的动态信道接入决策。
5.本发明提出了一种考虑业务优先级的多信道接入建模及分布式实现方法，包括以下步骤：
6.步骤1：建立考虑业务优先级的多链路动态信道接入约束优化模型；
7.步骤2：将步骤1建立的约束优化模型转化为multi-agent强化学习决策过程，构建基于约束优化模型的多链路动态信道决策的深度学习框架。
8.步骤3：将步骤1建立的约束优化模型的优化目标作为奖励，对步骤2构建的深度学
习框架的所有agent进行集中训练，将训练好的agent加载到网络对应的各链路发射机上进行分布式执行，输入当前时隙的各链路局部观测，从而得到当前时隙每条链路发射机选择接入的信道。
9.步骤1中的约束优化模型为：
[0010][0011][0012][0013]
在上面的模型中，n条无线链路同时接入一段包含k个正交信道的无线频谱，每条链路的发射机拥有一个包含l个优先级的业务缓存队列，且缓存队列标号越小优先级越高，各队列最大缓存容量为b
max
个数据包。各信道在时间上被划分成等周期时隙，连续f个时隙定义为一个时帧。当所有链路已完成时间同步，各信道上每个时隙被称为一个传输机会，且所有传输机会的容量为1个数据包。在时隙t、第n条链路的发射机根据自己的缓存队列情况做出信道选择决策从而获得各信道的反馈的反馈表示第i条信道被第n条链路的发射机选择，否则没被选择，表示第n条链路的信息在第i条信道上被成功传输，否则没有成功或因不选择该链路而没有反馈。
[0014]
ρn(t)为链路传输价值变量：
[0015][0016]
其中，bu是用于归一化链路传输价值的常数，为第l
*
优先级队列的权重，且有表示第n条链路发射机当前不为零的优先级队列中最高优先队列的标号。
[0017]
为每个传输机会用于传输不同链路业务对全网产生的效益为：
[0018][0019]
优化目标opt1表示一个时帧内所有链路的效益和，优化目标opt2为当前时帧内所有链路都完成传输时的时隙标号。约束条件c1表示每条链路发射机决策动作的定义；约束条件c2表示每条链路发射机各级业务缓存队列中数据包的更新；约束条件c3表示每条链路传输价值的更新；c4表示每条链路发射机在当前时隙选择接入信道的总容量不大于当前需要传输数据包的总数；约束条件c5表示一个信道只能被一条链路成功接入，否则会发生碰撞；约束条件c6给出优化目标的opt2数学表达。
[0020]
步骤2中，基于multi-agent深度强化学习框架中配有n个agent，每个agent配有一个相同架构的多层神经网络，其中第一层用于接收每条链路的局部观测，最后一层直接输出所有信道接入决策的q值，用于动作的选择。
[0021]
每个agent的局部观测表示为：
[0022][0023]
其中，表示第n条链路发射机所有缓存队列中当前缓存的数据包数量；ρn(t)表示第n条链路当前时隙的传输价值；an(t-1)表示第n条链路发射机上一时隙的决策动作；表示上一时隙动作对应的各信道反馈；表示第n条链路对各信道的感知结果；e和ε分别为当前训练的次数和随机选择的概率。
[0024]
各agent的动作空间定义为：
[0025][0026]
其维度为2k。
[0027]
框架按照所有链路发射机缓存队列没有清空之前所获得奖励为所有链路效益和，以及当所有链路发射机的各级缓存队列数据包均被清空后所获得奖励为一个常数r0设定协作奖励方程：
[0028][0029]
步骤3包括：
[0030]
步骤3.1：获取系统参数，包括链路数量n、信道数量k、缓存队列数量l、各缓存队列的最大缓存数据包数b
max
；
[0031]
步骤3.2：基于步骤2建立的multi-agent深度强化学习框架构建multi-agent集中训练系统，进行所有agent神经网络参数的离线训练；
[0032]
步骤3.3：将步骤3.2中训练完成的神经网络部署到实际网络中的发射机上；
[0033]
步骤3.4：网络中所有链路的发射机在每个时隙获取包括业务缓存队列状态、最新的传输价值、上一时隙的动作、各信道的反馈和感知结果等在内的局部观测，并输入到加载的agent神经网络模型中，以得到该时隙的信道选择结果。
[0034]
步骤3.2中的multi-agent集中训练系统包括每条链路对应的agent、每个agent对应的经验记忆回放池以及多链路动态信道接入仿真环境。
[0035]
步骤3.2中，每个agent配有一个目标神经网络、一个训练神经网络及一个经验回放记忆池，目标神经网络和训练神经网络拥有相同的神经网络结构。
[0036]
本发明的有益效果：本发明方法中，基于每个链路发射机的业务缓存队列情况，根据每个传输资源用于不同链路传输对全网产生的效益不同，建立全局业务优先级平衡效果的多信道接入约束模型；基于所建立的模型进行适用于考虑业务优先级的多信道接入的multi-agent深度学习建模，并利用该multi-agent深度学习模型训练所有agent的神经网络，以获得考虑业务优先级的多信道接入分布式方法，实现了各链路在分布式执行时，仅根据局部观测就能进行具有全局业务优先级平衡效果的信道选择决策。在本发明方法使各链路发射机在实际运行时，在无交互开销的情况下，仅根据局部观测进行信道接入决策，便可达到全局效益最大化的效果，提升了有限频谱资源的使用效率。
附图说明
[0037]
图1为本发明中一种考虑业务优先级的多信道接入建模及分布式实现方法流程图；
[0038]
图2为本发明方法中考虑业务优先级的多信道接入系统模型；
[0039]
图3为本发明方法中基于multi-agent深度强化学习框架图；
[0040]
图4为本发明方法与其他方法关于全网效益对比图；
[0041]
图5为本发明方法与其他方法关于全网总吞吐量对比图。
具体实施方式
[0042]
以下结合附图详细的阐述本发明的具体实施方式，需要说明的是，具体实施方式只是本发明最佳的实施方式，而不代表本发明的范围，本领域技术人员在不脱离本发明主旨的基础上所进行的修改变动均属于本发明的范围。
[0043]
本发明所提出的一种考虑业务优先级的多信道接入建模及分布式实现方法，如图1所示。首先要对考虑业务优先级的多链路动态信道接入方法建模，在此基础上，基于multi-agent深度强化学习的分布式实现过程，提供方案以解决传统多链路动态频谱接入中无线资源利用效率低且缺乏全局业务优先级平衡意识的问题。本发明的方法考虑了不同链路发射机所具有的业务缓存队列状态差异，提出了衡量相同无线资源传输不同链路业务所产生的价值衡量参数，并基于该参数重新定义了全网传输效益，并以所定义的效益为最大化目标建立了考虑业务优先级的多信道接入约束优化模型。通过将该模型转化为一个multi-agent深度强化学习过程，并利用模型的优化目标作为奖励来集中训练所有agent，得到该考虑业务优先级的动态多信道接入分布式实现方法，使加载了相应agent的链路发射机在分布式执行动态信道接入决策时，具备了全局业务优先级平衡的能力。仿真结果表明，在仅利用局部观测的情况下，本发明所提出的方法的结果更接近所提约束优化问题的最优解，且显著优于随机接入方法。
[0044]
图2是本发明建立的考虑业务优先级的多信道接入系统模型。该模型中，n条无线链路同时接入一段包含k个正交信道的无线频谱，其中每条链路的发射机拥有一个包含l个
优先级的业务缓存队列，且缓存队列标号越小优先级越高，各队列最大缓存容量为b
max
个数据包。各信道在时间上被划分成等周期时隙，连续f个时隙定义为一个时帧。假设所有链路已完成时间同步，各信道上每个时隙被称为一个传输机会，且所有传输机会的容量为1个数据包。在时隙t，第n条链路的发射机根据自己的缓存队列情况做出信道选择决策从而获得各信道的反馈其中表示第i条信道被链路n的发射机选择，否则没被选择，而表示链路n的信息在第i条信道上被成功传输，否则没有成功或因不选择该链路而没有反馈。每条链路传输价值变量为：
[0045][0046]
其中，bu是用于归一化链路传输价值的常数，为第l
*
优先级队列的权重，且有表示第n条链路发射机当前不为零的优先级队列中最高优先队列的标号。
[0047]
每个传输机会用于传输不同链路业务对全网产生的效益为：
[0048][0049]
考虑业务优先级的多信道接入问题建模为：
[0050][0051][0052][0053]
其中，优化目标opt1表示一个时帧内所有链路的效益和，优化目标opt2为当前时帧内所有链路都完成传输时的时隙标号。约束条件c1表示每条链路发射机决策动作的定义；约束条件c2表示每条链路发射机各级业务缓存队列中数据包的更新；约束条件c3表示每条链路传输价值的更新；约束条件c4表示每条链路发射机在当前时隙选择接入信道的总容量
不大于当前需要传输数据包的总数；约束条件c5表示一个信道只能被一条链路成功接入，否则会发生碰撞；约束条件c6给出优化目标的opt2数学表达。
[0054]
基于全局信息可求得上述约束优化模型的最优解，但需要消耗过多的信号开销。为实现上述解的分布式执行，本发明采用如图3所示的基于multi-agent深度强化学习框架来获取对应于上述所建立模型的分布式执行方法。该框架中，每条传输链路对应一个agent，每个agent配有一个相同架构的多层神经网络，其中第一层用于接收每条链路的局部观测，最后一层直接输出所有信道接入决策的q值，用于动作的选择。本发明中深度强化学习算法包括但不限于dqn算法、double dqn算法以及a3c算法。各agent的神经网络结构包括但不限于全连接网络、卷积神经网络以及循环神经网络。
[0055]
该框架中每个agent的局部观测表示为：
[0056][0057]
其中，表示第n条链路发射机所有缓存队列中当前缓存的数据包数量；ρn(t)表示第n条链路当前时隙的传输价值；an(t-1)表示第n条链路发射机上一时隙的决策动作；表示上一时隙动作对应的各信道反馈；表示第n条链路对各信道的感知结果；e和ε分别为当前训练的次数和随机选择的概率。e和ε三种观测的添加是为了应对多agent训练时的不稳定问题。
[0058]
该框架中，各agent的动作空间定义为：
[0059][0060]
其维度为2k。
[0061]
该框架设定的协作奖励方程如下：
[0062][0063]
其物理意义为：在所有链路发射机缓存队列没有清空之前，所获得奖励为所有链路效益和，当所有链路发射机的各级缓存队列数据包均被清空后，所获得奖励为一个常数r0。r0的引入是为了促进各链路在当前时帧内尽快传输所缓存的数据包。
[0064]
该框架采用深度神经网络拟合q值函数和输入观测状态之间的关系q(on,an|θ)，其中θ为该神经网络的参数，并利用经验回放操作来训练该神经网络。该神经网络参数在线下集中训练，并将训练好的参数加载到网络的各链路发射机上，在实际使用中是以分布式的方式执行。集中训练系统包括每条链路对应的agent、每个agent对应的经验记忆回放池以及多链路动态信道接入仿真环境。每个agent配有一个目标神经网络、一个训练神经网络及一个经验回放记忆池，目标神经网络和训练神经网络拥有相同的神经网络结构。具体步骤如下：
[0065]
步骤1：获取系统参数，包括链路数量n，信道数量k，缓存队列数量l，各缓存队列的最大缓存数据包数；
[0066]
步骤2：基于图3所示的multi-agent深度强化学习框架构建集中训练系统，进行所
有agent神经网络的离线训练，具体步骤如下：
[0067]
步骤2.1：初始化2n个神经网络的参数以及n个经验池；设置业务随机产生区间根据该区间随机初始化每条链路发射机的各级缓存队列数据包数量；将各链路初始观测为第一个时隙各级缓存队列数据包数量、第一个时隙传输价值、上一时隙动作选择均为0，信道反馈均为0，信道感知结果均为1，当前训练次数为1及随机选择的概率为1；将贪婪概率系数ε设置为1。
[0068]
步骤2.2：开始执行循环过程，循环包括ne次大循环，每个大循环包含f次小循环。ne为使得算法达到收敛循环次数。每经过f次小循环，每个agent从各自经验记忆回放池中随机采样m条经验，计算均方误差损失，并利用rmsprop算法进行各自神经网络参数的训练每经过n
p
次大循环，每个agent将各自的训练神经网络参数复制给目标神经网络参数。其中n
p
《《ne。
[0069]
其中，每经过1次大循环，减小贪婪概率系数ε。每经过1次大循环，重新设置业务随机产生区间，重新初始化每条链的局部观测。
[0070]
步骤2.2中第t次小循环过程如下：
[0071]
步骤2.2.1：每个agent观测当前环境状态，获得本地观测状态on(t)；
[0072]
步骤2.2.2：将观测on(t)输入到训练神经网络中，并根据训练神经网络输出和随机选择概率来选取决策动作：
[0073][0074]
其中，表示随机选择动作。
[0075]
步骤2.2.3：所有agent共同执行所选择的动作an(t)，得到环境的奖励:
[0076][0077]
步骤2.2.4：所有agent更新缓存队列内的数据包、自身的传输价值、上一时隙动作选择、信道反馈、信道观测、当前训练次数及随机选择的概率，从而获得下一观测状态on(t+1)。
[0078]
步骤2.2.5：每个agent将(on(t),an(t),rn(t+1),on(t+1))存储到经验记忆回放池中。
[0079]
步骤3：将步骤2中训练完成的神经网络部署到实际网络中的发射机上；
[0080]
步骤4：网络中所有链路的发射机在每个时隙获取包括业务缓存队列状态、最新的传输价值、上一时隙的动作、各信道的反馈和感知结果等在内的局部观测，输入到加载的agent神经网络模型中，以得到该时隙的信道选择结果。
[0081]
下面通过具体的示例对本发明进行说明。利用本发明的方法在表1参数设置下，训练了一组包含6条传输链路、5个正交信道的动态信道接入深度学习模型。
[0082]
表1示例参数设置表
[0083]
信道数k5
链路数n6缓存队列级数l4最大缓存数据包b
max
125一个时帧包含的时隙数f100一个传输机会的容量1个数据包神经网络结构输入层+lstm层+全连接层+输出层贪婪概率ε前80％训练回合中从1到0.002等差递减优化器rmsprop经验记忆回放池容量20000采样数m2000总训练回合数10000
[0084]
图4和图5是利用本发明方法后的网络性能与最优解和随机选择的方法进行对比的结果。如图所示，最优解在优化本发明所定义的网络效益的同时，能够达到最大的传输容量，证明了本发明所提考虑业务优先级的多信道接入建模方法的有效性。此外，本发明所提出的基于multi-agent深度强化学习的分布式实现方法相对于随机方案具有较大的全网效益提升和更高的全网吞吐量，同时在仅利用局部信息的情况下，其性能更接近所提约束优化问题的最优解，证明了本发明所提分布式实现方法的有效性。
[0085]
上述实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。