一种基于连续状态空间的认知无线电接入问题新型算法模型的制作方法
【技术领域】
[0001] 本发明主要针对基于功率、信道分配的无线网接入决策算法模型进行设计。涉 及无线网功率、信道分配、部分可观察马尔科夫模型（PartiallyObservableMarkov DecisionProcess,P0MDP)、非支配排序遗传算法（Non-dominatedSortinggenetic algorithm,NSGA2)、蒙特卡罗值迭代算法（MonteCarloValueIteration,MCVI)。旨在 通过一种新型的算法模型，解决带功率分配的无线网信道接入决策问题，提高局部范围内 无线网吞吐量。属于认知无线电、智能算法优化领域。
【背景技术】
[0002] 当前，随着无线通信技术及其应用的发展，许多应用领域对无线网传输的速率和 质量都提出了较高的要求。但由于无线设备增长速度迅猛，有限的无线网频带已无法满足 需求，由此显现出如下3个重要挑战： 1. 如何解决网络资源几乎被分配殆尽但实际利用率又极低的矛盾； 2. 存在多个无线网络时，如何能快速建立不同网络用户间的通信信道，并能满足用户 一定的服务质量（QoS,qualityofservice)要求； 3. 如何在复杂网络环境下，使通信终端完成无线网络自适应接入，从而提高网络运行 的稳健性和网络维护的效率。
[0003] 在以往算法设计中，主要通过博弈算法、经验公式等方法解决上述问题，但这类方 法适应性较差，在不同网络传输环境下需要进行较大改动，降低了执行与决策效率。而在一 些使用智能算法的方案中虽然弥补了适应性差的缺陷，但也存在如下问题： 1. 难以解决连续状态空间下的智能决策问题； 2. 无法兼顾无线网络中功率分配和信道分配的综合决策； 3. 算法时间复杂度较高。
[0004] 本发明基于这些问题，使用POMDP模型和MCVI算法提出了一种新型算法模型以解 决带功率分配的无线网信道接入问题。与传统解决POMDP模型的算法不同，MCVI算法可解 决连续状态空间下的POMDP问题，提高了决策结果的可信度，但算法执行速度较慢。
[0005] 为了加快算法执行速度，本发明使用NSGA2优化MCVI算法，旨在通过改进后的算 法模型，更加高效、可靠的解决无线网络中功率分配和信道分配问题。
【发明内容】
[0006] MCVI算法是解决连续状态空间下智能决策问题的有效离线算法，主要运用了蒙特 卡罗模拟、信念树和决策图相互迭代更新的方法进行决策。算法执行完成后将生成最终决 策图，该图将被运用于智能体的实时决策中。但原始的MCVI算法存在如下问题： 1. 重复计算智能体相同或相似的状态，导致算法运行速率降低； 2. 信念树和决策图的结点数随时间呈线性增长，当算法运行一段时间后，运行效率将 明显降低； 3.对于实时性要求较高的智能决策问题，最终生成的决策图较大，不便于搜索，降低了 智能体决策的实时性。
[0007] 本发明针对上述三个问题，提出了一种使用NSGA2进行优化的新型算法模型。该 模型通过MCVI算法的运行参数，使用NSGA2对决策图集合进行优化搜索，有效避免了相似 信念点重复计算的问题，从而抑制信念树和决策图结点的快速增长，极大提高了算法运算 效率和实际运用中的决策速度。NSGA2使用的MCVI运行参数包括：达到单步目标的运行时 间、决策图结点数、模拟决策平均回报值。
[0008] 基于改进后的算法模型，本发明将其运用到认知无线电网络接入问题中。解决的 问题主要包括：1.当无线设备需要发送数据时，对发送信道和功率进行决策；2.发送数据 时若当前信道被占用，无线设备选择等待或更换信道；3.数据发出后，发生冲突时如何处 理。
[0009] 为解决上述问题。主要
【发明内容】
如下： 1)功率状态空间使用连续实数空间：在传统解决网络信道接入问题的智能算法中，功 率状态空间一般为离散值，无法直接使用连续状态空间进行决策，该方法降低了最终决策 结果的可信度。本发明针对这一缺陷，基于连续状态空间POMDP模型求解的MCVI算法，将 其运用于无线网功率、信道分配问题中，有效解决了该问题并提高了最终决策的可信度。
[0010] 2)使用连续状态空间POMDP模型对无线网功率、信道分配问题建模：标准POMDP 模型由多元组a7；4疋r}组成，其中乂儿必>别表示智能体的状态、执行动作和 观测结果，由于POMDP模型为部分可观测模型，所以无法准确确定智能体所处状态，通常使 用信念集合贈代状态集合5；且每一个信念点都表示了 5?合中所有状态可能出现的概 率分布；r、z分别表示状态转移概率函数和观测结果概率函数，其表达式分别为：a，Y )=/7(51'Ia, 51),Zka, 〇)=/?(〇|a, 51) 示单步决策回报值，表示为a) ;r表示折扣因 子。
[0011] 本发明中，设无线信道数为况则为2维数组，前M隹代表无线设备检 测到相应信道的功率，功率值为非负实数；斯1至2 ,V维代表各信道被其它终端连续占用 的周期数，本发明中一个周期指两次动作决策间的时间间隔；第2 ?V+ 1维代表当前无线 设备需要发送数据的剩余字节数；第2Z.V+ 维代表当前无线设备正使用的发送信道d 为无线设备可选择动作集，设最大发送功率为，最小发送功率为/，将区间A3J 离散为左个点，则J集合中包含AJ:个动作（为保证算法运行速度在可接受范围内， K. .A、1GG)，将其编号为0到iJ，〇代表无线设备不发送任何数据，=XT-:至
【主权项】
1. 功率状态空间使用连续实数空间：在传统解决网络信道接入问题的智能算法中，功 率状态空间一般为离散值，无法直接使用连续状态空间进行决策；这种方法不仅加重了算 法运行负担，也降低了最终决策结果的可信度；为此，本发明基于连续状态空间POMDP模型 求解的MCVI算法，将其运用于无线网功率、信道分配问题中，有效解决了该问题并提高了 最终决策的可信度。
2. 使用基于连续状态空间的POMDP模型对无线网功率、信道分配问题建模：标准POMDP 模型由多元组U 4 α 7； 4H组成； 本发明中，设无线信道数为况则为2 .· Λ - 2维数组，前M隹代表无线设备检测到 相应信道的功率，功率值为非负实数；斯1至2 ... T维代表各信道被其它终端连续占用的周 期数，本发明中一个周期指两次动作决策间的时间间隔；第2 + 1维代表当前无线设 备需要发送数据的剩余字节数；第I: z V τ ;维代表当前无线设备正使用的发送信道为 无线设备可选择动作集，设最大发送功率为，最小发送功率为，将区间A3J离 散为左个点，则J集合中包含A ·: J :个动作（为保证算法运行速度在可接受范围内， < -Λ' i 1W)，将其编号为〇到代表无线设备不发送任何数据，m T -：至 U - #分别代表向1~碍信道以功率
发送数据，其中《为正 整数且取值范围为[〇,幻代表观测集合，该集合包含三个元素：{未发送数据，发送冲 突，发送成功};/?代表单步决策回报值，包括成功完成数据发送回报值尾Wsa，冲突回报值 兄_，更换发送信道回报值I胃,，等待回报值 3. NSGA2算法在本问题中的适应性改进：NSGA2使用的计算个体为决策图，决策图是由 多个结点组成；每个结点均包含一个决策动作信息，结点间为单向通路连接，每条通路均对 应一个观测值；当无线设备检测到某一观测值时，可从当前决策动作所在结点沿标有对应 观测值的路径查找下一个结点，既下一个决策动作；通过使用决策图反复查找、观测，无线 设备将得到完整的动作序列；在原始的MCVI算法中，由于大量相似信念点的存在，导致较 多动作序列被重复计算，而本发明中使用NSGA2算法进行优化可有效避免这一问题，通过 遗传算法的迭代更新策略可有效去除包含较多重复动作序列的决策图，从而提高算法模型 运行效率。
【专利摘要】本发明属于认知无线电、智能算法优化领域。当前，随着无线通信技术及其应用的发展，无线网频谱资源已几乎被分配殆尽，但其实际利用率又极低。针对该问题，现有的智能求解算法模型存在如下问题：1.无法使用连续状态空间进行决策；2.无法兼顾功率分配与信道分配的综合决策；3.算法复杂度高。为此，本发明使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模，并通过MCVI算法进行决策。为加快算法运行速度，使用NSGA2算法对其进行优化。主要发明点包括：1.功率状态空间使用连续实数空间进行决策；2.使用基于连续状态空间的POMDP模型为无线网功率、信道分配问题建模；3.使用NSGA2改进MCVI算法并使用改进后的算法解决认知无线电接入问题。
【IPC分类】G06N3-12, G06F19-00
【公开号】CN104765958
【申请号】CN201510136224
【发明人】江虹, 刘寅, 张秋云, 熊凯, 刘燕, 郭秋梅
【申请人】西南科技大学
【公开日】2015年7月8日
【申请日】2015年3月27日