高动态网络中面向多样化传输需求的智能拥塞控制方法

1.本发明涉及网络通信领域，具体涉及一种高动态网络中面向多样化传输需求的智能拥塞控制方法及系统。


背景技术：

2.近年来，随着数字化技术的发展，移动网络架构从2g一直发展到了5g，即第五代通信技术。与2g萌生数据、3g催生数据、4g发展数据不同，5g是跨时代的技术，其提出了“以用户为中心”的概念，旨在为用户提供更高质量的用户体验。5g网络的计算能力和传输带宽推动了车联网、高清视频及无线医疗等多种新型应用高速发展。各类应用在吞吐、时延等多个维度提出了多样化的明晰传输需求，比如，自动驾驶应用要求时延低于10ms，吞吐高于1gbps；4k/8k高清视频要求低于10ms的时延和高于100mbps的吞吐等。在数据的传输过程中，网络需要满足多样化应用的明晰传输性能需求值，以保证良好的用户体验。
3.为了支撑应用的传输需求，5g使用毫米波技术以提供更大的信道容量和更低的时延。然而，由于使用了更高的频率，毫米波技术在实现更快传输速率和更大系统容量的同时，也引入了严重的传播衰减问题，导致传输质量容易受设备移动和障碍物影响，即在视线传输和非视线传输(非视线是指被障碍物部分遮挡，从而使无线信号难以通过的射频的传播路径)之间频繁切换。在视线传输和非视线传输切换时，信道容量将大幅度地变化，对传输协议的性能带来了严重的损伤。
4.为了充分发挥5g网络能力为应用提供高质量的传输服务，传输层的拥塞控制算法需要同时考虑多样化应用的明晰传输需求及高动态的底层网络环境。由于发送端无法准确感知信道容量及其变化情况，拥塞控制算法通常通过调整发送速率或拥塞窗口的形式协调注入网络的数据量。当发送速率过高或拥塞窗口过大时，注入网络的数据量会超出信道容量，导致数据包在中间转发设备堆积，出现较多数据包排队的情况，增加端到端时延。当发送速率过低或拥塞窗口过小时，可能无法满足应用的吞吐需求且信道带宽容量并未完全占满。一个好的拥塞控制算法应该在吞吐和时延之间取得良好的折中，在充分利用信道带宽的同时避免长排队带来的时延。
5.现有的拥塞控制算法主要分为基于启发式的传统算法和基于机器学习的智能算法，这些算法都难以在容量高动态变化的毫米波网络下满足多样化应用的明晰传输需求。传统拥塞控制算法通常依据设计者的经验对网络进行了一些简化建模，无法很好的反映网络的真实情况。基于机器学习的拥塞控制算法利用更多维度的网络状态信息进行拥塞控制决策，相较于传统拥塞控制算法更加适应动态网络环境，通过设置目标函数可以获得吞吐和时延之间不同权重偏好的折中效果，在一定程度上为不同应用提供差异化的传输服务。但是，这两类算法在设计过程中均无法感知应用明晰的多维传输需求值，也无法衡量各需求指标的完成情况。此外，5g网络的信道容量高度动态变化会对现有的基于学习的机器学习拥塞控制算法的收敛性造成影响。
6.因此，为了能够充分利用底层网络资源为上层应用带来更好的用户体验，本发明
拟设计一种高动态网络下面向多样化明晰传输需求的智能拥塞控制算法，面向底层网络信道容量高动态的5g网络，通过智能的拥塞控制满足上层应用在吞吐和时延等多个维度上对传输性能的明晰需求值，向用户提供满意的传输服务。


技术实现要素：

7.针对现有技术中的上述不足，本发明提供了一种高动态网络中面向多样化传输需求的智能拥塞控制方法及控制系统。
8.为了达到上述发明目的，本发明采用的技术方案为：
9.一种高动态网络中面向多样化传输需求的智能拥塞控制方法，包括如下步骤：
10.s1、对毫米波信道容量进行采样，利用采样出的信道容量信息对信道容量预测模型进行预训练；
11.s2、预定义api接口，通过预定义的api接口设置需求值和需求权重；
12.s3、以设定时间间隔统计网络状态信息和需求完成情况，并将所统计的信息交付拥塞控制算法。其中，信道容量预测模块通过历史信道容量信息计算信道容量预测值；
13.s4、强化学习模块根据信道容量预测值、统计的网络状态信息和需求完成情况进行强化学习，输出拥塞窗口调整策略并调整策略调整，同时根据窗口值/平均rtt的形式计算发送间隔；
14.s5、重复步骤s3-s4直至传输完成。
15.进一步的，所述s2中需求值和需求权重具体为：
16.以mbps为单位的吞吐需求和以ms为单位的时延需求值以及时延需求权重ωd和吞吐需求权重ωb，且ωb+ωd＝1。
17.进一步的，所述s3中需求完成情况的计算方式为：
[0018][0019]
其中，b0为吞吐需求，d0为时延需求，i为单维需求满足度且
[0020]
进一步的，所述s3具体包括如下步骤：
[0021]
s31、每接到一个ack数据包时更新统计的rtt、吞吐、丢包数量、估计的信道容量；
[0022]
s32、当定时器超出时间间隔时，计算当前时间间隔内的平均吞吐、平均rtt、最小rtt、时延梯度、丢包率、需求完成率、最大网络带宽容量、奖赏值；
[0023]
s33、将步骤s32计算得到的数据交付拥塞控制算法。信道容量模块计算信道容量预测值。
[0024]
进一步的，所述s33中信道容量预测值的计算方式为：
[0025]
s331、将当前时间间隔统计的信道容量信息加入历史信道容量队列，历史信道容量队列始终维护一段固定长度的历史信道容量信息；
[0026]
s332、将历史信道容量队列中的信息输入训练好的网络容量预测模型，输出下一个时间间隔的信道容量。
[0027]
进一步的，所述信道容量预测模块和强化学习模块设置于传输层，其中，
[0028]
所述信道容量预测模块以历史信道容量作为输入，以预测的未来信道容量作为输出，并将其输入到强化学习模块的状态空间中，辅助强化学习模块进行决策；
[0029]
所述强化学习模块将未来信道容量信息、当前时刻的网络状态信息和传输需求完成度作为强化学习模块的状态空间的输入，并在每个决策时间段内，学习器根据ddpg算法拟合拥塞控制策略，使用需求完成度作为奖赏函数，输出拥塞窗口调整策略。
[0030]
本发明具有以下有益效果：
[0031]
1.根据多样化应用的明晰传输性能需求值和性能偏好权重进行拥塞控制，能够最大化加权需求满足率，提升用户体验，最终提升性能。
[0032]
2.结合当前网络状态信息和预测的未来信道容量进行拥塞控制，能够更好地适应底层网络信道容量高动态变化的5g网络。
附图说明
[0033]
图1为高动态网络中面向多样化传输需求的智能拥塞控制系统框架示意图。
[0034]
图2为本发明实施例基于容量预测和强化学习的智能拥塞控制示意图。
[0035]
图3为本发明实施例高动态网络中面向多样化传输需求的智能拥塞控制方法流程示意图。
[0036]
图4为本发明实施例相比于传统算法提高需求满足率示意图。
具体实施方式
[0037]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0038]
一种高动态网络中面向多样化传输需求的智能拥塞控制系统，如图1所示，包括应用层和传输层，所述传输层包括信道容量预测模块和强化学习模块，具体而言，如图2所示，
[0039]
所述信道容量预测模块以历史信道容量作为输入，以预测的未来信道容量作为输出，并将其输入到强化学习模块的状态空间中，辅助强化学习进行决策；在本实施例里，拟基于长短期记忆神经网络对底层网络容量进行预测，来更好的适应信道容量高度动态变化的5g网络。
[0040]
所述强化学习模块将未来信道容量信息、当前时刻的网络状态信息和传输需求完成度作为强化学习模块的状态空间的输入，并在每个决策时间段内，学习器根据ddpg算法拟合拥塞策略，使用需求完成度作为奖赏函数，输出拥塞窗口调整策略，在本实施例里，拟基于强化学习，结合应用具体的带宽、时延需求值以及应用在多个需求维度之间的偏好性设计智能拥塞控制算法，从而最大化加权需求满足率，提高用户体验。
[0041]
具体定义如下：应用自定义吞吐需求b0，时延需求d0，及吞吐和时延偏好权重值ωb和ωd，且ωb+ωd＝1。b
t
和d
t
表示t时刻的吞吐和时延。在t时刻的应用的需求完成度可以定义如(1)式子：
[0042][0043]
其中表示单维需求满足度，当该值为1时表示这个维度的需求值已经满足，否则，不为1时表示性能需求的满足比例。奖赏函数如式(2)所示。
[0044][0045]
一种高动态网络中面向多样化传输需求的智能拥塞控制方法，如图3所示，包括如下步骤：
[0046]
s1、对毫米波信道容量进行采样，利用采样出的信道容量信息对信道容量预测模型进行预训练；
[0047]
在算法使用之前，对毫米波信道容量进行采样，使用采样出的一段时间内的信道容量信息对信道容量预测模型(如长短期记忆神经网络)进行预训练。
[0048]
s2、预定义api接口，通过预定义的api接口设置需求值和需求权重；
[0049]
在本实施例里，应用通过预先定义的api接口设置具体需求值和需求权重。具体而言包括以mbps为单位的吞吐需求和以ms为单位的时延需求值以及时延需求偏好ωd和吞吐需求偏好ωb，且ωb+ωd＝1。若未指定算法使用默认值。
[0050]
s3、以设定时间间隔统计网络状态信息和需求完成情况，并将所统计的信息交付拥塞控制算法。
[0051]
本实施例里，统计到的网络状态信息会交付给拥塞控制算法，该算法包括信道容量预测模块和强化学习模块。其中统计到的信道容量信息用于信道容量的预测，其余信息输入到强化学习模块进行强化学习，具体而言，包括如下步骤：
[0052]
s31、每接到一个ack数据包时更新统计的rtt、吞吐、丢包数量、估计的信道容量；
[0053]
s32、当定时器超出时间间隔时，计算当前时间间隔内的的平均吞吐、平均rtt、最小rtt、时延梯度、丢包率、需求完成度、最大网络带宽容量、奖赏值，奖赏值计算如公式(2)所示。
[0054]
s33、将步骤s32计算得到的数据交付拥塞控制算法。信道容量预测模块计算信道容量预测值，具体的预测方法为：
[0055]
s331、将当前时间间隔统计的信道容量信息加入历史信道容量队列，历史信道容量队列始终维护一段固定长度的历史信道容量信息；
[0056]
s332、将历史信道容量队列中的信息输入训练好的网络容量预测模型，输出下一个时间间隔的信道容量。
[0057]
s4、强化学习模块根据信道容量预测值、统计的网络状态信息和需求完成情况进行强化学习，输出拥塞窗口调整策略并调整拥塞窗口，同时根据窗口值/平均rtt的形式计算发送间隔；
[0058]
s5、重复步骤s3-s4直至传输完成。
[0059]
基于上述方案，本发明提出的算法(qoscc)相比于传统算法提高需求满足率如图4所示。可以看到，在不同的传输需求设置情况下，本发明实际达到的传输性能有所不同，但是都在时延、吞吐两个维度上满足应用需求。而其它算法只能实现固定的传输效果，在不同传输需求设置情况下会出现时延或吞吐维度上不满足应用需求的情况。
[0060]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0061]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0062]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0063]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0064]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。