低轨卫星网络多径传输控制系统、方法、装置及存储介质

本发明涉及通信，尤其涉及一种低轨卫星网络多径传输控制系统、方法、装置及存储介质。

背景技术：

1、由于低轨卫星网络旋转周期较短，导致用户接入的网关卫星无法与其保持长时间通信。网关卫星需要在通信连接终端之前将数据传输链路切换到下一网关卫星，即需要进行频繁的卫星切换。为保障在卫星切换的时间内通信不出现中断，需要引入多径传输控制协议来应对卫星切换带来的路由故障、呼叫阻塞等问题。将数据流划分为一至多条子流，不同子流选取不相交的路径同时进行传输，以提升传输吞吐和稳定性。然而，传统的标准tcp拥塞控制方案直接迁移到多径传输控制协议场景下会导致不同子流之间竞争不公平，进而使得部分子流在传输过程中分配不到数据流，违背利用多路径传输增加带宽的设计原则，因此，需要针对多径传输控制协议传输场景设计新的传输控制方案。

2、在传统的传输控制方案中，通过启发式经典多径拥塞控制算法对低轨卫星网络进行多径传输控制，通过预先定义拥塞窗口大小调整方式来进行拥塞控制。

3、然而，以预先定义拥塞窗口大小调整方式来进行拥塞控制，在复杂多变的低轨卫星网络环境中性能表现不佳，也无法成功应对无线连接下的hol(head-of-line)问题，导致传输错误和数据重传对平均吞吐和稳定性带来了较大负面影响，从而导致低轨卫星网络传输性能不稳定的问题。

技术实现思路

1、鉴于此，本发明实施例提供了一种低轨卫星网络多径传输控制系统、方法、装置及存储介质，以消除或改善现有技术中存在的一个或更多个缺陷。能够解决低轨卫星网络传输性能不稳定的问题。

2、本发明的一个方面提供了一种低轨卫星网络多径传输控制系统，该系统包括：

3、内核模块，用于：接收低轨卫星网络中多路径传输控制协议对应的各条子流的传输状态信息；将传输状态信息发送至数据传输模块；

4、数据传输模块，用于：在接收到传输状态信息的情况下，将传输状态信息存储在预设共享内存中；

5、控制模块，用于：从预设共享内存中获取传输状态信息；获取预先训练的拥塞窗口调整模型；将传输状态信息输入拥塞窗口模型中，得到各条子流对应的拥塞窗口大小；将拥塞窗口大小存储在预设共享内存中；拥塞窗口调整模型使用的奖励函数是基于随时各条子流在周期内的吞吐量和往返时延变化梯度构建得到的；

6、数据传输模块，还用于：从预设共享内存中获取拥塞窗口大小；将拥塞窗口大小发送至内核模块；

7、内核模块，还用于：在接收到拥塞窗口大小的情况下，将拥塞窗口大小应用在低轨卫星网络中，调整各条子流的拥塞窗口。

8、可选地，奖励函数通过下式表示：

9、

10、式中，rt表示在迭代周期t中的奖励值；n表示可用的子流的数量，i表示第i条子流；u(i,t)表示子流i在周期t内的吞吐；d(rtti)/dt表示子流i在周期t内的往返时延变化梯度；γ为超参数，用于控制子流的吞吐量；δ为超参数，用于控制子流的时延；ε为超参数，用于提供基础奖励值，控制奖励值rt的范围。

11、可选地，预设共享内存包括第一内存模块和第二内存模块；第一内存模块的地址标识与第二内存模块的地址标识不同；控制模块用于从第一内存模块中获取传输状态信息，将拥塞窗口大小存储在第二内存模块中；数据传输模块用于从第二内存模块中获取拥塞窗口大小。

12、可选地，内核模块与数据传输模块通过内核链路连接；数据传输模块还用于对内核链路进行初始化操作，设置内核链路消息接收函数和消息发送函数；消息接收函数用于接收内核模块发送的传输状态信息；消息发送函数用于发送拥塞窗口大小至内核模块。

13、可选地，传输状态信息包括吞吐量、当前拥塞窗口大小、往返时延变化梯度、往返时延变化梯度平均偏差或者数据传输速率。

14、本发明的一个方面提供了一种低轨卫星网络多径传输控制方法，该方法包括：

15、接收低轨卫星网络中多路径传输控制协议对应的各条子流的传输状态信息；

16、获取预先训练的拥塞窗口调整模型；拥塞窗口调整模型使用的奖励函数是基于随时各条子流在周期内的吞吐量和往返时延变化梯度构建得到的；

17、将传输状态信息输入拥塞窗口调整模型中，得到各条子流对应的拥塞窗口大小；

18、将拥塞窗口大小应用在低轨卫星网络中，调整各条子流的拥塞窗口。

19、可选地，获取预先训练的拥塞窗口调整模型，包括：

20、接收仿真低轨卫星网络拓扑发送的传输状态信息作为训练数据；仿真低轨卫星网络拓扑是基于低轨卫星网络构建得到的；

21、将训练数据输入预设深度强化学习模型中，得到拥塞窗口大小的建议值；

22、将拥塞窗口大小的建议值应用于仿真低轨卫星网络拓扑；

23、接收仿真低轨卫星网络拓扑运行预设周期后的传输状态信息，并基于奖励函数计算得到奖励值；

24、根据奖励更新预设深度强化学习模型的参数；

25、在预设深度强化学习模型收敛的情况下，完成模型训练，得到拥塞窗口调整模型。

26、可选地，在预设深度强化学习模型未收敛的情况下，执行接收仿真低轨卫星网络拓扑发送的传输状态信息作为训练数据的步骤。

27、本发明的另一方面提供了一种低轨卫星网络多径传输控制装置，该装置包括：处理器和存储器，其特征在于，存储器中存储有计算机指令，处理器用于执行存储器中存储的计算机指令，当计算机指令被处理器执行时该装置实现上述低轨卫星网络多径传输控制方法的步骤。

28、本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述低轨卫星网络多径传输控制方法的步骤。

29、本发明的低轨卫星网络多径传输控制系统、方法、装置及存储介质，能够解决低轨卫星网络传输性能不稳定的问题；将低轨卫星网络的传输特点和深度强化学习算法相结合，基于各条子流在周期内的吞吐量和往返时延变化梯度构建奖励函数，使吞吐以一个合理的方式抢占带宽；同时，通过对奖励函数中的超参数γ、δ和ε的调整实现吞吐和排队时延平衡，提高低轨卫星网络传输性能的稳定性。

30、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

31、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

技术特征：

1.一种低轨卫星网络多径传输控制系统，其特征在于，所述系统包括：

2.根据权利要求1所述的低轨卫星网络多径传输控制系统，其特征在于，所述奖励函数通过下式表示：

3.根据权利要求1所述的低轨卫星网络多径传输控制系统，其特征在于，所述预设共享内存包括第一内存模块和第二内存模块；所述第一内存模块的地址标识与所述第二内存模块的地址标识不同；所述控制模块用于从所述第一内存模块中获取所述传输状态信息，将所述拥塞窗口大小存储在所述第二内存模块中；所述数据传输模块用于从所述第二内存模块中获取所述拥塞窗口大小。

4.根据权利要求1所述的低轨卫星网络多径传输控制系统，其特征在于，所述内核模块与所述数据传输模块通过内核链路连接；所述数据传输模块还用于对所述内核链路进行初始化操作，设置内核链路消息接收函数和消息发送函数；所述消息接收函数用于接收所述内核模块发送的所述传输状态信息；所述消息发送函数用于发送所述拥塞窗口大小至所述内核模块。

5.根据权利要求1所述的低轨卫星网络多径传输控制系统，其特征在于，所述传输状态信息包括吞吐量、当前拥塞窗口大小、往返时延变化梯度、往返时延变化梯度平均偏差或者数据传输速率。

6.一种低轨卫星网络多径传输控制方法，其特征在于，应用于如权利要求1至5所述的低轨卫星网络多径传输控制系统中，所述方法包括：

7.根据权利要求6所述的低轨卫星网络多径传输控制方法，其特征在于，所述获取预先训练的拥塞窗口调整模型，包括：

8.根据权利要求7所述的低轨卫星网络多径传输控制方法，其特征在于，所述方法还包括：在所述预设深度强化学习模型未收敛的情况下，执行所述接收仿真低轨卫星网络拓扑发送的传输状态信息作为训练数据的步骤。

9.一种低轨卫星网络多径传输控制装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求7至8中任一所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7至8中任一所述方法的步骤。

技术总结
本发明提供一种低轨卫星网络多径传输控制系统、方法、装置及存储介质，包括：内核模块，用于接收低轨卫星网络中多路径传输控制协议对应的各条子流的传输状态信息；将传输状态信息发送至数据传输模块；数据传输模块，用于在接收到传输状态信息的情况下，将传输状态信息存储在预设共享内存中；控制模块，用于从预设共享内存中获取传输状态信息；获取预先训练的拥塞窗口调整模型；将传输状态信息输入拥塞窗口模型中，得到各条子流对应的拥塞窗口大小；将拥塞窗口大小存储在预设共享内存中；拥塞窗口调整模型使用的奖励函数是基于各条子流在周期内的吞吐量和往返时延变化梯度构建得到的。本发明能够解决低轨卫星网络传输性能不稳定的问题。

技术研发人员：张娇,李源,李诚成,张亚生,王子涵,陈颖,唐琴琴,黄韬
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/4/17