基于端云协同的实时超分视频流传输优化方法

本发明涉及网络传输，特别涉及基于端云协同的实时超分视频流传输优化方法。

背景技术：

1、随着互联网信息时代的快速发展和网络基础设施的升级更新，实时视频流应用迅速普及发展，用户对于视频流服务的质量期望也有了更高要求。然而，现如今在视频流服务上仍存在因不稳定的网络状态、较短的客户端缓存等问题导致的用户观看体验质量下降痛点，稳定高效的实时视频流传输技术对改善实时视频流服务质量具有重要意义。

2、目前的实时视频流传输技术方案主要集中于设计码率自适应控制算法，可依然存在着许多不足之处：其一，规则人工设计与制定，在实时视频流低延迟要求的情况下，常会导致视频播放器缓冲区较小，难以及时响应动态复杂的网络环境；其二，更多侧重于视频码率本身的控制，忽略了端侧计算资源的利用。

3、因此，如何从底层技术方面解决这些问题，设计稳定高效的实时视频流传输优化方法，是本技术领域内研究人员亟需解决的问题。

技术实现思路

1、本发明的目的在于提供基于端云协同的实时超分视频流传输优化方法，实现了复杂网络环境的动态自适应，充分利用了端侧的计算资源，可以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、基于端云协同的实时超分视频流传输优化方法，包括如下步骤：

4、s1：采集环境-智能体状态观测值作为训练数据集d，包括客户端播放状态数据和网络环境状态数据；

5、s2：先将强化学习网络模型q初始化，然后随机从步骤s1所述训练数据集d采样进行迭代训练，结合实时视频流用户体验质量qoe模型作为奖励函数ri，在不断的强化学习交互试错训练过程中获得最优网络模型，从而在真实应用场景中得到最优码率决策；

6、s3：根据s2中得出的最优码率决策，请求对应的视频分块文件至客户端待超分重建缓冲区内，通过超分重建调度机制来判断该缓冲区内的视频分块文件是否需要进行重建以及超分重建程度，然后将该缓冲区内的待重建视频分块文件传入离线训练好的超分重建网络模型中，根据预先计算设置好的重建程度即超分比例来进行视频画质超分重建过程，最后将重建完成的视频文件重新放入到播放缓冲区中，等待被渲染呈现在屏幕上。

7、本发明进一步的改进在于，步骤s1中，客户端播放状态数据包括当前缓冲区占用率bi、历史视频分块下载时间列表请求的视频分块码率列表和上一个视频分块被下载的码率di-1。

8、本发明进一步的改进在于，步骤s1中，网络环境状态数据包括当前实时延迟li和历史视频分块吞吐率列表

9、本发明进一步的改进在于，步骤s2中的奖励函数ri也即用户体验质量qoe模型表示为：

10、

11、式中，n为视频分块索引，n为视频分块总数，rn为视频分块n的码率，q(rn)为将视频码率映射到用户所感知的质量，tn为以选定码率下载视频分块n而导致的卡顿时间，ln为当前实时延迟，sn为当前跳过下载的视频分块个数，α为视频质量奖励因子，β为卡顿惩罚因子，η为实时延迟惩罚因子，σ为跳过下载惩罚因子，μ为码率切换惩罚因子。

12、本发明进一步的改进在于，s2具体包括以下步骤：

13、步骤s201：首先将q网络的参数梯度值进行重置，并初始化q网络的模型参数；

14、步骤s202：随机从步骤s1中所述的训练数据集d中采样当前状态作为初始化数据来对q网络进行迭代初始化，接着启动实施视频流会话进程，利用q网络进行数据处理，输出一个对应的码率概率分布πθ(si,ai)∈[0,1]，从而获得码率决策ai；然后和当前播放器环境进行交互，获取当前动作行为的奖励值ri，并转移到下一个状态

15、步骤s203：当会话结束后，使用累计梯度值去更新本地网络模型的参数，然后不断重复步骤s202，直至网络模型的奖励函数值ri不再增加；

16、步骤s204：根据训练过程中获得的最优网络模型，从而在真实应用场景中得到最优码率决策。

17、本发明进一步的改进在于，s3具体包括以下步骤：

18、步骤s301：根据步骤2中得出的最优码率决策，客户端请求对应的视频分块文件至客户端超分重建缓冲区内，等待超分重建器来判断是否进行重建工作；

19、步骤s302：通过输入客户端设备的计算能力信息、缓冲区状态以及待重建视频分辨率信息，超分重建控制器会预测超分重建时间，从而选择重建分辨率决策值；然后根据当前设备计算能力值进行比较来获取其重建时间；

20、步骤s303：根据步骤s302的目标分辨率决策结果利用实时超分网络模型进行超分重建，将超分重建之后的视频分块放入待播放缓冲区，完成整个超分重建过程。

21、本发明进一步的改进在于，步骤s302中，关于如何预测超分重建时间，是通过离线计算一个基础设备的所有推理时间作为基准。

22、本发明进一步的改进在于，步骤s302中，当前客户端设备重建时间ψi为：

23、

24、式中，ψi表示当前客户端设备重建时间，表示基准设备的标准重建时间，表示初始视频分块分辨率，表示目标重建分辨率，μ为当前客户端设备计算能力，为基准测试设备的计算能力。

25、与现有技术相比，本发明至少具有如下有益的技术效果：

26、本发明公开了基于端云协同的实时超分视频流传输优化方法，包括采集环境-智能体(env-agent)状态观测值作为训练数据集d，即客户端播放状态数据和网络环境状态数据；网络随机从训练数据集d采样，并基于交互数据以深度强化学习的方式获得最优码率决策网络模型，从而在真实应用场景中得到最优码率决策；然后根据得出的最优码率决策，请求对应的视频分块文件至客户端待超分重建缓冲区内，通过超分重建调度机制来进行视频分块文件的超分重建工作，最后将视频渲染呈现在屏幕上。本发明提供的基于端云协同的实时超分视频流传输优化方法，实现了复杂网络环境的动态自适应，充分利用了端侧的计算资源。

技术特征：

1.基于端云协同的实时超分视频流传输优化方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，步骤s1中，客户端播放状态数据包括当前缓冲区占用率bi、历史视频分块下载时间列表请求的视频分块码率列表和上一个视频分块被下载的码率di-1。

3.根据权利要求1所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，步骤s1中，网络环境状态数据包括当前实时延迟li和历史视频分块吞吐率列表

4.根据权利要求1所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，步骤s2中的奖励函数ri也即用户体验质量qoe模型表示为：

5.根据权利要求1所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，s2具体包括以下步骤：

6.根据权利要求1所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，s3具体包括以下步骤：

7.根据权利要求6所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，步骤s302中，关于如何预测超分重建时间，是通过离线计算一个基础设备的所有推理时间作为基准。

8.根据权利要求6所述的基于端云协同的实时超分视频流传输优化方法，其特征在于，步骤s302中，当前客户端设备重建时间ψi为：

技术总结
本发明基于端云协同的实时超分视频流传输优化方法，包括：S1：采集环境‑智能体状态观测值作为训练数据集D；S2：先将强化学习网络模型Q初始化，然后随机从训练数据集D采样进行迭代训练，结合实时视频流用户体验质量QoE模型作为奖励函数r<subgt;i</subgt;，在真实应用场景中得到最优码率决策；S3：根据最优码率决策，请求对应的视频分块文件至客户端待超分重建缓冲区内，通过超分重建调度机制来判断该缓冲区内的视频分块文件是否需要进行重建以及超分重建程度，然后将该缓冲区内的待重建视频分块文件传入离线训练好的超分重建网络模型中，根据重建程度来进行视频画质超分重建过程，最后将重建完成的视频文件重新放入到播放缓冲区中，等待被渲染呈现在屏幕上。

技术研发人员：杨树森,王世博,林雪余,栗海亮,赵鹏,苏海容,吴文昊,华润森
受保护的技术使用者：西安交通大学
技术研发日：
技术公布日：2024/1/13