一种边端协同超分的自适应视频流传输系统

：
1.本发明涉及边缘计算、视频超分和视频传输技术领域，尤其涉及一种边段协调超分的自适应视频流传输系统。


背景技术：

2.随着多媒体通信及网络技术的发展和移动流媒体服务的普及,用户对视频体验质量要求越来越高。视频画质、播放卡顿是影响用户体验的关键因素，在传统的自适应比特率视频传输技术中，客户端会根据当前网络带宽选择最合适的比特率的视频，保证用户服务体验。但当网络带宽较低时，视频画质会不可避免地下降，这种方法难以在网络带宽受限时保证用户观看视频质量和服务体验。随着移动端设备算力增强和图像超分辨率算法(super resolution,sr)的发展，研究人员提出使用图像超分神经网络在移动端对低分辨率视频进行还原，将自适应比特率视频传输和超分网络进行结合，利用移动设备的算力来缓解网络资源对用户服务体验的限制。超分神经网络中，输入的低分辨率图片经过上采样层后会通过卷积层进行特征提取，重建高分辨图像。通过神经网络模型还原出的高分辨率图像比传统的线性插值方法会包含更对的图像细节，纹理细节等。然而超分神经网络对计算量需求很大，并且计算量和输入输出分辨率大小息息相关，现有方法为了减少移动端超分推理的延迟，往往在客户端部署轻量化的超分网络模型，但这种方法牺牲了超分的画质提升。
3.传统的由云端提供视频传输的服务模式下，移动终端经由基站从远端服务器获取和下载视频内容。伴随着视频服务用户规模的急速扩张，用户对视频质量要求的提升，导致视频服务器的负载和带宽开销极高，这种完全依赖云的服务架构难以应对爆发式增长的视频业务需求，因此边缘网络应运产生。相较于移动设备，边缘服务器具有更加充足的算力，因此在边部署超分网络模型能够得到更好的画质提升。有研究人员提出在边缘设备上部署超分模型，利用边缘服务器的计算能力减少回程链路网络带宽较低时对用户服务体验的影响。
4.在云边端的视频传输场景下，现有的自适应视频传输方法仅考虑单独利用边缘服务器的算力和移动设备的算力对视频进行超分，没有充分有效的联合利用边端算力，因此现有的视频传输策略仍有很大的改善空间。我们将超分任务分配到边缘和移动设备上，根据超分网络的算力消耗和输入分辨率关联的特性，将视频切分成不同的小区域，保证移动设备有充足的算力完成超分任务。并且我们同时考虑了回程链路带宽和无线接入带宽进行超分决策，保证了用户的服务体验。
5.自适应比特率算法是内容提供商用来优化用户服务体验的主要工具，移动端运行自适应比特率算法并根据当前的网络状态、播放缓冲区的大小或两者的组合动态地为每个视频分区选择比特率。尽管近几年通过深度强化学习算法显著提高了自适应比特率算法的用户服务体验，但在受限的网络条件下，它不能提供高质量的视频。受移动设备计算能力不断增强和深度学习最新进展的启发，有研究人员提出在采用超分辨率来规避网络带宽对用户服务体验的影响。为了能在移动端设备上使用超分网络，现有方法部署轻量级的超分网
络在移动端或只将超分应用到视频的少数关键帧。在移动端部署超分模型最大的限制还是移动设备有限的算力，导致对视频画质的提升有限。
6.通过在移动设备附近部署计算和存储资源，边缘计算有潜力进一步提高移动视频流中的视频质量和降低超分辨率延迟。与移动设备相比，边缘服务器具有较大的计算能力。因此现有方法边缘服务器上实现大规模的超分网络，如果无线接入网络带宽足够，移动设备可以从边缘服务器接收超分后的高清视频。但在实际应用中，不稳定的接入网络带宽仍可能造成过大的传输时延，极大地降低用户服务体验。此外，在基于边缘的视频超分传输方案中没有利用移动设备的计算能力。
7.由以上分析可知现有的超分增强视频传输方案无法有效的利用边缘和移动设备的算力，并且同时考虑回程链路带宽和无线接入带宽，实际场景中这两种带宽都会影响用户的服务体验。虽然在移动端对视频整帧超分会带来巨大算力消耗，
8.但超分网络的算力消耗和输入分辨率密切相关且图像的不同区域超分难度不同，我们可以在移动端使用轻量级的超分网络对视频中超分难度低的区域进行超分。我们需要同时利用边缘服务器和移动设备的计算资源，并且考虑网络带宽和边端的计算资源对视频传输策略进行决策。


技术实现要素：

9.针对现有技术存在的问题，本发明提一种边端协同超分的自适应视频流传输系统，该系统使用深度强化学习算法根据网络状况，边缘设备和移动设备的算力已经播放缓冲区长度对视频下载分辨率，重构目标分辨率和移动设备的超分任务比例进行求解，从而在视频画质，平滑度和卡顿三个方面优化用户服务体验。本发明主要解决以下技术问题：
10.1)提出了边端协同超分的自适应视频传输方法，基于边缘和移动端的算力对视频进行超分还原，以在网络带宽较低时提供给用户更好的服务体验。
11.2)根据超分难度将图像划分成多个不同的区域分别用于在边超分和在移动端超分，基于视频内容自适应的对视频进行超分以在减少计算量的情况下得到更高的视频画质提升。
12.3)将视频传输过程建模成马尔可夫决策过程，利用深度强化学习算法寻找最优视频下载分辨率，超分分辨率决策和负载分配决策，以最大化用户服务体验。
13.本发明解决其现实问题是采取以下技术方案实现的：
14.有益效果：
15.1.一种边端协同超分的自适应视频流传输技术,提出了利用边缘和移动设备的算力协同超分增强视频画质，实现了最大化用户服务体验的目标。
16.2.一种边端协同超分的自适应视频流传输技术，同时考虑了回程链路和无线接入网络的带宽，使用深度强化学习算法a3c自适应选择视频的下载和超分目标分辨率和移动设备的负载，实现在波动网络条件下选择最优的视频传输决策。
17.3.提出在a3c算法中使用动作分支网络分别输出视频的分辨率决策和负载决策，解决了本技术中由于动作空间过大导致的算法收敛速度过慢的问题。
附图说明：
18.图1是边端协同超分的自适应视频流传输系统结构示意图；
19.图2是本发明涉及深度强化学习算法训练流程图。
具体实施方式
20.如图1所示，本发明提供一种边端协同超分的自适应视频流传输系统，所述自适应视频流传输系统包括视频服务器、边缘服务器和移动设备；其中：所述视频服务器与边缘服务器通过回程网络通信，所述边缘服务器与所述移动设备通过无线接入网络通信。
21.所述视频服务器用于对请求原始视频进行视频预处理获得所有视频块的psnr收益；
22.所述边缘服务器根据视频块psnr收益进行决策调度处理获得超分视频块；
23.所述移动设备将超分视频块进行融合生成超分视频分区输送视频播放缓冲区。其中：
24.所述视频服务器用于对请求原始视频进行视频预处理获得所有视频块的psnr收益过程：所述视频服务器对请求原始频内容编码和分区获得不同分辨率视频块；
25.原始视频在视频服务器端一共被划分为n个chunk，视频chunk的标号为i,1≤i≤n,且每个chunk时长为1秒；
26.所述视频服务器将每个视频块的psnr收益记录在视频相关信息文件中；
27.每个chunk会根据可选分辨率集合r编码为对应分辨率的版本，编码后的视频会在空间维度上切割为h个视频块，并且视频服务器将每个视频块的超分psnr收益记录在视频相关信息文件中，
28.所述视频服务器根据用户请求将视频相关信息文件中相应的视频块发送边缘服务器；
29.在用户请求视频后，视频相关信息文件文件会被发送到边缘服务器，其中的信息将会提供给边缘服务器的调度模块进行决策后的调度。
30.所述边缘服务器根据视频块psnr收益采用深度学习方法进行决策调度处理获得超分视频块：所述边缘服务器包括决策单元、调度器和第一超分网络；所述边缘服务器通过深度强化学习方法结合动作分支网络对视频块决策调度；所述决策调度输出下载、超分分辨率决策和边端负载。所述边缘服务器通过深度强化学习方法结合动作分支网络对视频块输出最优决策调度过程
31.对于视频片段i,影响其传输分辨率的决策是由视频的端到端时延决定的，也就是包括了它的传输时间和超分重建时间，将历史的网络带宽信息，和超分时间信息以及播放器缓存区等信息作为决策算法的输入信息。具体视频片段i的状态组成如下
32.si＝{cb,cw,li,xe,xc,ωe,ωc}
33.cb：回程链路网络带宽
34.cw：无线接入网络带宽
35.li：视频播放缓冲区长度
36.xe：过往的视频在边缘服务器超分所用的时间
37.xc：过往的视频在移动设备超分所用的时间
38.ωe：边缘服务器的算力
39.ωc：移动设备的算力动作空间：视频传输过程中需要做的决策一共包含两方面，一是视频的传输分辨率决策ri和超分目标分辨率决策ri′
，二是放在移动设备超分视频块的比例的决策αi，因此每个视频片段i的动作空间为ai＝(ri,ri′
,αi)
40.决策回报：本技术目标是最大化用户qoe，本技术使用用户观看视频的qoe作为决策回报γi，其表达式为
41.γi＝q(ai)-μ|q(ai)-q(a
i-1
)|-λτi42.在有了上述mdp模型后，该问题可使用深度强化学习算法a3c进行解决。由于动作决策ai包含了视频下载分辨率ri,超分目标分辨率r
′i和移动设备超分比例αi，这些离散空间的决策变量组合在一起导致动作空间过大，训练过程难以收敛。
43.在actor网络中采用分支网络分别输出视频的传输分辨率决策ei＝(ri,r
′i)和超分比例决策αi。如图2所示，首先环境的状态si会分别输入到actor网络和critic网络中，得到动作决策ei,ai和状态值函数v(si),之后，决策会继续作用于环境，得到回报γi，一条记录(si,ri,r
′i,αi,γi)被存入到经验池中，用于进行a3c网络的梯度更新。θ和ω分别为actor网络和critic网络的参数。actor网络学习的目标函数为
[0044][0045]
其中：h(π
θ
(si))为动作的熵值，用于帮助actor网络在训练时扩展动作空间。critic网络预测状态值函数v(si)，其训练目标函数使用均方误差，即
[0046][0047]
通过经验池中的记录和状态值函数计算出更新的梯度dθ和dω后，即可对actor网络和critc网络的参数进行更新，网络参数更新直至算法能够收敛到能够决策得到最佳的qoe为止。
[0048]
所述边缘服务器会根据检测到的网络带宽和边端设备的算力视频缓冲区数据信息对所述视频服务器发送的视频块的下载分辨率和超分目标分辨率进行决策，之后向视频服务器发送视频请求下载视频。
[0049]
所述边缘服务器会从视频服务器下载分辨率为ri的视频块，每个视频块的大小是h(i,r),按照如下步骤获得从视频服务器下载到边缘所需的时间
[0050]
所述视频服务器传送第i个chunk视频块时，决策单元会根据带宽检测获取的回程链路网络带宽cb，无线接入带宽cw和移动设备的播放器缓冲区长度等信息输出决策：视频下载分辨率ri，超分目标分辨率ri′
和移动设备超分视频块的比例αi。
[0051]
所述边缘服务器会从视频服务器下载分辨率为ri的视频块，根据比例αi，其中(1-αi)h的视频块会在第一超分网络上进行超分，αih的视频块会在第二超分网络进行超分，且超分的目标分辨率为ri′
。
[0052]
由于回程链路的带宽为cb，每个视频视频块的大小是h(i,r),所有的视频视频块从视频服务器传输到边缘所用的时间为
[0053][0054]
所述视频服务器传送h个视频视频块全部传输到边缘服务器后，所述调度器会将αih个视
[0055]
频视频块传输到第二超分网络进行超分，剩余的视频块在第一超分网络进行超分；be(ri,ri′
)和bc(ri,r
′i),分表代表在边缘和移动设备超分一个视频块的时间，可表示为
[0056][0057]
和
[0058][0059]
其中：ωe和ωc分别代表边缘服务器和移动设备的计算能力，和分别代表边缘服务器和移动设备上的超分网络将一个视频块从ri超分到ri′
的算力消耗，t
de
和t
en
代表一个视频块的解码时间和编码时间。
[0060]
所述移动设备将超分视频块进行融合生成超分视频分区输送视频播放缓冲区：所述移动设备包括视频播放缓冲区、视频融合单元和第二超分网络；其中：
[0061]
所述移动设备对超分视频块的比例αi将视频块发送到移动端进行超分还原过程：和分别代表在边超分的视频完成超分和传输的时间和在端超分的视频完成超分和还原的时间，即和分别为
[0062][0063]
和
[0064][0065]
因此，传输第i个视频的端到端延迟ti为
[0066][0067]
其中：t
fusion
代表视频在移动端融合所用的时间。pi代表视频播放缓冲区长度，则可得用户请求第i个视频的播放卡顿时间τi为
[0068]
τi＝max(t
i-pi,0)。
[0069]
所述移动设备通过如下公式获得最大化用户观看第1到n个chunk的qoe最优视频图像：
[0070][0071]
s.t.ri,ri′
∈r,0≤αi≤1，
[0072]
0≤pi≤b
max
[0073]
其中μ和λ分别代表画质平滑度和卡顿时间的权重，b
max
则是缓冲区的最大容量。其
限制条件为决策模块可选择的下载分辨率ri和超分目标分辨率ri′
只能从集合r中进行选择，而在移动设备超分的视频块的比例为一个0到1的数值，而视频播放缓冲区长度必须小于缓冲区的最大容量b
max
。
[0074]
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。