基于视频增强和比特率自适应算法的云游戏视频传输方法

本发明属于云游戏、网络优化和视频增强领域，涉及比特率自适应算法、强化学习、视频增强和边缘计算技术方法。

背景技术：

1、近年来云游戏迅速发展，其市场份额预计将在2025年达到80亿美元。不同于传统游戏采用的集中式客户端-服务器架构，要求玩家配备较高算力的设备进行实时渲染，云游戏架构利用云服务器算力进行渲染。云游戏的服务器接收到玩家控制事件后，对游戏场景进行渲染和编码等操作，并将游戏场景通过视频流的形式传输给终端用户。通过这种方式，玩家可以不受终端设备算力和图像处理能力的限制随时访问游戏，游戏内容提供商无需兼容不同的底层硬件架构，从而降低开发成本、加快开发速度。但云游戏服务提供商需要向玩家传输高分辨率、高帧率和低时延的游戏视频流，这导致网络带宽、延迟和丢包等变化都会影响游戏体验。

2、云游戏需要持续稳定的带宽来负担高质量的游戏视频流，但在高度异构的现代互联网中，用户数量、移动性、网络拥塞、信道衰落等因素，都会使玩家网络发生波动。当发送端发送速率与可用带宽不匹配时，可能出现网络拥塞，导致传输时延增加或丢帧等情况，从而导致玩家的游戏体验迅速下降。另一方面，由于网络限制导致的实时游戏视频质量下降，需要进行有效的视频增强，从而为游戏玩家提供稳定的游戏服务。

3、针对网络波动导致的游戏体验下降，拥塞控制、自适应帧率、前向纠错编码和分流视频编码等技术给出了解决方案。例如google团队基于速率和时延提出了一种拥塞控制算法sqp，用于低时延交互式视频流，旨在提供实时带宽估计。依赖于quic进行可靠的视频帧传输，并提供数据包的时间戳来估计网络带宽。通过调整每帧的速度，使用基于梯度的更新平滑地改变带宽估计和视频比特率来响应拥塞。alhilal等人将发送端的发送速率控制和前向纠错编码相结合，提出了一种端到端的云游戏框架，为系统提供了容错能力，并实现了最佳视频质量。丢包恢复方案prism采用分流视频编码技术来满足超低延迟视频流应用的需求。prism进行了基于深度学习的丢包预测，在识别出潜在的丢包时，将视频流分成两个子流：低延迟不可靠的idr帧流和高质量和可靠的p帧流。idr帧使应用程序以较低的延迟继续显示帧,当丢失的p帧数据被重传，应用程序快速切换回更高质量的p帧流。然而简单的拥塞控制算法和分流视频编码技术虽然可以缓解网络拥塞，保证游戏视频的流畅，但是在发生网络拥塞时会降低发送的视频质量，进而影响游戏画面的分辨率或帧率，导致较差的游戏体验。自适应帧率和前向纠错编码相结合虽然可以通过冗余的编码提高网络系统的鲁棒性和可靠性，但是其计算复杂度高，并且冗余编码引入了显著的额外开销，增加了时延的同时减少了可用带宽。

4、对于网络限制导致的实时游戏视频质量下降问题，很多工作提出通过超分辨率和插帧的方式进行视频增强，可以在视频质量不佳的情况下，恢复出高分辨率、高帧率视频。然而现有的超分辨率和插帧方法无法在推断时间和推断效果两方面满足云游戏高帧率、高分辨率的需求。如srresnet和vdsr超分辨率模型无法满足超分辨率推断速度需求。bicubic和srcnn方法可以满足推断速度需求，但其超分辨率效果却不尽如人意。egvsr和rdn超分辨率模型虽然放大4倍时可以满足30fps的推断速度需求，但放大效果较差；放大2倍时推断效果较好，但无法满足实时推断的时间需求。ifrnet模型、基于相位的插帧方法、sepconv-slomo模型等插帧模型的推断时间也都无法达到高帧率的推断需求，其每帧推断时间均在60ms以上。

5、因此提出一种增强云游戏质量的传输优化方案是本领域技术人员亟待解决的技术问题，以此保证以云游戏为代表的高帧率、高分辨率的交互式实时视频应用的高质量体验。

技术实现思路

1、本发明的目的是为了克服现有技术存在的不足，解决由于带宽、延迟和丢包等网络波动导致的云游戏视频质量不稳定的问题。本发明可以在网络波动的情况下有效保证云游戏视频的高分辨率、高帧率和低延时，避免游戏过程中出现卡顿、掉帧和画面模糊等现象，从而提高玩家的游戏体验。

2、本发明的技术方案

3、基于视频增强和比特率自适应算法的云游戏视频传输方法，所述方法如下：

4、s1、提出将边缘云架构、比特率自适应算法与视频增强技术相结合的方法，进行云游戏视频传输与增强。使用边缘云架构将视频增强从玩家的终端设备卸载到边缘云服务器，解决终端算力不足的问题；将比特率自适应算法与视频增强技术相结合，在网络波动时进行跳帧编码和降低分辨率，减少主干网传输数据量，并在边缘云服务器进行视频增强，提高游戏体验。

5、s2、构建基于强化学习的比特率自适应算法。针对云游戏高帧率、高比特率和低延时的特点，以及现代网络环境的波动性，提出了一种符合其特征的比特率自适应算法，通过强化学习、跳帧和降低分辨率的方式有效实现了比特率自适应算法决策比特率与编码速率的匹配，缓解网络拥塞问题。

6、s3、构建针对云游戏的超分辨率方法和插帧方法。提出了针对以云游戏为代表的高帧率、高分辨率的交互式实时视频应用的超分辨率和插帧模型，通过视频增强的方式有效提高了云游戏终端的视频质量和游戏体验。

7、所述边缘云架构由三层网络组成，分别为核心云服务器、边缘云服务器和游戏玩家。核心云服务器根据不同的游戏场景对超分辨率和插帧模型进行训练，同时对基于强化学习的比特率自适应算法进行训练，根据游戏玩家操作对游戏画面进行渲染。分布式边缘云服务器就近为游戏玩家转发游戏视频，对低质量的游戏视频进行实时在线增强。游戏玩家的终端设备对视频流进行解码合并后播放，并将游戏玩家的最新操作返回到核心云服务器。

8、所述方法的步骤包括：

9、1)游戏玩家向核心云服务器注册或登录，并开启游戏，在核心云的部署下就近加入相应的边缘云服务器。核心云服务器将最新的游戏超分辨率模型和插帧模型更新到边缘云服务器。之后该游戏玩家的游戏视频流均经过此边缘云服务器进行转发。

10、2)游戏开始后，游戏玩家将游戏操作发送到核心云服务器，核心云服务器根据玩家操作对游戏画面进行实时渲染，并根据基于强化学习的比特率自适应方法做出的帧率和分辨率决策，将游戏画面实时传输到边缘云服务器。如果核心云服务器到边缘云服务器的主干网网络条件较好，比特率自适应方法将决策向边缘云服务器发送高帧率、高比特率的游戏视频，则边缘云服务器收到游戏视频后直接转发到游戏玩家的终端设备；否则，向边缘云服务器发送较低帧率、较低比特率的游戏视频，在边缘云服务器先后进行游戏视频的超分辨率和插帧推断，将进行视频增强后的视频流编码后与原视频流一同发送到游戏玩家的终端设备。

11、3)游戏玩家的终端设备将收到的游戏视频流进行解码合并后播放，并将游戏玩家的下一次操作发送到核心云服务器。

12、所述将比特率自适应算法与视频增强技术相结合，进行云游戏视频传输与增强，通过基于强化学习的比特率自适应算法决定发送比特率，并根据发送比特率确定编码时跳帧的个数和视频分辨率，然后进行相应的游戏视频编码，从而减小传输时延，降低主干网传输压力，避免拥塞和卡顿。

13、实时感知网络状态是合理决策比特率的基础，公式(1)为本发明中强化学习的状态公式，losst为丢包率，通过rtcp报文中的fractionlost字段获得，rttt为延迟，通过rtcp报文中的lsr和dlsr两个字段计算获得，deltat为两个连续rtp分组在接收方的到达间隔和发送方的相应离开间隔的差，packetst为drl算法更新间隔内接收端接收到的rtp报文数量，deviationt为t时刻真实传输比特率与drl算法决策的比特率之间的差。

14、合理的奖励函数是强化学习智能体不断纠正动作决策的基础，公式(2)为比特率自适应算法的奖励公式，其中packetst为间隔时间内接收端收到的总数据报文数量，bitratet为t时刻drl算法决策的比特率，losst为时间间隔内的丢包率，rttt为时间间隔内的往返延迟，deviationt为比特率执行偏差，a、b、c、d、e为相应指标的权重。

15、为保证比特率自适应算法决策的比特率及时与编码速率匹配，使编码器更好的执行算法决策，本发明提出当本时刻决策的比特率低于上一时刻时，进行跳帧编码和降低分辨率的处理。公式(3)为跳帧决策公式，rt为t时刻的比特率，当t时刻的比特率小于上一时刻时，不进行跳帧编码；当t时刻的比特率大于上一时刻时，跳帧个数为两时刻比特率之差除以上一时刻的平均每帧比特率bpft-1，公式(4)为bpf的计算公式，其中fpst为t时刻的发送帧率。

16、st＝{losst,rttt,deltat,packetst,deviationt}   (1)

17、rt＝a*packetst+b*bitratet+c*losst+d*rttt+e*deviationt      (2)

18、

19、

20、为提高云游戏视频分辨率，本发明提出了一种针对高帧率、高分辨率和低延时的云游戏实时超分模型。该模型首先将输入的视频帧划分成像素为10×10的小像素块，对每个小像素块使用两个卷积层计算一个具有3个输入通道和16个输出通道的3×3卷积核，并将卷积核应用于相应小像素块，最后，重新组装被分割的视频帧，并使用3个卷积层和一个像素重组层提高视频帧的分辨率。

21、本发明提出的针对云游戏的实时插帧模型，游戏开始前在核心云服务器上进行训练，游戏开始后在边缘云服务器上进行推断。该模型的每个编码器由两个3×3的卷积层构成，每个卷积层都由一个prelu层激活，对每个输入帧进行4次编码操作，共通过8个卷积层，通过逐步抽取空间大小，将特征通道逐渐增加到12、18、27和36个，分别生成输入帧i0和帧i1的特征e0j、e1j(j＝1、2、3、4)；插帧模型的每个解码器由一个3×3的卷积层、一个prelu激活层、一个残差块和一个4×4的逆卷积组成，其中残差块由五个3×3的卷积层和四个prelu激活层组成；在帧i0和帧i1依次经过4个编码器后获得特征e04、e14，特征e04、e14通过解码器逐步细化，并获得相应流场d0j、d1j(j＝1、2、3、4)和更高一级重构的中间特征ti(j＝1、2、3)；流场d和对应的特征e进行反向扭曲后与原流场和中间特征一起进入下一层解码器；在最后一次经过解码器时，输出流场d01、d11、单通道掩码m和进行细节补偿的三通道图像残差r，并最终计算合成中间帧it。

22、所述基于视频增强和比特率自适应算法的云游戏视频传输方法符合云游戏高帧率、高比特率和低延时的特征和实际需求，能够提高玩家的游戏体验。

23、本发明相较现有技术具有以下有益效果：

24、本发明利用边缘计算架构，提出了基于强化学习的比特率自适应算法，并引入视频增强模型。与现有的其他技术相比，比特率自适应算法可以及时做出合理的传输比特率决策，跳帧编码和降低分辨率方案可以使编码速率与比特率决策快速匹配，同时有效降低主干网传输压力，视频增强技术可以在边缘云服务器恢复高质量的游戏视频，从而实现良好稳定的云游戏服务。