提升云游戏流畅度的方法及系统

1.本发明涉及图像处理技术领域，具体涉及一种提升云游戏流畅度的方法及系统。


背景技术：

2.云游戏是以云计算为基础的游戏方式。在云游戏的运行模式下，所有游戏均在服务器端运行，并将渲染完毕的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压与显示能力即可。
3.图像超分辨率重建技术是利用lr(低分辨率)图像恢复对应的hr(高分辨率)图像从而提高图像分辨率的技术。超分辨率重建技术可以分为两种，一种是非深度学习方法，即传统超分辨率方法实现图像重建，另一种是深度学习方法，即利用卷积神经网络实现图像特征提取、映射和重建工作。
4.视频由连续的图像组成，视频超分辨率重建技术是指从相应的低分辨率视频版本生成对应的高分辨率视频版本的技术。帧率是指视频或游戏画面每秒钟刷新图像的帧数，测量单位为fps(每秒显示帧数)。帧率越高，视频与游戏画面就会越流畅。为了保证用户的良好游戏体验，通常游戏画面帧率不会低于30fps，最佳游玩帧率为60fps或120fps。
5.目前云游戏实现的方式为：在服务器端进行游戏画面渲染并将其编码成视频流，将视频流传输至客户端，客户端对视频流进行解码与显示。
6.为了让用户获得高质量的游玩体验，云游戏会使用较高的画面帧率与分辨率。通常云游戏的画面帧率不会低于30fps，画面分辨率不会低于1920
×
1080。高帧率与高分辨率会产生大量需要传输的视频流数据，这对服务器端与客户端之间的网络传输速率提出了非常高的要求，如果服务器端与客户端之间的网络速率达不到要求，云游戏便会出现卡顿与延时，从而严重影响游玩体验。
7.此外，如果服务器端与客户端的网络状况不稳定，网络传输速率忽快忽慢，云游戏也会发生卡顿现象。在游戏画面渲染与编码的过程中，为了提升编码效率，通常会直接使用gpu(图形处理器)进行编码。然而游戏画面渲染也会使用gpu，因此，若游戏渲染量过大，会造成gpu负载过重，进而导致gpu编码时间变长，会造成云游戏卡顿。


技术实现要素：

8.本发明的目的在于提供一种提升云游戏流畅度的方法及系统。以解决上述背景技术中存在的至少一项技术问题。
9.为了实现上述目的，本发明采取了如下技术方案：
10.一方面，本发明提供一种提升云游戏流畅度的方法，包括：
11.接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面，在客户端进行显示。
12.优选的，使用插值上采样算法对解码后的视频画面进行上采样，生成上采样游戏
画面。
13.优选的，对上采样游戏画面进行锐化处理后，用于客户端显示。
14.优选的，所述插值上采样算法的上采样倍率为客户端需要显示的画面分辨率尺寸与服务器端渲染的游戏画面尺寸的比值。
15.优选的，所述插值上采样算法为lanczos插值、最邻近插值、双线性二次插值或双三次插值。
16.优选的，使用超分辨率模型对解码后的视频画面进行上采样，生成超分辨率游戏画面，将所述超分辨率游戏画面用于客户端显示。
17.优选的，超分辨率模型的训练包括：
18.使用同一个控制器控制两组组云游戏服务器，分别使用不同的分辨率渲染游戏画面；其中，较高分辨率渲染的游戏画面的分辨率尺寸为客户端所显示的游戏画面的分辨率尺寸，较低分辨率渲染的游戏画面的分辨率尺寸为服务器端所渲染的游戏画面尺寸；
19.将所述较高分辨率渲染的游戏画面、较低分辨率渲染的游戏画面分别编码为高分辨率视频流和低分辨率视频流；
20.将所述高分辨率视频流和低分辨率视频流分别解码为高分辨率视频和低分辨率频流；
21.将所述高分辨率视频和低分辨率频流分别转化为高分辨率图像序列和低分辨率图像序列；
22.高分辨率图像序列和低分辨率图像序列构成超分辨率数据集；
23.将超分辨率数据集裁剪为有重叠的、统一大小的图像块；
24.确定需要使用的网络结构与损失函数，使用裁剪得到的图像块并进行训练，最终生成超分辨率模型。
25.第二方面，本发明提供一种提升云游戏流畅度的系统，包括：
26.接收模块，用于接收服务器端使用低分辨率渲染的游戏画面视频流；解码模块，用于对视频流进行解码获得视频画面；采样模块，用于对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面；显示模块，用于将生成的超分辨率游戏画面在客户端显示。
27.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的提升云游戏流畅度的方法。
28.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的提升云游戏流畅度的方法的指令。
29.本发明有益效果：通过超分辨率方法降低服务器端的游戏画面分辨率，降低服务器端gpu的渲染量，减少由于gpu负载过重产生的卡顿现象；通过超分辨率方法降低服务器端的游戏画面分辨率，减少需要传输至客户端的数据量，减少由于网络传输导致的云游戏卡顿与延时现象；能够降低服务器端的游戏画面分辨率，降低了服务器端的gpu性能需求，渲染一些游戏时不再需要高性能gpu，可换用一些更为廉价的低性能gpu，从而降低云游戏服务器设备成本。
30.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
31.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例1所述的提升云游戏流畅度的方法流程示意图；
33.图2为本发明实施例3所述的提升云游戏流畅度的方法流程示意图；
34.图3为本发明实施例3所述的以1080p分辨率运行游戏的视频录制截图；
35.图4为本发明实施例3所述的以720p分辨率运行游戏的视频录制截图；
36.图5为本发明实施例3所述的上采样后的游戏画面示意图；
37.图6为本发明实施例3所述的对上采样后的游戏画面进行锐化处理后的游戏画面示意图；
38.图7为本发明实施例3所述的客户端最终显示的游戏画面的画面细节示意图。
具体实施方式
39.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
40.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
41.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
42.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
43.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
44.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
45.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是
实施本发明所必须的。
46.实施例1
47.本实施例1提供一种提升云游戏流畅度的系统，该系统包括：
48.接收模块，用于接收服务器端使用低分辨率渲染的游戏画面视频流；解码模块，用于对视频流进行解码获得视频画面；采样模块，用于对解码后的视频画面进行上采样，生成上采样超分辨游戏画面；显示模块，用于将生成的游戏画面在客户端显示。
49.如图1所示，本实施例1中，利用上述的提升云游戏流畅度的系统实现了一种提升云游戏流畅度的方法，该方法包括：
50.使用客户端的接收模块接收服务器端使用低分辨率渲染的游戏画面视频流；使用客户端的解码模块对视频流进行解码获得视频画面；使用客户端的采样模块对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面，使用显示模块对上采样超分辨率游戏画面在客户端进行显示。
51.在本实施例1中，采样模块使用插值上采样算法对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面。
52.本实施例1中，所述的系统还包括锐化模块，用于对生成的上采样超分辨率游戏画面进行锐化处理。
53.所述插值上采样算法的上采样倍率为客户端需要显示的画面分辨率尺寸与服务器端渲染的游戏画面尺寸的比值。
54.具体应用中，所述插值上采样算法为lanczos插值、最邻近插值、双线性二次插值或双三次插值等。
55.在本实施例1中，使用lanczos插值算法为例，对提升云游戏流畅度进行说明。确定模拟的客户端需要显示的游戏画面分辨率尺寸为1920
×
1080(1080p)，模拟的服务器端渲染的游戏画面尺寸为1280
×
720(720p)。
56.分别以1080p分辨率和720p分辨率运行游戏并进行视频录制，将720p分辨率运行并录制的游戏视频转换为720p图像序列，计算插值上采样的上采样倍率，上采样倍率＝1080
÷
720＝1.5。使用lanczos插值算法对720p图像序列进行上采样，上采样倍率为1.5，生成上采样图像序列。使用3
×
3的卷积核对上采样图像序列进行空间卷积，生成锐化处理后的图像序列。
57.本实施例1中，所述3
×
3的卷积核为：
58.[[0,
‑
0.5,0],
[0059]
[
‑
0.5,3,
‑
0.5],
[0060]
[0,
‑
0.5,0]]
[0061]
将锐化处理后的游戏图像序列合成为视频，此视频为模拟的客户端显示的游戏画面。
[0062]
实施例2
[0063]
本实施例2提供一种提升云游戏流畅度的系统，该系统包括：
[0064]
接收模块，用于接收服务器端使用低分辨率渲染的游戏画面视频流；解码模块，用于对视频流进行解码获得视频画面；采样模块，用于对解码后的视频画面进行上采样，生成上采样超分辨游戏画面；显示模块，用于将生成的游戏画面在客户端显示。
[0065]
本实施例2中，利用上述的提升云游戏流畅度的系统实现了一种提升云游戏流畅度的方法，该方法包括：
[0066]
使用客户端的接收模块接收服务器端使用低分辨率渲染的游戏画面视频流；使用客户端的解码模块对视频流进行解码获得视频画面；使用客户端的采样模块对解码后的视频画面进行上采样，生成上采样超分辨率游戏画面，使用显示模块对上采样超分辨率游戏画面在客户端进行显示。
[0067]
本实施例2中，使用超分辨率模型对解码后的视频画面进行上采样，生成超分辨率游戏画面，将所述超分辨率游戏画面用于客户端显示。
[0068]
本实施例2中，超分辨率模型的训练包括：
[0069]
使用同一个控制器控制两组云游戏服务器，分别使用不同的分辨率渲染游戏画面；其中，较高分辨率渲染的游戏画面的分辨率尺寸为客户端所显示的游戏画面的分辨率尺寸，较低分辨率渲染的游戏画面的分辨率尺寸为服务器端所渲染的游戏画面尺寸；
[0070]
将所述较高分辨率渲染的游戏画面、较低分辨率渲染的游戏画面分别编码为高分辨率视频流和低分辨率视频流；
[0071]
将所述高分辨率视频流和低分辨率视频流分别解码为高分辨率视频和低分辨率频流；
[0072]
将所述高分辨率视频和低分辨率频流分别转化为高分辨率图像序列和低分辨率图像序列；
[0073]
高分辨率图像序列和低分辨率图像序列构成超分辨率数据集；
[0074]
将超分辨率数据集裁剪为有重叠的、统一大小的图像块；
[0075]
确定需要使用的网络结构与损失函数，使用裁剪得到的图像块并进行训练，最终生成超分辨率模型。
[0076]
实施例3
[0077]
本发明提出了一种基于超分辨率提升云游戏流畅度的方法，总体流程如图2所示，其中超分辨率方法分为基于插值与基于深度学习的云游戏超分辨率方法。
[0078]
本实施例3中，使用基于插值的云游戏超分辨率方法为：
[0079]
确定客户端需要显示的游戏画面分辨率尺寸与服务器端渲染的游戏画面尺寸；服务器端渲染游戏画面并将视频流传输至客户端，客户端对视频流进行解码获得视频画面；使用插值上采样算法对客户端解码后的视频画面进行上采样，生成上采样游戏画面；对上采样游戏画面进行锐化处理，将生成的游戏画面用于客户端显示。
[0080]
使用基于深度学习的云游戏超分辨率方法，包括服务器端使用低分辨率渲染游戏画面并将视频流传输至客户端，客户端对视频流进行解码获得视频画面；使用生成超分辨率模型对客户端解码后的视频画面进行上采样，生成超分辨率游戏画面；将所述超分辨率游戏画面用于客户端显示。
[0081]
本实施例3中，使用基于深度学习的云游戏超分辨率方法，超分辨率模型的训练包括：
[0082]
使用同一个控制器控制两组云游戏服务器，并进行游戏操作；所述两组云游戏服务器，一组使用低分辨率渲染游戏画面，一组使用高分辨率渲染游戏画面；所述高分辨率游戏画面的分辨率尺寸为本发明中客户端所显示的游戏画面的分辨率尺寸；所述低分辨率游
戏画面的分辨率尺寸为本发明中服务器端所渲染的游戏画面尺寸；将所述高、低分辨率游戏画面编码为高、低分辨率视频流；将所述高、低分辨率视频流解码为高低分辨率视频；将所述高、低分辨率视频转化为高、低分辨率图像序列；所述高、低分辨率图像序列构成了超分辨率数据集。将超分辨率数据集裁剪为有重叠的，统一大小的图像块；确定需要使用的网络结构与损失函数并进行训练，最终生成超分辨率模型。
[0083]
本实施例中，可选择的网络结构，例如srcnn、rlsp、ovsr等，此网络结构需要满足：在推理客户端接收到的低分辨率视频时速度要够快，至少要达到30fps。可选择的损失函数，如，l1 loss、l2 loss、perceptual loss、gan loss。
[0084]
本实施例3中，所演示的游戏为“荒野大镖客：救赎2”，通过模拟的方式，展示了基于插值的云游戏超分辨率方法的效果。以下为本实施例3中的具体步骤：
[0085]
1.确定模拟的客户端需要显示的游戏画面分辨率尺寸为1920
×
1080(1080p)，模拟的服务器端渲染的游戏画面尺寸为1280
×
720(720p)；
[0086]
2.分别以1080p分辨率和720p分辨率运行游戏并进行视频录制，图3与图4分别展示了其录制视频截图；
[0087]
3.将720p分辨率运行并录制的游戏视频转换为720p图像序列；
[0088]
4.计算插值上采样的上采样倍率，上采样倍率＝1080
÷
720＝1.5
[0089]
5.使用lanczos插值算法对720p图像序列进行上采样，上采样倍率为1.5，生成上采样图像序列。图5为上采样后的图像示例；
[0090]
6.使用3
×
3的卷积核对上采样图像序列进行空间卷积，生成锐化处理后的图像序列；
[0091]
7.所述3
×
3的卷积核为：
[0092]
[[0,
‑
0.5,0],
[0093]
[
‑
0.5,3,
‑
0.5],
[0094]
[0,
‑
0.5,0]]
[0095]
8.将锐化处理后的游戏图像序列合成为视频，此视频为模拟的客户端显示的游戏画面。图6为模拟的客户端显示的游戏画面。图7为游戏画面细节对比图，左图为720p游戏细节，中图为插值超分后的游戏细节，右图为1080p游戏细节。
[0096]
实施例4
[0097]
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的提升云游戏流畅度的方法，该方法包括：
[0098]
接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成超分辨率上采样游戏画面，在客户端进行显示。
[0099]
实施例5
[0100]
本发明实施例5提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的提升云游戏流畅度的方法，该方法包括：
[0101]
接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频
画面；对解码后的视频画面进行上采样，生成超分辨率上采样游戏画面，在客户端进行显示。
[0102]
实施例6
[0103]
本发明实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的提升云游戏流畅度的方法的指令，该方法包括：
[0104]
接收服务器端使用低分辨率渲染的游戏画面视频流；对视频流进行解码获得视频画面；对解码后的视频画面进行上采样，生成超分辨率上采样游戏画面，在客户端进行显示。
[0105]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0106]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0107]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0108]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0109]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。