一种基于感兴趣区域的云游戏平台自适应带宽优化方法与流程

本发明涉及云游戏和云计算资源管理领域，具体涉及了一种基于感兴趣区域的云游戏平台自适应带宽优化方法。

背景技术：

近年来，随着宽带技术的普及，GPU虚拟化技术的快速发展以及游戏产业的高速发展，越来越多的厂商开始推广云游戏技术。

云游戏平台是以云计算为基础的游戏方式，服务器端收集客户端的用户输入，游戏逻辑及游戏画面渲染都在服务器端运行，服务器将渲染完毕后的游戏画面编码为视频流后通过网络传送给用户。用户不需要购买价格昂贵的处理器和显卡，不需要下载容量庞大的游戏安装文件，只需要有良好的网络连接，以及基础的视频解压能力即可进行游戏。云游戏技术还可以让用户在移动终端上享受到以往只能在PC平台上运行的游戏。

云游戏平台架构主要由游戏用户和云游戏服务提供商构成。云游戏服务提供商提供若干种游戏供用户选择，用户根据喜好选择不同的游戏。用户对不同的游戏类型有不同的画质要求，同时不同的游戏类型对网络带宽的消耗也不一样。随着游戏质量的日益进步，游戏的分辨率与游戏画面的精细程度日益提高，从而导致游戏画面编码后产生的视频大小也不断提高。不断提高的游戏视频大小不但给云游戏提供商造成了网络带宽的成本压力，也提高了云游戏用户的使用门槛。因此在尽可能少的影响画质的前提下降低云游戏对带宽的占用，能够为云游戏提供商和用户带来双赢。

根据生物学、认知心理学和计算机科学等多个学科的研究成果，人类视觉系统(Human Visual System，HVS)面对复杂的场景时，能够迅速将注意力集中在少数显著的视觉对象上对其优先处理。基于这一思想，感兴趣区域(Region of Interest，ROI)被提出并逐渐发展。从图像或视频画面中提取感兴趣区域有多种方法，如手工指定、利用外设采集用户注视点、基于视觉注意模型提取、基于特定对象分割等方法。

在确定了感兴趣区域的大小及位置之后，可以通过设置视频编码器的相关编码参数，控制感兴趣区域内部和外部的视频质量，从而控制游戏视频的大小。通过适当的方法选定感兴趣区域的大小以及感兴趣区域内部和外部的视频质量，可以实现游戏视频质量与游戏视频所需带宽之间的平衡。

综上所述，从云游戏提供商的角度出发，为了降低带宽成本，同时保证游戏用户的良好游戏体验，云游戏平台需要设计一种方法来选择用户的感兴趣区域大小，使得云游戏提供商能够在保证用户体验的前提下尽可能节约带宽成本。

“H.J.Hong，C.F.Hsu，T.H.Tsai，C.Y.Huang，K.T.Chen and C.H.Hsu，“Enabling Adaptive Cloud Gaming in an Open-Source Cloud Gaming Platform”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2078-2091，2015.”测量了游戏用户体验质量与游戏视频帧率和码率之间的关系，并提出了调整游戏视频帧率与码率来调整云游戏视频占用带宽的自适应优化方法。该技术中调整游戏帧率和码率属于全局参数调节，没有考虑游戏画面中重要区域与非重要区域对用户的体验质量影响不同的因素，对用户体验质量的影响较大。

“E.Cuervo，A.Wolman，L.P.Cox，K.Lebeck，A.Razeen，S.Saroiu and M.Musuvathi，“Kahawai:High-Quality Mobile Gaming Using GPU Offload”，in MobiSys，2015.”提出了云游戏服务端和客户端均拥有完整的游戏程序与数据，通过协同工作的方式生成游戏画面的技术。客户端运行游戏并生成低画质的画面。服务器端分别运行两个游戏实例生成低画质和高画质的画面，并计算两个画面之间的差值，然后将差值画面编码后传输到客户端。客户端将本地生成的低画质画面与解码后的差值画面合并生成较高画质的画面。该技术通过传输编码后的差值画面可以降低云游戏的带宽需求。在该技术中，由于要求客户端也需要拥有完整的游戏程序和数据，导致客户端也需要安装完整的游戏程序，与云游戏节约用户端空间的初衷存在冲突。同时，由于客户端也需要运行游戏程序，这使得客户端无法跨平台跨终端进行游戏，同时也提高了客户端的硬件需求。

“M.S.Hossain，G.Muhammad，B.Song，M.M.Hassan，A.Alelaiwai and A.Alamri，“Audio-Visual Emotion-Aware Cloud Gaming Framework”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2105-2118，2015.”提出了一种基于用户音频和视频反馈的可感知用户情绪的云游戏平台框架。该技术通过调节游戏视频画面的颜色分量以及亮度和对比度，来增强游戏用户的体验质量。该技术调节的参数(颜色分量、亮度及对比度)对用户的体验质量的影响并不显著。该技术无法实现带宽的优化。同时，通过用户的音频和视频反馈的情绪分类和标注如何保证准确性仍存在一定的问题。

“W.Cai，Z.Hong，X.Wang，H.C.B.Chan and V.C.M.Leung，“Quality of Experience Optimization for Cloud Gaming System with Ad-hoc Cloudlet Assistance”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2092-2104，2015.”该技术提出了局域网内部的游戏用户通过自组网的方式相互共享相似的游戏画面，从而实现降低云游戏用户总体带宽需求的目标。该技术的前提假设是局域网内部的用户大部分都在进行相同的游戏，同时游戏画面之间具有较高的相似性，然而在现实情况中该假设难以实现。另外，设备通过自组网共享游戏画面，会增加移动终端的电量消耗，该技术缺乏对用户共享计算能力的激励措施，难以在现实情况中应用。

技术实现要素：

针对目前云游戏平台存在的带宽占用过高问题，为了在满足游戏用户体验的基础上，尽可能降低云游戏运营商的带宽成本以及用户的网络带宽需求，本发明提出了一种基于感兴趣区域的云游戏平台自适应带宽优化方法。

为了实现上述目的，本发明的技术方案为：

一种基于感兴趣区域的云游戏平台自适应带宽优化方法，包括以下步骤：

S1.将云游戏平台运行周期切割成若干个时间段；

S2.在每一个时间段开始时，中央控制单元获取每个游戏用户的带宽信息；

S3.中央控制单元基于当前收集的带宽信息求解决策结果，其决策结果包括每个游戏用户的感兴趣区域大小；

S4.基于获取的决策结果对每一个游戏用户的游戏画面进行视频编码；

步骤S3中求解获得决策结果的方式为：云游戏运营商通过中央控制单元收集每个用户当前带宽信息，通过贪心算法分配不同的感兴趣区域大小给各个用户，保证每个用户的游戏视频带宽不超过其网络带宽，所有用户占用的总带宽不超过服务器出口带宽，同时使整体的QoE指标之和最大化；

步骤S4中进行视频编码的方式为：云游戏服务商使用视频编码器，根据预先设定的各用户的感兴趣区域外部和内部的QP差值(QP(Quantization Parameter)为量化步长，是H.264视频编码中用于衡量视频压缩程度的参数，取值为0-51。值越大，则视频压缩程度越高。QP差值表示了感兴趣区域内部和外部的量化步长差值，即感兴趣区域内部和外部的压缩程度的差异。QP差值越大，说明感兴趣区域内外的画质差异越大)，与步骤S3中得到的感兴趣区域大小共同生成画面中每一个Macro Block(Macro Block宏区块，是视频编码中的最小编码单位，H.264编码中默认的宏区块大小是16像素x16像素的矩形)的QP值，然后视频编码器接口进行画面编码。

优选的，步骤S3中求解获得决策结果的方式具体为：假设有N个用户连接到云游戏服务器上进行游戏，云游戏提供商共提供K种游戏；令dⁱ(t)为用户i在第t个时间段所分配的感兴趣区域大小；为游戏类型k的用户QoE与感兴趣区域大小之间的函数关系，qⁱ(t)为用户i在第t个时间段的QoE，则有Φ_k为游戏类型k的视频带宽与感兴趣区域大小之间的函数关系，bⁱ(t)为用户i在第t个时间段的游戏视频带宽，则有bⁱ(t)＝Φ_k(dⁱ(t))；使用贪心算法，依据用户的带宽信息在每一个时间段内计算出满足如下最优化方程的决策结果；

$max\underset{i=1}{\overset{N}{\Σ}}{q}^i\left(t\right).$

优选的，所述用户i在第t个时间段的游戏视频带宽bⁱ(t)必须小于用户i在第t个时间段的网络带宽Bⁱ(t)，即满足下式；

$b^i\left(t\right)\≤B^i\left(t\right),\∀i.$

优选的，用户i在第t个时间段的感兴趣区域大小必须大于或等于针对当前游戏类型，用户在进行游戏时要获得基本的用户体验所应该选择的最小感兴趣区域大小；由下式确定：

$d^i\left(t\right)\≥d_{\min }\left(G\right(i\left)\right),\∀i$

其中，dⁱ(t)表示用户i在第t个时间段所分配的感兴趣区域大小，G(i)代表用户i所选择的游戏类型，d_min(G(i))表示用户i要获得最基本的用户体验所需要请求的最小感兴趣区域大小；

整个表达式用于确保对每一个用户i，在每一个时间段t，其所接收到的感兴趣区域大小都能够保证其获得最基本的用户体验。

本发明感兴趣区域的定义一般采用以屏幕中心点为中心，由程序指定相应长度和宽度的矩形区域。

与现有技术相比，本发明的有益效果为：本发明充分考虑了不同游戏类型对于用户体验质量的影响，针对不同的游戏类型提出了对应的视频编码参数选择方式。同时，本发明还充分考虑了生物学、认知心理学与计算机科学对人类视觉系统的研究成果，通过调整游戏画面中感兴趣区域大小，在尽可能少地影响用户体验质量的前提下，降低云游戏对带宽的占用。

附图说明

图1为现有云游戏平台架构图。

图2为基于感兴趣区域的云游戏平台自适应带宽优化方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

云游戏平台

云游戏平台是以云计算为基础的游戏方式，服务器端收集客户端的用户输入，游戏逻辑及游戏画面渲染都在服务器端运行，服务器将渲染完毕后的游戏画面编码为视频流后通过网络传送给用户。在客户端，用户只需要拥有良好的网络连接、配备输入输出设备和具有基础的视频解压能力。

感兴趣区域

人类视觉系统处理较为复杂的场景时，会将其视觉注意力集中于该场景的少数几个对象，并将这些对象优先处理，力求在最短时间获取场景中的主要信息，此过程称为视觉注意过程，这些对象在场景中构成的区域即为感兴趣区域。

用户体验质量

用户体验质量(Quality of Experience)是用户在与服务或者应用交互的过程中，由用户产生的对服务的一种主观感受。在本发明中，用户体验质量表示用户对游戏画质的主观感受。为了定量评价用户体验质量，本发明采用相关客观指标表征用户体验质量。针对游戏直播平台中存在的运营成本过高，观众分布不均衡等问题，本发明提出了一种基于感兴趣区域的云游戏平台自适应带宽优化方法。该方法在满足观众体验的基础上，实现了尽可能地降低运营商的运营成本。

本发明充分考虑了不同游戏类型对于用户体验质量的影响，本发明针对不同的游戏类型选择对应的云游戏视频编码参数选择算法，以达到基于感兴趣区域的云游戏平台自适应带宽优化的目的。同时，本发明还充分考虑了生物学、认知心理学与计算机科学对人类视觉系统的研究成果，通过调整游戏画面中感兴趣区域大小，在尽可能少地影响用户体验质量的前提下，降低云游戏对带宽的占用。

本发明的基本技术包括：用户QoE模型、视频带宽模型、云游戏视频编码参数选择算法。

用户QoE模型

在云游戏平台中，用户QoE反映了游戏用户对于游戏服务的满意程度。用户QoE是衡量云游戏平台性能的重要指标之一。

首先，本发明针对不同的游戏用户选择的不同游戏类型，定义了与游戏类型相关的QoE指标，并定义了不同类型游戏的基本感兴趣区域大小要求。基本感兴趣区域大小要求指的是，针对当前游戏类型，游戏用户在进行游戏时，要获得基本的用户体验所应该选择的最小感兴趣区域大小。

$d^i\left(t\right)\≥d_{min}\left(G\right(i\left)\right),\∀i$

其中，dⁱ(t)表示用户i在第t个时间段所分配的感兴趣区域大小，G(i)表示用户i所选择的游戏类型，d_min(G(i))表示用户i要获得最基本的用户体验所需要请求的感兴趣区域大小。整个表达式用于确保对每一个游戏用户i，在每一个时间段t，其所接收到的游戏视频感兴趣区域大小都能保证其获得最基本的用户体验。

本发明定义用户QoE与用户接收到的感兴趣区域大小直接相关，具体定义为：

其中，为游戏类型k的用户QoE与感兴趣区域大小之间的函数关系。

视频带宽模型

在云游戏平台中，游戏视频所占用的带宽与视频画面中感兴趣区域大小以及感兴趣区域内部和外部的视频质量参数相关。在确定了感兴趣区域内部和外部的视频质量参数之后，游戏视频所占用的带宽与感兴趣区域大小直接相关。本发明定义bⁱ(t)为用户i在第t个时间段所占用的带宽大小，具体定义为：

bⁱ(t)＝Φ_k(dⁱ(t))

其中，Φ_k为游戏类型k的视频带宽与感兴趣区域大小之间的函数关系。

云游戏视频编码参数选择算法

下面结合流程图2和实施实例对基于感兴趣区域的云游戏平台自适应带宽优化方法做进一步的说明。

图2为“基于感兴趣区域的云游戏平台自适应带宽优化方法”的流程图，具体步骤如下：

(S101)将云游戏平台运行周期切割成若干个时间段。

(S102)在每一个时间段开始时，中央控制单元获取每个游戏用户的带宽信息。

(S103)中央控制单元基于当前收集的带宽信息求解决策结果，其决策结果包括每个游戏用户的感兴趣区域大小。

(S104)根据步骤(S103)的决策结果对每一个游戏用户的游戏画面进行视频编码。

在一个具体实施方式中，步骤(S102)中当前收集的信息包括用户带宽等信息。

在一个具体实施方式中，本发明使用贪心算法求解关于感兴趣区域大小与视频带宽、用户QoE之间构成的优化问题，得到每个用户感兴趣区域大小的决策结果。

定义如下优化问题：

$max\underset{i=1}{\overset{N}{\Σ}}{q}^i\left(t\right)$

该优化问题表示云游戏服务器上的N名用户的QoE之和应最大化。

该优化问题还应符合以下约束条件：

1、用户i在第t个时间段的游戏视频带宽必须小于等于用户i在第t个时间段的网络带宽Bⁱ(t)，即满足下式：

$b^i\left(t\right)\≤B^i\left(t\right),\∀i$

2、所有用户的游戏视频带宽之和必须小于等于服务器提供的出口带宽C，即满足下式：

$\underset{i=1}{\overset{N}{\Σ}}{b}^i\left(t\right)\≤C$

3、用户i在第t个时间段的感兴趣区域大小必须大于等于该用户选择的游戏的基本感兴趣区域大小，即满足下式：

$d^i\left(t\right)\≥d_{min}\left(G\right(i\left)\right),\∀i$

本发明提出了一种云游戏视频编码参数选择算法。使用云游戏视频编码参数选择算法求解步骤(S103)中的决策结果，该算法过程的伪代码如下所示。

本发明提出了一种基于感兴趣区域的云游戏平台自适应带宽优化方法，本发明详细描述了云游戏视频编码参数选择算法。本发明在具体实施时可以有多种方法，包括但不局限于：

1、使用预测算法获得用户的网络带宽；

2、针对游戏用户QoE模型做小幅调整，比如添加感兴趣区域内部和外部的视频编码质量参数作为QoE模型参数，添加用户观看距离作为QoE模型参数等。

3、使用不同的客观指标作为用户QoE模型的具体实现，如SSIM、PSNR等。

本发明中，各模块的结构和连接方式都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别算法模块的结构进行的改进和等同变换，均不应排除在本发明的保护范围之外。

本发明提出的系统工作流程中的关键数学模型和方法有：用户QoE模型、视频带宽模型和云游戏视频编码参数选择方法。用户QoE模型表达了游戏用户对于游戏服务的满意程度，是本发明的基础。本发明提出的云游戏视频编码参数选择方法能根据有限的用户网络带宽等信息，动态地做出用户游戏画面感兴趣区域大小决策，在保证用户QoE的基础上，优化云游戏运营商的带宽开销以及云游戏用户的网络带宽需求。本发明提出的云游戏视频编码参数选择算法是本发明的核心内容。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。