使用虚拟分辨率调整的视频流缩放的制作方法

背景技术：

1、提供云游戏服务是一项复杂的操作，需要大量复杂的计算基础设施，并涉及维持游戏和网络性能之间的平衡—理想情况下不影响用户体验。在云游戏中，视频输出(图形)是利用云中的服务器生成的，然后流式传输到游戏玩家的显示设备进行显示。通常，流媒体系统在服务器侧对玩游戏的视频数据进行编码，视频数据的解码和视频帧的渲染发生在客户端侧，以便在客户端设备上显示。传统上，为了减少或以其他方式控制流媒体系统的延迟和丢包，或减少流媒体服务器的资源使用(例如，用于编码和流式传输视频到客户端设备的计算资源量)，流媒体系统可以降低或减少编码到流的帧的分辨率。

2、将流媒体视频的分辨率从1080p降低到720p，可以减少编码视频数据所需的比特率和传输视频数据所需的网络资源。一些传统的流媒体系统可以改变流媒体游戏的分辨率，以响应减少的网络带宽。然而，降低流媒体游戏的分辨率可能需要对流进行“重启”或“重置”以适应分辨率的变化。传统上，视频译码标准不支持基于先前不同分辨率的帧来预测视频数据的帧。因此，当流媒体游戏的分辨率被修改时，必须插入包含额外编码信息的新的帧内编码帧(例如，i-帧)。由于额外的编码信息，这些帧可能比预测的帧(例如，p-帧)大得多，而预测的帧可能依赖于早期帧的信息。这种额外的帧内编码帧的增加的大小可能会导致接收设备处的延迟和/或视觉停顿(stutter)的闪烁(spike)。此外，在流媒体视频中引入帧内编码帧可能导致接收设备的解码器重新启动视频解码过程--进一步影响延迟和视觉停顿。传统的技术已经试图限制帧内编码帧的大小。然而，限制这些帧的大小可能会由于量化损失和压缩伪影的增加而导致视觉质量下降。

技术实现思路

1、本公开的实施例涉及使用虚拟分辨率调整改善视频流系统的可扩展性。公开了系统和方法，该系统和方法基于观察到的网络条件和/或流媒体内容的特性来确定视频流的帧的图像的缩放分辨率，从而图像可以被缩放，用填充区域填充，并流式传输到接收设备而不需要改变视频帧的实际分辨率。

2、与传统的方法，例如上述的方法相比，所公开的方法可以在较大的帧分辨率内执行与视频流相关联的分辨率的“虚拟”缩放，例如来自游戏或其他应用程序。通过减少或增加源视频数据(如图像)的有效分辨率，同时填充和/或扩展缩放后的源视频数据，可以保持原始分辨率。因此，视频数据流的预测性编码可以被保留，而不需要插入额外的、通常较大的帧内编码帧。由于在减少或增加有效分辨率时不需要帧内编码帧，虚拟分辨率缩放可以在与网络条件和/或流媒体系统的需求相对应的大小和/或频率下执行。此外，由于流媒体视频数据的虚拟缩放可以在更小和/或更频繁的步骤中完成，现有的视频压缩算法(例如，运动估计等)可以正确响应虚拟分辨率的任何变化。因此，游戏内容可以流式传输到一个或更多个客户端设备，在减少编码比特率以考虑到网络条件和/或网络资源的变化的同时，使感知的质量降低最小或不降低。

技术特征：

1.一种方法，包括：

2.如权利要求1所述的方法，其中所述传输包括使用所述一个或更多个分组存储表示一个或更多个参数的数据，所述参数指示帧内的至少一个图像的分辨率或帧内的所述至少一个图像的位置中的一个或更多个。

3.如权利要求1所述的方法，进一步包括：

4.如权利要求3所述的方法，其中引起所述解码包括引起所述设备从所述帧中裁剪掉所述一个或更多个帧。

5.如权利要求1所述的方法，其中所述数据指示网络带宽、视频复杂度的指示或与所述视频流相关联的目标比特率中的一个或更多个。

6.如权利要求1所述的方法，其中所述缩放被配置为将所述第一分辨率降低与定义所述编码中使用的视频压缩处理边界的像素大小的倍数对齐的量。

7.如权利要求1所述的方法，其中所述第一分辨率是所述视频的原始分辨率。

8.如权利要求1所述的方法，包括：通过两个或更多个迭代步骤将所述一个或更多个帧中的一组帧转变为目标分辨率，所述两个或更多个迭代步骤中的每个步骤对应于不同的分辨率，其中所述两个或更多个迭代步骤中的至少一个迭代步骤包括所述缩放、所述编码和所述生成。

9.一种系统，包括：

10.如权利要求9所述的系统，其中对所述至少一个帧进行编码包括对表示一个或更多个参数的数据进行编码，所述参数指示所述填充的大小或所述填充在所述至少一个帧内的位置中的一个或更多个。

11.如权利要求9所述的系统，其中所述填充包括将一个或更多个虚拟像素附加到对应于所述至少一个帧并缩放到所述第二分辨率的图像上，所述一个或更多个虚拟像素具有与所述图像中的至少一个其他像素的像素值相对应的一个或更多个像素值。

12.如权利要求9所述的系统，进一步包括使所述设备裁剪所述帧，将裁剪后的帧放大，并显示放大后的帧。

13.如权利要求9所述的系统，其中所述数据指示网络带宽或与所述视频流相关联的目标比特率中的一个或更多个。

14.如权利要求9所述的系统，其中以第一分辨率生成所述视频的所述一个或更多个帧包括：将所述一个或更多个帧缩放与定义所述编码中使用的视频压缩处理边界的像素大小的倍数对齐的量。

15.如权利要求9所述的系统，其中所述第二分辨率是所述视频的原始分辨率。

16.如权利要求9所述的系统，包括：通过两个或更多个迭代步骤将所述视频通过编码到所述视频流的帧转变为目标分辨率，所述两个或更多个迭代步骤中的每个迭代步骤对应于不同的分辨率，其中所述两个或更多个步骤中的至少一个迭代步骤包括所述编码和所述生成。

17.如权利要求9所述的系统，其中所述系统被包括在以下中的至少一个中：

18.一种处理器，包括：

19.如权利要求18所述的处理器，其中所述一个或更多个电路用于将表示一个或更多个参数的数据存储在表示编码帧的一个或更多个分组中，所述一个或更多个参数指示所述帧内的第二一个或更多个帧的尺寸或所述帧内的所述第二一个或更多个帧的位置中的一个或更多个。

20.如权利要求18所述的处理器，其中所述处理器被包括在以下中的至少一个中：

技术总结
本发明公开了使用虚拟分辨率调整的视频流缩放。在各种示例中，随着时间的推移，观察与视频流相关联的网络条件，以确定虚拟缩放系数，虚拟缩放系数可应用于视频流的一个或更多个帧的图像，以生成可附加填充区域的缩放图像，该填充区域保持视频和/或视频流的原始分辨率，以便接收设备可在解码过程中从接收的视频流中裁剪填充区域，而无需重新启动或包括附加的帧内编码帧。

技术研发人员：B·G·拉奥,N·库克,J·霍华德
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/15