在自适应流送中用缓冲器和范围约束来进行质量优化的制作方法
【技术领域】
[0001] 本公开设及计算机网络中的自适应流送。
【背景技术】
[0002] 在传统的自适应流送中，视频流被分成各自为几秒的短段，其中，W若干不同的比 特率从主要的高质量源来对运些段进行编码（或转码），并且输出被存储在客户端从其获 取片段的服务器处。通常的做法是编码器/转码器使用恒定比特率（CBR)，来产生视频输出 的层（tier)或"等级（level)"的集合。客户端应用使用HTTPGET请求来从服务器（经常 顺序地）下载段、通过对下载性能进行测量来估计可用的带宽、W及在之前的段完成时选 择要获取的下一段的视频等级。
[0003] 通常，几十秒所下载的视频段在客户端处被缓冲W适应带宽波动。可行的速率 自适应算法实现了高的平均视频质量、低变化的视频质量和低概率的由缓冲器欠载运行 (underrun)所引起的视频播出停止。
【附图说明】
[0004] 图1是示例系统的示意图，在该示例系统中自适应流送被用于通过网络向计算设 备提供视频内容。
[0005] 图2是内容服务器的示例实施例的示意图，该内容服务器W不同比特率和质量等 级来向图1的系统的计算设备提供内容流的段。
[0006] 图3是计算设备的示例实施例的示意框图，该计算设备接收视频流段W用于在图 1的系统中的设备处显示并进行观看。
[0007] 图4是描述使用图1的系统W不同的比特率和相应的质量等级来对内容流的段进 行编码的示例处理的流程图。
[0008] 图5是描述使用图1的系统基于缓冲器和范围约束来对内容流的段的质量进行优 化的示例处理的流程图。
[0009] 图6是描述计算设备的示意图，该计算设备根据本文中所描述的技术W选定比特 率来从内容服务器接收视频段。
【具体实施方式】
[0010] 歷
[0011] 本文中描述了用于优化自适应流送的质量的技术，其中，关于内容流的视频段的 编码比特率和视频质量评分的信息被获得。内容流的视频段由内容服务器提供并且由计算 设备下载。针对每一视频段，编码比特率被确定W用于从内容服务器下载视频段，其中，确 定当前视频段的编码比特率是基于估计的当前可用网络带宽、下载的视频段被存储于其中 的缓冲器的约束、并且还基于在所选择的范围（该所选择的范围从当前视频段延伸到在范 围端点处的内容流中的将来视频段）内与视频段相关联的质量评分。每一内容段W针对该 内容段的所确定的比特率被从内容服务器下载。
[0012] 示例连施例
[0013] 本文中描述了用于通过应用动态速率自适应分析来提高自适应流送中的内容的 质量的技术，该动态速率自适应分析基于视频段的给定的时间范围来对从内容服务器获取 或下载的每一视频段的质量等级进行优化。分析将与显示内容的计算设备相关联的范围约 束和存储缓冲器考虑在内，其中，视频质量优化基于如下约束而被确定：客户端缓冲器被限 制在最高等级（例如，针对低延迟的实时流送）和最低等级（例如，针对最小化缓冲欠载运 行的可能性的点播流送）之间。与优化的质量等级相关联的编码比特率被选择W用于每一 视频段，其中，优化的质量等级只基于针对该内容的视频段的最近时间流中的选定范围内 的视频段。
[0014] 不论来自内容服务器的视频内容是恒定比特率（CBR)编码的还是可变比特率 (VBR)编码的都可W使用本文中所描述的技术。本文中所描述的技术还避免了链路带宽变 化的任意统计模型，但替代地被配置为对任意可能情境的视频质量进行优化（由于每一段 的视频质量基于当前缓冲器约束和视频段的有限或选定将来范围而被确定）。可W被实现 W用于本文所描述的优化视频段的质量的技术的视频质量评分的一些非限制性示例包括 PSNR(峰值信噪比）和负MSE(均方误差或-MSE)、MS-SSIM(多尺度结构相似性）与VQM(视 频质量度量）。
[0015] 本文中所描述的自适应流送系统和方法的实施例使用恒定质量、或近乎恒定质 量、段（还被称为区块或片段）来甚至在自适应流送的上移和下移期间提供更好的观看体 验。在所描述的实施例中，计算设备可W通过选择恒定质量段来直接追踪和优化质量，W使 得计算设备在让带宽波动期间维持平稳的质量，因此为其他客户端释放了可能W其他方式 来拉取比当前质量等级需要的数据更多的数据而被浪费的带宽。计算设备通过W下方式来 实现运一点：(a)接收可用带宽内的最高质量表示；化）当带宽可用时，上移到更高的质量 表示（而不是上移到更高的比特率，即使质量可能不被提高）；和/或（C)当带宽缺乏时， 下移到更低的质量。
[0016] 自适应流送系统一般地落入基于推送的（push-based)系统或基于拉取的 (pull-based)系统。尽管自适应流送系统的某些实施例可W为了基于推送的系统（或者基 于推送的系统和基于拉取的系统的组合）的益处而被使用，但本公开的重点在于基于拉取 的系统。在基于拉取的自适应流送中，客户端决定接下来要从源（例如，源服务器或内容服 务器、缓存服务器等）请求哪个段。该决定可W基于内容段和观测值的各种属性，比如，当 前（所观测的或可用的）带宽和客户端缓冲器中的数据量。在当前系统中，适应可W采取 请求W不同比特率被编码的段的形式。例如，客户端可W上移或下移（比如，切换到不同的 比特率）或者保持在相同的比特率W提供连续的播放。比特率切换决定基于预定调度进行 修订，并且然后新的段W确定的比特率被请求。各种目标函数是可能的，并且客户端可W在 算法方面存在不同，该算法被用于尝试最大化在可用带宽约束内递送的视频质量。然而，传 统系统间的共同特质是使用段编码比特率来作为视频质量的替代变量。
[0017] 在本文所描述的实施例中，不同于使用W各种目标比特率对内容进行编码的编码 器，所公开的自适应流送系统的编码器W各种质量等级来对内容进行编码，并且然后基于 时距（temporal化ration)来将所编码的流划分成（或者相似地，分段成）段，段的大小W 字节计并且取决于编码速率，其进而对应于网络上所需要的传输带宽。质量变化根据预定 质量窗来使能对比特率变化的约束。
[0018] 例如，编码器（或者在一些实施例中，诸如服务器之类的另一网络设备）提供由质 量等级直接组织的（例如，明确指示的）内容矩阵。换言之，每一表示对应于（单个）质量 等级而不是标称比特率或平均比特率。每一段的元数据包括质量等级、W及时距、和W字节 计的段的尺寸或段平均比特率中的任一者（其中最后两个是共辆变量--一个共辆变量可 W根据另一已知的时距而被计算得出）。此外，计算设备根据自适应流送系统的某些实施例 而被配置为通过基于本文中所描述的技术选择下一段来在给定的带宽约束内实现平稳、非 递减的质量。
[0019] 在一些实施例中，该基于质量的自适应流送方案可W被嵌入到元数据中W使得现 有的计算设备（在不对软件和/或硬件进行修改的情况下）能够发送请求（例如，按照常 规所做地，基于时间戳、比特率等），并且网络设备（例如，源服务器或缓存服务器）基于本 文中所描述的技术来对具有最高质量等级的段进行访问。
[0020] 运些实施例和其他实施例和/或其他特征在下文中在示例计算机网络环境的上 下文中被描述，其中内容出于协助理解本公开的目的而被具体化为视频。应该认识到，代替 或者附加到视频的其他内容（例如，音频、数据、图形、图像等），也被认为在实施例的范围 内。此外，自适应流送系统的某些实施例下面在使用超文本传输协议（HIT巧的环境中的自 适应流送的上下文中被描述。HTTP是针对客户端-服务器计算的请求-响应标准。在HTTP 中，Web浏览器作为客户端，而在托管网站或内容的计算机上运行的应用作为服务器。HTTP 使用传输控制协议（TCP)，该传输控制协议是被用于互联网和其他相似网络的通信协议的 互联网协议（I巧系列的一部分。本领域的技术人员应该理解，对多媒体（例如，视频、图形、 音频、和/或数据、或者在本文中还W其他方式单独或共同被称为介质内容、或者简单地被 称为内容的多媒体）进行分发的其他网络也可W受益于自适应流送系统和方法的某些实 施例，并且因此被认为是在本公开的范围内。本领域普通技术人员应该理解，尽管本文公开 了一个或多个实施例的细节，但所描述的细节不必是每个实施例的一部分。
[0021] 图1是示例环境（计算机网络100)的示意图，在该示例环境中自适应流送系统和 方法的某些实施例可W被实现。本领域普通技术人员应该知道，在本公开的上下文中，图1 中所示的计算机网络100只是示意性的，并且不应该被解释为暗指对本公开的范围的任意 限制。计算机网络100可W包括多个个人网络，比如，无线网络和/或有线网络。图1中所 示的示例计算机网络100包括多个计算设备102、104、105和106 (例如，有线和/或无线的 设备，比如蜂窝电话、个人数字助手（PDA)、计算机设备或系统（比如膝上型计算机、个人计 算机、机顶终端、具有通信能力的电视、DVD/CD记录器等）），该多个计算设备102、104、105 和106与一个或多个服务器设备（比如，边缘或缓存服务器设备108)和/或一个或多个上 行设备（比如，内容服务器设备114)进行通信。内容服务器设备114被W通信的方式禪合 到一个或多个编码设备，比如，编码或转码设备116。在计算机网络100中可W采用另外的 服务器。还在一些示例实施例中，内容服务器设备114和编码设备116可W被集成为单个服 务器设备。缓存服务器设备108被禪合到上行网络（比如，广域网（WAN) 112)，在一个实施 例中该上行网络包括互联网。在一些实施例中，缓存服务器设备108可W通过诸如局域网 (LAN)之类的网络被禪合到计算设备102、104、105和106。其他网络（包括使用与其他传 输协议或标准进行合并的分组的网络）被认为是在本公开的范围内。缓存服务器设备108 和内容服务器设备114还可W包括一个或多个存储设备（例如，与一个或多个存储设备集 成）或者与一个或多个存储设备进行本地通信。
[0022] 缓存服务器设备108和计算设备102、104、105和106之间的通信可W是经由无线 连接或有线连接，W非限制性示例的方式包括W太网、令牌环、私人或专有网络、及其他。缓 存服务器设备108和/或内容服务器设备114可W包括互联网服务提供商（IS巧设施中的 服务器、私有服务器、网关、和/或被用于传输流视频文件（W及其他内容，比如数据、音频 等）的其他设备或设施。本领域普通技术人员应该理解，另外的计算设备、缓存服务器设 备、上行服务器设备和诸如路由器、网桥等之类的其他设备可W被用于计算机网络100。计 算设备102、104、105和106、缓存服务器设备108W及内容服务器设备114之间的互联网协 议（I巧分组的通信可W根据多个不同的协议（（除此W外）包括传输控制协议（TCPVIP) 中的一个或多个而被实现。
[0023]编码设备116被配置有处理器118、存储器120 (其被配置有（可执行指令或代码 的