用于媒体流式传输的改善的请求取消方法

用于媒体流式传输的改善的请求取消方法
【专利说明】用于媒体流式传输的改善的请求取消方法
【背景技术】
[0001] 超文本传输协议（"HTTP"）是当前通过互联网来传递内容(例如，视频、图片、文本 等等）的常用方法。在许多当前的应用（例如，流式传输视频文件）中，通过从接收机设备向 HTTP服务器重复地请求针对内容的连续片段（segment)而使得内容渐进地可用。片段的可 用性遵循时间线，其中时间线指示每个相继片段在HTTP服务器中何时变得可用。
[0002] 超文本传输协议的动态自适应流式传输（"DASH"）是实现HTTP流式传输的标准。 DASH在发送给接收机设备的媒体呈现描述（"MPD"）中通告片段的可用性。MH)描述与DASH媒 体呈现相关联的媒体组件，并且声明片段可用性时间线，其中片段可用性时间线通告片段、 片段可用的时间以及片段的大小。
[0003] 当前，接收机设备可以通过在播放内容的当前片段时持续地向内容提供方请求内 容的下一片段来渲染内容流。为了收集渲染内容所需要的片段，在接收机设备上运行的具 有DASH功能的应用/客户端向HTTP服务器发送HTTP请求，以请求在MPD中所标识的下一片 段。HTTP服务器利用所请求的片段来进行响应，或者利用指示另一个统一资源定位符 ("URL"）的HTTP重定向消息来进行响应，其中DASH客户端应当向该URL发送针对片段的后续 HTTP请求。
[0004] DASH还允许使每个片段的一个以上的表示(representation)(例如，视频质量版 本)可用。例如，可以通过在一个服务器(例如，URL)上托管片段的高比特速率/高质量版本 并且在另一个服务器上托管相同片段的低比特速率/低质量版本，来使每个片段的一个以 上的表示可用。DASH应用/客户端然后可以获取片段的高比特速率/高质量版本(例如，当接 收带宽高时)或者低比特速率/低质量版本(例如，当接收带宽低时），并且渲染任一版本。如 果接收机设备经历非常高的带宽，则接收机设备可以下载高质量表示和低质量表示二者。

【发明内容】

[0005] 各个实施例提供了由在接收机设备上执行DASH客户端的处理器来实现的、用于鉴 于接收机设备的资源(例如，带宽、电池功率等等)上的变化而确定要何时取消或放弃按照 当前表示下载当前片段并且按照不同表示重新开始下载当前片段，以满足与接收机设备的 资源上的变化相关的一个或多个性能目标和/或优化的方法。在各个实施例中，接收机设备 处理器可以执行成本效益分析，以确定在对当前片段的正在进行的下载期间切换表示是否 会有益于接收机设备的性能，并且接收机设备处理器可以响应于确定切换表示会改善接收 机设备的性能而切换表示。
[0006] 在一个实施例中，接收机设备处理器可以在确定是否要切换表示之前识别接收机 设备上已发生切换情形。在一个实施例中，当接收机设备的可用资源(例如，带宽、电池功率 等等)上的变化正在影响或者将影响当前片段下载期间的一个或多个性能目标时会发生切 换情形，并且切换情形可以表示如下情况，在该情况下，可能要求取消按照当前表示对当前 片段的下载并且重新开始下载当前片段的不同表示，以满足一个或多个性能目标。
[0007] 在一个实施例中，响应于识别切换情形，接收机设备处理器可以执行成本效益分 析，以确定在当前片段的下载期间切换表示是否会达到一个或多个性能目标或者引起接收 机设备上的期望性能。在另外的实施例中，接收机设备处理器可以确定或计算满足所述一 个或多个性能目标所需的最低条件(例如，一个或多个成本阈值），例如，放弃对当前片段的 正在进行的下载所需的时间以及用于按照新的表示从该服务器下载整个当前片段的时间。
[0008] 在另一个实施例中，接收机设备处理器可以将切换表示的成本与成本阈值进行比 较，以确定切换表示是否是用于达到一个或多个性能目标的令人期望的策略，并且仅当接 收机设备处理器确定切换的益处大于成本时（例如，当经计算的成本不超过成本阈值时）， 接收机设备处理器才会取消当前片段请求并切换到当前片段的另一个表示。否则，当成本 超过成本阈值时，接收机设备处理器不会采取进一步的动作，并且允许继续正在进行的下 载。
【附图说明】
[0009] 附图（其被并入本文并构成本说明书的一部分)示出了本发明的示例性实施例，并 且与上面所给出的概括描述以及下面所给出的具体实施例一起，用于说明本发明的特征。
[0010] 图1是适合于与各个实施例一起使用的网络的通信系统框图。
[0011] 图2是示出了用于响应于识别即将出现的播出停顿而请求按照具有较低比特速率 的表示下载下一个片段的典型方法的过程流程图。
[0012] 图3是示出了用于当切换到当前片段的另一个表示的成本不超过成本阈值时切换 到当前片段的另一个表示的实施例方法的过程流程图。
[0013] 图4是示出了用于确定切换到当前片段的最小成本表示的成本是否超过成本阈值 的实施例方法的过程流程图。
[0014] 图5是示出了用于切换到当前片段的最佳可用表示的实施例方法的过程流程图。 [0015]图6是示出了切换表示所需的操作的时间线图。
[0016] 图7是示出了用于切换表示以避免即将出现的播出停顿的实施例方法的过程流程 图。
[0017] 图8是示出了用于当切换到表示的成本不超过与一个或多个性能目标和/或优化 相关联的一个或多个成本阈值时切换到该表示的实施例方法的过程流程图。
[0018] 图9是示出了用于响应于识别以可用于接收机设备的资源上的增加为特征的切换 情形而确定是否要切换表示的实施例方法的过程流程图。
[0019] 图10是示出了用于响应于识别带宽上的突然增加而确定是否要同时按照当前表 示和具有较高比特速率的表示下载当前片段的实施例方法的过程流程图。
[0020] 图11是适合于与各个实施例一起使用的示例性接收机设备的部件图。
【具体实施方式】
[0021] 将参考附图详细描述各个实施例。只要有可能，贯穿附图将使用相同的附图标记 来指代相同或相似的部件。对特定例子和实现做出的引用是出于说明性的目的，并非旨在 限制本发明或权利要求的范围。
[0022] 如本文所使用的，术语"接收机设备"是指以下各项中的任意一项或所有项：蜂窝 电话、智能电话、个人或移动多媒体播放器、个人数据助理(PDA)、膝上型计算机、平板计算 机、智能本、掌上计算机、无线电子邮件接收机、具有多媒体互联网功能的蜂窝电话、无线游 戏控制器、个人计算机、电视机顶盒、电视机、有线电视接收机、以及包括可编程处理器和存 储器以及用于呈现媒体内容的电路的类似个人电子设备。
[0023] 如本文所使用的，术语"切换表示（switching representations)"是指以下过程： 取消按照第一表示对当前片段的下载，并且按照第二表示重新开始对该当前片段的下载。 [0024]本文讨论了不同的应用/客户端、中间件、片段可用性时间线、无线技术和传输协 议的各个例子，特别是DASH客户端、MPD和HTTP。提供对DASH客户端、MPD和HTTP的讨论仅是 作为例子以更好地说明各个实施例的方面，而并非旨在以任何方式限制各个实施例。其它 应用/客户端、中间件、片段可用性时间线、无线技术和传输协议可以与各个实施例一起使 用，并且在不偏离本发明的精神或范围的情况下，在各个例子中可以替换所述其它应用/客 户端、中间件、片段可用性时间线、无线技术和传输协议。
[0025]典型地，DASH客户端在某一时间处处理三个不同的片段：正从回放缓冲区播出的 片段、当前从HTTP服务器下载的片段；以及要请求下载的下一个片段。如本文所使用的，术 语"当前片段"是指当前正在下载并被存储到回放缓冲区中的片段。典型地，当前下载的片 段将稍后播放，例如播放的下一个片段或者稍后某一时间播放的片段。在具有媒体应用系 统(其支持对部分下载的片段的播出）的接收机设备中，当前片段(即，正在下载并存储的片 段)可以在下载完成之前开始播放，这是因为在接收并存储片段的其余部分的同时，媒体片 段可以开始从回放缓冲区中访问片段的已下载部分。
[0026]在流式传输内容（例如，视频)时，接收机设备可能出于各种原因而经历可用带宽 上的波动。典型地，运行在接收机设备上的DASH客户端通过当DASH客户端请求流式传输内 容的下一个片段时，基于当前可用带宽来在流式传输内容的不同表示当中选择用于下载的 下一个片段的表示，来处理带宽变化。例如，客户端设备可以响应于识别可用带宽上的下降 而请求流式传输内容的下一个片段的较低比特速率版本。对每个片段的适当版本的这种选 择可以基于下载片段将花费的时间相比于该片段开始播放之前剩余的时间（或者正在播放 的片段的剩余播放时间），而下载每个片段的时间可以基于片段中要下载的数据量除以由 当前带宽所支持的估计的比特速率来进行估计。因此，DASH客户端当前仅可以改变针对内 容的下一个片段的比特速率表示。如本文所描述的，选择针对要下载的下一个片段的另一 个表示的过程被称为"主速率选择算法"。
[0027]有时，当DASH客户端正在以某一比特速率下载当前片段时，可用带宽显著下降，使 得在当前片段被调度开始播放之前不能完成对当前片段的完整下载。当这种情况发生时， 在带宽下降的前提下，当前片段将无法及时下载，因此结果将是视频播出的停顿。在当前的 实现中，DASH客户端可以基于对以下各项的估计来预测回放停顿何时可能发生：当前带宽 (下载比特速率）、还要从HTTP服务器接收的当前片段的数据量、以及在当前片段被调度开 始之前剩余的时间。但是，DASH客户端仅可以通过如上面所描述的主速率选择算法解决回 放问题。因此，即使DASH客户端可能最终通过切换到具有较低比特速率的表示解决了回放 停顿，但是到那时，用户可能已经经历性能下降（例如，回放停顿）。因此，用户可以从处理在 当前片段下载期间发生的带宽突然下降的方法中获益。
[0028]概括地说，各个实施例提供了由在接收机设备上执行DASH客户端的处理器来实现 的、用于鉴于接收机设备的资源(例如，带宽、电池功率等等)上的变化而确定要何时取消或 放弃按照当前表示下载当前片段并且按照不同表示重新开始对的当前片段的下载以满足 与接收机设备的资源上的变化相关的一个或多个性能目标和/或优化的方法。在各个实施 例中，接收机设备处理器可以执行成本效益分析，以确定在对当前片段的正在进行的下载 期间切换表示是否会有益于接收机设备的性能，并且接收机设备处理器可以响应于确定切 换表示会改善接收机设备的性能来切换表示。
[0029] 在一个实施例中，接收机设备处理器可以在确定是否要切换表示之前识别接收机 设备上已发生切换情形。在一个实施例中，当接收机设备的可用资源(例如，带宽、电池功率 等等)上的变化正在影响或者将影响当前片段下载期间的一个或多个性能目标时会发生切 换情形。示例性性能目标包括维持某一功耗率、确保用于播出的目标比特速率、限制数据使 用、以及确保平滑播出（例如，避免播出停顿）。特别地，切换情形可以表示以下情况，在该情 况下，可能要求取消按照当前表示对当前片段的下载并且重新开始对当前片段的不同表示 的下载，以满足一个或多个性能目标。例如，当接收机设备处理器识别带宽上的突然下降将 导致播出停顿时会发生切换情形，因为较低的带宽将阻止接收机设备在当前片段被调度用 于播出之前完成对具有当前比特速率表示的当前片段的下载。
[0030] 在一个实施例中，响应于识别切换情形，接收机设备处理器可以执行成本效益分 析，以确定在当前片段的下载期间切换表示是否会达到一个或多个性能目标或者引起接收 机设备上的期望性能。在另外的实施例中，接收机设备处理器可以确定或计算满足所述一 个或多个性能目标所要求的最低条件(例如，成本阈值）。例如，达到平滑回放的成本阈值可 以是从播出停顿发生之前的时间量的角度来讲的，并且满足关于阻止播出停顿要求切换表 示所需要的时间不超过预计要发生播出停顿之前的时间的平滑回放目标。在下面的描述中 以及在权利要求书中，对"成本"的引用旨在涵盖本质上不是财务的多种因素，包括电池功 耗以及用于完成如下面所描述的各个任务的时间。
[0031] 在一个实施例中，接收机设备处理器可以基于要满足的一个或多个性能目标来计 算与切换表示相关联的各种成本。在性能目标是确保平滑播出的例子中，接收机设备处理 器可以从切换表示所要求的时间的角度上来计算与切换表示相关联的成本，例如放弃对当 前片段的正在进行的下载(其可能涉及关闭TCP/IP连接并打开新连接)所需要的时间、向 HTTP服务器传送针对另一个表示的请求所需要的时间、以及用于按照新的表示从该服务器 下载整个当前片段的时间。在各个实施例中，接收机设备处理器还可以或者替代地从切换 表示所需要的功率、对播出的平均比特速率的影响、或者对各种其它性能目标或优化的影 响的角度来确定成本。
[0032] 在另一个实施例中，接收机设备处理器可以将切换表示的成本与预先确定的成本 阈值进行比较，以确定切换表示是否是用于达到一个或多个性能目标的令人期望的策略。 接收机设备处理器可以在切换表示之前执行成本效益分析，因为在许多实例中，每次检测 到切换情形就切换表示可能引起比不采取动作更差的用户体验。因此，仅当接收机设备处 理器确定切换的益处大于成本时（例如，当经计算的成本不超过成本阈值时），接收机设备 处理器才会取消当前片段请求并且切换到当前片段的另一个表示。否则，当成本超过成本 阈值时，接收机设备处理器不会采取进一步的动作并且可以正常地操作，例如通过执行如 上面所描述的主速率选择算法。
[0033]在另外的实施例中，接收机设备处理器可以切换表示而不干扰接收机设备处理器 执行主速率选择算法的能力。在一个实施例中，接收机设备处理器在确定是否在当前片段 下载期间切换表示时可以使用与在执行主速率选择算法时相同的信息源。该实施例可以避 免"兵乓(ping-pong)"情形，在该情形下，接收机设备处理器在对当前片段的下载期间切换 表示而之后在执行主速率选择算法以选择下一个片段时又切换回去。
[0034]图1示出了适合于与各个实施例一起使用的通信网络系统100。通信网络系统100 可以包括多个设备，例如接收机设备102、一个或多个蜂窝塔或基站104、一个或多个无线接 入点114、一个或多个路由器109、以及连接到互联网110的服务器108和112。接收机设备102 可以经由一个或多个蜂窝连接1〇6(包括001^、了01^、631、？03、36、46、1^或者任何其它类型 的连接)来与蜂窝塔或基站104交换数据。蜂窝塔或基站104可以与路由器(未示出）相通信， 其中路由器可以连接到互联网110。接收机设备102可以经由一个或多个连接118(包括 'Vi-Fi?或者任何其它类型的连接)来与无线接入点114交换数据。无线接入点114可以与 路由器(未示出）相通信，其中路由器可以连接到互联网110。接收机设