专利名称：用于规划媒体数据的传输时间的装置和方法
技术领域：
本申请涉及用于规划媒体数据的传输时间的装置和方法。
背景技术：
在媒体流应用中，数据流包括将要按照规定数据速率(或以可变比特率编码的媒体数据的数据速率分布)输送至接收器的数据段序列，接收器可在开始回放所接收的数据段的同时接收下一数据段。只要数据段可在其规定回放时间之前被输送至接收器，接收器就能支持连续的媒体回放而没有任何中断。媒体数据的输送通过传输协议来完成。有专门为流媒体设计的传输协议，例如 RTSP/RTP。然而，如今越来越多的媒体内容使用标准HTTP协议进行输送，并进而使用TCP 将数据从服务器传送至客户端。由于HTTP和TCP起初均不是为媒体流应用设计的，所以这产生了新的问题。具体地，TCP具有内置式拥塞控制机制，该机制执行两个任务。首先，该机制递增地增加了传输速率以探查从发送器到接收器的路径中的可用带宽。其次，该机制通过监测丢包来探测网络拥塞，以降低受拥塞窗口控制的传输速率从而缓解网络拥塞。在典型的TCP 流中，传输速率递增地增加直至超过网络带宽限制，然后导致丢包，并因此触发拥塞控制机制来降低传输速率。然而，这种拥塞控制机制在下列情况中会产生不必要的丢包(a)媒体流已知带宽需求；以及(b)网络具有足够带宽来满足媒体流的带宽需求。出于说明的目的，下面假设媒体流以2001ApS的数据速率编码而网络具有足够用于媒体流的5001ApS可用带宽，媒体流使用服务器例如网络服务器进行输送，网络服务器尝试使用HTTP协议将媒体流数据发送至接收器，然后依次使用TCP进行实际数据输送。在会话开始阶段，服务器仅以低数据速率进行发送，但传输速率将随着TCP增长其拥塞窗口而渐增地增加。最终，传输速率将超过5001ApS的网络带宽限制并导致丢包。 TCP未意识到拥塞实际上是自己引发自引发的。这触发了 TCP的拥塞控制机制以显著降低传输速率从而克服网络拥塞。在传输速率可能再次上升之前需要一段时间，因此所实现的全部吞吐量基本低于网络带宽(5001ApS)，在某些情况下，甚至低于媒体流数据速率 (200kbps) 0在后一情况下，会导致回放中断。图1通过对2501ibps的媒体流在3G移动网络上使用HTTP的TCP吞吐量随时间的变化进行测绘来示出这个问题。应注意，当TCP继续探查额外的带宽时，传输速率持续增加至约5001APS。图2中的深凹部为自引发的拥塞，在整个流持续时间内自引发的拥塞重复发生。在这个实验中，虽然网络可维持直至为2501ibpS媒体流的数据速率两倍的5001ibpS，但所实现的整个平均吞吐量实际上少于2501ApS。所以，在整个流持续时间内回放会重复停止，这将导致非常差的服务质量。
发明内容
根据本申请的一方面，公开了用于规划媒体数据的传输时间的装置，所述媒体数据包括多个媒体数据单元。所述装置包括第一确定单元，确定传输每个所述媒体数据单元的最迟时间；第二确定单元，确定传输每个所述媒体数据单元的最早时间和绝对最早时间；以及规划单元，为每个所述媒体数据单元规划其传输时间，其中，如果为媒体数据单元之一所确定出的最迟时间不少于为其确定出的最早时间，则所述规划单元从所确定出的最早时间以及最初用于向传输装置传送该媒体数据单元的时间中选择较大的时间，作为传输该媒体数据单元的传输时间；否则，所述规划单元在所确定的绝对最早时间点规划所述传输时间。根据本申请的另一方面，公开了用于规划媒体数据的接收时间的装置，所述媒体数据包括多个媒体数据单元。所述装置包括获取单元，为所述媒体数据单元获取最大传输速率；第一确定单元，根据所述媒体数据单元在过去的时间间隔中的最大传输速率和短期数据吞吐量来确定接收每个媒体数据单元的最早时间；第二确定单元，根据所确定出的短期数据吞吐量确定接收每个媒体数据单元的最迟时间；以及规划单元，在所确定出的最早时间与所确定出的最迟时间的范围内优化每个媒体数据单元的接收时间。根据本申请的另一方面，公开了用于规划媒体数据的接收时间的装置，该装置包括最早时间确定单元，计算媒体数据经过传输周期的短期数据吞吐量，并根据计算出的短期数据吞吐量确定用于接收媒体数据的媒体数据单元的最早时间；以及规划单元，将用于接收每个媒体数据单元的时间规划为不迟于计算出的最早时间。根据本申请的另一方面，公开了一种用于规划媒体数据的传输时间的方法，所述媒体数据包括多个媒体数据单元，所述方法包括确定用于传输每个媒体数据单元的最迟时间；确定用于传输每个媒体数据单元的最早时间和绝对最早时间；以及规划每个媒体数据单元的传输时间，其中，该步骤还包括如果为媒体数据单元之一的所确定出的最迟时间不少于为其所确定出的最早时间，则从所确定出的最早时间以及最初用于传送该媒体数据单元的时间中选择较大的时间，作为该媒体数据单元的传输时间；否则，在所确定的绝对最早时间规划所述传输时间。
根据本申请的另一方面，公开了一种用于规划媒体数据的接收时间的方法，包括接收所述媒体数据的多个媒体数据单元；获取每个媒体数据单元被规划解码用于回放的时间，以及所述媒体数据单元的最大传输速率；根据所述媒体数据单元在过去时间间隔中的最大传输速率和短期数据吞吐量来确定接收每个媒体数据单元的最早时间；根据所确定出的时间确定接收每个媒体数据单元的最迟时间；在所确定出的最早时间与所确定出的最迟时间的范围内优化每个媒体数据单元的接收时间。
图1示出了现有技术中在3G移动网络上的TCP吞吐量随时间的变化。图2示出基于服务器的、应用层的解决方案的两种设计模型。图3为示出根据本申请一个实施方式的规划器的方块图。图4为示出根据本申请另一实施方式的规划器的方块图。图5示出适当的媒体数据速率估计的解决方案。图6为示出根据本申请另一实施方式的规划器的方块图。图7为示出根据本申请另一实施方式的规划器的方块图。图8为示出根据本申请另一实施方式的规划器的方块图。图9为示出根据本申请另一实施方式的规划器的方块图。图10(a)示出在服务器侧(a)执行的基于网络的解决方案。图10(b)示出在客户端侧(b)执行的基于网络的解决方案。图11为示出根据本申请的一个实施方式的、用于规划媒体数据的传输时间的流程图。图12为示出根据本申请的另一实施方式的、用于规划媒体数据的传输时间的流程图。
具体实施例方式在下文中将参照附图对本申请的示例性实施方式进行讨论。在即将讨论的实施方式中，可能位于服务器或客户端中的规划器对数据流或媒体流进行处理。在说明书中，规划器位于服务器中的解决方案被称为基于服务器的解决方案， 规划器位于客户端中的解决方案被称为基于客户端的解决方案。此外，也将对基于网络的解决方案进行讨论。I基于服务器的解决方案基于服务器的解决方案可作为输送媒体流数据的服务器的一部分来执行，也可以作为应用服务器的一部分或与应用服务器合作运行的互补系统模块来执行，如图2所示的那样。基于服务器的解决方案的关键部分是服务应用层与网络传输层之间的传输规划器接口。该接口的功能是控制从应用层至网络传输层的数据流，从而间接地控制所传输的数据的传输速率。图3示出根据本申请的一个实施方式的规划器100。传输规划器100可操作两个输入参数(a)最小数据速率Rmin ；以及(b)最大传输速率Rmax。设、和Si为最初将第i个媒体数据单元提交至传输规划器用于输送的时间和大小(单位为字节)，其中i = 0，1，...。 设^为当第i个媒体数据单元被提交至传输协议用于输送时的实际时间——被规划的传输时间。传输规划器的目的是给定Iti, sj，确定IuJ，从而使(a)长期平均数据吞吐量不低于Rmin，以及(b)短期数据速率不超过Rmax。如图3所示，传输规划器100包括最迟时间确定单元101、最早时间确定单元102、 规划单元203和比较单元104。作为通用规则，媒体数据单元i = 0总是被立即传输，即Utl =、，然后，随后的媒体数据单元(即i > 0)的所规划的传输时间由单元101至104来确定，下面将分别对单元 101至104进行讨论。1. 1示例1--疽谏的媒体数据1)最迟时间确定单元101在该示例中，运行最迟时间确定单元101以确定用于传输媒体数据单元的第i个媒体数据单元的最迟时间Vi。特别地，最迟时间确定单元101首先从以下等式确定整个平均数据吞吐量
权利要求
1.用于确定媒体数据的传输时间的装置，所述媒体数据包括多个媒体数据单元，所述装置包括第一确定单元，确定传输每个所述媒体数据单元的最迟时间；第二确定单元，确定传输每个所述媒体数据单元的最早时间和绝对最早时间；以及规划单元，为每个所述媒体数据单元规划其传输时间，其中，如果为媒体数据单元之一所确定出的最迟时间不少于为其确定出的最早时间，则所述规划单元从所确定出的最早时间以及最初用于向传输装置传送该媒体数据单元的时间中选择较大的时间，作为传输该媒体数据单元的传输时间；否则，所述规划单元在所确定的绝对最早时间点规划所述传输时间。
2.根据权利要求1所述的装置，其中，所述第一确定单元还根据所述媒体数据单元的总平均数据吞吐量和最小数据速率来确定最迟时间，使得所述媒体数据单元的总数据吞吐量保持在最小速率之上。
3.根据权利要求1所述的装置，其中，所述第二确定单元根据所述媒体数据单元的短期数据吞吐量和所述媒体数据单元经过传输周期的短期最大速率来确定所述最早时间和所述绝对最早时间。
4.根据权利要求1所述的装置，还包括比较单元，所述比较单元将为每个媒体数据单元规划的传输时间与当前时间进行比较，其中，如果所规划的传输时间不大于所述当前时间，则所述比较单元立即传输每个媒体数据单元；以及如果所规划的传输时间大于所述当前时间，则所述比较单元等待与所述当前时间和所规划的传输时间之间的差值相等的时间，然后传输每个媒体数据单元。
5.根据权利要求1所述的装置，其中，传输所述媒体数据的速率是恒定的。
6.根据权利要求2所述的装置，其中，所述媒体数据包括VBR编码媒体流，以及其中，所述最小数据速率为短期可变最小速率限制，并依赖于所述媒体数据的媒体回放时间。
7.根据权利要求2所述的装置，其中，所述媒体数据包括直播流，所述最小数据速率为短期最小速率限制，所述装置还包括估计单元，所述估计单元测量生成媒体数据单元的速率或时间，并根据所生成的速率估计所述短期最小速率限制。
8.根据权利要求1所述的装置，其中，所述装置布置在服务器主机中的服务应用层与网络传输层之间。
9.根据权利要求1所述的装置，其中，所述装置布置在位于服务器主机一侧的网关中。
10.根据权利要求2所述的装置，其中，所述媒体数据单元的第i个媒体数据单元的所述最迟时间由Vi表示，并通过第一规则计算[(C(t)nun{TL,(t~u0)} + st)ν, = max max ^-. f --;-L > K^ Μ,mm {TL,(t~u0)\其中t为当前时间；C(t)表示所述媒体数据在时间间隔IY中的长期数据吞吐量；Utl表示第一媒体数据单元的传输时间；Si表示第i个媒体数据单元的大小；、表示最初用于将第i个媒体数据单元提交至所述装置进行传输的时间； Rfflin表示能允许的最小传输速率。
11.根据权利要求3所述的装置，其中，所述媒体数据单元的第i个媒体数据单元的所述最早时间由Wi表示，并通过第二规则计算
12.根据权利要求11所述的装置，其中，所述绝对最早时间根据所述第二规则确定，其中P的值设为1。
13.用于规划媒体数据的接收时间的装置，所述媒体数据包括多个媒体数据单元，所述装置包括获取单元，为所述媒体数据单元获取最大传输速率；第一确定单元，根据所述媒体数据单元在过去的时间间隔中的最大传输速率和短期数据吞吐量来确定接收每个媒体数据单元的最早时间；第二确定单元，根据所确定出的短期数据吞吐量确定接收每个媒体数据单元的最迟时间；以及规划单元，在所确定出的最早时间与所确定出的最迟时间的范围内优化每个媒体数据单元的接收时间。
14.根据权利要求13所述的装置，所述规划单元还在每个媒体数据单元被解码回放之前将其暂时存储；并为所存储的媒体数据单元将所述接收时间规划为不晚于所确定出的最早时间。
15.根据权利要求13所述的装置，还包括比较单元，所述比较单元将所规划的接收时间与当前时间进行比较，其中，如果所规划的传输时间不大于所述当前时间，则所述比较单元立即接收每个媒体数据单元；如果所规划的传输时间大于所述当前时间，则所述比较单元等待与所规划的传输时间和所述当前时间之间的差值相等的时间，然后接收所述每个媒体数据单元。
16.根据权利要求13所述的装置，还包括用于估计所述最大传输速率的估计单元。
17.根据权利要求13所述的装置，其中，所述装置布置在客户端主机的服务应用层与网络传输层之间。
18.根据权利要求13所述的装置，其中，所述装置布置在位于客户端主机一侧的网关中。
19.根据权利要求13所述的装置，其中，时间t的所述短期数据吞吐量由Rmin(t)表示， Rfflin(t)从以下等式中估计出
20.根据权利要求13所述的装置，其中，所述第一确定单元通过以下规则确定所述最早时间Wi Wi = min{t (C(TS，t)min{Ts，t-tj+Si)/min {Ts，t-tj ( P RmaJ 其中t为当前时间；P e [Rmin/R_，U为可配置参数；C(Ts, t)表示所述媒体数据在时间间隔Ts中的短期数据吞吐量；、表示第一媒体数据单元的接收时间；ti表示为第i个媒体数据单元的规划的接收时间；Rmax表示最大允许传输速率；以及Rmin表示最小允许传输速率。
21.根据权利要求13所述的装置，其中，所述第二确定单元通过以下规则确定所述最迟时间Vi V1 ( t0+Pi+ Δ其中，Pi为用于回放媒体数据单元i的解码时间；△为从、至媒体回放开始的时间； to表示所述媒体数据单元的第一媒体数据单元的接收时间。
22.一种用于规划媒体数据的传输时间的方法，所述媒体数据包括多个媒体数据单元， 所述方法包括确定用于传输每个媒体数据单元的最迟时间； 确定用于传输每个媒体数据单元的最早时间和绝对最早时间；以及规划每个媒体数据单元的传输时间，其中，该步骤还包括 如果为媒体数据单元之一的所确定出的最迟时间不少于所确定出的最早时间，则从所确定出的最早时间以及最初用于传送该媒体数据单元的时间中选择较大的时间，作为该媒体数据单元的传输时间； 否则，在所确定的绝对最早时间规划所述传输时间。
23.根据权利要求22所述的方法，其中，所述确定最迟时间还包括根据所述多个媒体数据单元的总平均数据吞吐量和最小数据速率确定所述最迟时间， 使得所述媒体数据单元的总数据吞吐量保持在所述最小速率之上。
24.根据权利要求20所述的方法，其中，所述确定最早时间和绝对最早时间还包括 根据所述媒体数据单元的短期数据吞吐量和所述媒体数据单元经过传输周期的短期最大速率确定所述最早时间。
25.根据权利要求23所述的方法，其中，由Vi表示的第i个媒体数据单元的所述最迟时间通过第一规则确定
26.根据权利要求M所述的方法，其中，由Wi表示的第i个媒体数据单元的最早时间通过第二规则确定
27.根据权利要求沈所述的方法，其中，所述绝对最早时间根据所述第二规则确定，其中P的值设为1。
28.根据权利要求22所述的方法，还包括 比较所规划的传输时间与当前时间；如果所规划的传输时间不大于所述当前时间，则立即传输每个媒体数据单元；以及如果所规划的传输时间大于所述当前时间，则等待与所规划的接收时间和所述当前时间之间的差值相等的时间，然后传输所述每个媒体数据单元。
29.根据权利要求22所述的方法，其中，用于传输所述媒体数据的速率为恒定的。
30.根据权利要求23所述的方法，其中，所述媒体数据包括VBR编码媒体流，所述最小数据速率为短期可变最小速率限制，并依赖于所述媒体数据的媒体回放时间。
31.根据权利要求22所述的方法，其中，所述媒体数据包括直播流，所述最小数据速率为短期最小速率限制，所述方法还包括测量生成媒体数据单元的速率或时间；以及根据所生成的速率估计所述短期最小速率限制。
32.根据权利要求22所述的方法，其中，所述方法在服务器主机中的服务应用层与网络传输层之间执行。
33.根据权利要求22所述的方法，其中，所述方法在服务器主机一侧的网关中执行。
34.一种用于规划媒体数据的接收时间的方法，包括 接收所述媒体数据的多个媒体数据单元；获取每个媒体数据单元被规划的解码回放时间，以及所述媒体数据单元的最大传输速率；根据所述媒体数据单元在过去时间间隔中的最大传输速率和短期数据吞吐量来确定接收每个媒体数据单元的最早时间；根据所确定出的时间确定接收每个媒体数据单元的最迟时间； 在所确定出的最早时间与所确定出的最迟时间的范围内优化每个媒体数据单元的接收时间。
35.根据权利要求34所述的方法，其中，通过以下规则确定由Wi表示的所述最早时间 Wi = min{t| (C (Ts, t)min{Ts, t_t0}+Si)/min {Ts, t_t0} ( P RmaJ其中t为当前时间；P e [Rmin/Rmax，1]为能配置参数；C(Ts, t)表示所述媒体数据在时间间隔Ts中的短期数据吞吐量；、表示第一媒体数据单元的接收时间；ti表示为第i个媒体数据单元规划的接收时间；Rmax表示能允许的最大传输速率；以及Rfflin表示能允许的最小传输速率。
36.根据权利要求34所述的方法，其中，通过以下规则确定由Vi表示的所述最迟时间 Vi ( t0+Pi+ Δ其中，Pi为用于回放媒体数据单元i的解码时间；△为从、至媒体回放开始的时间； t0表示所述媒体数据单元的第一媒体数据单元的接收时间。
37.根据权利要求34所述的方法，所述优化的步骤还包括 在所述媒体数据被解码回放之前将其暂时存储；以及为所存储的媒体数据单元将所述接收时间规划为不晚于所确定的最早时间。
38.根据权利要求34所述的方法，还包括 比较所规划的接收时间与当前时间；如果所规划的传输时间不大于所述当前时间，则立即接收每个媒体数据单元；如果所规划的传输时间大于所述当前时间，则等待与所规划的传输时间和所述当前时间之间的差值相等的时间，然后接收所述每个媒体数据单元。
39.根据权利要求38所述的方法，还包括 估计所述最大传输速率。
40.根据权利要求34所述的方法，其中，所述方法在客户端主机的服务应用层与网络传输层之间执行。
41.根据权利要求34所述的方法，其中，所述方法在位于客户端主机一侧的网关中执行。
42.根据权利要求34所述的方法，其中，在时间t的所述短期数据吞吐量由Rmin(t)表示，Rmin(t)从以下等式中估计出
43.用于通过TCP提高流媒体的性能的系统，包括权利要求1所述的装置和权利要求 13所述的装置，其中，权利要求1所述的装置部署在服务器侧，而权利要求13所述的装置部署在客户端侧。
全文摘要
公开了用于规划媒体数据的传输时间的方法和装置。媒体数据包括多个媒体数据单元。在一个实施方式中，该装置包括第一确定单元，确定传输每个所述媒体数据单元的最迟时间；第二确定单元，确定传输每个所述媒体数据单元的最早时间和绝对最早时间；以及规划单元，为每个所述媒体数据单元规划其传输时间，其中，如果为媒体数据单元之一所确定出的最迟时间不少于为其确定出的最早时间，则所述规划单元从所确定出的最早时间以及最初用于向传输装置传送该媒体数据单元的时间中选择较大的时间，作为传输该媒体数据单元的传输时间；否则，所述规划单元在所确定的绝对最早时间点规划所述传输时间。
文档编号H04N21/266GK102484741SQ201080037273
公开日2012年5月30日 申请日期2010年8月19日 优先权日2009年8月21日
发明者李耀斌 申请人:香港中文大学