支持保障传递时间和区别服务水平的高速文件传递服务的实用模型的制作方法

专利名称：支持保障传递时间和区别服务水平的高速文件传递服务的实用模型的制作方法
支持保障传递时间和区别服务水平的高速文件传递服务的实用模型
相关申请
本申请要求根据U. S. C.第119(e)条享有于2008年1月17日提交的、序列号为 61/021,766的美国临时专利申请的优先权，并通过引用将其纳入本文。本申请还通过引用 整体纳入下列申请的申请文件于2004年12月M日提交的题为“BULK DATA TRANSFER PROTOCOL FORRELIABLE, HIGH-PERFORMANCE DATA TRANSFER WITH INDEPENDENT, FULLY MANAGEABLE RATE CONTROL”序列号为60/638，806的美国临时专利申请；于2005年12月 23日提交的题为“BULK DATA TRANSFER”的美国专利申请11/317，663 ；以及于2007年9月 4 日提交的题为 “METHOD AND SYSTEM FOR AGGREGATE BANDWIDTH CONTROL” 的美国专利申 请 11/849，742。
背景技术：
在整个媒体及娱乐业，传统的模拟方法(analog processes)正迅速地被全数 字的、基于文件的工作流(workflow)代替。大多数数字工作流的核心是以下基础需求 在商业单位之间或者在公司之间传送基于文件的数据——从原始媒体摄取(ingest)， 经过后期制作，经过半成品配音、定位(localization)或复制，直到消费者发行 (distribution)——始终是基于文件的媒体在各机构之间传送。多年来，一些电子文件传 输一直是通过传统的FTP来完成，或者通过将传递物卸载至私有网络服务的专用传递服务 (dedicated deliveryservices)来完成，但是在很大程度上，大多数媒体仍是实体地从一 个地方运输或者递送至另一个地方。这有许多原因文件过大以致在传统协议诸如FTP给 定的低带宽利用率(bandwidth utilization)下很难进行实际传输；专用传递服务众所周 知非常昂贵，尤其对于大量使用而言；而电子服务被认为尚未完善、不安全、不方便或者未 经证明。我们认为所有这些原因都是以下根本问题的一部分此前尚无可能建立模仿实体 递送的、能够提供快速方便的世界范围传递的、包括基于传递时间来定价(price)和追索 (charge back)的经济模型(economic model)的商业级电子文件传递服务。
目前尚没有提供像Inderal Express 、UPS 或其他商业递送商那样的简单 基础服务品质的电子文件传输服务(甚至没有建立这种服务的经济或技术模型)。在实体 传递领域，这些服务允许用户为有可能在全世界范围被传送的包裹购买传递时间保障。定 价取决于货物何时必须到达以及包裹的大小。完整的端到端跟踪被内置。如果服务需求提 高，则价格上涨；如果传递迟了，则用户会将他们的生意交给其他递送商。正常的市场力量 轻易就能形成这样的市场容忍价格和系统在其中每个人都感到能够适应一如果你需要 你传递物早点到达，你就多付钱，相反地，如果你付钱多，那么你就能获得所购买的传递时 间。
相对比，在电子文件传输领域，传送文件的通常手段是使用传统的FTP，或者或许 使用专用传递服务——其针对你来进行传递。FTP(以及传统的基于TCP的文件传输协议) 在广域上不可靠、不能利用带宽并且不能保障在具有可变的丢包(packet loss)和往返时延(round-trip delay)的网络上的传递时间。即使传递时间能够保障，提供FTP的服务提 供商也无法基于该传递针对你的效用——传递物何时到达——以及该传递针对其他用户 的网络效用的相应成本来形成有意义的定价系统。
一些公司转向专用传递服务作为权宜之策，这些服务可以经由卫星传输或其他昂 贵的基础设施来发送文件以帮助确保传递时间，并且基于用户发送了多少个字节来向该用 户收取基础设施费用。为了获得更多的服务品质保障，定价变得太贵而难于使用，并且牺牲 了统一费率(flat rate)商品互联网带宽的益处。


图1示出了使用TCP的文件传输技术在各种丢包和网络反应时间(latency)条件 下可实现的最大吞吐量(throughput)；
图2示出了拥塞成本计算(congestion cost computation)的一个实例；
图3示出了一个最大努力传递情形。
图4示出了一个保障时间传递情形。
图5示出了各种超额情形。
图6示出了一个示例性系统。
具体实施方式
这里描述的是用于提供商业级的电子文件传输服务的系统和方法，其能够实 现与当今实体递送服务相同的规模(scale)，使用对数字媒体供应链(digital media supply chain)的需要作为驱动事由(driving case) 0这种电子文件传输服务必须在保 障时间(guaranteed time)内(甚至全球地，以及高速地)传递文件，提供区别服务水平 (differentiated service levels)，并为服务提供商提供公平、实用的收费系统。我们介 绍用于建立这种服务的实用经济模型，以及新颖但现成的技术部件。
商业级递送的特征以及在电子领域的挑战
我们首先鉴于实体运输服务的能力来描述商业级的电子文件传输服务的特征。我 们解释当前技术的缺点以及妨碍在电子领域实现相同能力的缺陷(missing pieces)。
当用户要求通过实体递送服务进行运输时，或者说使用标准邮政服务发送包裹 时，付费的主要原因是确保包裹的传递时间。此外，用户预期(expect)支付大致与包裹 到达时间相符的费用；要求到达得越早，用户预期支付得就越多。商业递送商能够不仅在 本地或局部区域而且在世界范围提供这种按到达时间付费的服务。如果目的地是全球性 的，则用户预期，相对于传递物被送至本地目的地，在满足目标到达时间(target arriving time)方面不会面临更高的风险。
迄今为止电子文件传输服务在大规模上没有成功，因为常规技术以几种方式都不 能提供再造(recreate)这样的模块所必要的能力。首先，传统的基于TCP的文件传输协议 在广域上慢，并且即使用户愿意付费也不能保障传递时间。其次，TCP使用的流率带宽分配 (flow-rate bandwidth allocation)无法使提供商建立合理的收费系统以供使用者基于 自然效用目标(natural utility objective)(实现传递时间)或者基于对该系统的实际 成本(real cost)(导致其他传递变慢的拥塞)来为该传递付费。我们在下文解释这两点。
建立在传输控制协议(TCP)上的FTP和常规文件传输协议受限于TCP协议中的固 有吞吐量瓶颈(inherent throughput bottleneck)，其导致广域文件传输在许多情况下不 实用地慢、不一致且不可预测。TCP的固有吞吐量瓶颈随着丢包和反应时间的增加而变得 更加严重。图1中的条形图示出了，在一个针对使用TCP(以黄色示出)的文件传输技术的 0C-3 (155Mbps)链路上，在各种丢包和网络反应时间条件下可实现的最大吞吐量。该吞吐量 具有硬性理论限度(hardtheoretical limit)，其仅取决于网络往返时间(RTT)和丢包。注 意，增加带宽并不能改变有效吞吐量。文件传输速度没有提高，并且昂贵的带宽利用不足。
吞吐量瓶颈的根源在于TCP调整(regulate)其数据流率的机制。TCP发送者要求 从TCP接收者得到对每一个包的确认，以将更多数据注入网络。若有确认被丢失，TCP就假 定其超越了(overdrive)网络容量，并进入一种激进的拥塞避免算法。这种算法严重降低 数据流率，并且恢复流率过于缓慢以致不能保持现代(modern)管道为满。甚至往返反应时 间的小变化或者由网络媒体导致的——而不是由拥塞导致的——比特错误都会导致TCP进 入拥塞避免。标准TCP不能够将这些丢包源与真实链路拥塞区别开来。对文件传输的影响 是显著的
TCP文件传输慢，且单个文件传输的带宽利用率低。在具有甚至可忽略的丢包的校 园区域网络中(该图的最左角)，最大TCP吞吐量也不能填满现代高速链路。响应于单个丢 包事件且以高速，标准TCP将其吞吐量折半(halve)，即使低损失百分比也会显著降低TCP 吞吐量，导致带宽利用不足。
在增加的网络反应时间与丢包相结合的广域链路上，带宽利用率问题变得复杂。 美国范围内的一般FTP传输具有每秒数兆比特(megabits)的最大理论限度，而在一般的全 球链路上，从每秒数兆比特降低至每秒数千比特(kilobits)。对文件传输端点上的TCP联 网栈(TCP networking stack)所使用的操作系统参数进行“调(timing) ”，或者应用TCP 加速，导致TCP使用较大的默认“窗口”并提高在净网络(clean networks)上的吞吐量，但 是该改进随着广域网络常见的丢包而降低甚至消失。
吞吐量随着丢包增加而降低，从而实现一致的、可预测的传输速率(以及时间)是 不可能的。实际上，不可能防止未经修改的标准(Reno) TCP栈因丢包而降低吞吐量，即使在 用户已经为优先传递时间付费的情况下，或者当该丢包仅仅是网络媒体——诸如卫星或无 线网络——的产物时。使用标准FTP或类似的协议向世界范围的远程站点——其中WAN路 径具有高且可变的丢包——提供商业级的、有保障的传输时间简直是不可能的。这种问题 对于大数据组传输而言最为严重，因为延迟(stall)或故障的可能性随着持续时间的增加 而增加。
除了 TCP性能瓶颈之外，传统的TCP传输协议依赖于基于速率的(rate-based)带 宽分配，这种带宽分配在用户看来在满足传输时限的成本和效益方面是不透明的，因此不 适合用来对网络进行定价。当网络上的带宽需求超过供应时，TCP的速率控制导致多个流 根据单一策略一该策略旨在给予所有流等份的带宽一来竞争带宽从而降低速率。这样 的明显问题在于，当某个流需要使用较多带宽时(S卩，因为用户已为保障传递时间而付了 费)，没有明确的机制来这样做。但是针对文件传递服务的更深问题在于，这种对每个人的 使用都表面上“公平”地收取流量费用的方式忽略了用户的真正目的。
例如，TCP的每流速率分配(per-flow rate allocation)毫不知晓给定用户或程序正在运行多少个流，或者这些流已经运行了多久。因此，贪婪的用户可以随心所欲地打开 尽可能多的传输流，而并不会比那些运行仅一个流的用户支付更多费用。类似地，一个导 致许多其他传输降低速率的长期运行的传输并不会比一个无影响的短传输支付更多费用。 总之，TCP的流率分配既不确保相竞争的传输之间的公平，也不提供根据用户对传输网络 的使用来公平地收费的基础。有论点认为，标准TCP的基于流率的分配是实现以对共享网 络的使用为依据的定价系统的错误基础。(参见，例如，B. Briscoe. Flow Rate Fairness Dismantling a Religion. ACM SIGCOMM Computer CommunicationReview,37(2) :65-74, April 2007 ；F. P. Kelly, A.K.Maulloo and D. K. H. Tan. Rate control for communication networks shadow prices, proportional fairness and stability. Journal of the Operational Research Society, 49 (3) :237_252，1998。)而有论点认为，用于确定带宽如 何在相竞争的网络流——在我们的世界中是相竞争的网络传输者——之间分配的逻辑应 位于网络端点，并且直接暴露给用户和他们的程序。此外，网络使用的价格应直接基于该用 户的收益(在电子文件传递服务中，是传输何时完成)以及对其他用户的成本(在电子文 件传递服务中，是该用户的传输导致其他用户的传输减慢了多少)。
该论点呼吁“基于拥塞的”定价具体地针对用户对共享网络的使用导致其他用户 的流的拥塞、超时，来向用户收费。作者认为，这种模型避免了基于流率的定价的天然漏洞， 在基于流率的定价中，正规的用户和程序为了获得更多的带宽分配而简单地打开多个传输 流(如在平行流或者Bittorrent对等应用中)，并且在基于流率的定价中，“运行较长”的 用户并不会比持续时间短的用户传输支付更多费用。该模型根据用户的收益——传输完成 时间——精确地向用户收费，并且其形成了自然的市场，在该市场中提供商需要竞争来向 用户提供实现其目的的最具竞争力的价格。例如，假设对于相同的传递时间，用户在一个提 供商的网络上由于拥塞始终要比在另一个提供商的网络上支付更多的费用，那么该用户最 终将更换提供商，从而失败的提供商将有动机来增加带宽。
电子文件传递服务
这里描述了一种电子文件传递服务的模型，其使用基于拥塞的定价针对具备保障 完成时间的传递来向用户收费。我们假定用户预期且提供商提供一种针对传输带宽的统 一费率订购(subscription)，因为统一费率服务已成为平常的互联网服务。并且，我们提 供了一种技术手段，对来自一个用户的所有传输使用的总带宽进行封顶(cap)，使其不超 出默认情况下的订购带宽，从而避免过度供应。然后我们针对需要更多带宽以满足期限 (deadline)的传输提供基于拥塞的定价。超额传递(overage delivery)的价格是直接根 据该用户的收益(传输期限)来收取的，并且是根据对其他用户的成本(该用户的传输由 于超时拥塞导致其他传输减慢了多少)来确定的。我们的模型依赖于一种新的传输技术， 该技术没有因网络时延和丢包而造成的人为吞吐量瓶颈，并且可以使用动态流率控制来满 足目标带宽使用策略。
在该节(section)，我们首先从实践角度作为经济模型来介绍我们的模型，描述提 供商将如何向用户提供传递服务并对其使用收费。
扼要重述一下，我们的模型的目的在于支持这样的电子文件传递系统该系统能 够提供高速的传输、有保障的传递时间(甚至在全球距离)以及基于用户成本的有效追索。 该系统模型可以被服务提供商应用在内容传递链(content delivery chain)的各级，互联网服务提供商向媒体服务提供商供应带宽，媒体服务提供商向工作室提供文件传递服务， 工作室购买这些文件传递服务的访问权(access)并向它们的竞争企业供应它们的完整项 目的分享访问权。类似地，该模型也可以应用在消费者传递情境中。
在一种具体形式中，该模型具有两个单位(entity) 1)提供商，其是为电子地传 递文件提供带宽和应用服务的单位，诸如互联网服务提供商、内容传递网络以及媒体服务 公司；以及2)用户，其是向提供商付费以将基于文件的数据从一个目的地传送至另一目的 地的经济单位。在媒体和娱乐界，这些用户可以是从媒体服务公司购买服务的工作室和其 他内容制造商，甚至是从ISP购买传递服务或带宽以进行转售的媒体服务公司。这种模型 还作出了以下假定。首先，传输是根据这样的文件传输协议运行的该文件传输协议与基于 TCP的协议诸如FTP不同，没有因往返时延和丢包而造成的人为瓶颈，并且支持多种带宽使 用策略。对传输速率的调节仅仅基于因相对于其他网络通信量(traffic)的所需带宽使用 而进行的有意调节。(提供这些特性的一种示例性传输协议是fasp协议。)其次，我们假 定每个用户每个月从他们的提供商那里购买统一量的带宽。我们不假定改变用户在所有基 于互联网的服务中已经适应了的自然统一费率订购模型。
所描述的系统是自调整的(self-regulating)。该系统的所有性能都是通过该技 术的实施而自动完成的，并且不需要集中的命令/控制。用户根据传输完成的所需期限来 预订(order)文件传递。如所述，我们假定每个用户购买统一费率带宽容量(并且提供商 使用下文所述的技术来强制执行该容量)。通常，用户的传递在该统一费率带宽分配量内运 行。然而，对于超过用户统一费率带宽的保障传递时间(超额)，基于为满足保障时间而对 其他用户的传输造成的拥塞成本来计算价格。用户可以在预订之前查看当前负载的价格， 并据此选择传递时间。
一个示例性系统向用户提供两类服务
“最大努力(Best Effort) ”服务，其将在提供了用户的全部保障时间传输之后剩 余的任何带宽中尽可能快地传输数据。同一用户的多个“最大努力”传输平均地分享剩余 的未保障带宽，动态地重新分配它们的速度以采用平均份额。最大努力任务在传输结束时 急速增加(ramp up)以使用未占用的带宽，且在新任务开始时急速下降(rampdown)以避免 使其他传输拥塞。这种类型类似于标准邮递服务，其在给定的可用资源下尽可能快地传送 邮件。
“保障时间(Guaranteed Time)，，服务，其按照用户所需传递时间将文件传输至目 的地。这种传递的成本可以取决于要求的传递时间是否超出所购买的统一费率带宽，以及 该传递是否导致拥塞(占用本应是其他用户需要的带宽)。该系统在传递之前，基于该系 统中当前正运行的任务，对将导致的拥塞向用户提供价格。该系统使用这些流经历的网络 排队时延来测量这种传递对其他传输造成的拥塞成本，如第4节中所述(我们避免基于损 失的(loss-based)拥塞测量，这要求仅为了确定价格而过度供应(over-provisioning)网 络)。使用提供商认为合适的任何具体定价模型，拥塞成本可以被提供商用来为用户既设置 实际传递价格又设置预期传递价格。
当用户开始传递时，其发出“最大努力”或“保障时间”预订。在“最大努力”情况 下，传递总是在该用户的统一费率带宽内运行，并且永远不会向该用户收取超额费。在“保 障时间”情况下，该传递时间可以要求超过该用户的统一费率计划的带宽，并且可以导致收取超额费。为了估算超额费，我们的系统计算该超额的拥塞成本，其是该传输从其他用户的 最大努力传输取得的总带宽在传输期间的积分，或者直观地，是在与其他最大努力流相交 的带宽下的“面积”。正式地表示，一个用户的保障时间流对另一用户的最大努力流f的拥 塞成本(Cf)是该最大努力流在其原本的最大努力速率的基础上的带宽减少(dB)在该减少 的持续时间上的积分
Cf = / TdBdt
并且，总的拥塞成本是当前该系统中对其他用户的每个最大努力流的成本之和。
C = ^jCfF
图1示出了拥塞成本计算，其示出用虚线代表的流是最大努力传输，其降低吞 吐量，以允许来自用实线示出的另一用户的传输进入以使用保障期限所需的带宽。对该最 大努力传输的成本是黑色阴影区域，保障时间传输所消耗的且从该最大努力传输取得的带觅ο
下面的各情况和图表详细示出了可能的情境
1)最大努力传递——在这种情况下，如图3所示，当一个用户开始“最大努力”传 递时，其他“最大努力”传递就降低速度以平均地分享该用户的统一费率带宽。例如，假设 用户B具有IOOMbps的统一费率带宽，并且一个传递正在运行(以全容量)。当开始一个新 传递时，该第一传递的速度将从IOOMbps降低至50Mbps，并且该新传递将以50Mbps运行。 如果该用户的新传递是针对一个IGB的文件，则传递接口可以报告当前预计的从开始起约 3分钟的传递时间(以50Mbps的速度，IGB用3分钟传输)。如果用户B在这三分钟内开始 另外的传输，则完成时间将成比例地增加。
2)在可用带宽内的保障时间传递——在这种情况下，如图4所示，保障传递的期 望(desired)完成时间要求在所购买的统一费率带宽内可用的一定量的带宽，其他用户的 传输不受影响因此费用是零。在这种情况下，我们假定用户B的两个最大努力传输当前都 正在使用该用户的整个统一费率(IOOMbps)以一半带宽的速度(50Mbps)运行。用户B预 订一个新的保障时间传输，该传输需要75Mbps以及时完成，例如，在1. 5分钟内完成IGB文 件传输。在这种情况下，该保障时间传输被分配了所需的75Mbps，而其余最大努力传输的速 度都降低以使用剩下的25Mbps，每个使用12. 5Mbps。如果在所购买的统一费率带宽内无法 提供期望完成时间所要求的带宽量，则该传递必须消耗本应卖给其他用户的带宽。这可以 有费用，取决于其他用户的传输是否必须减慢。
3)免费超额(Free Overage)——在这种情况下，如图5所示，用于满足用户的保 障传递时间所需的超额带宽量目前未被其他用户使用，因此费用是零。在这种情况下，我们 假定用户B预订了一个需要75Mbps来及时完成的新的保障时间传递。在这种情况下，用户 B的可用带宽仅是25Mbps (当前正被最大努力传输使用)。该传递必须使用用户A的带宽 的50Mbps。用户A当前没有运行任何传输，因此超额费用是零。
4)付费超额(Paid Overage)——如果所要求的超额带宽量是通过将其他用户的 “最大努力，，传递减慢才可获得的，则基于其他用户的传递在传输持续时间内所经历的拥塞 来计算价格。在这种情况下，我们假定用户A现在请求一个最大努力传递。如果用户B的 传输没有正在运行，则用户A的传输将利用全部的统一费率带宽(100Mbps)。由于用户A的传输减慢至50Mbps，用户B造成的拥塞成本是所消耗的50Mbps带宽乘以总的传输时间。
5)超预定(Overbooking)——如果所要求的超额带宽量从其他用户处无法获得， 从而要求从其他用户的保障传输取得带宽，则该系统回报(report back)在不从这些传输 取得带宽的情况下能实现的最佳完成时间，以及基于随后对所有最佳努力用户的拥塞而 算得的费用。使用我们的实施例，假定用户A开始一个新的保障时间传输，其需要完整的 IOOMbps来及时完成。在这种情况下，用户A的最大努力传输减慢至零，并且来自用户B的 保障传输之一将减慢至B的配额中剩余的25Mbps。注意，超预定是唯一的存在保障传输减 慢风险的情形。
6)如何计算拥塞成本——拥塞成本是通过在传输持续时间内由该保障时间传输 引起的其他用户的最大努力流的额外总拥塞来计算的。用于在我们的实施方式中测量拥塞 的具体量度(metric)是网络排队时延——我们在第4节中解释为何以及如何测量该量度。 最大努力流使用一种动态速率控制算法(dynamic rate control algorithm)——该算法 旨在沿传输路径维持稳定量的排队时延，并且使用一种内部流率控制算法以根据网络排队 时延来降低传输速度。在我们的系统中，一个流的拥塞成本是，由保障传输导致的额外排队 弓I起的传输吞吐量减少乘以该减少的持续时间。
例如，如果用户A的两个最大努力传输分享一个100Mbps的统一费率带宽，则 当用户B的保障时间传输占用用户A的75Mbps时，A的这两个最大努力传输的吞吐量都 从50Mbps减少至12. 5Mbps。对每个传输的拥塞成本是37. 5Mbps在该传输的持续时间 上的积分。如果B的保障时间传输运行2分钟，则对A的每个最大努力传输的拥塞成本 是37. 5MbpsX 120s = 4500兆比特，总成本是9000兆比特，或者，该保障时间传输占用的 75Mbps带宽在120s内的积分。
该系统可以保存流随时间而经历的拥塞的完整历史记录，提供商可以使用该记录 来累加出该用户在整个订单周期内的拥塞成本。
技术实施
在该节，我们涉及在该模型的实施中利用的新技术——它们的能力和它们如何用 于实现这样的多用户电子文件传递系统该传递系统能保障传递时间(甚至全球地，并且 高速地)、提供有区别的服务水平并为服务提供商提供公平、实用的收费系统。该传递系统 不需要集中控制(centralized control)——传递时间保障、带宽分享以及收费系统都在 该系统的内置机制中完成。一个示例性系统利用fasp协议以及基于该协议的几种技术创 新。下面，我们描述每一种新技术以及它们在该系统中的作用。
Dfasp协议——在一个实施方案中，每个传输都根据fasp协议运行，该协议在共 同未决的美国专利申请11/317，663中被详细描述。该fasp吞吐量与网络时延无关并且不 会使带宽效率及丢包恶化，使得即使当传递是在远距离的全球路径上完成的，传输速率的 恶化也不超过在信道上的实际丢包。这意味着，当用户请求一个发往亚洲的保障时间传递 时，并且我们假定该传输路径上的最大丢包率为10%，该系统可以保证目标传输时间在该 用户的请求期限上下10%以内。(这种保证级别甚至可以被正式地建立到用户的服务水平 协定中。)
2)每流自适应速率控制(Per-flow Adaptive Rate Control)——最大努力传输 之间的动态带宽分配是使用fasp中的每传输动态速率控制(per-transfer dynamic rate11control)实现的，这种控制被称为自适应速率控制，其旨在利用未使用的网络带宽，但也降 低速率以允许来自其他传输的带宽需求。自适应速率控制使用对网络排队时延的动态测量 作为主输入信号(primary input signal)以用于可用的带宽或随后的拥塞。(网络排队 时延是，当一个流正在运行时在端对端网络路径上经历的与不存在流时相比的额外往返时 延。)这种方法旨在在网络中维持小的、稳定量的“排队”(无拥塞)；当测得的排队降低到 目标以下(表明一些带宽未使用，传输应提速)时传输速率调高，并且当排队增加到目标以 上(表明带宽被完全利用，拥塞严重)时传输速率调低。
与TCP的速率控制不同，fasp自适应速率控制具有几种尤其适用于所描述的系 统的能力。第一，其仅对网络排队时延做出反应，因而不会由于因媒体的丢包而在网络上 人为地减慢，从而允许我们维持传递时间。第二，动态范围允许，当带宽必须供保障速率 流使用时，最大努力流降低它们的传输速率，但自动急速增加以完全利用未使用的带宽从 而实现最高效的传递时间。第三，对网路排队时延的内置响应提供了一种虚拟的“操纵 (handle) ”，以使用如下所述的虚拟链路，将单个用户的所有最大努力传输所使用的总带宽 调节为不超过该用户的已付费容量。第四，对网络排队时延的内置响应提供了一种可量化 方式(quantifiable way)以测量最大努力流受到的拥塞。该流即将经历的排队与由其他 用户的流导致的拥塞成比例。通过fasp协议日志(logging)能得知持续时间，从而能据此 产生账单(billing)。
3)虚拟链路——一种被称为虚拟链路的合计速率控制器(aggregate rate controller)(其可以被内置到fasp中)，其将一个用户的所有最大努力传输所使用的总 带宽温和地(gracefully)封顶至该用户的总订购统一费率带宽，并提供一种手段以跟踪 其他用户的传输的拥塞成本。该虚拟链路确保除非用户明确选择超额否则带宽永远不可 能被过度供应，并且通过计算其他流占用的保障带宽在时间上的积分来计算每个最大努 力传输的拥塞成本。该虚拟链路在如下文献中被详细描述美国专利申请11/849,742， 以及在 Y. Xu, S. Simun, and Μ. Munson, Virtual Link Control !Architectural Design andAnalytical Analysis，Aspera， Inc.Technical Whitepaper，April2007o
虚拟链路是一种逻辑控制器，其对分享同一网络链路的所有传输会话进行调整， 以维持总的目标吞吐量(“虚拟链路带宽”)。该机制使用fasp的自适应速率控制的每流 排队响应，通过对网络传输端点上的活动传输会话(active transfer session)的协调，以 完全分散的方式(fully-decentralized manner)运行。在一个示例性系统中，供应商的网 络中的端点上的所有最大努力传输会话都使用与用户所购买的统一速率相等的虚拟链路。
用户的每个最大努力fasp传输都一直侦听针对所有活动传输的报告，并且计算 该用户的所有其他最大努力流的总吞吐量，小于其他用户的所有保障时间流的总吞吐量。 该传输计算当在具有该虚拟链路带宽的实体链路上运行时该组将经历的总排队时延，小于 其他用户的保障时间。
例如，如果一个用户有两个活动最大努力传输，并且已购买了 100Mbps的计划—— 其被实施为100Mbps的虚拟链路，则这两个活动传输计算50Mbps的已适应速率(Adapted Rate)。如果一个第三传输以40Mbps的保障速率开始，则每个传输中的虚拟链路逻辑将计 算50+50 = 100Mbps的总传输速率，减去40Mbps的保障速率，得到60Mbps的虚拟链路带宽， 并且将计算100Mbps在60Mbps链路上引起的排队。所引起的排队在这两个流上平分，每个流的自适应速率控制将计算30Mbps的自适应速率。
每个活动传输都周期性地向集中管理程序报告供其他用户的保障传输所用的虚 拟链路带宽的减少，并且将该值与该周期相乘以计算拥塞成本。
该系统和方法提供了一种用于建立商业级的全球电子文件传输服务的手段，所 述传输服务能实现与迄今为止的实体递送服务相同的规模。使用现代高速传输协议诸 如fasp的能力，该系统能够保障传递时间(甚至全球地，并且高速地)并提供区别服务 水平。同等重要的是，该系统为服务提供商提供公平、实用的收费系统。与基于TCP的速 率分配——其基于固定策略而不考虑用户目标来非自然地(unnaturally)分配带宽—— 不同，该模型使用一种自然的基于拥塞的定价，其评价用户从该系统获得的实际效益(传 递完成的时间)以及在传输时间内对该系统的其他用户的实际成本。一个示例性系统包 括能实现区别递送服务水平的、具有动态速率控制的运输；以及将某一用户的所有传输 都自节流(self-throttle)至一个固定速率带宽——除非该用户明确选择超额——的合 计带宽封顶机制。该系统不需要集中控制，并且在该过程中能生成核查品质日志(audit qualitylogs)。
示例性实施方案
在这里描述的系统和方法的一个示例性实施方案中，一个或更多个主机处理器 (host processor)连接至一个网络，并且该主机处理器之一或更多设置有(programmed with) 一组或更多组的一个或更多个这样的进程(process)，所述进程作为常规数据传输 (regular datatransfers)在该网络上传输数据。常规数据传输指的是那些以某额定带宽 分配进行的数据传输。例如，一个特定的用户可以被分配以可用带宽的某一部分，以供该用 户拥有的所有进程用于传输数据。一个虚拟链路控制模块被集成到该执行常规数据传输的 进程中，用于限制这些进程在该网络上传输数据的速率。该虚拟链路控制器确定该常规数 据传输在该网络上传输的数据的合计通信速率(traffic rate)，并且提供一个该常规数据 传输流经的虚拟链路。该虚拟链路包括一个虚拟队列，该虚拟队列根据该合计通信速率是 大于还是小于制定带宽限度cl而被分别填充或清空。集成到所述进程中的速率控制模块 基于算出的一个反映虚拟队列数据填充程度的虚拟排队延迟来调节每个常规数据传输的 数据传输速率χ (t)。所述主机处理器之一或更多也设置有一个或多个这样的进程，所述进 程作为满足指定传递期限的优选数据传输(preferred data transfer)在该网络上传输数 据。优选数据传输被赋予高于常规数据传输的优先级，以满足该指定期限。即，本应被分配 给常规数据传输的带宽在必要时由优选数据传输使用。为了确定从常规数据传输取走多少 带宽(即，倘若没有该优选数据传输，常规数据传输本应使用的带宽)，该虚拟链路控制模 块被进一步配置，以确定优选数据传输对常规数据传输造成的拥塞成本。例如，该虚拟队列 的占用率(occupancy)的增加，或者该虚拟排队时延的增加，可以被用作对拥塞成本的指 示。在一个具体实施方案中，该系统将该虚拟链路的指定带宽限度C1减少到优选数据传输 为满足指定传递期限所必要的程度，而优选数据传输在该虚拟链路之外执行。在另一具体 实施方案中，优选数据传输在该虚拟链路之内执行，但具有比也在该虚拟链路上传输数据 的常规数据传输具有更高的数据传输速率。继而，优选数据传输以足以满足指定传递期限 的恒定速率来在该虚拟链路上进行。优选数据传输可以用下列两速率中较大者来执行没 有拥塞成本时的最大速率，和满足所请求的传递期限所必要的最小速率；其中该最小速率等于，待由优选数据传输传送的数据量除以开始时间和指定传递期限之间的时间间隔。
优选数据传输也可以用尽可能高却不使拥塞成本超出针对该优选数据传输收取 的费用的数据传输速率来执行。常规数据传输可以用尽可能高却不损害指定优选性能参数 的数据传输速率来执行。
图6示出了一个示例性系统的示意图。示出的是，主机处理器60，其中进程运行 以在网络80上进行常规或优选数据传输。主机处理器60设置有软件模块，以执行这里描 述的各种功能。这里描述的方法中的任一种也可以被实现为包含在计算机可读介质中的、 处理器可执行的指令。在该实施例中，处理器队至民通过虚拟链路70执行常规数据传输， 而进程P1在该虚拟链路之外且不受该虚拟链路限制地在该网络上执行优选数据传输。在 另外一个实施方案中，进程P1也将通过该虚拟链路——但是以高于常规数据传输的数据速 率——执行其优选数据传输。
该系统也可以用于根据拥塞成本来计算相对价格，该相对价格或者针对优选数据 传输来征收，或者归给(credit to)常规数据传输。该拥塞成本可以从现有常规数据传输 的减慢得出，计算为所有常规数据传输相对于额定分配速率的总速率减慢乘以该减慢的 持续时间。针对常规数据传输的收费也可以随着由优选数据传输造成的拥塞成本而减少。
该系统也可以计算针对常规数据传输收费的减少，其与下面的值成比例额定分 配的数据传输速率或所请求的数据传输速率中的较小者，与实际数据传输速率之差，乘以 该差存在的时间。该系统也可以计算针对优选数据传输的收费，其与下面的值成比例实际 数据传输速率(ADTR)和额定分配的数据传输速率(NADTR)之差，乘以该差存在的时间以及 常规数据传输的数目，其中
a)NADTR = Wl^c1/(ffl*NR+W2*NP)，其中NR是常规数据传输的数目，NP是优选 数据传输的数目，Wl是反映被分配给常规数据传输的网络带宽的相对加权(relative weighting)，W2是反映被分配给优选数据传输的网络带宽的相对加权，以及
b) ADTR是虚拟链路容量C1和每个优选传输的数据传输速率的总和之差的最小值， 该差继而被除以常规数据传输的数目NR。
该系统也可以用于针对所提出的优选数据——其待以指定的最小数据传输速率 进行传输以满足指定传递期限——来计算预期拥塞成本，该预期拥塞成本继而用于对优 选数据传输进行基于价格的带宽分配。例如，针对所提出的优选数据传输可以请求出价 (bid)；只有当预期拥塞成本低于指定限度值时，该出价才被接受。在另一个实施例中，针对 所提出的优选数据传输请求出价，如果预期拥塞成本低于指定限度值，则所提出的优选数 据传输作为优选数据传输被执行，否则就作为常规数据传输被执行。
已结合上述具体实施方案描述了本发明。应理解，这些实施方案也可以通过任何 被认为有利的方式进行结合。而且，许多替换、变化和修改对于本领域技术人员将是明显 的。其他这样的替换、变化和修改旨在落入下列所附权利要求的范围内。
权利要求
1.一种被实施为在一个或更多个主机处理器中执行的软件的方法，包括执行一组或更多组的一个或更多个这样的进程，该进程作为常规数据传输在网络上传 输数据；实施虚拟链路控制模块，该模块确定由所述常规数据传输在所述网络上传输的数据的 合计通信速率，并提供所述常规数据传输流过的虚拟链路，其中所述虚拟链路包括虚拟队 列，该虚拟队列根据所述合计通信速率是大于还是小于指定带宽限度C1而分别被填充或清 空；实施速率控制模块，该模块基于计算出的反映所述虚拟队列数据填充程度的虚拟排队 时延来调整每个所述常规数据传输的数据传输速率x(t)；执行一个或更多个这样的进程，该进程作为满足指定传递期限的优选数据传输在所述 网络上传输数据；以及执行所述虚拟链路控制模块，以确定由所述优选数据传输造成的对所述常规数据传输 的拥塞成本。
2.根据权利要求1所述的方法，进一步包括将所述虚拟链路的指定带宽限度C1减少到 所述优选数据传输满足所述指定传递期限所必要的程度。
3.根据权利要求1所述的方法，进一步包括以足以满足所述指定传递期限的恒定速率 来在所述虚拟链路上执行所述优选数据传输。
4.根据权利要求1所述的方法，进一步包括根据拥塞成本来计算相对价格，该相对价 格或者针对所述优选数据传输来征收，或者归给所述常规数据传输，该拥塞成本可以从现 有常规数据传输的减慢得出，计算为所有常规数据传输相对于额定分配速率的总速率减 慢乘以该减慢的持续时间。
5.根据权利要求1所述的方法，进一步包括随着由所述优选数据传输造成的拥塞成本 而减少针对所述常规数据传输的收费。
6.根据权利要求5所述的方法，进一步包括计算针对所述常规数据传输收费的减少， 其与下面的值成比例额定分配的数据传输速率或所请求的数据传输速率中的较小者，与 实际数据传输速率之差，乘以该差存在的时间。
7.根据权利要求2所述的方法，进一步包括以在没有拥塞成本时的最大速率和满足要 求的传递期限所需的最小速率中的较大者执行所述优选数据传输，其中所述最小速率等于 待由所述优选数据传输传送的数据数量除以在开始时间和指定传递期限之间的时间间隔。
8.根据权利要求1所述的方法，进一步包括计算针对所述优选数据传输的收费，其与 下面的值成比例在所述常规数据传输达到的实际数据传输速率(ADTR)和额定分配的数 据传输速率(NADTR)之差，乘以该差存在的时间以及常规数据传输的数目，其中a)NADTR = Wl^c1/ (W1*NR+W2*NP)，其中NR是常规数据传输的数目，NP是优选数据传输 的数目，Wl是反映被分配给常规数据传输的网络带宽的相对加权，W2是反映被分配给优选 数据传输的网络带宽的相对加权，以及b)ADTR是虚拟链路容量C1和每个优选传输的数据传输速率的总和之差，该差继而被除 以常规数据传输的数目NR。
9.根据权利要求1所述的方法，进一步包括用尽可能高却不影响所述指定传递期限的 数据传输速率来执行所述常规数据传输。
10.根据权利要求1所述的方法，进一步包括用尽可能高却不使所述拥塞成本超出对 所述优选数据传输收取的费用的数据传输速率来执行所述优选数据传输。
11.根据权利要求1所述的方法，进一步包括针对所提出的优选数据——其待以指定 的最小数据传输速率进行传输以满足指定传递期限一来计算预期拥塞成本。
12.根据权利要求11所述的方法，进一步包括针对所提出的优选数据传输请求出价；以及只有当所述预期拥塞成本低于指定限度值时，才接受该出价。
13.根据权利要求1所述的方法，进一步包括将付款接受到用户的账户中，以用于该用户所提出的优选数据传输；基于执行优选数据传输时的拥塞成本，从该用户的账户中扣款；以及如果该用户的账户余额是正的，就作为优选数据传输来执行该用户所提出的优选数据 传输，否则就作为常规数据传输来执行所提出的数据传输。
14.一种计算机可读介质，其包含在一个或更多个主机处理器中可执行以用于实现如 下方法的指令，该方法包括执行一组或更多组的一个或更多个这样的进程，该进程作为常规数据传输在网络上传 输数据；实施虚拟链路控制模块，该模块确定由所述常规数据传输在所述网络上传输的数据的 合计通信速率，并提供所述常规数据传输流过的虚拟链路，其中所述虚拟链路包括虚拟队 列，该虚拟队列根据所述合计通信速率是大于还是小于指定带宽限度C1而分别被填充或清 空；实施速率控制模块，该模块基于计算出的反映所述虚拟队列数据填充程度的虚拟排队 时延来调整每个所述常规数据传输的数据传输速率x(t)；执行一个或更多个这样的进程，该进程作为满足指定传递期限的优选数据传输在所述 网络上传输数据；以及执行所述虚拟链路控制模块，以确定由所述优选数据传输造成的对所述常规数据传输 的拥塞成本。
15.根据权利要求14所述的介质，进一步包括这样的指令，该指令用于将所述虚拟链 路的指定带宽限度C1减少到所述优选数据传输满足所述指定传递期限所必要的程度。
16.根据权利要求14所述的介质，进一步包括这样的指令，该指令用于以足以满足所 述指定传递期限的恒定速率来在所述虚拟链路上执行所述优选数据传输。
17.根据权利要求14所述的介质，进一步包括这样的指令，该指令用于根据拥塞成本 来计算相对价格，该相对价格或者针对所述优选数据传输来征收，或者归给所述常规数据 传输，该拥塞成本可以从现有常规数据传输的减慢得出，计算为所有常规数据传输相对于 额定分配速率的总速率减慢乘以该减慢的持续时间。
18.一种系统，包括联接至网络的一个或更多个主机处理器，其中所述主机处理器之一或更多设置有一组或更多组的一个或更多个这样的进程，该进程作为常规数据传输在所述网络上传 输数据；虚拟链路控制模块，该模块确定由所述常规数据传输在所述网络上传输的数据的合计通信速率，并提供所述常规数据传输流过的虚拟链路，其中所述虚拟链路包括虚拟队列，该 虚拟队列根据所述合计通信速率是大于还是小于指定带宽限度C1而分别被填充或清空；速率控制模块，该模块基于计算出的反映所述虚拟队列数据填充程度的虚拟排队时延 来调整每个所述常规数据传输的数据传输速率x(t)；一个或更多个这样的进程，该进程作为满足指定传递期限的优选数据传输在所述网络 上传输数据；以及其中所述虚拟链路控制模块被进一步配置，以确定由所述优选数据传输造成的对所述 常规数据传输的拥塞成本。
19.根据权利要求18所述的系统，其中一个或更多个主机处理器设置有这样的模块， 该模块用于将所述虚拟链路的指定带宽限度C1减少到所述优选数据传输满足所述指定传 递期限所必要的程度。
20.根据权利要求18所述的系统，其中一个或更多个主机处理器设置有这样的模块， 该模块用于以足以满足所述指定传递期限的恒定速率来通过所述虚拟链路执行所述优选 数据传输。
全文摘要
一种用于建立商业级电子文件传递服务的实用的经济和技术模型，该电子文件传递服务提供了与传统上使用的实体递送服务相同的规模、可预计性以及有区别的服务水平，以在实体媒体上传送电子数据。描述了使用基于拥塞定价的追索机制来提供这种服务的系统和方法。
文档编号H04L12/56GK102037690SQ200980109139
公开日2011年4月27日 申请日期2009年1月16日 优先权日2008年1月17日
发明者M·C·芒森, S·西姆, Y·徐 申请人:阿斯帕拉公司