一种降低数据中心网络中流传输完成时间的流调度方法
【专利摘要】本发明公开了一种降低数据中心网络中流传输完成时间的流调度方法，实现在流长未知的条件下，降低平均流传输完成时间。该方法的基本思想是：通过收集网络中历史数据流的长度信息，不断更新流长的概率密度分布；基于这些历史信息，计算各条数据流在特定时间内完成传输的概率；然后根据计算所得的各个概率，优先调度完成传输概率最高的流，从而改善数据中心网络的资源利用效率。本发明具有不依赖先验知识、平均流传输完成时间短的优点。
【专利说明】
-种降低数据中心网络中流传输完成时间的流调度方法
技术领域
[0001] 本发明属于网络数据通信技术领域，是一种对数据中屯、网络中数据流进行动态调 度的方法，具体地说是一种面向资源高效利用的数据流调度方法。
【背景技术】
[0002] 各种在线服务，如捜索引擎、社交网络、网商(retail)等，已经成为当前人类社会 不可或缺的一部分，他们为广大用户提供了非常便捷的服务，有力改善了人们的工作和生 活。而作为在线服务的基础设施，数据中屯、网络承担着为各类在线服务提供及时、高效数据 传输的任务，其重要性不言而喻。由于固有的实时交互性特点，许多在线服务对请求的响应 时延有着非常严格的要求，时间期限往往在几百毫秒W内，例如在线网站就要求99.9%的 响应在200-300毫秒W内完成而从数据中屯、网络流量模式的角度来考虑，绝大部分的流 都属于短流，但是非常高比例的字节数却是由数据备份、虚拟机迁移等产生的长流所占 据W。相对于长流来说，短流往往是由交互式服务产生，它们对时延更为敏感，应当在尽可 能短的时间内完成传输，而长流则没有时间期限方面的要求。因此，数据中屯、网络首要目标 是尽量缩短短流完成时间，再提高长流的吞吐量。
[0003] 基于流模型(fluid traffic model)，可W很容易得到如下结论:最优的流调度策 略是剩余传输时间最短的流应当首先被传输，也即SRPT(Siortest Remaining Processing Time)策略W。因此，为了达到最优的调度，路由器在转发各条流的过程中，每有一条新的流 到达时，应当对比所有流剩余的字节数，并选择最短的那条流进行传输，文献[4]所提出的 抢占式调度算法(preemptive scheduling)也是基于运个思想来实现。然而，最优调度需要 特定的先验知识，即每条流的长度都是已知的，否则路由器无法判断出哪条流应当优先得 到调度。尽管数据中屯、网络中的部分流可W根据端口号推断出其应用的类型，从而估计流 的长度，但是大部分流的长度仍然难W精确判断，运就影响了短流的传输完成时间，特别是 当一条长流被误判为短流时，其他许多流的时延性能将会严重降低
[0004] 为了防止运种情况的发生，在不确定流长度的前提下，应当尽量避免将所有带宽 都分配给某条流，而为了优化流的传输完成时间，路由器在调度各个分组时，优先为那些在 短时间内结束传输概率更高的流提供服务，而运里的难点是如何判断哪条流剩余长度最短 的概率。虽然各条流的流长度是未知的，但是可W根据数据中屯、网络中W往传输的流信息 评估出流的长度分布，然后再基于该密度分布函数推断出当前各条流在特定时间期限内完 成传输的概率，并优先转发结束概率最大的流的分组。
[0005] 参考文献
[0006] [1]C.Wilson,H.Ballani,T.Karagiannis,and A.Rowstron.Better Never than LateiMeeting Deadlines in Datacenter Networks.In Proc.ACM SIGCOMM,2011.
[0007] [2]D.Abts，B.Felderman.A guided tour of data-center networking.Commun.ACM，vol.55,no.6,pp.44-51,June 2012.
[000引 [3]N.Bansal and M.Harchol-Balter. Analysis of srpt scheduling : investigating unfairness.ACM SIGMET民ICS,2001.
[0009] [4]C.-Y.Hong,M.Caesar,and P.B.Godfrey.Finishing Flows Quickly with Preemptive Scheduling.ACM SIGCOMM,2012.
【发明内容】
[0010] 发明目的：针对目前数据中屯、网络流调度严重依赖流长、传输完成期限等先验知 识问题，提出一种W降低流传输完成时间为目标的数据中屯、网络流调度的设计方法。
[0011] 技术方案:一种降低数据中屯、网络中流传输完成时间的流调度方法，即面向高效 资源利用的数据中屯、网络流调度方法化fficient utilization oriented Flow Scheduling Mechanism，EUFSM)，该方法着重描述了历史流长信息收集W及对数据中屯、网 络中的流进行调度的方法，包括W下步骤：
[0012] A.历史流长信息的收集步骤:数据中屯、网络中的机架交换机W五元组(源IP地址， 目的IP地址，源端口号，目的端口号，运输层协议)对所有流经的分组进行聚合，形成流信 息，如果一条流超过64秒没有下一个分组到达，则认为该流传输结束，然后计算整条流的字 节长度;持续收集流长信息并进行累加，然后Wl个字节为单位，统计流长分布的概率密度 函数;在一条新的流完成传输时，对流长分布函数进行更新。
[0013] B.计算分组优先级的步骤：已知数据中屯、网络流长的概率密度分布函数为P(X) (其中X为字节数），数据中屯、网络交换机链路带宽为C，针对已传输字节数为B的流，计算其 在t时间内完成传输的概率，计算方法3
根据所有流计算得到的传输结束 概率，采用K均值方法对其进行聚类，类别数目为8，然后得到7个划分不同流类别的阔值，传 输结束概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并W此类 推。
[0014] C.在端系统接入端对流进行标记的步骤:根据步骤的十算得到的阔值，利用控制器 对端系统接入处的流量控制设备的配置进行更新;然后对各个分组的DSCP字段进行标记， 优先级最高的分组DSCP字段设置为1，次高的设置为2,并W此类推。
[0015] D.对分组进行调度的步骤:利用OF-CONFIG配置管理协议对交换机进行配置，将每 个交换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将 其送入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所 有更高优先级队列都为空时，该队列中的分组才能得到服务。
[0016] 有益效果:本发明相对现有技术具有W下优点：
[0017] 1、不依赖先验知识:较之现有的设计方法，本发明不需要掌握每条流的长度和传 输完成期限等信息，因此能够更有效地在实际数据中屯、网络环境中加 W部署。
[0018] 2、平均流传输完成时间短:本发明W流的传输结束概率作为设定优先级的标准， 因此在理论上能够更快结束流的传输，从而缩短流的平均传输完成时间。
【附图说明】
[0019]图巧本发明实施例运行的网络环境；
[0020] 图2为本发明实施例对应EUFSM方法流程图。
【具体实施方式】
[0021] 下面结合具体实施例，进一步阐明本发明，应理解运些实施例仅用于说明本发明 而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价 形式的修改均落于本申请所附权利要求所限定的范围。
[0022] 首先给出本发明所需要的运行环境和应用场景，如图1所示:在网络中提前部署交 换机和流量控制设备，所有PC机分为发送方和接收方两类，发送方产生数据流并向某个接 收方发送分组。
[0023] 运行本发明提供的面向高效资源利用的数据中屯、网络流调度方法的系统配置如 下：在Intel-Linux架构的PC机和流量控制设备上安装并运行本发明的抓FSM软件，PC机W 至少IOOMbps的接入带宽连接到因特网中。运些PC机硬件的主频为4.66G化的Core双核CPU， 内存2GB，硬盘250GB，运行Red化t 6.化nte巧rise操作系统。
[0024] -种降低数据中屯、网络中流传输完成时间的流调度方法，包括W下步骤：
[0025] A.历史流长信息的收集步骤:数据中屯、网络中的机架交换机W五元组(源IP地址， 目的IP地址，源端口号，目的端口号，运输层协议)对所有流经的分组进行聚合，形成流信 息，如果一条流超过64秒没有下一个分组到达，则认为该流传输结束，然后计算整条流的字 节长度;持续收集流长信息并进行累加，然后Wl个字节为单位，统计流长分布的概率密度 函数;在一条新的流完成传输时，对流长分布函数进行更新。
[0026] B.计算分组优先级的步骤：已知数据中屯、网络流长的概率密度分布函数为P(X) (其中义为字节数），数据中屯、网络交换机*连|路盐^^*^[.^对已传输字节数为邮勺流，计算其 在t时间内完成传输的概率，计算方法；
根据所有流计算得到的传输结束 概率，采用K均值方法对其进行聚类，类别数目为8,然后得到7个划分不同流类别的阔值，传 输结束概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并W此类 推。
[0027] C.在端系统接入端对流进行标记的步骤:根据步骤的十算得到的阔值，利用控制器 对端系统接入处的流量控制设备的配置进行更新;然后对各个分组的DSCP字段进行标记， 优先级最高的分组DSCP字段设置为1，次高的设置为2,并W此类推。
[00%] D.对分组进行调度的步骤:利用OF-CONFIG配置管理协议对交换机进行配置，将每 个交换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将 其送入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所 有更高优先级队列都为空时，该队列中的分组才能得到服务。
[0029] 图2给出了本发明抓FSM方法的工作流程图，该流程开始于步骤SlOl，运时发送方 开始产生流量，然后转S102。
[0030] 在步骤S102中，流开始发送分组，并同时转入S103和S107。
[0031] 在步骤S103中，判断流是否传输完毕，否返回S102,是转S104。
[0032] 在步骤S104中，对流长的分布进行更新，然后转S105。
[0033] 在步骤S105中，根据更新后的流长分布，重新计算划分分组优先级的阔值，然后转 S106。
[0034] 在步骤S106中，流量控制设备根据修改后的阔值更新对分组标记时的DSCP值，然 后转S108。
[0035] 在步骤S107中，流量控制设备收到流产生的分组，然后转步骤S108。
[0036] 在步骤S108中，流量控制设备根据计算得到的结果对分组标记相应的DSCP值，然 后转S109。
[0037] 在步骤S109中，接收端交换机按照DSCP值将分组插入到相应的队列中，然后转 SllOo
[0038] 在步骤SllO中，接收端交换机按照队列的优先级对分组进行调度，然后转Slll并 结束整个流程。
[0039] 实施例
[0040] 本实施例给出了某试验床中的多台交换机和PC机上运行基于本发明的面向高效 资源利用的数据中屯、网络流调度方法的软件对所有测试PC机和交换机进行组织，W为调度 网络中的流分组提供科学依据。
[0041] 假定该测试床中的一半PC机W至少IOOMbps的带宽接入到交换机中，并通过一个 流量控制设备连接到另一个交换机，另一半PC机与运个交换机相连，所有设备都运行基于 本发明的面向高效资源利用的数据中屯、网络流调度方法的软件。当PC机上的软件启动后， 自动记录各条流的传输完成时间。
[0042] 通过抓FSM方法对数据中屯、网络中的流进行调度之后，内容提供商就能够在数据 中屯、网络中实现不依赖先验知识的流调度和较低的流传输完成时间，从而改善用户使用数 据中屯、网络所提供服务的体验质量。
[0043] 本发明未设及部分均与现有技术相同或可采用现有技术加 W实现。
【主权项】
1. 一种降低数据中心网络中流传输完成时间的流调度方法，该方法着重描述了历史流 长信息收集以及对数据中心网络中的流进行调度的方法，其特征在于:包括以下步骤： A. 历史流长信息的收集步骤:数据中心网络中的机架交换机以五元组(源IP地址，目的 IP地址，源端口号，目的端口号，运输层协议)对所有流经的分组进行聚合，形成流信息，如 果一条流超过预设时间没有下一个分组到达，则认为该流传输结束，然后计算整条流的字 节长度;持续收集流长信息并进行累加，然后以1个字节为单位，统计流长分布的概率密度 函数;在一条新的流完成传输时，对流长分布函数进行更新； B. 计算分组优先级的步骤:已知数据中心网络流长的概率密度分布函数为p(x)(其中X 为字节数），数据中心网络交换机链路带宽为C，针对已传输字节数为B的流，计算其在t时间 内完成传输的概率，；根据所有流计算得到的传输结束概率，采 用K均值方法对其进行聚类，类别数目为8,然后得到7个划分不同流类别的阈值，传输结束 概率最高的类别具有最高的优先级，次高的类别具有第二等级的优先级，并以此类推； C. 在端系统接入端对流进行标记的步骤:根据步骤B计算得到的阈值，利用控制器对端 系统接入处的流量控制设备的配置进行更新;然后对各个分组的DSCP字段进行标记； D. 对分组进行调度的步骤:利用OF-CONFIG配置管理协议对交换机进行配置，将每个交 换机入端口划分出8个优先级不同的队列；当分组到达时，根据分组DSCP字段的内容将其送 入对应的队列；当队列不为空，交换机按照各个队列的优先级顺序进行调度，只有当所有更 高优先级队列都为空时，该队列中的分组才能得到服务。
【文档编号】H04L12/865GK105827547SQ201610137805
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】胡超, 刘波, 邢长友, 陈鸣, 李兵
【申请人】中国人民解放军理工大学