专利名称：一种面向任务级的大数据分发质量保障方法及装置的制作方法
技术领域：
本发明属于网络数据传输服务质量保障技术领域，特别地涉及一种面向任务级的大数据分发质量保障方法及装置。
背景技术：
随着媒体信息的不断丰富，作为保存信息内容媒介的数字文件也在快速膨胀。面向频繁的用户文件交换需求，计算机网络已经成为了文件传输的主要途径。在海量大数据传输的计算机网络中，由于传统计算机网络尽力而为的服务机制，容易导致以下问题的发生:丢失数据包:当数据包到达一个缓冲区(buffer)已满的路由器时，则代表此次的发送失败，路由器会依据网络的状况决定是否丢弃一部份或者是所有的数据包，接收端的应用程序必须请求重新传送，可能造成总体传输严重的延迟；延迟:不可预料数据包传送到终点的耗时，因为数据包会被路由缓存队列迟滞，或需要运用间接路由以避免阻塞；传输顺序出错:当一组相关的数据包路由经过因特网时，不同的数据包可能选择不同的路由器，这会导致每个数据包有不同的延迟时间。最后数据包到达目的地的顺序会和数据包从发送端发送出去的顺序不一致，这个问题必须要有特殊额外的协议负责刷新失序的数据包；出错:有些时候，数据包在被运送的途中会发生跑错路径、被合并甚至是毁坏的情况，这时接收端必须能够侦测出这些情况，并将它们判别为已遗失的数据包，再请求发送端再送一份同样的数据包。由于以上情况的频繁发生，数据接收端的数据接收速率往往无法得到保障，且由于不同接收端之间的恶性竞争，有可能导致某些接收端的带宽资源被抢占。在专用大数据分发系统中，需要保证用户提交分发任务的数据分发速率，从而保证分发服务的有效性和可靠性。服务质量保障技术是解决上述问题的途径之一。服务质量(Quality of Service,QoS)是网络的一种安全机制,是用来解决网络延迟和阻塞等问题的一种技术。在正常情况下，如果网络只用于特定的无时间限制的应用系统，并不需要QoS，比如Web应用，或E-mail设置等。但是对多媒体和大数据传输应用就十分必要。当网络过载或拥塞时，QoS能确保重要业务量不受延迟或丢弃，同时保证网络的高效运行。传统服务质量保障技术采用与硬件绑定的形式，将QoS功能植入路由器等硬件设施，通过IP(Intemet Protocol,网络之间互连的协议)绑定带宽的形式进行质量保证服务。随着宽带网络的发展和应用的增长，传统服务质量保障技术存在较大的局限性，包括仅提供物理地址级别服务而无法针对应用任务级别服务，无法动态调整带宽的占用、无法保障带宽利用的优化。同时传统服务质量保障技术高度依赖人工参与，因此在人力成本和扩展性上都存在缺陷。
发明内容
为解决上述问题，本发明的目的在于针对传统服务质量保障技术无法实现面向任务级别的数据分发应用需求的带宽资源保障和动态调整能力，提供一种能实现预定数据接收端的分发带宽资源、选择数据传输端为接收端服务、数据接收端分发速率的动态调整的面向任务级别的大数据分发服务质量保障方法。本发明的另一目的在于提供一种面向任务级别的大数据分发服务质量保障装置，该装置能够协调数据分发任务的分发速率。为实现上述目的，本发明的技术方案为:一种面向任务级的大数据分发质量保障方法，包括以下步骤:步骤I，数据分发协作服务器处理创建分发任务请求，创建该任务并获取其优先级参数，其中优先级包含高、中、低三个等级；步骤2，数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整；步骤3，得出每个任务调整后分配的带宽，数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；步骤4，带宽控制服务器接收任务带宽调整命令后，调整该任务数据接收速率至命令要求的设置带宽；步骤5，数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器；步骤6，带宽控制服务器完成数据传输后，向数据分发协作服务器发送任务完成指令；步骤7，数据分发协作服务器接收到任务完成指令后，修改该任务状态为已完成，并依据步骤2重新计算正在运行各分发任务占用带宽；步骤8，数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令；步骤9，带宽控制服务器接收到任务带宽调整指令后，重新调整属于该客户服务器的分发任务的带宽。优选地，步骤2中，数据分发协作服务器将定时对当前带宽占用资源信息进行统计，若带宽资源利用率不足带宽资源总量的70%，且当前没有新建分发任务请求，则重新划分当前所有任务带宽资源，并通知所有带宽控制服务器调整其负责的分发任务的传输速率。优选地，所述步骤2中具体的划分调整方法如下:设当前聚合带宽为Dttrtal,高优先级任务带宽分配为Dhigh,中优先级任务带宽分配为Dmid，低优先级任务分配带宽为D1ot，则满足以下关系:Dtotal — Dhigh+Dmid+Dlow 其中 Dtotal, Dhigh, Dmid, Dlow G N,设当前高优先级任务数目为Nhigh,中优先级任务数目为Nmid，低优先级任务数目为Nlmt，则各优先级任务所分配带宽满足以下关系:Dhigh — NhighX Thigh
Dfflid = NfflidXTfflidDlow = NlowXTlow高优先级、中优先级及低优先级任务分配带宽满足以下比例关系:Thigh.Tmid.Tlow — Phigh.Pmid.Plow其中Phigh = 4，Pmid = 2，Plow = 1，Thigh为每个高优先级任务的分配带宽，Tmid为每个中优先级任务的分配带宽，Tlow为每个的低优先级任务的分配带宽，由以上所述关系可得高、中、低优先级任务所分配带宽分别如下:
权利要求
1.一种面向任务级的大数据分发质量保障方法，其特征在于，包括以下步骤: 步骤I，数据分发协作服务器处理创建分发任务请求，创建该任务并获取其优先级参数，其中优先级包含高、中、低三个等级； 步骤2，数据分发协作服务器依据当前正在运行的分发任务对聚合带宽进行划分调整； 步骤3，得出每个任务调整后分配的带宽，数据分发协作服务器将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器； 步骤4，带宽控制服务器接收任务带宽调整命令后，调整该任务数据接收速率至命令要求的设置带宽； 步骤5，数据分发协作服务器将创建任务指令发送到该任务指定带宽控制服务器； 步骤6，带宽控制服务器完成数据传输后，向数据分发协作服务器发送任务完成指令；步骤7，数据分发协作服务器接收到任务完成指令后，修改该任务状态为已完成，并依据步骤2重新计算正在运行各分发任务占用带宽； 步骤8，数据分发协作服务器向负责各分发任务的带宽控制服务器发送任务带宽调整指令； 步骤9，带宽控制服务器接收到任务带宽调整指令后，重新调整属于该客户服务器的分发任务的带宽。
2.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，步骤2中，数据分发协作服务器将定时对当前带宽占用资源信息进行统计，若带宽资源利用率不足带宽资源总量的70%，且当前没有新建分发任务请求，则重新划分当前所有任务带宽资源，并通知所有带宽控制服务器调整其负责的分发任务的传输速率。
3.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，所述步骤2中具体的划分调整方法如下: 设当前聚合带宽为Dtotal,高优先级任务带宽分配为Dhigh,中优先级任务带宽分配为Dmid，低优先级任务分配带宽为Dlw，则满足以下关系: Dtotai — Dhigh+Dmid+Dlow 其中 Dtotal, Dhigh, Dmid, Dlow G N, 设当前高优先级任务数目为Nhigh,中优先级任务数目为Nmid，低优先级任务数目为N1ot，则各优先级任务所分配带宽满足以下关系: Dhigh — NhighXThigh Dmid 一 NmidXTmid Diow = NlowXTlow 高优先级、中优先级及低优先级任务分配带宽满足以下比例关系: T.T.τ ——P.η.η 丄high * iInid * 1 low rhigh.rmid.r low 其中Phigh = 4，Pmid = 2，Plow = 1，Thigh为每个高优先级任务的分配带宽，Tmid为每个中优先级任务的分配带宽，Tlow为每个的低优先级任务的分配带宽， 由以上所述关系可得高、中、低优先级任务所分配带宽分别如下:
4.根据权利要求1所述的一种面向任务级的大数据分发质量保障方法，其特征在于，步骤4中调整该任务数据接收速率至命令要求的设置带宽具体为，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施，否则，削减任务占用带宽。
5.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法，其特征在于，若该任务当前传输任务实际传输速率小于等于设置带宽V，则仅设置该任务的带宽上限为V，对该任务不做任何调整措施具体为， 设负责该分发任务的带宽控制服务器为C，该任务从η台数据传输服务器请求数据，其中η > 1，记为Ti其中i e [I, η]，从每个数据传输服务器请求数据的传输速率记为Vi其中i e [1，η]，因此该任务的数据传输速率为:
6.根据权利要求4所述的一种面向任务级的大数据分发质量保障方法，其特征在于，削减任务占用带宽具体步骤为， 步骤201，设数据传输服务器Ti对外数据传输速率为Wi其中i e [1，n]，Ti拥有对外带宽为Di其中i e [I, η]，则计算Ti当前剩余带宽为Ri = D1-Wi,设任务接收数据传输服务器集合为S = {Tji e [I, η]}； 步骤202，在集合S中找出剩余带宽最少的一台数据传输服务器记为Ir任务从L获取数据速率为 Vj =Tj = Ti (min (Ri | Ties}); 步骤203，得出当前任务需要削减的带宽AV = U-V,若AV < V」，则转向步骤S204，否则转向步骤S205 ； 步骤204，令￥」=Vj-AV,即将该任务对数据传输服务器的传输速度下调Λ V，转向步骤 S206 ； 步骤205，令AV= ΛV-Vj，且S = S-Tj,即撤销该数据传输服务器为该任务的数据来源，且削减带宽减少该数据传输服务器对该任务的传输速率贡献，若此时则转向步骤S206，否则重新转向步骤S202 ； 步骤206，设置该任务带宽上限为U，结束流程L = U。
7.一种面向任务级的大数据分发质量保障装置，其特征在于，包括一台数据分发协作服务器、若干数据传输服务器及若干带宽控制服务器，以上服务器均采用万兆以太网链路连接，使用万兆交换机直连， 所述数据分发协作服务器包括分发任务管理单元和分发任务协作单元，所述分发任务管理单元用于接收外界创建或撤销分发任务请求，维护分发任务元数据；所述分发任务协作单元负责分发任务的质量保障服务，协调不同优先级任务间的带宽资源占用比例； 所述数据传输服务器用于对外提供数据传输服务，数据传输服务采用拉模式，由带宽控制服务器发起分发请求，从数据传输服务器端抓取数据，每个数据传输服务器维护相同的数据目录，从而为数据分发接收服务器提供并行传输保障，数据传输服务器发布数据服务可采用ftp、http、sftp等文件访问协议； 所述带宽控制服务器包括数据分片单元、数据传输单元和数据接收调度单元，所述数据分片单元负责接收数据分块从而实现并行传输，所述数据传输单元负责具体数据传输协议的接收任务及数据接收速率的调整，所述数据接收调度单元负责选择数据传输服务器及响应数据分发协作服务器下达的指令。
全文摘要
本发明实施例公开了一种面向任务级的大数据分发质量保障方法及装置，其中方法实例中，包括以下步骤数据分发协作服务器处理创建分发任务请求；依据当前正在运行的分发任务对聚合带宽进行划分调整；将对任务的带宽调整指令转发至负责该分发任务的带宽控制服务器；调整该任务数据接收速率至命令要求的设置带宽；将创建任务指令发送到该任务指定带宽控制服务器；向数据分发协作服务器发送任务完成指令；修改该任务状态为已完成，并依据重新计算正在运行各分发任务占用带宽。本发明能够在网络上分发大数据时定制和分配不同优先级分发任务的带宽资源分配，同时具备动态调整的能力，保障分发任务的带宽资源和传输速度。
文档编号H04L12/851GK103118134SQ20131006299
公开日2013年5月22日 申请日期2013年2月28日 优先权日2013年2月28日
发明者陈华钧, 方聪, 刘 东, 胡磊, 杨建华, 郑国轴, 吴朝晖 申请人:浙江大学