一种充分利用网络计算资源的多租户大数据框架调度方法与流程

文档序号:18142177发布日期:2019-07-10 11:11阅读:来源:国知局

技术特征:

技术总结
本发明公开了一种充分利用网络计算资源的多租户大数据框架调度方法,基于有限并行度的优先级网络传输模型,包括任务选择;资源空隙选择;并行度控制和网络传输优先级设置,本发明首先针对现有网络传输抽象不够有效,导致任务的数据传输部分时间变长的缺陷,提出了有效且可预测的网络传输调度方法,提升了网络传输效率。本发明针对现有调度算法未遵循公平性策略,导致优先级高的工作受到优先级低的工作的影响延时完成的缺陷,针对不同的优化场景做了处理,提高了资源利用率,缩短了工作的完成时间。本发明在真实的大数据系统Hadoop上进行了实现,有非常好的性能提升,验证了本发明方法可以提高资源利用率,并缩短了工作的完成时间。

技术研发人员:田臣;赵扬;田冰川
受保护的技术使用者:南京苍穹浩瀚信息科技有限公司
技术研发日:2019.03.13
技术公布日:2019.07.09
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1