面向云平台大数据处理的虚拟网络构建方法及系统的制作方法
【专利摘要】本发明公开了一种面向云平台大数据处理的虚拟网络构建方法及系统，涉及云计算【技术领域】，所述包括以下步骤：S1：在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数koptimal及设于所述通信代理的服务器上的虚拟机最优数量之和S2：根据所述通信代理的最优总数koptimal及设于所述通信代理的服务器上的虚拟机最优数量之和从云平台上的服务器中确定通信代理的位置；S3：将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。本发明通过各步骤之间的配合，降低了作业执行的总时间。
【专利说明】面向云平台大数据处理的虚拟网络构建方法及系统
【技术领域】
[0001]本发明涉及云计算【技术领域】，特别涉及一种面向云平台大数据处理的虚拟网络构建方法及系统。
【背景技术】
[0002]随着云计算技术的广泛应用，越来越多的大数据处理服务被迁移部署到云计算平台当中，而云计算平台的特性会对传统的MapReduce分布式数据处理方法的性能带来很多新的挑战。目前对云计算平台上MapReduce的性能优化主要都集中在应用层面，如优化大数据作业调度方法等。而缺乏对云平台底层体系结构的研究。将MapReduce并行数据处理应用迁移到云平台之中，并行计算架构中master和slave节点之间的数据通信体现在云平台中虚拟机(VM)之间的通信，因此云平台的架构会进一步对大数据处理的性能产生影响:合理的VM分配方案以及虚拟网络构建方案，会优化大数据处理过程中VM之间的通信开销以及VM处理数据块的计算开销，提升大数据处理的整体性能。
[0003]OpenStack是一个开源的云管理平台项目，由于其多方面的优势，在推出的短短3年多时间里就得到了众多工业界和学术界同行的认可。迄今为止，OpenStack已经发布了 8个版本。在其Folsom版中推出了 Quantum组件,提出了“Network as a Service”的概念,该组件可提供基于云平台的虚拟网络拓扑构建的基本功能。它允许一个租户在虚拟机之间构建虚拟网络，但在一个云平台中只能单一节点部署通信代理。在随后的OpenStack Grizzly版中，为了改善虚拟网络的性能和可靠性，可以允许租户在多主机上部署代理节点。总的来说，目前的Quantum组件只实现了虚拟网络的通信功能，但并没有进一步关注虚拟网络通信性能的提升，具体来说，没有提供有效的通信代理部署分配方法。
【发明内容】
[0004](一 )要解决的技术问题
[0005]本发明要解决的技术问题是:如何降低作业执行的总时间。
[0006]( 二 )技术方案
[0007]为解决上述技术问题，本发明提供了一种面向云平台大数据处理的虚拟网络构建方法，所述包括以下步骤:
[0008]S1:在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和AC—；
[0009]S2:根据所述通信代理的最优总数k_imal及设于所述通信代理的服务器上的虚拟机最优数量之和N,-，从云平台上的服务器中确定通信代理的位置；
[0010]S3:将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。
[0011]其中，步骤SI中通过下式计算通信代理的最优总数及设于所述通信代理的服务器上的虚拟机最优数量之和，
【权利要求】
1.一种面向云平台大数据处理的虚拟网络构建方法，其特征在于，所述包括以下步骤: S1:在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数koptifflal及设于所述通信代理的服务器上的虚拟机最优数量之和; S2:根据所述通信代理的最优总数k_imal及设于所述通信代理的服务器上的虚拟机最优数量之和WTiwi，从云平台上的服务器中确定通信代理的位置； S3:将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。
2.如权利要求1所述的方法，其特征在于，步骤SI中通过下式计算通信代理的最优总数及设于所述通信代理的服务器上的虚拟机最优数量之和，
3.如权利要求2所述的方法，其特征在于，所述通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和的表达式如下，
4.如权利要求1所述的方法，其特征在于，步骤S2包括: S201:通过背包算法在m个服务器中选出I^ptimal个，使得所选出的k_imal个服务器上可用虚拟机之和最接近于ArTwai ； S202:将所选出的I^ptimal个服务器作为通信代理。
5.如权利要求1所述的方法，其特征在于，步骤S3包括: S301:将所述云平台上的服务器中未设置通信代理的虚拟机的性能进行降序排列，以获得虚拟机序列； S302:将所述虚拟机序列中性能最高的虚拟机作为当前虚拟机，并寻找出负载最轻的通信代理； S303:将所述当前虚拟机分配给所述负载最轻的通信代理；S304:判断所述虚拟机是否已经全部分配完，若是，则结束流程，否则将所述当前虚拟机从所述虚拟机序列中移除，并返回步骤S302。
6.一种面向云平台大数据处理的虚拟网络构建系统，其特征在于，所述系统包括: 参数计算模块，用于在作业过程中保证所有虚拟机的总耗时最少的情况下，计算通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和； 位置确定模块，用于根据所述通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和iVT"11，从云平台上的服务器中确定通信代理的位置； 虚拟机分配模块，用于将所述云平台上的服务器中未设置通信代理的虚拟机分配至所述通信代理，以实现所述未设置通信代理的虚拟机与所述通信代理之间的映射关系。
7.如权利要求6所述的系统，其特征在于，所述参数计算模块中通过下式计算通信代理的最优总数及设于所述通信代理的服务器上的虚拟机最优数量之和，
8.如权利要求7所述的系统，其特征在于，所述通信代理的最优总数I^ptimal及设于所述通信代理的服务器上的虚拟机最优数量之和Nfmnl的表达式如下，
9.如权利要求6所述的系统，其特征在于，所述位置确定模块包括: 服务器选出子模块，用于通过背包算法在m个服务器中选出I^ptimal个，使得所选出的koptifflal个服务器上可用虚拟机之和最接近于N0Jmmal; 代理设置子模块，用于将所选出的k_imal个服务器作为通信代理。
10.如权利要求6所述的系统，其特征在于，所述虚拟机分配模块包括: 排序子模块，用于将所述云平台上的服务器中未设置通信代理的虚拟机的性能进行降序排列，以获得虚拟机序列； 寻找子模块，用于将所述虚拟机序列中性能最高的虚拟机作为当前虚拟机，并寻找出负载最轻的通信代理；分配子模块，用于将所述当前虚拟机分配给所述负载最轻的通信代理； 移除子模块，用于判断所述虚拟机是否已经全部分配完，否则将所述当前虚拟机从所述虚拟机序列 中移除。
【文档编号】H04L29/08GK104009904SQ201410222239
【公开日】2014年8月27日 申请日期:2014年5月23日 优先权日:2014年5月23日
【发明者】杨家海, 徐聪, 俞荟, 王烨, 冯瑞军, 殷康 申请人:清华大学, 中国移动通信集团公司