一种确定云平台中最优通信代理节点数目的方法
【专利摘要】本发明的目的是解决现有技术没有确定云平台中最优通信代理节点的数目的问题。为实现本发明目的而采用的技术方案是这样的，一种确定云平台中最优通信代理节点数目的方法，构建一个包括一台控制节点服务器和若干台计算节点服务器的云平台，每一台所述的计算节点服务器上构建若干台虚拟机。所述云平台基于OpenStackHavana版搭建。在所述云平台的服务器上构建若干个通信代理节点，所述通信代理节点用于管理虚拟机。根据map阶段（分发处理阶段）总耗时、Reduce阶段（合并处理阶段）总耗时和MapReduce进程（大数据处理进程）过程耗时的表达式确定获得云平台中最优的通信代理节点数目。
【专利说明】-种确定云平台中最优通信代理节点数目的方法
【技术领域】
[0001] 本发明涉及云平台大数据处理。
【背景技术】
[0002] 基于云平台的大数据处理集群由于其弹性可伸缩的计算框架以及"按需获取"的 新型业务模式正逐渐的被工业界采纳。
[0003] 从OpenStack Grizzly版开始，为了改善虚拟网络的性能和可靠性，可以允许租户 在多主机上部署通信代理节点。但是，虚拟网络组件Neutron只实现了虚拟网络的通信功 能，并没有进一步关注虚拟网络通信性能的提升。也就是说，没有提供有效的通信代理节点 部署分配策略。而针对基于OpenStack的Hadoop集群，我们需要如何去设计通信代理分配 策略来优化虚拟网络的性能以提升集群大数据处理的能力是我们亟需解决的问题。具体来 说，就是为基于OpenStack的虚拟网络优化部署提供解决方案，而其中一个关键问题就是 要确定云平台中最优通信代理节点的数目。
【发明内容】
[0004] 本发明的目的是解决现有技术没有确定云平台中最优通信代理节点的数目的问 题。
[0005] 为实现本发明目的而采用的技术方案是这样的，一种确定云平台中最优通信代理 节点数目的方法，构建一个包括一台控制节点服务器和若干台计算节点服务器的云平台， 每一台所述的计算节点服务器上构建若干台虚拟机。所述云平台基于OpenStack Havana 版搭建。在所述云平台的服务器上构建若干个通信代理节点，所述通信代理节点用于管理 虚拟机。
[0006] 所述通信代理节点的数目k通过以下步骤确定：
[0007] 1) map阶段（分发处理阶段）总耗时：
[0008]
【权利要求】
1. 一种确定云平台中最优通信代理节点数目的方法，构建一个包括一台控制节点服 务器和若干台计算节点服务器的云平台，每一台所述的计算节点服务器上构建若干台虚拟 机；所述云平台基于Openstack Havana版搭建；在所述云平台的服务器上构建若干个通信 代理节点，所述通信代理节点用于管理虚拟机； 其特征在于：最优的通信代理节点数目k通过以下步骤确定： 1. map阶段（分发处理阶段）总耗时：
其中- 代表map
， 阶段总耗时，m代表计算节点服务器的数量，ni代表第i台计算节点服务器上虚拟机的数 量
代表map阶段第i台计算节点服务器上第j个虚拟机耗时，N代表在MapReduce进程 (大数据处理进程）中可用的虚拟机数量，S代表map阶段稳态时，固定时间段内输入云平 台的数据总大小的期望，B代表任意两个计算节点服务器之间传输1GB数据所需时间，μ υ 代表第i号计算节点服务器上的第j台虚拟机当前的处理能力，μ t()tal代表当前云平台中 所有虚拟机的性能总和，k代表云平台中通信代理节点的数目，Na代表构建在有通信代理的 服务器上的虚拟机数量之和； 2. Reduce阶段（合并处理阶段）总耗时：
其中：CT3代表reduce阶段总耗时，m代表计算节点服务器的数量，叫代表第i号计 算节点服务器上虚拟机的数量代表reduce阶段第i台计算节点服务器上第j个虚拟 机耗时，N代表在MapReduce进程（大数据处理进程）中可用的虚拟机数量，S,代表reduce 阶段稳态时，固定时间段内输入的数据总大小的期望，代表reduce阶段数据的虚拟机的 数量，B代表任意两个计算节点服务器之间传输1GB数据所需时间，k代表云平台中通信代 理节点的数目，μ _at代表当前云平台中所有虚拟机的性能总和，Na代表构建在有通信代理 的服务器上的虚拟机数量之和； 3. MapReduce进程（大数据处理进程）过程耗时的表达式：
_ 4)根 据Tt(rtal的表达式，求解获得云平台中最优的通信代理节点数目k :
【文档编号】H04L29/06GK104219226SQ201410395123
【公开日】2014年12月17日 申请日期:2014年8月12日 优先权日:2014年8月12日
【发明者】任海军, 龙澜, 潘璐璐, 吴良俊, 郭晓东, 吴海燕, 王博 申请人:重庆大学