基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置制造方法
【专利摘要】本发明涉及一种虚拟Hadoop集群节点选择方法及装置，公开了基于最短逻辑距离的虚拟Hadoop集群节点选择方法，通过计算虚拟机节点的逻辑通信距离选择Master节点，通过计算虚拟机节点的逻辑传输距离选择R个Reducer节点，通过监控虚拟集群是否达到SLA要求决定是否重新选择Master节点以及Reducer节点，此外，本发明也提供了一种应用上述基于最短逻辑距离的虚拟Hadoop集群节点选择方法得到的选择装置。本发明的优点在于，可以提高计算性能，减少网络数据数据传输压力，同时兼具对网络环境的动态适应机制，具有较好的应用价值。
【专利说明】[0001] 基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装 CP3
【技术领域】
[0002] 本发明涉及一种虚拟Hadoop集群节点选择方法及装置，特别涉及一种基于最短 逻辑距离的虚拟Hadoop集群节点选择方法，以及基于最短逻辑距离的虚拟Hadoop集群节 点选择装置。
【背景技术】
[0003] 随着云计算技术的飞速发展，传统的物理集群上运行的程序也逐渐向云计算环境 下的虚拟机集群转移。大数据计算平台Hadoop便是典型代表，Hadoop平台部署到虚拟机 集群具有很多优势：一、高效的资源利用率，多虚拟机共用一台物理机提升资源使用效率； 二、快捷的动态部署，节点数可以在秒级时间内按需增减；三、动态资源调配，每个虚拟机节 点的资源分配可以按需增减；四、高效的存储性能，计算时数据存储在本地磁盘，共用数据 和不急需的数据存放在HDFS上，提升了数据存取速度。
[0004] 然而，虚拟Hadoop集群的推广同时面临很多需要解决的性能问题，最具代表性的 是网络开销问题，虚拟集群使得多台虚拟机部署到一台物理机上，每一台虚拟机承受和原 有物理机同样的数据传输压力，使得物理机的网络传输压力是以前的数倍。因此，急需就减 少物理机的网络传输压力进行进一步的研究。
【发明内容】
[0005] 本发明针对现有技术中，缺乏针对网络传输压力，特别是针对虚拟Hadoop集群的 网络优化方案的缺点，提供了一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法及 应用上述方法的装置。
[0006] 为实现上述目的，本发明可采取下述技术方案： 基于最短逻辑距离的虚拟Hadoop集群节点选择方法，包括以下具体步骤： 1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐 标内所对应的虚拟坐标； 2 ) 根据虚 拟坐标 计算虚 拟机节 点Vj、Vj之间的逻辑通信距离LCDi：i，其中，虚拟机节点％为虚拟集群内的任意两个虚拟 机节点：
【权利要求】
1. 一种基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征在于，包括以下具 体步骤： 1)应用Vivaldi网络坐标计算方法计算虚拟集群内每个虚拟机节点在Vivaldi网络坐 标内所对应的虚拟坐标； 2 ) 根据虚拟坐标计算虚拟机节点QU0TE Γ,Γ、QUOTE丨'，Γ,之间的逻辑通信距离QUOTE 其中，虚拟机节点QUOTE k4i ikV hJ Γ, Γ、QUOTE K Γ,为虚拟集群内的任意两个虚拟机节点，QUOTE ?α)., = Ι?, I,i, J J ttJ " J [CD. ,=.?-1,1,QUOTEI1为虚拟机节点QUOTEΓ,.Γ,在Vivaldi网络坐标内所对应 % .j kJ1- k k kh ww ww I f I ? 的坐标向量，QUOTE为虚拟机节点QUOTEI,在Vivaldi网络坐标内所对应的坐标 J J i J 向量； 3) 根据逻辑通信距离QUOTEICD,,iCO,,计算虚拟集群内任一虚拟机节点与虚拟集 群内除该任一虚拟机节点以外的所有虚拟机节点的逻辑通信距离之和，记为总逻辑通信距 离，选择总逻辑通信距离最短的虚拟机节点作为Master节点； 4) 计算虚拟集群内虚拟机节点QUOTEΓ,Γ至Mapper节点QUOTE?,?,的逻辑传输 kk i i 距离QUOTE!Til,UO,.,,其中，QUOTE1:「为虚拟集群内的任一虚拟机节点，QUOTEFf !.为任一Mapper节点，QUOTE[ΓΛ，=λX?ΩΙ，XITD,(=KXLCD,,X7?^,k i KV?w? *-% u 为QUOTEiCft,iCfl,,以及与虚拟机节点QUOTE[:I:相连接的交换机i的影响力因子，QUOTEi反为与虚拟机节点QUOTEKΓ相连接的交换机i的剩余传输能力，QUOTESwi! i ? Ir Ir WU 为所有与交换机i相连接的交换机的剩余传输能力之和； 5) 根据虚拟集群内虚拟机节点QUOTEΓ, 至Mapper节点QUOTEI,I,的逻辑传输距 ihJi 离QUOTEHO.,UD.,,分别计算集群内任一虚拟机节点至集群内除该任一虚拟机节点以 外的其他虚拟机节点的逻辑传输距离之和，记为总逻辑传输距离，选择R个总逻辑传输距 离最短的虚拟机节点作为Reducer节点； 6 )对虚拟集群进行监控，如果虚拟集群因为网络传输速率无法达到预定速率从而出现 网络数据传输瓶颈，贝1J重新开始步骤1)，选择新的Master节点以及Reducer节点，并将数据 迁移至新的Master节点以及Reducer节点。
2. 根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其 特征在于，步骤2)中，使用欧式距离计算任意两个虚拟机节点之间的逻辑通信距离QUOTE 腿观,。 hiJkiJ
3. 根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征 在于，步骤5)中，还包括以下具体步骤：对虚拟机节点的总逻辑传输距离进行升序排序，选 择前R个虚拟机节点作为Reducer节点。
4. 根据权利要求1所述的基于最短逻辑距离的虚拟Hadoop集群节点选择方法，其特征 在于，步骤6)中，如果虚拟集群因为网络数据传输瓶颈而无法满足SLA时，则重新开始步骤 1)。
5. -种基于最短逻辑距离的虚拟Hadoop集群节点选择装置，其特征在于，包括： 逻辑通信距离计算器：逻辑通信距离计算器应用Vivaldi网络坐标计算方法计算虚拟 集群内每个虚拟机节点在Vivaldi网络坐标内所对应的虚拟坐标； Master节点选择器：Master节点选择器根据虚拟坐标计算虚拟机节点QUOTE QUOTE 之间的逻辑通信距离QUOTEMJCD,S； I I "i''I 逻辑传输距离计算器：逻辑传输距离计算器根据逻辑通信距离QUOTEiCD.JOL ,j ?丨j 计算任意虚拟机节点与其他所有虚拟机节点的逻辑通信距离之和，并选择总逻辑通信距离 最短的虚拟机节点作为Master节点； Reducer节点选择器：Reducer节点选择器计算虚拟集群内虚拟机节点QUOTEIlf 至 fe k Mapper节点QUOTEI.I.的逻辑传输距离QUOTE腿H JJ''J '} 集群性能监控器：集群性能监控器对虚拟集群进行监控，如果虚拟集群因为网络传输 速率无法达到预定速率从而出现网络数据传输瓶颈，则重新开始步骤1)，选择新的Master 节点以及Reducer节点，并将数据迁移至新的Master节点以及Reducer节点。
【文档编号】H04L12/733GK104468379SQ201310418713
【公开日】2015年3月25日 申请日期:2013年9月16日 优先权日:2013年9月16日
【发明者】尹建伟, 赵新奎, 李莹, 邓水光, 吴健, 吴朝晖 申请人:浙江大学