一种测试Hadoop集群稳定性的方法及系统的制作方法
【技术领域】
[0001 ]本发明涉及大数据处理技术领域，更具体地说，涉及一种测试Hadoop集群稳定性的方法及系统。
【背景技术】
[0002]随着人类社会全面进入信息时代，数据成为与水、石油同等重要的战略资源。通过挖掘海量数据，能够使政府和企业的运行决策建立在更加科学的依据基础上，提高决策效率、危机应对能力和公共服务水平。大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
[0003]Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop框架中最核心设计就是:HDFS和MapReduce aHDFS提供了海量数据的存储，MapReduce提供了对数据的计算。Hadoop集群的稳定性取决于HDFS和MapReduce的稳定性，因此，如何测试HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性，是现在需要解决的问题。
【发明内容】
[0004]本发明的目的在于提供一种测试Hadoop集群稳定性的方法及系统，以测试整个Hadoop集群的稳定性。
[0005]为实现上述目的，本发明实施例提供了如下技术方案:
[0006]一种测试Hadoop集群稳定性的方法，包括:
[0007 ] Namenode服务器运行基准测试，Datanode服务器运行ΝΜ0Ν工具;其中，所述基准测试包括DFS10基准测试和Terasort基准测试；
[0008]所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；
[0009]所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性。
[0010]优选的，所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括:
[0011 ] 所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行DFS10基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。
[0012]优选的，所述Namenode服务器运行DFS10基准测试包括:所述Namenode服务器运行DFS1-write基准测试和DFS1-Read基准测试。
[0013]优选的，所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行基准测试的资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性包括:
[0014]所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。
[0015]优选的，所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，包括:
[0016]所述Namenode服务器判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；
[0017]若是，则判定所述Hadoop集群的稳定性为稳定;若否，则判定所述所述Hadoop集群的稳定性为不稳定。
[0018]一种测试Hadoop集群稳定性的系统，包括:
[00?9] Namenode服务器和Datanode服务器;其中，所述Namenode服务器运行基准测试，所述Datanode服务器运行ΝΜ0Ν工具;所述基准测试包括DFS10基准测试和Terasort基准测试；[°02°] 所述Namenode服务器用于通过所述匪0N工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据，并根据所述第一资源消耗数据判断Hadoop集群的稳定性。[0021 ] 优选的，所述Namenode服务器包括:
[0022]第一测试模块，用于通过所述匪ON工具，实时获取所述Datanode服务器运行DFS10基准测试的第二资源消耗数据，并根据所述第二资源消耗数据判断所述Hadoop集群的HDFS的稳定性。
[0023]优选的，所述Namenode服务器运行DFS10基准测试包括:所述Namenode服务器运行DFS1-write基准测试和DFS1-Read基准测试。
[0024]优选的，所述Namenode服务器包括:
[0025]第二测试模块，用于通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行Terasort基准测试的第三资源消耗数据，并根据所述第三资源消耗数据判断所述Hadoop集群的的MapReduce的稳定性。
[0026]优选的，所述Namenode服务器包括:
[0027]判断模块，用于判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；若是，则判定所述Hadoop集群的稳定性为稳定;若否，则判定所述所述Hadoop集群的稳定性为不稳定。
[0028]通过以上方案可知，本发明实施例提供的一种测试Hadoop集群稳定性的方法及系统，包括:Namenode服务器运行基准测试，Datanode服务器运行匪0N工具;其中，所述基准测试包括DFS10基准测试和Terasort基准测试;所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据;所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，可见，在本实施例中，通过在Namenode服务器上运行DFS10基准测试和Terasort基准测试，能分别测出Hadoop集群HDFS和MapReduce的稳定性，从而测试整个Hadoop集群的稳定性。
【附图说明】
[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本发明实施例公开的一种测试Hadoop集群稳定性的方法流程示意图；
[0031 ]图2为本发明实施例公开的一种测试HDFS稳定性的方法流程示意图；
[0032]图3为本发明实施例公开的一种测试MapReduce稳定性的方法流程示意图；
[0033]图4为本发明实施例公开的一种测试Hadoop集群稳定性的系统结构示意图。
【具体实施方式】
[0034]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]本发明实施例公开了一种测试Hadoop集群稳定性的方法及系统，以测试整个Hadoop集群的稳定性。
[0036]参见图1，本发明实施例提供的一种测试Hadoop集群稳定性的方法，包括:
[0037]S101、NamenOde服务器运行基准测试，Datanode服务器运行匪0N工具；其中，所述基准测试包括DFS10基准测试和Terasort基准测试；
[0038]具体的，在本实施例中，在测试Hadoop集群之前要确定搭建Hadoop集群。在部署Hadoop集群时，使用多台适合大数据传输和存储处理的服务器以及其它相关设备，构建高效能大数据平台，并可弹性扩展。并且在部署Hadoop集群，严格根据具体需求，针对内存、cpu、硬盘、网络做出最优配置。具体可以准备千兆交换机一台和4台服务器构成1+3的Hadoop集群，其中1+3的Hadoop集群为1台Namenode服务器，3台Datanode服务器，并且在本实施例中Datanode服务器的数量可以根据实际需要进行自定义设定的，但是数量要大于等于3。
[0039]需要说明的是，在本实施例中，运行DFS10基准测试和TeraSort基准测试时，要保持集群环境唯一性，即集群配置不变，并且集群在同时段只能运行一个任务。
[0040]S102、所述Namenode服务器通过所述ΝΜ0Ν工具，实时获取所述Datanode服务器运行基准测试的第一资源消耗数据；
[0041]S103、所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性。
[0042]具体在本实施例中，Namenode服务器通过在测试过程中实时获取资源消耗数据，判断Hadoop集群的稳定性是否稳定。其中，资源消耗数据可以包括CPU利用率、网络吞吐率、硬盘10以及磁盘空间消耗等数据。
[0043]优选的，所述Namenode服务器根据所述第一资源消耗数据判断Hadoop集群的稳定性，包括:
[0044]所述Namenode服务器判断所述第一资源消耗数据中的资源消耗值是否在预定范围内；
[0045]若是，则判定所述Hadoop集群的稳定性为稳定;若否，则判定所述所述Hadoop集群的稳定性为不稳定。
[0046]具体的，在本实施例中，若通过ΝΜ0Ν分析结果，得出稳定性报告中第一资源消耗数据的资源消耗值不在一个稳定的消耗范围内，则可以判定此时Hadoop集群不稳定，若第一资源消耗数据的资源消耗值在这个稳定的消耗范围内，则可以说明此Hadoop集群稳定。
[0047]具体在，在本实施例中，测试Hadoop集群稳定性可以通过测试HDFS和MapReduce的稳定性，因此参见图2，本发明实施例提供的另一种测试HDFS稳定性的方法，包括:
[0048]S201、Namenode服务器运行DFS10基准