Hadoop集群存储系统的制作方法
【专利摘要】本实用新型涉及信息技术处理领域，具体涉及Hadoop集群存储系统；包括一个1000M交换机及数个100M交换机，所述1000M交换机均与数个100M交换机及客户端连接，所述每个100M均连接有数个服务器，所述数个服务器分别设置在机架上；支持存储节点的热插拔和可以在普通PC机上存储非结构化文件，这不但提高了系统的扩展灵活性，还大大降低了企业在硬件方面的投入。
【专利说明】Hadoop集群存储系统
【技术领域】
[0001] 本实用新型涉及信息技术处理领域，具体涉及Hadoop集群存储系统。
【背景技术】
[0002] 在非结构化数据存储中我们主要考虑的是大数据的存储，虽然现行的商业平台也 能满足非结构化数据的存储，但问题主要出在系统可扩展性和建设费用上。对于庞大的非 结构化数据存储产生的I/O瓶颈问题和昂贵的服务器价格不得不使我们另谋出路。Hadoop 的分布式文件系统HDFS出现恰好解决了商业平台中的1/0瓶颈和服务器价格昂贵问题。 Hadoop的优势体现在以下几个方面：
[0003] l)Had〇〇p依赖于低端服务器甚至是普通计算机，相对于商业平台的高昂成本，它 的成本要低得多，几乎可以说任何人都可以使用它，哪怕是信息化成本预算较少的小微企 业；
[0004] 2) HDFS与Map/Reduce紧密集成是Hadoop分布式计算的存储基石。它有自己明确 的设计目标那就是支持大的数据文件大至T级，并且这些文件以顺序读取为主，以文件存/ 读的高吞吐量为目标。在使用HDFS分布式文件系统存储非结构化文件后，将提高我们系统 的存储文件速度；
[0005] 3)HDFS的数据恢复能力也保证了系统的安全可靠性，可靠性体现在它假设计算元 素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
[0006] 同时支持存储节点的热插拔和可以在普通PC机上存储非结构化文件，这不但提 高了系统的扩展灵活性，还大大降低了企业在硬件方面的投入。 实用新型内容
[0007] 本实用新型的目的为了解决上述问题，提供了一种Hadoop集群存储系统，其可以 选择普通的PC机器作为数据节点，这大大的降低了存储数据所需要昂贵存储设备价格，并 且在数据存储过程中，HDFS拥有很好的数据容灾机制。
[0008] 为实现上述目的，本实用新型提供一种Hadoop集群存储系统，包括一个1000M交 换机及数个100M交换机，所述1000M交换机均与数个100M交换机及客户端连接，所述每个 100M交换机均连接有数个服务器，所述数个服务器分别设置在机架上。
[0009] 进一步的，所述数个100M交换机为2个。
[0010] 进一步的，所述数个服务器为30-40个服务器
[0011] 本实用新型的有益效果在于：
[0012] 可扩展：不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本。
[0013] 经济：框架可以运行在任何普通的PC上。
[0014] 可靠：分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式 处理的可靠性。
[0015] 高效：分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理 的模式，为高效处理海量的信息作了基础准备。
【专利附图】
【附图说明】
[0016] 为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例 或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。
[0017] 图1为本实用新型结构框图。
【具体实施方式】
[0018] 下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的 实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下 所获得的所有其他实施例，都属于本实用新型保护的范围。
[0019] 参见图1，本实用新型提供本实用新型提供一种本实用新型提供一种Hadoop集群 存储系统，包括一个1000M交换机2及数个100M交换机3,所述1000M交换机2均与数个 100M交换机3及客户端1连接，所述每个100M交换机均连接有数个服务器4,所述数个服 务器分别设置在机架5上。进一步的，所述数个100M交换机为2个。进一步的，所述数个 服务器为30-40个服务器。通常Hadoop集群架构包含两级网络拓扑，各机架装配30-40个 服务器，共享一个1GB的交换机，各机架的交换机又通过上行链路与一个核心交换机或路 由器互联。这一架构的突出特点是：同一机架内部节点间的总带宽要远高于不同机架间节 点的带宽。
[0020] HDFS支持数据的均衡计划，如果某个Datanode节点上的空闲空间低于特定的临 界点，那么就会启动一个计划自动地将数据从一个Datanode搬移到空闲的Datanode。当对 某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并分布到集群 中以满足应用的要求。这些均衡计划目前还没有实现
[0021] 以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本 实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型 的保护范围之内。
【权利要求】
1. Hadoop集群存储系统，其特征在于：包括一个1000M交换机及数个100M交换机，所 述1000M交换机均与数个100M交换机及客户端连接，所述每个100M交换机均连接有数个 服务器，所述数个服务器分别设置在机架上。
2. 根据权利要求1所述的Hadoop集群存储系统，其特征在于：所述数个100M交换机 为2个。
3. 根据权利要求1所述的Hadoop集群存储系统，其特征在于：所述数个服务器为 30-40个服务器。
【文档编号】H04L29/08GK203911979SQ201420167292
【公开日】2014年10月29日 申请日期:2014年4月8日 优先权日:2014年4月8日
【发明者】曹敏, 张建伟, 杨晴, 高尚飞, 崇斐 申请人:云南电力试验研究院（集团）有限公司电力研究院, 昆明能讯科技有限责任公司