大数据处理平台网络架构的制作方法
【技术领域】
[0001]本实用新型涉及大数据处理平台，尤其涉及一种大数据处理平台网络架构。
【背景技术】
[0002]近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式。世界上越来越多的国家开始从战略层面认识大数据，在政府治理领域融入大数据思维和技术。我国各政府也应顺应时代发展趋势，充分利用大数据提升国家治理能力，以契合推进国家治理能力现代化的时代要求。可以说大数据为政府治理能力的提升带来了发展机遇。首先，大数据能推动政府治理理念和模式的变化。在政府治理领域，通过让海量、动态、多样的数据有效集成为有价值的信息资源，推动政府转变管理理念和治理模式，进而加快治理体系和治理能力现代化。其次，大数据能推动政府治理决策精细化和科学化。在大数据时代，数据的价值随着海量积累而产生质变，能够对经济社会运行规律进行直观呈现，从而降低政府治理偏差概率，提高政府治理的精细化和科学化。最后，大数据能推动政府治理提高效率和节约成本。利用大数据，可以使政府治理所依据的数据资料更加全面，不同部门和机构之间的协调更加顺畅，进而有效提高工作效率，节约治理成本。
[0003]政府的大数据处理平台可能存储了各个区、街道的人口、法人、房屋、证件等多种类型的数据。仅一个区的数据量，目前记录总数就可能达到I亿条左右，未来数据量会不断增加，并且会引入大量非结构化数据。为了处理快速增加的数据，需要配套的硬件环境满足大数据处理的需要。
【实用新型内容】
[0004]本实用新型的目的在于通过提供一种大数据处理平台网络架构，满足处理大数据所需要的硬件环境。
[0005]为实现上述目的，本实用新型提供了一种大数据处理平台网络架构，包括:核心层交换机，至少一应用服务器，数据库集群，存储阵列，备份服务器以及至少一交换机；所述应用服务器，数据库集群，存储阵列以及备份服务器分别连接所述核心层交换机，所述存储阵列连接所述交换机，所述交换机分别连接所述应用服务器和数据库集群。
[0006]其中，还包括Hadoop集群，所述Hadoop集群连接所述核心层交换机。
[0007]其中，所述至少一交换机包括第一光纤交换机和第二光纤交换机。
[0008]其中，所述存储阵列为SAN光纤存储阵列。
[0009]其中，所述存储阵列为NAS光纤存储阵列。
[0010]其中，所述核心层交换机由配置为按照VRRP协议工作的两核心交换机组成。
[0011]其中，所述数据库集群为Oracle RAC集群。
[0012]其中，所述Hadoop集群包括万兆交换机和多个节点计算机，所述节点计算机分别连接所述万兆交换机。
[0013]其中，所述至少一应用服务器包括第一应用服务器和第二应用服务器。
[0014]综上所述，本实用新型的大数据处理平台网络架构，满足了处理大数据所需要的硬件环境；而且具有开放性、扩展性。
【附图说明】
[0015]图1为本实用新型大数据处理平台网络架构一较佳实施例的方框图；
[0016]图2为本实用新型大数据处理平台网络架构又一较佳实施例的方框图。
【具体实施方式】
[0017]下面结合附图，通过对本实用新型的【具体实施方式】详细描述，将使本实用新型的技术方案及其有益效果显而易见。
[0018]参见图1，其为本实用新型大数据处理平台网络架构一较佳实施例的方框图。在此较佳实施例中，大数据处理平台网络架构包括:核心层交换机10，至少一应用服务器20，数据库集群30，存储阵列40，备份服务器50以及至少一交换机60 ;所述应用服务器20，数据库集群30，存储阵列40以及备份服务器50分别连接所述核心层交换机10，所述存储阵列40连接所述交换机60，所述交换机60分别连接所述应用服务器20和数据库集群30。还包括Hadoop集群70，所述Hadoop集群70连接所述核心层交换机10。
[0019]核心层交换机10可以为单独的核心交换机，核心层交换机10也可以由配置为按照VRRP(Virtual Router Redundancy Protocol，虚拟路由冗余协议)协议工作的两核心交换机组成，既分担了设备负载和网络流量，又提高了网络可靠性。
[0020]Hadoop集群70可以由万兆交换机和多个节点计算机组成，节点计算机分别连接万兆交换机，万兆交换机连接核心层交换机10。利用Hadoop的并行计算框架，可以对海量数据进行快速分析。挖掘潜在有价值的数据，为海量数据分析提供更多的应用。存储阵列40可以为SAN(存储区域网络)光纤存储阵列，也可以为NAS (网络接入存储)光纤存储阵列。数据库集群30可以为Oracle RAC(实时应用集群)集群。通过采用各种集群或阵列，使得本实用新型大数据处理平台网络架构具有开放性、扩展性。
[0021]应用服务器20可以用于部署ETL(抽取、转换、加载)和调度软件，通过自定义调度策略和抽取模式，将数据从其他数据来源导入到大数据处理平台中。应用服务器20也可以用于部署数据质量管理系统，对抽取的数据做数据质量剖析，通过抽样和扫描数据发现数据存在的质量问题，生成数据质量报告。大数据处理平台需要对外提供统资源接口，应用服务器20还可以用于部署webservice。
[0022]参见图2，其为本实用新型大数据处理平台网络架构又一较佳实施例的方框图。在此较佳实施例中，大数据处理平台网络架构包括:核心层交换机10，第一应用服务器21，第二应用服务器22，数据库集群30，存储阵列40，备份服务器50以及第一光纤交换机61和第二光纤交换机62 ;所述第一应用服务器21，第二应用服务器22，数据库集群30，存储阵列40以及备份服务器50分别连接所述核心层交换机10，所述存储阵列40连接所述第一光纤交换机61和第二光纤交换机62，所述第一光纤交换机61和第二光纤交换机62分别连接所述第一应用服务器21，第二应用服务器22和数据库集群30。还包括Hadoop集群70，所述Hadoop集群70连接所述核心层交换机10。第一应用服务器可以用于部署ETL和调度软件，第二应用服务器22可以用于部署webservice，本实用新型还可以包括用于部署数据质量管理系统的其他应用服务器。
[0023]在本实用新型中，Hadoop集群70可以包括采用DELL R620的2个主节点，以及采用DELL R720xd的20个数据节点。第一应用服务器21和第二应用服务器22可以采用IBM X3850X5。数据库集群30可以采用IBM X3850X5作为节点组成。存储阵列40可以采用NetApp FAS2240A—体化存储系统。备份服务器50可以采用火星舱MSA-SSA-A8。第一光纤交换机61和第二光纤交换机62可以米用博科300光纤交换机。
[0024]综上所述，本实用新型的大数据处理平台网络架构，满足了处理大数据所需要的硬件环境；而且具有开放性、扩展性。
[0025]以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。
【主权项】
1.一种大数据处理平台网络架构，其特征在于，包括:核心层交换机，至少一应用服务器，数据库集群，存储阵列，备份服务器以及至少一交换机；所述应用服务器，数据库集群，存储阵列以及备份服务器分别连接所述核心层交换机，所述存储阵列连接所述交换机，所述交换机分别连接所述应用服务器和数据库集群。2.根据权利要求1所述的大数据处理平台网络架构，其特征在于，还包括Hadoop集群，所述Hadoop集群连接所述核心层交换机。3.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述至少一交换机包括第一光纤交换机和第二光纤交换机。4.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述存储阵列为SAN光纤存储阵列。5.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述存储阵列为NAS光纤存储阵列。6.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述核心层交换机由配置为按照VRRP协议工作的两核心交换机组成。7.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述数据库集群为Oracle RAC 集群。8.根据权利要求2所述的大数据处理平台网络架构，其特征在于，所述Hadoop集群包括万兆交换机和多个节点计算机，所述节点计算机分别连接所述万兆交换机。9.根据权利要求1所述的大数据处理平台网络架构，其特征在于，所述至少一应用服务器包括第一应用服务器和第二应用服务器。
【专利摘要】本实用新型涉及一种大数据处理平台网络架构。该大数据处理平台网络架构包括：核心层交换机，至少一应用服务器，数据库集群，存储阵列，备份服务器以及至少一交换机；所述应用服务器，数据库集群，存储阵列以及备份服务器分别连接所述核心层交换机，所述存储阵列连接所述交换机，所述交换机分别连接所述应用服务器和数据库集群。本实用新型的大数据处理平台网络架构，满足了处理大数据所需要的硬件环境；而且具有开放性、扩展性。
【IPC分类】H04L29/08
【公开号】CN204887018
【申请号】CN201520554126
【发明人】刘航, 卜立忠, 贾西贝
【申请人】深圳市华傲数据技术有限公司
【公开日】2015年12月16日
【申请日】2015年7月28日