大数据存储应用网络架构的制作方法

文档序号:9977660
大数据存储应用网络架构的制作方法
【技术领域】
[0001]本实用新型涉及网络架构,尤其涉及一种大数据存储应用网络架构。
【背景技术】
[0002]近年来,大数据如浪潮般席卷全球,深刻改变了人们的生活、工作和思维方式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB级别,跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例,一部I小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。
[0003]同时,世界上越来越多的国家开始从战略层面认识大数据,在政府治理领域融入大数据思维和技术。我国各政府也应顺应时代发展趋势,充分利用大数据提升国家治理能力,以契合推进国家治理能力现代化的时代要求。可以说大数据为政府治理能力的提升带来了发展机遇。首先,大数据能推动政府治理理念和模式的变化。在政府治理领域,通过让海量、动态、多样的数据有效集成为有价值的信息资源,推动政府转变管理理念和治理模式,进而加快治理体系和治理能力现代化。其次,大数据能推动政府治理决策精细化和科学化。在大数据时代,数据的价值随着海量积累而产生质变,能够对经济社会运行规律进行直观呈现,从而降低政府治理偏差概率,提高政府治理的精细化和科学化。最后,大数据能推动政府治理提高效率和节约成本。利用大数据,可以使政府治理所依据的数据资料更加全面,不同部门和机构之间的协调更加顺畅,进而有效提高工作效率,节约治理成本。由于政府数据的敏感性,对网络及数据的安全性也具有更高的要求。
[0004]为了处理快速增加的数据,需要配套的硬件环境满足大数据处理的需要。用于存储及应用大数据的网络架构需要适应大数据的特征。
【实用新型内容】
[0005]本实用新型的目的在于提供一种大数据存储应用网络架构,以适合大数据的存储和应用,确保网络及数据安全。
[0006]为实现上述目的,本实用新型提供了一种大数据存储应用网络架构,包括:路由器,硬件防火墙,应用防火墙,第一交换机,多个第一应用服务器,以及分布式存储系统;该路由器连接该硬件防火墙,该硬件防火墙连接该应用防火墙,该应用防火墙连接该第一交换机,该第一交换机连接该第一应用服务器,该第一应用服务器连接该分布式存储系统。
[0007]其中,还包括第二交换机和多个第二应用服务器,该应用防火墙连接该第二交换机并将该第二交换机设置于该应用防火墙的DMZ区域中,该第二交换机连接第二该应用服务器,该第二应用服务器连接该分布式存储系统。
[0008]其中,该分布式存储系统为Oracle RAC集群。
[0009]其中,该分布式存储系统为Hadoop集群。
[0010]其中,该分布式存储系统包括Oracle RAC集群和Hadoop集群。
[0011]其中,该Oracle RAC集群包括万兆交换机和多个节点计算机,该节点计算机分别连接该万兆交换机。
[0012]其中,该Hadoop集群包括万兆交换机和多个节点计算机,该节点计算机分别连接该万兆交换机。
[0013]综上所述,本实用新型的大数据存储应用网络架构适合大数据的存储和应用,能够确保网络及数据安全。
【附图说明】
[0014]图1为本实用新型大数据存储应用网络架构一较佳实施例的方框图;
[0015]图2为本实用新型大数据存储应用网络架构又一较佳实施例的方框图。
【具体实施方式】
[0016]下面结合附图,通过对本实用新型的【具体实施方式】详细描述,将使本实用新型的技术方案及其有益效果显而易见。
[0017]参见图1,其为本实用新型大数据存储应用网络架构一较佳实施例的方框图。在此较佳实施例中,大数据存储应用网络架构包括:路由器10,硬件防火墙11,应用防火墙12,第一交换机13,两个第一应用服务器14,以及分布式存储系统15 ;路由器10连接该硬件防火墙11并且接入Internet,该硬件防火墙11连接该应用防火墙12,该应用防火墙12连接该第一交换机13,该第一交换机13连接该第一应用服务器14,该第一应用服务器14连接该分布式存储系统15。
[0018]本实用新型采用传统的硬件防火墙11和目前最先进的应用防火墙12的组合来全面确保网络及数据的安全性,传统的硬件防火墙11可以在网络层面通过包过滤的方式来保护网络及数据,而目前最先进的应用防火墙12可以从应用层角度,通过对应用层协议识另O、控制及防护的方式来保护网络及数据。硬件防火墙11可以选用H3C SecPath F5000-A5。应用防火墙12可以选用铱迅NGFW-8820或深信服AF-3020。
[0019]分布式存储系统15可以为Oracle RAC(实时应用集群)集群,也可以为Hadoop集群,还可以同时包括Oracle RAC集群和Hadoop集群。Oracle RAC集群可以由万兆交换机和多个节点计算机组成,该节点计算机分别连接该万兆交换机,例如,可采用IBM X3850X5作为节点。类似的,Hadoop集群也可以由万兆交换机和多个节点计算机组成,该节点计算机分别连接该万兆交换机,例如,具体可采用DELL R620作为2个主节点,以及采用DELLR720xd作为20个数据节点。分布式存储系统15具有开放性、扩展性,适合于存储大数据,利于搭建并行计算框架,可以对海量数据进行快速分析,挖掘潜在有价值的数据,为海量数据分析提供更多的应用。而且,同时采用Oracle RAC集群和Hadoop集群,Oracle RAC集群可作为关系数据库存储结构化数据,Hadoop集群可以存储半/非结构化数据,适应于大数据数据类型繁多的特点。
[0020]第一应用服务器14可以用于根据实际需求预先部署各类应用程序,从而可以对数据进行各种加工或应用。例如,第一应用服务器14可以部署ETL(抽取、转换、加载)和调度软件,通过自定义调度策略和抽取模式,将数据从其他数据来源导入到分布式存储系统15中。还可以用于部署数据质量管理系统,对抽取的数据做数据质量剖析,通过抽样和扫描数据发现数据存在的质量问题,生成数据质量报告。还可以用于部署webservice,对外提供统资源接口。
[0021]参见图2,其为本实用新型大数据存储应用网络架构又一较佳实施例的方框图。在此较佳实施例中,大数据存储应用网络架构包括:路由器10,硬件防火墙11,应用防火墙12,第一交换机13,第二交换机131,两个第一应用服务器14,两个第二应用服务器141,以及分布式存储系统15 ;路由器10连接该硬件防火墙11并且接入Internet,该硬件防火墙11连接该应用防火墙12,该应用防火墙12连接该第一交换机13和第二交换机131,并将该第二交换机131设置于该应用防火墙12的DMZ(隔离区)区域中,一般是通过将该第二交换机131与该应用防火墙12的DMZ端口连接来实现,该第一交换机13连接该第一应用服务器14,该第二交换机131连接该第二应用服务器141,该第一应用服务器14和第二应用服务器141连接该分布式存储系统15。
[0022]第二应用服务器141和第一应用服务器14 一样可以用于根据实际需求预先部署各类应用程序,从而可以对数据进行各种加工或应用,只是第二应用服务器141通过连接第二交换机131设置于应用防火墙12的DMZ区域中。在此实施例中,通过应用防火墙12的端口中配置为DMZ的端口来建立DMZ区域,根据安全策略需求来把第二应用服务器141连接在DMZ区域内,既确保了网络及数据的安全性,又满足了向外网提供服务的需求。
[0023]综上所述,本实用新型的大数据存储应用网络架构适合大数据的存储和应用,能够确保网络及数据安全。
[0024]以上所述仅为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本实用新型的保护范围之内。
【主权项】
1.一种大数据存储应用网络架构,其特征在于,包括:路由器,硬件防火墙,应用防火墙,第一交换机,多个第一应用服务器,以及分布式存储系统;该路由器连接该硬件防火墙,该硬件防火墙连接该应用防火墙,该应用防火墙连接该第一交换机,该第一交换机连接该第一应用服务器,该第一应用服务器连接该分布式存储系统。2.根据权利要求1所述的大数据存储应用网络架构,其特征在于,还包括第二交换机和多个第二应用服务器,该应用防火墙连接该第二交换机并将该第二交换机设置于该应用防火墙的DMZ区域中,该第二交换机连接第二该应用服务器,该第二应用服务器连接该分布式存储系统。3.根据权利要求1所述的大数据存储应用网络架构,其特征在于,该分布式存储系统为 Oracle RAC 集群。4.根据权利要求1所述的大数据存储应用网络架构,其特征在于,该分布式存储系统为Hadoop集群。5.根据权利要求1所述的大数据存储应用网络架构,其特征在于,该分布式存储系统包括Oracle RAC集群和Hadoop集群。6.根据权利要求3所述的大数据存储应用网络架构,其特征在于,该OracleRAC集群包括万兆交换机和多个节点计算机,该节点计算机分别连接该万兆交换机。7.根据权利要求4所述的大数据存储应用网络架构,其特征在于,该Hadoop集群包括万兆交换机和多个节点计算机,该节点计算机分别连接该万兆交换机。
【专利摘要】本实用新型涉及一种大数据存储应用网络架构。该大数据存储应用网络架构包括:路由器,硬件防火墙,应用防火墙,第一交换机,多个第一应用服务器,以及分布式存储系统;该路由器连接该硬件防火墙,该硬件防火墙连接该应用防火墙,该应用防火墙连接该第一交换机,该第一交换机连接该第一应用服务器,该第一应用服务器连接该分布式存储系统。本实用新型的大数据存储应用网络架构适合大数据的存储和应用,能够确保网络及数据安全。
【IPC分类】H04L29/06, H04L29/08
【公开号】CN204887020
【申请号】CN201520582413
【发明人】刘涛, 张毅忠, 贾西贝
【申请人】深圳市华傲数据技术有限公司
【公开日】2015年12月16日
【申请日】2015年8月5日
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1