监控大数据存储平台网络架构的制作方法

本发明涉及大数据存储技术，具体涉及一种监控大数据存储平台网络架构。

背景技术：

近年来，大数据如浪潮般席卷全球，深刻改变了人们的生活、工作和思维方式。业界通常用4个V来概括大数据的特征。一是数据体量巨大(Volume)。从TB级别，跃升到PB级别。二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。

对于监控大数据的存储，一般包括内部存储和外部存储两部分，其中，内部存储为存储于监控单元内部的监控区域(例如交通监控、环境监控、楼宇监控、企业监控等)自带的存储空间中，而外部存储一般为多个相同或不同监控单元的数据集中存储空间，为大数据存储和管理中心。现有的内部存储已经是成熟的技术，其大致有数据采集单元、硬件防火墙、电交换机、节点计算机以及数据库集群组成，数据采集单元采集的数据经由硬件防火墙的安全机制后通过电交换机转发至节点计算机上，节点计算机对这些数据进行分类整理后发送给数据库集群进行存储，当然，在监控单元的数据采集单元单一的情况下，可以省去节点计算机。

而外部存储大都以以太网交换机为核心的网络架构实现监控数据的上传。这种网络架构虽然可以顺利完成较大流量时大数据的存储，但是其网络容量和网络带宽(主要是等分带宽)受拓扑结构所限制，同时还易发生单点失效。

技术实现要素：

针对现有技术的不足，本发明的目的在于提供一种监控大数据存储平台网络架构，其通过以太网交换机和光网络(波导光栅路由器)协同通信实现外部存储，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，也避免了单点失效问题。

为了实现上述目的，本发明采取如下技术方案：

一种监控大数据存储平台网络架构，其包括大数据存储单元以及至少一个监控单元，每个监控单元均通过数据传送单元将其监控数据传输至大数据存储单元，所述大数据存储单元包括第一硬件防火墙、第一架顶交换机、第一数据库集群以及至少一第一节点计算机，所述第一架顶交换机的输入端口通过第一硬件防火墙与数据传送单元相连，所述第一架顶交换机的输出端通过第一节点计算机与第一数据库集群相连；所述监控单元包括第二架顶交换机、第二硬件防火墙、至少一个数据采集单元、电交换机、至少一个第二节点计算机以及第二数据库集群，所述第二架顶交换机以及电交换机的输入端均通过第二硬件防火墙与数据采集单元相连，所述第二架顶交换机的输出端与数据传送单元相连，所述电交换机的输出端通过第二节点计算机与第二数据库集群相连，所述数据传送单元包括以太网交换机以及波导光栅路由器，所述以太网交换机和波导光栅路由器的输入端和输出端均分别与第二架顶交换机的输出端以及第一硬件防火墙相连。

优选地，所述第二架顶交换机和波导光栅路由器之间以及波导光栅路由器和第一硬件防火墙之间均通过波分复用光纤链路相连。

优选地，所述以太网交换机和波导光栅路由器均为二个，每个以太网交换机和波导光栅路由器均连接于第二架顶交换机的输出端以及第一硬件防火墙之间。

优选地，二个波导光栅路由器之间通过波分复用光纤链路相连。

作为一种实施方式，所述第一节点计算机或/和第二节点计算机为Hadoop集群节点计算机。

作为另一种实施方式，所述第一节点计算机或/和第二节点计算机为Spark集群节点计算机。

优选地，所述第一数据库集群或/和第二数据库集群为Oracle RAC集群。

本发明阐述的监控大数据存储平台网络架构，其有益效果在于：

1、通过以太网交换机和波导光栅路由器协同通信实现监控单元采集数据的外部存储，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽，同时还降低了对以太网交换机的需求量，降低了网络能耗，也避免了单点失效问题。

2、组建互为冗余的以太网交换机和波导光栅路由器，避免因单个以太网交换机和波导光栅路由器发生故障或网络阻塞造成的延时发送。

附图说明

图1是本发明监控大数据存储平台网络架构的实施例一的结构框图；

图2是本发明监控大数据存储平台网络架构的实施例二的结构框图；

图3是本发明监控大数据存储平台网络架构的实施例三的结构框图；

图4是本发明监控大数据存储平台网络架构的实施例四的结构框图。

附图标记：10、大数据存储单元；11、第一硬件防火墙；12、第一架顶交换机；13、第一节点计算机；14、第一数据库集群；20、监控单元；21、第二架顶交换机；22、第二硬件防火墙；23、电交换机；24、第二节点计算机；25、第二数据库集群；26、数据采集单元；30A、数据传送单元；31、以太网交换机；32、波导光栅路由器；33、光纤电缆；34、波分复用光纤链路；30B、数据传送单元。

具体实施方式

下面结合附图与具体实施例来对本发明作进一步描述。

实施例一

一种监控大数据存储平台网络架构，其外部存储在现有的结构上增加光交换网络，将光交换网络与电交换网络进行协同通信，充分利用光网络高带宽、高传输效率等优点，增加了网络容量和带宽。

请参照图1所示，一种监控大数据存储平台网络架构，其包括大数据存储单元10以及监控单元20，监控单元20通过数据传送单元30A将其监控数据传输至大数据存储单元10，完成监控数据的外部存储。

监控单元20自带有存储设备用于实现监控数据的内部存储，具体地，监控单元20包括第二架顶交换机21、第二硬件防火墙22、一个或以上的数据采集单元26、电交换机23(这里是为了和光交换进行区分而命名的，其实现可以是常规的以太网交换机)、一个或以上的第二节点计算机24以及第二数据库集群25，电交换机23的输入端通过第二硬件防火墙22与数据采集单元26相连，电交换机23的输出端通过第二节点计算机24与第二数据库集群25相连。内部存储时，数据采集单元26采集的数据经由第二硬件防火墙22进行安全处理后通过电交换机23转发至第二节点计算机24，第二节点计算机24对上述数据进行分类整理后发送给第二数据库集群25进行存储。第二节点计算机24采用Hadoop集群节点计算机或作Spark集群节点计算机，节点数量可以根据需求设置并且更改(当然，在数据采集单元26单一的情况下可以省去第二节点计算机24)，可选用DELL R720xd；第二数据库集群25可以为Oracle RAC(实时应用集群)集群，通过采用数据库集群的形式，满足数据总量不断增加的实际情况，具有开放性、扩展性，可选用IBM X3850X5；第二硬件防火墙22可以选用思科ASA5585-X，以充分满足安全需求以及大数据传输所需的高性能。

监控单元20的外部存储通过由以太网交换机31以及波导光栅路由器32组成的数据传送单元30A传送给大数据存储单元10，波导光栅路由器32优选AWRG(arrayed waveguide grating router，阵列波导光栅路由器)。大数据存储单元10包括第一硬件防火墙11、第一架顶交换机12、第一数据库集群14以及至少一第一节点计算机13，第一架顶交换机12的输入端口通过第一硬件防火墙11分别与以太网交换机31和波导光栅路由器32的输出端相连，第二架顶交换机21的输入端均通过第二硬件防火墙22与数据采集单元26相连，第二架顶交换机21的输出端分别与以太网交换机31和波导光栅路由器32的输入端相连。

通常情况下，外部存储通过波导光栅路由器32完成，数据采集单元26采集的数据经由第二硬件防火墙22进行安全处理后在第二架顶交换机21的输入端口处被调制到光载波上，以光信号的形式在网络中传输。第二架顶交换机21的输出端口将光信号通过波分复用(WDM)光纤链路34输送至波导光栅路由器32，波导光栅路由器32将其输入端口处的光信号路由到相应的输出端口，然后波分复用光纤链路34经第一硬件防火墙11传输到第一架顶交换机12。处于第一架顶交换机12前端的解复用器将光信号解复用，第一架顶交换机12上的光电检测器实现光信号的光电转换，随后，第一架顶交换机12对电信号转发到第一节点计算机13进行分类整理后存储于第一数据库集群14中。第一硬件防火墙11、第一数据库集群14以及至少一第一节点计算机13可分别与第二硬件防火墙22、第二数据库集群25以及第二节点计算机24的架构和型号相同。

而在数据流量庞大(依据波长请求阻塞率)的情况下，外部存储经过电交换网络传输，第二架顶交换机21将数据采集单元26采集的数据调制到光载波上后通过光纤电缆33(或者双绞线等)转发到以太网交换机31，以太网交换机31将光信号转换为电信号后进行处理，然后再将数据调制到光载波上通过光纤电缆33传输给第一架顶交换机12。第一架顶交换机12将接收到的光信号转换为电信号后转发到第一节点计算机13进行分类整理后存储于第一数据库集群14中。

实施例二

实施例二为在实施例一的基础上进行的改进，其可以实现多个监控单元20同时数据的外部存储，请参照图2所示，这里以二个监控单元20为例，每个监控单元20的内部存储均通过其自身的第二数据库集群25存储，而外部存储均通过数据传送单元30A完成。

实施例三

实施例三是在实施例一的基础上增加了以太网交换机和波导光栅路由器的冗余，请参照图3所示，以太网交换机和波导光栅路由器均设置二个，形成数据传送单元30B。两个以太网交换机31分别作为主、备用以太网交换机，两个波导光栅路由器32分别作为主、备用导光栅路由器，两个以太网交换机31之间通过光纤电缆33连接，在主以太网交换机故障的情况下启动备用以太网交换机完成数据的传送。同理，两个波导光栅路由器32之间通过波分复用光纤链路34连接，在主波导光栅路由器故障的情况下启动备用波导光栅路由器完成数据的传送。当然，为了进一步防止数据的传送过程中的网络阻塞，以太网交换机和波导光栅路由器均设置多个，并且均可同时运行。

实施例四

实施例四是在实施例三的基础上进行的改进，其可以实现多个监控单元20同时数据的外部存储，请参照图4所示，这里以二个监控单元20为例，每个监控单元20的内部存储均通过其自身的第二数据库集群25存储，而外部存储均通过数据传送单元30B完成。

以上，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。