一种网络舆情大数据分析一体机的制作方法

本实用新型涉及大数据挖掘与分析领域，尤其涉及一种网络舆情大数据分析一体机。

背景技术：

随着互联网的快速发展，互联网已经从单纯意义上的传输媒介转变为一种信息载体。由于其具有便捷化、虚拟化和传播快等特点，使得互联网比传统媒体拥有更广泛影响力。凭借互联网的开放性和虚拟性，网络舆情的传播范围、波及影响和突发效应均被互联网放大。因此，对于互联网舆情有效监控就显得十分重要了。

现有网络舆情采集分析系统，在网络舆情分析的效率和准确性上存在很大的不足，分析的深度和广度也达不到需求，采集公司内部舆情时往往要改变内网的网络拓扑结构，影响核心交换机的网络性能。

技术实现要素：

本实用新型目的在于提供一种网络舆情大数据分析一体机，以解决现有网络舆情采集分析效率低下及准确性差，分析的深度和广度也达不到需求且采集公司内部舆情时往往要改变内网的网络拓扑结构的缺陷。

为实现上述目的，本实用新型提出了一种网络舆情大数据分析一体机：包括以太网交换机、内部网络舆情数据采集服务器、外部网络舆情数据采集服务器、SPARK网络舆情大数据分析集群主节点和SPARK网络舆情大数据分析集群子节点，以太网交换机分别与内部网络舆情数据采集服务器和外部网络舆情数据采集服务器连接，以太网交换机分别与SPARK网络舆情大数据分析集群主节点和SPARK网络舆情大数据分析集群子节点连接。

进一步地，内部网络舆情数据采集服务器与内网核心交换机连接，外部网络舆情数据采集服务器与外网接入交换机连接。

进一步地，内部网络舆情数据采集服务器配备2个万兆网卡，外部网络舆情数据采集服务器配备2个万兆网卡，SPARK网络舆情大数据分析集群主节点配备1个万兆网卡，SPARK网络舆情大数据分析集群子节点配备1个万兆网卡。

进一步地，内网核心交换机与网络出口设备相连的以太网端口设置为镜像源端口，内网核心交换机与内部网络舆情数据采集服务器连接的以太网端口设置为镜像目标端口。

进一步地，SPARK网络舆情大数据分析集群主节点和SPARK网络舆情大数据分析集群子节点均采用SPARK2.0大数据处理平台技术进行舆情分析。

进一步地，以太网交换机为万兆以太网交换机。

本实用新型具有以下有益效果：

硬件结构紧凑、空间利用率高、能耗低，可远程运维。集成了内部网络、外部网络的网络舆情数据资源，实现了数据采集的自动化。运用SPARK2.0大数据分析集群及机器学习算法，可同时离线分析、在线分析网络舆情信息。对单位原有网络架构不会产生影响，不会造成网络拥塞。

下面将参照附图，对本实用新型作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本实用新型的进一步理解，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1是本实用新型优选实施例的网络舆情大数据分析一体机的设备连接关系图；

图2是本实用新型优选实施例的网络舆情大数据分析一体机的硬件系统结构组成图。

图中各标号表示：

1、以太网交换机；2、内部网络舆情数据采集服务器；3、外部网络舆情数据采集服务器；4、内网核心交换机；5、外网接入交换机；6、SPARK网络舆情大数据分析集群主节点；7、SPARK网络舆情大数据分析集群子节点。

具体实施方式

以下结合附图对本实用新型的实施例进行详细说明，但是本实用新型可以由权利要求限定和覆盖的多种不同方式实施。

如图1所示，一种网络舆情大数据分析一体机，包括以太网交换机1、内部网络舆情数据采集服务器2、外部网络舆情数据采集服务器3、SPARK网络舆情大数据分析集群主节点6和SPARK网络舆情大数据分析集群子节点7，以太网交换机1分别与内部网络舆情数据采集服务器2和外部网络舆情数据采集服务器3连接，以太网交换机1分别与SPARK网络舆情大数据分析集群主节点6和SPARK网络舆情大数据分析集群子节点7连接。内部网络舆情数据采集服务器2、外部网络舆情数据采集服务器3均可选用1U的华为FusionServer RH1288 V3机架服务器并额外各配备2个万兆网卡，内部网络舆情数据采集服务器2通过内部网络舆情数据采集软件子系统完成内网舆情数据的采集方案设置、数据存储和数据发送，外部网络舆情数据采集服务器3通过外部网络舆情数据采集软件子系统，完成外网舆情数据的采集方案设置、数据采集、数据存储和数据发送，数据采集子模块采用网络爬虫全天候自动收集，收集策略可以自定义。SPARK网络舆情大数据分析集群主节点6和SPARK网络舆情大数据分析集群子节点7均可选用1U的华为FusionServer RH1288 V3机架服务器并额外各配备1个万兆网卡。SPARK网络舆情大数据分析集群基于Hadoop+SPARK大数据分析架构，通过SPARK网络舆情大数据分析软件子系统，完成内、外网舆情数据的分析方案设置、数据存储、数据分析、数据呈现、网络舆情告警和输出网络舆情分析报告，在网络舆情机器学习算法的支持下，对历史数据和实时数据开展网络舆情分析。

进一步地，内部网络舆情数据采集服务器2与内网核心交换机4连接。内部网络舆情数据采集服务器2与内网核心交换机4连接用于方便、高效和完整地采集到内、外网之间的网络通讯原始数据，优于普通的网络监听和抓包分析方法。通过内部网络舆情数据采集软件子系统完成内网舆情数据的采集方案设置、数据存储和数据发送。

进一步地，外部网络舆情数据采集服务器3与外网接入交换机5连接。外部网络舆情数据采集服务器3有可访问外部公共网络的网络接口，通过外部网络舆情数据采集软件子系统，完成外网舆情数据的采集方案设置、数据采集、数据存储和数据发送，数据采集子模块采用网络爬虫全天候自动收集，收集策略可以自定义。

进一步地，内部网络舆情数据采集服务器2额外配备2个万兆网卡，外部网络舆情数据采集服务器3额外配备2个万兆网卡，SPARK网络舆情大数据分析集群主节点6额外配备1个万兆网卡，SPARK网络舆情大数据分析集群子节点7额外配备1个万兆网卡。额外配备的网卡以满足系统的网络配置需求。

进一步地，内网核心交换机4与网络出口设备相连的以太网端口设置为镜像源端口，内网核心交换机4与内部网络舆情数据采集服务器2连接的以太网端口设置为镜像目标端口。在不改变内网的网络拓扑结构，也没有影响核心交换机的网络性能的前提下方便、高效和完整地采集到内、外网之间的网络通讯原始数据，优于普通的网络监听和抓包分析方法。

进一步地，SPARK网络舆情大数据分析集群主节点6和SPARK网络舆情大数据分析集群子节点7均采用SPARK2.0大数据处理平台技术进行舆情分析。使得深度学习算法、聚类算法和分类算法等机器学习方法在大数据集群平台下能分布式并行运行，提高了网络舆情分析的效率和准确性，同时分析结果的深度和广度也得到提高。

进一步地，以太网交换机1为万兆以太网交换机。可选用华为S6720-30C-EI-24S-AC，保证网络收发数据的畅通。

如图2所示，可采用华为FusionModule500微型智能微模块数据中心一体柜放置所有设备，连接一体机内各设备的网络线路及电源线路。配置单位内网核心交换机4，将该交换机与防火墙等网络出口设备连接的以太网端口设置为端口镜像模式。如图1所示将镜像以太网端口与内部网络舆情数据采集服务器2的网卡通过以太网线路连接，并设置其IP地址。将外网线路与外部网络舆情数据采集服务器3的网卡连接，并设置其IP地址。将内部网络舆情数据采集服务器2的网卡、外部网络舆情数据采集服务器3的网卡、SPARK网络舆情大数据分析集群主节点6及子节点的网卡通过以太网线路与万兆以太网交换机相连。设置SPARK网络舆情大数据分析集群主节点6及子节点的IP地址。运行SPARK网络舆情大数据分析集群主节点6的SPARK网络舆情大数据分析集群配置管理软件，设置数据采集与集群的基本参数、数据分析报告的输出参数，启动数据分析。

综上，本实施列公开的一种网络舆情大数据分析一体机，硬件结构紧凑、空间利用率高、能耗低，可远程运维。集成了内部网络、外部网络的网络舆情数据资源，实现了数据采集的自动化。运用SPARK2.0大数据分析集群及机器学习算法，可同时离线分析、在线分析网络舆情信息。对原有网络架构不会产生影响，不会造成网络拥塞。

以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。