本发明涉及网络安全监控技术领域，尤其是涉及一种基于大数据的可视化网络安全监控方法。
背景技术：
在网络安全事件中，网络安全的检测和监控仅能及时检测出系统中发生的攻击威胁，从而缩短攻击发生的应急响应的时间差，但是即便是最理想的威胁检测系统，当发生威胁警报时，威胁大多已经发生，对系统的危害已经造成，因此检测永远只能作为一种相对被动的安全机制，而无法对网络安全事件及时作出预警；并且随着网络环境的日趋复杂，网络数据也在逐渐的增大，传统的siem很难处理多样化的非结构数据，影响对网络安全的及时检测，信息安全面临大数据带来的挑战；
因此，有必要提供一种新的技术方案以克服上述缺陷。
技术实现要素：
本发明的目的在于提供一种可有效解决上述技术问题的基于大数据的可视化网络安全监控方法。
为达到本发明之目的，采用如下技术方案：
一种基于大数据的可视化网络安全监控方法，该方法包括如下步骤：
步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：web代理日志、路由器的防火墙日志、vpn身份证验证日志、windows安全日志以及syslog数据等，然后通过flume把经过信息采集模块初步处理的网络数据发送到kafka数据分发集群；
步骤102：kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至storm数据分析集群，并匹配flume与strom数据分析集群之间的数据处理速度；
步骤103：storm数据分析集群接收到kafka数据分发集群分发的网络数据后，对所有的网络数据进行安全分析处理，然后通过topologies(互联网络拓扑结构)将处理后的数据发送到kafka数据分析集群；
步骤104：kafka数据分析集群接收到storm分析处理后的数据后，根据enrichmenttopic模块分发至storm数据分析集群；
步骤105：storm集群接收到kafka数据分析集群分发的处理后的数据后，根据现有的机器学习及深度神经网络技术，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到hdfs(分布式文件系统)和elasticsearch中供前端应用进行分析和展示。
与现有技术相比，本发明具有如下有益效果：本发明基于大数据的可视化网络安全监控方法通过大数据分析算法和可视化界面，以便用户能够直观的观察出来，并且实现对不同安全设备、it系统的信息进行分析，以及对内部用户行为的监测，从而可以全面、快速、准确的感知过去、现在、未来的安全威胁，实时了解网络的安全态势；同时能够将网络安全态势进行可视化呈现，帮助用户快速掌握网络状况，识别网络异常、入侵，把握网络安全事件发展趋势，全方位感知网络安全态势，支撑逻辑拓扑层级结构，从全网的整体安全态势，到信息资产以及安全数据的监测，进行全方位态势监控；并且可以对所有的网络数据进行全量采集，这些数据分别通过snortids、broids和yafids进行检测分析并通过项目中的数据收集模块分发到大数据技术分发集群上，经过处理后存储到hdfs文件系统中，这些hdfs分布式文件系统可以根据客户的需求通过水平扩展存储器的方式进行数据文件的长期存储；本发明能满足实时大数据实时分析系统关键特性的架构，包括有：高容错、低延时和可扩展等，整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列原则，可集成hadoop，kafka，storm，spark，hbase等各类大数据组件，将大数据实时分析系统划分为batchlayer,speedlayer和servinglayer三层，从而设计出一个能满足实时大数据分析系统的架构。
具体实施方式
本发明基于大数据的可视化网络安全监控方法包括如下步骤：
步骤101：首先通过信息采集模块收集网络数据，该部分网络数据包括全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：web代理日志、路由器的防火墙日志、vpn身份证验证日志、windows安全日志以及syslog数据等，然后通过flume把经过信息采集模块初步处理的网络数据发送到kafka数据分发集群；
步骤102：kafka数据分发集群接收到网络数据后，根据不同的信息采集模块分发不同类型的网络数据至storm数据分析集群，并匹配flume与strom数据分析集群之间的数据处理速度；
步骤103：storm数据分析集群接收到kafka数据分发集群分发的网络数据后，对所有的网络数据进行安全分析处理，然后通过topologies(互联网络拓扑结构)将处理后的数据发送到kafka数据分析集群；
步骤104：kafka数据分析集群接收到storm分析处理后的数据后，根据enrichmenttopic模块分发至storm数据分析集群；
步骤105：storm集群接收到kafka数据分析集群分发的处理后的数据后，根据现有的机器学习及深度神经网络技术，进行网络安全数据的实时分析，最后将最终的分析数据分别存储到hdfs(分布式文件系统)和elasticsearch中供前端应用进行分析和展示。
其中，所述信息采集模块包括路由器、与路由器连接的网络分流器、与网络分流器连接的传感器，所述路由器为市面上常见的路由器。所述路由器与互联网连接，从而可以用于传输网络数据。所述网络分流器为市面上常见的网络分流器，其可以将网络数据分流给传感器以及交换机，方便传感器收集网络数据。所述传感器为半周期传感器，其能够收集网络数据，并且可以对网络数据进行检测，当网络数据需要被分析时，它会被拉回至其他设备上进行。
所述flume为日志收集系统，其是cloudera提供的一种高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据，同时flume提供对数据进行简单的处理，并写到各种数据接受方的能力，其属于现有技术，故在此不再赘述。
所述kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。kafka的目的是通过hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消费。其属于现有技术，故在此不再赘述。
所述storm为流式数据处理框架，实现实时性数据处理，其具有低延迟、高性能、分布式、可扩展等功能；所述hdfs使用分布式文件系统(hdfs)作为底层存储。其属于现有技术，故在此不再赘述。
数据处理的流程如下所述：
步骤1：数据输入源，本项目均是通过连接到网络分流器上的传感器采集到的全量网络数据，数据包括：邮件访问日志、ssh访问数据、syslog、http(s)数据、文件系统日志等；
步骤2：数据收集，主要采用flume进行数据收集和预处理，pcap进行抓包收集，pcap为过程特性分析软件包，这个抓包库给抓包系统提供了一个高层次接口；
步骤3：消息系统，主要是kafka分布式消息系统进行数据缓存，根据数据源不一样来划分不同的topic；
步骤4：实时处理，主要采用storm实时计算框架进行数据整理，聚合，dpi分析，等，这里，每个kafkatopic都需要单独的storm应用程序来独立处理；
步骤5：存储，就是把计算的结果和原始数据写入相应的存储模块，原始数据存入hive，日志数据存入elasticsearch便于索引查找(结合kibana)，抓包数据存入hbase；
步骤6：数据访问层，简单说就是把分析结果数据从存储中取出来，通过各种bi工具渲染到页面，也可以把数据以消息中间件(如：redis)或webservice的方式提供给第三方。
通过大数据分析算法和可视化界面，实现对不同安全设备、it系统的信息进行分析，以及对内部用户行为的监测，从而可以全面、快速、准确的感知过去、现在、未来的安全威胁，实时了解网络的安全态势，通过精细化的资产行为关联分析算法，强化威胁感知能力；同时能够将网络安全态势进行可视化呈现，帮助用户快速掌握网络状况，识别网络异常、入侵，把握网络安全事件发展趋势，全方位感知网络安全态势，支撑逻辑拓扑层级结构，从全网的整体安全态势，到信息资产以及安全数据的监测，进行全方位态势监控；并且可以对所有的网络数据进行全量采集，这些数据包括：全包捕获数据、会话数据、统计数据、包字符串数据、日志数据和告警数据，其中，日志数据指的是由设备、系统或应用程序生成的原始日志文件，可以包括：web代理日志、路由器的防火墙日志、vpn身份证验证日志、windows安全日志以及syslog数据等。这些数据分别通过snortids、broids和yafids进行检测分析并通过项目中的数据收集模块分发到大数据技术分发集群上，经过处理后存储到hdfs文件系统中，这些hdfs分布式文件系统可以根据客户的需求通过水平扩展存储器的方式进行数据文件的长期存储，存储数据的周期可以长达数年；本发明能满足实时大数据实时分析系统关键特性的架构，包括有：高容错、低延时和可扩展等，整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列原则，可集成hadoop，kafka，storm，spark，hbase等各类大数据组件，将大数据实时分析系统划分为batchlayer,speedlayer和servinglayer三层，从而设计出一个能满足实时大数据分析系统(如高容错、低延时和可扩展等)的架构。