一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统的制作方法
【技术领域】
[0001]本发明涉及信息安全、Spark大数据平台、Flume日志采集、kafka数据交换平台、HDFS和Tachyou分布式内存文件系统的技术领域，尤其涉及到安全攻击告警定位系统。
【背景技术】
[0002]本发明中包含的英文简称如下:
SOC:Security Operat1n Center 安全管理中心
IDS:Intrus1n Detect1n Systems 入侵检测系统
DDOS:DDoS:Distributed Denial of Service 分布式拒绝服务攻击
MIS Management Informat1n System 管理信息系统
DMZ demilitarized zone隔离区、或非军事化区
JMS:Java Message Service Java 消息服务
APP Applicat1n 应用程序
SNMP:Simple Network Management Protocol 简单网络管理协议 HDFS:Hadoop Distribute File System Hadoop 分布式文件系统 ODBC:0pen Database Connectivity 开放数据库互连 WMI:ffindows Management Instrumentat1n Windows 管理规范安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。 网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
[0003]随着各类企业信息系统的建设和完善，有效的提高了劳动生产率，降低了运营成本。一旦企业各业务系统出现安全事件、或发生故障、或形成性能瓶颈，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，企业业务不能正常开展。因此，对于政府和企业IT基础实施的安全保障就显得格外重要。
[0004]随着政府和企业信息化程度不断提高。各业务系统间联系越来越密切，数据交换越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，甚至一个故障可以引发成为企业全网故障，一点或一种业务系统出现漏洞感染病毒或受到攻击，将迅速波及其它业务系统及网络，甚至导致企业全网瘫痪。
[0005]尽管目前一些企业的信息安全技术体系已初步形成，但是信息安全运维管理体系需要进一步健全提高和完善，管理能力也有待加强，缺乏安全隐患的深度挖掘和基于大数据平台的安全分析，安全攻击告警定位和分析工具少。由于缺少安全体系建设的宏观思路，安全管理存在真空地带，责任没有有效落实。
[0006]目前，各类企业信息安全运维管理平台存在以下问题:
1、各种信息安全产品和网络设备品种多，分布广，缺少统一的数据分析管理；
2、信息安全产品和网络设备的知识库不统一，缺少统一的解决方案； 3、安全职责不清，具体职责未落实到位；
4、信息安全运维管理考核不细致，缺少部分必要和关键的指标；
5、不同安全设备事件之间甚至同一个安全设备的事件缺少更加高级智能的分析和汇聚关联，导致告警信息庞大，不便于对安全隐患的分析和发现问题，防患于未然；
6、信息安全事件上报不及时，故障诊断不及时，处理效率低，效果差；
7、信息安全事件和资产的漏洞没有进行必要的关联分析，导致很多事件没有进一步的分析和处理；
8、无法对于终端的安全问题进行审计和方便的查看；
9、出现紧急事件没有很好的预警和处理流程；
10、安全攻击告警定位和分析工具少；
上述问题不同程度地存在企业已经建成的业务和网络，成为企业今后业务安全运维管理稳定提升的障碍。
[0007]为此，如何利用信息化手段提高企业安全运维管理效益，解决企业各系统所存在的安全运维管理隐患，以及设计出一款基于大数据平台的安全攻击告警定位系统，优化企业信息安全管理和维护工作，使得它能够为各类企业提供专业的和高效率的信息安全运维管理服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。
【发明内容】
[0008]本发明在分析了上述各类企业信息安全运维管理的缺陷和不足之后，提出了一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统。
[0009]本发明的技术任务是按照以下方式实现的:一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统，包括采集模块、安全攻击告警定位模块、视图模块。
[0010]所述采集模块，用于采集各种设备的日志，并进行预处理和实时传输给定位模块(Spark Streaming)，预处理包括日志过滤、合并和格式标准化，统一日志规格。
[0011]所述安全攻击告警定位模块，用于对采集到的日志，进行实时分析并得到告警信息。
[0012]所述视图模块，通过MySQL数据库中的信息查询和展现，提供告警信息和日志信息的查询和分析。
[0013]上述系统通过采集模块，采集企业信息系统中的日志信息并实时推送到安全攻击告警定位模块，由安全攻击告警定位模块实时分析产生告警信息并发送到视图模块的前端页面，并提供攻击溯源、举证和查询。
[0014]优选地，采集模块通过将flume集成到kafka (kafka由LinkedIn开发并开源的分布式消息系统)中来实现日志采集、日志预处理和日志的实时传输。它可以采集syslog日志、监控文件夹日志和TCP/UDP端口日志等，并且，可以很好地和Spark Streaming对接，实现将预处理后的日志信息实时传输给定位模块。
[0015]安全攻击告警定位模块收到日志信息之后，对日志实时分析得到告警信息，并传输给视图模块；同时，将规范化之后的日志信息存储到HDFS中，并将告警信息存储到MySQL数据库中。
[0016]所述安全攻击告警定位模块，包括离线关联子模块、在线关联子模块、告警生成子模块和攻击类型发现子模块。
[0017]所述离线关联子模块，利用存储在HDFS中的历史日志信息构建告警相关性分析模型，并在线更新知识库。
[0018]所述在线关联子模块，利用知识库来进行在线关联分析。
[0019]所述攻击类型发现子模块，将告警信息进行聚类分析，发现其特征和攻击模型。
[0020]所述知识库，至少包括:
1、根据单条日志的部分内容作为告警信息；例如，Windows日志中出现的登录、开机和关机都可以作为告警信息，可以使用Elastic Search进行关键词搜索；
2、根据单位时间内特殊事件出现的频率；将该特殊事件作为告警信息；例如，Windows日志中I分钟内出现3次用户密码错误的情况可以作为一次暴力破解；
3、多设备日志之间的关联分析，以分析结果为告警信息；例如，许多目标IP地址相同，而源IP地址不同的日志，则可以作为一次DDOS攻击；
所述安全攻击告警定位模块，在MySQL数据库中存储告警信息，并将与告警信息相关的日志也在该MySQL数据库中。通过对存储在MySQL数据库中的日志信息的分析，进一步地可以得到攻击源、攻击路径等信息。
[0021]与现有技术相比较，本发明的一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统，具有以下突出的有益效果:
1、大数据平台的分布式架构，易于扩展和缩减，可以应对企业网络规模的改变而改变自身系统的大小来达到资源的有效利用，也解决了现有技术难以处理海量日志的弊端；
2、定位功能提升了告警的准确性和去除了误报，并提供了详细的告警信息分析，方便其工作；
3、利用大数据技术进行数据挖掘与机器学习，可以有效地利用收集到的海量历史日志信息，通过与现有知识库结合的离线关联分析，可以自动扩展知识库；
4、在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能、低延迟的不停流转。传统的企业信息系统并不是非常适合大规模的数据处理。为了同时搞定在线应用(消息)和离线应用(数据文件，日志)，Kafka就出现了 ；进一步地，可以将Flume NG集成到Kafka中，利用Flume NG已经内置的许多source和sink组件，来实现各种设备的日志采集，并通过Kafka传输到Spark大数据平台、或内存分布式文件系统Tachyon、或HDFS、或MySQL数据库、或视图前端进行展示和查询，等；
5、通过Tachyon来储存中间结果，避免了数据落到磁盘上，以实现内存数据共享。同时，绕过了 HDFS可以减少因此而造成的磁盘和网络10。再者，因为所有缓存数据都储存在Tachyon中，由Spark任务异常造成的JVM崩溃将不会引发数据丢失。
【附图说明】
[0022]图1为本发明所述的一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统的架构图；
图2为本发明所述的一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统的流程图；
【具体实施方式】
[0023]下面是根据附图和实例对本发明的进一步详细说明:
本发明的一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统，通过将flume整合到kafka分布式数据交