网络日志信息安全场景式分析系统及其分析方法与流程

本发明属于网络安全态势感知领域，特别涉及一种网络日志信息安全场景式分析系统及其分析方法。

背景技术：

随着全球能源互联网战略的发展与应用，电网系统各类运行数据量急剧增长、数据类型多样，对数据存储、处理、价值挖掘提出了更高要求，随着时间的推移，从结构化数据分析向多类型数据分析的转变、从抽样数据分析向全量数据分析的转变、从小批量数据分析向海量数据分析的转变、从单一业务数据分析向跨业务数据分析的转变、从准实时数据分析向实时数据分析的转变有着迫切的需求。多类型数据分析的转变基于大数据技术，改进数据处理速度，实现数据的实时采集、计算、分析和预测，能充分挖掘实时数据的价值，推动专业业务管理水平。

目前面向种类丰富、采集手段多样的各类日志数据没有实现统一采集、存储，随着数据容量的急速上涨，现有技术无法及时有效地得出网络安全态势分析结果，从而不能准确确定网络设备、终端设备存在的安全隐患。

技术实现要素：

本发明为了克服上述现有技术的不足，提供了一种网络日志信息安全场景式分析系统，本系统实现了对终端未知网络设备安全场景趋势的分析以及对暴力登录的监测，并能够及时对网络信息安全进行风险预警。

为实现上述目的，本发明采用了以下技术措施：

一种网络日志信息安全场景式分析系统包括日志采集处理系统、分布式存储系统、数据处理系统以及日志分析系统，其中，

日志采集处理系统，用于采集来自交换机的日志信息以及arp地址表信息，并将所述日志信息以及arp地址表信息传送至分布式存储系统；

分布式存储系统，用于存储所述日志信息以及arp地址表信息；

数据处理系统，用于从分布式存储系统中获取并分析所述日志信息以及arp地址表信息，实现暴力登陆安全场景分析操作以及网络设备安全场景趋势分析操作；

日志分析系统，用于展示数据处理系统的分析情况以供用户查看。

优选的，所述分布式存储系统内部包括address表和syslog表；所述address表用于存储arp地址表信息，syslog表用于存储日志信息。

进一步的，所述日志采集处理系统以flume为工具，所述数据处理系统以hive为支撑。

本发明还提供了一种网络日志信息安全场景式分析系统的分析方法，包括以下步骤：

s1、所述日志采集处理系统采集来自交换机的日志信息以及arp地址表信息，并实时监控已采集的日志信息和arp地址表信息，日志采集处理系统对新采集到的日志信息、arp地址表信息进行清洗操作，再将清洗后的日志信息、arp地址表信息传送至分布式存储系统；所述分布式存储系统通过address表来存储arp地址表信息，通过syslog表来存储日志信息；

s2、数据处理系统采集所述日志信息以及arp地址表信息，并以日志信息和arp地址表信息为源数据，以所述源数据为基础进行暴力登陆安全场景分析操作和终端未知网络设备安全场景趋势分析操作；

s3、利用数据处理系统分别将暴力登陆安全场景分析结果、终端未知网络设备安全场景趋势分析结果发送至关系数据库表的暴力登录表、未知网络设备表中；

s4、所述日志分析系统展示暴力登陆安全场景分析结果、终端未知网络设备安全场景趋势分析结果以供用户查看。

优选的，步骤s1中的清洗操作的具体步骤包括：所述日志采集处理系统将日志信息以及arp地址表信息分成若干个片段，截取其中有用片段，剔除无用片段。

优选的，步骤s2中的暴力登陆安全场景分析操作具体步骤包括：所述数据处理系统以syslog表中的数据为源数据，通过关键字匹配到符合暴力登陆安全场景条件的日志信息后，将所述日志信息存储于关系数据库表的暴力登录表中。

进一步的，步骤s2中的终端未知网络设备安全场景趋势分析操作具体步骤包括：所述数据处理系统利用hive定时取出arp地址表信息，数据处理系统逐条分析采集到的arp地址表信息，数据处理系统里面不存在的网络地址信息即为未知网络设备。

进一步的，所述日志采集处理系统使用syslog协议采集交换机的日志信息，使用地址解析协议采集核心交换机的arp地址表信息。

本发明的有益效果在于：

1)、本发明包括日志采集处理系统、分布式存储系统、数据处理系统以及日志分析系统，日志采集处理系统用于采集来自交换机的日志信息以及arp地址表信息，分布式存储系统用于存储所述日志信息以及arp地址表信息，数据处理系统用于实现暴力登陆安全场景分析操作以及网络设备安全场景趋势分析操作，因此本发明实现了对终端未知网络设备安全场景趋势的分析以及对暴力登录的监测，并能够及时对网络信息安全进行风险预警。

2)、所述日志采集处理系统以flume为工具，所述数据处理系统以hive为支撑，因此本发明具备可靠性高的特点，并能够实现海量日志信息的采集和分析操作。

附图说明

图1为本发明的分析方法的总体流程图；

图2为本发明的分析方法的具体流程图；

图3为本发明的网络安全态势分析系统查询取数据过程的具体流程图。

10—日志采集处理系统20—分布式存储系统30—数据处理系统

40—日志分析系统

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种网络日志信息安全场景式分析系统包括日志采集处理系统10、分布式存储系统20、数据处理系统30以及日志分析系统40，所述日志采集处理系统10用于采集来自交换机的日志信息以及arp地址表信息，并将所述日志信息以及arp地址表信息传送至分布式存储系统20；分布式存储系统20用于存储所述日志信息以及arp地址表信息；数据处理系统30用于从分布式存储系统20中获取并分析所述日志信息以及arp地址表信息，实现暴力登陆安全场景分析操作以及网络设备安全场景趋势分析操作；日志分析系统40用于展示数据处理系统30的分析情况以供用户查看。

如图2所示，所述分布式存储系统20内部包括address表和syslog表；所述address表用于存储arp地址表信息，syslog表用于存储日志信息。

所述日志采集处理系统10以flume为工具，所述数据处理系统30以hive为支撑，且数据处理系统30以liunx服务为支撑，采用聚类分析、多元回归的算法，利用hive提供的hsql功能实现日志信息和arp地址表信息的清洗、聚合、聚类操作。

具体的，所述分布式存储系统20为hbase，hbase是一种关系数据库，它是一个分布式的、面向列的开源数据库，具有高可靠性、面向列、可伸缩的特点，hbase中的所有数据文件都存储在hadoophdfs文件系统上；日志分析系统40为web终端，用户通过web终端能够查看暴力登录的情况以及未知网络设备的情况。

如图2、3所示，一种网络日志信息安全场景式分析系统的分析方法，包括以下步骤：

s1、所述日志采集处理系统10使用syslog协议采集交换机的日志信息，使用地址解析协议采集核心交换机的arp地址表信息，并实时监控已采集的日志信息和arp地址表信息，日志采集处理系统10对新采集到的日志信息、arp地址表信息进行清洗操作，再将清洗后的日志信息、arp地址表信息传送至分布式存储系统20；所述分布式存储系统20通过address表来存储arp地址表信息，通过syslog表来存储日志信息，并将日志信息以及arp地址表信息传送至数据处理系统30；

s2、所述数据处理系统30以采集到的日志信息和arp地址表信息为源数据，并以所述源数据为基础进行暴力登陆安全场景分析操作和终端未知网络设备安全场景趋势分析操作；

s3、利用数据处理系统30分别将暴力登陆安全场景分析结果、终端未知网络设备安全场景趋势分析结果发送至关系数据库表的暴力登录表、未知网络设备表中；

所述暴力登陆安全场景分析从日志表现上为短时间内产生了多条类似的登录失败日志；系统以交换机的日志信息为源数据，在匹配到满足该规则的日志信息后，会产生实时告警，帮助安全管理人员发现暴力破解的安全事件。

所述终端未知网络设备安全场景趋势分析是以采集到的arp地址表信息为基础，以市县一体化平台为支撑，实时分析所采集到的ip地址信息是否纳入市县一体化平台的ip资源管理中，并将未纳入管理的ip地址的设备定义为未知设备。

s4、所述日志分析系统40展示暴力登陆安全场景分析结果、终端未知网络设备安全场景趋势分析结果以供用户查看。

日志分析系统40以图形界面的方式通过ui界面展示暴力登陆安全场景分析结果，对分析的结果通过ui界面，展示给用户。在web的ui界面上，主要有日志数据、暴力登陆安全场景分析、终端未知网络设备安全场景趋势分析，本发明能够根据需求显示暴力登录事件详情；所述日志分析系统40展示终端未知网络设备安全场景趋势分析结果以供用户查看；日志分析系统40通过输入查询条件可以显示需要的未知设备信息，并且能够以图形化界面展示未知网络设备趋势和未知网络设备数量。

步骤s1中的清洗操作的具体步骤包括：所述日志采集处理系统10根据关键字过滤，所述日志采集处理系统10将日志信息以及arp地址表信息分成若干个片段，截取其中有用片段，剔除无用片段。

步骤s2中的暴力登陆安全场景分析操作具体步骤包括：所述数据处理系统30以syslog表中的数据为源数据，通过关键字匹配到符合暴力登陆安全场景条件的日志信息后，将所述日志信息存储于关系数据库表的暴力登录表中，符合暴力登陆安全场景条件指的在指定时间段内通过关键字匹配一定数量的登陆失败的日志。

步骤s2中的终端未知网络设备安全场景趋势分析操作具体步骤包括：所述数据处理系统30利用hive定时取出arp地址表信息，数据处理系统30逐条分析采集到的arp地址表信息，数据处理系统30里面不存在的网络地址信息即为未知网络设备。

所述志采集处理系统10使用syslog协议采集交换机的日志信息，使用地址解析协议采集核心交换机的arp地址表信息。

若用户网络中存在未知网络设备，则管理人员可以利用本分析系统将接入交换机的未知网络设备强制断开连接，终止未知网络设备的登录，有效地保护了交换机的网络安全，使管理者利用该功能作出及时的处理。

本分析系统后台可以配置未知网络设备的预警规则，如果每天的未知网络设备超过提前配置好的数量，分析系统就会自动实现告警操作，并以短信方式通知运维管理人员，同时在分析系统界面上展示告警信息。

本分析系统的功能强大，在本分析系统中，可以对分析出的未知设备设置是否进行短信通知，如果设置为是，则每当出现未知设备时，系统会将预先维护好的短信模板的短信替换成实际短信内容发送到特定人员的手机中，进行提示，反之，则不作任何提示；本分析系统还能够将需要的未知网络设备设置为已知设备，并且将该设备从未知设备表中移除；选择局域网中的核心交换机，在核心交换机中断开此ip地址接入网络的许可；分析系统可以将分析出来的未知设备与使用该设备的人员联系起来，同时将该设备设置为已知设备，并且将该设备从未知设备表中移除。