数据挖掘方法及系统的制作方法
【技术领域】
[0001]本发明涉及网络数据，尤其涉及一种数据挖掘方法及系统。
【背景技术】
[0002]近年来，网络空间的安全形势发生了巨大改变，网络攻击增长趋势呈指数级发展，并逐渐演变成了各种社会工程学攻击与各类Oday漏洞利用的综合攻击，成为最具威胁的网络攻击方式，新型安全威胁技术手段的先进性、复杂度、隐蔽性和持续性，已经超出了传统网络安全技术的应对能力。为了适应新的安全形势，就需要基于网络数据构建一个信息收集、联动、汇聚、存储、挖掘的系统，来及时发现网络威胁，溯源攻击，保障企业安全。
【发明内容】
[0003]本发明要解决的技术问题是为了克服现有技术中缺乏基于网络数据进行信息收集、关联、汇聚、存储、挖掘从而及时发现网络威胁并保障网络数据安全的高效手段的缺陷，提供一种数据挖掘方法及系统。
[0004]本发明是通过下述技术方案来解决上述技术问题的:
[0005]—种数据挖掘方法，其特点在于，包括以下步骤:
[0006]步骤一、从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；
[0007]步骤二、从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；
[0008]步骤三、根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；
[0009]步骤四、将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql ；
[0010]步骤五、从NoSql中提取数据并进行数据挖掘。
[0011]其中，HBASE是一个分布式的、面向列的开源数据库，其可作为结构化数据的分布式存储系统，而elasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。NoSql是指非关系型的数据库，本领域技术人员可以根据实际需要选择现有的非关系型的数据库。
[0012]本发明中的原始数据包，包含服务器的日志、网络安全产品的日志、网络原始数据包。
[0013]较佳地，步骤二还包括:对提取的数据进行预处理后，从中找出需关联的数据并将其重新发回对应的消息队列中。
[0014]在此，对于不同类型、来源的数据，其是否需关联，可以是由用户预先设置好的关联关系。在本发明的方法的执行过程中，一旦发现符合预设的关联关系的数据，则将其视为需关联的数据，将其发挥对应的消息队列中等待提取和处理。
[0015]较佳地，所述步骤五中的数据挖掘包括信息聚合，信息聚合包括，对提取的数据进行聚合并做关联，并统计数据的流量排行，将统计得到的结果存储到elasticSearch中。
[0016]上述的数据聚合可以采用一些本领域中采用的聚类算法进行。
[0017]较佳地，所述步骤五中的数据挖掘还包括基于提取的数据进行的木马心跳识别、恶意域名识别、网络异常行为检测。
[0018]其中，木马心跳识别是指利用机器学习，挖掘NoSql中的数据，动态的识别已知和/或未知的木马心跳行为，当计算出可以行为后，产生报警并存储到elasticSearch中。
[0019]恶意域名识别是指利用数据挖掘手段，学习域名特征，从而对恶意域名与安全域名进行分类，动态的识别网络流量中的恶意域名的访问，发现可疑域名后产生报警并存储到 elasticSearch 中。
[0020]网络异常行为检测是指通过对提取的海量数据建模，建立行为基线，定期的对新产生的数据进行挖掘，发现异常行为进行报警。
[0021 ] 较佳地于，该数据挖掘方法还包括一步骤六，该步骤六为:
[0022]查看由木马心跳识别、恶意域名识别、网络异常行为检测而产生的报警，并根据报警的信息以及相应的索引信息还原数据包。
[0023]较佳地，该预设格式为JSON格式，即轻量级的数据交换格式JavaScript ObjectNotat1n。
[0024]本发明还提供了一种数据挖掘系统，其特点在于，包括:
[0025]分布式消息模块，用于从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；
[0026]预处理模块，用于从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为预设格式；
[0027]分布式处理模块，用于根据数据类型创建不同的分布式处理任务，其中包括packet原始数据包任务，packet原始数据包任务为将原始数据包解析产生索引信息和描述信息；
[0028]存储模块，用于将原始数据包中的数据与解析得到的索引信息分别存储到HBASE和elasticSearch，以备数据还原用，将原始数据包中的数据及描述信息存储到NoSql ；
[0029]数据挖掘模块，用于从NoSql中提取数据并进行数据挖掘。
[0030]上述预处理模块，举例来说，可以是将数据格式转换为JSON格式。
[0031]较佳地，预处理模块在对提取的数据进行预处理后，还用于从中找出需关联的数据并将其重新发回对应的消息队列中。
[0032]较佳地，数据挖掘模块包括信息聚合单元，用于对提取的数据进行聚合并做关联，并统计数据的流量排行，将统计得到的结果存储到elasticSearch中。
[0033]较佳地，数据挖掘模块还包括分别用于基于提取的数据进行木马心跳识别、恶意域名识别、网络异常行为检测的数据分析单元。
[0034]较佳地，该数据挖掘系统还包括数据包还原模块，用于查看由木马心跳识别、恶意域名识别、网络异常行为检测而产生的报警，并根据报警的信息以及相应的索引信息还原数据包。
[0035]在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
[0036]本发明的积极进步效果在于:本发明的数据挖掘方法及系统基于网络数据能够高效地进行信息的收集、联动、汇聚、存储、挖掘，从而能够及时发现网络威胁，溯源攻击，保障网络数据安全。
【附图说明】
[0037]图1为本发明实施例1的数据挖掘方法的流程图。
[0038]图2为本发明实施例2的数据挖掘系统的示意图。
【具体实施方式】
[0039]下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
[0040]实施例1
[0041]参考图1所示，本实施例的数据挖掘方法，包括以下步骤:
[0042]步骤一、从多个网络数据的来源获取原始数据包，并将不同来源的原始数据包放入分布式消息队列中的不同消息队列；
[0043]步骤二、从消息队列中提取原始数据包，对提取的数据进行预处理，以将数据格式转换为JSON格式