专利名称：基于离群挖掘的异常检测系统的制作方法
技术领域：
本发明涉及移动Ad Hoc网络的检测领域，尤其是网络异常入侵的检测系统，具体地说是一种基于离群挖掘的异常检测系统。
技术背景
目前，入侵检测的方法及理论研究工作己经有30多年的历史。但是，移动(点对点)模式Ad Hoc网络入侵检测系统的研究仍处于相当初级的阶段:商业产品在实施方法上大都采用类似于反病毒软件的硬编码机制，这显然不适合快速变化的网络攻击行为；实验室研究虽然提出了各种新方法来检测新类型攻击行为，但离实用还有相当的距离。当前研究机构和工业界的移动Ad Hoc点对点网络异常入侵检测系统普遍存在的最突出的共性问题是:系统对新攻击类型往往检测能力不足、系统误报率过高从而失去应有的性能、系统在检测攻击行为时实时性不够，除此之外，系统操作非常繁琐、配置复杂也是所面临的重要问题之一
发明内容
本发明的目的是针对现有的异常检测系统只适用于维数较低的数据集、实时性差、误报率高和检测新类型攻击能力弱的问题，提出了基于离群挖掘的异常检测系统。
本发明的技术方案是: 一种基于离群挖掘的异常检测系统，它包括数据采集器、存储数据库、特征选择模块、数据挖掘模块、正常活动简档数据库和分类器，所述的数据采集器作为异常检测系统的信号输入端采集网络数据，数据采集器的输出端连接存储数据库的信号输入端，存储数据库的两信号输出端分别连接特征选择模块、数据挖掘模块的对应信号输入端，数据挖掘模块的另一信号输入端连接正常活动简档数据库，特征选择模块和数据挖掘模块的信号输出端分别连接分类器的对应信号输入端，分类器的信号输出端作为基于离群挖掘的异常检测系统的输出，显示检测状态。
本发明的数据采集器与数据库之间串接预处理器。
本发明的有益效果: 本发明的系统对网络数据即大量系统日志和审计记录构成的高维的、稀疏的、非线性数据集进行处理；在特征选择模块中利用基于规则的离群数据分类检测技术检测离群点；在挖掘模块中利用静态挖掘和动态挖掘技术快速分析数据来满足实时性要求；使用分类器来进一步降低误报率。
本发明在降低误报率上取得了令人满意的结果。该系统还具备回溯到审计数据内部的能力，以帮助系统安全操作人员进一步分析可疑活动的起源，这样在自动执行检测任务的同时，通过把可能引起攻击的问题集中在审计数据某一子集上使其更适合人工干预，从而提闻系统检测性能。
图1是本发明的结构示意图。
图2是基于离群挖掘的异常检测系统的训练阶段示意图。
图3是基于离群挖掘的异常检测系统的检测阶段示意图 图4是正常活动简档时间更新图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示，一种基于离群挖掘的异常检测系统，它包括数据采集器、存储数据库、特征选择模块、数据挖掘模块、正常活动简档数据库和分类器，所述的数据采集器作为异常检测系统的信号输入端采集网络数据，数据采集器的输出端连接存储数据库的信号输入端，存储数据库的两信号输出端分别连接特征选择模块、数据挖掘模块的对应信号输入端，数据挖掘模块的另一信号输入端连接正常活动简档数据库，特征选择模块和数据挖掘模块的信号输出端分别连接分类器的对应信号输入端，分类器的信号输出端作为基于离群挖掘的异常检测系统的输出，显示检测状态。
本发明的数据采集器与数据库之间串接预处理器。
具体实施时: 如图2所示，训练阶段由建模时期和训练分类器时期构成。在建模时期完成正常活动简档的建立，在训练分类器时期完成分类器的构建，过程如下:首先将不包含攻击数据的训练数据(称之为纯净数据)输入到一个静态挖掘模块中，该模块包含了用以挖掘关联规则的静态挖掘算法，其输出就是网络行为的正常活动简档，即描述了没有在攻击行为出现情况下的网络正常活动；结合正常活动简档，将包含攻击数据的训练数据输入到一个动态挖掘模块中，其输出由表征攻击数据的规则(项目集)组成，即可疑规则；最后将可疑规则连同从特征选择模块中提取的一组特征作为分类器的输入，即作为分类器的训练数据。在使用系统检测入侵之前，训练阶段只实施一次。训练阶段的第二个时期旨在为已知类型攻击建立分类器。
如图3所示，检测阶段使用训练阶段得到的正常活动简档和训练好的分类器，通过实时分析网络连接记录，寻找可疑的规则集(即那些不包含在正常活动简档之中或者和正常活动偏差较大的规则集)，连同由特征选择模块提取出的一组特征一起输入到在训练阶段已经训练好的分类器中，并进一步通过分类器把可疑规则分类为正常事件、异常事件、未知事件。对异常事件而言，如果该类型的数据在训练阶段的分类器训练时期曾经出现过，可以进一步给定攻击类型的名字。当分类器把可疑连接记录分类为正常事件时，就把它们从可疑规则集中过滤掉，而不将其传给系统安全人员。
如图1所示，对异常检测系统而言，把每天的活动和基准的活动简档做比较，从中发现相似度模式。如果相似度低于某一阈值，但并无显著改变，而且具有平滑下降的趋势时，判定其为一种正常活动可能的改变；如果相似度低于某一阈值并且急剧下降的话，判定其为异常行为。本发明通过正常活动简档的更新采用滑动时间窗口方法来更新基准的活动简档。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
权利要求
1.一种基于离群挖掘的异常检测系统，其特征是它包括数据采集器、存储数据库、特征选择模块、数据挖掘模块、正常活动简档数据库和分类器，所述的数据采集器作为异常检测系统的信号输入端采集网络数据，数据采集器的输出端连接存储数据库的信号输入端，存储数据库的两信号输出端分别连接特征选择模块、数据挖掘模块的对应信号输入端，数据挖掘模块的另一信号输入端连接正常活动简档数据库，特征选择模块和数据挖掘模块的信号输出端分别连接分类器的对应信号输入端，分类器的信号输出端作为基于离群挖掘的异常检测系统的输出，显示检测状态。
2.根据权利要求1所述的基于离群挖掘的异常检测系统，其特征是所述的数据采集器与数据库之间串接预处理器。
全文摘要
一种基于离群挖掘的异常检测系统，包括数据采集器、存储数据库、特征选择模块、数据挖掘模块、正常活动简档数据库和分类器，数据采集器采集网络数据，数据采集器的输出端连接存储数据库的信号输入端，存储数据库的两信号输出端分别连接特征选择模块、数据挖掘模块的对应信号输入端，数据挖掘模块的另一信号输入端连接正常活动简档数据库，特征选择模块和数据挖掘模块的信号输出端分别连接分类器的对应信号输入端，分类器的信号输出端作为基于离群挖掘的异常检测系统的输出，显示检测状态。本发明的系统对网络数据即大量系统日志和审计记录构成的高维的、稀疏的、非线性数据集进行处理；降低误报率，提高系统检测性能。
文档编号H04L12/26GK103107912SQ20111035765
公开日2013年5月15日 申请日期2011年11月11日 优先权日2011年11月11日
发明者李千目, 戚湧, 许雪松, 李嘉, 侯君, 张宏 申请人:无锡南理工科技发展有限公司