一种融合局部和全局异常检测的失陷主机识别方法与流程

本发明属于网络信息安全，尤其涉及一种融合局部和全局异常检测的失陷主机识别检测技术。

背景技术：

1、随着互联网技术的迅速发展，网络安全问题受到了社会广泛的关注。同时，在大数据时代背景下，网络攻击规模逐渐变大，攻击方式也愈发复杂，越来越多的企业因网络攻击导致信息泄露，进而遭受巨额经济损失。为防御网络攻击，绝大多数企业通过在企业内部主机以及流量输入输出口部署各种安全设备进行监测，但由于安全设备每天会产生大量告警日志且误报较多，企业安全分析人员无法及时有效的对告警数据进行分析，同样容易造成企业核心资产流失。因此，如何从海量的安全告警中挖掘出可疑失陷主机，对网络安全运营人员高效分析以及防止企业数据泄露都至关重要。

2、目前，对于失陷主机的识别可大致分为关联规则、行为分析、异常检测等三种检测方式。关联规则主要通过分析已知失陷主机所关联告警数据，从中挖掘出失陷主机与日志之间的共性特征，进而设计关联规则实现检测。该方式虽然检测效率较高，但只能检测出已有的攻击行为，对于高复杂度攻击、0day漏洞等网络攻击，其检测效果较差。行为分析主要利用内网主机相关告警数据的关键特征，通过构建主机基线的方式来判断主机行为是否超过正常阈值，进而判断主机是否被攻陷。该方式虽能较好检测出特征行为变化率较大的失陷主机，但对于已经失陷的主机或变化率较小的失陷主机检测识别较差，且阈值设置较为困难。而异常检测方法则基于所有告警数据，利用各异常检测算法从特征距离、密度等角度判断各告警日志异常度，虽能检测出罕见告警日志，但忽略了内网主机关联告警自身的周期性和规律性，容易造成漏检。

技术实现思路

1、本发明的目的在于提供一种融合局部和全局异常检测的失陷主机识别方法，以解决上述背景技术中提出的现有技术问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种融合局部和全局异常检测的失陷主机识别方法，该方法主要分为可疑主机筛选、特征提取、局部检测、全局检测、失陷主机识别等几个部分，识别方法如下：

4、s1、筛选可疑主机：对使用网络安全告警日志关联的正常企业主机进行筛选，筛选方式根据内网主机作为攻击者和被攻击者两个角度进行选择，当主机作为攻击者时，只提取某特征达到一定阈值的主机作为可疑主机；当主机作为被攻击者时，提取被外网攻击后出现其他攻击行为的主机作为可疑主机；

5、s2、特征提取：针对每台可疑主机，提取过去一段时间其关联的告警日志，并从局部和全局的角度分别统计各特征字段数据，提取所需的特征信息，作为数据预处理，即异常检测算法数据输入；

6、s3、局部检测：针对单台可疑主机从攻击者和被攻击者角度进行异常分析；

7、s4、全局检测：针对所有可疑主机从攻击者和被攻击者角度进行异常分析；

8、s5、失陷主机识别：综合局部异常检测和全局异常检测的可疑失陷主机，将可疑失陷主机异常分数归一化后利用加权均值的方式重新计算异常分数并排序，最后将达到阈值的主机作为失陷主机。

9、优选的，所述s1中告警日志获取通过读取elastic search、hive等数据仓库中的指定时间段的数据，如获取过去1周的告警日志。

10、优选的，所述s2中数据预处理即过滤部分噪声数据，如字段缺失、关键字段值为空、日志未关联企业主机、日志名称包含关键字等日志。

11、优选的，所述s3中局部检测步骤为首先将每台主机过去一段时间的数据以指定时间段进行划分，并分别提取每个时间片段的特征数据；其次，对特征数据标准化后利用k最邻近算法计算每台主机在各个时间片段上的异常分数；最后，将所有主机在各个时间段上的异常分数进行排序，提取top n且异常分数满足指定阈值的主机作为可疑失陷主机。

12、优选的，所述s4中全局检测步骤为首先提取每台主机过去一段时间的特征信息，再将特征数据标准化后利用直方图异常检测算法对所有主机进行异常检测，计算出每台主机异常分数；最后，将所有主机根据异常分数进行排序，提取top n且异常分数满足指定阈值的主机作为可疑失陷主机。

13、优选的，所述s1中以主机作为攻击者和被攻击者两个域进行划分，并筛选可疑主机进行后续分析，筛选方式如下：

14、主机作为攻击者(主机为源ip)：根据每台主机过去1周所关联的告警日志，提取满足指定条件的主机作为可疑主机，如主机所关联日志中存在危险等级为中危及以上日志、主机关联日志类型数量大于2个等；

15、主机作为被攻击者(主机为目的ip)：判断过去1周的告警日志中，主机被攻击之后是否发起其他攻击行为(即主机关联日志中同时存在作为源和目的的日志)，若存在其他攻击行为，则提取该主机为可疑主机；反正，则认为该主机是被正常访问或该主机被攻击但未失陷。

16、优选的，所述s1中提取可疑主机作为攻击者的局部和全局特征：

17、局部特征：将每台主机过去1周所关联的告警日志数据以指定时间区间划分，如以6个小时为一个区间划分，则过去1周每台主机可划分为28个区间，再分别提取每台主机在每个区间的特征，如告警日志数量、关联的目的ip数量、日志类型数量、最大危险等级、是否命中情报等，即每台主机有28个样本数据；

18、全局特征：统计每台主机过去1周所关联的告警日志，直接提取相关特征数据，即每台主机只有一个样本数据，全局特征种类可与局部特征相同，也可根据实际场景调整特征种类。

19、优选的，所述s1中提取可疑主机作为被攻击者的局部和全局特征：

20、局部特征：与主机作为攻击者类似，将关联的日志根据时间段划分为28个区间，但对于特征提取，需要将每个区间中的日志划分为主机作为源ip和目的ip分别提取，即针对其中一个区间，先提取主机作为源ip的日志，统计日志数量、关联目的ip数量、类型数量等特征；再提取主机作为目的ip的日志，统计日志数量、关联源ip数量、类型数量等特征；最后将两个特征拼接作为该主机在该区间上的一个特征；

21、全局特征：与局部特征类似，将主机关联日志划分为源ip和目的ip，分别提取后拼接，但不再划分时间区间，统计过去一周所有数据作为特征数据。

22、与现有技术相比，本发明的有益效果是：

23、1.针对海量的内网主机关联告警日志，从攻击者和被攻击者的角度对告警数据进行划分并分别筛选可疑主机，降低不同类型主机间相互干扰同时也减少对正常主机数据的分析；

24、2.将行为分析与异常检测算法相结合，从局部和全局的角度分别单台可疑主机和所有可疑主机进行异常分析，提升失陷主机的识别精度，并降低漏报。

25、3.对可疑主机从多个样本空间域进行异常检测，并利用加权均值综合不同域的识别结果，提升检测结果的准确性。

26、4、在网络安全态势感知系统中，本方法相比于关联规则分析方法，无需大量专家知识，且通过统计数据异常的方式能较好识别未知网络攻击，可有效缓解关联规则检测方法的局限；

27、5、与行为分析方法相比，本文方法从多个不同角度分析主机关联告警数据规律，并与异常检测算法相结合，提升了主机在不同视角下的异常行为识别效果；

28、6、而与现有异常检测相比，本方法从不同空间层次的多个特征域对主机告警进行异常分析，并以加权融合的方式综合各分析结果，可以更准确的识别出可疑日志并挖掘出失陷主机；

29、7、综上所述，本发明一种融合局部和全局异常检测的失陷主机识别检测技术，在挖掘失陷主机的准确性以及方法的鲁棒性都具有较大提升，且无需专家系统支撑，节约了人力成本，并提高了告警处理效率。