一种攻击组织的挖掘方法及装置与流程

本发明涉及网络安全技术，尤其涉及一种攻击组织的挖掘方法及装置。

背景技术：

随着internet的日益发展与普及，internet已经渗透到人们日常工作生活中的各个方面。然而，由此所引入的网络安全问题也日渐成为人们重点关注的问题之一。特别是，现有的网络攻击方式呈现出多样化和复杂化的趋势，使得基于internet进行业务服务的机构和系统面临着前所未有的威胁，这些机构和系统的网络一旦被攻击成功，将造成巨大的经济损失。

目前，随着社会经济的不断发展，社会中各行各业的从业人员的分工越来越细，而对于网络安全这样一个技术密集型的行业，也同样出现了类似的社会精细分工。例如，有的黑客善于漏洞挖掘，有的黑客善于对付杀毒软件，有的黑客对网络基础设施很熟悉，有的黑客则擅长社会工程学。为了某些共同的目的，许多黑客逐渐地走到了一起，从而形成了一个相对稳定的攻击组织。在攻击组织中，每个黑客利用各自擅长的技能，以组成一个完善的产业链条，共同服务于所属的攻击组织。因此，了解攻击组织，对把握当前的网络安全形势是很有意义的。此外，高级持续性威胁已成为当前各级各类网络所面临的主要安全威胁，高级持续性威胁使网络威胁从散兵游勇式的随机攻击变成有目的、有组织、有预谋的群体式攻击，使得以实时检测、实时阻断为主体的传统防御方式难以再发挥作用。

现在的网络安全防护方法和产品体系还在使用传统的单机的、私有的思路来解决网络的、公有的威胁，而如今已经是动态安全时代，传统设备和方案都是静态的，很难对抗持续变化和升级的攻击手段，所以基于传统安全思想的网络安全防护方法和产品因没有数据智能功能，无法感知攻击组织。

技术实现要素：

有鉴于此，本发明实施例提供了一种攻击组织的挖掘方法及装置，能够快速从网络攻击行为中定位出攻击组织。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种攻击组织的挖掘方法，所述方法包括：

提取防火墙入侵防御系统(intrusionpreventionsystem，ips)日志中记录的攻击行为；所述攻击行为包括攻击时间、攻击方式、攻击方ip地址；

根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织。

上述方案中，所述方法还包括：对所述攻击组织中所包含的攻击行为进行聚合，并向用户展示所述攻击组织在聚合后的攻击行为。

上述方案中，所述提取防火墙ips日志中记录的攻击行为之前，所述方法还包括：

对网络攻击行为进行识别，并将识别出的攻击行为记录至防火墙ips日志。

上述方案中，所述根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织，包括：

向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，以获取对应每一个攻击方ip地址的攻击向量；

采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织。

上述方案中，所述向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，包括：

计算每一个攻击方ip地址在每一天每一个时间段内的出现次数；

计算每一个攻击方ip地址在每一天所使用的不同攻击方式的次数。

本发明实施例提供了一种攻击组织的挖掘装置，所述装置包括：第一处理单元、第二处理单元；其中，

所述第一处理单元，用于提取防火墙入侵防御系统ips日志中记录的攻击行为；所述攻击行为包括攻击时间、攻击方式、攻击方ip地址；

所述第二处理单元，用于根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织。

上述方案中，所述第二处理单元，还用于对所述攻击组织中所包含的攻击行为进行聚合，并向用户展示所述攻击组织在聚合后的攻击行为。

上述方案中，所述装置还包括：第三处理单元，用于在所述第一处理单元提取防火墙ips日志中记录的攻击行为之前，对网络攻击行为进行识别，并将识别出的攻击行为记录至防火墙ips日志。

上述方案中，所述第二处理单元，具体用于：

向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，以获取对应每一个攻击方ip地址的攻击向量；

采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织。

上述方案中，所述第二处理单元向量化每一个攻击方ip地址所对应的攻击时间和攻击方式为：

计算每一个攻击方ip地址在每一天每一个时间段内的出现次数；

计算每一个攻击方ip地址在每一天所使用的不同攻击方式的次数。

本发明实施例提供的攻击组织的挖掘方法及装置，提取防火墙入侵防御系统日志中记录的攻击行为；所述攻击行为包括攻击时间、攻击方式、攻击方ip地址；根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织。可见，本发明实施例通过提取防火墙ips日志中记录的多个攻击方ip地址在不同攻击时间所采用的攻击方式，然后根据每一个攻击方ip地址所对应的攻击时间和攻击方式对所有攻击方ip地址进行聚类，以将具有相似攻击时间和攻击方式的攻击方ip地址划分为攻击组织，从而能够快速从网络攻击行为中定位出攻击组织。

此外，可视化展示攻击组织的攻击方式和活动规律，以使用户能够更直观地了解攻击组织。

附图说明

图1为本发明实施例攻击组织的挖掘方法的实现流程示意图；

图2为本发明实施例攻击组织的挖掘方法的基本流程示意图；

图3为本发明实施例攻击组织的挖掘方法的具体实现流程示意图；

图4为本发明实施例攻击组织的挖掘装置的原理示意图；

图5为本发明实施例攻击组织的挖掘装置的组成结构示意图。

具体实施方式

图1为本发明实施例攻击组织的挖掘方法的实现流程示意图，该方法包括：

步骤101：提取防火墙入侵防御系统日志中记录的攻击行为；所述攻击行为包括攻击时间、攻击方式、攻击方ip地址；

具体地，对网络攻击行为进行识别，并将识别出的攻击行为记录至防火墙入侵防御系统(intrusionpreventionsystem，ips)日志中；提取防火墙ips日志中记录的至少一个以上攻击方ip地址在不同攻击时间所采用的攻击方式。

这里，所述对网络攻击行为进行识别可以是采用防火墙对网络攻击行为进行识别；所述防火墙ips日志中记录有在预设时间内防火墙所识别出的攻击行为，所述预设时间可以是一天或一天以上；当所述防火墙ips日志因存储空间有限而无法记录在预设时间内的所有攻击行为时，可将所述防火墙ips日志中记录的攻击行为存储至存储器中，然后从所述存储器中提取攻击行为。

步骤102：根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织。

具体地，根据每一个攻击方ip地址所对应的攻击时间和攻击方式，向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，以获取对应每一个攻击方ip地址的攻击向量；采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织。

这里，所述向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，包括：计算每一个攻击方ip地址在每一天每一个时间段内的出现次数；计算每一个攻击方ip地址在每一天所使用的不同攻击方式的次数。

这里，每一个攻击方ip地址在预设时间内可能对应有多个攻击时间和多种攻击方式，对每一个攻击方ip地址所对应的攻击时间和攻击方式进行向量化，以获取对应每一个攻击方ip地址的攻击向量，从而获取由所有攻击方ip地址所对应的攻击向量组成的攻击向量集。

这里，为了掩护攻击方的身份或使攻击行为具有欺骗性等原因，网络的攻击方比如黑客在每一次发起网络攻击行为时所采用的ip地址可能不同，即对于同一个攻击方而言，可能使用不同的攻击方ip地址；但是，由于发起多次攻击行为的攻击方是同一个人，那么该攻击方所发起的攻击行为中攻击时间可能相同或相近、攻击方式也可能相同或相似。同时，由于攻击组织中不同攻击方发起网络攻击的攻击时间相近或相同等原因，使得攻击组织中每一个攻击方所对应的攻击行为之间具有某种内在的联系。因此，可通过采用dbscan或k-means等聚类算法使具有相似特性的攻击方ip地址进行聚类，从而获取攻击组织。

这里，所述采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织，可包括两种方式：第一种方式是直接采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，将聚类后所获得的聚集在一起的两个或两个以上攻击方ip地址作为攻击组织；第二种方式是分析通过所述第一种方式所获得的攻击组织，为提高聚类结果的精确性而设置相似性阈值，然后根据所述相似性阈值重新利用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，或者根据所述相似性阈值重新利用聚类算法对通过所述第一种方式所获得的攻击组织进行聚类分析，以使得最后获取的攻击组织中包含的攻击方ip地址所对应的攻击向量之间的相似性值大于所述相似性阈值，也就是说最后获取的攻击组织中包含的攻击方ip地址所对应的攻击向量与该攻击组织的“中心”攻击方ip地址所对应的攻击向量之间的相似性值都大于所述相似性阈值。

这里，当任意一个攻击方ip地址无法被聚类成攻击组织时，则该攻击方ip地址相对于攻击组织而言是孤立点。

进一步地，所述方法还包括：对所述攻击组织中所包含的攻击行为进行聚合，并向用户展示所述攻击组织在聚合后的攻击行为。

具体地，根据步骤102中获取到攻击组织后，将所述攻击组织中包含的所有攻击方ip地址提取出来，然后从所述防火墙ips日志中获取所述攻击组织中包含的所有攻击方ip地址所对应的攻击时间和攻击方式，并按照攻击方ip地址、攻击时间和攻击方式进行聚合，以形成并向用户展示所述攻击组织在聚合后的攻击行为，从而实现可视化展示攻击组织的攻击方式和活动规律、以及在网络攻击行为中快速定位出攻击组织。此外，还可为对攻击组织的攻击行为进行建模分析和检测攻击组织的未知威胁而做好基础准备工作。

下面通过一个具体示例对本发明实施例作进一步地的说明，图2为本发明实施例攻击组织的挖掘方法的基本流程示意图，该方法包括：

步骤201：提取日志；

具体地，提取存储服务器上的防火墙ips日志；所述防火墙ips日志中记录有至少一个以上攻击方ip地址在不同攻击时间所采用的攻击方式。

这里，防火墙识别黑客的攻击并保存为ips日志；防火墙将ips日志传递给存储服务器。

步骤202：向量化日志；

具体地，根据每一个攻击方ip地址所对应的攻击时间和攻击方式，向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，以获取对应每一个攻击方ip地址的攻击向量，即将ips日志向量化为时间和攻击方式两个维度。

步骤203：机器学习；

具体地，对向量化后的数据应用机器学习算法进行聚类，即应用聚类算法dbscan或k-means聚类攻击方ip地址。

步骤204：ip是否能被聚类，若是，则执行步骤205，否则执行步骤206；

具体地，判断在步骤203中攻击方ip地址是否能被聚类，若是，则执行步骤205，否则执行步骤206。

这里，设定一个相似性阈值，如果多个ip的相似性大于所述相似性阈值，则会被聚类成攻击组织；如果多个ip的相似性小于所述相似性阈值，则执行步骤206。

步骤205：可视化；

具体地，对步骤204中攻击组织里的各个攻击ip的攻击时间和攻击方式进行聚合，并进行可视化展示。

步骤206：孤立点。

具体地，在步骤203中，如果多个ip的相似性小于所述相似性阈值，则该ip为孤立点。

基于图2所示的基本流程图，图3为本发明实施例攻击组织的挖掘方法的具体实现流程示意图，该方法包括：

步骤301：防火墙识别黑客的攻击行为并保存至ips日志；

具体地，具有ips功能的防火墙对黑客的攻击行为进行识别，并将识别出的攻击行为保存至ips日志中，所述ips日志中保存有攻击方ip地址、攻击时间和攻击方式。

步骤302：防火墙将ips日志传递给存储服务器；

具体地，防火墙将ips日志传递给存储服务器，以使存储服务器存储所述ips日志。

这里，由于预设时间可以是一天或一天以上，若防火墙ips日志因存储空间有限而无法记录在预设时间内的所有攻击行为，则需要将所述防火墙ips日志中记录的攻击行为存储至存储服务器中。

步骤303：提取存储服务器上ips日志中所记录的攻击行为；

具体地，提取在预设时间内存储服务器上的ips日志中所记录的至少一个以上攻击方ip地址在不同攻击时间所采用的攻击方式，即提取ips日志中所记录的攻击行为。

步骤304：向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，生成攻击向量集；

具体地，计算每一个攻击方ip地址在每一天每一个时间段内的出现次数；计算每一个攻击方ip地址在每一天所使用的不同攻击方式的次数。

这里，每一个攻击方ip地址在预设时间内可能对应有多个攻击时间和多种攻击方式，对每一个攻击方ip地址所对应的攻击时间和攻击方式进行向量化，以获取对应每一个攻击方ip地址的攻击向量，从而获取由所有攻击方ip地址所对应的攻击向量组成的攻击向量集。

步骤305：利用聚类算法dbscan或k-means对攻击向量集进行聚类，生成初始攻击组织；

具体地，采用聚类算法dbscan或k-means对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，将聚类后所获得的聚集在一起的两个或两个以上攻击方ip地址作为初始攻击组织。

步骤306：根据设置的相似性阈值对所述初始攻击组织进行优化，获取最终的攻击组织；

具体地，为提高聚类结果的精确性而设置一个相似性阈值，根据所述相似性阈值重新利用聚类算法dbscan或k-means对步骤305中所获得的初始攻击组织进行聚类分析，以使得最终获取的攻击组织中包含的攻击方ip地址所对应的攻击向量之间的相似性值大于所述相似性阈值，也就是说最终获取的攻击组织中包含的攻击方ip地址所对应的攻击向量与该攻击组织的“中心”攻击方ip地址所对应的攻击向量之间的相似性值都大于所述相似性阈值。

这里，也根据所述相似性阈值重新利用聚类算法dbscan或k-means对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，从而获取最终的攻击组织。

步骤307：可视化展示所述最终的攻击组织。

具体地，根据步骤306中获取到所述最终的攻击组织后，将所述最终的攻击组织中包含的所有攻击方ip地址提取出来，然后从所述防火墙ips日志中获取所述最终的攻击组织中包含的所有攻击方ip地址所对应的攻击时间和攻击方式，并按照攻击方ip地址、攻击时间和攻击方式进行聚合，以形成并向用户展示所述最终的攻击组织在聚合后的攻击行为，从而实现可视化展示所述最终的攻击组织的攻击方式和活动规律。

图4为本发明实施例攻击组织的挖掘装置的原理示意图；其中，401为黑客攻击路径；402为ips日志存储路径；403为数据演算路径；404为可视化路径。

图5为本发明实施例攻击组织的挖掘装置的组成结构示意图，该装置包括：第一处理单元12、第二处理单元13；其中，

所述第一处理单元12，用于提取防火墙入侵防御系统ips日志中记录的攻击行为；所述攻击行为包括攻击时间、攻击方式、攻击方ip地址；

所述第二处理单元13，用于根据每一个攻击方ip地址所对应的攻击时间和攻击方式，对所有攻击方ip地址进行聚类，以获取攻击组织。

这里，该装置还包括：第三处理单元11，用于对网络攻击行为进行识别，并将识别出的攻击行为记录至防火墙ips日志。

这里，所述第三处理单元11可以是防火墙；所述防火墙ips日志中记录有在预设时间内防火墙所识别出的攻击行为，所述预设时间可以是一天或一天以上；当所述防火墙ips日志因存储空间有限而无法记录在预设时间内的所有攻击行为时，第三处理单元11可将所述防火墙ips日志中记录的攻击行为存储至存储器中。

其中，所述第一处理单元12，具体用于：提取防火墙ips日志中记录的至少一个攻击方ip地址在不同攻击时间内所采用的攻击方式。

这里，当所述第三处理单元11在所述防火墙ips日志因存储空间有限而无法记录在预设时间内的所有攻击行为，而将所述防火墙ips日志中记录的攻击行为存储至存储器中时，所述第一处理单元12则从所述存储器中提取攻击行为。

所述第二处理单元13，具体用于：根据每一个攻击方ip地址所对应的攻击时间和攻击方式，向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，以获取对应每一个攻击方ip地址的攻击向量；采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织。

这里，所述第二处理单元13向量化每一个攻击方ip地址所对应的攻击时间和攻击方式，包括：计算每一个攻击方ip地址在每一天每一个时间段内的出现次数；计算每一个攻击方ip地址在每一天所使用的不同攻击方式的次数。

这里，每一个攻击方ip地址在预设时间内可能对应有多个攻击时间和多种攻击方式，对每一个攻击方ip地址所对应的攻击时间和攻击方式进行向量化，以获取对应每一个攻击方ip地址的攻击向量，从而获取由所有攻击方ip地址所对应的攻击向量组成的攻击向量集。

这里，为了掩护攻击方的身份或使攻击行为具有欺骗性等原因，网络的攻击方如黑客在每一次发起网络攻击行为时所采用的ip地址可能不同，即对于同一个攻击方而言，可能使用不同的攻击方ip地址；但是，由于发起多次攻击行为的攻击方是同一个人，那么该攻击方所发起的攻击行为中攻击时间可能相同或相近、攻击方式可能相同或相似。同时，由于攻击组织中不同攻击方发起网络攻击的攻击时间相近或相同等原因，使得攻击组织中每一个攻击方所对应的攻击行为之间具有某种内在的联系。因此，可通过采用dbscan或k-means等聚类算法使具有相似特性的攻击方ip地址进行聚类，从而获取攻击组织。

这里，所述采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，以生成攻击组织，可包括两种方式：第一种方式是直接采用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，将聚类后所获得的聚集在一起的两个或两个以上攻击方ip地址作为攻击组织；第二种方式是分析通过所述第一种方式所获得的攻击组织，为提高聚类结果的精确性而设置相似性阈值，然后根据所述相似性阈值重新利用聚类算法对由所有攻击方ip地址所对应的攻击向量组成的攻击向量集进行聚类分析，或者根据所述相似性阈值重新利用聚类算法对通过所述第一种方式所获得的攻击组织进行聚类分析，以使得最后获取的攻击组织中包含的攻击方ip地址所对应的攻击向量之间的相似性值大于所述相似性阈值，也就是说最后获取的攻击组织中包含的攻击方ip地址所对应的攻击向量与该攻击组织的“中心”攻击方ip地址所对应的攻击向量之间的相似性值都大于所述相似性阈值。

这里，当任意一个攻击方ip地址无法被聚类成攻击组织时，则该攻击方ip地址相对于攻击组织而言是孤立点。

进一步地，所述第二处理单元13，还用于对所述攻击组织中所包含的攻击行为进行聚合，并向用户展示所述攻击组织在聚合后的攻击行为。

所述第二处理单元13，具体用于：根据获取到的攻击组织，将所述攻击组织中包含的所有攻击方ip地址提取出来，然后从所述防火墙ips日志中获取所述攻击组织中包含的所有攻击方ip地址所对应的攻击时间和攻击方式，并按照攻击方ip地址、攻击时间和攻击方式进行聚合，以形成并向用户展示所述攻击组织在聚合后的攻击行为，从而实现可视化展示攻击组织的攻击方式和活动规律、以及在网络攻击行为中快速定位出攻击组织。此外，还可为对攻击组织的攻击行为进行建模分析和检测攻击组织的未知威胁而做好基础准备工作。

在实际应用中，所述第三处理单元11可由防火墙等实现；所述第一处理单元12、第二处理单元13均可由位于终端的中央处理器(cpu)、微处理器(mpu)、数字信号处理器(dsp)、或现场可编程门阵列(fpga)等实现。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。