一种基于暗网流量挖掘的工控网络威胁情报生成系统及方法与流程

本发明涉及网络安全领域，尤其涉及一种基于暗网流量挖掘的工控网络威胁情报生成系统及方法。

背景技术：

1、暗网是一种隐藏的网络，普通用户无法通过常规手段搜索访问，需要使用一些特定的软件、配置或者授权等才能登录。由于暗网具有匿名、隐蔽等特点，暗网流量攻击是针对工业控制系统攻击的主要源头之一。工业控制系统(ics，industrial control system)是通信网络与物理设备的有机组合体，是自动化生产的重要基础保障，关乎电力、煤炭、石油化工、轨道交通等国家关键基础设施的运行。近年来，随着工业化和信息化的深度融合，智能传感设备被广泛接入工业控制系统，用于对工业控制系统的任务下发、状态监控、设备健康管理等。然而，由于智能传感设备往往缺乏有效的安全防护软件，它们在给工业控制系统带来便利的同时，也引入了巨大的网络安全威胁。近年来，网络攻击战频发，保障国家生产和人民生活的工业控制系统正在成为黑客攻击的首选目标。工业控制系统一旦被入侵会对国家及社会造成重大经济和安全损失，因此针对工业控制系统的安全防护研究对于保护国家社会稳定、居民人身财产安全、以及构建网络健康环境具有重大现实意义。

2、目前，典型的工控网络安全防护方法大致分为两种：一种是基于静态签名机制的防护方法，另一种是基于网络威胁情报的防护方法。其中，基于静态签名机制的被动防护方法侧重于部署各种安全防护设备(如防火墙、入侵检测系统、入侵防护系统等)以匹配恶意指纹信息来识别并阻断工控系统攻击入侵，但是这类方法只能被动地依据预定义的恶意签名库识别网络攻击，它无法防护新型未知的工控网络攻击。基于网络威胁情报的安全防护方法侧重于从捕获的与安全相关的文本描述、日志、流量等数据中利用机器学习和深度学习等技术提取具有可疑威胁的指示实体或签名，主动地获取网络威胁情报来实时地防护工控系统安全。为了降低网络威胁对工业控制系统的影响，众多的基于网络威胁情报的工控安全防护方法及专利已经被提出。

3、申请号为cn201710849672.3的发明专利公开了一种基于威胁情报的工业控制系统网络安全性分析系统及方法，包括：获取所有访问过工业控制系统的 ip(internetprotocol)地址及相关绑定的域名；对已发现的ip地址和相关域名进行恶意性判断；基于访问ip和相关域名的绑定关系，对已有的访问ip进行分组；从时间特性，空间特性和恶意性等方面对已发现的ip组进行分析；根据已发现ip 组及其相关特性，对ip组进行机器学习，建立判断ip组是否为恶意ip组的决策树模型，并对模型进行评估。根据访问ip找到工业控制系统相关的所有ip组，并通过可视化页面对工业控制系统的访问关系进行全方面分析。根据预设时间，周期性地执行上述步骤，不断提高准确率和覆盖率，更新威胁情报库相关的恶意性和安全性分析结果。

4、公开号为cn107391598a的发明专利公开了一种威胁情报自动生成方法及系统，所述方法包括：获取与工业控制系统安全相关的非结构化的威胁描述文本数据和结构化数据，对于非结构化的威胁描述文本数据利用公开的实体识别和关系抽取技术提取文本中包含的工控威胁实体和关系，对于结构化数据，基于统计结果进行工控威胁实体和关系提取，并将从两类数据中提取的工控威胁实体和关系存储在图数据中，多源异构工控威胁实体及关系以图数据的形式被融合；然后利用公开的图嵌入方法实现对工控威胁实体的嵌入；基于得到的嵌入表示，最后利用机器学习算法实现工控威胁情报自动化分析。

5、通过分析已公开的网络威胁情报生成方法可以发现，当前的网络威胁情报生成方法存在以下主要弊端：

6、(1)缺乏对暗网流量的分析能力，暗网流量是工控网络攻击的主要源头，但由于暗网流量具有难捕获、高伪装、难解析等特性，导致目前的大多数方法很难有效地从暗网流量中提取针对工控网络攻击的威胁情报；

7、(2)缺乏对流量数据包的深度解析，当前威胁情报提取方法大多从流量数据包中简单地提取源ip地址作为威胁情报，缺少对攻击片段、攻击载荷特征、以及攻击意图等深度特征的分析与提取。

8、本发明综合考虑了众多网络威胁情报生成方法的优点与不足，提出了一种基于暗网流量挖掘的工控网络威胁情报生成系统及方法。

技术实现思路

1、本发明的目的在于克服上述已有技术的缺点，提出一种基于暗网流量挖掘的工控网络威胁情报生成系统及方法，打破传统威胁情报生成方法无法精准构建面向工控安全领域威胁情报的缺陷，解决传统威胁情报无法有效分析暗网流量的弊端，其基本思想是：首先，捕获暗网流量并识别针对工控网络攻击的活动片段；然后，设计并实现一个深度包解析算法来解析数据包以检测被识别活动片段的载荷模式和攻击意图；其次，通过深度学习方法分类不同攻击片段的攻击源、攻击模式和攻击意图，并最终生成面向工控网络的威胁情报。本发明可以有效地利用暗网流量实时捕获面向工控领域的网络威胁情报，能够有效地洞察工控系统内外部潜在的网络威胁，全方位、立体式掌握工控系统的安全态势。

2、为实现上述发明目的，本发明所提供的技术方案是：

3、一种基于暗网流量挖掘的工控网络威胁情报生成系统，其特征在于，包括：工控流量过滤单元、工控流量汇聚单元、流量相似性评估单元、工控流量聚类单元、以及工控威胁情报签名生成单元。所述工控流量过滤单元，设计一种基于字符特征匹配的工控流量过滤算法从捕获的暗网流量中过滤掉与工控系统攻击无关的流量；所述工控流量汇聚单元，负责将流量数据包头文件中包含相同源ip地址和相同目的端口的工控流量数据包汇聚在一起并使用公开的文本嵌入算法对其嵌入表示；所述流量相似性评估单元负责将流量图中的节点嵌入到低维向量空间，通过计算嵌入到低维空间的任意两个流量节点的欧式距离来判断它们之间的相似性；所述工控流量聚类单元基于流量节点相似性，使用包括但不限于kmeans聚类算法对流量图中的节点进行聚类得到不同的聚类群组；所述工控威胁情报签名生成单元，设计一种包括但不限于基于自动编码器的流量数据包解析算法来解析可疑工控攻击流量群组中的流量数据包，从中自动识别工控攻击活动片段并学习其对应的流量数据包载荷模式及攻击意图，将其学习到的工控攻击活动片段、攻击载荷模式、及攻击意图构建工控威胁情报签名，并实时加入到工控威胁情报签名数据库。

4、进一步地根据所述的基于暗网流量挖掘的工控网络威胁情报生成系统，所述工控流量过滤单元为了从捕获的暗网流量中过滤掉与工控攻击无关的流量数据包，维护并实时更新一个工控流量载荷特征库，设计一种基于字符特征匹配的工控流量提取算法，通过比较每条流量与已知工控流量载荷特征的相对汉明码距离判断该流量是否属于工控领域流量，以从捕获的暗网流量中过滤出具有工控流量载荷特征的工控流量，将其作为生成工控网络威胁情报的数据源。

5、进一步地根据所述的基于暗网流量挖掘的工控网络威胁情报生成系统，所述工控流量汇聚单元，依据源ip地址、目的端口值对流量数据包进行聚合，将流量数据包头文件中包含相同源ip地址和相同目的端口的流量数据包汇聚在一起作为一个整体文本对待，并使用包括但不限于word2vec文本嵌入算法对其嵌入表示，同时使用字典结构对其存储，其中字典键存储流量数据包嵌入特征，字典值存储所汇聚流量数据包的数目和编号。

6、进一步地根据所述的基于暗网流量挖掘的工控网络威胁情报生成系统，所述流量相似性评估单元首先利用图结构构建工控流量源ip、源端口、目的ip、目的端口、及通信协议之间的交互关系；然后利用包括但不限于gcn(graph convolutional networks)算法将图中流量节点嵌入到低维向量空间，通过计算嵌入到低维空间后的欧式距离判断任意两个流量节点之间的相似性。

7、进一步地根据所述的基于暗网流量挖掘的工控网络威胁情报生成系统，所述工控流量聚类单元基于流量节点相似性，使用包括但不限于kmeans聚类算法对流量图中的节点进行聚类得到不同的聚类群组，然后计算所述每个聚类群组与事先标记的正常流量群组之间的欧式距离，并将其距离大于设定阈值的聚类群组标记为可疑的工控攻击流量群组。

8、进一步地根据所述的基于暗网流量挖掘的工控网络威胁情报生成系统，所述工控威胁情报签名生成单元设计一种包括但不限于基于自动编码器的流量数据包解析算法来解析所述可疑工控攻击流量群组中的流量数据包，从中自动化识别工控攻击活动片段并学习其对应的流量数据包载荷模式，将其学习到的工控攻击活动片段及攻击载荷模式构建工控威胁情报签名，并实时加入到工控威胁情报签名数据库。

9、本发明所述一种基于暗网流量挖掘的工控网络威胁情报生成方法，其特征在于，包括以下步骤：

10、步骤(1)、工控流量过滤，为了从捕获的暗网流量中过滤掉与工控攻击无关的流量数据包，本发明维护并实时更新一个工控流量载荷特征库，设计一种基于字符特征匹配的工控流量提取算法，通过比较每条流量与已知工控流量载荷特征的相对汉明码距离判断该流量是否属于工控领域流量，以从捕获的暗网流量中过滤出具有工控流量载荷特征的工控流量，将其作为生成工控网络威胁情报的数据源；

11、步骤(2)、工控流量汇聚，基于步骤(1)提取的工控流量，依据源ip地址、目的端口值对流量数据包进行聚合，将流量数据包头文件中包含相同源ip地址和相同目的端口的流量数据包汇聚在一起作为一个整体文本对待，并使用包括但不限于 word2vec文本嵌入算法对其嵌入表示，同时使用字典结构对其存储，其中字典键存储流量数据包嵌入特征，字典值存储所汇聚流量数据包的数目和编号；

12、步骤(3)、流量相似性评估，流量相似性评估单元首先利用图结构构建工控流量源ip、源端口、目的ip、目的端口、及通信协议之间的交互行为关系；然后利用包括但不限于gcn算法将图中流量节点嵌入到低维向量空间，通过计算嵌入到低维空间后的节点欧式距离判断任意两个流量实体之间的相似性，得到的流量相似性评估将作为工控流量聚类的一个衡量标准；

13、步骤(4)、工控流量聚类，工控流量聚类单元利用步骤(3)得到的流量节点相似性，利用包括但不限于kmeans聚类算法对流量图中的节点进行聚类，以得到不同的聚类群组，然后计算所述每个聚类群组与事先标记的正常流量群组之间的欧式距离，并将其距离大于设定阈值的聚类群组标记为可疑的工控攻击流量群组；

14、步骤(5)、工控威胁情报签名生成，设计一种包括但不限于基于自动编码器的流量数据包解析算法来解析步骤(4)所述可疑的工控攻击流量群组中的流量数据包，从中自动化识别工控攻击活动片段并学习其对应的流量数据包载荷模式，将其学习到的工控攻击活动片段、攻击载荷模式、及攻击意图构建工控威胁情报签名，并实时加入到工控威胁情报签名数据库，增量持续生成基于暗网流量挖掘的工控网络威胁情报。

15、本发明的有益效果：

16、1)、本发明打破传统网络威胁情报无法高效利用暗网流量数据的弊端，设计并实现了面向工控网络安全的威胁情报生成系统和方法，整合流量数据包深度分析、深度学习、图理论等相关技术实时地从暗网流量数据包中分析并提取针对工控网络攻击的流量载荷特征、攻击片段模式特征、及攻击意图特征。

17、2)、本发明设计并实现了一个流量数据包深度解析算法，用于识别并检测暗网流量中针对工控网络攻击的活动片段，它可以有效定位攻击流量范围，极大地降低了全流量分析挖掘的资源消耗；本发明组合文档向量化算法和迭代聚类算法对工控流量攻击片段载荷向量化以刻画每个攻击片段的低维向量特征。

18、3)、本发明提出了一种可动态扩展的工控网络威胁情报生成方法，它可以流式处理新捕获的暗网流量，实时地从暗网流量中提取最新的攻击流量载荷特征、攻击片段模式特征等，构建对应的威胁情报签名，实现工控网络威胁情报库动态实时扩展与更新。

19、4)、经原型系统使用实践证明，本发明能有效检提取暗网流量中针对工控网络的攻击活动片段，并有效分析攻击片段的起源、参与者、攻击载荷模式和攻击意图，生成准确详实的面向工控网络的威胁情报，可以有效感知工控系统的网络安全态势；且本发明所述方案实现在现有网络中容易布置、操作简单、安全可靠，具有显著的经济社会效益和广阔的市场推广应用前景。