网络威胁报文检测及溯源取证方法和装置与流程

本申请涉及计算机技术领域，具体而言，涉及一种网络威胁报文检测及溯源取证方法和装置。

背景技术：

随着情报技术的发展，国内外很多安全检测产品将情报分析纳入网络威胁分析模型中。现有技术中，很难发现情报是网络威胁情报，导致企业、机关等单位经常被黑客攻击后造成网络不安全，对于报文缺乏一种识别能力。

技术实现要素：

本申请的主要目的在于提供一种网络威胁报文检测及溯源取证方法和装置，以解决上述问题。

为了实现上述目的，根据本申请的一个方面，提供了一种网络威胁报文检测及溯源取证方法，包括：

根据与云端情报平台同步的网络威胁报文情报库判断接收到的报文是否为网络威胁报文；

如果确定是网络威胁报文，则发出安全告警信息。

在一种实施方式中，所述情报库包括预先经过训练的第一识别模型、第二识别模型和情报列表；

根据预先设置的情报库判断接收到的报文是否为网络威胁报文，包括：

获取所述报文的元数据，所述元数据包括：第一类元数据、第二类元数据和第三类元数据；

判断所述第三类元数据和情报列表中的特征数据是否匹配；

如果是，则将所述第一类元数据输入到第一识别模型得到第一识别结果；

如果第一识别结果大于预定的第一识别阈值；

则将所述第二类元数据输入到第二识别模型得到第二识别结果；

如果所述第二识别结果大于预定的第二识别阈值；

则发出报警信息。

在一种实施方式中，发出安全告警信息后，所述方法还包括：

向情报平台发送通知消息，以使所述情报平台根据通知消息生成所述网络威胁报文的溯源报告；

接收所述情报平台发送的溯源报告；

所述溯源报告包括以下的一种或几种：情报来源、情报相关报道、通讯样本、沙箱检测结果、情报发展历程；所述情报发展历程具体包括：攻击者的组织、近期活跃时间、近期攻击目标、近期采用的攻击。

在一种实施方式中，还包括：与情报平台实时同步更新所述网络威胁报文情报库。

第二方面，一种网络威胁报文检测及溯源取证方法，应用于云端的情报平台，所述方法包括：

接收检测装置发送的发现网络威胁报文的通知消息，其中，检测装置根据与所述情报平台同步的网络威胁报文情报库发现网络威胁报文；

所述通知消息的内容包括：所述检测装置所属的用户标识、攻击时间、攻击手段；

将所述通知消息的内容补充到情报发展历程记录表中并生成所述网络威胁报文的溯源报告；

将所述溯源报告发送给所述检测装置。

在一种实施方式中，接收检测装置发送的发现网络威胁报文通知消息之前，所述方法还包括：

从各个网站情报平台获取获取疑似网络威胁报文的第一集合；

对所述疑似网络威胁报文的第一集合进行可信度筛选得到疑似网络威胁报文的第二集合，所述第二集合的范围小于所述第一集合的范围；

对所述疑似网络威胁报文的第二集合进行参数筛选得到疑似网络威胁报文的第三集合，所述第三集合的范围小于所述第二集合的范围。

在一种实施方式中，对所述疑似网络威胁报文的第一集合进行可信度筛选得到疑似网络威胁报文的第二集合，包括：

对于所述疑似网络威胁报文的第一集合中的任意一个疑似网络威胁报文，

计算所述疑似网络威胁报文的可信度；

如果所述疑似网络威胁报文的可信度大于预定的疑似网络威胁报文可信度阈值；

则将所述疑似网络威胁报文加入到所述第二集合；

对所述疑似网络威胁报文的第二集合进行参数筛选得到疑似网络威胁报文的第三集合，包括：

对于所述第二集合中的任意的一个疑似网络威胁报文，获取所述疑似网络威胁报文的相关参数，相关参数包括通讯报文样本、域名和文件样本；

根据所述相关参数对所述疑似网络威胁报文进行进一步筛选；

将通过筛选的疑似网络威胁报文加入第三集合。

在一种实施方式中，根据所述相关参数对所述疑似网络威胁报文进行进一步筛选，包括：

分别获取所述疑似网络威胁报文的通讯报文样本、域名和文件样本；

将所述通讯报文样本、域名和文件样本分别发送到对应的检测设备进行检测，接收所述对应的检测设备返回的检测结果。

在一种实施方式中，计算所述疑似网络威胁报文的可信度，包括：

统计报告该疑似网络威胁报文的网站情报平台的数量m；

计算比例值k=m/n；

其中，k为可信度，n为网站情报平台总数。

为了实现上述目的，根据本申请的第三方面，提供了一种网络威胁报文检测装置；该装置包括：

判断模块，用于根据与云端情报平台同步的网络威胁报文情报库判断接收到的报文是否为网络威胁报文；

发送模块，用于如果判断模块确定所述报文为网络威胁报文，则发出安全告警信息。

为了实现上述目的，根据本申请的第四方面，提供了一种电子设备；包括至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行上述任意一项所述的步骤。

根据本申请的第五方面，提供了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任意一项方法的步骤。

本发明的上述的技术方案，根据与云端情报平台同步的网络威胁报文情报库判断接收到的报文是否为网络威胁报文；如果确定为网络威胁报文，则发出安全告警信息；本发明的方法极大提高了企业等用户的安全性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种网络威胁报文检测及溯源取证方法的流程图；

图2是根据本申请实施例的另一种网络威胁报文检测及溯源取证方法的流程图；

图3是根据本申请实施例的一种网络威胁报文检测装置的结构示意图；

图4是根据本申请实施例的另一种网络威胁报文检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

各个企业，机关、单位等的数据中心，服务器，经常或接收到外部的访问的数据报文，如果报文有网络威胁性，一旦接入会给企业造成比较严重的损失。现有技术中，对于网络威胁报文的检测方面，还没有一种有效的识别网络威胁报文的方法。

基于此，本申请提出了一种基于威胁情报分析及溯源取证的攻击检测及溯源取证方法，参见附图1所示的一种网络威胁报文检测及溯源取证方法的流程示意图；应用于用户的网络安全监测设备，用户可以为企业，机关，数据中心等需要保护数据安全的单位或者个人，该方法包括：

步骤s102，根据与云端情报平台同步的网络威胁报文情报库判断接收到的报文是否为网络威胁报文；

具体的，本申请的方法，应用的主体可以是各个企业、机关、单位中的专门负责单位网络安全的检测装置，检测装置可以为服务器。服务器接收外来的访问的报文，并做检测。还可以设置专门的采集装置，专门采集外部的报文。

步骤s104，如果是网络威胁报文，则发出安全告警信息。

除了本地发出安全告警信息之外，还向情报平台发送通知消息，情报平台接收到消息之后，可以进行溯源，生成溯源报告。

值得强调的是，网络威胁报文情报库为情报平台生成的，并同步给检测装置。情报平台利用数据全面的优势，可以构建情报库，从而提高了检测装置进行分辨的能力，更好地分辨出来自攻击者的报文。

本发明的方法，使用网络威胁报文情报库来判断接收到的情报报文是否安全。提高发现恶意攻击者的能力。如果不安全，及时发出告警信息，提高了用户的安全性。

在一种实施方式中，步骤s104，检测装置根据与云端情报平台同步的网络威胁报文情报库判断接收到的所述报文是否安全，包括：

步骤s201，获取所述报文的元数据；

其中，元数据包括第一类元数据、第二类元数据和第三类元数据；

第一类元数据可以为通讯元数据，通讯元数据包括以下的一种或几种：持续时间、包平均大小、总字节数、协议、应用协议、加密套件、扩展长度、扩展类型。

第二类元数据为文件元数据，其中，文件元数据包括以下的一种或几种：文件哈希值，文件字节分布、滑动窗口字节熵、可打印字符串、导入api、导出api、互斥量。

第三类元数据为情报元数据；情报元数据包括以下的一种或几种：源地址、目的端口、域名、文件hash、协议、应用协议。

所述情报库包括预先经过训练的第一识别模型、第二识别模型和情报列表；

其中，第一识别模型为支持向量机（supportvectormachine，svm）模型。

具体的，获取大量的通讯元数据的样本数据；其中，有安全报文的通讯元数据，也有网络威胁报文的通讯元数据。

示例性的，svm模型在训练时，将获取到的一个确定是网络威胁报文的通讯元数据输入到模型中，svm模型进行识别，如果输出的概率大于预定的概率值，比如，预定的概率值为0.9，则svm模型训练结束，如果svm模型输出的概率值小于0.9，则调整svm模型中的参数，直到输出的概率值大于0.9为止。

第二识别模型为lightgbm模型。训练方法与svm训练方法类型，不再赘述。

步骤s202，判断所述第三类元数据和情报列表中的特征数据是否匹配；如果匹配，则执行步骤s204；

步骤s204，将所述第一类元数据输入到第一识别模型得到第一识别结果；

步骤s206，判断第一识别结果是否大于预定的第一识别阈值；如果是，则执行步骤s208；

步骤s208，将所述第二类元数据输入到第二识别模型得到第二识别结果；

示例性的，第一识别阈值可以为0.9，第二识别阈值可以为0.8；具体可以灵活设定，本申请不进行限定。

步骤s210，判断第二识别结果是否大于预定的第二识别阈值；如果是，则执行步骤s212；

具体的，将第三类元数据中的每一个元数据和情报列表中的特征数据进行一一对比，如果都相同，则为匹配，则确定所述报文命中情报列表。该报文具有网络威胁。或者，当匹配的数量达到预定的比例阈值，则也认定为命中，确定该待识别的报文是网络威胁报文。其中，比例阈值可以为0.8，可以灵活设定，具体不进行限定。

步骤s212，将命中情况上报给情报平台，以使情报平台将该信息补充到情报发展历程的攻击态势。

在一种实施方式中，发出安全告警信息后，还包括：向情报平台发送通知消息，以使所述情报平台根据通知消息生成所述网络威胁报文的溯源报告；接收所述情报平台发送的溯源报告；所述溯源报告包括：所述网络威胁报文的发起者、所述发起者的近期攻击目标的集合。检测设备向情报平台发送通知消息，接收该情报平台生成的所述网络威胁报文的溯源报告。

具体的，情报平台接收到通知消息后，生成情报取证溯源报告；将生成的情报取证溯源报告反馈给该检测设备以及其他的检测设备。

情报取证溯源包括以下的一种或几种：情报对应的情报来源、情报相关报道、通讯样本、沙箱检测结果、情报发展历程；其中，情报发展历程包括：攻击者的组织、近期活跃、近期攻击目标、近期被攻击态势。

相关报道可以为几个情报列表，示例性的，国外的某机构报道了某个网络攻击事件。采用专门的一个字段来记录情报的来源。

本发明的上述方法，先采用情报列表进行过滤，如果情报列表通过过滤后，再由第一识别模型识别出通讯元数据有问题的报文，进行第二遍过滤；最后由第二识别模型可以识别出文件元数据有问题的报文，进行第三遍过滤。最终确定报文网络威胁，报警。

在一种实施方式中，还包括：与情报平台实时同步更新所述网络威胁报文情报库。

具体的，云端的情报平台实时更新情报库，或者周期性的更新情报库，周期可以是1小时，情报平台把更新后的情报库同步给各个检测设备。

根据本发明的第二方面，本申请还提出了一种网络威胁报文检测及溯源取证方法，参见附图2所示的另一种网络威胁报文检测及溯源取证方法的流程图，应用于云端的情报平台，所述方法包括：

步骤s302，接收检测装置发送的发现网络威胁报文通知消息；其中，检测装置根据与所述情报平台同步的网络威胁报文情报库发现网络威胁报文。其中，网络威胁情报库为情报平台生成的，并与各个检测装置同步更新。检测装置可以为位于各个单位或者个人的负责网络安全的终端设备。

所述通知消息的内容包括：所述检测装置所属的用户标识、攻击时间、攻击手段；步骤s304，根据所述网络威胁报文通知消息的内容补充到情报发展历程记录表中并生成所述网络威胁报文的溯源报告。

其中，情报库中设置了一个专门字段记录最近的一段时间内的情报记录；

比如，大学a在x年x月x日遭受到网络攻击；大学b的网络在x年x月x日遭受到网络攻击。

步骤s306，将所述溯源报告发送给所述检测装置。

本发明的上述方法，情报平台生成网络威胁报文情报库，并且情报库与检测装置同步的，使得各个负责网络安全的终端的检测装置能够根据情报库来进行网络威胁报文的识别判断，提高了识别的能力。

在一种实施方式中，接收检测装置发送的发现网络威胁报文通知消息之前，所述方法还包括：

从各个网站情报平台获取获取疑似网络威胁报文的第一集合；

对所述疑似网络威胁报文的第一集合进行可信度筛选得到疑似网络威胁报文的第二集合，所述第二集合的范围小于所述第一集合的范围；

对所述疑似网络威胁报文的第二集合进行参数筛选得到疑似网络威胁报文的第三集合，所述第三集合的范围小于所述第二集合的范围。

在一种实施方式中，对所述疑似网络威胁报文的第一集合进行可信度筛选得到疑似网络威胁报文的第二集合，包括：

对于所述疑似网络威胁报文的第一集合中的任意一个疑似网络威胁报文，

计算所述疑似网络威胁报文的可信度；

如果所述疑似网络威胁报文的可信度大于预定的疑似网络威胁报文可信度阈值；

则将所述疑似网络威胁报文加入到所述第二集合；

对所述疑似网络威胁报文的第二集合进行参数筛选得到疑似网络威胁报文的第三集合，包括：

对于所述第二集合中的任意的一个疑似网络威胁报文，获取所述疑似网络威胁报文的相关参数，相关参数包括通讯报文样本、域名和文件样本；

根据所述相关参数对所述疑似网络威胁报文进行进一步筛选；

将通过筛选的疑似网络威胁报文加入第三集合。

示例性的，集合中有5000个ip地址，获取每个ip地址的通讯样本，得到5000个通讯样本，将5000个通讯样本发送给相关的检测设备，检测设备可以为流量分析产品，进行检测，接收流量分析产品返回的消息。比如，检测到其中有2000个通讯报文样本存在恶意行为，对应的ip地址则为黑ip地址，也就是网络威胁ip地址。经过次轮筛选，就缩小了集合的范围。

针对黑域名的情况，采用云端沙箱检测其威胁性；具体的，集合中的域名有5000个，将5000个域名发送给云端沙箱进行检测后，接收云端沙箱发送的检测结果，检测结果为其中2000个为黑域名，筛选掉了3000个域名，缩小了集合的范围，

针对黑文件哈希值，从情报中摘取样本文件，采用恶意文件扫描器及沙箱检测器威胁性。具体的，集合中有5000个文件样本，将5000个文件样本发送给扫描器进行扫描检测，接收返回的结果，筛选掉3000个，留下2000个，缩小了集合的范围。

在一种实施方式中，根据所述相关参数对所述疑似网络威胁报文进行进一步筛选，包括：

分别获取所述疑似网络威胁报文的通讯报文样本、域名和文件样本；

将所述ip地址的通讯样本、域名和样本文件分别发送到对应的检测设备进行检测，接收所述对应的检测设备返回的检测结果。

在一种实施方式中，计算所述疑似网络威胁报文的可信度，包括：

统计报告该疑似网络威胁报文的网站情报平台的数量m；

计算比例值k=m/n；

其中，k为可信度，n为网站情报平台总数。

在一种实施方式中，方法还包括：定期更新网络威胁报文情报库，将更新后的网络威胁报文情报库同步给各个检测设备。

本发明的上述的技术方案，实时情报收集及清洗，极大提升情报实时性及质量；采用综合规则匹配、机器学习算法，提升情报命中质量；在线实时同步情报库，提升检测设备的情报实时性；对产生的威胁告警，通过取证报告方式补充证据支持，提升用户对情报命中的可信性

本申请的第三方面，本发明还提供了一种网络威胁报文检测装置，参见附图3所示的一种网络威胁报文检测装置的结构示意图，该装置应用于各个企业、机关、单位等，用于提高企业等单位的安全性，该装置包括：

判断模块21，用于根据与云端情报平台同步的网络威胁报文情报库判断接收到的报文是否为网络威胁报文；

告警模块22，用于如果判断模块确定为网络威胁报文，则发出安全告警信息。

在一种实施方式中，所述情报库包括预先经过训练的第一识别模型、第二识别模型和情报列表；

判断模块21还用于，获取所述报文的元数据，所述元数据包括：第一类元数据、第二类元数据和第三类元数据；

判断所述第三类元数据和情报列表中的特征数据是否匹配；如果是，则将所述第一类元数据输入到第一识别模型得到第一识别结果；

如果第一识别结果大于预定的第一识别阈值；

则将所述第二类元数据输入到第二识别模型得到第二识别结果；

如果所述第二识别结果大于预定的第二识别阈值，则发出报警信息。

在一种实施方式中，还包括，发送模块23，用于向情报平台发送通知消息，以使所述情报平台根据通知消息生成所述网络威胁报文的溯源报告；

接收模块24，用于接收所述检测平台生成的所述网络威胁报文的溯源报告，所述溯源报告包括：所述网络威胁报文的发起者、所述发起者的近期攻击目标的集合。

在一种实施方式中，还包括同步模块25，用于与情报平台实时同步更新所述网络威胁报文情报库。

具体的，可以周期性地对所述网络威胁报文情报库进行更新。

第四方面，本发明还提供了另一种网络威胁报文检测装置，应用于云端的情报平台，参见附图4，该装置包括：

接收模块31，用于接收检测装置发送的发现网络威胁报文通知消息；其中，检测装置根据与所述情报平台同步的网络威胁报文情报库发现网络威胁报文；

所述通知消息的内容包括：所述检测装置所属的用户标识、攻击时间、攻击手段；

报告生成模块32，用于将所述通知消息的内容补充到情报发展历程记录表中并生成所述网络威胁报文的溯源报告；

发送模块33，用于将所述溯源报告发送给检测装置。

在一种实施方式中，还包括：搜集模块34，用于接收模块接收检测装置发送的发现网络威胁报文通知消息之前，从各个网站情报平台获取获取疑似网络威胁报文的第一集合；

筛选模块35，用于对所述疑似网络威胁报文的第一集合进行可信度筛选得到疑似网络威胁报文的第二集合，所述第二集合的范围小于所述第一集合的范围；以及对所述疑似网络威胁报文的第二集合进行参数筛选得到疑似网络威胁报文的第三集合，所述第三集合的范围小于所述第二集合的范围。

在一种实施方式中，筛选模块35还用于，对于所述疑似网络威胁报文的第一集合中的任意一个疑似网络威胁报文，计算所述疑似网络威胁报文的可信度；

如果所述疑似网络威胁报文的可信度大于预定的疑似网络威胁报文可信度阈值；则将所述疑似网络威胁报文加入到所述第二集合；

对于所述第二集合中的任意的一个疑似网络威胁报文，获取所述疑似网络威胁报文的相关参数，相关参数包括通讯报文样本、域名和文件样本；

根据所述相关参数对所述疑似网络威胁报文进行进一步筛选；

将通过筛选的疑似网络威胁报文加入第三集合；

在一种实施方式中，筛选模块35还用于，分别获取所述疑似网络威胁报文的通讯报文样本、域名和文件样本；

将所述ip地址的通讯样本、域名和哈希值的样本文件分别发送到对应的检测设备进行检测，接收所述对应的检测设备返回的检测结果。

在一种实施方式中，筛选模块35还用于，统计报告该疑似网络威胁报文的网站情报平台的数量m；

计算比例值k=m/n；

其中，k为可信度，n为网站情报平台总数。

在一种实施方式中，还包括更新模块36，用于定期更新网络威胁报文情报库，将更新后的网络威胁报文情报库同步给各个检测设备。

根据本申请的第五方面，提供了一种电子设备，包括至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行上述任意一项的方法。

根据本申请的第六方面，本申请还提出了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任一项所述的方法。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器（read-onlymemory，简称rom）、可编程只读存储器（programmablerom，简称prom）、可擦除可编程只读存储器（erasableprom，简称eprom）、电可擦除可编程只读存储器（electricallyeprom，简称eeprom）或闪存。

易失性存储器可以是随机存取存储器（randomaccessmemory，简称ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器（staticram，简称sram）、动态随机存取存储器（dynamicram，简称dram）、同步动态随机存取存储器（synchronousdram，简称sdram）、双倍数据速率同步动态随机存取存储器（doubledataratesdram，简称ddrsdram）、增强型同步动态随机存取存储器（enhancedsdram，简称esdram）、同步连接动态随机存取存储器（synchlinkdram，简称sldram）和直接内存总线随机存取存储器（directrambusram，简称drram）。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。