一种基于集中管控的威胁情报的评估方法与流程

1.本发明涉及网络安全、soc（security operation center）、信息共享、威胁情报的技术领域，尤其涉及到一种基于集中管控的威胁情报的评估方法。


背景技术：

2.在过去几年中，网络攻击的数量和影响急剧增加，这些安全威胁造成了很大的伤害。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
3.当前，各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行。日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化和全天候的安全防御体系。企业的网络及信息系统都不同程度地部署了各种不同的集中管控的设备，并对网络威胁情报进行投资，实时跟踪各种网络威胁情报和实时检测关键基础设施的各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营，更有效地提高劳动生产率和降低运营成本。
4.基于集中管控采集网络威胁情报，并对所采集的威胁情报信息进行清洗、聚合、关联和评估等一系列操作，将目前的被动安全防御转向积极的安全防御，提供面临风险的早期预警，并加快发现攻击时的反应时间。获取网络威胁情报的一种途径是通过osint（open source intelligence 开放情报）采集信息，其信息表示形式为ioc（indicators of compromise 入侵指标）。
5.最新的研究证明，可从osint源数据中获得有用的信息和ioc，例如，从社交网络（例如，推特twitter）获取有用和早期的安全信息。然而，大多数原始的osint源数据所提供的威胁信息几乎没有处理，因此在生成有用的高质量数据方面存在限制，需要丰富ioc以形式高质量的威胁情报。另一方面，还存在如下问题：1、浏览各种新闻提要对于任何安全分析师来说都是一项耗时的任务；2、安全分析师不一定能找到与他们监管的it关键基础设施相关的新闻；3、如何变为真正有价值的威胁情报等。


技术实现要素：

6.为了解决上述技术问题，本发明提供了一种基于集中管控的威胁情报的评估方法，采用加权平均值wm（weighted mean）来计算威胁分数，获得威胁得分，基于威胁得分，能够得到威胁的影响级别和威胁的影响范围。
7.一种基于集中管控的威胁情报的评估方法，其特征在于，所述方法，包括如下步骤：（1）来源识别；
（2）启发式识别；（3）值定义；（4）分数计算；（5）训练；（6）引擎校准；（7）最终测试；所述来源识别，搜索并识别所有可能的信息来源，包括安全日志、数据库、报表数据、osint数据源、ioc；所述启发式识别，从输入来源的数据中获取不同的特征，该特征包括启发式，该启发式包括cve、源ip、目的ip、源端口、目的端口、操作系统、时间，这些特征提供有关在威胁分析和分类过程中有用的关键基础设施的相关信息，该相关信息包括漏洞、事件、故障、错误；所述阈值定义，对于每个启发式，根据与实例相关联的特征定义最小和最大可能值；所述分数计算，采用计算公式得出威胁得分，结果值将指示来自osint源数据和受监控关键基础设施的安全信息的优先级；所述训练，在训练过程中需要进行一组初步测试，以评估引擎的性能，这些测试包括真实数据，用于分析针对每个启发式和针对整个事件的单独和全局获得的分数，这有助于分析误报率和漏报率；所述引擎校准，为了最小化偏差，减少误报和漏报的数量，基于分析所获得的结果、添加其它启发式和/或修改当前属性的赋值来校准引擎；所述最终测试，一旦引擎校准，就可以重复以前的测试或添加新的测试，以评估工具的性能；所述计算公式，定义为所有单个启发值乘以其相应权重因子的总和，后者考虑多个准则，然后，总和会影响到完备性参数，其威胁得分计算公式如下所示：威胁得分=其中：=；=基于评估期间从ioc获得的信息，分配给给定启发式特征的值；=加权准则。
8.进一步地，所述威胁得分，其得分的高低表示受影响的节点的威胁级别的高低，这有助于安全分析师确定安全措施的优先级。
9.本发明的技术效果在于：在本发明中，提供了一种基于集中管控的威胁情报的评估方法，其特征在于，所述方法，包括如下步骤：（1）来源识别；（2）启发式识别；（3）值定义；（4）分数计算；（5）训练；（6）引擎校准；（7）最终测试；所述来源识别，搜索并识别所有可能的信息来源，包括安全日志、数据库、报表数据、osint数据源、ioc；所述启发式识别，从输入来源的数据中获取不同的特征，该特征包括启发式，该启发式包括cve、源ip、目的ip、源端口、目的端口、操作系统、时
间，这些特征提供有关在威胁分析和分类过程中有用的关键基础设施的相关信息，该相关信息包括漏洞、事件、故障、错误；所述阈值定义，对于每个启发式，根据与实例相关联的特征定义最小和最大可能值；所述分数计算，根据计算公式得出威胁得分。通过本发明，能够提供威胁情报的影响级别和威胁情报的影响范围，实现积极的安全防御措施。
附图说明
10.图1是一种基于集中管控的威胁情报的评估方法的总体架构的示意图；图2是一种基于集中管控的威胁情报的评估方法的示意图；图3是一种基于集中管控的威胁情报的评估方法的启发式特征示意图；图4是一种基于集中管控的威胁情报的评估方法的与漏洞ioc相关的特征、属性和分数的示意图；图5是一种基于集中管控的威胁情报的评估方法的通用脆弱性评分系统cvss v3评级示意图；图6是一种基于集中管控的威胁情报的评估方法的单个威胁得分示例的示意图；图7是一种基于集中管控的威胁情报的评估方法的加权准则值的示意图；图8是一种基于集中管控的威胁情报的评估方法的可视化的示意图。
具体实施方式
11.下面是根据附图和实例对本发明的进一步详细说明：一种基于集中管控的威胁情报数据关联分析系统，采集来自不同osint的提要提供的安全事件（即ioc）以及关键基础设施的数据。对ioc进行处理和分析，从而产生具有更丰富信息的ioc（即cioc，被称之为复合ioc，或enr
‑
ioc，被称之为增强ioc）。进一步地，将这些复合ioc与从关键基础设施采集的信息（例如，使用的ip地址、开放端口、使用的协议等）相关联，这些信息通常出现在安全设备（例如，ids、防火墙、ips）生成的日志中。cioc和关键基础设施数据都会进行对比，以确定是否匹配。如果匹配，则表示cioc携带企业it关键基础设施设备的潜在威胁数据。例如，一个cioc指示存在一个影响windows 10计算机的新漏洞，并且在关键基础设施中检测到运行windows 10一个活动设备。
12.所述集中管控，将威胁情报用于企业的it关键基础设施范围内的入侵和威胁检测中。
13.所述ioc，是一些取证数据，例如在系统日志条目或文件中发现的数据，这些数据可识别系统或网络上的潜在恶意活动，可用于检测数据泄露、恶意软件感染或其他威胁活动。
14.所述cioc，被称之为复合ioc，是有关同一威胁的osint数据的聚合、相互关系和标准化的结果，这些数据从不同源的提要中检索，可以用不同的格式表示。
15.进一步地，增强ioc，简称为enr
‑
ioc（enriched indicator of compromise），单个enr
‑
ioc详细描述了恶意威胁的特征，或提供了与特定攻击/威胁相关的特定主题的有用信息，为cioc的增强版本，在cioc与受监控基础设施相关的静态和实时信息关联后获得。
16.进一步地，简化ioc，简称为rioc（reduced indicator of compromise），是相应的充实指标的简化版本。enr
‑
ioc可能包含大量的信息，不值得可视化，但对于未来的分析和
关联任务仍然有用。因此，只有rioc（从受监控的基础设施的角度来看，只有最相关的信息）才会发送到仪表盘，而enr
‑
ioc将存储在本地，或与第三方的外部实体共享。
17.图1是一种基于集中管控的威胁情报数据关联分析系统的总体架构的示意图。本技术利用外部的osint数据和企业的it关键基础设施（如防火墙、ids、ips）提供的数据，这些数据相互关联以形成enr
‑
ioc。这些丰富的信息可以通过防御机制加以整合，以防止对企业的网络攻击，从而打击网络犯罪。此外，它可以可视化和图形化，以便更好地理解和分析其相互联系和相关数据。它包含三个主要模块，即：（i）输入模块，包括来自不同的osint源的ioc生成器，以及聚合威胁相关数据的关键基础设施工具和设备；（ii）分析模块，负责部署启发式分析模块以关联采集内部数据和外部数据；（iii）输出模块，其中包含工具仪表盘，用于可视化生成的丰富信息及其连接，允许将丰富数据导出到此类平台来展示。
18.所述输入模块，采集不同的osint源数据的提要提供的安全事件（即ioc）以及关键基础设施数据，对ioc进行预处理，从而产生具有更多信息的cioc（即：复合ioc）。
19.所述分析模块，接收这些复合ioc，并将其与从关键基础设施采集的信息（例如，使用的ip地址、开放端口、正在使用的协议等）相关联，这些信息通常存在于从安全设备（例如，ids、防火墙）生成的日志中。cioc和关键基础设施数据都进行了对比，以确定是否存在匹配。在这种情况下，启发式模块将增加匹配cioc的威胁得分，这表明cioc为政府和企业部门设备携带潜在威胁数据。例如，如果cioc表示影响windows 10计算机的新漏洞，并且在运行windows 10的目标关键基础设施中检测到至少一个活动设备，则此特定cioc的威胁得分会增加。对这些数据应用启发式分析，得到的ioc可以进一步转换为增强ioc（即：enr
‑
ioc），提供更多关于企业可以将输入信息视为真正的智能的见解。
20.所述输出模块，可以使用enr
‑
ioc或其简化版本（即：rioc）进行共享和可视化。
21.图2是一种基于集中管控的威胁情报的评估方法的示意图，其特征在于，由图1中的启发式模块的启发式引擎负责计算威胁得分，所述方法，还包括该如下步骤：1、来源识别；2、启发式识别；3、阈值定义；4、分数计算；5、训练；6、引擎校准；7、最终测试。
22.所述来源识别，搜索并识别所有可能的信息来源，包括安全日志、数据库、报表数据、osint数据源、ioc；所述启发式识别，从输入来源的数据中获取不同的特征，该特征包括启发式，该启发式包括cve、源ip、目的ip、源端口、目的端口、时间，这些特征提供有关在威胁分析和分类过程中有用的关键基础设施的相关信息，该相关信息包括漏洞、事件、故障、错误；所述阈值定义，对于每个启发式，根据与实例相关联的特征定义最小和最大可能值，例如，本技术检查了输入来源数据中是否包含已检测到的威胁的cve，分配一个阈值（例如，0
–
5）来覆盖所有可能的结果；所述分数计算，基于计算公式得出威胁得分，结果值将指示来自osint源数据和受监控关键基础设施的安全信息的优先级。
23.所述训练，在训练过程中需要进行一组初步测试，以评估引擎的性能，这些测试包括真实数据，用于分析针对每个启发式和针对整个事件的单独和全局获得的分数，这有助于分析误报率和漏报率；所述引擎校准，为了最小化偏差，减少误报和漏报的数量，基于分析所获得的结
果、添加其它启发式和/或修改当前属性的赋值来校准引擎；所述最终测试，一旦引擎校准，就可以重复以前的测试或添加新的测试，以评估工具的性能。
24.进一步地，所述威胁得分，定义为所有单个启发值（）乘以其相应权重因子（）的总和，后者考虑多个准则，然后，总和会影响到完备性参数（），其威胁得分计算公式如下所示：威胁得分=其中：=完备性准则：；=基于评估期间从ioc获得的信息，分配给给定启发式特征的值；=加权准则。
25.由此可知，威胁得分ts范围从0到5（0≤ts≤5），
푇푆
值越高，ioc就越可靠。
26.威胁情报的影响级别/或威胁级别的分类如下：1、ts值介于0和1（0≤ts≤1）之间的
푇푆
表示优先级非常低，其影响级别为“非常低”；2、ts值介于1和2（1≤ts≤2）之间的
푇푆
表示优先级较低，其影响级别为“较低”；3、ts值介于2和3（2≤ts≤3）之间的
푇푆
表示优先级中等，其影响级别为“中等”；4、ts值介于3到4（3≤ts≤4）之间的
푇푆
表示高优先级，其影响级别为“较高”；5、ts值介于4到5（4≤ts≤5）之间的
푇푆
表示非常高的优先级，其影响级别为“非常高”。
27.进一步地，所述启发式识别，考虑了stix标准定义的域对象sdo（stix domain object），包括攻击模式、身份、指标、恶意软件、工具、漏洞，但分析不仅限于sdo，因为旨在通过其它关键基础设施、位置、报告、威胁参与者来丰富目标系统上潜在威胁的有用信息。
28.所述攻击模式，战术、技术和/或程序的类型，描述威胁行为者试图破坏目标的方式；所述身份，可能参与安全事件的个人、组织或团体及其类别；所述指标，包含用于检测可疑或恶意网络活动的模式；所述恶意软件，用于危害受害者数据或系统的机密性、完整性或可用性的恶意代码或软件；所述工具，合法的软件，可以被威胁者用来执行攻击；所述漏洞，软件中的错误，可被黑客直接用来访问系统或网络。
29.图3是一种基于集中管控的威胁情报的评估方法的启发式特征示意图，提供了表示对象特定属性的特征示例，可以从stix文档的属性表中获得。
30.图4是一种基于集中管控的威胁情报的评估方法的与漏洞ioc相关的特征、属性和分数的示意图，总结了所有可能的特征、属性和可从漏洞的ioc获得的分数，每个特征的属性都与预定义的分数相关联，是基于专家知识和对多个ioc执行的分析而静态分配的，以确定每个属性中可能包含的值。例如，操作系统特征（operating_system）显示以下属性：windows、ios/linux、others和unknown（如果没有信息）。
31.由于windows是每种设备类型（即台式机/笔记本电脑）市场份额最高的操作系统，占全球市场份额的70%以上，因此攻击面较高，因此该操作系统的得分为5分，攻击面较低的ios和linux的得分为3分，其他操作系统的得分为已分配2分，未知操作系统的得分为1分。
32.考虑到待评估的特征之一是存在输入数据中标识的常见漏洞暴露（cve），引擎将检查输入数据中是否出现“cve”一词，以便检索完整的cve编号（即cve
‑
aaaa
‑
nnnn）。
33.图5是一种基于集中管控的威胁情报的评估方法的通用脆弱性评分系统cvss v3评级示意图，如果发现cve，引擎将检查其相关的公共漏洞评分系统（cvss）。更具体地说，该引擎将搜索其相关的基本分数，该分数考虑访问向量、访问复杂性、身份验证以及基于可用性、机密性和完整性的影响相关信息。根据cvss得分，漏洞被标记为无（none）、低（low）、中（med）、高（high）或严重（critical）。
34.图6是一种基于集中管控的威胁情报的评估方法的单个威胁得分示例的示意图，根据定义的阈值（例如，从1到5）为每个评估的特征分配一个单独的分数，该阈值将指示特征对事件的影响程度。定义变量“score_cve”，它将根据图6中描述的条件计算分配给输入数据中存在cve的单个得分值。
35.其他特性（例如，源ip、目的ip、创建和有效性时间等）可在分配过程中使用较高或较低的值。然后在训练和校准过程中调整这些单独的值，以便最终的威胁分数减少误报和漏报的数量。
36.ts函数的第二部分对应于加权准则（），威胁情报指的是必须满足三个特定准则的特定信息：（i）对于接收信息的实体来说，它必须是相关的；（ii）可操作的；（iii）从商业角度来看，是有价值的。
ꢀ“
可操作信息”的概念从企业的角度定义为可立即用于特定战略决策的信息。为了“可操作的”，信息必须符合以下标准：关联：它必须对特定接收者的资产有一些影响，例如网络、软件和硬件。也就是说，当威胁可能影响受监控的关键基础设施时，ioc通常被认为是相关的。为了确定相关性，考虑到来自许多内部来源的实时信息（如ioc），确定针对您的资产/系统的威胁类型至关重要，因为它们能够提供有关当前内部监控操作的动态和连续信息，以及关键基础设施的全局视图状态。
37.图7是一种基于集中管控的威胁情报的评估方法的加权准则值的示意图，该准则为评估与给定属性相关联的信息是否有助于识别威胁。
38.时效性：当威胁情报允许检测攻击者的活动时，尤其是在同一次入侵期间，它更可靠，以监视其在时间上的演变。此外，由于某些威胁特征的动态性，考虑到其中一些是在最初的入侵后几个月发现和分析的，因此有关几个小时以前的事件的信息在大多数情况下是不相关和不可采取行动的。
39.在本技术的分析中，此准则评估检测到的事件是否与已检测到的事件相关、是否由关键基础设施或基于osint的数据相关，以及此类事件是否涉及相同的威胁，但入侵程度不同，提供了新的或更新的信息。时效性的计算如图7所示。
40.准确度：接收端应该能够尽快处理接收到的数据。它主要取决于三个因素，即对从中检索数据的源的信心、对这些源的信任级别（这反过来又取决于误报/漏报率等因素）和接收器的本地动态上下文。后者至关重要，以避免在处理事件响应时出现不准确的结果和努力。
41.在本技术的分析中，将来自基于osint的信息与来自关键基础设施的信息进行比较，如果存在一个或多个属性的匹配，则将计算得分，如图7所示。
42.品种：检测和预防不应依赖于单一的技术或工具。使用系统、工具（如ids、ips和防火墙）和源（如osint）的组合是至关重要的，尤其是当它们能够在不同级别的入侵（杀伤链阶段）检测到威胁时。
43.在本技术的分析中，该准则评估信息来源或检测来源，例如关键基础设施、基于osint的数据，算如图7所示。
44.可摄取性：接收到的信息必须易于接收到内部数据管理系统中，以便在进一步的处理和分析阶段使用。这是可以实现的使用特定的准则来表示这些数据，允许处理所接收数据尽可能快，也有助于安全分析师，以及通过使用特定的传输协议来共享相关的情报。
45.在本技术的分析中，没有考虑可摄取性，因为本技术假设所有接收到的数据都是以结构化的方式表示的，并且使用特定的标准格式在系统中进行处理。数据采集将由集中管控实例直接处理。在接收非结构化信息的情况下，该标准是有意义的，但威胁情报共享平台不考虑这种情况。分析将侧重于其他标准，并有可能在今后增加新的标准。
46.完整性：威胁情报应向最终接受者提供有价值和完整的信息，并从当地网络环境的角度进行评估。有时，当单独考虑时，数据源是不完整的，但一旦将其提供的数据与目的地可用的或从其他外部数据源接收的其他内部数据合并或处理，它们就可以采取行动或可操作。
47.在本技术的分析中，这个准则是用来作为一个整体评估的启发式，而不是单个得分评价的属性。每个启发式由一个或多个属性组成（例如，cve由六个属性组成：no_cve，(ii) cvss_none，(iii) cvss_low,，(iv)cvss_medium，(v) cvss_high， (vi) cvss_critical。完整性是指属性总数中非空值的属性数，如下式所示。
48.=为了执行启发式分析，必须为每个特征分配一个值（）（例如，从1到5）。这些值与图4中检测到的属性和分数相对应，并基于专家知识。它们符合准则在确定受监测的关键基础设施中可能存在的威胁、故障或异常方面的有用性。
49.此外，每个特征都受到一个由四个准则组成的权重因子（）的影响：相关性（r）、准确性（a）、及时性（t）和多样性（v）。权重因子准则基于专家知识进行评估，专家知识将值确定为与给定特征相关的总点数与所有特征的总点数之比。
50.请注意，建议的威胁分数是基于公式，其定义考虑了从stix域对象接（sdo）收到的信息中获取的一组启发式特征以及那些与关键基础设施对比的信息。
51.属性和分数是根据专家知识和统计分析来分配的。此外，尽管权重因子标准遵循enisa提出的可操作信息方法，但图7中列出的类别和分数已被仔细定义，用于本技术的实施。值得注意的是，本技术的方法可以通过其他启发式、新属性和权重因子评估中的附加准则进行扩展，这些新属性和准则可以包含有意义的值，以便根据收到的关于影响受监控的关键基础设施的威胁和恶意事件的数据计算威胁分数。
52.在一个实施例中，来自关键基础设施数据采集模块的事件简单地存储在内部，稍后在威胁分数评估的启发式分析期间使用。相反，来自osint源数据采集模块的其它事件会
触发一个基于异步消息传输的内置自动实时共享机制，允许启发式模块以stix格式接收它们，并开始与存储的关键基础设i施数据进行关联。一旦计算出威胁分数，就会生成eioc，丰富集中管控数据库中存储的cioc，并将威胁分数添加为新的集中管控属性。
53.因此，启发式模块接收有关mysql漏洞的cioc，将其与从关键基础设施网络接收的数据相结合，并评估结果，获得eioc和威胁得分。
54.通过对比cioc的信息和图4中列出的功能列表，发现报告的安全事件：1、影响debian os和mysql；2、最初是从osint报告的；3、没有来自与mysql应用程序相关的受监控的关键基础设施的告警；4、创建并最后修改于2021年4月30日；5、有效期为一年；6、存在来自通用攻击模式枚举和分类（common attack pattern enumeration and classification capec6）和通用漏洞和暴露（common vulnerabilities and exposures cve7）的外部引用。
55.在一个实施例中，企业的关键基础设施的设备清单如下：图4所述的漏洞ioc的特征、属性和分数的一个实例如下：
上表总结了远程程序执行中与cioc相关的评估结果。每个特征都分配了一个启发式值，例如，根据事件的描述，受影响的操作系统是debian，因此=3对于此特征，cve有一个中等cvs，因此=3对于此特征；的值在ratv评估后计算（如图7所示）。本例的总ratv值为119，操作系统特征从中计算出17个点，因此=17/119=0.1429。对每个特征重复该过程；根据威胁得分计算公式，并使用图9中给出的分数值，计算mysql漏洞的威胁分数为：==3.72因为，威胁得分为3.72，其影响级别为“较高”，由图8可知，其影响范围为mysql应用。
56.图8是一种基于集中管控的威胁情报的评估方法的可视化的示意图，描绘了在与受影响节点相关的可视化数据。本技术提供的可视化数据与网络拓扑、属于关键基础设施的资产以及与每个资产相关的安全数据（例如告警、漏洞、威胁评分数据）有关。
57.图8的左半部分显示了受影响的节点（即集中管控服务器），带有两个相关的告警，都具有低严重性（圆）和四个简化ioc；以及关于节点的更多细节，例如节点类型、ip地址、操作系统。图8的右部分提供了告警（圆）和rioc（方框）中包含的信息。这些详细信息是通过单击节点顶部的图形表示来获取的。
58.如图8所示，针对接收到的cve
‑
2019
‑
2834漏洞生成了一个简化ioc（rioc），其中包含在上面介绍的信息（即cve、描述和受影响的关键基础设施）。威胁得分为3.72分表示与已识别的cve id相关的漏洞严重性，这有助于安全分析师确定安全措施的优先级。
59.本技术的方法的优势，在优先处理从外部来源（如osint）收到的威胁信息方面带来的好处。评估以复合ioc形式从osint源数据采集模块接收到的信息的相关性、准确性和其它特性。对于威胁评分评估，将同时考虑：通过安全系统和工具（如安全管理、ids）来自关
键基础设施的数据，以及通过网络公开威胁情报和公共提要获得的cioc。生成的威胁分数将插入与分析的cioc相关的信息中。威胁得分值越高，事件响应团队和安全分析师处理相关事件时的优先级就越高。
60.以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。