模型的优化方法、告警事件的检测方法、装置和设备与流程

1.本发明涉及模型参数处理领域，尤其涉及一种模型的优化方法、告警事件的检测方法、装置、设备及存储介质。


背景技术：

2.在现有的保障内部网络安全的方法中，往往通过配置基于入侵特征的规则的形式，对网络攻击行为进行识别。
3.但当前恶意软件、恶意域名每日新增的数量非常大，类型众多，若逐一编写防御规则，则需要花费大量人力和时间，且规则库更新不及时，往往难以对新增的威胁产生防御。
4.又由于规则库更新老化不及时或规则过于严格，不乏许多告警为误告警。针对海量告警，难以进行有效排查。且花费大量时间进行排查后，日志告警内容未能形成有效规则，或因间隔时间较长，许多威胁信息已失效。因此针对企业自身业务场景，安全设备告警日志产生的价值在后续很难得到有效利用。
5.所以，现有的保障内部网络安全的方法，存在无法及时有效对网络攻击进行识别的问题。


技术实现要素：

6.本发明实施例提供一种模型的优化方法、告警事件的检测方法、装置、设备及存储介质，解决了现有方法中无法准确及时对网络攻击进行识别的问题，实现准确快速识别网络攻击。
7.第一方面，提供了一种模型的优化方法，该方法包括：
8.从设备运行数据中提取第一特征信息；
9.根据第一事件和设备运行数据中包括的第一特征信息，确定初始模型；根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型。
10.在第一方面的一些实现方式中，根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型，包括：
11.根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，确定第三事件；
12.根据第三事件，调整初始模型的参数，得到优化后的模型。
13.在第一方面的一些实现方式中，根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，确定第三事件，包括：
14.当第二事件中包括的第二特征信息与设备运行数据中包括的第三特征信息匹配时，根据第二特征信息与第三特征信息确定第三事件。
15.在第一方面的一些实现方式中，在从设备运行数据中提取第一特征信息之前，包括：
16.将设备运行数据的格式转化为符合初始模型的格式；
17.根据符合初始模型的格式的设备运行数据中包括的信誉参数、老化参数、关联参数中的至少一种参数，生成特征信息。
18.在第一方面的一些实现方式中，根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型，包括：
19.根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，通过启发式算法，调整初始模型的权重参数，得到优化后的模型。
20.第二方面，提供了一种告警事件的检测方法，方法包括：
21.获取设备运行数据中包括的特征信息；
22.将特征信息输入优化后的模型中，输出参数值，其中，优化后的模型基于第一方面，以及第一方面的一些实现方式中模型的优化方法得到；
23.根据参数值和预设阈值，确定事件性质，其中事件性质包括感染事件或非感染事件。
24.第三方面，提供了一种模型的优化装置，装置包括：
25.获取模块，用于从设备运行数据中提取第一特征信息；
26.处理模块，用于根据第一事件和设备运行数据中包括的第一特征信息，确定初始模型；
27.处理模块，还用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型。
28.在第三方面的一些实现方式中，处理模块，还用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，确定第三事件；根据第三事件，调整初始模型的参数，得到优化后的模型。
29.在第三方面的一些实现方式中，处理模块，还用于当第二事件中包括的第二特征信息与设备运行数据中包括的第三特征信息匹配时，根据第二特征信息与第三特征信息确定第三事件。
30.在第三方面的一些实现方式中，处理模块，还用于在从设备运行数据中提取第一特征信息之前，将设备运行数据的格式转化为符合初始模型的格式；根据符合初始模型的格式的设备运行数据中包括的信誉参数、老化参数、关联参数中的至少一种参数，生成特征信息。
31.在第三方面的一些实现方式中，处理模块，还用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，通过启发式算法，调整初始模型的权重参数，得到优化后的模型。
32.第四方面，提供了一种告警事件的检测装置，装置包括：
33.获取模块，用于获取设备运行数据中包括的特征信息；
34.处理模块，用于将特征信息输入优化后的模型中，输出参数值，其中，优化后的模型基于第一方面，以及第一方面的一些实现方式中模型的优化方法得到；
35.处理模块，还用于根据参数值和预设阈值，确定事件性质，其中事件性质包括感染事件或非感染事件。
36.第五方面，提供了一种告警事件的检测设备，设备包括：处理器以及存储有计算机
程序指令的存储器；
37.处理器执行计算机程序指令时实现第一方面，以及第一方面的一些实现方式中模型的优化方法，或者，实现第二方面中告警事件的检测方法。
38.第六方面，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面，以及第一方面的一些实现方式中模型的优化方法，或者，实现第二方面中告警事件的检测方法。
39.本发明实施例提供一种模型的优化方法、告警事件的检测方法、装置、设备及存储介质，通过对用户的入侵检测系统、入侵防御系统或防火墙等设备运行数据(日志)进行收集，并根据第一事件和第二事件中包括的特征信息，辅助安全设备对威胁进行研判，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成新情报更新威胁情报库，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
附图说明
40.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明实施例提供的一种模型的优化方法的流程示意图；
42.图2是本发明实施例提供的一种优化后的模型的示意图；
43.图3是本发明实施例提供的一种告警事件的检测方法的流程示意图；
44.图4是本发明实施例提供的另一种告警事件的检测方法的流程示意图；
45.图5是本发明实施例提供的一种模型的优化装置的结构示意图；
46.图6是本发明实施例提供的一种告警事件的检测装置的结构示意图；
47.图7是本发明实施例提供的一种计算设备的示例性硬件架构的结构图。
具体实施方式
48.下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
49.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
50.网络攻击事件频发，影响范围越来越广，而且网络攻击技术不断提高，更具威胁的零日攻击(zero-day attack)、高级持续性威胁攻击等攻击手段层出不穷。其中，零日攻击
是指利用还没有补丁的安全漏洞，即，零日漏洞进行的攻击。传统的基于规则匹配的静态安全防护措施，例如防火墙、入侵检测系统(intrusion detection systems，ids)很难对这些攻击进行有效识别与拦截。
51.威胁情报是近来新兴的一种有效防御威胁的方法，但是威胁情报的生产和应用，往往与特定的业务场景有关。由于网络安全设备业务场景较多、网络接入方式多样、设备种类复杂的特点，其在管理和技术上都存在许多安全风险及挑战，在入侵防御过程中暴露了许多问题。传统用以保障内部网络安全的网络安全设备，如防火墙、网站应用级入侵防御系统(web application firewall，waf)、ids等，多通过配置基于入侵特征的规则的形式，对网络攻击行为进行识别。因此对安全人员的安全分析能力和应急响应能力提出了较高要求，主要包括以下两方面：
52.第一方面，需要根据当前最新威胁信息、漏洞信息等，编写和维护规则库。而当前恶意软件、恶意域名每日新增的数量非常大，类型众多，若需要逐一编写防御规则，则需要花费大量人力和时间。且规则库更新不及时，往往难以对新增的威胁产生防御。
53.第二方面，由于安全设备规则库中规则数目庞大，业务中命中规则而产生的告警日志量也非常庞大。因为规则库更新老化不及时或规则过于严格，其中不乏许多告警为误告警。针对海量告警，难以进行有效排查，且花费大量时间进行排查后，日志告警内容未能形成有效规则，也可能因间隔时间较长，许多威胁信息已失效。因而针对企业自身业务场景，安全设备告警日志产生的价值在后续未能得到有效利用。
54.因此，上述技术方案中存在无法及时有效对网络攻击进行识别的问题。
55.为解决上述技术方案中存在的无法及时有效对网络攻击进行识别的问题，因此，本发明实施例提供了一种模型的优化方法、告警事件的检测方法、装置、设备和存储介质，通过对用户的入侵检测系统、入侵防御系统或防火墙等安全设备的设备运行数据(日志)进行收集，将情报作为规则，辅助安全设备对威胁进行研判，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成情报，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
56.下面结合附图对本发明实施例提供的技术方案进行描述。
57.图1是本发明实施例提供的一种模型的优化方法的流程示意图。如图1所示，该方法的执行主体是终端设备，该模型的优化方法可以包括：
58.s101：从设备运行数据中提取第一特征信息。
59.其中，设备运行数据可以包括入侵检测系统、入侵防御系统或防火墙等安全设备的运行数据(日志)。第一特征信息可以如表1所示，可以包括受控ip(控制的被控ip)、攻击源ip(控制ip)、ip受攻击的多个不同源ip的个数(控制的ip数)、当日源ip总个数(病毒类型数)等。
60.表1
[0061][0062]
[0063]
s102：根据第一事件和设备运行数据中包括的第一特征信息，确定初始模型。
[0064]
其中，第一事件可以包括已有感染案例。
[0065]
具体的，可以利用已有感染案例，基于设备运行数据中包括的第一特征信息，实现感染流程的初步推理，确定初始模型，此时仅涉及证据节点，权值还未确定。
[0066]
s103：根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型。
[0067]
具体的，可以根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，当第二事件中包括的第二特征信息与设备运行数据中包括的第三特征信息匹配时，根据第二特征信息与第三特征信息确定第三事件。
[0068]
根据第三事件，调整初始模型的参数，得到优化后的模型。图2是本发明实施例提供的一种优化后的模型的示意图，如图2所示，优化后的模型可以是一种逻辑图谱，可以通过确定的各证据节点以及证据节点之间确定的权重，对安全设备的设备运行数据，即，安全设备的日志进行检测，判断告警事件。
[0069]
其中，第二事件中包括的第二特征信息可以包括威胁情报中有关远控、僵尸网络、万维网(web)攻击等具有威胁的网际互连协议(internet protocol，ip)。第三特征信息可以包括设备运行数据，即，日志中的攻击源ip。
[0070]
图1中模型的优化方法可以根据已有感染案例以及威胁情报对模型进行优化，可以实现根据现有的感染及威胁数据及时有效的对网络攻击进行识别。
[0071]
可选的，在一个实施例中，可以将威胁情报中有关远控、僵尸网络、web攻击等具有威胁的ip作为ip黑名单，该ip黑名单可以在初始模型中作为证据节点。
[0072]
可选的，在一个实施例中，ip黑名单中包括的ip可以作为告警记录中的强证据，当ip黑名单中包括的ip作为日志中的攻击源ip出现时，则确定关联匹配成功，可以将设备运行数据中记录的跟该确定关联匹配成功的ip相关联的事件作为可信告警事件，即，作为第三事件。
[0073]
可选的，在一个实施例中，可以根据第三事件，通过粒子群等启发式优化算法，对初始模型的权重进行训练调优，获得最优权重，得到优化后的模型。
[0074]
可选的，在一个实施例中，在从设备运行数据中提取第一特征信息之前，还可以将设备运行数据的格式转化为符合初始模型的格式。并根据符合初始模型的格式的设备运行数据中包括的信誉参数、老化参数、关联参数中的至少一种参数，生成特征信息。
[0075]
可选的，在一个实施例中，可以将已确认的设备运行数据，即，安全设备告警日志，转换成当前自有情报平台可识别的情报格式。再基于安全设备告警日志收集特征信息(情报)，并将收集的情报，输入情报汇聚系统，将不同来源的情报汇聚为统一的情报资源，并将情报规范化。收集的特征信息可以如表2所示。
[0076]
表2
[0077][0078]
具体的，可以将不同来源的情报进行情报归一化聚合分析，用以统一数据格式，并后续写入数据库中。也可以对不同来源的情报进行信誉分析统计，根据不同来源、威胁类型、数据源等计算威胁分数并后续存储在数据库中，该威胁分数可以用于指导安全设备对情报的使用。还可以对历史的情报数据进行老化分析，并存储在数据库中。还可以对数据库中存在的数据提取关联数据，以优化数据存储结构。
[0079]
可选的，在一个实施例中，情报的存储可以参考stix威胁情报标准构建一种具有高度可扩展性的面向威胁情报的数据库存储格式，并可以实现统计、分析、运营等功能。
[0080]
可选的，在一个实施例中，情报的输出可以以表述性状态传递(representational state transfer，rest)接口的形式为用户提供服务，将用户的查询转换为相应的情报机读格式，该情报也可以用于形成安全设备告警日志分析中的证据节点。
[0081]
本发明实施例提供的模型的优化方法，可以通过对用户的入侵检测系统、入侵防御系统或防火墙等安全设备的设备运行数据(日志)进行收集，将情报作为规则，辅助安全设备对威胁进行研判，从而提取运行数据中的字段形成情报，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成新情报更新威胁情报库，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
[0082]
图3是本发明实施例提供的一种告警事件的检测方法的流程示意图。如图3所示，告警事件的检测方法可以包括：
[0083]
s301：获取设备运行数据中包括的特征信息。
[0084]
s302：将特征信息输入优化后的模型中，输出参数值。
[0085]
其中，优化后的模型可以基于图1中模型的优化方法得到。
[0086]
具体的，可以使用特性函数分别计算网络中各层的输出。如图2中优化后的模型，
即，优化后的逻辑图谱所示，在计算的过程中，前一层的输出可以作为后一层有关节点的输入，逐层进行计算，直至计算出输出层的参数值。
[0087]
s303：根据参数值和预设阈值，确定事件性质，其中事件性质包括感染事件或非感染事件。
[0088]
具体的，可以使用预设阈值对输出层的输出进行判定，从而得到输出结果，预设阈值可以是一种能够根据需求调节的阈值函数。当输出的参数值不小于预设阈值时，可以认为存在感染事件，当输出的参数值小于预设阈值时，可以认为为非感染事件。
[0089]
图4是本发明实施例提供的另一种告警事件的检测方法的流程示意图。如图4所示，告警事件的检测方法可以包括：从安全设备告警日志中获取特征信息，并结合威胁情报库中存储的威胁情报和规则，对安全设备进行告警，然后提取该告警记录，对该告警记录进行聚合分析，生成有效特征数据，再结合逻辑图谱，对告警记录进行筛查。然后基于分析结果，提取有效真实告警，将真实告警内容转换成标准情报格式，然后将安全设备告警产生的情报导入威胁情报库，以根据更新后的威胁情报库对以后的安全设备告警日志进行识别。
[0090]
其中，告警事件的检测方法的数据层可以包括401安全设备告警日志与409威胁情报库，用于特征信息及威胁情报和规则的获取；基于情报的安全设备告警日志分析模块可以执行s402结合规则、威胁情报，对安全设备进行告警与s403提取告警记录与s404对告警记录进行聚合分析，生成有效特征与s405结合逻辑图谱，对告警记录进行筛查，用于对安全设备告警日志进行分析；基于安全设备告警日志的情报生产模块可以执行s406基于分析结果，提取有效真实告警与s407将真实告警内容转换成标准情报格式与s408安全设备告警产生的情报入情报库，用于根据安全设备告警日志生产情报。
[0091]
本发明实施例提供的告警事件的检测方法，可以通过对用户的入侵检测系统、入侵防御系统或防火墙等安全设备的设备运行数据(日志)进行收集，将情报作为规则，辅助安全设备对威胁进行研判，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成新情报更新威胁情报库，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
[0092]
与模型的优化方法的实施例相对应，本发明实施例还提供了一种模型的优化装置。
[0093]
如图5所示，图5是本发明实施例提供的一种模型的优化装置的结构示意图。
[0094]
模型的优化装置可以包括：获取模块501和处理模块502，其中，
[0095]
获取模块501，可以用于从设备运行数据中提取第一特征信息。
[0096]
处理模块502，可以用于根据第一事件和设备运行数据中包括的第一特征信息，确定初始模型。
[0097]
处理模块502，还可以用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，调整初始模型的参数，得到优化后的模型。
[0098]
处理模块502，还可以用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，确定第三事件；根据第三事件，调整初始模型的参数，得到优化后的模型。
[0099]
处理模块502，还可以用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，确定第三事件；根据第三事件，调整初始模型的参数，得到优化后
的模型。
[0100]
处理模块502，还可以用于当第二事件中包括的第二特征信息与设备运行数据中包括的第三特征信息匹配时，根据第二特征信息与第三特征信息确定第二事件。
[0101]
处理模块502，还可以用于在从设备运行数据中提取第一特征信息之前，将设备运行数据的格式转化为符合初始模型的格式；根据符合初始模型的格式的设备运行数据中包括的信誉参数、老化参数、关联参数中的至少一种参数，生成特征信息。
[0102]
处理模块502，还可以用于根据第二事件中包括的第二特征信息和设备运行数据中包括的第三特征信息，通过启发式算法，调整初始模型的权重参数，得到优化后的模型。
[0103]
本发明实施例提供的模型的优化装置，可以通过对用户的入侵检测系统、入侵防御系统或防火墙等安全设备的设备运行数据(日志)进行收集，将情报作为规则，辅助安全设备对威胁进行研判，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成新情报更新威胁情报库，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
[0104]
与告警事件的检测方法的实施例相对应，本发明实施例还提供了一种告警事件的检测装置。
[0105]
如图6所示，图6是本发明实施例提供的一种告警事件的检测装置的结构示意图。
[0106]
告警事件的检测装置可以包括：获取模块601和处理模块602，其中，获取模块601，可以用于获取设备运行数据中包括的特征信息。
[0107]
处理模块602，可以用于将特征信息输入优化后的模型中，输出参数值，其中，优化后的模型可以根据图1中模型的优化方法得到。
[0108]
处理模块602，还可以用于根据参数值和预设阈值，确定事件性质，其中事件性质包括感染事件或非感染事件。
[0109]
本发明实施例提供的告警事件的检测装置，可以通过对用户的入侵检测系统、入侵防御系统或防火墙等安全设备的设备运行数据(日志)进行收集，将情报作为规则，辅助安全设备对威胁进行研判，实现及时有效对网络攻击进行识别，并提取运行数据中的字段生成新情报更新威胁情报库，解决了现有技术方案中存在无法及时有效对网络攻击进行识别的问题。
[0110]
图7是能够实现根据本发明实施例的模型的优化方法，或，告警事件的检测方法的计算设备的示例性硬件架构的结构图。如图7所示，计算设备700包括输入设备701、输入接口702、中央处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、中央处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与计算设备700的其他组件连接。
[0111]
具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到中央处理器703；中央处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到计算设备700的外部供用户使用。
[0112]
也就是说，图7所示的计算设备也可以被实现为模型的优化设备，或，告警事件的
检测设备，该模型的优化设备，或，告警事件的检测设备可以包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现本发明实施例提供的模型的优化方法，或，告警事件的检测方法。
[0113]
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的模型的优化方法，或，告警事件的检测方法。
[0114]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0115]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0116]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0117]
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。