一种数据关联分析系统及数据关联分析方法与流程

本申请涉及关联分析，具体而言，涉及一种数据关联分析系统及数据关联分析方法。

背景技术：

1、近年来，随着数字化、信息化技术的发展，网络上的攻击手段和技术日益复杂化，基于传统的特征匹配的检测技术无法满足网络安全中威胁检测的需求，能够通过多源数据进行关联处理的数据关联分析技术越来越受到网络安全从业人员的青睐。相关技术中针对网络安全威胁检测场景使用的数据关联分析系统的实现方式一般是基于计算引擎进行代码级开发，然而，这一方式需要大量相关研发人员的介入，开发要求高，而且系统的灵活性不强。

技术实现思路

1、本申请实施例的目的在于提供一种数据关联分析系统及数据关联分析方法，旨在解决相关技术中针对网络安全中威胁检测场景使用的数据关联分析系统的实现方式存在的开发要求高，而且系统的灵活性不强的问题。

2、第一方面，本申请实施例提供的一种数据关联分析系统，所述系统包括模型管理模块、模型调度模块、任务执行模块、算子库模块，其中：所述模型管理模块用于管理根据网络安全日志构建的模型；所述模型是包含预设威胁检测规则的数据流处理逻辑；所述模型调度模块用于根据所述模型包含的算子形成目标任务，并将所述目标任务提交给所述任务执行模块；所述算子是所述模型的图结构中的节点，所述算子包括算子描述和算子程序；所述任务执行模块用于通过执行算子程序以及传递算子之间的数据，执行所述目标任务，以生成网络安全威胁检测结果；所述算子库模块用于向所述模型管理模块提供所述算子描述以及向所述任务执行模块提供所述算子程序。

3、在上述实现过程中，通过对数据关联分析过程进行形式化抽象，设计一种数据关联分析系统，包括模型管理模块、模型调度模块、任务执行模块、算子库模块，该系统应用于网络安全威胁检测中时，算子库模块负责向模型管理模块提供算子描述以及向任务执行模块提供算子程序，模型管理模块负责管理根据网络安全日志构建的模型，模型调度模块负责根据该模型包含的算子形成目标任务并提交给任务执行模块，任务执行模块负责目标任务的最终执行，以生成威胁检测结果。如此，降低了针对网络安全威胁检测场景的系统中数据关联分析的开发要求，提升了数据关联分析的易用性，达到支持动态扩展的目的。

4、进一步地，在一些实施例中，所述模型管理模块提供用户界面，所述模型是在所述用户界面上通过手动编写或者可视化建模的方式创建的。

5、在上述实现过程中，模型管理模块提供用户界面，使得用户可以通过手动编写或者可视化建模的方式创建模型，还使得用户可以对模型进行增删改查等基本管理操作。

6、进一步地，在一些实施例中，所述模型管理模块还用于校验所述模型是否符合语法，以及检查所述模型包含的算子的配置是否正确。

7、在上述实现过程中，用户构建针对网络安全日志的模型后，模型管理模块可以自动化完成校验模型是否符合语法、检查算子配置是否正确等工作，从而保障系统检测工作的正常运行。

8、进一步地，在一些实施例中，所述模型使用指定描述语言进行描述。

9、在上述实现过程中，使用指定描述语言来描述模型，使得模型可以具有特定格式，既实现模型描述的规范化，也便于模型的调度。

10、进一步地，在一些实施例中，所述指定描述语言包括json语言。

11、在上述实现过程中，提供一种用于描述模型的可选语言。

12、进一步地，在一些实施例中，所述算子描述包括算子id、算子端口和算子参数，所述算子参数包括算子类型和算子名称，所述算子类型是所述算子对应的数据处理操作。

13、在上述实现过程中，限定算子描述包括算子id、算子端口和算子参数，通过这一设置，研发人员与数据分析人员角色的责任边界能够明显划分，保证了数据关联分析系统灵活的动态扩展能力。

14、进一步地，在一些实施例中，所述数据处理操作包括：数据读取、数据过滤、字段富化、字段归一化、复杂事件处理、维度统计、特定业务分析。

15、在上述实现过程中，系统所维护的算子既可以完成数据流处理中的数据读取、数据过滤、字段富化、字段归一化等基本处理，也可以完成复杂事件处理、维度统计等高级处理，还可以实现特定业务分析的处理。如此，满足对数据的筛选、分析操作。

16、进一步地，在一些实施例中，所述模型调度模块具体用于：读取所述模型包含的算子，并根据所述算子的算子类型和算子名称获取对应的算子程序包；获取各算子之间的依赖连接关系，根据所述依赖连接关系形成目标任务；将所述算子程序包和依赖包附加在所述目标任务中并提交给所述任务执行模块。

17、在上述实现过程中，提供模型调度模块完成对模型的调度工作的具体方式。

18、进一步地，在一些实施例中，所述模型调度模块还用于：将所述目标任务中多个分支依赖的算子的中间处理结果进行缓存。

19、在上述实现过程中，模型调度模块提供任务的缓存策略，提高运行效率。

20、第二方面，本申请实施例提供的一种数据关联分析方法，所述方法应用于如第一方面任一项所述的数据关联分析系统，所述方法包括：获取网络安全日志；读取所述网络安全日志的数据，并根据所述模型管理模块构

21、建针对所述数据的模型；通过所述模型调度模块根据所述模型包含的算子5形成目标任务，并将所述目标任务提交到所述任务执行模块，以通过所述任务执行模块执行所述目标任务，生成网络安全威胁检测结果。

22、第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述

23、处理器执行所述计算机程序时实现如第二方面任一项所述的方法的步骤。0第四方面，本申请实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第二方面任一项所述的方法。

24、第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第二方面任一项所述的方法。5本申请公开的其他特征和优点将在随后的说明书中阐述，或者，部分

25、特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本申请公开的上述技术即可得知。

26、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

27、

技术特征：

1.一种数据关联分析系统，其特征在于，所述系统包括模型管理模块、模型调度模块、任务执行模块、算子库模块，其中：

2.根据权利要求1所述的系统，其特征在于，所述模型管理模块提供用户界面，所述模型是在所述用户界面上通过手动编写或者可视化建模的方式创建的。

3.根据权利要求1所述的系统，其特征在于，所述模型管理模块还用于校验所述模型是否符合语法，以及检查所述模型包含的算子的配置是否正确。

4.根据权利要求1所述的系统，其特征在于，所述模型使用指定描述语言进行描述。

5.根据权利要求4所述的系统，其特征在于，所述指定描述语言包括json语言。

6.根据权利要求1所述的系统，其特征在于，所述算子描述包括算子id、算子端口和算子参数，所述算子参数包括算子类型和算子名称，所述算子类型是所述算子对应的数据处理操作。

7.根据权利要求6所述的系统，其特征在于，所述数据处理操作包括：数据读取、数据过滤、字段富化、字段归一化、复杂事件处理、维度统计、特定业务分析。

8.根据权利要求6所述的系统，其特征在于，所述模型调度模块具体用于：

9.根据权利要求1所述的系统，其特征在于，所述模型调度模块还用于：将所述目标任务中多个分支依赖的算子的中间处理结果进行缓存。

10.一种数据关联分析方法，其特征在于，所述方法应用于如权利要求1至9任一项所述的数据关联分析系统，所述方法包括：

技术总结
本申请实施例提供一种数据关联分析系统及数据关联分析方法，通过对数据关联分析过程进行形式化抽象，设计一种数据关联分析系统，包括模型管理模块、模型调度模块、任务执行模块、算子库模块，该系统应用于网络安全威胁检测中时，算子库模块负责向模型管理模块提供算子描述以及向任务执行模块提供算子程序，模型管理模块负责管理根据网络安全日志构建的模型，模型调度模块负责根据该模型包含的算子形成目标任务并提交给任务执行模块，任务执行模块负责目标任务的最终执行，以生成威胁检测结果。如此，降低了针对网络安全威胁检测场景的系统中数据关联分析的开发要求，提升了数据关联分析的易用性，达到支持动态扩展的目的。

技术研发人员：鲍青波,魏星,周晓阳
受保护的技术使用者：北京天融信网络安全技术有限公司
技术研发日：
技术公布日：2024/1/13