处理安全数据的系统及方法与流程

本申请涉及数据处理领域，具体而言，涉及一种处理安全数据的系统及方法。

背景技术：

1、相关技术中的管理平台，数据处理能力有限，缺乏有效的架构支撑，对威胁的识别能力有限，缺乏综合分析，导致漏报严重，且不能实时预测，安全场景以被动响应为主，难以对风险进行有效评估与准确预判。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种处理安全数据的系统及方法，以至少解决相关技术中管理平台数据处理能力有限，缺乏有效架构支撑造成的安全问题漏报严重，难以对安全风险进行有效评估的技术问题。

2、根据本申请实施例的一个方面，提供了一种处理安全数据的系统及方法，包括：基于流式计算框架的计算模块，用于按照预定时序接收目标时段内来自多种安全设备的告警日志，基于预设映射规则将告警日志转化为安全告警数据流，并开启多线程对安全告警数据流进行分析得到安全告警分析结果，其中，安全告警分析结果至少用于指示安全设备的网络安全状态；可视化模块，用于接收安全告警分析结果，并展示安全告警分析结果。

3、可选地，计算模块，还用于在目标时段内告警日志的数量大于预设阈值的情况下，启动微批次处理窗口，并根据告警日志的数量确定微批次处理窗口的大小与步长。

4、可选地，计算模块，还用于确定系统对处理告警日志的延时性要求，并根据告警日志的数量与延时性要求确定微批次处理窗口的大小与步长，其中，延时性对应的时长越小，则微批次处理窗口越大，步长越小。

5、可选地，计算模块，还用于根据多种安全设备的告警日志对应的安全告警数据流大小为每条安全告警数据流划分不同的分区算子，其中，不同的分区算子对应的处理资源数量不同，安全告警数据流越大，划分到的分区算子的处理资源数量越多。

6、可选地，系统还包括：存储模块，存储模块包括外置存储模块与内置存储模块，其中，外置存储模块用于缓存计算模块在对告警日志分析过程中应用运行的状态数据，计算模块还用于间隔预定周期读取外置存储模块中存储的数据，并将该数据保存至内置存储模块。

7、可选地，计算模块，还用于将前置多线程计算分析输出的每一条安全告警数据流作为后置线程分析的输入，以用于构建多级规则分析逻辑，其中，前置多线程对应的告警处理数据规则与后置线程对应的告警处理数据规则不同。

8、可选地，系统还包括策略管理模块，用于接收目标对象的操作指令，以用于对处理告警日志的分析规则进行调整。

9、可选地，流式计算框架包括：flink分布式引擎框架。

10、根据本申请实施例的另一方面，还提供了一种处理安全数据的方法，包括：按照预定时序接收目标时段内来自多种安全设备的告警日志，基于预设映射规则将告警日志转化为安全告警数据流；开启多线程对安全告警数据流进行分析，得到安全告警分析结果，其中，安全告警分析结果用于指示安全设备的网络安全状态；展示安全告警分析结果。

11、根据本申请实施例的另一方面，还提供了一种非易失性存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述处理安全数据的方法。

12、根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述处理安全数据的方法。

13、在本申请实施例中，采用基于flink流式计算框架对安全告警日志进行分析的方式，通过基于流式计算框架的计算模块，用于按照预定时序接收目标时段内来自多种安全设备的告警日志，基于预设映射规则将告警日志转化为安全告警数据流，并开启多线程对安全告警数据流进行分析得到安全告警分析结果，其中，安全告警分析结果至少用于指示安全设备的网络安全状态；可视化模块，用于接收安全告警分析结果，并展示安全告警分析结果，达到了赋予安全告警数据的流式实时计算能力，减少安全问题漏报，提高安全风险评估能力，降低安全风险的技术效果，进而解决了相关技术中管理平台数据处理能力有限，缺乏有效架构支撑造成的安全问题漏报严重，难以对安全风险进行有效评估的技术问题。

技术特征：

1.一种处理安全数据的系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述计算模块，还用于在所述目标时段内所述告警日志的数量大于预设阈值的情况下，启动微批次处理窗口，并根据所述告警日志的数量确定微批次处理窗口的大小与步长。

3.根据权利要求2所述的系统，其特征在于，所述计算模块，还用于确定所述系统对处理告警日志的延时性要求，并根据所述告警日志的数量与所述延时性要求确定微批次处理窗口的大小与步长，其中，所述延时性对应的时长越小，则所述微批次处理窗口越大，所述步长越小。

4.根据权利要求1所述的系统，其特征在于，所述计算模块，还用于根据多种安全设备的告警日志对应的安全告警数据流大小为每条安全告警数据流划分不同的分区算子，其中，不同的分区算子对应的处理资源数量不同，所述安全告警数据流越大，划分到的分区算子的处理资源数量越多。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：存储模块，所述存储模块包括外置存储模块与内置存储模块，其中，所述外置存储模块用于缓存所述计算模块在对所述告警日志分析过程中应用运行的状态数据，所述计算模块还用于间隔预定周期读取所述外置存储模块中存储的数据，并将该数据保存至所述内置存储模块。

6.根据权利要求1所述的系统，其特征在于，所述计算模块，还用于将前置多线程计算分析输出的每一条安全告警数据流作为后置线程分析的输入，以用于构建多级规则分析逻辑，其中，所述前置多线程对应的告警处理数据规则与所述后置线程对应的告警处理数据规则不同。

7.根据权利要求1所述的系统，其特征在于，所述系统还包括策略管理模块，用于接收目标对象的操作指令，以用于对处理所述告警日志的分析规则进行调整。

8.根据权利要求1至权利要求7任意一项所述的系统，其特征在于，所述流式计算框架包括：flink分布式引擎框架。

9.一种处理安全数据的方法，其特征在于，包括：

10.一种非易失性存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求9所述的处理安全数据的方法。

11.一种电子设备，其特征在于，包括：

技术总结
本申请公开了一种处理安全数据的系统及方法。其中，该系统包括：基于流式计算框架的计算模块，用于按照预定时序接收目标时段内来自多种安全设备的告警日志，基于预设映射规则将告警日志转化为安全告警数据流，并开启多线程对安全告警数据流进行分析得到安全告警分析结果，其中，安全告警分析结果至少用于指示安全设备的网络安全状态；可视化模块，用于接收安全告警分析结果，并展示安全告警分析结果。本申请解决了相关技术中管理平台数据处理能力有限，缺乏有效架构支撑造成的安全问题漏报严重，难以对安全风险进行有效评估的技术问题。

技术研发人员：侯荣晖,吴基科,严文彬,肖鸣,林良超,姚佳淼,罗少飞
受保护的技术使用者：广发银行股份有限公司
技术研发日：
技术公布日：2024/1/14