基于多源异构统一纳管的安全运营方法及系统与流程

本发明涉及数据管理，具体涉及基于多源异构统一纳管的安全运营方法及系统。

背景技术：

1、公布号为cn115456567a的现有发明申请文献《一种松耦合的数据安全运营系统和方法》，该现有文献中披露的一种松耦合的数据安全运营系统包括：数据采集模块，用于采集分类分级指导信息，作为对拟进行安全防护的数据进行统一管理和标记的依据；数据治理模块，用于对所述分类分级指导信息进行解析，生成分类分级模板，基于所述分类分级模板对拟进行安全防护的数据进行分类分级操作，生成所有数据库表和字段的分类分级信息，其中，所述拟进行安全防护的数据存储于数据库；防护策略模块，用于针对拟进行安全防护的数据，根据所述分类分级信息生成对应类别和级别的防护策略，并将所述防护策略下发至对应的安全产品。公布号为cn115022097a的现有发明申请文献《一种公共信息安全监测的方法和系统》，该方法包括：将采集到的公共信息汇总到信息分析器中，通过所述信息分析器将公共信息分为正常公共信息和异常公共信息；基于获取的异常公共信息的风险数值通过信息安全风险算法计算风险概率，并根据所述风险概率进行风险等级划分；当风险等级大于等于预设风险等级阈值时，通过预先构建的公共信息主动防御模型对网络异常攻击进行风险识别和报警；对所述网络异常攻击进行攻击回溯和攻击推演，并通过深度学习网络获取攻击特征元素，基于所述攻击特征元素，对所述公共信息主动防御模型进行防御升级。现有技术多数是针对安全监测平台的研究或对安全能力的针对性研究，对于安全运营体系不全面。

2、现有的技术只是从网络安全或数据安全的单一渠道采集数据，安全数据来源不全面，不同安全之间关联性弱；现有技术建立的安全关联模型算法为基础型模型，产生冗余较多，最终的安全事件仍需要加大研判；现有技术发现安全风险溯源需人工经验，切换不同系统分析查询相关问题。

3、综上，现有技术存在安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有技术中安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。

2、本发明是采用以下技术方案解决上述技术问题的：基于多源异构统一纳管的安全运营方法包括：

3、s1、对用户新接入的数据源创建字段表，其中，字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；

4、s2、拖入并连接预置组件，配置关联信息及操作信息，从字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件；

5、s3、解析分析节点树形关联分析模型，据以构建树形结构体，获取树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层；

6、s4、按照从数据源节点到输出节点的顺序，遍历树形结构体的所有关联分析节点，据以管理各关联分析节点的数据流；

7、s5、执行数据流，以定位存在安全威胁的数据源。

8、本发明通过对各种数据进行集中处理，关联分析，实现全时、全程监测信息安全动态，构建全时全域的网络安全态势感知和预警能力，针对安全事件全流程跟踪与溯源，及时精准发现安全威胁。

9、本发明融合利用深度关联分析和搜索合分布式计算大数据处理技术，实时监测目标全网安全情况，全面监测目标网络的资产，实现对安全漏洞、威胁隐患、高级威胁攻击的快速识别，并为安全监测、态势分析、通报处理等提供强有力的数据支撑，包括关联分析、行为分析和检索分折等能力。

10、在更具体的技术方案中，步骤s1包括：

11、s11、创建数据源定义表，以存放所有接入的数据源定义；

12、s12、创建预定义字段表，以存放预定义的字段列表；

13、s13、创建数据源字段映射表，存放接入数据源的字段映射关系；

14、s14、当接入新的数据源时，把数据源的名称、kafka话题、来源添加至数据源定义表；

15、s15、通过对数据源的字段梳理操作，把数据源的原始字段名和对应的预定义字段id写入至数据源字段映射表。

16、本发明从络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全采集全域数据，通过数据经过清洗、富化、归一化、标签化等流程进行标准化处理，建设统一的安全数据采集汇聚子系统，数据采集层面范围比传统技术更大。

17、在更具体的技术方案中，步骤s2包括：

18、s21、拖入选择数据组件，以配置关联分析的数据源，从数据源定义表中选择已添加的数据源；

19、s22、连接条件筛选组件，配置字段条件过滤，从预定义字段表中选择过滤字段，据以设置字段筛选条件；

20、s23、连接数据关联组件，配置多数据源关联，从预定义字段表中选择关联字段，设置关联方式、时窗大小；

21、s24、连接数据统计组件，配置分组统计操作参数，从预定义字段表中选择分组字段，设置时窗大小以及筛选条件；

22、s25、连接结果输出组件，配置结果输出，从预定义字段表中选择分组字段，设置时窗大小、告警限制；

23、s26、根据数据源、字段筛选条件、关联方式、时窗大小、筛选条件以及告警限制，生成分析节点树形关联分析模型，将分析节点树形关联分析模型存入预置任务定义表。

24、本发明将全域六大安全事件关联，将冗余安全事件过滤，减少研判工作量，结果更直观精准，使得关联分析模型层面更加高效。

25、在更具体的技术方案中，步骤s3包括：

26、s31、从预置任务定义表中，读取分析节点树形关联分析模型的模型定义数据；

27、s32、解析模型定义数据，据以生成树形结构体；

28、s33、在内存中创建数据流对象缓存表，以缓存各个关联分析节点生成的数据流对象。

29、在更具体的技术方案中，步骤s4包括：

30、s41、遍历数据源节点；

31、s42、遍历关联分析节点；

32、s43、遍历数据统计节点；

33、s44、遍历条件筛选节点；

34、s45、遍历结果输出节点。

35、在更具体的技术方案中，步骤s41包括：

36、s411、从数据源定义表中读取数据源的kafka话题、来源；

37、s412、创建kafka消费者，以监听kafka话题下的数据流；

38、s413、从数据源字段映射表中，读取当前数据源下的字段原始名称和预定义字段的映射关系，按原始字段解析kafka日志，并映射为预定义字段；

39、s414、按照预定义字段生成数据流对象，并缓存至数据流对象缓存表。

40、在更具体的技术方案中，步骤s42包括：

41、s421、以父节点id作为参数，从数据流对象缓存表中读取参与关联分析的数据流对象；

42、s422、对各个数据流对象，按关联字段处理得到不少于2个分组；

43、s423、从各分组中，按时窗截取分组内的事件列表，对于不同的关联类型，生成差异关联事件。

44、在更具体的技术方案中，步骤s43包括：

45、s431、以父节点id作为参数，从数据流对象缓存表中，读取参与统计的数据流对象；

46、s432、对数据流对象按分组字段分组；

47、s433、对数据流对象按时窗截取数据流并统计，得到统计个数；

48、s434、在统计个数大于预置限定个数时，生成统计事件；

49、s435、记录统计事件和原始事件之间的映射关系，供事件溯源；

50、s436、将统计事件映射为数据流对象，缓存至数据流对象缓存表。

51、本发明通过收集网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全重的安全事件、安全日志、威胁情报、漏洞数据等多源异构数据进行关联分析，预测安全威胁，并全链路追溯，形成全时全域的安全态势感知和预警能力，及时发现安全风险并能快速进行响应和处置，形成完善的安全运营体系。

52、本发明在发现安全问题可通过统一平台追溯中可自动化快速定位源头和相关影响。相比现有技术，本发明追踪溯源链路更清晰、准确。

53、在更具体的技术方案中，步骤s44包括：

54、s441、以父节点id作为参数，从数据流对象缓存表中读取参与筛选的数据流对象；

55、s442、根据数据流对象中的事件字段计算筛选条件，在条件为真时，归集当前的筛选事件；

56、s443、将归集的所述筛选事件映射为数据流对象，缓存数据流对象至数据流对象缓存表。

57、在更具体的技术方案中，基于多源异构统一纳管的安全运营系统包括：

58、字段表创建模块，用以对用户新接入的数据源创建字段表，其中，字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；

59、分析模型生成模块，用以拖入并连接预置组件，配置关联信息及操作信息，从字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件，分析模型生成模块与字段表创建模块连接；

60、关联节点遍历模块，用以解析分析节点树形关联分析模型，据以构建树形结构体，获取树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层，关联节点遍历模块与分析模型生成模块连接；

61、数据流关联模块，用以按照从数据源节点到输出节点的顺序，遍历树形结构体的所有关联分析节点，据以管理各关联分析节点的数据流，数据流关联模块与关联节点遍历模块连接；

62、数据流执行模块，用以执行数据流，以定位存在安全威胁的数据源，数据流执行模块与数据流关联模块连接。

63、本发明相比现有技术具有以下优点：

64、本发明通过对各种数据进行集中处理，关联分析，实现全时、全程监测信息安全动态，构建全时全域的网络安全态势感知和预警能力，针对安全事件全流程跟踪与溯源，及时精准发现安全威胁。

65、本发明融合利用深度关联分析和搜索合分布式计算大数据处理技术，实时监测目标全网安全情况，全面监测目标网络的资产，实现对安全漏洞、威胁隐患、高级威胁攻击的快速识别，并为安全监测、态势分析、通报处理等提供强有力的数据支撑，包括关联分析、行为分析和检索分折等能力。

66、本发明从络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全采集全域数据，通过数据经过清洗、富化、归一化、标签化等流程进行标准化处理，建设统一的安全数据采集汇聚子系统，数据采集层面范围比传统技术更大。

67、本发明将全域六大安全事件关联，将冗余安全事件过滤，减少研判工作量，结果更直观精准，使得关联分析模型层面更加高效。

68、本发明通过收集网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全重的安全事件、安全日志、威胁情报、漏洞数据等多源异构数据进行关联分析，预测安全威胁，并全链路追溯，形成全时全域的安全态势感知和预警能力，及时发现安全风险并能快速进行响应和处置，形成完善的安全运营体系。

69、本发明在发现安全问题可通过统一平台追溯中可自动化快速定位源头和相关影响。相比现有技术，本发明追踪溯源链路更清晰、准确。

70、本发明解决了现有技术中存在的安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。