情报碰撞过程中的数据处理方法、装置及设备与流程

本技术涉及安全，尤其是涉及到一种情报碰撞过程中的数据处理方法、装置及设备。

背景技术：

1、随着互联网技术的不断发展，新的生活方式催生了海量数据，在网络上、数据与大众的不断融合中，大数据技术应运而生，并在情报管理领域得到广泛应用。在情报管理领域，可通过数据管理工具收集各种情报，并通过情报碰撞服务将本地情报与已知的威胁情报库中的情报进行比对，有效发现隐藏在本地情报中的潜在威胁，进而帮助用户及时识别并应对各种网络威胁，提高网络安全预防的能力。

2、相关技术中，情报碰撞服务会使用原始数据直接跟原始的情报接口进行碰撞比对，碰撞功能算子会跟其他规则算子结合检测是否存在异常，满足异常规则生成告警。然而，当数据量很大时，情报碰撞服务会产生大量的请求接口调用，频繁的请求接口调用会增加情报碰撞服务的响应延时，使得接口调用时间加长，造成大量的数据积压，影响情报碰撞过程中的数据处理能力。

技术实现思路

1、有鉴于此，本技术提供了一种情报碰撞过程中的数据处理方法、装置及设备，主要目的在于解决现有技术在情报碰撞服务过程中接口调用时间加长，造成大量的数据积压，影响情报碰撞过程中的数据处理能力的问题。

2、根据本技术的第一个方面，提供了一种情报碰撞过程中的数据处理方法，包括：

3、获取本地缓存集群收集的历史碰撞结果，所述历史碰撞结果中记录有历史碰撞验证过程中情报数据在不同参数字段上的命中信息；

4、响应于情报碰撞指令，根据所述历史碰撞结果查询待碰撞情报数据是否经过碰撞；

5、若所述待碰撞情报数据未经过碰撞，则调用情报接口对所述待碰撞情报数据中不同的参数字段进行碰撞验证，得到待碰撞情报数据中不同参数字段的命中信息；

6、将所述待碰撞情报数据中不同参数字段的命中信息作为情报数据的碰撞结果更新至本地缓存集群中。

7、进一步地，在所述获取本地缓存集群收集的历史碰撞结果之前，所述方法还包括：

8、启动缓存预热监听，遍历读取待碰撞的原始数据，将所述待碰撞的原始数据中经过碰撞的情报数据进行组装后插入至本地缓存集群中，所述待碰撞的原始数据为实时消费提取的原始数据。

9、进一步地，所述所述启动缓存预热监听，遍历读取待碰撞的原始数据，将所述待碰撞的原始数据中经过碰撞的情报数据进行组装后插入至本地缓存集群中，包括：

10、启动缓存预热监听，遍历读取待碰撞的原始数据，将所述待碰撞的原始数据放入至第一队列中；

11、通过解析线程从所述待碰撞的原始数据中提取碰撞元素，对所述碰撞元素经过碰撞预处理操作后，将未命中的碰撞元素组装成情报集合对象放入至第二队列中；

12、通过碰撞线程从所述第二队列中拉取情报集合对象，将所述情报集合对象作为待碰撞数据批量调用碰撞接口获取所述待碰撞数据的碰撞结果，将碰撞结果存储至本地缓存集群中。

13、进一步地，所述响应于情报碰撞指令，根据所述历史碰撞结果查询待碰撞情报数据是否经过碰撞，包括：

14、响应于情报碰撞指令，根据预设配置从原始数据中提取待碰撞情报数据；

15、解析所述待碰撞情报数据中的有效参数字段，根据所述有效参数字段在所述历史碰撞结果中查询是否存在所述有效参数字段的命中信息；

16、若存在，则确定所述待碰撞情报数据经过碰撞；否则，确定所述待碰撞情报数据未经过碰撞。

17、进一步地，在所述响应于情报碰撞指令，根据所述历史碰撞结果查询待碰撞情报数据是否经过碰撞之后，所述方法还包括：

18、若所述待碰撞情报数据经过碰撞，则根据待碰撞情报数据中的有效参数字段，从所述历史缓存结果中提取有效参数字段的命中信息；

19、根据所述有效参数字段的命中信息，确定情报数据的碰撞结果。

20、进一步地，在所述将所述待碰撞情报数据中不同参数字段的命中信息作为情报数据的碰撞结果更新至本地缓存集群中之后，所述方法还包括：

21、根据所述本地缓存集群中的历史碰撞结果，判断情报数据命中的参数字段是否满足告警检测规则；

22、若是，则根据满足告警检测规则中情报命中的参数字段，生成告警信息。

23、进一步地，所述告警检测规则中记录有至少一条情报命中的判断逻辑，所述根据所述本地缓存集群中的历史碰撞结果，判断情报数据命中的参数字段是否满足告警检测规则，具体包括：

24、根据所述本地缓存集群中的历史碰撞结果，确定历史碰撞验证过程中命中的参数字段；

25、通过所述至少一条情报命中的判断逻辑判断所述历史碰撞验证过程中命中的参数字段是否满足告警检测规则。

26、根据本技术的第二个方面，提供了一种情报碰撞过程中的数据处理装置，包括：

27、获取单元，用于获取本地缓存集群收集的历史碰撞结果，所述历史碰撞结果中记录有历史碰撞验证过程中情报数据在不同参数字段上的命中信息；

28、查询单元，用于响应于情报碰撞指令，根据所述历史碰撞结果查询待碰撞情报数据是否经过碰撞；

29、验证单元，用于若所述待碰撞情报数据未经过碰撞，则调用情报接口对所述待碰撞情报数据中不同的参数字段进行碰撞验证，得到待碰撞情报数据中不同参数字段的命中信息；

30、更新单元，用于将所述待碰撞情报数据中不同参数字段的命中信息作为情报数据的碰撞结果更新至本地缓存集群中。

31、进一步地，所述装置还包括：

32、启动单元，用于在所述获取本地缓存集群收集的历史碰撞结果之前，启动缓存预热监听，遍历读取待碰撞的原始数据，将所述待碰撞的原始数据中经过碰撞的情报数据进行组装后插入至本地缓存集群中，所述待碰撞的原始数据为实时消费提取的原始数据。

33、进一步地，所述启动单元，具体用于启动缓存预热监听，遍历读取待碰撞的原始数据，将所述待碰撞的原始数据放入至第一队列中；通过解析线程从所述待碰撞的原始数据中提取碰撞元素，对所述碰撞元素经过碰撞预处理操作后，将未命中的碰撞元素组装成情报集合对象放入至第二队列中；通过碰撞线程从所述第二队列中拉取情报集合对象，将所述情报集合对象作为待碰撞数据批量调用碰撞接口获取所述待碰撞数据的碰撞结果，将碰撞结果存储至本地缓存集群中。

34、进一步地，所述查询单元，具体用于响应于情报碰撞指令，根据预设配置从原始数据中提取待碰撞情报数据；解析所述待碰撞情报数据中的有效参数字段，根据所述有效参数字段在所述历史碰撞结果中查询是否存在所述有效参数字段的命中信息；若存在，则确定所述待碰撞情报数据经过碰撞；否则，确定所述待碰撞情报数据未经过碰撞。

35、进一步地，所述装置还包括：

36、提取单元，用于在所述响应于情报碰撞指令，根据所述历史碰撞结果查询待碰撞情报数据是否经过碰撞之后，若所述待碰撞情报数据经过碰撞，则根据待碰撞情报数据中的有效参数字段，从所述历史缓存结果中提取有效参数字段的命中信息；

37、确定单元，用于根据所述有效参数字段的命中信息，确定情报数据的碰撞结果。

38、进一步地，所述装置还包括：

39、判断单元，用于在所述将所述待碰撞情报数据中不同参数字段的命中信息作为情报数据的碰撞结果更新至本地缓存集群中之后，根据所述本地缓存集群中的历史碰撞结果，判断情报数据命中的参数字段是否满足告警检测规则；

40、生成单元，用于若是，则根据满足告警检测规则中情报命中的参数字段，生成告警信息。

41、进一步地，所述告警检测规则中记录有至少一条情报命中的判断逻辑，所述判断单元，具体用于根据所述本地缓存集群中的历史碰撞结果，确定历史碰撞验证过程中命中的参数字段；通过所述至少一条情报命中的判断逻辑判断所述历史碰撞验证过程中命中的参数字段是否满足告警检测规则。

42、根据本技术的第三个方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

43、根据本技术的第四个方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

44、借由上述技术方案，本技术提供的一种情报碰撞过程中的数据处理方法、装置及设备，与目前现有技术中使用情报碰撞服务频繁调用情报系统进行数据处理的方式相比，本技术通过获取本地缓存集群收集的历史碰撞结果，该历史碰撞结果中记录有历史碰撞验证过程中情报数据在不同参数字段上的命中信息，响应于情报碰撞指令，根据历史碰撞结果查询待碰撞情报数据是否经过碰撞，若待碰撞情报数据未经过碰撞，则调用情报接口对待碰撞情报数据中不同的参数字段进行碰撞验证，得到待碰撞情报数据中不同参数字段的命中信息，最后将待碰撞情报数据中不同参数字段的命中信息作为情报数据的碰撞结果更新至本地缓存集群中。整个过程不依赖于情报系统的碰撞接口，使用历史碰撞结果来对待碰撞情报数据进行情报碰撞预判断，减少对外部情报系统的调用次数，减低情报系统的资源占用，若待碰撞情报数据未经过碰撞，则调用情报接口进行碰撞验证，缩短情报服务的接口请求调用时长，避免了数据积压，提升情报碰撞过程中的数据处理能力。

45、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。