日志存储方法及系统、电子设备与流程

本公开涉及数据库日志存储，尤其涉及一种日志存储方法及系统、电子设备。

背景技术：

1、日志作为重要数据，在方便用户及时跟踪系统工作状态，对设备和系统进行集中的、可视的综合审计分析起到了非常关键的作用。

2、随着设备和系统的不断升级，日志存储量越来越大，目前常用的是将日志存储在数据库中，即根据数据库写入性能存储日志，但是当超过数据库写入速度后，会出现日志丢失情况的发生，存储的数据缺乏一致性和完整性，导致数据库中的数据不再准确反映实际操作；当发生故障或错误时，由于日志的丢失，将很难或无法进行有效的故障恢复，可能需要进行全库备份恢复，导致其它数据丢失、业务暂停，甚至于需要长时间停机以进行数据库重建；此外，如果丢失的日志对于安全合规性和审计跟踪非常重要，则由于日志的丢失，将无法准确地追踪和审计数据库的行为，可能会违反合规要求或错过重要的安全事件。

技术实现思路

1、有鉴于此，本公开实施例提供了一种日志存储方法及系统、电子设备，能够解决现有技术中存在的日志在数据库中存储时出现日志丢失的问题。

2、第一方面，本公开实施例提供了一种日志存储方法，包括：

3、s100，基于预设优先级策略，对第p预设周期内接收到的若干日志进行划分，获得排序数据集；

4、判断所述排序数据集的总量是否大于数据库的预设存储阈值n，若否，将所述排序数据集写入所述数据库；

5、若是，将所述排序数据集中的前n条日志写入所述数据库，将余下的日志存入预设环形队列；

6、s200，将存入所述预设环形队列的日志记为缓冲日志集；

7、判断所述缓冲日志集的数量是否大于所述预设存储阈值，若是，执行第一策略；

8、若否，执行第二策略。

9、可选的，所述预设优先级策略包括轮询设置的若干优先级列表；

10、所述优先级列表包括优先级依次递减的av安全引擎日志、访问控制日志、ips安全引擎日志、配置管理日志。

11、可选的，每轮所述优先级列表中的av安全引擎日志、访问控制日志、ips安全引擎日志、配置管理日志的数量分别为f1、f2、f3、f4；

12、0≤f1≤4；

13、0≤f2≤3；

14、0≤f3≤2；

15、0≤f4≤1。

16、可选的，所述对第p预设周期内接收到的若干日志进行划分，获得排序数据集，包括：

17、获取若干所述日志的类型信息；

18、按照所述预设优先级策略对所述类型信息进行排序，获得所述排序数据集；

19、其中，所述类型信息包括av安全引擎日志、访问控制日志、ips安全引擎日志、配置管理日志中的一种或多种。

20、可选的，所述执行第一策略，包括：

21、s300，在第p+1预设周期内将所述缓冲日志集中的前n条日志写入数据库；

22、将在第p+1预设周期内接收到的日志按照所述预设优先级策略存储至所述预设环形队列；

23、s400，令p＝p+1，返回执行s200。

24、可选的，所述执行第二策略，包括：

25、s500，在第p+1预设周期内将所述缓冲日志集写入数据库；

26、s600，判断第p+1预设周期内接收到的日志量是否大于第一预设值，若否，在第p+1预设周期内，将第p+1预设周期内接收到的日志写入数据库；

27、若是，将第p+1预设周期内接收到的前m条日志写入数据库，将余下的日志存储至预设环形队列，执行s400；

28、其中，所述第一预设值为m。

29、可选的，所述第一预设值为所述预设存储阈值与第p预设周期内余下日志总量的差值；

30、所述第p预设周期内余下日志总量为第p预设周期内接收到的若干日志总量与预设存储阈值的差值。

31、第二方面，本申请公开了一种日志存储系统，包括：

32、获取模块，配置为基于预设优先级策略，对第p预设周期内接收到的若干日志进行划分，获得排序数据集；

33、第一判断模块，配置为判断所述排序数据集的总量是否大于数据库的预设存储阈值，若否，将所述排序数据集写入所述数据库；所述预设存储阈值为n；

34、若是，将所述排序数据集中的前n条日志写入所述数据库，将余下的日志存入预设环形队列；

35、过渡模块，配置为将存入所述预设环形队列的日志记为缓冲日志集；

36、第二判断模块，配置为判断所述缓冲日志集的数量是否大于所述预设存储阈值，若是，执行第一策略；

37、若否，执行第二策略。

38、第三方面，本公开实施例还提供了一种电子设备，采用如下技术方案：

39、所述电子设备包括：

40、至少一个处理器；以及，

41、与所述至少一个处理器通信连接的存储器；其中，

42、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上任一所述的日志存储方法。

43、第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行以上任一所述的日志存储方法。

44、本申请公开的日志存储方法，根据预设优先级策略对接收到的日志进行类型划分，获得根据优先级高低进行排序后的排序数据集，在达到数据库存储性能瓶颈时，可以保证优先级较高的日志，即重要日志的及时、有效存储，防止日志丢失，减少数据库的存储压力，提升存储效率；然后将优先级相对较低的日志临时存储至预设环形队列，待数据库的日志写入速度回复正常后，重新将预设环形队列中存储的日志写入数据库中，既能满足数据库的存储需求，不影响数据库的存储效率，保证数据库的实时存储空间的有效利用，又能保证最终所有日志在数据库的写入，有效提高数据库日志的存储效率快以及数据存储的全面完整性。

45、上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

技术特征：

1.一种日志存储方法，其特征在于，包括：

2.根据权利要求1所述的日志存储方法，其特征在于，所述预设优先级策略包括轮询设置的若干优先级列表；

3.根据权利要求2所述的日志存储方法，其特征在于，每轮所述优先级列表中的av安全引擎日志、访问控制日志、ips安全引擎日志、配置管理日志的数量分别为f1、f2、f3、f4；

4.根据权利要求3所述的日志存储方法，其特征在于，所述对第p预设周期内接收到的若干日志进行划分，获得排序数据集，包括：

5.根据权利要求4所述的日志存储方法，其特征在于，所述执行第一策略，包括：

6.根据权利要求1所述的日志存储方法，其特征在于，所述执行第二策略，包括：

7.根据权利要求6所述的日志存储方法，其特征在于，所述第一预设值为所述预设存储阈值与第p预设周期内余下日志总量的差值；

8.一种日志存储系统，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-7任一所述的日志存储方法。

技术总结
本申请公开了一种日志存储方法及系统、电子设备。其中，方法包括：基于预设优先级策略，对第P预设周期内接收到的若干日志进行划分，获得排序数据集；判断排序数据集的总量是否大于数据库的预设存储阈值N，若否，将排序数据集写入数据库；若是，将排序数据集中的前N条日志写入数据库，将余下的日志存入预设环形队列；将存入预设环形队列的日志记为缓冲日志集；判断缓冲日志集的数量是否大于预设存储阈值，若是，执行第一策略；若否，执行第二策略。该方法在达到数据库存储性能瓶颈时，可以保证优先级较高的日志，即重要日志的及时、有效存储，防止日志丢失，减少数据库的存储压力，提升存储效率。

技术研发人员：关佳,卞传旭
受保护的技术使用者：北京天融信网络安全技术有限公司
技术研发日：
技术公布日：2024/1/15