数据处理方法、装置、存储介质及电子设备与流程

本发明涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子设备。

背景技术：

1、当有威胁产生或者具有威胁的流量经过防火墙设备时，防火墙会产生威胁日志，提醒用户当前产生了哪些威胁。有时候防火墙会产生误报，因此需要存储检测出威胁日志的证据信息用于威胁日志分析和运维。

2、目前，相关技术中采用直接写数据库的方式对证据信息数据进行存储，由于威胁日志的证据信息类型有很多，并且证据信息的大小不一样，使用直接写数据库的方式对长度不固定的数据存储不方便，数据零散对空间浪费比较严重，会产生大量内存碎片，内存资源消耗较大。

3、另外，证据信息数据来源于威胁的产生，在遭受攻击时可能瞬间产生大量的威胁事件，每个威胁事件可能产生一条或者两条相关记录，写入能力要求高；而读操作为用户触发，用户只会一个一个读，对读取的要求较低。随着设备的长时间运行会产生大量的威胁日志，同时生成大量的证据信息，需要较多的空间进行数据存储。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种数据处理方法、装置、存储介质及电子设备，以至少解决现有技术中在对威胁日志的证据信息数据进行存储时，采用直接写数据库的方式，存在内存资源消耗较大的技术问题。

2、根据本发明实施例的一个方面，提供了一种数据处理方法，包括：在检测到生成目标日志的情况下，获取目标日志的目标数据，并将目标数据存储至第一内存存储区，其中，目标数据是对不同数据类型的目标信息进行处理后得到的，目标信息用于描述目标日志对应的异常行为；获取目标数据在第一内存存储区中的第一信息，并将第一信息存储至第二内存存储区，在第二内存存储区对目标日志的日志信息与第一信息进行关联，得到日志信息与第一信息之间的关联关系，其中，第一信息用于表示目标数据在第一内存存储区中的存储信息；在接收到目标查询指令的情况下，依据目标查询指令的指令信息和关联关系进行查询，得到目标查询数据。

3、进一步地，获取目标日志的目标数据，包括：获取不同数据类型的目标信息，并分别对每个数据类型的目标信息进行数据转换处理，得到每个数据类型的初始数据；确定每个数据类型对应的结构体，并分别将每个数据类型的初始数据存储于每个数据类型对应的结构体中，得到多个数据结构体；将多个数据结构体组成目标日志的目标数据。

4、进一步地，将目标数据存储至第一内存存储区，包括：确定第一内存存储区的目标状态，其中，目标状态为以下之一：开启状态、关闭状态；若目标状态为开启状态，则将目标数据存储至第一内存存储区。

5、进一步地，在确定第一内存存储区的目标状态之后，该方法还包括：若目标状态为关闭状态，则创建第一内存存储区，得到新的第一内存存储区，并将新的第一内存存储区置于开启状态，将新的第一内存存储区的文件偏移地址置为预设值，将目标数据存储至新的第一内存存储区。

6、进一步地，该方法还包括：在检测到第一内存存储区中存储的数据达到预设阈值的情况下，将第一内存存储区中存储的数据从第一内存存储区转存至第三存储区。

7、进一步地，指令信息至少包括数据类型信息和待查询日志信息，其中，依据目标查询指令的指令信息和关联关系进行查询，得到目标查询数据，包括：依据待查询日志信息，从多个关联关系中确定待查询日志信息对应的目标关联关系；依据目标关联关系，从第二内存存储区的多个第一信息中确定第一目标信息；对第一目标信息中包含的目标标识信息与第一内存存储区的标识信息进行匹配，得到匹配结果；若匹配结果表征第一目标信息中包含的目标标识信息与第一内存存储区的标识信息不相同，则依据目标标识信息和数据类型信息，从第三存储区中获取目标查询数据。

8、进一步地，该方法还包括：在检测到目标日志被删除的情况下，依据第二内存存储区中目标数据对应的第一信息，确定目标数据的目标存储位置，其中，目标存储位置为以下之一：第一内存存储区、第三存储区；对目标存储位置处的目标数据进行删除，并在第二内存存储区中对目标数据对应的第一信息进行删除。

9、根据本发明实施例的另一方面，还提供了一种数据处理装置，包括：第一存储模块，用于在检测到生成目标日志的情况下，获取目标日志的目标数据，并将目标数据存储至第一内存存储区，其中，目标数据是对不同数据类型的目标信息进行处理后得到的，目标信息用于描述目标日志对应的异常行为；第二存储模块，用于获取目标数据在第一内存存储区中的第一信息，并将第一信息存储至第二内存存储区，在第二内存存储区对目标日志的日志信息与第一信息进行关联，得到日志信息与第一信息之间的关联关系，其中，第一信息用于表示目标数据在第一内存存储区中的存储信息；第一处理模块，用于在接收到目标查询指令的情况下，依据目标查询指令的指令信息和关联关系进行查询，得到目标查询数据。

10、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的数据处理方法。

11、根据本发明实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的数据处理方法。

12、在本发明实施例中，在检测到生成目标日志的情况下，获取目标日志的目标数据，并将目标数据存储至第一内存存储区，然后获取目标数据在第一内存存储区中的第一信息，并将第一信息存储至第二内存存储区，在第二内存存储区对目标日志的日志信息与第一信息进行关联，得到日志信息与第一信息之间的关联关系，在接收到目标查询指令的情况下，依据目标查询指令的指令信息和关联关系进行查询，得到目标查询数据。其中，目标数据是对不同数据类型的目标信息进行处理后得到的，目标信息用于描述目标日志对应的异常行为，第一信息用于表示目标数据在第一内存存储区中的存储信息。

13、在上述过程中，采用优先写入内存文件(即第一内存存储区)的方法，能够提高写入文件的性能，可以有效应对大量存储证据信息的情况；对证据信息根据不同的数据类型进行了处理，并将对应的数据类型存放到第二内存存储区的证据信息索引记录中，实现了对威胁日志不同类型的证据信息的处理和存储，节省了内存空间；用户查看威胁日志对应的证据信息时，可以根据数据类型进行查询，提高了证据信息的查询效率和便利性。

14、由此可见，通过本发明的技术方案，达到了在威胁爆发、产生大量威胁日志并存储大量证据信息时，满足同时读写的目的，从而实现了节省内存空间的技术效果，进而解决了现有技术中在对威胁日志的证据信息数据进行存储时，采用直接写数据库的方式，存在内存资源消耗较大的技术问题。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取所述目标日志的目标数据，包括：

3.根据权利要求1所述的方法，其特征在于，将所述目标数据存储至第一内存存储区，包括：

4.根据权利要求3所述的方法，其特征在于，在确定所述第一内存存储区的目标状态之后，所述方法还包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述指令信息至少包括数据类型信息和待查询日志信息，其中，依据所述目标查询指令的指令信息和所述关联关系进行查询，得到目标查询数据，包括：

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

8.一种数据处理装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的数据处理方法。

10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至7任一项中所述的数据处理方法。

技术总结
本发明公开了一种数据处理方法、装置、存储介质及电子设备。该方法包括：在检测到生成目标日志的情况下，获取目标日志的目标数据，并将目标数据存储至第一内存存储区；获取目标数据在第一内存存储区中的第一信息，并将第一信息存储至第二内存存储区，在第二内存存储区对目标日志的日志信息与第一信息进行关联，得到日志信息与第一信息之间的关联关系；在接收到目标查询指令的情况下，依据目标查询指令的指令信息和关联关系进行查询，得到目标查询数据。本发明解决了现有技术中在对威胁日志的证据信息数据进行存储时，采用直接写数据库的方式，存在内存资源消耗较大的技术问题。

技术研发人员：王守玲,袁震,廖俊博,张婷,史如原
受保护的技术使用者：山石网科通信技术股份有限公司
技术研发日：
技术公布日：2024/3/27