一种日志管理方法、装置、设备及可读存储介质与流程

本申请涉及数据处理，尤其涉及一种日志管理方法、装置、设备及可读存储介质。

背景技术：

1、目前，大型系统通常采用分布式部署的架构，不同的应用或服务会分布在不同的服务器中，同一个应用或服务的日志数据分散存储在多个最小存储单元中。在大规模的系统架构中，日志数据检索需要多组织共同协作才能完成日志检索，不仅检索效率低，而且准确率相对较低。

技术实现思路

1、有鉴于此，本申请实施例提供了一种日志管理方法、装置、设备及可读存储介质，旨在提高日志数据检索的效率和准确率。

2、第一方面，本申请实施例提供了一种日志管理方法，所述方法包括：

3、对各个日志存储最小单元中的日志数据进行规范化处理，得到各个日志存储最小单元中的标准日志数据；

4、从所述各个日志存储最小单元中采集所述标准日志数据；

5、将所述标准日志数据推送至logstash组件进行数据处理，得到目标日志数据；

6、利用elasticsearch组件将所述目标日志数据存储于数据库中。

7、第二方面，本申请实施例提供了一种日志管理装置，所述装置包括：

8、规范化处理模块，用于对各个日志存储最小单元中的日志数据进行规范化处理，得到各个日志存储最小单元中的标准日志数据；

9、采集模块，用于从所述各个日志存储最小单元中采集所述标准日志数据；

10、数据处理模块，用于将所述标准日志数据推送至logstash组件进行数据处理，得到目标日志数据；

11、存储模块，用于利用elasticsearch组件将所述目标日志数据存储于数据库中。

12、第三方面，本申请实施例提供了一种计算机设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面中任一项所述的日志管理方法。

13、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面中任一项所述的日志管理方法。

14、本申请实施例提供了一种日志管理方法、装置、设备及可读存储介质。在执行所述方法时，先对各个日志存储最小单元中的日志数据进行规范化处理，得到标准日志数据，然后从各个日志存储最小单元中采集标准日志数据，并利用logstash组件对标准日志数据进行数据处理，最后利用elasticsearch组件将处理后数据进行存储。这样，通过将日志数据进行规范化处理，能够根据统一的格式对日志数据进行采集，并且在检索时可以按照统一的格式进行检索，提高检索效率和准确度；对日志数据进行二次处理并聚合存储至数据库中，可以直接对数据库进行检索，进一步提高检索效率和准确度。

技术特征：

1.一种日志管理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对各个日志存储最小单元中的日志数据进行规范化处理，得到各个日志存储最小单元中的标准日志数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述从所述各个日志存储最小单元中采集所述标准日志数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述标准日志数据推送至logstash组件进行数据处理，得到目标日志数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述标准日志数据推送至logstash组件进行数据处理，得到目标日志数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种日志管理装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述规范化处理模块，具体用于根据预设日志格式对各个日志存储最小单元中的日志数据进行规范化处理，所述预设日志格式包括日志头、租户信息、渠道信息、用户信息、线程名称、tid和trace id，所述日志头用于数据采集，所述租户信息用于表示当前日志数据所属的租户，所述渠道信息用于表示当前日志数据所属的渠道，所述用户信息用于表示当前操作的用户的身份信息，所述线程名称为本次线程的名称，所述tid为用于串联内部服务与外部服务的第一标识，所述traceid为用于串联多个内部服务的第二标识。

9.一种计算机设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的日志管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1-6任一项所述的日志管理方法。

技术总结
本申请提供了一种日志管理方法、装置、设备及存储介质，适用于数据处理技术领域。所述方法包括：对各个日志存储最小单元中的日志数据进行规范化处理，得到各个日志存储最小单元中的标准日志数据；从所述各个日志存储最小单元中采集所述标准日志数据；将所述标准日志数据推送至LOGSTASH组件进行数据处理，得到目标日志数据；利用ELASTICSEARCH组件将所述目标日志数据存储于数据库中。通过将日志数据进行规范化处理，能够根据统一的格式对日志数据进行采集，并且在检索时可以按照统一的格式进行检索，提高检索效率和准确度；对日志数据进行二次处理并聚合存储至数据库中，可以直接对数据库进行检索，进一步提高检索效率和准确度。

技术研发人员：李云,黄志勇,李佳旺,刘琤,张永旺,宋欣卉
受保护的技术使用者：中国民航信息网络股份有限公司
技术研发日：
技术公布日：2024/1/13