一种日志采集状态的生成方法、装置、设备及存储介质与流程

本公开的实施方式涉及通信，更具体地，本公开的实施方式涉及一种日志采集状态的生成方法、装置、设备及存储介质。

背景技术：

1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、日志可以记录系统中服务器等设备或软件的运行情况。通过对日志进行采集并处理，可以及时发现系统的瓶颈并进行改进。由于日志采集和处理的链路较长，涉及的组件较多，可能会出现因部分组件异常造成日志重复采集或日志遗漏的情况，还可能会因为日志量突增造成日志迟迟不被采集和处理的情况。前述异常情况都会影响日志监控的准确性和时效，进而影响业务指标。

3、相关技术中，日志平台并未展示与日志采集状态相关的指标，导致在出现日志异常(比如日志片段缺失、重复采集等)情况时，只能依靠人工排查异常日志。而每个业务系统每天都会产生海量的日志，依靠人工对海量日志进行排查，不仅会耗费大量的人力，而且排查和定位日志问题的效率非常低。

技术实现思路

1、在本公开实施方式的第一方面中，提供了一种日志采集状态的生成方法，包括：

2、采集原始日志，并获取用于表征所述原始日志采集情况的第一日志信息；

3、对所述原始日志进行切分处理，并获取用于表征切分后日志的处理情况的第二日志信息；

4、基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标。

5、可选的，所述第一日志信息包括所述原始日志的文件总字节数，所述第二日志信息包括所述切分后日志的已处理字节数，所述采集状态指标包括所述原始日志的采集进度；所述基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标，包括：基于所述已处理字节数与所述文件总字节数计算所述原始日志的采集进度，所述采集进度等于所述已处理字节数与所述文件总字节数的比值。

6、可选的，所述采集状态指标包括所述原始日志采集结束的预期时刻；所述方法还包括：获取所述切分后日志的已处理字节数的存储时刻，以及预设时长内所述切分后日志的已处理字节总数，并基于所述已处理字节总数计算所述切分后日志在所述预设时长内的处理速度；所述基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标，包括：基于所述文件总字节数与所述已处理字节数的差值、以及所述处理速度计算所述原始日志采集结束所需的目标时长；基于所述目标时长和所述存储时刻计算所述预期时刻。

7、可选的，所述第一日志信息包括所述原始日志的修改时刻，所述第二日志信息包括所述原始日志的采集时刻和所述切分后日志的处理时刻，所述采集状态指标包括所述原始日志的采集延迟；所述基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标，包括：基于所述处理时刻和所述采集时刻计算第一延迟，以及基于当前计算时刻和所述修改时刻计算第二延迟；将所述第一延迟和所述第二延迟中较大的延迟作为所述原始日志的采集延迟。

8、可选的，所述第一日志信息包括所述原始日志的文件总字节数，所述第二日志信息包括所述切分后日志中已处理日志行的数量、每一所述已处理日志行的字节数以及所述已处理日志行中最新已处理日志行在所述原始日志中的偏移量；所述采集状态指标包括所述原始日志的采集完整度；所述基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标，包括：基于所述已处理日志行的数量以及所述每一已处理日志行的字节数，计算所述第一总字节数；基于所述最新已处理日志行在所述原始日志中的偏移量以及所述最新已处理日志行的字节数，计算第二总字节数；基于所述第一总字节数、所述第二总字节数和所述文件总字节数判断所述原始日志是否采集完整。

9、可选的，所述方法还包括：针对同一原始日志，比较所述第二总字节数与已存储的原第二日志信息对应的原第二总字节数，若所述第二总字节数大于所述原第二总字节数，则将所述原第二日志信息更新为所述第二日志信息。

10、可选的，所述基于所述第一总字节数、所述第二总字节数和所述文件总字节数判断所述原始日志是否采集完整，包括：若所述第一总字节数、所述第二总字节数和所述文件总字节数相等，则表明所述原始日志整体被完整采集；若所述第一总字节数等于所述第二总字节数，且所述第一总字节数小于所述文件总字节数，则表明所述原始日志的已采集部分完整；若所述第一总字节数小于所述第二总字节数，则表明所述原始日志的已采集部分存在数据缺失。

11、可选的，在所述原始日志存在数据缺失的情况下，所述方法还包括：基于所述第一总字节数和所述第二总字节数确定缺失数据；基于所述缺失数据采集相应的完整数据并存储。

12、可选的，所述第一日志信息包括所述第一日志信息的获取时刻；所述方法还包括：计算连续两个所述获取时刻的时间间隔；若所述时间间隔大于预设间隔阈值，则输出所述原始日志发生采集异常的信息。

13、可选的，所述方法还包括：针对同一原始日志，比较所述第一日志信息中的获取时刻与已存储的原第一日志信息中的原获取时刻，若所述获取时刻大于所述原获取时刻，则将所述原第一日志信息更新为所述第一日志信息。

14、在本公开实施方式的第二方面中，提供了一种日志采集状态的生成装置，包括：

15、采集单元，用于采集原始日志，并获取用于表征所述原始日志采集情况的第一日志信息；

16、处理单元，用于对所述原始日志进行切分处理，并获取用于表征切分后日志的处理情况的第二日志信息；

17、生成单元，用于基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标。

18、在本公开实施方式的第三方面中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的实施例中所述的方法。

19、在本公开实施方式的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的实施例中所述方法的步骤。

20、本公开以上的实施方式，至少具有如下的有益效果：

21、通过获取用于表征原始日志采集情况的第一日志信息，和用于表征切分后日志的处理情况的第二日志信息，然后基于第一日志信息和第二日志信息生成原始日志的采集状态指标，从而使得用户和日志平台运营人员可以直接根据采集状态指标迅速判断日志是否出现异常，并在判断出异常的情况下，根据采集状态指标快速、准确地定位到问题，有效提升了问题定位和排查的效率，节省了排查成本。

技术特征：

1.一种日志采集状态的生成方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一日志信息包括所述原始日志的文件总字节数，所述第二日志信息包括所述切分后日志的已处理字节数，所述采集状态指标包括所述原始日志的采集进度；

3.根据权利要求2所述的方法，其特征在于，所述采集状态指标包括所述原始日志采集结束的预期时刻；

4.根据权利要求1所述的方法，其特征在于，所述第一日志信息包括所述原始日志的修改时刻，所述第二日志信息包括所述原始日志的采集时刻和所述切分后日志的处理时刻，所述采集状态指标包括所述原始日志的采集延迟；

5.根据权利要求1所述的方法，其特征在于，所述第一日志信息包括所述原始日志的文件总字节数，所述第二日志信息包括所述切分后日志中已处理日志行的数量、每一所述已处理日志行的字节数以及所述已处理日志行中最新已处理日志行在所述原始日志中的偏移量；所述采集状态指标包括所述原始日志的采集完整度；

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一总字节数、所述第二总字节数和所述文件总字节数判断所述原始日志是否采集完整，包括：

7.根据权利要求6所述的方法，其特征在于，在所述原始日志存在数据缺失的情况下，所述方法还包括：

8.一种日志采集状态的生成装置，其特征在于，该装置包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开的实施方式提供了一种日志采集状态的生成方法、装置、设备及存储介质。所述方法可以包括：采集原始日志，并获取用于表征所述原始日志采集情况的第一日志信息；对所述原始日志进行切分处理，并获取用于表征切分后日志的处理情况的第二日志信息；基于所述第一日志信息和所述第二日志信息生成所述原始日志的采集状态指标。本公开的实施方式通过生成原始日志的采集状态指标，从而可以基于采集状态指标监控日志，有效提升了定位和排查日志问题的效率。

技术研发人员：王国云,张军,郭琪文,邱晟
受保护的技术使用者：杭州网易再顾科技有限公司
技术研发日：
技术公布日：2024/1/15