日志数据处理方法、装置、设备及存储介质与流程

本技术涉及数据处理领域，尤其涉及一种日志数据处理方法、装置、设备及存储介质。

背景技术：

1、随着互联网技术的不断发展，企业线上业务的规模逐渐扩大，业务系统的节点数量也在成倍增长。相应的，日志监控系统需要对各种日志数据进行监控，确保业务故障时能够及时预警，但由于节点数量较多，日志数据庞杂，日志监控系统很难基于日志数据来定位具体的故障节点。

2、在相关技术中，运维人员通常是将贴源信息部署在日志采集探针的配置文件中，以对日志数据进行贴源处理，实现故障节点的定位。这种日志数据的处理方式，由于贴源信息的内容较多，导致日志采集的资源消耗较多，影响业务系统的整体性能；同时，在需要进行贴源信息的变更时，需要变更配置文件参数并重启采集探针，操作较为复杂，无法保证日志采集的连续性。

技术实现思路

1、本技术提供一种日志数据处理方法、装置、设备及存储介质，用以减少日志采集的资源消耗，确保业务系统的整体性能，同时简化贴源信息的变更操作，确保日志采集的连续性。

2、第一方面，本技术提供一种日志数据处理方法，包括：

3、采集原始日志数据，并将微服务标识添加至所述原始日志数据中，得到中间日志数据；所述微服务标识存储在日志采集配置文件中；

4、加载部署信息，并在所述部署信息中，确定与所述中间日志数据的微服务标识相匹配的目标部署信息；

5、在所述中间日志数据中添加所述目标部署信息，得到目标日志数据并存储所述目标日志数据。

6、在一种可能的实施方式中，所述采集原始日志数据，并将微服务标识添加至所述原始日志数据中，得到中间日志数据，包括：

7、通过日志采集单元，采集所述原始日志数据；

8、从日志采集配置文件中确定所述原始日志数据对应的微服务标识；

9、将所述微服务标识添加至所述原始日志数据中，得到所述中间日志数据。

10、在一种可能的实施方式中，所述加载部署信息，包括：

11、通过自动部署单元确定部署信息并向部署信息存储单元发送部署信息；

12、通过所述部署信息存储单元，获取并存储所述部署信息，并向日志解析单元发送更新信息；

13、通过所述日志解析单元，基于所述更新信息从所述部署信息存储单元中加载所述部署信息。

14、在一种可能的实施方式中，所述方法还包括：

15、通过日志采集单元，将所述中间日志数据存储至数据总线中；

16、通过日志解析单元，从所述数据总线中按照时间顺序读取所述中间日志数据。

17、在一种可能的实施方式中，所述确定与所述中间日志数据的微服务标识相匹配的目标部署信息，包括：

18、通过日志解析单元，在所述部署信息中，将包括所述微服务标识的部署信息确定为所述目标部署信息。

19、在一种可能的实施方式中，所述在所述中间日志数据中添加所述目标部署信息，得到目标日志数据，包括：

20、通过日志解析单元，将所述目标部署信息中除所述微服务标识之外的其他部署信息添加至所述中间日志数据中，得到所述目标日志数据。

21、在一种可能的实施方式中，所述存储所述目标日志数据，包括：

22、通过日志解析单元，将所述目标日志数据发送至数据存储单元中；

23、通过所述数据存储单元，按照预设存储方式存储所述目标日志数据。

24、第二方面，本技术提供一种日志数据处理装置，包括：

25、第一添加模块，用于采集原始日志数据，并将微服务标识添加至所述原始日志数据中，得到中间日志数据；所述微服务标识存储在日志采集配置文件中；

26、加载模块，用于加载部署信息，并在所述部署信息中，确定与所述中间日志数据的微服务标识相匹配的目标部署信息；

27、第二添加模块，用于在所述中间日志数据中添加所述目标部署信息，得到目标日志数据并存储所述目标日志数据。

28、在一种可能的实施方式中，所述第一添加模块，具体用于：

29、通过日志采集单元，采集所述原始日志数据；

30、从日志采集配置文件中确定所述原始日志数据对应的微服务标识；

31、将所述微服务标识添加至所述原始日志数据中，得到所述中间日志数据。

32、在一种可能的实施方式中，所述加载模块，具体用于：

33、通过自动部署单元确定部署信息并向部署信息存储单元发送部署信息；

34、通过所述部署信息存储单元，获取并存储所述部署信息，并向日志解析单元发送更新信息；

35、通过所述日志解析单元，基于所述更新信息从所述部署信息存储单元中加载所述部署信息。

36、在一种可能的实施方式中，所述装置还用于：

37、通过日志采集单元，将所述中间日志数据存储至数据总线中；

38、通过日志解析单元，从所述数据总线中按照时间顺序读取所述中间日志数据。

39、在一种可能的实施方式中，所述加载模块，具体用于：

40、通过日志解析单元，在所述部署信息中，将包括所述微服务标识的部署信息确定为所述目标部署信息。

41、在一种可能的实施方式中，所述第二添加模块，具体用于：

42、通过日志解析单元，将所述目标部署信息中除所述微服务标识之外的其他部署信息添加至所述中间日志数据中，得到所述目标日志数据。

43、在一种可能的实施方式中，所述第二添加模块，具体用于：

44、通过日志解析单元，将所述目标日志数据发送至数据存储单元中；

45、通过所述数据存储单元，按照预设存储方式存储所述目标日志数据。

46、第三方面，本技术提供一种日志数据处理设备，包括：处理器、存储器；

47、所述存储器存储计算机执行指令；

48、所述处理器执行所述存储器存储的计算机执行指令，实现如第一方面任一项所述的日志数据处理方法。

49、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被执行时用于实现第一方面任一项所述的日志数据处理方法。

50、第五方面，本技术还提供一种计算机程序产品，包括计算机程序，该计算机程序被执行时实现第一方面任一项所述的日志数据处理方法。

51、本技术提供的日志数据处理方法、装置、设备及存储介质，采集原始日志数据，并将微服务标识添加至原始日志数据中，得到中间日志数据；微服务标识存储在日志采集配置文件中；加载部署信息，并在部署信息中，确定与中间日志数据的微服务标识相匹配的目标部署信息；在中间日志数据中添加目标部署信息，得到目标日志数据并存储目标日志数据。本技术中，服务器可以采集原始日志数据并将微服务标识添加至原始日志数据中，实现初步贴源处理，后续可以加载部署信息，并确定与微服务标识匹配的目标部署信息，然后将目标部署信息添加至中间日志数据中，实现完整部署信息的贴源处理，这样，采集探针的日志采集配置文件中可以仅包括有微服务标识，可以减少日志采集的资源消耗，提高业务系统的整体性能；同时贴源信息变更时可以直接可以动态加载更新后的部署信息，能够简化贴源信息的变更操作，可以确保日志采集的连续性，避免日志采集出现中断。