数据处理方法、装置、电子设备及计算机存储介质与流程

本技术涉及数据处理，具体而言，本技术涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术：

1、随着日志分析在控制台、网络应用、存储系统、并发系统以及一般系统等的广泛应用，日志文件在监控网络情况、检查硬件故障、保护软件安全等方面起着重要作用。通过分析系统日志记录程序运行时的动态信息，可以有效帮助运维人员分析重现错误，进而修复系统错误，提供系统运行时的可靠性。

2、然而，多个系统中每天产生的日志数量庞大，都需要全部传输到数据中心进行汇总，数据中心统一对所有日志数据进行分析和应用，数据中心需要分析的日志数据量大，负荷较大。

技术实现思路

1、本技术实施例旨在解决日志数量庞大，数据中心日志数据负荷大的问题。所述技术方案如下：

2、第一方面，本技术提供了一种数据处理方法，应用于至少两个互联网系统中的任一目标互联网系统，包括：

3、获取待处理的日志数据，并根据所述日志数据生成针对所述目标互联网系统的初始日志模板的更新日志模板；其中，所述初始日志模板用于对待处理的日志数据进行解析；

4、若生成至少一个更新日志模板，将所述至少一个更新日志模板分别转化为对应的至少一个第一特征向量并传输至数据中心；

5、接收所述数据中心传输的目标日志模板，基于所述目标日志模板对所述初始日志模板进行更新；其中，所述目标日志模板是所述数据中心基于各个互联网系统发送的第一特征向量进行聚合生成的。

6、在第一方面的可选实施例中，所述根据所述日志数据生成针对所述目标互联网系统的初始日志模板的更新日志模板，包括：

7、将所述日志数据和所述目标互联网系统的初始日志模板进行匹配，获取匹配结果；

8、若所述匹配结果为匹配失败，则基于所述日志数据生成更新日志模板。

9、在第一方面的可选实施例中，所述方法还包括：

10、若所述匹配结果为匹配成功，则更新与所述日志数据匹配的日志模板对应的索引值；其中，索引值指向对应的日志模板匹配的日志数据。

11、第二方面，本技术提供了一种数据处理方法，应用于数据中心，包括：

12、接收至少两个互联网系统分别传输的第一特征向量；针对至少两个互联网系统中的任一目标互联网系统，所述第一特征向量是由更新日志模板转化得到的；所述更新日志模板是所述目标互联网系统针对所述目标互联网系统的初始日志模板基于待处理的日志数据生成的；

13、将所述至少两个第一特征向量进行聚合，得到第二特征向量，基于所述第二特征向量生成目标日志模板；

14、将所述目标日志模板分别发送至各个互联网系统，以使各个所述互联网系统分别对各自的初始日志模板进行更新。

15、在第二方面的可选实施例中，所述将所述至少两个第一特征向量进行聚合，得到第二特征向量，包括：

16、基于各个第一特征向量的初始权重，将所述至少两个第一特征向量进行聚合，得到初始第二特征向量；

17、确定每一第一特征向量与所述初始第二特征向量之间的第一差异信息；基于各个第一差异信息确定第二差异信息；

18、若所述第二差异信息符合预设条件，则将所述初始第二特征向量作为所述第二特征向量；所述预设条件包括所述第二差异信息小于或等于预设阈值。

19、在第二方面的可选实施例中，所述方法还包括：

20、若所述第二差异信息不符合预设条件，重复调整所述各个第一特征向量的初始权重；基于调整权重后的各个第一特征向量得到更新后的初始第二特征向量，直至基于所述更新后的初始第二特征向量与所述各个第一特征向量对应的第二差异信息符合所述预设条件，将所述更新后的初始第二特征向量作为所述第二特征向量。

21、在第二方面的可选实施例中，所述方法还包括：

22、基于待处理的多个互联网系统和数据中心确定通信方式；所述通信方式包括星型，网型或链型；

23、基于所述通信方式将所述目标日志模板传输给所述多个互联网系统和所述数据中心。

24、第三方面，提供了一种数据处理装置，应用于至少两个互联网系统中的任一目标互联网系统，该装置包括：

25、获取模块，用于获取待处理的日志数据，并根据所述日志数据生成针对所述目标互联网系统的初始日志模板的更新日志模板；其中，所述初始日志模板用于对待处理的日志数据进行解析；

26、传输模块，用于若生成至少一个更新日志模板，将所述至少一个更新日志模板分别转化为对应的至少一个第一特征向量并传输至数据中心；

27、更新模块，用于接收所述数据中心传输的目标日志模板，基于所述目标日志模板对所述初始日志模板进行更新；其中，所述目标日志模板是所述数据中心基于各个互联网系统发送的第一特征向量进行聚合生成的。

28、第四方面，提供了一种数据处理装置，应用于数据中心，包括：

29、接收模块，用于接收至少两个互联网系统分别传输的第一特征向量；针对至少两个互联网系统中的任一目标互联网系统，所述第一特征向量是由更新日志模板转化得到的；所述更新日志模板是所述目标互联网系统针对所述目标互联网系统的初始日志模板基于待处理的日志数据生成的；

30、聚合模块，用于将所述至少两个第一特征向量进行聚合，得到第二特征向量，基于所述第二特征向量生成目标日志模板；

31、发送模块，用于将所述目标日志模板分别发送至各个互联网系统，以使各个所述互联网系统分别对各自的初始日志模板进行更新。

32、第五方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现本技术第一方面或第二方面中任一项所述方法的步骤。

33、第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本技术第一方面或第二方面中任一项所示的数据处理方法。

34、本技术实施例提供的技术方案带来的有益效果是：

35、本技术提供的数据处理方法，通过两个及以上互联网系统中的任一目标互联网系统分别先基于待处理的日志数据生成更新日志模板，然后再将更新日志模板发送至数据中心，数据中心再基于各个目标互联网系统发送的更新日志模板生成目标日志模板，并将目标日志模板分别发送至各个目标互联网系统，以使各个目标互联网系统分别基于目标日志模板对待处理的日志数据进行解析，可以有效减少数据中心的负荷。

36、此外，各个互联网系统从日志数据中提取更新日志模板并转化为第一特征向量，将向量传输至数据中心，能有效减少传递的数据量，减少传输压力。

37、进一步的，通过在数据中心中将两个及以上互联网系统传输的第一特征向量进行聚合得到第二特征向量，并对各个第一特征向量的权重进行调整直至第二特征向量与各个第一特征向量的差异符合预设条件，得到更新后的第二特征向量并生成目标日志模板传递给各个互联网系统，能够使数据中心的聚合结果更加接近最优的聚合结果，使得上述数据处理方法的效果更好。