数据处理方法、系统、装置、计算机设备和存储介质与流程

本技术涉及云计算，特别是涉及一种数据处理方法、系统、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、单元是一个能完成所有业务操作的自包含集合，在这个集合中包含了所有业务所需的所有服务，以及分配给这个单元的数据。单元化架构就是把单元作为系统部署的基本单位，在全站所有机房中部署数个单元，任意一个单元都部署了系统所需的所有应用，数据则是全量数据按照某种维度(通常是客户维度)水平划分后的一部分。单元化是将服务和数据设计改造让其符合单元特征的过程。

2、然而，目前缺乏适用于单元化系统的监控的数据处理方法。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够适用于单元化系统的监控的数据处理方法、系统、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种数据处理方法。所述方法应用于单元化监控系统，所述单元化监控系统包括采集端、网关发送节点、网关接收节点和数据处理节点；所述方法包括：

3、通过所述采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

4、基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；

5、基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息；

6、通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。

7、在其中一个实施例中，所述通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理包括：

8、基于预设的单元化指标类型与目标存储空间之间的对应关系，通过所述数据处理节点确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。

9、在其中一个实施例中，在所述单元化监控数据的单元化指标类型为链路类的情况下，所述方法还包括：

10、通过所述数据处理节点对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；

11、通过所述数据处理节点将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；

12、通过所述数据处理节点根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；

13、通过所述数据处理节点将所述目标点边关系存储到第二数据库。

14、在其中一个实施例中，所述基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息包括：

15、通过所述网关发送节点缓存所述单元化监控数据对应的单元化监控信息；

16、通过所述网关发送节点对所述单元化监控信息打包，得到打包后的单元化监控信息；

17、通过所述网关发送节点对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。

18、在其中一个实施例中，所述基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息包括：

19、通过所述网关接收节点消费所述发送数据；

20、通过所述网关接收节点对所述发送数据解压，得到解压后的发送数据；

21、通过所述网关接收节点对所述解压后的发送数据进行解包处理，得到所述单元化监控信息。

22、在其中一个实施例中，所述发送所述发送数据包括：

23、将所述发送数据发送到消息中间件；

24、所述通过所述网关接收节点消费所述发送数据包括：

25、通过所述网关接收节点从所述消息中间件中消费所述发送数据。

26、第二方面，本技术还提供了一种数据处理系统。所述系统包括：

27、采集端，用于获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

28、网关发送节点，用于基于预设的发送策略，发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；

29、网关接收节点，用于基于预设的接收策略，接收所述单元化监控信息；

30、数据处理节点，用于根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。

31、在其中一个实施例中，所述数据处理节点，具体用于：

32、基于预设的单元化指标类型与目标存储空间之间的对应关系，确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。

33、在其中一个实施例中，在所述单元化监控数据的单元化指标类型为链路类的情况下，所述数据处理节点，还用于：

34、对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；

35、将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；

36、根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；

37、将所述目标点边关系存储到第二数据库。

38、在其中一个实施例中，所述网关发送节点，具体用于：

39、缓存所述单元化监控数据对应的单元化监控信息；

40、对所述单元化监控信息打包，得到打包后的单元化监控信息；

41、对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。

42、在其中一个实施例中，所述网关接收节点，具体用于：

43、消费所述发送数据；

44、对所述发送数据解压，得到解压后的发送数据；

45、对所述解压后的发送数据进行解包处理，得到所述单元化监控信息。

46、在其中一个实施例中，所述网关发送节点，具体用于：

47、将所述发送数据发送到消息中间件；

48、所述网关接收节点，具体用于：

49、从所述消息中间件中消费所述发送数据。

50、第三方面，本技术还提供了一种数据处理装置。所述装置应用于单元化监控系统，所述单元化监控系统包括采集端、网关发送节点、网关接收节点和数据处理节点；所述装置包括：

51、采集模块，用于通过所述采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；

52、发送模块，用于基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；

53、接收模块，用于基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息；

54、数据处理模块，用于通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。

55、在其中一个实施例中，所述数据处理模块，具体用于：

56、基于预设的单元化指标类型与目标存储空间之间的对应关系，通过所述数据处理节点确定所述单元化监控数据的目标存储空间，并将所述单元化监控数据存储到目标存储空间。

57、在其中一个实施例中，在所述单元化监控数据的单元化指标类型为链路类的情况下，所述装置还包括：

58、计算模块，用于通过所述数据处理节点对所述单元化监控数据进行拓扑计算，得到所述单元化监控数据包含的各链路节点对应的签名值；

59、第一存储模块，用于通过所述数据处理节点将所述签名值与所述单元化监控数据之间的目标映射关系存储到第一数据库；

60、确定模块，用于通过所述数据处理节点根据所述各链路节点对应的签名值，确定所述单元化监控数据包含的链路的目标点边关系；

61、第二存储模块，用于通过所述数据处理节点将所述目标点边关系存储到第二数据库。

62、在其中一个实施例中，所述发送模块，具体用于：

63、通过所述网关发送节点缓存所述单元化监控数据对应的单元化监控信息；

64、通过所述网关发送节点对所述单元化监控信息打包，得到打包后的单元化监控信息；

65、通过所述网关发送节点对所述打包后的单元化监控信息压缩，得到发送数据，并发送所述发送数据。

66、在其中一个实施例中，所述接收模块，具体用于：

67、通过所述网关接收节点消费所述发送数据；

68、通过所述网关接收节点对所述发送数据解压，得到解压后的发送数据；

69、通过所述网关接收节点对所述解压后的发送数据进行解包处理，得到所述单元化监控信息。

70、在其中一个实施例中，所述发送模块，具体用于：

71、将所述发送数据发送到消息中间件；

72、所述接收模块，具体用于：

73、通过所述网关接收节点从所述消息中间件中消费所述发送数据。

74、第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时上述第一方面所述的步骤。

75、第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时上述第一方面所述的步骤。

76、第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时上述第一方面所述的步骤。

77、上述数据处理方法、系统、装置、计算机设备、存储介质和计算机程序产品，所述方法应用于单元化监控系统，所述单元化监控系统包括采集端、网关发送节点、网关接收节点和数据处理节点；通过所述采集端获取单元化监控数据，并按照预设的单元化指标分类规则，确定所述单元化监控数据的单元化指标类型；所述单元化监控数据包括单元化元数据和所述单元化元数据对应的监控数据；基于预设的发送策略，通过所述网关发送节点发送所述单元化监控数据对应的单元化监控信息；所述单元化监控信息包含单元化监控数据和类型标识；所述类型标识用于表示所述单元化监控数据的单元化指标类型；基于预设的接收策略，通过所述网关接收节点接收所述单元化监控信息；通过所述数据处理节点根据所述单元化监控数据的类型标识和预设的存储规则，确定所述单元化监控数据的目标存储空间，并对所述单元化监控数据进行存储处理；所述单元化监控数据用于对单元化系统监控。这样，通过采集并处理包括单元化元数据的单元化监控数据，使得监控数据具备单元属性，实现对单元化监控系统的数据处理，完成对单元化系统的监控。同时，这样对单元化监控数据分类存储，能够提高数据存储和查询的效率，并提升单元化监控系统的高可用的能力。