软件性能数据采集方法及装置与流程

本公开涉及大数据，尤其涉及一种软件性能数据采集方法及装置。

背景技术：

1、目前，在大数据、人工智能、云计算等主流新型技术的背景下，在生产业务不断进行的过程中，政企时刻需要保障应用软件的高效管控和平稳运行，精准定位故障信息，实时保证设备网络安全，防止出现网络攻击等，需要采集并处理应用软件性能数据。随着运维软件的逐步增加，大量的软件性能数据采集回来后，存在过多的脏数据或无用数据，给软件的性能高效监控带来了巨大挑战。同时，如何合理的存储大量软件性能数据也是亟待解决的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种软件性能数据采集方法及装置。

2、第一方面，本公开的实施例提供了一种软件性能数据采集方法，其特征在于，应用于软件性能数据采集装置，所述软件性能数据采集装置包括一个代理服务器和多个服务器设备，所述方法包括：

3、利用探针采集每个服务器设备的目标软件的指定数据，其中，所述指定数据包括指标数据、日志数据和链路数据；

4、将采集的指定数据发送至代理服务器，按照时间戳汇聚同一服务器设备同一目标软件的指定数据；

5、存储汇聚的指定数据；

6、对存储的指定数据进行治理。

7、在一种可能的实施方式中，所述按照时间戳汇聚同一服务器设备同一目标软件的指定数据，包括：

8、将同一服务器设备同一目标软件同一时间戳的指标数据、日志数据和链路数据进行关联；

9、对关联后的指标数据、日志数据和链路数据进行汇聚。

10、在一种可能的实施方式中，所述对存储的指定数据进行治理，包括：

11、根据预设关键字对存储的指定数据进行过滤，并对过滤后数据进行空数据去重；

12、对去重后数据进行上报优先级排序。

13、在一种可能的实施方式中，所述存储汇聚的指定数据，包括：

14、将所述指定数据按照不同的格式全量存储至不同类型的数据库中；

15、对各数据库的存储情况进行实时监控和采集，采集获取迁移瓶颈状态数据信息，并实时检测缓存调节态势数据信息；

16、将迁移瓶颈状态数据信息和缓存调节态势数据信息进行数据清洗和特征提取，并依据无量纲处理技术将处理后的数据信息进行标准化处理；

17、将数据清洗后的迁移瓶颈状态数据信息进行综合分析学习，以获取瓶颈因子，并结合数据迁移时出现的中断次数，汇总生成迁移状态系数；

18、通过特征提取后的缓存调节态势数据信息，获取块大小和缓存命中率，并将所述块大小与所述缓存命中率相关联，获取缓存调控系数，将所述缓存调控系数与所述迁移状态系数进行综合分析，并结合神经网络模型后训练生成软件存储性能预测模型，并经过无量纲处理后，以获取性能态势评估指数；

19、将预先设置的评估阈值与所述性能态势评估指数进行对比分析，获取预测结果，针对预测结果获取相应的等级提升策略。

20、在一种可能的实施方式中，所述性能态势评估指数通过以下公式获取：

21、

22、其中，tszs表示性能态势评估指数，ttlz表示为吞吐量，f1、f2和f3分别表示为缓存调控系数tkxs、迁移状态系数pyxs和吞吐量ttlz的比例系数，其中，0.10≤f1≤0.22，0.15≤f2≤0.36，0.20≤f3≤0.42，且0.55≤f1+f2+f3≤1.0，c表示为第一修正常数。

23、在一种可能的实施方式中，所述迁移状态系数通过以下公式获取：

24、

25、其中，pyxs表示为迁移状态系数，ysjz表示为已迁移数据量，α和β均表示为比例系数，m1表示为第三修正常数。

26、在一种可能的实施方式中，所述缓存调控系数通过以下公式获取：

27、

28、其中，tkxs表示为缓存调控系数，rlz表示为缓存容量，kds表示为块大小，hcmz表示为缓存命中率，a1和a2均表示为比例系数，m2表示为第四修正常数。

29、在一种可能的实施方式中，所述瓶颈因子pjyz通过以下公式获取：

30、

31、其中，wlkd表示为网络带宽，dssd表示为读写速度，bflj表示为并发连接数，j、h和i分别表示为网络带宽wlkd、读写速度dssd和并发连接数bflj的比例系数，其中，0.05≤j≤0.20，0.15≤h≤0.30，0.33≤i≤0.50，且0.60≤j+h+i+≤1.0，p表示为第二修正常数。

32、第二方面，本公开的实施例提供了一种软件性能数据采集装置，包括一个代理服务器和多个服务器设备，其中，

33、利用探针采集每个服务器设备的每个目标软件的指定数据，其中，所述指定数据包括指标数据、日志数据和链路数据；

34、将采集的指定数据发送至代理服务器，按照时间戳汇聚同一服务器设备同一目标软件的指定数据；

35、存储汇聚的指定数据；

36、对存储的指定数据进行治理。

37、在一种可能的实施方式中，所述代理服务器还用于：

38、将同一服务器设备同一目标软件同一时间戳的指标数据、日志数据和链路数据进行关联；

39、对关联后的指标数据、日志数据和链路数据进行汇聚。

40、本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：

41、本公开实施例所述的软件性能数据采集方法，利用探针采集每个服务器设备的目标软件的指定数据，其中，所述指定数据包括指标数据、日志数据和链路数据；将采集的指定数据发送至代理服务器，按照时间戳汇聚同一服务器设备同一目标软件的指定数据；存储汇聚的指定数据；对存储的指定数据进行治理，能够对采集的大量软件性能数据进行治理和合理存储，从而保障应用软件的高效管控和平稳运行。

技术特征：

1.一种软件性能数据采集方法，其特征在于，应用于软件性能数据采集装置，所述软件性能数据采集装置包括一个代理服务器和多个服务器设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述按照时间戳汇聚同一服务器设备同一目标软件的指定数据，包括：

3.根据权利要求1所述的方法，其特征在于，所述对存储的指定数据进行治理，包括：

4.根据权利要求1所述的方法，其特征在于，所述存储汇聚的指定数据，包括：

5.根据权利要求4所述的方法，其特征在于，所述性能态势评估指数通过以下公式获取：

6.根据权利要求4所述的方法，其特征在于，所述迁移状态系数通过以下公式获取：

7.根据权利要求4所述的方法，其特征在于，所述缓存调控系数通过以下公式获取：

8.根据权利要求4所述的方法，其特征在于，所述瓶颈因子pjyz通过以下公式获取：

9.一种软件性能数据采集装置，其特征在于，包括一个代理服务器和多个服务器设备，其中，

10.根据权利要求9所述的装置，其特征在于，所述代理服务器还用于：

技术总结
本公开涉及一种软件性能数据采集方法及装置，所述方法包括：利用探针采集每个服务器设备的目标软件的指定数据，其中，所述指定数据包括指标数据、日志数据和链路数据；将采集的指定数据发送至代理服务器，按照时间戳汇聚同一服务器设备同一目标软件的指定数据；存储汇聚的指定数据；对存储的指定数据进行治理，能够对采集的大量软件性能数据进行治理和合理存储，从而保障应用软件的高效管控和平稳运行。

技术研发人员：高士尧,张伟,黄智
受保护的技术使用者：北京比格大数据有限公司
技术研发日：
技术公布日：2024/4/17