负载均衡性分析方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种负载均衡性分析方法、装置、设备及存储介质。

背景技术：

1、负载均衡就是一种计算机网络技术，用来在多个计算机(计算机集群)、网络连接、cpu、磁碟驱动器或其他资源中分配负载，以达到最佳化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。负载均衡的算法有很多，大体可以分为两类：静态负载均衡，动态反馈负载均衡。静态负载均衡基于固定的模型或算法分配任务，动态反馈负载均衡根据节点的负载情况动态的调整任务分配。根据cpu利用率、内存利用率、磁盘使用情况、连接数、进程数等硬件资源信息综合计算各个服务器的负载值，然后与一个己设定的代表系统利用率的阀值比较，如大于阀值则说明负载较重应调小权值，反之则调大权值。

2、多数算法收集的负载信息可分为三类：输入指标、服务器指标、响应指标。输入指标是在调度器上收集到的单位时间内服务器收到新请求数与平均请求数的比例；服务器指标是在服务器上的各种负载信息；响应指标是服务器所提供服务的响应延迟。其中服务器指标主要记录服务器各种负载信息，如服务器当前cpu负载、服务器当前磁盘使用情况、当前内存利用率、当前进程数目等。对于服务器指标，虽然已有部分工作定义了一套资源使用相关的指标，但并不能很好的反映一个并行计算任务在计算机集群各个节点上分配的负载均衡性。

3、亟需一种负载均衡性分析方法，解决现有技术中如何准确地反映并行计算任务在并行计算集群各个节点上的负载均衡性的技术问题。

技术实现思路

1、本发明的主要目的在于提供了一种负载均衡性分析方法、装置、设备及存储介质，旨在解决现有技术中如何准确地反映并行计算任务在并行计算集群各个节点上的负载均衡性的技术问题。

2、为实现上述目的，本发明提供了一种负载均衡性分析方法，所述方法包括以下步骤:

3、向并行计算集群发送集群计算任务和事件采样任务，所述事件采集任务用于指示所述并行计算集群在通过集群内的计算节点启动所述集群计算任务时，对计算进程进行事件采样，获得采样数据；

4、根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息；

5、分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量；

6、基于所述目标向量之间的相似度对各所述计算节点的负载均衡性进行分析。

7、可选地，所述基于所述目标向量之间的相似度对各所述计算节点的负载均衡性进行分析的步骤，包括：

8、基于余弦相似度计算公式和/或欧式距离计算公式计算各所述目标向量之间的相似度；

9、根据所述相似度对各所述计算节点的负载均衡性进行分析。

10、可选地，所述根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息的步骤，包括：

11、获取所述并行计算集群上传的所述采样数据；

12、按照所述计算节点的节点标识对所述采样数据进行合并，获得初始进程事件信息；

13、根据所述初始进程事件信息中的事件名进行聚合，获得所述并行计算集群中各所述计算节点对应的进程事件信息。

14、可选地，所述根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息的步骤之后，还包括：

15、将各所述计算节点对应的进程事件信息中的事件名进行汇总并去重，获得待排序事件名数据；

16、按照所述事件名的字符串顺序对所述待排序事件名数据进行排序，获得排序结果；

17、基于所述排序结果为所述事件名设置编号，所述编号与所述事件名一一对应。

18、可选地，所述分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量的步骤之前，还包括：

19、获取各所述进程事件信息中的事件计数值；

20、基于预设规则，确定所述事件计数值对应的权重值。

21、可选地，所述分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量的步骤，具体包括：

22、基于所述事件名对应的编号和所述事件计数值对应的权重值，分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量。

23、可选地，所述获取所述并行计算集群上传的所述采样数据的步骤，包括：

24、根据预设时间间隔获取所述并行计算集群上传的所述采样数据；

25、或，

26、在接收到所述集群计算任务对应的结束信号时，获取所述并行计算集群上传的所述采样数据。

27、此外，为实现上述目的，本发明还提出一种负载均衡性分析装置，所述装置包括：

28、任务发送模块，用于向并行计算集群发送集群计算任务和事件采样任务，所述事件采集任务用于指示所述并行计算集群在通过集群内的计算节点启动所述集群计算任务时，对计算进程进行事件采样，获得采样数据；

29、信息获取模块，用于根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息；

30、数据处理模块，用于分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量；

31、负载分析模块，用于基于所述目标向量之间的相似度对各所述计算节点的负载均衡性进行分析。

32、此外，为实现上述目的，本发明还提出一种负载均衡性分析设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的负载均衡性分析程序，所述负载均衡性分析程序配置为实现如上文所述的负载均衡性分析方法的步骤。

33、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有负载均衡性分析程序，所述负载均衡性分析程序被处理器执行时实现如上文所述的负载均衡性分析方法的步骤。

34、本发明通过向并行计算集群发送集群计算任务和事件采样任务，所述事件采集任务用于指示所述并行计算集群在通过集群内的计算节点启动所述集群计算任务时，对计算进程进行事件采样，获得采样数据；根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息；分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量；基于所述目标向量之间的相似度对各所述计算节点的负载均衡性进行分析。由于本发明是通过获取并行计算集群中各计算节点对应的进程事件信息，然后将各进程事件信息中的事件名和事件计数值向量化获得目标向量，最后根据各目标向量之间的相似度对各计算节点的负载均衡性进行分析，相比于现有技术比较每个节点的os负载和每个节点的任务数进行负载均衡性分析，本发明更准确的反映了并行计算任务在并行计算集群各个节点上的负载均衡性。

技术特征：

1.一种负载均衡性分析方法，其特征在于，所述负载均衡性分析方法包括以下步骤：

2.如权利要求1所述的负载均衡性分析方法，其特征在于，所述基于所述目标向量之间的相似度对各所述计算节点的负载均衡性进行分析的步骤，包括：

3.如权利要求1所述的负载均衡性分析方法，其特征在于，所述根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息的步骤，包括：

4.如权利要求1所述的负载均衡性分析方法，其特征在于，所述根据所述采样数据获取所述并行计算集群中各所述计算节点对应的进程事件信息的步骤之后，还包括：

5.如权利要求4所述的负载均衡性分析方法，其特征在于，所述分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量的步骤之前，还包括：

6.如权利要求5所述的负载均衡性分析方法，其特征在于，所述分别将各所述进程事件信息中的事件名和事件计数值向量化，获得目标向量的步骤，具体包括：

7.如权利要求3所述的负载均衡性分析方法，其特征在于，所述获取所述并行计算集群上传的所述采样数据的步骤，包括：

8.一种负载均衡性分析装置，其特征在于，所述装置包括：

9.一种负载均衡性分析设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的负载均衡性分析程序，所述负载均衡性分析程序配置为实现如权利要求1至7中任一项所述的负载均衡性分析方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有负载均衡性分析程序，所述负载均衡性分析程序被处理器执行时实现如权利要求1至7任一项所述的负载均衡性分析方法的步骤。

技术总结
本发明公开了一种负载均衡性分析方法、装置、设备及存储介质，该方法包括：向并行计算集群发送集群计算任务和事件采样任务，事件采集任务用于指示并行计算集群在通过集群内的计算节点启动集群计算任务时，对计算进程进行事件采样，获得采样数据；根据采样数据获取并行计算集群中各计算节点对应的进程事件信息；分别将各进程事件信息中的事件名和事件计数值向量化，获得目标向量；基于目标向量之间的相似度对各计算节点的负载均衡性进行分析。相比于现有技术比较每个节点的OS负载和每个节点的任务数进行负载均衡性分析，本发明更准确的反映了并行计算任务在并行计算集群各个节点上的负载均衡性。

技术研发人员：何采凡,李志
受保护的技术使用者：杭州鸿钧微电子科技有限公司
技术研发日：
技术公布日：2024/3/21