一种基于联邦学习的云主机负载预测方法与流程

本发明涉及云主机负载预测，尤其是涉及一种基于联邦学习的云主机负载预测方法。

背景技术：

1、当前的云主机负载预测过程普遍如下：首先云主机监控服务不断地采集用户购买的云主机的cpu、内存、网络、io等负载数据然后上报给监控服务器，写入数据库；然后使用数据库里的历史指标数据训练模型；最后模型使用最新数据预测未来的负载。

2、上述中的现有技术方案存在以下缺陷：先出于保护客户隐私的前提，云主机监控服务采集的数据类型只限于资源利用率及其聚合信息，这限制了预测模型性能的进一步提升；其次，宿主机监控服务不断上传监控数据，占用了云主机的网络带宽和内存，大量云主机同时采集和上传数据，对中央监控服务器的性能也有较高要求。

技术实现思路

1、本发明的目的是提供一种配合各种优化目标下的虚拟机调度算法，从而提高资源利用率，节省能源开销和成本的基于联邦学习的云主机负载预测方法。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于联邦学习的云主机负载预测方法，其方法如下：

4、s1：设置系统，构建预测系统，整个系统包括本地数据采集模块、本地模型训练模块、中心服务器、负载预测模块和监控平台，具体工作流程如下：

5、a1：中心服务器将全局模型参数发给各个云主机的本地模型训练模块；

6、a2：本地数据采集模块负责采集数据形成训练或推理样本；

7、a3：本地模型训练模块的负责使用本地样本进行训练，更新本地模型，并将参数变动发送给中心服务器；

8、a4：中心服务器接收云主机的本地模型的参数变动进行聚合后更新全局模型，并分发给云主机内的本地模型训练模块；

9、a5：负载预测模块负责接收监控平台的拉取指令或定时向监控平台推送负载预测数据，生成负载预测。

10、进一步地，所述a2中采集的数据包括有cpu、内存、网络、io的负载信息。

11、进一步地，所述a2中采集的数据中还包括有占用资源最多的k个进程的进程名称、参数、cpu占用量、内存占用量。

12、进一步地，所述a2的中采集的数据中还包括处于io状态的前p个文件名称、大小。

13、进一步地，所述a3中为了能够编码多种数据，模型包括：使用序列模型等编码文件名、进程名、进程参数，形成固定长度的向量，将其与资源占用情况拼接成固定长度的向量，不同时间的该向量形成序列数据再次输入另一个序列模型。

14、进一步地，所述a3中模型输出是下一个时间点cpu、内存、网络、io的负载情况。

15、进一步地，所述a3中将参数更新发送给中心服务器时，采用差分隐私来增强隐私安全性。

16、进一步地，所述本地数据采集模块和预测模块提前制作到镜像中，或后期部署。

17、进一步地，所述本地数据采集模块和负载预测模块设置后，部署中心服务器，初始化全局模型并进行分发，最后部署监控平台用于拉取或接收负载预测模块的预测结果。

18、进一步地，所述a5中负载预测模块使用最新的本地模型推理本地数据采集模块产生的最新样本，生成负载预测。

19、综上所述，本发明的有益技术效果为：

20、1、本发明相比之前的采集云主机的性能指标数据到中心数据仓库，本专利减少了向外发送的云主机性能指标数据，更加保护了用户隐私；

21、2、本发明通过在云主机内部本地采集更加丰富的进程和文件级别的数据，训练出针对负载预测效果更精准的神经网络模型；

22、3、本发明使用联邦学习和精确到进程、文件级别的样本得到负载预测模型，且数据采集、存储和负载预测完全发生于云主机内部，向外发送的只有负载预测结果和差分后的模型参数梯度。

技术特征：

1.一种基于联邦学习的云主机负载预测方法，其特征在于：其方法如下：

2.根据权利要求1所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a2中采集的数据包括有cpu、内存、网络、io的负载信息。

3.根据权利要求2所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a2中采集的数据中还包括有占用资源最多的k个进程的进程名称、参数、cpu占用量、内存占用量。

4.根据权利要求3所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a2的中采集的数据中还包括处于io状态的前p个文件名称、大小。

5.根据权利要求4所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a3中为了能够编码多种数据，模型包括：使用序列模型等编码文件名、进程名、进程参数，形成固定长度的向量，将其与资源占用情况拼接成固定长度的向量，不同时间的该向量形成序列数据再次输入另一个序列模型。

6.根据权利要求5所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a3中模型输出是下一个时间点cpu、内存、网络、io的负载情况。

7.根据权利要求6所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a3中将参数更新发送给中心服务器时，采用差分隐私来增强隐私安全性。

8.根据权利要求7所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述本地数据采集模块和预测模块提前制作到镜像中，或后期部署。

9.根据权利要求8所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述本地数据采集模块和负载预测模块设置后，部署中心服务器，初始化全局模型并进行分发，最后部署监控平台用于拉取或接收负载预测模块的预测结果。

10.根据权利要求9所述的一种基于联邦学习的云主机负载预测方法，其特征在于：所述a5中负载预测模块使用最新的本地模型推理本地数据采集模块产生的最新样本，生成负载预测。

技术总结
本发明公开了一种基于联邦学习的云主机负载预测方法，其涉及云主机负载预测技术领域，旨在解决宿主机监控服务不断上传监控数据，占用了云主机的网络带宽和内存，大量云主机同时采集和上传数据，对中央监控服务器的性能也有较高要求的问题，其技术方案要点是S1：设置系统，具体工作流程如下：A1：中心服务器将全局模型参数发给各个云主机的本地模型训练模块；A2：本地数据采集模块负责采集数据形成训练或推理样本；A3：本地模型训练模块的负责使用本地样本进行训练；A4：中心服务器接收云主机的本地模型的参数变动进行聚合后更新全局模型；A5：生成负载预测。达到了减少了向外发送的云主机性能指标数据，更加保护了用户隐私的效果。

技术研发人员：冯存光,石明坤,孟祥龙,张静雅,齐良
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17