一种联合学习模型训练方法、装置、设备及介质与流程

本申请涉及计算机，尤其涉及一种联合学习模型训练方法、装置、设备及介质。

背景技术：

1、复杂的工业场景相对于其他互联网场景具有更大的挑战，在用户燃气烟道问题检测中，其多变的人为、环境因素为联合学习的超参数调整造成了很多的困难。

2、相关技术中，通常采用随机采样的方式从超参数值对应的数据库中，随机选取一组超参数，并使用该组超参数对未被训练的模型进行配置。此外，在模型训练过程不会对超参数值进行调整，这就导致最终训练得到的模型的超参数值仍是该随机选取的超参数值。在联合学习中，模型超参数值的设置直接影响着最终的训练结果，随机选择的超参数值可能会影响模型运行的时间，还可能会影响模型的预测能力，导致训练得到的模型质量差。

技术实现思路

1、本申请提供了一种联合学习模型训练方法、装置、设备及介质，用以解决现有技术中随机选择的超参数值可能会影响模型运行的时间，还可能会影响模型的预测能力，导致训练得到的模型质量差的问题。

2、本申请实施例提供了一种联合学习模型训练方法，应用于服务器，所述方法包括：

3、针对每轮训练，执行以下操作：

4、根据当前保存的每组超参数值对应的概率值，确定一组目标超参数值，并使每个子模型采用该组目标超参数值进行训练；根据每个子模型对应的每个子损失值确定总损失值；若所述总损失值大于预设阈值，则根据fedex算法及所述总损失值，对所述每组超参数值对应的概率值进行更新；将每组超参数值及每组超参数值更新后的概率值输入到生成模型中，获取所述生成模型输出的一组候选超参数值；采用该组候选超参数值对当前保存的概率值最小的一组超参数值进行替换；并针对替换后的当前保存的每组超参数值对应的概率值重新执行上述操作。

5、进一步地，若当前的训练为首轮训练，所述根据当前保存的每组超参数值对应的概率值，确定一组目标超参数值之前，所述方法还包括：

6、从超参数值数据库中随机选取预设数量组超参数值，将所述预设数量组超参数值确定为所述当前保存的每组超参数值；

7、获取预先保存的初始概率值，将所述初始概率值确定为所述每组超参数值对应的概率值。

8、进一步地，所述根据fedex算法及所述总损失值，对所述每组超参数值对应的概率值进行更新包括：

9、将所述每组超参数值、每组超参数值对应的概率值以及所述总损失值输入到基于fedex算法构建的程序中；

10、获取所述程序输出的每组超参数值及每组超参数值对应的更新后的概率值。

11、进一步地，所述生成模型为基于贝叶斯算法设计得到的模型。

12、进一步地，所述采用该组超参数值对当前保存的概率值最小的一组超参数值进行替换包括：

13、根据所述每组超参数值对应的概率值，对所述每组超参数值进行排序，确定超参数值队列；

14、删除所述超参数值队列中的最后一组超参数值，并将所述候选超参数值添加到所述超参数值队列中。

15、进一步地，所述方法还包括：

16、针对每轮训练，若所述联合学习模型的训练轮数达到预设的数量阈值，则确定所述联合学习模型训练完成，并将该组目标超参数值确定为联合学习模型的最优超参数值；或，若该轮训练对应的总损失值不超过所述预设阈值，且总损失值不超过所述预设阈值的次数达到预设的次数阈值，则确定所述联合学习模型训练完成，并将该组目标超参数值确定为联合学习模型的最优超参数值。

17、本申请实施例还提供了一种联合学习模型训练装置，应用于服务器，所述装置包括：

18、确定模块，用于根据当前保存的每组超参数值对应的概率值，确定一组目标超参数值，并使每个子模型采用该组目标超参数值进行训练；

19、处理模块，用于根据每个子模型对应的每个子损失值确定总损失值；若所述总损失值大于预设阈值，则根据fedex算法及所述总损失值，对所述每组超参数值对应的概率值进行更新；

20、超参数值优化模块，用于将每组超参数值及每组超参数值更新后的概率值输入到生成模型中，获取所述生成模型输出的一组候选超参数值；采用该组候选超参数值对当前保存的概率值最小的一组超参数值进行替换；并针对替换后的当前保存的每组超参数值对应的概率值重新执行上述操作。

21、进一步地，所述确定模块，还用于若当前的训练为首轮训练，则从超参数值数据库中随机选取预设数量组超参数值，将所述预设数量组超参数值确定为所述当前保存的每组超参数值；获取预先保存的初始概率值，将所述初始概率值确定为所述每组超参数值对应的概率值。

22、本申请实施例还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述联合学习模型训练方法的步骤。

23、本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一所述联合学习模型训练方法的步骤。

24、在本申请实施例中，针对每轮训练，服务器执行以下操作：根据当前保存的每组超参数值对应的概率值，确定一组目标超参数值，并使每个子模型采用该组目标超参数值进行训练；根据每个子模型对应的每个子损失值确定总损失值；若该总损失值大于预设阈值，则根据fedex算法及该总损失值，对该每组超参数值对应的概率值进行更新；将每组超参数值及每组超参数值更新后的概率值输入到生成模型中，获取该生成模型输出的一组候选超参数值及该组候选超参数值对应的概率值；采用该组候选超参数值对当前保存的概率值最小的一组超参数值进行替换；并针对替换后的当前保存的每组超参数值对应的概率值重新执行上述操作。

技术特征：

1.一种联合学习模型训练方法，应用于服务器，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，若当前的训练为首轮训练，所述根据当前保存的每组超参数值对应的概率值，确定一组目标超参数值之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据fedex算法及所述总损失值，对所述每组超参数值对应的概率值进行更新包括：

4.根据权利要求1所述的方法，其特征在于，所述生成模型为基于贝叶斯算法设计得到的模型。

5.根据权利要求1所述的方法，其特征在于，所述采用该组超参数值对当前保存的概率值最小的一组超参数值进行替换包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种联合学习模型训练装置，应用于服务器，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述确定模块，还用于若当前的训练为首轮训练，则从超参数值数据库中随机选取预设数量组超参数值，将所述预设数量组超参数值确定为所述当前保存的每组超参数值；获取预先保存的初始概率值，将所述初始概率值确定为所述每组超参数值对应的概率值。

9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6任一所述联合学习模型训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述联合学习模型训练方法的步骤。

技术总结
本申请实施例提供了一种联合学习模型训练方法、装置、设备及介质，在本申请实施例中，服务器根据Fedex算法及总损失值，对每组超参数值对应的概率值进行更新；并根据每组超参数值及每组超参数值更新后的概率值，生成一组候选超参数值及该组候选超参数值对应的概率值；采用该组候选超参数值对当前保存的概率值最小的一组超参数值进行替换，实现了超参数值的优化。在本申请实施例中，避免直接随机选择一个超参数作为联合学习的超参数，而且根据不同超参数对应的训练效果，生成新的候选超参数值对已有的超参数值进行替换，从而使得可以选择最优的超参数，提高了模型的训练效果和预测能力。

技术研发人员：赵凡
受保护的技术使用者：新奥新智科技有限公司
技术研发日：
技术公布日：2024/1/15