一种模型训练方法、装置及通信设备与流程

本申请涉及无线通信，尤其涉及一种模型训练方法、装置及通信设备。

背景技术：

1、对于神经网络而言，神经元越多的网络，损失值的分布越小，即人工智能模型的深度和复杂度对于网络的收敛效率影响很大。而人工智能模型越复杂，训练的开销就越大，并且需要更多的数据和更多的算力来不断优化模型的性能，为了降低模型训练开销，现有的做法是将所有基础模型都在目标域中进行再训练，得到最优的模型，但数据传输的开销较大。

技术实现思路

1、本申请提供一种模型训练方法、装置及电子设备，以解决数据传输的开销较大的问题。

2、第一方面，本申请实施例提供了一种模型训练方法，包括：

3、第一节点接收第二节点发送的训练样本；

4、所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；

5、所述第一节点将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。

6、第二方面，本申请实施例还提供一种模型训练方法，包括：

7、第二节点将训练样本发送至第一节点，所述训练样本用于所述第一节点在预先获取的模型集中确定第一模型；

8、所述第二节点接收所述第一节点发送的第一模型；

9、所述第二节点对所述第一模型进行再训练，以得到目标模型。

10、第三方面，本申请实施例还提供一种模型训练方法，包括：

11、第一节点确定第一模型的训练策略；

12、第一节点向第二节点发送所述第一模型的训练策略，所述训练策略用于所述第二节点对所述第一模型进行再训练，以得到目标模型；

13、其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；

14、所述训练策略用于确定所述第一网络层和所述第二网络层。

15、第四方面，本申请实施例还提供一种模型训练方法，包括：

16、第二节点接收第一节点发送的第一模型的训练策略；

17、所述第二节点使用所述训练策略对第一模型进行再训练，以得到目标模型；

18、其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；

19、所述训练策略用于确定所述第一网络层和所述第二网络层。

20、第五方面，本申请实施例还提供一种模型训练装置，应用于第一节点，包括：

21、第一接收模块，用于接收第二节点发送的训练样本；

22、第一确定模块，用于基于所述训练样本，在预先获取的模型集中确定第一模型；

23、第一发送模块，用于将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。

24、第六方面，本申请实施例还提供一种模型训练装置，应用于第二节点，包括：

25、第二发送模块，用于将训练样本发送至第一节点，所述训练样本用于所述第一节点在预先获取的模型集中确定第一模型；

26、第二接收模块，用于接收所述第一节点发送的第一模型；

27、第一训练模块，用于对所述第一模型进行再训练，以得到目标模型。

28、第七方面，本申请实施例还提供一种模型训练装置，应用于第一节点，包括：

29、第二确定模块，用于确定第一模型的训练策略；

30、第三发送模块，用于向第二节点发送所述第一模型的训练策略，所述训练策略用于所述第二节点对所述第一模型进行再训练，以得到目标模型；

31、其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；

32、所述训练策略用于确定所述第一网络层和所述第二网络层。

33、第八方面，本申请实施例还提供一种模型训练装置，应用于第二节点，包括：

34、第三接收模块，用于接收第一节点发送的第一模型的训练策略；

35、第二训练模块，用于使用所述训练策略对第一模型进行再训练，以得到目标模型；

36、其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；

37、所述训练策略用于确定所述第一网络层和所述第二网络层。

38、第九方面，本申请实施例还提供一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤，或者实现如本申请实施例第三方面所述方法中的步骤，或者实现如本申请实施例第四方面所述方法中的步骤。

39、第十方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤，或者实现如本申请实施例第三方面所述方法中的步骤，或者实现如本申请实施例第四方面所述方法中的步骤。

40、这样，本申请实施例中，第一节点基于第二节点发送的训练样本，在训练集中确定第一模型，并将所述第一模型发送至所述第二节点，以实现所述第二节点对所述第一模型的再训练，得到目标模型，即在确定所述第二节点的第一模型的过程中，所述第一节点与所述第二节点之间仅需传输所述训练样本及基于所述第一模型即可，从而减少对数据传输的开销。

技术特征：

1.一种模型训练方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述第一节点接收第二节点发送的训练样本之前，所述方法还包括：

3.如权利要求2所述的方法，其特征在于，所述第一节点接收所述第二节点发送的训练数据的参数信息，包括：

4.如权利要求1至3中任一项所述的方法，其特征在于，所述第一节点接收第二节点发送的训练样本之前，所述方法还包括：

5.一种模型训练方法，其特征在于，包括：

6.如权利要求5所述的方法，其特征在于，所述第二节点将训练样本发送至第一节点之前，所述方法还包括：

7.如权利要求6所述的方法，其特征在于，所述第二节点向所述第一节点发送所述训练数据的参数信息，包括：

8.如权利要求5至7中任一项所述的方法，其特征在于，所述第二节点将训练样本发送至第一节点之前，所述方法还包括：

9.一种模型训练方法，其特征在于，包括：

10.如权利要求9所述的方法，其特征在于，所述第一节点确定第一模型的训练策略之前，所述方法还包括：

11.如权利要求9所述的方法，其特征在于，所述训练策略包括训练优先级信息，所述训练优先级信息用于确定每一网络层为所述第一网络层或所述第二网络层的优先级。

12.如权利要求9所述的方法，其特征在于，所述第一节点向第二节点发送所述第一模型的训练策略之后，所述方法还包括：

13.如权利要求9至12中任一项所述的方法，其特征在于，所述第一节点确定第一模型的训练策略之前，所述方法还包括：

14.一种模型训练方法，其特征在于，包括：

15.如权利要求14所述的方法，其特征在于，所述第二节点接收所述第一节点发送的第一模型的训练策略之前，所述方法还包括：

16.如权利要求14所述的方法，其特征在于，所述训练策略包括训练优先级信息，所述训练优先级信息用于确定每一网络层为所述第一网络层或所述第二网络层的优先级。

17.如权利要求14所述的方法，其特征在于，所述第二节点使用所述训练策略对第一模型进行再训练，以得到目标模型之后，所述方法还包括：

18.如权利要求14至17中任一项所述的方法，其特征在于，所述第二节点接收所述第一节点发送的第一模型的训练策略之前，所述方法还包括：

19.一种模型训练装置，应用于第一节点，其特征在于，包括：

20.一种模型训练装置，应用于第二节点，其特征在于，包括：

21.一种模型训练装置，应用于第一节点，包括：

22.一种模型训练装置，应用于第二节点，包括：

23.一种通信设备，其特征在于，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，

24.一种计算机可读存储介质，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的模型训练方法的步骤，或者实现如权利要求5至8中任一项所述的模型训练方法的步骤，或者实现如权利要求9至13中任一项所述的模型训练方法的步骤，或者实现如权利要求14至18中任一项所述的模型训练方法的步骤。

技术总结
本申请提供一种模型训练方法、装置及通信设备，所述方法包括：第一节点接收第二节点发送的训练样本；所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；所述第一节点将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。本申请可以减小数据传输的开销。

技术研发人员：李刚,温子睿,韩双锋
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/1/14