一种基于模型训练的通信方法、装置及系统与流程

文档序号:25991761发布日期:2021-07-23 21:03阅读:来源:国知局

技术特征:

1.一种基于模型训练的通信方法,其特征在于,应用于包括中心服务器和通信设备的系统中;所述方法包括:

所述通信设备确定第一模型参数取值的变化量;

若所述通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则所述通信设备在预设时段内停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,所述第一模型参数取值的更新量由所述通信设备在进行模型训练的过程中根据用户数据确定;

所述通信设备接收所述中心服务器发送的第二模型参数取值;其中,在所述预设时段内,所述第二模型参数取值不包括所述第一模型参数取值。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

在所述预设时段之后,所述通信设备向所述中心服务器发送所述第一模型参数取值的更新量以及接收所述中心服务器发送的所述第一模型参数取值。

3.根据权利要求1所述的方法,其特征在于,所述通信设备在预设时段内停止向所述中心服务器发送所述第一模型参数取值的更新量,包括:

所述通信设备向所述中心服务器发送报文,所述报文包含第三模型参数取值的更新量与对应的标识位的取值;所述第三模型参数取值的更新量包括所述第二模型参数取值的更新量和所述第一模型参数取值的更新量;其中,在所述预设时段内,所述第一模型参数取值的更新量对应的标识位的取值用于表示所述通信设备未向所述中心服务器传输所述第一模型参数取值的更新量;

或者,所述通信设备向所述中心服务器发送报文,所述报文包含所述第二模型参数取值的更新量与对应的标识位的取值;其中,在所述预设时段内,所述第二模型参数取值的更新量不包括所述第一模型参数取值的更新量,所述第二模型参数对应的标识位的取值用于表示所述通信设备向所述中心服务器传输所述第二模型参数取值的更新量。

4.根据权利要求1所述的方法,其特征在于,所述通信设备确定第一模型参数取值的变化量,包括:

所述通信设备根据所述第一模型参数取值的历史信息获得所述第一模型参数取值的变化量。

5.根据权利要求4所述的方法,其特征在于,所述取值的历史信息包括:所述第一模型参数取值的有效变化量和所述第一模型参数取值的累计变化量。

6.根据权利要求1-5任一项所述的方法,其特征在于,所述通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,包括:

若所述第一模型参数取值的变化量小于预设阈值,则确定所述第一模型参数稳定。

7.根据权利要求1至6任一项所述的方法,其特征在于,所述通信设备确定第一模型参数取值的变化量,包括:

所述通信设备m次确定所述第一模型参数取值的变化量;其中,m为大于等于2的正整数;

所述通信设备根据所述第一模型参数第k次的稳定状态确定预设时段满足的预设条件包括:

若第k次根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则所述预设时段的时长为第一时长,所述第一时长大于第二时长;其中,所述第二时长为第k-1次确定第一模型参数稳定时,停止向所述中心服务器发送所述第一模型参数取值的更新量的预设时段的时长;或者,所述第二时长为第k-1次确定第一模型参数未稳定时,得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的时长;其中,所述k为正整数,k≤m。

8.根据权利要求7所述的方法,其特征在于,所述预设条件还包括:

若第k次确定所述第一模型参数未稳定,则得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的第三时长,所述第三时长小于第四时长;其中,所述第四时长为第k-1次确定第一模型参数稳定时,停止向所述中心服务器发送所述第一模型参数取值的更新量的预设时段的时长;或者,所述第四时长为第k-1次确定第一模型参数未稳定时,得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的时长。

9.根据权利要求7或8所述的方法,其特征在于,所述若通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则所述通信设备在预设时段内停止向所述中心服务器发送所述第一模型参数取值的更新量,包括:

若第k次所述通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则在n个发送周期内停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,n为正整数;

在所述n个发送周期之后,若第k+1次所述通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则在(n+m)个发送周期内停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,m为正整数;

在所述n个发送周期之后,若第k+1次所述通信设备根据所述第一模型参数取值的变化量确定所述第一模型参数未稳定,则若第k+2次所述通信设备根据所述变化量确定所述第一模型参数稳定,在(n/r+m)个发送周期内停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,r为大于等于2的正整数,(n/r)≥1;

其中,所述发送周期为通信设备向所述中心服务器发送模型参数取值的更新量的周期。

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

所述通信设备按照检测周期确定所述第一模型参数取值的变化量;所述发送周期小于所述检测周期。

11.根据权利要求6至10任一项所述的方法,其特征在于,所述方法还包括:

若所述通信设备确定稳定的所述第一模型参数的数量与第三模型参数的数量的比例大于预设比例,则减小预设阈值的取值。

12.根据权利要求1至11任一项所述的方法,其特征在于,所述通信设备确定第一模型参数取值的变化量之前,所述方法还包括:

所述通信设备接收所述中心服务器发送的所述第二模型参数取值。

13.一种基于模型训练的通信方法,其特征在于,应用于包括中心服务器和通信设备的系统中;所述方法包括:

所述中心服务器接收所述通信设备发送的第二模型参数取值的更新量;在预设时段内,所述第二模型参数取值的更新量中不包含第一模型参数取值的更新量;其中,所述第一模型参数为根据所述第一模型参数取值的变化量确定稳定的模型参数;

所述中心服务器根据所述第二模型参数取值的更新量确定所述第二模型参数更新后的取值;

所述中心服务器向所述通信设备发送所述第二模型参数更新后的取值;在预设时段内,所述第二模型参数更新后的取值中不包含第一模型参数更新后的取值。

14.根据权利要求13所述的方法,其特征在于,所述方法还包括:

在所述预设时段之后,所述中心服务器向所述通信设备发送所述第一模型参数取值以及接收所述通信设备发送的所述第一模型参数取值的更新量。

15.根据权利要求13所述的方法,其特征在于,所述中心服务器向所述通信设备发送所述第二模型参数更新后的取值;在预设时段内,所述第二模型参数更新后的取值中不包含第一模型参数更新后的取值,包括:

所述中心服务器向所述通信设备发送报文,所述报文包含第三模型参数更新后的取值与对应的标识位的取值;所述第三模型参数更新后的取值包括所述第二模型参数更新后的取值和所述第一模型参数更新后的取值;其中,在所述预设时段内,所述第一模型参数更新后的取值对应的标识位的取值用于表示所述中心服务器未向所述通信设备传输所述第一模型参数更新后的取值;

或者,所述中心服务器向所述通信设备发送报文,所述报文包含所述第二模型参数更新后的取值与对应的标识位的取值;其中,在所述预设时段内,所述第二模型参数更新后的取值不包括所述第一模型参数更新后的取值,所述第二模型参数对应的标识位的取值用于表示所述中心服务器向所述通信设备传输所述第二模型参数更新后的取值。

16.根据权利要求13至15任一项所述的方法,其特征在于,所述第一模型参数为根据所述第一模型参数取值的变化量确定稳定的模型参数,包括:

若所述第一模型参数取值的变化量小于预设阈值,则确定所述第一模型参数稳定。

17.根据权利要求13至16任一项所述的方法,其特征在于,所述中心服务器接收所述通信设备发送的第二模型参数取值的更新量之前,所述方法还包括:

所述中心服务器向所述通信设备发送所述第二模型参数取值。

18.一种基于模型训练的通信装置,其特征在于,所述装置包括:处理单元,发送单元,接收单元;

所述处理单元,用于确定第一模型参数取值的变化量;

所述处理单元,还用于根据所述第一模型参数取值的变化量确定所述第一模型参数是否稳定;

发送单元,用于向中心服务器发送所述第一模型参数取值的更新量;若所述处理单元根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则所述发送单元在预设时段内停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,所述第一模型参数的取值的更新量由所述处理单元在进行模型训练的过程中根据用户数据确定;

所述接收单元,用于接收所述中心服务器发送的第二模型参数取值;其中,在所述预设时段内,所述第二模型参数取值不包括所述第一模型参数取值。

19.根据权利要求18所述的装置,其特征在于,

所述发送单元,还用于在所述预设时段之后,向所述中心服务器发送所述第一模型参数取值的更新量;

所述接收单元,还用于在所述预设时段之后,接收所述中心服务器发送的所述第一模型参数取值。

20.根据权利要求18所述的装置,其特征在于,所述发送单元具体用于:

向所述中心服务器发送报文,所述报文包含第三模型参数取值的更新量与对应的标识位的取值;所述第三模型参数取值的更新量包括所述第二模型参数取值的更新量和所述第一模型参数取值的更新量;其中,在所述预设时段内,所述第一模型参数取值的更新量对应的标识位的取值用于表示所述发送单元未向所述中心服务器传输所述第一模型参数取值的更新量;

或者,向所述中心服务器发送报文,所述报文包含所述第二模型参数取值的更新量与对应的标识位的取值;其中,在所述预设时段内,所述第二模型参数取值的更新量不包括所述第一模型参数取值的更新量,所述第二模型参数对应的标识位的取值用于表示所述发送单元向所述中心服务器传输所述第二模型参数取值的更新量。

21.根据权利要求18所述的装置,其特征在于,所述处理单元具体用于:

根据所述第一模型参数取值的历史信息获得所述第一模型参数取值的变化量。

22.根据权利要求21所述的装置,其特征在于,所述取值的历史信息包括:所述第一模型参数取值的有效变化量和所述第一模型参数取值的累计变化量。

23.根据权利要求18至22任一项所述的装置,其特征在于,所述处理单元具体用于:

根据所述第一模型参数取值的变化量确定所述第一模型参数是否稳定,若所述第一模型参数取值的变化量小于预设阈值,则确定所述第一模型参数稳定。

24.根据权利要求18至23任一项所述的装置,其特征在于,所述处理单元具体用于:

m次确定所述第一模型参数取值的变化量;其中,m为大于等于2的正整数;

根据所述第一模型参数第k次的稳定状态确定预设时段满足的预设条件包括:

若第k次根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则所述预设时段的时长为第一时长,所述第一时长大于第二时长;其中,所述第二时长为第k-1次确定第一模型参数稳定时,停止向所述中心服务器发送所述第一模型参数取值的更新量的预设时段的时长;或者,所述第二时长为第k-1次确定第一模型参数未稳定时,得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的时长;其中,所述k为正整数,k≤m。

25.根据权利要求24所述的装置,其特征在于,所述预设条件还包括:

若第k次确定所述第一模型参数未稳定,则得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的第三时长,所述第三时长小于第四时长;其中,所述第四时长为第k-1次确定第一模型参数稳定时,停止向所述中心服务器发送所述第一模型参数取值的更新量的预设时段的时长;或者,所述第四时长为第k-1次确定第一模型参数未稳定时,得到的用于调节下一次第一模型参数稳定时对应的预设时段时长的时长。

26.根据权利要求24或25所述的装置,其特征在于,

若所述处理单元第k次根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则在n个发送周期内,所述发送单元停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,n为正整数;

在所述n个发送周期之后,若所述处理单元第k+1次根据所述第一模型参数取值的变化量确定所述第一模型参数稳定,则在(n+m)个发送周期内,所述发送单元停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,m为正整数;

在所述n个发送周期之后,若所述处理单元第k+1次根据所述第一模型参数取值的变化量确定所述第一模型参数未稳定,则若第k+2次所述处理单元根据所述变化量确定所述第一模型参数稳定,在(n/r+m)个发送周期内,所述发送单元停止向所述中心服务器发送所述第一模型参数取值的更新量;其中,r为大于等于2的正整数,(n/r)≥1;

其中,所述发送周期为所述发送单元向所述中心服务器发送模型参数取值的更新量的周期。

27.根据权利要求26所述的装置,其特征在于,所述处理单元还用于:

按照检测周期确定所述第一模型参数取值的变化量;所述发送周期小于所述检测周期。

28.根据权利要求23至27任一项所述的装置,其特征在于,所述处理单元还用于:

若所述处理单元确定稳定的所述第一模型参数的数量与第三模型参数的数量的比例大于预设比例,则减小预设阈值的取值。

29.根据权利要求18至28任一项所述的装置,其特征在于,

所述处理单元确定第一模型参数取值的变化量之前,所述接收单元接收所述中心服务器发送的所述第二模型参数取值。

30.一种基于模型训练的通信装置,其特征在于,所述装置包括:接收单元,处理单元,发送单元;

所述接收单元,用于接收通信设备发送的第二模型参数取值的更新量;在预设时段内,所述第二模型参数取值的更新量中不包含第一模型参数取值的更新量;其中,所述第一模型参数为根据所述第一模型参数取值的变化量确定稳定的模型参数;

所述处理单元,用于根据所述第二模型参数取值的更新量确定所述第二模型参数更新后的取值;

所述发送单元,用于向所述通信设备发送所述第二模型参数更新后的取值;在预设时段内,所述第二模型参数更新后的取值中不包含第一模型参数更新后的取值。

31.根据权利要求30所述的装置,其特征在于,

所述发送单元,还用于在所述预设时段之后,向所述通信设备发送所述第一模型参数取值;

所述接收单元,还用于接收所述通信设备发送的所述第一模型参数取值的更新量。

32.根据权利要求30所述的装置,其特征在于,所述发送单元具体用于:

向所述通信设备发送报文,所述报文包含第三模型参数更新后的取值与对应的标识位的取值;所述第三模型参数更新后的取值包括所述第二模型参数更新后的取值和所述第一模型参数更新后的取值;其中,在所述预设时段内,所述第一模型参数更新后的取值对应的标识位的取值用于表示所述发送单元未向所述通信设备传输所述第一模型参数更新后的取值;

或者,向所述通信设备发送报文,所述报文包含所述第二模型参数更新后的取值与对应的标识位的取值;其中,在所述预设时段内,所述第二模型参数更新后的取值不包括所述第一模型参数更新后的取值,所述第二模型参数更新后的取值对应的标识位的取值用于表示所述发送单元向所述通信设备传输所述第二模型参数更新后的取值。

33.根据权利要求30至32任一项所述的装置,其特征在于,所述第一模型参数为根据所述第一模型参数取值的变化量确定稳定的模型参数,包括:若所述第一模型参数取值的变化量小于预设阈值,则确定所述第一模型参数稳定。

34.根据权利要求30至33任一项所述的装置,其特征在于,

所述接收单元接收所述通信设备发送的第二模型参数取值的更新量之前,所述发送单元向所述通信设备发送所述第二模型参数取值。

35.一种通信设备,其特征在于,包括:

一个或多个处理器;

存储器;

以及计算机程序,其中所述计算机程序被存储在所述存储器中,所述计算机程序包括指令;当所述指令被所述通信设备执行时,使得所述通信设备执行如权利要求1-12中任一项所述的基于模型训练的通信方法;或者,使得所述通信设备执行如权利要求13-17中任一项所述的基于模型训练的通信方法。

36.一种通信系统,其特征在于,包括:中心服务器和至少一个通信设备,所述至少一个通信设备执行如权利要求1-12中任一项所述的基于模型训练的通信方法;所述中心服务器执行如权利要求13-17中任一项所述的基于模型训练的通信方法。

37.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在基于模型训练的通信装置上运行时,使得所述基于模型训练的通信装置执行如权利要求1-12中任一项所述的基于模型训练的通信方法;或者,使得所述通信设备执行如权利要求13-17中任一项所述的基于模型训练的通信方法。

38.一种芯片系统,其特征在于,包括至少一个处理器和至少一个接口电路,所述至少一个接口电路用于执行收发功能,并将指令发送给所述至少一个处理器,当所述至少一个处理器执行所述指令时,所述至少一个处理器执行如权利要求1-12中任一项所述的基于模型训练的通信方法;或者,使得所述通信设备执行如权利要求13-17中任一项所述的基于模型训练的通信方法。


技术总结
本申请提供一种基于模型训练的通信方法、装置及系统,涉及通信技术领域,应用于包括中心服务器和通信设备的系统中,能够有效减小通信设备和中心服务器之间参数传输的数据量,在保证不损失模型训练精度的前提下,提高联邦学习过程的通信效率。该方法包括:通信设备确定第一模型参数取值的变化量。若通信设备根据第一模型参数取值的变化量确定第一模型参数稳定,则通信设备在预设时段内停止向中心服务器发送第一模型参数取值的更新量。其中,第一模型参数取值的更新量由通信设备在进行模型训练的过程中根据用户数据确定;通信设备接收中心服务器发送的第二模型参数取值。其中,在预设时段内,第二模型参数取值不包括第一模型参数取值。

技术研发人员:陈晨;王森;张弓
受保护的技术使用者:华为技术有限公司
技术研发日:2020.01.23
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1