一种数据传输方法、装置、系统及电子设备和存储介质与流程

文档序号:37467956发布日期:2024-03-28 18:50阅读:来源:国知局

技术特征:

1.一种数据传输方法,其特征在于,应用于分布式神经网络模型训练中的第一节点,所述方法包括:

2.根据权利要求1所述数据传输方法,其特征在于,所述判断神经网络模型的训练是否处于震荡收敛阶段,包括:

3.根据权利要求2所述数据传输方法,其特征在于,所述基于神经网络模型训练过程中损失函数的损失值判断所述神经网络模型的训练是否处于震荡收敛阶段,包括:

4.根据权利要求3所述数据传输方法,其特征在于,所述计算所述损失值剔除变量量纲与函数表示形式差异后的一阶差分值,包括:

5.根据权利要求3所述数据传输方法,其特征在于,所述确定所述一阶差分值在预设窗口内的变化率,包括:

6.根据权利要求1所述数据传输方法,其特征在于,所述对需要传输的原始数据进行量化操作得到量化数据,包括:

7.根据权利要求6所述数据传输方法,其特征在于,所述对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:

8.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最大值和最小值、预设的量化后的整型数据的最大值和最小值计算缩放因子,包括:

9.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最大值和最小值、预设的量化后的整型数据的最大值和最小值计算缩放因子,包括:

10.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最小值、预设的量化后的整型数据的最小值、所述缩放因子计算零点值,包括:

11.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最小值、预设的量化后的整型数据的最小值、所述缩放因子计算零点值,包括:

12.根据权利要求7所述数据传输方法,其特征在于,所述基于所述缩放因子和所述零点值对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:

13.根据权利要求7所述数据传输方法,其特征在于,所述基于所述缩放因子和所述零点值对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:

14.根据权利要求7所述数据传输方法,其特征在于,所述对需要传输的原始数据进行非对称线性量化操作得到量化数据之前,还包括:

15.根据权利要求1所述数据传输方法,其特征在于,所述对需要传输的原始数据进行量化操作得到量化数据,包括:

16.根据权利要求1所述数据传输方法,其特征在于,所述判断神经网络模型的训练是否处于震荡收敛阶段之后,还包括:

17.根据权利要求16所述数据传输方法,其特征在于,将所述原始数据发送至第二节点,包括:

18.一种数据传输装置,其特征在于,应用于分布式神经网络模型训练中的第一节点,所述装置包括:

19.一种电子设备,其特征在于,包括:

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至17任一项所述数据传输方法的步骤。

21.一种数据传输系统,其特征在于,应用于分布式神经网络模型训练,所述数据传输系统包括第一节点和第二节点;

22.根据权利要求21所述数据传输系统,其特征在于,所述第一节点包括:


技术总结
本申请公开了一种数据传输方法、装置、系统及电子设备和存储介质,涉及计算机技术领域,该方法包括:第一节点判断神经网络模型的训练是否处于震荡收敛阶段;若是,则对需要传输的原始数据进行量化操作得到量化数据;其中,原始数据为浮点数据,量化数据为整型数据;将量化数据发送至第二节点,以便第二节点对接收到的量化数据进行反量化操作得到原始数据,并利用原始数据对神经网络模型进行训练。本申请既保证了神经网络模型的训练精度,同时又可以有效降低网络通讯量,节省网络带宽占用,提高通信效率,从而加快神经网络模型的训练速度。

技术研发人员:戴钰桀,徐冉,黄宬,王彦伟
受保护的技术使用者:浪潮(北京)电子信息产业有限公司
技术研发日:
技术公布日:2024/3/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1