1.一种数据传输方法,其特征在于,应用于分布式神经网络模型训练中的第一节点,所述方法包括:
2.根据权利要求1所述数据传输方法,其特征在于,所述判断神经网络模型的训练是否处于震荡收敛阶段,包括:
3.根据权利要求2所述数据传输方法,其特征在于,所述基于神经网络模型训练过程中损失函数的损失值判断所述神经网络模型的训练是否处于震荡收敛阶段,包括:
4.根据权利要求3所述数据传输方法,其特征在于,所述计算所述损失值剔除变量量纲与函数表示形式差异后的一阶差分值,包括:
5.根据权利要求3所述数据传输方法,其特征在于,所述确定所述一阶差分值在预设窗口内的变化率,包括:
6.根据权利要求1所述数据传输方法,其特征在于,所述对需要传输的原始数据进行量化操作得到量化数据,包括:
7.根据权利要求6所述数据传输方法,其特征在于,所述对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:
8.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最大值和最小值、预设的量化后的整型数据的最大值和最小值计算缩放因子,包括:
9.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最大值和最小值、预设的量化后的整型数据的最大值和最小值计算缩放因子,包括:
10.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最小值、预设的量化后的整型数据的最小值、所述缩放因子计算零点值,包括:
11.根据权利要求7所述数据传输方法,其特征在于,所述基于所述原始数据的最小值、预设的量化后的整型数据的最小值、所述缩放因子计算零点值,包括:
12.根据权利要求7所述数据传输方法,其特征在于,所述基于所述缩放因子和所述零点值对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:
13.根据权利要求7所述数据传输方法,其特征在于,所述基于所述缩放因子和所述零点值对需要传输的原始数据进行非对称线性量化操作得到量化数据,包括:
14.根据权利要求7所述数据传输方法,其特征在于,所述对需要传输的原始数据进行非对称线性量化操作得到量化数据之前,还包括:
15.根据权利要求1所述数据传输方法,其特征在于,所述对需要传输的原始数据进行量化操作得到量化数据,包括:
16.根据权利要求1所述数据传输方法,其特征在于,所述判断神经网络模型的训练是否处于震荡收敛阶段之后,还包括:
17.根据权利要求16所述数据传输方法,其特征在于,将所述原始数据发送至第二节点,包括:
18.一种数据传输装置,其特征在于,应用于分布式神经网络模型训练中的第一节点,所述装置包括:
19.一种电子设备,其特征在于,包括:
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至17任一项所述数据传输方法的步骤。
21.一种数据传输系统,其特征在于,应用于分布式神经网络模型训练,所述数据传输系统包括第一节点和第二节点;
22.根据权利要求21所述数据传输系统,其特征在于,所述第一节点包括: