1.混合精度深度学习算法,其特征在于:包括以下步骤:
S101、利用单精度众核处理器进行前向传播计算,对每一网络层计算出每一个神经元的值;
S102、利用单精度众核处理器进行后向传播计算,对每一网络层计算出误差残量值;
S103、利用单精度众核处理器计算权值的增量;
S104、将单精度众核处理器计算出的增量权值更新到高精度众核处理器计算出的增量权值上,完成一次迭代计算。
2.根据权利要求1所述的混合精度深度学习算法,其特征在于:所述混合精度深度学习算法发生于深度学习的迭代后期。
3.根据权利要求1所述的混合精度深度学习算法,其特征在于:步骤102中,所述进行后向传播计算,对每一网络层计算出误差残量值,具体包括:
将上一层的残差乘以当前层的权值,并与当前层的梯度做乘法,得出所有层的误差残量值。
4.根据权利要求1所述的混合精度深度学习算法,其特征在于:步骤103中,所述计算权值的增量,具体包括:
利用后向传播中计算出来的每一网络层的残差值,通过梯度等计算出权值变化量。