技术特征：
技术总结
本发明涉及一种分布式深度学习的参数更新优化系统；在参数更新部分对参数进行了版本控制，在参数服务器端和工作节点上都增加了参数的版本号，当前的工作节点拉取最新版本的参数进行训练跟梯度计算后，参数服务器会根据两个版本号的差值作为此工作节点此次迭代的梯度陈旧度σi,l，然后将梯度乘以对参数进行更新；进一步的设定一个强制同步的迭代次数T，每个工作节点在进行T次迭代后会强制同步一次，两种机制相结合来改善梯度陈旧导致的收敛性差的问题。
技术研发人员：叶彦;李欣鑫;吴维刚
受保护的技术使用者：中山大学
技术研发日：2018.05.14
技术公布日：2018.11.16