技术编号：31708752
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。面向大规模gpu集群的分布式局部随机梯度下降方法技术领域.本发明涉及分布式计算与存储领域，尤其涉及一种面向大规模gpu集群的分布式局部随机梯度下降方法。背景技术.随着深层神经网络模型变得更加复杂，其计算工作量也随之增加,这就排除了利用单个节点在合理时间内训练成熟模型的可能性。在这种情况下，分布式训练成为深度学习模型训练的必要条件。目前，对深度学习模型的分布式训练主要分为数据并行和模型并行两种方式。庞大的数据集和模型被分发给多个计算节点以完成相应的培训任务。因此，这些计算节点必须定期通信，以保...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。