使用合成梯度来训练神经网络的制作方法

文档序号:17117326发布日期:2019-03-15 23:27阅读:来源:国知局

技术特征:

技术总结
用于通过优化目标函数来在训练输入上训练神经网络的方法、系统和装置,包括编码在计算机存储介质上的计算机程序,所述神经网络包括后面有第二子网络的第一子网络。在一个方面中,一种方法包括:使用所述神经网络来处理训练输入以生成训练模型输出,包括使用所述第一子网络来处理用于所述训练输入的子网络输入以根据所述第一子网络的参数的当前值为所述训练输入生成子网络激活,以及将所述子网络激活作为输入提供给所述第二子网络;通过使用合成梯度模型来根据所述合成梯度模型的参数的当前值处理所述子网络激活而确定用于所述第一子网络的所述目标函数的合成梯度;以及使用所述合成梯度来更新所述第一子网络的参数的当前值。

技术研发人员:奥里奥尔·温亚尔斯;亚历山大·本杰明·格拉韦斯;沃伊切赫·恰尔内茨基;科拉伊·卡武克曲奥卢;西蒙·奥辛德罗;麦克斯维尔·埃利奥特·耶德贝里
受保护的技术使用者:渊慧科技有限公司
技术研发日:2017.05.19
技术公布日:2019.03.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1