基于深度学习的学习率确定方法和装置与流程

文档序号:16137015发布日期:2018-12-01 01:07阅读:来源:国知局

技术特征:

技术总结
本公开提供一种基于深度学习的学习率确定方法。先根据预设的次数m,获取第t‑m+1次到第t次迭代所输出的m组目标损失值lst‑m+1,lst‑m+2……lst,再根据m组目标损失值确定第t+1次迭代的学习率,使第t+1次迭代的学习率与m组目标损失值的变化速率成正比。本公开将学习率与目标损失函数相关联,当目标损失值的变化速率较快时,将下一次参数迭代的学习率自动调整为一个相对较大的数值,当目标损失值的变化速率较慢时,将下一次参数迭代的学习率自动调整为一个相对较小的数值。本公开利用目标损失值的下降速率来自适应的调整学习率,在减少目标损失值震荡的同时,尽可能加快网络的收敛速率。

技术研发人员:贺永刚
受保护的技术使用者:广州视源电子科技股份有限公司
技术研发日:2018.06.11
技术公布日:2018.11.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1