技术特征:
技术总结
本公开提供一种基于深度学习的学习率确定方法。先根据预设的次数m,获取第t‑m+1次到第t次迭代所输出的m组目标损失值lst‑m+1,lst‑m+2……lst,再根据m组目标损失值确定第t+1次迭代的学习率,使第t+1次迭代的学习率与m组目标损失值的变化速率成正比。本公开将学习率与目标损失函数相关联,当目标损失值的变化速率较快时,将下一次参数迭代的学习率自动调整为一个相对较大的数值,当目标损失值的变化速率较慢时,将下一次参数迭代的学习率自动调整为一个相对较小的数值。本公开利用目标损失值的下降速率来自适应的调整学习率,在减少目标损失值震荡的同时,尽可能加快网络的收敛速率。
技术研发人员:贺永刚
受保护的技术使用者:广州视源电子科技股份有限公司
技术研发日:2018.06.11
技术公布日:2018.11.30