用于学习低精度神经网络的方法及装置与流程

文档序号:17665510发布日期:2019-05-15 22:41阅读:来源:国知局

技术特征:

技术总结
本发明提供一种用于学习低精度神经网络的方法及装置。所述方法包括:选择神经网络模型,其中所述神经网络模型包括多个层,且所述多个层中的每一者包括权重及激活;通过将多个量化层插入到所述神经网络模型内来修改所述神经网络模型;将成本函数与经修改的所述神经网络模型进行关联,其中所述成本函数包括与第一正则化项对应的第一系数,且所述第一系数的初始值是预定义的;以及训练经修改的所述神经网络模型,以通过增大所述第一系数来产生层的量化权重,直到所有权重均被量化且所述第一系数满足预定义的阈值为止,还包括优化所述量化权重的权重缩放因数及优化量化激活的激活缩放因数,其中所述量化权重是使用经优化的所述权重缩放因数进行量化。

技术研发人员:崔裕镇;李正元;莫斯塔法·伊尔-哈米
受保护的技术使用者:三星电子株式会社
技术研发日:2018.08.28
技术公布日:2019.05.14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1