技术特征：
技术总结
本发明公开了一种基于权重归一化的深度神经网络压缩方法，权重的量化可以分解为三个步骤，首先对权重进行归一化，然后基于最小量化误差把权重量化至极低的比特，最后进行反归一化得到量化的权重，使用量化的权重进行神经网络的正向传播。为了训练量化权重的神经网络，本发明对阶跃形式的量化函数的导数进行近似，从而使得神经网络的梯度可以进行反向传播，梯度累加在浮点权重上。基于权重归一化的权重量化在一定程度上避免了权重的长尾分布，从而减小了量化误差，进而提高了模型的性能。本发明可以把现在的一些主流神经网络的权重压缩至2比特、3比特，同时保证模型的性能没有较大的损失。
技术研发人员：李武军;蔡文朴
受保护的技术使用者：南京大学
技术研发日：2019.06.28
技术公布日：2019.09.24