一种基于强化学习的深度神经网络压缩方法与流程

文档序号:19788188发布日期:2020-01-24 13:53阅读:来源:国知局

技术特征:

1.一种基于强化学习的深度神经网络压缩方法,其特征在于,包括:

步骤s100:基于已训练完成的卷积神经网络,训练强化学习智能体,所述强化学习智能体用于识别网络稀疏性,采用压缩方法对模型进行压缩;

步骤s200:对压缩后的模型再次训练,对模型的参数进行优化,得到最终压缩模型。

2.根据权利要求1所述的一种基于强化学习的深度神经网络压缩方法,其特征在于,所述步骤s100训练强化学习智能体的步骤为:

步骤s110:载入已训练好的卷积神经网络模型及其网络结构和参数;

步骤s120:初始化训练参数:设置网络总层数l、整个模型的目标压缩比例c0、强化学习智能体的行为即对l层的压缩比例,记为cl,其中l为强化学习智能体当前所在层;

步骤s130:强化学习智能体从第l层开始前向通过网络各层,设置初始值l=1,设置对第一层的压缩比例c1=c0;

步骤s140:对l层压缩时,先计算该层中每个神经元的输入权值的平均值,将输入权值的平均值从小到大排序,然后根据该层的压缩比例cl从平均值最小的神经元开始删去神经元;

步骤s150:对卷积核进行低秩分解以及模型参数的低位量化;

步骤s160:重复步骤s140-步骤s150,重复次数达到设定次数y后结束,根据当前智能体所在的层数l和当前网络总体压缩比例选择合适的下一层的压缩比例cl+1;

步骤s170:判断:若l<l,l=l+1,返回步骤s140;否则,进入下一步;

步骤s180:整个网络被压缩完一次后,计算该次压缩操作的输出总损失值loss并记录;

步骤s190:利用最优策略对原网络模型进行压缩判断压缩后的模型的体积是否满足要求;若不满足,将压缩后的模型作为新的“待压缩模型”再次进行压缩;若满足,进入步骤s200。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1