一种基于进化算法+Darts的模型剪枝方法与流程

文档序号:37944565发布日期:2024-05-11 09:13阅读:来源:国知局

技术特征:

1.一种基于进化算法+darts的模型剪枝方法,其特征在于,以resnet34进行剪枝来缩小模型,在resnet34中网络是以“basic block”组成,basic block由2个3×3卷积层构成;包括以下步骤:

2.根据权利要求1所述的一种基于进化算法+darts的模型剪枝方法,其特征在于,所述的步骤(1)具体包括:若basicblock中以3x3,通道数为64的卷积组成,则引入的参数则为其中n=64,如图2中的(b)所示;假设特征图x的大小为(56,56,64,其中通道数为64),经过一次(3,3,64,64)的卷积操作后得到的特征图大小x'依然为(56,56,64),将特征图中的第n个通道表示为cn,则x'可表示为(c1,c2,…,cn),引入通道重要性因子后,根据可微分架构搜索算法(darts),x'的每个通道会与通道重要性因子相乘,为保证通道重要性因子大于0,引入了sigmoid函数来进行激活,最后的特征图x”如等式1所示;

3.根据权利要求1所述的一种基于进化算法+darts的模型剪枝方法,其特征在于,所述的步骤(2)具体包括:通道的重要性衡量需要以训练收敛的模型权重来进行衡量;因此在每次更新时,需假设当前的模型权重已达到了最优;根据darts方法,在调整模型权重因子和通道重要性因子时,满足以下关系式;

4.根据权利要求1所述的一种基于进化算法+darts的模型剪枝方法,其特征在于,所述的步骤(3)具体包括:在常用的通道剪枝方法中,当采用l1范数和l2范数计算出通道的重要性后,将会对每层的通道重要性进行排序,算法工程师依据裁剪后的模型在验证集上的性能不断的调整每层的裁剪比例,这在一定程度上会耗费算法工程师大量的时间,并且这种手工调整也很容易错过最优解;为解决此问题,本发明提出采用改进的和声搜索算法来对每层的裁剪比例进行搜索:


技术总结
本发明公开了一种基于进化算法+Darts的模型剪枝方法,它涉及深度学习、神经网络架构搜索、模型剪枝技术领域。本发明以resnet34进行剪枝来缩小模型,在resnet34中网络是以“basicblock”组成,basic block由2个3×3卷积层构成;包括以下步骤:(1)、在basicblock中引入通道重要性因子(2)、根据可微分架构搜索算法(Darts)更新通道重要性因子(3)、采用进化算法进一步探索最佳的通道组合。本发明为充分评估通道对整个网络的影响,受Darts启发,引入了通道重要性因子通道重要性因子会在模型训练过程中进行更新。此外,为进一步提高模型剪枝性能,引入了进化算法(和声搜索算法)来衡量每个通道的裁剪程度。

技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者:天翼电子商务有限公司
技术研发日:
技术公布日:2024/5/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1