一种模型结构化剪枝方法及相关设备与流程

本发明涉及深度学习，特别涉及一种模型结构化剪枝方法及相关设备。

背景技术：

1、现有模型剪枝算法主要分为两个类别：结构化剪枝和非结构化剪枝；但是这两个类别的方法都存在各自的缺点，导致在实际场景下没法得到广泛的应用。

2、在结构化剪枝算法的模型训练的过程中，每层的输出可能包含多个通道，每个通道中包含的信息不同，但是并不是所有通道中的信息的重要程度都是一样的。结构化剪枝算法是指通过类似稀疏训练的手段，在训练过程中通过正则化的方法将部分参数的权重减小，然后，通过移除权重较小的参数来减小模型计算量。

3、然而，结构化剪枝方法本身的原理也使得上述方法在面对具有耦合和且复杂的内部结构的剪枝任务时存在问题。由于深度神经网络是建立在大量基本模块(如卷积层、bn层和激活层等)的堆叠之上的，这些结构在本质上都通过一定的连接耦合在一起。结构化剪枝方法在移除部分参数时，必须考虑与其耦合的模块是否需要被移除。

4、在考虑与其耦合的模块是否需要被移除，可以通过人工设计剪枝的逻辑来确保网络模型不会因剪枝受损，但是随着现代深度神经网络的发展，越来越多的耦合且内部复杂的结构出现了，例如resnet(deep residual network，中文名为深度残差网络)中的残差结构。依赖于人工设计的结构化剪枝算法不但人力成本高，而且在不同耦合结构间难以迁移。

5、因而现有技术还有待改进和提高。

技术实现思路

1、本发明的主要目的在于提供一种模型结构化剪枝方法及相关设备，旨在解决现有技术中在进行结构化剪枝时，不仅需要大量的人工成本，还无法实现迁移的问题。

2、为了达到上述目的，本发明采取了以下技术方案：

3、一种模型结构化剪枝方法，包括：

4、利用预设分组条件对目标参数进行分组，得到分组参数；

5、利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络；

6、利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝。

7、所述模型结构化剪枝方法中，所述利用预设分组条件对目标参数进行分组，得到分组参数，包括：

8、根据所述目标参数中存在层间依赖对所述目标参数进行分组，得到第一分组参数；

9、根据所述目标参数中存在层内依赖对所述目标参数进行分组，得到第二分组参数。

10、所述模型结构化剪枝方法中，所述利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络，包括：

11、利用二维矩阵对所述第一分组参数进行记录，并对所述第一分组参数中的耦合关系行描述，得到描述层间依赖关系的深度学习网络；

12、利用所述依赖关系对所述第二分组参数中的耦合关系行描述，得到描述层内依赖关系的深度学习网络；

13、将描述层间依赖关系的深度学习网络和描述层内依赖关系的深度学习网络进行堆叠，得到描述层间依赖关系和层内依赖关系的深度学习网络。

14、所述模型结构化剪枝方法中，所述预设分组条件包括：所述目标参数中存在所述层间依赖和所述目标参数中存在所述层内依赖。

15、所述模型结构化剪枝方法中，所述利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝，包括：

16、计算得到正则权重，并利用所述依赖关系构造得到正则项；

17、利用所述正则权重和所述正则项的乘积结果对所述深度学习网络进行稀疏化，得到经过稀疏训练后的深度学习网络；

18、对经过稀疏训练后的深度学习网络进行剪枝。

19、所述模型结构化剪枝方法中，所述稀疏训练结果为经过稀疏训练后的深度学习网络。

20、所述模型结构化剪枝方法中，所述利用所述正则权重和所述正则项的乘积结果对所述深度学习网络进行稀疏化，得到经过稀疏训练后的深度学习网络，包括：

21、计算所述正则权重和所述正则项的乘积结果；

22、对所述深度学习网络的分组参数进行正则化，得到经过正则化后的分组参数；

23、将经过正则化后的分组参数中小于所述乘积结果的分组参数进行过滤，得到经过稀疏训练后的深度学习网络。

24、一种模型结构化剪枝系统，包括：

25、分组参数获取模块，用于利用预设分组条件对目标参数进行分组，得到分组参数；

26、深度学习网络构建模块，用于利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络；

27、稀疏化和剪枝模块，用于利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝。

28、一种智能设备，包括：存储器、处理器、显示器及存储在所述存储器上并可在所述处理器上运行的模型结构化剪枝程序，所述模型结构化剪枝程序被所述处理器执行时实现如上所述的模型结构化剪枝方法的步骤。

29、一种计算机可读存储介质，所述计算机可读存储介质存储有模型结构化剪枝程序，所述模型结构化剪枝程序被处理器执行时实现如上所述的模型结构化剪枝方法的步骤。

30、相较于现有技术，本发明提供的一种模型结构化剪枝方法及相关设备，所述模型结构化剪枝方法包括：利用预设分组条件对目标参数进行分组，得到分组参数；利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络；利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝。本发明中通过先利用预设分组条件对目标参数进行分组后，利用依赖关系对所述分组参数的依赖图进行构建，再利用所述依赖关系对所述深度学习网络进行稀疏化，以便根据得到的稀疏训练结果进行剪枝，不仅减少了模型计算量，提高了模型推理速度，且减少了人工计算成本，实现了迁移到任意模型框架之下。

技术特征：

1.一种模型结构化剪枝方法，其特征在于，包括：

2.根据权利要求1所述的模型结构化剪枝方法，其特征在于，所述利用预设分组条件对目标参数进行分组，得到分组参数，包括：

3.根据权利要求2所述的模型结构化剪枝方法，其特征在于，所述利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络，包括：

4.根据权利要求3所述的模型结构化剪枝方法，其特征在于，所述预设分组条件包括：所述目标参数中存在所述层间依赖和所述目标参数中存在所述层内依赖。

5.根据权利要求1所述的模型结构化剪枝方法，其特征在于，所述利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝，包括：

6.根据权利要求5所述的模型结构化剪枝方法，其特征在于，所述稀疏训练结果为经过稀疏训练后的深度学习网络。

7.根据权利要求6所述的模型结构化剪枝方法，其特征在于，所述利用所述正则权重和所述正则项的乘积结果对所述深度学习网络进行稀疏化，得到经过稀疏训练后的深度学习网络，包括：

8.一种模型结构化剪枝系统，其特征在于，包括：

9.一种智能设备，其特征在于，包括：存储器、处理器、显示器及存储在所述存储器上并可在所述处理器上运行的模型结构化剪枝程序，所述模型结构化剪枝程序被所述处理器执行时实现如权利要求1-7任一项所述的模型结构化剪枝方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有模型结构化剪枝程序，所述模型结构化剪枝程序被处理器执行时实现如权利要求1-7任一项所述的模型结构化剪枝方法的步骤。

技术总结
本发明公开一种模型结构化剪枝方法及相关设备，所述模型结构化剪枝方法包括：利用预设分组条件对目标参数进行分组，得到分组参数；利用所述预设分组条件中的依赖关系对所述分组参数的依赖图进行构建，得到深度学习网络；利用所述依赖关系对所述深度学习网络进行稀疏化，得到稀疏训练结果，并对所述稀疏训练结果进行剪枝。本发明中通过先利用预设分组条件对目标参数进行分组后，利用依赖关系对所述分组参数的依赖图进行构建，再利用所述依赖关系对所述深度学习网络进行稀疏化，以便根据得到的稀疏训练结果进行剪枝，不仅减少了模型计算量，提高了模型推理速度，且减少了人工计算成本，实现了迁移到任意模型框架之下。

技术研发人员：邹鹏宇,胡淑萍,王侃,董培,庞建新,谭欢
受保护的技术使用者：深圳市优必选科技股份有限公司
技术研发日：
技术公布日：2024/2/19