模型压缩方法、装置、计算机设备和存储介质与流程

本申请涉及人工智能，特别是涉及一种模型压缩方法、装置、计算机设备和存储介质。

背景技术：

1、随着人工智能技术的发展，出现了模型压缩技术，通过模型压缩技术有效地减小模型的大小和复杂度，从而能够在保持良好的模型性能的同时，实现更快的推理速度和更低的存储需求。

2、传统技术中，通过剪枝逐渐删除模型中的冗余部分来减小模型的大小和计算量，但是这种方式比较局限，无法避免模型压缩效率低的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高模型压缩效率的模型压缩方法、装置、计算机设备和存储介质。

2、第一方面，本申请提供了一种模型压缩方法，包括：在对初始模型进行第一阶段的至少两轮压缩时，确定所述第一阶段中每轮压缩后的模型性能；在所述第一阶段中本轮压缩后的模型性能相比在先轮压缩后的模型性能未下降的情况下，基于所述第一阶段中本轮压缩后的模型确定第一模型；对所述第一模型的网络层进行压缩敏感度分析，得到所述网络层的敏感度；基于所述敏感度对所述网络层进行第二阶段的压缩，得到目标模型；其中，在所述第二阶段中，所述网络层的每轮压缩程度与所述敏感度相关。

3、第二方面，本申请还提供了一种模型压缩装置，包括：第一压缩模块、确定模块、敏感度分析模块和第二压缩模块。

4、第一压缩模块，用于在对初始模型进行第一阶段的至少两轮压缩时，确定所述第一阶段中每轮压缩后的模型性能。

5、确定模块，用于在所述第一阶段中本轮压缩后的模型性能相比在先轮压缩后的模型性能未下降的情况下，基于所述第一阶段中本轮压缩后的模型确定第一模型。

6、敏感度分析模块，用于对所述第一模型的网络层进行压缩敏感度分析，得到所述网络层的敏感度。

7、第二压缩模块，用于基于所述敏感度对所述网络层进行第二阶段的压缩，得到目标模型；其中，在所述第二阶段中，所述网络层的每轮压缩程度与所述敏感度相关。

8、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法中的步骤。

9、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法中的步骤。

10、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

11、上述模型压缩方法、装置、计算机设备、存储介质和计算机程序产品，在对初始模型进行第一阶段的至少两轮压缩时，确定第一阶段中每轮压缩后的模型性能。由于初始模型中模型复杂度更高，冗余更多，随着对初始模型的压缩，虽然模型性能会暂时下降，但随着冗余的消除和复杂度的下降，模型的性能会重新上升，此时为了避免压缩时失去重要的结构或参数，在重新上升的拐点附近需要针对性的压缩策略，以保证模型压缩的效率。故而，在第一阶段中本轮压缩后的模型性能相比在先轮压缩后的模型性能未下降的情况下，基于第一阶段中本轮压缩后的模型确定第一模型；第一模型中不同的网络层对于压缩的敏感度不同，通过对第一模型的网络层进行压缩敏感度分析，得到网络层的敏感度；进而基于敏感度能够针对性的对网络层进行第二阶段的压缩，在第二阶段中，网络层的每轮压缩程度与敏感度相关，能够在第二阶段中准确控制第一模型中网络层的压缩程度，得到目标模型，提高模型压缩的效率。

技术特征：

1.一种模型压缩方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述在对初始模型进行第一阶段的至少两轮压缩时，确定所述第一阶段中每轮压缩后的模型性能，包括：

3.根据权利要求1所述的方法，其特征在于，所述在所述第一阶段中本轮压缩后的模型性能相比在先轮压缩后的模型性能未下降的情况下，基于所述第一阶段中本轮压缩后的模型确定第一模型，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述第一模型的网络层进行压缩敏感度分析，得到所述网络层的敏感度，包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述第一模型的网络层进行第三阶段的压缩，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定所述第三阶段中每轮剪枝后的第一网络层差异，包括：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述敏感度对所述网络层进行第二阶段的压缩，得到目标模型，包括以下至少一种处理：

8.一种模型压缩装置，其特征在于，所述装置包括：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种模型压缩方法、装置、计算机设备和存储介质。方法包括：在对初始模型进行第一阶段的至少两轮压缩时，确定第一阶段中每轮压缩后的模型性能；在第一阶段中本轮压缩后的模型性能相比在先轮压缩后的模型性能未下降的情况下，基于第一阶段中本轮压缩后的模型确定第一模型；对第一模型的网络层进行压缩敏感度分析，得到网络层的敏感度；基于敏感度对网络层进行第二阶段的压缩，得到目标模型；其中，在第二阶段中，网络层的每轮压缩程度与敏感度相关。采用本方法能够提高模型压缩效率。

技术研发人员：陈良瑾,周涤非
受保护的技术使用者：深圳市欧冶半导体有限公司
技术研发日：
技术公布日：2024/3/12