模型压缩方法、装置、设备和计算机可读存储介质与流程

本申请涉及人工智能，尤其涉及一种模型压缩方法、装置、设备和计算机可读存储介质。

背景技术：

1、通过模型压缩，可以在保持模型精度的基础上，减少模型参数量，从而达到推理加速的目的。可以采用模型剪枝实现模型压缩过程，模型剪枝，即对原有的神经网络模型进行裁剪，以有效的产生尺寸更小、更节省内存、推理速度更快且精度损失较小的模型。

2、目前，模型剪枝方法通常对神经网络模型中某些卷积层的某些通道进行剪枝。通道剪枝是一种硬件剪枝方法，虽然可以一定程度上减少模型参数量，但是仍然会面临着模型压缩不充分，不满足特定设备内存要求的问题，神经网络模型压缩的有效性低。

技术实现思路

1、本申请实施例提供一种模型压缩方法、装置、设备和计算机可读存储介质，提高了模型压缩的有效性。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种模型压缩方法，所述方法包括：利用第一网络模型和第二网络模型，对获取的图像样本分别进行目标检测，得到第一检测结果和第二检测结果；其中，所述第一网络模型为包括多个反残差块的预设神经网络模型，所述第二网络模型是对所述第一网络模型中具有跳连结构的反残差块插入掩膜层之后的初始神经网络模型；所述第一网络模型与所述第二网络模型的功能一致；根据所述第一检测结果、所述第二检测结果和预设的损失函数，确定剪枝训练损失值；基于所述剪枝训练损失值，对所述第二网络模型的参数进行调整后，持续进行模型训练，直至得到训练完成后的网络模型和模型参数；基于所述模型参数，对所述训练完成后的网络模型进行深度剪枝，得到目标网络模型。

4、第二方面，本申请实施例提供一种模型压缩装置，所述装置包括：检测模块，用于利用第一网络模型和第二网络模型，对获取的图像样本分别进行目标检测，得到第一检测结果和第二检测结果；其中，所述第一网络模型为包括多个反残差块的预设神经网络模型，所述第二网络模型是对所述第一网络模型中具有跳连结构的反残差块插入掩膜层之后的初始神经网络模型；所述第一网络模型与所述第二网络模型的功能一致；确定模块，用于根据所述第一检测结果、所述第二检测结果和预设的损失函数，确定剪枝训练损失值；训练模块，用于基于所述剪枝训练损失值，对所述第二网络模型的参数进行调整后，持续进行模型训练，直至得到训练完成后的网络模型和模型参数；剪枝模块，用于基于所述模型参数，对所述训练完成后的网络模型进行深度剪枝，得到目标网络模型。

5、第三方面，本申请实施例提供一种模型压缩设备，所述设备包括：存储器，用于存储可执行计算机程序；处理器，用于执行所述存储器中存储的可执行计算机程序时，实现上述模型压缩方法。

6、第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述模型压缩方法。

7、本申请实施例提供了一种模型压缩方法、装置、设备和计算机可读存储介质。根据本申请实施例提供的方案，利用第一网络模型和第二网络模型，对获取的图像样本分别进行目标检测，得到第一检测结果和第二检测结果；其中，第一网络模型为包括多个反残差块的预设神经网络模型，第二网络模型是对第一网络模型中具有跳连结构的反残差块插入掩膜层之后的初始神经网络模型；第一网络模型与第二网络模型的功能一致；通过在具有跳连结构的反残差块中插入掩膜层，不更改模型的整体结构，在训练过程中，可以通过掩膜层的数值变化实现对反残差块的深度剪枝。采用功能一致的第一网络模型和第二网络模型的设计，实现基于知识蒸馏策略的深度剪枝方法，能够在保证模型精度的同时，减少模型的参数量。根据第一检测结果、第二检测结果和预设的损失函数，确定剪枝训练损失值；基于剪枝训练损失值，对第二网络模型的参数进行调整后，持续进行模型训练，直至得到训练完成后的网络模型和模型参数，模型参数可以包括掩膜层更新后的数值(体现了掩膜层的数值训练后的变化)以及网络模型的权重参数等。从而基于模型参数，对训练完成后的网络模型进行深度剪枝，得到目标网络模型。减少了模型参数量，提高了模型压缩的有效性。

技术特征：

1.一种模型压缩方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一检测结果包括第一关键点，所述第二检测结果包括第二关键点，所述预设的损失函数包括剪枝损失函数和训练损失函数；

3.根据权利要求2所述的方法，其特征在于，所述对所述第一关键点和所述第二关键点分别进行负样本点过滤处理，确定第一正样本指示系数和第二正样本指示系数，包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述第一关键点和所述第二关键点分别进行负样本点过滤处理，得到第一正样本和第二正样本，包括：

5.根据权利要求3所述的方法，其特征在于，所述对所述第一关键点和所述第二关键点分别进行负样本点过滤处理，得到第一正样本和第二正样本，包括：

6.根据权利要求2所述的方法，其特征在于，所述第一检测结果还包括第一偏移量，所述第二检测结果还包括第二偏移量，关键点表征所述图像样本中目标对象的中心点位置，偏移量表征与关键点之间的偏移量，所述剪枝损失函数包括关键点剪枝损失函数和偏移量剪枝损失函数，所述第二网络模型的参数包括第一权重和第二权重；

7.根据权利要求6所述的方法，其特征在于，所述第一检测结果还包括第一目标框，所述第二检测结果还包括第二目标框，目标框表征所述图像样本中目标对象的宽和高，所述剪枝损失函数包括目标框剪枝损失函数，所述第二网络模型的参数包括第三权重；

8.根据权利要求2所述的方法，其特征在于，所述第二检测结果还包括第二偏移量，所述训练损失函数包括关键点训练损失函数和偏移量训练损失函数，所述第二网络模型的参数包括第四权重和第五权重；

9.根据权利要求8所述的方法，其特征在于，所述第二检测结果还包括第二目标框，所述训练损失函还包括目标框训练损失函数，所述第二网络模型的参数包括第六权重；

10.根据权利要求1-9任一项所述的方法，其特征在于，所述预设的损失函数包括训练损失函数；

11.根据权利要求1-9任一项所述的方法，其特征在于，掩膜层的数量为多个；

12.根据权利要求1-9任一项所述的方法，其特征在于，所述模型参数包括所述第二网络模型中掩膜层更新后的数值；

13.根据权利要求1-9任一项所述的方法，其特征在于，所述第二网络模型是对所述第一网络模型中具有跳连结构的反残差块的整体插入掩膜层，且对反残差块的卷积层中通道插入通道掩膜层之后的初始神经网络模型；所述模型参数包括所述第二网络模型中掩膜层更新后的数值，以及通道掩膜层更新后的数值；

14.一种模型压缩装置，其特征在于，所述装置包括：

15.一种模型压缩设备，其特征在于，所述设备包括：

16.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1-13任一项所述的方法。

技术总结
本申请实施例公开一种模型压缩方法、装置、设备和计算机可读存储介质。方法包括：利用第一网络模型和第二网络模型，对获取的图像样本分别进行目标检测，得到第一检测结果和第二检测结果；第一网络模型为包括多个反残差块的预设神经网络模型，第二网络模型是对第一网络模型中具有跳连结构的反残差块插入掩膜层之后的初始神经网络模型，第一网络模型与第二网络模型的功能一致；根据第一检测结果、第二检测结果和预设的损失函数，确定剪枝训练损失值；基于剪枝训练损失值，对第二网络模型的参数进行调整后，持续进行模型训练，直至得到训练完成后的网络模型和模型参数；基于模型参数，对训练完成后的网络模型进行深度剪枝，得到目标网络模型。

技术研发人员：刘松
受保护的技术使用者：哲库科技（上海）有限公司
技术研发日：
技术公布日：2024/3/11