联合量化与剪枝的卷积神经网络模型压缩方法及装置

本技术涉及图像处理，尤其涉及联合量化与剪枝的卷积神经网络模型压缩方法及装置。

背景技术：

1、卷积神经网络是最具代表性的深度学习算法之一,目前已经被大范围地应用于计算机视觉等领域，并且取得了众多突破性的进展。为了提高图像处理的智能化程度及有效性，可以采用卷积神经网络进行图像特征识别等处理。针对卷积神经网络模型参数量巨大、模型计算量大以及电能消耗大等特性，研究人员提出了神经网络模型压缩技术，该技术对于卷积神经网络在资源受限的客户端设备上的应用有着重要的研究意义。

2、目前，现有的卷积神经网络压缩方式通常为单独采用网络剪枝方式或者单独采用降低权重所需比特数的量化方式，或者将这两种方式直接叠加。然而，单独采用这两种方式之一均存在无法同时保证压缩效率及压缩后的模型精度的缺点，而将这两种方式直接叠加则会导致模型精度大幅下降，甚至比单独使用量化或剪枝的效果更差。另外，现有的将这两种方式直接叠加的方法基本都是在量化训练期间加入剪枝操作，这一过程需要大量的训练数据，而由于数据的私有性，这些方法落地实施较为困难，不利于模型在客户端设备上的部署。

技术实现思路

1、鉴于此，本技术实施例提供了一种新型的联合量化与剪枝的卷积神经网络模型压缩方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本技术的一个方面是提供了一种联合量化与剪枝的卷积神经网络模型压缩方法，包括：

3、基于预设的重要性因子确定训练得到的用于图像处理的原始卷积神经网络中的待剪枝滤波器，并对所述待剪枝滤波器进行剪枝处理以得到剪枝后的卷积神经网络；

4、将所述剪枝后的卷积神经网络中剩余的滤波器划分为待量化滤波器和用于梯度反向传播的中心滤波器；

5、根据预设的图像校准数据对所述待量化滤波器进行量化处理，以得到所述原始卷积神经网络对应的压缩模型。

6、在本技术的一些实施例中，还包括：

7、采用蒸馏学习方法，应用所述图像校准数据对应的标签对所述压缩模型进行梯度方向传播的微调处理。

8、在本技术的一些实施例中，所述重要性因子包括：几何中位数；

9、相对应的，所述基于预设的重要性因子确定训练得到的用于图像处理的原始卷积神经网络中的待剪枝滤波器，包括：

10、待剪枝评价步骤：基于预设的几何中位数的评价方式，计算原始卷积神经网络中当前的目标层中使得所有滤波器之间的欧式距离之和最小的滤波器，将该滤波器作为所述目标层的待剪枝滤波器；

11、判断所述原始卷积神经网络的各个层当前的待剪枝滤波器的数量是否达到各个层各自对应的剪枝阈值，若存在当前的待剪枝滤波器的数量未达到自身剪枝阈值的层，将该层作为新的目标层，并针对该目标层返回执行所述待剪枝评价步骤，直至所述原始卷积神经网络的各个层当前的待剪枝滤波器的数量均达到各个层各自对应的剪枝阈值。

12、在本技术的一些实施例中，在所述将所述剪枝后的卷积神经网络中剩余滤波器划分为待量化滤波器和用于梯度反向传播的中心滤波器之前，还包括：

13、基于预设的跨层均衡方法对所述剪枝后的卷积神经网络中剩余滤波器进行量化预处理。

14、在本技术的一些实施例中，所述将所述剪枝后的卷积神经网络中剩余滤波器划分为待量化滤波器和用于梯度反向传播的中心滤波器，包括：

15、基于预设的几何中位数的评价方式，分别计算原始卷积神经网络中每个层中使得所有滤波器之间的欧式距离之和最小的滤波器，将该滤波器作为其所在层的用于梯度反向传播的中心滤波器；

16、在所述剪枝后的卷积神经网络中剩余滤波器中筛除所述中心滤波器，得到对应的待量化滤波器。

17、在本技术的一些实施例中，所述根据预设的图像校准数据对所述待量化滤波器进行量化处理，以得到所述原始卷积神经网络对应的压缩模型，包括：

18、采用预设mse误差方法确定针对所述待量化滤波器的权重量化的量化范围；

19、基于预设的adaround量化算法，采用所述图像校准数据对所述待量化滤波器进行权重舍入处理，以逐层优化所述原始卷积神经网络中的所述待量化滤波器，得到所述原始卷积神经网络对应的压缩模型。

20、在本技术的一些实施例中，所述采用蒸馏学习方法，应用所述图像校准数据对应的标签对所述压缩模型进行梯度方向传播的微调处理，包括：

21、将所述原始卷积神经网络作为教师模型，将所述压缩模型作为学生模型；

22、将所述图像校准数据对应的标签作为教师模型的监督信息，以基于蒸馏学习方法对所述压缩模型进行梯度方向传播的微调处理。

23、本技术的另一个方面提供了一种联合量化与剪枝的卷积神经网络模型压缩装置，包括：

24、剪枝模块，用于基于预设的重要性因子确定训练得到的用于图像处理的原始卷积神经网络中的待剪枝滤波器，并对所述待剪枝滤波器进行剪枝处理以得到剪枝后的卷积神经网络；

25、划分模块，用于将所述剪枝后的卷积神经网络中剩余滤波器划分为待量化滤波器和用于梯度反向传播的中心滤波器；

26、量化模块，用于根据预设的图像校准数据对所述待量化滤波器进行量化处理，以得到所述原始卷积神经网络对应的压缩模型。

27、在本技术的一些实施例中，联合量化与剪枝的卷积神经网络模型压缩装置还包括：

28、微调模块，用于采用蒸馏学习方法，应用所述图像校准数据对应的标签对所述压缩模型进行梯度方向传播的微调处理。

29、在本技术的一些实施例中，联合量化与剪枝的卷积神经网络模型压缩装置还包括：

30、量化预处理模块用于基于预设的跨层均衡方法对所述剪枝后的卷积神经网络中剩余滤波器进行量化预处理。

31、本技术的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的联合量化与剪枝的卷积神经网络模型压缩方法。

32、本技术的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的联合量化与剪枝的卷积神经网络模型压缩方法。

33、本技术提供的联合量化与剪枝的卷积神经网络模型压缩方法，能够实现对训练得到的用于预测图像特征的原始卷积神经网络进行量化与剪枝的联合处理，无需使用大量的训练数据，能够有效节省模型压缩的时间成本等，进而能够有效提高卷积神经网络的压缩效率；通过采用重要性因子对原始卷积神经网络进行剪枝，能够避免在剪枝操作后进行量化等操作会使得剪枝误差和量化误差混淆，进而能够有效提高量化和剪枝结合的效果，能够降低压缩后的模型精度损失并能够提高压缩比，进而能够在采用压缩后的卷积神经网络进行图像特征识别或预测等图像处理的基础上，进一步保证识别精度，能够在客户端设备中实现模型压缩，进而能够提高客户端设备进行图像特征识别等的效率并保证识别有效性及可靠性；通过将所述剪枝后的卷积神经网络中剩余滤波器划分为中心滤波器和待量化滤波器，并基于预设的图像校准数据对所述待量化滤波器进行量化处理，并保留不进行量化处理的全精度的所述中心滤波器，使得该中心滤波器能够在后续梯度反向传播的过程中，全精度参数能够以正常求导的方式适应其他量化权重引起的损失，进而进一步保证压缩后的模型精度。

34、本技术的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本技术的实践而获知。本技术的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

35、本领域技术人员将会理解的是，能够用本技术实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本技术能够实现的上述和其他目的。