模型量化方法、装置、电子设备和存储介质与流程

本申请涉及计算机，尤其涉及深度学习等人工智能领域，具体涉及一种模型量化方法、装置、电子设备和存储介质。

背景技术：

1、近年来，神经网络模型被广泛应用在许多领域，但是神经网络模型由于模型复杂度高、模型大，导致推理时效率较低，推理时间较长备。模型压缩是一种降低模型大小和加快模型推理速度的技术，其中一种常见的方法是模型量化。

技术实现思路

1、本申请提供了一种模型量化方法、装置、电子设备和存储介质。具体方案如下：

2、根据本申请的一方面，提供了一种模型量化方法，包括：

3、获取待量化的第一模型；其中，所述第一模型用于在支持第一数据类型的系统上运行以进行文本处理；

4、对所述第一模型中各层的第一权重进行权重量化，得到第二模型；

5、对所述第二模型执行平衡激活异常值与权重的处理操作，得到第一权重缩放因子及第三模型；

6、对所述第三模型进行激活量化，得到激活缩放因子；

7、根据所述第三模型、所述第一权重缩放因子及所述激活缩放因子，得到目标模型；其中，所述目标模型用于在支持第二数据类型的系统上运行以进行文本处理。

8、根据本申请的另一方面，提供了一种模型量化装置，包括：

9、第一获取模块，用于获取待量化的第一模型；其中，所述第一模型用于在支持第一数据类型的系统上运行以进行文本处理；

10、第一量化模块，用于对所述第一模型中各层的第一权重进行权重量化，得到第二模型；

11、第二获取模块，用于对所述第二模型执行平衡激活异常值与权重的处理操作，得到第一权重缩放因子及第三模型；

12、第二量化模块，用于对所述第三模型进行激活量化，得到激活缩放因子；

13、第三获取模块，用于根据所述第三模型、所述第一权重缩放因子及所述激活缩放因子，得到目标模型；其中，所述目标模型用于在支持第二数据类型的系统上运行以进行文本处理。

14、根据本申请的另一方面，提供了一种电子设备，包括：

15、至少一个处理器；以及

16、与所述至少一个处理器通信连接的存储器；其中，

17、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。

18、根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。

19、根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。

20、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种模型量化方法，包括：

2.如权利要求1所述的方法，其中，所述对所述第二模型执行平衡激活异常值与权重的处理操作，得到第一权重缩放因子及第三模型，包括：

3.如权利要求2所述的方法，其中，所述基于所述第二模型中每层对应的多个候选缩放尺度，对每层的第二权重和第一激活执行缩放操作，以得到多个第一权重激活组合，包括：

4.如权利要求3所述的方法，其中，所述根据每个所述候选缩放向量，对所述第二权重执行缩放操作，得到所述第一候选权重，包括：

5.如权利要求2所述的方法，其中，所述根据每个所述第一权重激活组合对应的第一损失，从多个第一候选权重中确定出第一目标权重，包括：

6.如权利要求1所述的方法，其中，所述对所述第二模型执行平衡激活异常值与权重的处理操作，得到第一权重缩放因子及第三模型，包括：

7.如权利要求6所述的方法，其中，所述基于所述第二模型中每层对应的多个候选平移尺度，对每层的第二权重和第一激活执行平移操作，以得到多个第二权重激活组合，包括：

8.如权利要求1所述的方法，其中，所述对所述第一模型中各层的第一权重进行权重量化，得到第二模型，包括：

9.如权利要求8所述的方法，其中，所述根据各第二通道的第二权重缩放因子对所述第一权重进行量化，得到每层的第二权重，包括：

10.如权利要求9所述的方法，其中，所述根据所述比值与预设的量化比特数，确定所述第二权重，包括：

11.如权利要求1所述的方法，其中，所述对所述第三模型进行激活量化，得到激活缩放因子，包括：

12.如权利要求11所述的方法，其中，所述根据每层激活的多个最大值，确定每层激活的激活缩放因子，包括：

13.一种模型量化装置，包括：

14.如权利要求13所述的装置，其中，所述第二获取模块，用于：

15.如权利要求14所述的装置，其中，所述第二获取模块，用于：

16.如权利要求15所述的装置，其中，所述第二获取模块，用于：

17.如权利要求14所述的装置，其中，所述第二获取模块，用于：

18.如权利要求13所述的装置，其中，所述第二获取模块，用于：

19.如权利要求18所述的装置，其中，所述第二获取模块，用于：

20.如权利要求13所述的装置，其中，所述第三获取模块，用于：

21.如权利要求20所述的装置，其中，所述第三获取模块，用于：

22.如权利要求21所述的装置，其中，所述第三获取模块，用于：

23.如权利要求13所述的装置，其中，所述第二量化模块，用于：

24.如权利要求23所述的装置，其中，所述第二量化模块，用于：

25.一种电子设备，包括：

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。

27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-12中任一项所述方法的步骤。

技术总结
本申请公开了模型量化方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉深度学习等人工智能领域。具体实现方案为：获取待量化的第一模型；其中，第一模型用于在支持第一数据类型的系统上运行以进行文本处理；对第一模型中各层的第一权重进行权重量化，得到第二模型；对第二模型执行平衡激活异常值与权重的处理操作，得到第一权重缩放因子及第三模型；对第三模型进行激活量化，得到激活缩放因子；根据第三模型、第一权重缩放因子及激活缩放因子，得到目标模型；其中，目标模型用于在支持第二数据类型的系统上运行以进行文本处理。

技术研发人员：吕梦思,王豪爽,党青青,沙燕霖,于佃海,马艳军
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/3/24