神经网络模型的压缩方法、训练方法、处理方法和装置与流程

本公开涉及人工智能领域，尤其涉及深度学习、自然语言处理(natural languageprocessing，nlp)、计算机视觉和语音处理等。

背景技术：

1、随着计算机技术和电子技术的发展，深度学习技术在计算机视觉、自然语言处理和智能语音等多个领域得到了广泛应用。预训练模型从大规模数据学习普适性的表征，可以在应用于不同下游应用时仅进行微调，而无需大量训练，提高了深度学习技术的应用便利性。

2、预训练模型的尺寸通常较大，应用时需要占用大量内容，且具有庞大的计算开销。因此，限制了预训练模型在计算能力有限的设备上的应用。

技术实现思路

1、本公开提供了一种神经网络模型的压缩方法、压缩模型的训练方法、多媒体数据的处理方法、装置、设备、存储介质以及程序产品。

2、根据本公开的一方面，提供了一种神经网络模型的压缩方法，包括：通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组，多个平滑参数组中每个平滑参数组包括与多个初始参数对应的多个平滑参数，多个平滑参数组分别与多个缩放值一一对应；通过处理器分别对多个平滑参数组进行量化，得到多个压缩后的神经网络模型；通过将多媒体数据作为待处理数据输入多个压缩后的神经网络模型，确定多个压缩后的神经网络模型的多个量化损失；以及根据多个量化损失，更新多个缩放值，并返回通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组的操作，直到确定目标神经网络模型；其中，更新目标神经网络模型对应的缩放值，并返回通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组的操作得到的神经网络模型的量化损失均大于目标神经网络模型的量化损失。

3、根据本公开的另一方面，提供了一种压缩模型的训练方法，包括：将作为样本数据的多媒体数据输入压缩模型，得到针对多个预定类别的概率向量，多媒体数据标注有类别信息；根据类别信息和概率向量，确定压缩模型的损失值；以及根据损失值，对压缩模型进行训练；其中，压缩模型是采用本公开提供的神经网络模型的压缩方法得到的压缩后的神经网络模型。

4、根据本公开的另一方面，提供了一种多媒体数据的处理方法，包括：将待处理的多媒体数据输入压缩模型，得到表示多媒体数据所属类别的概率向量，概率向量包括多媒体数据属于多个预定类别中每个预定类别的概率值；以及根据概率向量，确定多个预定类别中多媒体数据所属的目标类别；其中，压缩模型包括采用本公开提供的训练方法训练得到的模型。

5、根据本公开的另一方面，提供了一种神经网络模型的压缩装置，包括：平滑模块，用于通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组，多个平滑参数组中每个平滑参数组包括与多个初始参数对应的多个平滑参数，多个平滑参数组分别与多个缩放值一一对应；量化模块，用于通过处理器分别对多个平滑参数组进行量化，得到多个压缩后的神经网络模型；第一确定模块，用于通过将多媒体数据作为待处理数据输入多个压缩后的神经网络模型，确定多个压缩后的神经网络模型的多个量化损失；以及更新模块，用于根据多个量化损失，更新多个缩放值；其中，更新模块执行完成操作后，返回平滑模块执行操作，直到确定目标神经网络模型；更新目标神经网络模型对应的缩放值，并返回通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组的操作得到的神经网络模型的量化损失均大于目标神经网络模型的量化损失。

6、根据本公开的另一方面，提供了一种压缩模型的训练装置，包括：第一输入模块，用于将作为样本数据的多媒体数据输入压缩模型，得到针对多个预定类别的概率向量，多媒体数据标注有类别信息；第四确定模块，用于根据类别信息和概率向量，确定压缩模型的损失值；以及训练模块，用于根据损失值，对压缩模型进行训练；其中，压缩模型是采用本公开提供的压缩装置得到的压缩后的神经网络模型。

7、根据本公开的另一方面，提供了一种多媒体数据的处理装置，包括：第二输入模块，用于将待处理的多媒体数据输入压缩模型，得到表示多媒体数据所属类别的概率向量，概率向量包括多媒体数据属于多个预定类别中每个预定类别的概率值；以及第五确定模块，用于根据概率向量，确定多个预定类别中多媒体数据所属的目标类别；其中，压缩模型包括采用本公开提供的训练装置训练得到的模型。

8、本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的以下方法中的至少之一：神经网络模型的压缩方法、压缩模型的训练方法和多媒体数据的处理方法。

9、根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的以下方法中的至少之一：神经网络模型的压缩方法、压缩模型的训练方法和多媒体数据的处理方法。

10、根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开提供的以下方法中的至少之一：神经网络模型的压缩方法、压缩模型的训练方法和多媒体数据的处理方法。

11、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种神经网络模型的压缩方法，包括：

2.根据权利要求1所述的方法，其中，每个所述缩放值为张量，所述张量包括多个元素；所述更新所述多个缩放值包括：

3.根据权利要求1所述的方法，其中，所述根据所述多个量化损失，更新所述多个缩放值包括：

4.根据权利要求3所述的方法，其中，所述根据所述多个量化损失，更新所述多个缩放值还包括：

5.根据权利要求3所述的方法，其中，所述根据所述多个量化损失，更新所述多个缩放值还包括：

6.根据权利要求1所述的方法，其中，所述通过将多媒体数据作为待处理数据输入所述多个压缩后的神经网络模型，确定所述多个压缩后的神经网络模型的多个量化损失包括：

7.根据权利要求1所述的方法，还包括：

8.根据权利要求1所述的方法，还包括：

9.根据权利要求1所述的方法，还包括：

10.根据权利要求1所述的方法，其中，所述多个初始参数包括多个激活值和与所述多个激活值分别对应的多个权重值；所述分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组包括：

11.一种压缩模型的训练方法，包括：

12.一种多媒体数据的处理方法，包括：

13.一种神经网络模型的压缩装置，包括：

14.根据权利要求13所述的装置，其中，每个所述缩放值为张量，所述张量包括多个元素；所述更新模块还用于：

15.根据权利要求13所述的装置，其中，所述更新模块还用于：

16.根据权利要求15所述的装置，其中，所述更新模块还用于：

17.根据权利要求15所述的装置，其中，所述更新模块还用于：

18.根据权利要求13所述的装置，其中，所述第一确定模块还用于：

19.根据权利要求13所述的装置，还包括：

20.根据权利要求13所述的装置，其中，所述更新模块还用于：

21.根据权利要求13所述的装置，还包括：

22.根据权利要求13所述的装置，其中，所述多个初始参数包括多个激活值和与所述多个激活值分别对应的多个权重值；所述平滑模块还用于：

23.一种压缩模型的训练装置，包括：

24.一种多媒体数据的处理装置，包括：

25.一种电子设备，包括：

26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。

27.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-12中任一项所述方法的步骤。

技术总结
本公开提供了一种神经网络模型的压缩方法、训练方法、处理方法、装置、设备、介质和产品，涉及人工智能领域，尤其涉及深度学习、自然语言处理、计算机视觉和语音处理领域。具体实现方案为：通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组；通过处理器对多个平滑参数组进行量化，得到多个压缩后的神经网络模型；通过将多媒体数据作为待处理数据输入多个压缩后的神经网络模型，确定多个压缩后的神经网络模型的多个量化损失；根据多个量化损失，更新多个缩放值，并返回通过处理器分别利用多个缩放值对神经网络模型中的多个初始参数进行平滑，得到多个平滑参数组的操作，直到确定目标神经网络模型。

技术研发人员：徐畅,李明昊,于广华,王豪爽,沙燕霖,于佃海,马艳军
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13