1.一种大型语音模型超低位训练后量化方法,其特征在于,包括以下步骤:
2.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤1包括以下步骤:
3.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述k均值聚类,将数据集划分为k个簇,簇内数据相似性最大化、簇间差异性最大化。
4.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤2包括以下步骤:
5.如权利要求4所述的大型语音模型超低位训练后量化方法,其特征在于,所述k均值聚类算法包括以下步骤:
6.如权利要求4所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤2.3,使用gptq策略更新未量化权重。
7.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤3,根据列级异常值密度动态分配量化位数:异常值密集列分配4位,其他列分配2位。
8.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤4包括以下步骤:
9.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤5包括以下步骤:
10.一种大型语音模型超低位训练后量化系统,其特征在于,包括权重矩阵提取模块、k均值聚类模块、混合精度分配模块、异常值保留模块、模型推理模块;