一种大型语音模型超低位训练后量化方法及系统

文档序号:42296510发布日期:2025-06-27 18:34阅读:70来源:国知局
技术特征:

1.一种大型语音模型超低位训练后量化方法,其特征在于,包括以下步骤:

2.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤1包括以下步骤:

3.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述k均值聚类,将数据集划分为k个簇,簇内数据相似性最大化、簇间差异性最大化。

4.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤2包括以下步骤:

5.如权利要求4所述的大型语音模型超低位训练后量化方法,其特征在于,所述k均值聚类算法包括以下步骤:

6.如权利要求4所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤2.3,使用gptq策略更新未量化权重。

7.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤3,根据列级异常值密度动态分配量化位数:异常值密集列分配4位,其他列分配2位。

8.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤4包括以下步骤:

9.如权利要求1所述的大型语音模型超低位训练后量化方法,其特征在于,所述步骤5包括以下步骤:

10.一种大型语音模型超低位训练后量化系统,其特征在于,包括权重矩阵提取模块、k均值聚类模块、混合精度分配模块、异常值保留模块、模型推理模块;


技术总结
本发明公开了一种大型语音模型超低位训练后量化方法及系统,涉及语音模型领域。包括权重矩阵预处理、K均值聚类量化、异常值检测与混合精度分配、选择性异常值保留、模型推理与性能评估。本发明动态精度分配,根据异常值密度动态调整量化位数,优化资源利用率;关键信息保留,通过选择性保留异常值,避免量化误差,提升模型性能;跨领域鲁棒性,确保量化模型的泛化能力;为超低位量化提供了高效且灵活的解决方案。

技术研发人员:钱彦旻,顾天腾
受保护的技术使用者:上海交通大学
技术研发日:
技术公布日:2025/6/26
当前第2页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!