本发明涉及大模型安全，尤其涉及一种基于交并集约束的大语言模型量化攻击防御方法。

背景技术：

1、大语言模型通常包含数十亿至数千亿规模的参数，在全精度格式下直接部署会产生较高的存储开销、显存占用和推理计算成本。为降低部署成本，现有技术通常采用模型量化方法，将模型权重或激活由fp32、bf16等高精度数值格式转换为int8、nf4、fp4等低比特数值格式，从而减少模型存储空间和计算开销，并提升推理部署效率。然而，量化过程可能引入安全风险。量化安全方法主要关注量化本身导致的被动安全退化，例如量化后模型能力下降、安全对齐减弱或者部分安全参数受到扰动等问题。这类方法通常通过量化感知训练、安全补丁、高精度保护关键参数等方式改善量化后模型表现。但是，上述方法主要针对非对抗场景下的自然安全退化，并未充分考虑攻击者主动构造的量化攻击。在量化攻击中，模型在全精度状态下可以保持正常行为，从而绕过常规全精度检测；只有在用户执行低比特量化后，隐藏恶意行为才被激活，目前的防御方法难以直接用于广告注入、过度拒答、越狱响应等大语言模型量化攻击场景。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种基于交并集约束的大语言模型量化攻击防御方法，旨在提高对大模型的防御效果。为实现上述目的，本发明提供一种基于交并集约束的大语言模型量化攻击防御方法，所述基于交并集约束的大语言模型量化攻击防御方法包括以下步骤：

2、获取待防御的全精度大语言模型和多个目标量化配置；

3、根据所述全精度大语言模型中的每个候选参数确定所述候选参数在每个目标量化配置下的量化稳定区间，并根据各所述量化稳定区间确定交集区间和并集区间；

4、根据所述交集区间确定各所述候选参数的风险权重，并根据所述风险权重从所述候选参数中确定高风险参数；

5、根据所述交集区间和所述并集区间对所述高风险参数进行参数校正，确定校正后参数，并输出包含所述校正后参数的校正后的全精度大语言模型。

6、可选地，所述根据所述全精度大语言模型中的每个候选参数确定所述候选参数在每个目标量化配置下的量化稳定区间的步骤包括：

7、当所述目标量化配置为均匀量化时，根据所述均匀量化对应的量化尺度和量化步长确定所述候选参数的量化桶边界，并根据所述量化桶边界确定所述候选参数在所述均匀量化下的第一量化稳定区间；

8、当所述目标量化配置为码本量化时，根据所述码本量化的码本中相邻项的决策边界确定所述候选参数在所述码本量化下的第二量化稳定区间；

9、根据所述第一量化稳定区间和所述第二量化稳定区间确定所述量化稳定区间。

10、可选地，所述根据所述交集区间确定各所述候选参数的风险权重，并根据所述风险权重从所述候选参数中确定高风险参数的步骤包括：

11、计算所述交集区间的交集区间宽度；

12、根据所述交集区间宽度和预设数值稳定项计算所述候选参数的风险权重，其中，所述风险权重与所述交集区间宽度呈负相关；

13、根据所述风险权重对所述候选参数进行排序，并将排序靠前的预设比例的候选参数确定为所述高风险参数。

14、可选地，所述根据所述交集区间和所述并集区间对所述高风险参数进行参数校正的步骤包括：

15、确定所述高风险参数的校正方向，其中，所述校正方向为使所述高风险参数的参数值远离所述交集区间的方向；

16、根据所述并集区间的并集区间边界确定所述高风险参数的校正幅度上限；

17、根据所述校正方向和所述校正幅度上限对所述高风险参数进行参数校正，以使校正后的参数值位于所述交集区间之外且位于所述并集区间之内。

18、可选地，所述根据所述校正方向和所述校正幅度上限对所述高风险参数进行参数校正的步骤还包括：

19、获取干净校准数据，并将所述干净校准数据分别输入所述全精度大语言模型和校正后的全精度大语言模型，提取对应的隐藏状态数据；

20、计算所述全精度大语言模型对应的隐藏状态数据与所述校正后的全精度大语言模型对应的隐藏状态数据之间的隐藏状态差异值；

21、根据所述隐藏状态差异值调节所述校正幅度上限，以约束所述高风险参数在校正前后的模型输出差异。

22、可选地，所述确定所述高风险参数的校正方向的步骤包括：

23、计算所述高风险参数的参数值与所述交集区间的各边界之间的边界距离；

24、根据所述边界距离确定所述校正方向，所述校正方向为使所述高风险参数以最小幅移离开所述交集区间的方向。

25、可选地，所述参数校正作用于所述全精度大语言模型，其中，校正后的参数值位于所述交集区间之外，以破坏多种量化攻击共享的脆弱参数映射；

26、所述校正后的参数值位于所述并集区间之内，以保持所述全精度大语言模型在非攻击场景下的正常能力。

27、此外，为实现上述目的，本发明还提供一种基于交并集约束的大语言模型量化攻击防御装置，所述基于交并集约束的大语言模型量化攻击防御装置包括：

28、获取模块，用于获取待防御的全精度大语言模型和多个目标量化配置；

29、分析模块，用于根据所述全精度大语言模型中的每个候选参数确定所述候选参数在每个目标量化配置下的量化稳定区间，并根据各所述量化稳定区间确定交集区间和并集区间；

30、识别模块，用于根据所述交集区间确定各所述候选参数的风险权重，并根据所述风险权重从所述候选参数中确定高风险参数；

31、校正模块，用于根据所述交集区间和所述并集区间对所述高风险参数进行参数校正，确定校正后参数，并输出包含所述校正后参数的校正后的全精度大语言模型。

32、此外，为实现上述目的，本发明还提供一种基于交并集约束的大语言模型量化攻击防御装置，所述基于交并集约束的大语言模型量化攻击防御装置包括：

33、获取模块，用于获取待防御的全精度大语言模型和多个目标量化配置；

34、分析模块，用于根据所述全精度大语言模型中的每个候选参数确定所述候选参数在每个目标量化配置下的量化稳定区间，并根据各所述量化稳定区间确定交集区间和并集区间；

35、识别模块，用于根据所述交集区间确定各所述候选参数的风险权重，并根据所述风险权重从所述候选参数中确定高风险参数；

36、校正模块，用于根据所述交集区间和所述并集区间对所述高风险参数进行参数校正，确定校正后参数，并输出包含所述校正后参数的校正后的全精度大语言模型。

37、此外，为实现上述目的，本发明还提供一种基于交并集约束的大语言模型量化攻击防御设备，所述基于交并集约束的大语言模型量化攻击防御设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于交并集约束的大语言模型量化攻击防御程序，所述基于交并集约束的大语言模型量化攻击防御程序配置为实现上述任一项所述的基于交并集约束的大语言模型量化攻击防御方法的步骤。

38、此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于交并集约束的大语言模型量化攻击防御程序，所述基于交并集约束的大语言模型量化攻击防御程序被处理器执行时实现上述任一项所述的基于交并集约束的大语言模型量化攻击防御方法的步骤。

39、本发明提出一种基于交并集约束的大语言模型量化攻击防御方法，该方法通过获取待防御的全精度大语言模型和多个目标量化配置，根据所述全精度大语言模型中的每个候选参数确定所述候选参数在每个目标量化配置下的量化稳定区间，并根据各所述量化稳定区间确定交集区间和并集区间根据所述交集区间确定各所述候选参数的风险权重，并根据所述风险权重从所述候选参数中确定高风险参数，根据所述交集区间和所述并集区间对所述高风险参数进行参数校正，确定校正后参数，并输出包含所述校正后参数的校正后的全精度大语言模型，从而破坏量化攻击所依赖的多量化稳定映射关系。同时，校正幅度受并集区间约束，避免参数偏移过大而损害模型原有能力。