一种基于大模型激活函数GELU的隐私推理方法

本发明涉及隐私保护领域，尤其涉及一种基于大模型激活函数gelu的隐私推理方法。

背景技术：

1、大型语言模型(llm)的出现，被视为人工智能领域的重大革命。凭借庞大的知识库和令人印象深刻的语言能力，使得chatgpt在各种任务中表现出色，包括问题回答、文章润色、建议提供以及参与对话。它还可以充当虚拟助手，有效地实现客户支持、信息检索和语言翻译。许多服务商已将模型推理作为在线推理服务，供用户使用，用户可以通过提交提示或消息进行gpt推理，方便地享受服务。然而，这种服务范式不可避免地使用户隐私面临风险，因为用户提交的数据可能包含敏感信息。这种隐私问题可能会限制gpt在某些数据保密至关重要的场景中的部署。同时模型本身蕴含商业价值，无法将模型交给用户自行预测。

2、我们期望存在一种技术，能够在完成模型所提供服务的同时保护双方隐私。安全推理能够完成上述目的，它通过同态加密和秘密共享等定制密码技术对加密输入上运行模型计算，使服务器对用户的输入一无所知，用户对模型除推理结果外一无所知。现有安全推理技术已有方法设计应用于卷积神经网络模型、决策树模型的推理过程中，但针对大型语言模型的隐私推理过程，尚未有良好的解决方法。大模型推理过程中含有一种全新的激活函数gelu，其光滑曲线的特性对于大模型推理效果有良好的帮助，现有方法无法对其进行良好的安全计算，现有通用解决方案针对gelu函数通过拟合ex，1/x进行组合运算，使得误差累积，拟合精度低，计算开销高，通信量大。由于一个常见大模型推理过程中gelu函数运行高达百万次，使得这一函数的计算成为了大模型隐私推理过程中的开销瓶颈，优化这一函数能够有效的提升大模型隐私推理的性能。隐私推理过程中对于gelu函数的输入是在客户端与服务端秘密共享的，即双方各自拥有的数据均可以视为随机数，将双方的随机数相加得到的结果是原始输入[x]本身。

技术实现思路

1、本发明的目的在于针对现有技术并未针对大模型推理过程中的gelu函数设计隐私计算方法，通用计算方法存在误差累积精确度低，通信量大，计算开销高的问题，而gelu函数的计算过程在整个大模型隐私推理过程中会多次频繁使用，是大模型隐私推理过程中的瓶颈，本发明设计了一种基于安全两方计算的大模型激活函数gelu隐私推理方法。

2、本发明的目的是通过以下技术方案来实现的：

3、一种基于大模型激活函数gelu的隐私推理方法，包括以下步骤：

4、(1)首先将gelu函数使用分段函数进行近似，两端视为线性函数进行拟合，且将中间光滑曲线部分使用最后一位单位误差ulp error衡量近似函数的准确度；

5、(2)使用秘密共享下的比较协议，判断当前秘密共享下的输入处于哪一区间，并保留判断结果用于步骤(4)中的安全选择协议；

6、(3)使用秘密共享下的查表协议，判断当前秘密共享的输入[x]处于区间内的哪一线段处，获得当前一次多项式的参数，使用秘密共享下的乘法，确定当前多项式的针对当前输入下对应一次多项式的表达结果；

7、(4)使用步骤(2)中判断结果，结合步骤(3)中的表达结果，使用安全选择协议，结合分段比较结果选择当前[x]的最终拟合结果。

8、进一步地，所述步骤(1)通过以下子步骤来实现：

9、(2.1)由于隐私推理的场景限制，利用定点数下gelu函数的计算，根据gelu函数的特性，将gelu函数使用分段函数拟合，两端分别使用f(x)＝0及f(x)＝1进行拟合，中间部分为光滑曲线g(x)；

10、(2.2)针对中间部分的g(x)进行均匀分段，每一段使用一条线段进行拟合，线段即一次多项式，通过记录一次多项式的两个系数，即可唯一确定当前一次多项式。

11、进一步地，所述步骤(2)通过以下子步骤来实现：

12、(3.1)将秘密共享下的[x]使用多次安全比较协议，百万富翁协议，能够判断[x]与当前区间公开分段点的比较结果；

13、(3.2)将步骤(3.1)获得的比较结果以秘密共享形式存储在客户端和服务端中。

14、进一步地，所述步骤(3)通过以下子步骤来实现：

15、(4.1)通过将秘密共享下的[x]使用安全查表协议，查出当前[x]对应的所属区间中的一次多项式系数；

16、(4.2)通过查表获得的多项式系数，使用秘密共享下的安全乘法协议，获得当前x对应的多项式结果。

17、本发明的有益效果如下：

18、本发明针对大模型推理过程中的gelu函数，能够支持在秘密共享的输入上完成gelu函数的计算，且本方法通过直接拟合gelu函数，设计密码学友好的方法，能够减少隐私计算过程中的精度损失，降低计算开销即通信开销，应用于大模型隐私推理中能够有效提升性能。

技术特征：

1.一种基于大模型激活函数gelu的隐私推理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于大模型激活函数gelu的隐私推理方法，其特征在于，所述步骤(1)通过以下子步骤来实现：

3.根据权利要求1所述的一种基于大模型激活函数gelu的隐私推理方法，其特征在于，所述步骤(2)通过以下子步骤来实现：

4.根据权利要求1所述的一种基于大模型激活函数gelu的隐私推理方法，其特征在于，所述步骤(3)通过以下子步骤来实现：

技术总结
本发明公开了一种基于大模型激活函数GELU的隐私推理方法，该方法针对大型语言模型推理过程中常用的GELU函数，设计使用密码学协议，使得能够在GELU函数输入是双方秘密共享的情况下，完成GELU函数的计算。通过设计分段函数近似、安全查表、安全比较结合安全选择的方法，能够良好的支持这一函数的安全计算，同时提高计算准确度，降低计算开销及通信开销。

技术研发人员：刘健,侯潇扬,李婧瑜,李雨函,任奎
受保护的技术使用者：浙江大学
技术研发日：
技术公布日：2024/2/8