保护隐私的模型预测方法和装置与流程

本说明书实施例涉及计算机，尤其涉及一种保护隐私的模型预测方法和装置。

背景技术：

1、现阶段，不同的数据持有方所持有的数据可能包含用户的隐私信息，数据持有方之间的数据共享可能会侵犯用户的隐私，进而违反相关法律。为了能够打通多方之间的数据流通，避免数据孤岛现象，可以利用安全多方计算支持多方之间的联合计算，挖掘出数据的价值，同时确保多方交互时不会泄露出各方隐私数据的明文信息。同时，最近比较火热的一个研究对象是大模型，其在不同领域都取得了比较好的效果。如何利用现有预训练好的大模型，在不同的下游任务上发挥更好的效果，是一个很重要的研究方向。而如何在不泄露用户的隐私信息以及大模型持有方的模型参数的前提下，实现大模型安全预测是目前的一个挑战。

技术实现思路

1、本说明书的实施例描述了一种保护隐私的模型预测方法和装置，可以实现在不泄露模型参数和待预测数据的前提下，得到模型预测结果，从而保护模型参数和待预测数据的数据安全。

2、根据第一方面，提供了一种保护隐私的模型预测方法，上述方法由模型提供方执行，上述方法包括：根据精度配置信息，将目标模型各部分的模型参数从浮点数转化为对应精度的定点数；其中，上述目标模型的不同部分对应不同的精度；采用秘密分享对定点数的模型参数进行拆分，得到多个模型参数分片；将上述多个模型参数分片分别提供给多方安全计算mpc系统中的多个计算方，以供上述多个计算方基于上述模型参数分片和数据提供方提供的待预测数据的数据分片进行多方联合计算，得到上述待预测数据的预测结果。

3、根据第二方面，提供了一种保护隐私的预测方法，上述方法由数据提供方执行，上述方法包括：将待预测数据从浮点数转化为预设精度的定点数；其中，上述预设精度根据模型提供方针对目标模型的精度配置信息确定；采用秘密分享对定点数的待预测数据进行拆分，得到多个数据分片；将上述多个数据分片分别提供给多方安全计算mpc系统中的多个计算方，以供上述多个计算方基于上述数据分片和上述模型提供方提供的上述目标模型的模型参数分片进行多方联合计算，得到上述待预测数据的预测结果。

4、根据第三方面，提供了一种保护隐私的模型预测装置，上述装置部署于模型提供方，上述装置包括：第一转化单元，配置为，根据精度配置信息，将目标模型各部分的模型参数从浮点数转化为对应精度的定点数；其中，上述目标模型的不同部分对应不同的精度；第一拆分单元，配置为，采用秘密分享对定点数的模型参数进行拆分，得到多个模型参数分片；第一预测单元，配置为，将上述多个模型参数分片分别提供给多方安全计算mpc系统中的多个计算方，以供上述多个计算方基于上述模型参数分片和数据提供方提供的待预测数据的数据分片进行多方联合计算，得到上述待预测数据的预测结果。

5、根据第四方面，提供了一种保护隐私的预测装置，上述装置部署于数据提供方，上述装置包括：第二转化单元，配置为，将待预测数据从浮点数转化为预设精度的定点数；其中，上述预设精度根据模型提供方针对目标模型的精度配置信息确定；第二拆分单元，配置为，采用秘密分享对定点数的待预测数据进行拆分，得到多个数据分片；第二预测单元，配置为，将上述多个数据分片分别提供给多方安全计算mpc系统中的多个计算方，以供上述多个计算方基于上述数据分片和上述模型提供方提供的上述目标模型的模型参数分片进行多方联合计算，得到上述待预测数据的预测结果。

6、根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面和第二方面中任一实现方式描述的方法。

7、根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面和第二方面中任一实现方式描述的方法。

8、根据本说明书实施例提供的保护隐私的模型预测方法和装置，包括模型提供方和数据提供方，模型提供方可以根据精度配置信息将目标模型各部分的模型参数从浮点数转化为对应精度的定点数，而后采用秘密分享对定点数的模型参数进行拆分，得到多个模型参数分片。最后，将多个模型参数分片分别提供给多方安全计算mpc系统中的多个计算方，以使多个计算方基于模型参数分片和数据提供方提供的待预测数据的数据分片进行多方联合计算，得到待预测数据的预测结果。由此，根据精度配置信息将模型参数从浮点数转化为定点数，可以减少模型预测时的计算量和通信开销，提高模型预测的效率。同时，采用秘密分享对模型参数和待预测数据进行拆分，使不同计算方拥有不同的模型参数分片和数据分片，多个计算方进行多方联合计算，实现在不泄露模型参数和待预测数据的前提下，得到模型预测结果，从而保护了模型参数和待预测数据的数据安全。

技术特征：

1.一种保护隐私的模型预测方法，所述方法由模型提供方执行，所述方法包括：

2.根据权利要求1所述的方法，其中，所述模型提供方作用为所述多个计算方之一。

3.根据权利要求1所述的方法，其中，所述多个计算方包括第一计算方，第二计算方和第三计算方；

4.根据权利要求3所述的方法，其中，所述将所述多个模型参数分片分别提供给多方安全计算mpc系统中的多个计算方，包括：

5.根据权利要求1所述的方法，其中，所述方法还包括：

6.根据权利要求1所述的方法，其中，所述预测结果包括多个结果分片，所述多个结果分片被发送给预设的结果接收方，以恢复得到明文预测结果。

7.根据权利要求1所述的方法，其中，所述目标模型是基于业务数据对预训练语言模型进行调整后得到的大语言模型。

8.根据权利要求1所述的方法，其中，所述目标模型包括输入层、多个中间层和输出层，所述目标模型的不同部分对应不同的精度，包括：所述输入层和所述输出层的模型参数和模型运算采用第一精度，所述多个中间层的模型参数和模型运算采用第二精度，所述第一精度高于所述第二精度。

9.根据权利要求1所述的方法，其中，所述模型参数包括第一参数；

10.一种保护隐私的预测方法，所述方法由数据提供方执行，所述方法包括：

11.一种保护隐私的模型预测装置，所述装置部署于模型提供方，所述装置包括：

12.一种保护隐私的预测装置，所述装置部署于数据提供方，所述装置包括：

13.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项所述的方法。

14.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。

技术总结
本说明书实施例提供了一种保护隐私的模型预测方法和装置。该方法的一具体实施方式包括：根据精度配置信息，将目标模型各部分的模型参数从浮点数转化为对应精度的定点数；其中，所述目标模型的不同部分对应不同的精度；采用秘密分享对定点数的模型参数进行拆分，得到多个模型参数分片；将所述多个模型参数分片分别提供给多方安全计算MPC系统中的多个计算方，以供所述多个计算方基于所述模型参数分片和数据提供方提供的待预测数据的数据分片进行多方联合计算，得到所述待预测数据的预测结果。

技术研发人员：吴豪奇,方文静,王磊
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/3/27