大模型数据保护方法、系统、设备、存储介质及程序产品与流程

本发明涉及模型数据处理，尤其涉及一种大模型数据保护方法、系统、设备、存储介质及程序产品。

背景技术：

1、大型基础模型(以下简称大模型，如gpt-2-xl和opt-1.3b等语言模型)的诞生，带来了技术的变革，也给各行各业带来了机遇。然而，训练大模型成本高昂，绝大多数企业都无法承担训练一个完整的大模型的成本。

2、目前是大模型拥有方提供通用大模型给到对大模型有需求的企业，这些企业利用各自领域的隐私数据对大模型进行微调，从而降低企业使用大模型的成本。但是由于大模型通常需要巨大的算力和数据，训练成本高，因此训练后的大模型一般是专有和不开源的。若大模型拥有方将大模型提供给对大模型有需求的企业进行微调，容易损害大模型拥有方的模型知识产权。若给对大模型有需求的企业将领域的隐私数据发送给大模型拥有方进行微调，又容易造成隐私数据泄露。因此如何在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方(如对大模型有需求的企业)的数据隐私成为目前急需解决的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种大模型数据保护方法、系统、设备、存储介质及程序产品，旨在解决在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方的数据隐私的技术问题。

2、为实现上述目的，本发明提供一种大模型数据保护方法，大模型数据保护方法应用于与第二节点连接的第一节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：

3、将对大模型进行特征提取得到的第一适配器和第二适配器发送至第二节点，其中，所述大模型包括第一适配器、主模型和第二适配器；

4、接收所述第二节点发送的第一表征数据，将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据，将所述第二表征数据发送至所述第二节点，其中，所述第一表征数据为所述第二节点依据所述第二适配器和所述样本业务数据特征进行处理获得的数据；

5、接收所述第二节点发送的目标梯度值，依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成，其中，所述目标梯度值由所述第二节点依据所述第一适配器、所述第二表征数据和所述业务标签确定的梯度值。

6、可选地，依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成的步骤之后，包括：

7、若接收到所述第二节点发送的待预测表征数据，将所述待预测表征数据输入至调整后的所述大模型中进行模型训练，输出得到预测表征数据，将所述预测表征数据输入至所述第二节点，其中，所述第二节点依据所述第一适配器对所述预测表征数据进行格式转换处理，得到实际预测数据。

8、可选地，将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据的步骤，包括：

9、对所述大模型进行压缩处理，得到压缩模型，将所述第一表征数据输入至所述压缩模型进行模型训练，输出得到第二表征数据。

10、此外，为实现上述目的，本发明还提供一种大模型数据保护方法，所述大模型数据保护方法应用于与第一节点连接的第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，包括以下步骤：

11、接收所述第一节点发送的第一适配器和第二适配器，依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据，将所述第一表征数据发送至所述第一节点；

12、接收所述第一节点发送的第二表征数据，依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果，其中，所述第二表征数据为所述第一节点中大模型对所述第一表征数据进行预测的预测结果；

13、依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点，其中，所述第一节点依据所述目标梯度值调整所述大模型。

14、可选地，发送所述目标梯度值至所述第一节点之后，还包括：

15、在确定所述第一节点中的大模型调整完成后，若存在待预测的样本业务数据特征，依据所述第二适配器对待预测的样本业务数据特征进行格式变换处理，得到待预测表征数据，将所述待预测表征数据发送至所述第一节点；

16、接收所述第一节点发送的预测表征数据，依据所述第一适配器对所述预测表征数据进行格式变换处理，得到实际预测数据。

17、可选地，依据所述第二适配器对所述样本业务数据特征进行格式变换处理的步骤，包括：

18、在多个具有业务标签的样本业务数据特征中选择预设数量的样本业务数据特征构建数据集；

19、针对所述数据集中的至少一个样本业务数据，执行依据所述第二适配器对所述样本业务数据特征进行格式变换处理。

20、可选地，依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据的步骤，包括：

21、确定所述样本业务数据特征对应的原始格式，以及所述大模型对应的模型格式；

22、依据所述第二适配器将所述样本业务数据特征对应的格式由原始格式转换为模型格式，得到隐私表征数据；

23、将所述隐私表征数据输入至预设的第一保护模型进行加密处理，输出得到第一表征数据。

24、可选地，依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果的步骤，包括：

25、将所述第二表征数据输入至预设的第二保护模型进行解密处理，输出得到第三表征数据；

26、依据所述第一适配器将所述第三表征数据对应的格式由所述模型格式转换为所述原始格式，得到第一预测结果。

27、可选地，依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点的步骤，包括：

28、依据所述第一预测结果和所述业务标签进行梯度值计算，得到第一梯度值；

29、依据所述第一梯度值对所述第一适配器进行参数调整，得到目标梯度值，将所述目标梯度值发送至所述第一节点，其中，所述第一节点依据所述目标梯度值调整所述大模型，得到第二梯度值，将所述第二梯度值发送至所述第二节点；

30、所述发送所述目标梯度值至所述第一节点的步骤之后，包括：

31、接收所述第一节点发送的第二梯度值，依据所述第二梯度值对所述第二适配器进行参数调整，并获取新的样本业务数据特征，依据新的样本业务数据特征重新执行所述依据所述第二适配器对所述述样本业务数据特征进行格式变换处理的步骤，直至检测到所述第一节点中的大模型收敛或达到预设训练次数。

32、此外，为实现上述目的，本发明还提供一种大模型数据保护系统，所述大模型数据保护系统，包括相互连接的第一节点和第二节点，所述第一节点上部署大模型，所述第二节点拥有样本业务数据特征和业务标签，

33、所述第一节点，用于将对大模型进行特征提取得到的第一适配器和第二适配器发送至第二节点，其中，所述大模型包括第一适配器、主模型和第二适配器；

34、所述第二节点，用于接收所述第一节点发送的第一适配器和第二适配器，依据所述第二适配器对所述样本业务数据特征进行格式变换处理，得到第一表征数据，将所述第一表征数据发送至所述第一节点；

35、所述第一节点，用于接收所述第二节点发送的第一表征数据，将所述第一表征数据输入至所述大模型进行模型训练，输出得到第二表征数据，将所述第二表征数据发送至所述第二节点；

36、所述第二节点，用于接收所述第一节点发送的第二表征数据，依据所述第一适配器对所述第二表征数据进行格式变换处理，得到第一预测结果，依据所述第一预测结果和所述业务标签确定目标梯度值，发送所述目标梯度值至所述第一节点；

37、所述第一节点，用于接收所述第二节点发送的目标梯度值，依据所述目标梯度值对所述大模型进行调整，直至所述大模型调整完成。

38、此外，为实现上述目的，本发明还提供一种大模型数据保护设备，所述大模型数据保护设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的大模型数据保护程序，所述大模型数据保护程序被所述处理器执行时实现如上所述的大模型数据保护方法的步骤。

39、此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有大模型数据保护程序，所述大模型数据保护程序被处理器执行时实现如上所述的大模型数据保护方法的步骤。

40、此外，为实现上述目的，本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的大模型数据保护方法的步骤。

41、本发明实施例中，通过在第一节点上部署大模型，第二节点拥有样本业务数据特征和业务标签时，第一节点将对大模型进行特征提取的第一适配器和第二适配器发送至第二节点，由于大模型包括主模型、第一适配器和第二适配器。大模型的主要部分即主模型保留在第一节点中，并未发送至第二节点，因此保护了第一节点中大模型拥有方对大模型的模型知识产权，避免了第二节点在知晓大模型的整体架构参数后，做出损害大模型的模型知识产权的现象发生。

42、并且在进行大模型调整时，第二节点会依据第二适配器对样本业务数据特征进行格式变换处理，得到第一表征数据，并发送至第一节点，第一节点会依据大模型对第一表征数据进行处理，得到第二表征数据，再将第二表征数据发送至第二节点，接收第二节点依据第一适配器、第二表征数据和业务标签确定的目标梯度值，并依据目标梯度值对大模型进行调整，直至大模型调整完成。从而可以避免处于第一节点中的大模型拥有方直接获取到第二节点中模型需求方的训练样本数据，造成训练样本数据泄露的风险。并且由于第二节点是将训练样本数据的样本业务数据特征通过二适配器进行处理，得到第二表征数据，第一节点中的大模型仅仅只是对第一表征数据进行处理，并不清楚第二节点中具体的训练样本数据，因此也保障了第二节点中的数据隐私，降低了数据泄露的风险。也就是实现了在不损害大模型拥有方的模型知识产权的同时又能保障模型需求方的数据隐私。