数据处理方法、装置、可读介质及电子设备与流程

文档序号:36009549发布日期:2023-11-17 02:30阅读:36来源:国知局
数据处理方法与流程

本公开涉及计算机,具体地,涉及一种数据处理方法、装置、可读介质及电子设备。


背景技术:

1、大语言模型(large language model,llm)在人工智能和自然语言处理领域有着广泛的应用场景,并且大语言模型涉及大量用户数据以及模型算法,因此数据和模型的安全变得尤为重要。

2、在模型微调或使用过程中,需要获取相应的模型以及数据以进行模型微调或模型推理。在获取数据以及模型的过程中,若数据和模型被恶意窃取,会导致数据和模型的泄露。此外,利用集群或云服务进行模型微调或模型推理时,由于集群或云服务的环境可能是不可信的,集群节点在进行数据处理的过程中,也有可能导致数据和模型的泄露。


技术实现思路

1、提供该
技术实现要素:
部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、第一方面,本公开提供一种数据处理方法,所述方法包括:

3、接收数据处理任务;

4、确定所述数据处理任务对应的目标数据和所述目标数据对应的目标第一密钥,所述目标数据由第一密钥对待处理数据加密得到,所述目标第一密钥由第一会话密钥对所述第一密钥加密得到,所述第一会话密钥由所述数据处理任务的任务处理方和所述第一密钥的密钥持有方协商得到;

5、通过目标计算节点根据所述第一会话密钥对所述目标第一密钥进行解密,得到所述第一密钥,并根据所述第一密钥对所述目标数据进行解密,得到所述待处理数据,其中,所述目标计算节点运行在可信执行环境中;

6、根据目标模型和所述待处理数据,确定数据处理结果,所述目标模型是基于模型密钥对加密的所述目标模型解密得到的,所述模型密钥保存在密钥管理服务,所述密钥管理服务运行在所述可信执行环境中。

7、第二方面,本公开提供一种数据处理装置,所述装置包括:

8、接收模块,用于接收数据处理任务;

9、确定模块,用于确定所述数据处理任务对应的目标数据和所述目标数据对应的目标第一密钥,所述目标数据由第一密钥对待处理数据加密得到,所述目标第一密钥由第一会话密钥对所述第一密钥加密得到,所述第一会话密钥由所述数据处理任务的任务处理方和所述第一密钥的密钥持有方协商得到;

10、解密模块,用于通过目标计算节点根据所述第一会话密钥对所述目标第一密钥进行解密,得到所述第一密钥,并根据所述第一密钥对所述目标数据进行解密,得到所述待处理数据,其中,所述目标计算节点运行在可信执行环境中;

11、处理模块,用于根据目标模型和所述待处理数据,确定数据处理结果,所述目标模型是基于模型密钥对加密的所述目标模型解密得到的,所述模型密钥保存在密钥管理服务,所述密钥管理服务运行在所述可信执行环境中。

12、第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现第一方面中任一项所述方法的步骤。

13、第四方面,本公开提供一种电子设备,包括:

14、存储装置,其上存储有计算机程序;

15、处理装置,用于执行所述存储装置中的所述计算机程序,以实现第一方面中任一项所述方法的步骤。

16、通过上述技术方案,首先接收数据处理任务,然后确定数据处理任务对应的目标数据和目标数据对应的目标第一密钥,进而通过目标计算节点根据第一会话密钥对目标第一密钥进行解密,得到第一密钥,并根据第一密钥对目标数据进行解密,得到待处理数据,最后根据目标模型和待处理数据,确定数据处理结果。其中,目标数据由第一密钥对待处理数据加密得到,目标模型是基于保存在密钥管理服务中的模型密钥对加密的目标模型解密得到的,并且目标计算节点和密钥管理服务运行均在可信执行环境中。

17、采用上述方法,解密目标数据的第一密钥是基于第一会话密钥进行加密通信获取的,解密加密的目标模型的模型密钥是保存在可信执行环境中的,且解密的过程也在可信执行环境中进行,这样在获取数据以及模型的过程中,即使数据和模型被恶意窃取也无法进行解密,后续数据处理的过程同样也是在可信执行环境中进行,从而保障数据和模型的安全,进而可以保护数据中的隐私数据。

18、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。



技术特征:

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据处理任务为模型微调任务,所述确定所述数据处理任务对应的目标数据和所述目标数据对应的目标第一密钥,包括:

3.根据权利要求2所述的方法,其特征在于,所述向所述密钥管理服务请求所述目标第一密钥,包括:

4.根据权利要求3所述的方法,其特征在于,所述密钥管理服务中的所述第一密钥和所述第一密钥访问策略是通过如下方式得到的:

5.根据权利要求2所述的方法,其特征在于,所述方法还包括:

6.根据权利要求2所述的方法,其特征在于,所述目标计算节点的数量为多个,所述方法还包括:

7.根据权利要求2所述的方法,其特征在于,所述接收数据处理任务,包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述数据处理任务为模型推理任务,所述确定所述数据处理任务对应的目标数据和所述目标数据对应的目标第一密钥,包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求8所述的方法,其特征在于,所述目标模型是通过如下方式得到的:

11.根据权利要求10所述的方法,其特征在于,所述方法还包括:

12.根据权利要求1-7任一项所述的方法,其特征在于,所述根据目标模型和所述待处理数据,确定数据处理结果,包括:

13.根据权利要求1-7任一项所述的方法,其特征在于,所述密钥管理服务保存有加密镜像文件的文件密钥和文件密钥访问策略,所述加密镜像文件包括用于执行模型微调任务的模型微调服务的第一镜像文件和/或针对所述目标模型的模型推理服务的第二镜像文件,所述方法还包括:

14.根据权利要求13所述的方法,其特征在于,所述方法还包括:

15.一种数据处理装置,其特征在于,所述装置包括:

16.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-14中任一项所述方法的步骤。

17.一种电子设备,其特征在于,包括:


技术总结
本公开涉及一种数据处理方法、装置、可读介质及电子设备,以保障数据处理过程中数据和模型的安全,该方法包括:接收数据处理任务;确定数据处理任务对应的目标数据和目标数据对应的目标第一密钥,目标数据由第一密钥对待处理数据加密得到,目标第一密钥由第一会话密钥对第一密钥加密得到;通过目标计算节点根据第一会话密钥对目标第一密钥进行解密,得到第一密钥,并根据第一密钥对目标数据进行解密,得到待处理数据,其中,目标计算节点运行在可信执行环境中;根据目标模型和待处理数据,确定数据处理结果,目标模型是基于模型密钥对加密的目标模型解密得到的,模型密钥保存在密钥管理服务,密钥管理服务运行在可信执行环境中。

技术研发人员:闫露,张尧,陈典,刘敬彬,吴烨
受保护的技术使用者:北京火山引擎科技有限公司
技术研发日:
技术公布日:2024/1/16
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1