一种全息数字人安全建模方法及系统与流程

本发明涉及同态加密和隐私计算，具体提供一种全息数字人安全建模方法及装置。

背景技术：

1、随着人工智能和计算机图形学的快速发展，全息数字人作为一种具有逼真外貌和交互能力的虚拟人物形象，已经成为多领域应用的关键技术。全息数字人是一个虚拟的人物形象，能够通过人工智能技术实现语音对话、自然语言理解、情感分析等能力，使得人机交互更加自然和智能化。在技术层面上，全息数字人通常是基于机器学习和深度学习技术开发出来的，包括语音识别、语音合成、自然语言处理等，全息数字人已经在虚拟现实、增强现实、电影制作、游戏开发、教育培训等领域得到广泛应用。

2、近年来，aigc(artificial intelligence generated content)大模型技术的不断发展，已经带来了大量的预训练模型，这些模型能够生成让全息数字人形象更加逼真、互动性更强，以及更加贴合实际情况和用户需求。同时，aigc技术还可以帮助减少制作数字人形象所需的时间和成本，提高效率。

3、然而，利用aigc预训练大模型进行全息数字人建模的过程中，也面临着隐私安全的问题和挑战，全息数字人的使用场景通常涉及用户隐私和安全问题，因此需要确保用户数据的安全性和隐私保护。在这种情况下，如何有效利用aigc预训练大模型实现全息数字人的个性化安全建模，以提供高质量的全息数字人形象同时满足用户对数据隐私保护的需求，成为亟需解决的问题。

技术实现思路

1、本发明是针对上述现有技术的不足，提供一种实用性强的全息数字人安全建模方法。

2、本发明进一步的技术任务是提供一种设计合理，安全适用的全息数字人安全建模系统。

3、本发明解决其技术问题所采用的技术方案是：

4、一种全息数字人安全建模方法，基于aigc预训练模型，具有如下步骤：

5、s1、根据全息数字人系统实际需求，形成形象生成模块的明文推理预训练模型pretraing-ptm以及对话生成模块的明文推理预训练模型pretraind-ptm；

6、s2、用户客户端生成同态加密密钥，并将密钥保存在本地安全空间；

7、s3、所述的用户客户端进行敏感数据识别，分成非敏感数据和敏感数据；

8、s4、所述的用户客户端将明文数据序列pd和密文数据序列cd通过可信信道传输到云数据中心的全息数字人系统；

9、s5、将所有的密文数据序列cd经过密文推理预训练模型pretraing-ctm，生成全息数字人形象上下文上向量序列gpcv；

10、s6、将所有的密文数据序列cd经过密文推理预训练模型pretraind-ctm，生成全息数字人对话互动上下文上向量序列dpcv；

11、s7、所述的全息数字人形象上下文上向量序列gpcv和所述的全息数字人对话互动上下文上向量序列dpcv作为全息数字人模型，存储到所述的云数据中心。

12、进一步的，在步骤s1中，根据全息数字人系统实际需求，获取公开预训练模型，并基于真实数据进行aigc预训练模型的参数微调，形成所述的形象生成模块的明文推理预训练模型pretraing-ptm以及所述的对话生成模块的明文推理预训练模型pretraind-ptm；

13、根据所述的形象生成模块的明文推理预训练模型pretraing-ptm以及所述的对话生成模块的明文推理预训练模型pretraind-ptm设计形象生成模块的密文推理预训练模型pretraing-ctm以及对话生成模块的密文推理预训练模型pretraind-ctm，推理过程采用同态加密进行密文计算；

14、根据所述的形象生成模块的明文推理预训练模型pretraing-ptm和所述的形象生成模块的密文推理预训练模型pretraing-ctm，设计提示判断g-prompt模块的神经网络结构以及提示信息，满足pretraing-ptm和pretraing-ctm推理预训练模型的输入要求。

15、进一步的，在步骤s3中，将非敏感数据进行处理，经过数据混淆模块，与明文提示信息生成器pprompt-gen生成的提示数据进行聚合，生成明文数据序列pd，并将混淆数据提示数据s记录在本地；

16、将敏感数据进行处理，根据密文推理的输入要求进行数据处理，形成特征向量，采用同态加密公钥对特征向量进行加密，并由密文提示信息生成器cprompt-gen构建提示信息，最后组装成生成密文数据序列cd。

17、进一步的，在步骤s4中，aigc生成形象模块通过提示判断模块g-prompt模块对所述的明文数据序列pd和所述的密文数据序列cd进行分别处理；

18、将所有的明文数据pd经过所述的明文推理预训练模型pretraing-ptm，并将上下文状态共享给所述的密文推理预训练模型pretraing-ctm。

19、进一步的，在步骤s5中，aigc生成对话模块通过提示判断模块d-prompt模块对所述的明文数据序列pd和所述的密文数据序列cd进行分别处理；

20、将所有的明文数据pd经过所述的明文推理预训练模型pretraind-ptm，并将上下文状态共享给所述的密文推理预训练模型pretraind-ctm。

21、进一步的，全息数字人展示和互动的步骤如下：

22、(1)用户客户端利用云数据中心的资源为全息数字人互动创建tee可信执行环境；

23、(2)用户客户端与可信执行环境建立安全通道；

24、(3)用户客户端将存储在云数据中心的全息数字人形象上下文上向量序列gpcv和全息数字人对话互动上下文上向量序列dpcv下载到本地，利用本地同态加密密钥进行加密，并将解密后的模型上下文向量通过安全信道上传到可信执行环境；

25、(4)用户客户端将本地混淆数据提示数据以及动态加密密钥传输通过安全信道至可信执行环境；

26、(5)在所述的可信执行环境中，加载存储在云数据中心的全息数字人形象上下文上向量序列gpcv和全息数字人对话互动上下文上向量序列dpcv利用同态加密密钥进行解密；

27、(6)将混淆数据提示数据s、解密后全息数字人形象上下文上向量序列gpcv和解密后的全息数字人对话互动上下文上向量序列dpcv加载到所述的预训练模型pretraing-ptm和pretraind-ptm中，完成预训练大模型上下文初始化；

28、(7)销毁tee可信执行环境；

29、(8)用户通过形象互动生成指令，提取特征输入到形象互动预训练模型pretraing-ptm生成反馈数据；

30、(9)用户通过文字输入，将文字进行编码经过对话互动预训练模型pretraind-ptm生成反馈数据；

31、(10)将步骤(7)和步骤(8)中生成的反馈数据进行联合展示，完成与用户的互动；

32、(11)持续收集用户互动过程中的数据，存储到云数据中心，并利用反馈数据不断优化模型，形成更加逼真友好的互动。

33、一种全息数字人安全建模系统，全息数字人系统部署在资源基础设施构建服务，负责全息数字人安全建模以及对外展示和交互，由aigc形象生成模块、aigc对话生成模块、全息数字人模型存储模块、形象交互模块、对话互动模块以及隐私保护模块构成；

34、所述aigc形象生成模块为深度学习预训练大模型，实现根据跨模态数据来生成全息数字人的形象的上下文向量gpcv；

35、所述aigc对话生成模块为深度学习预训练大模型，根据文字来生成全息数字人的对话的上下文向量dpcv，

36、所述全息数字人模型存储模块负责模型的存储以及加载；

37、所述形象交互模块为明文推理预训练模型pretraing-ptm，根据用户指令前向推理计算反馈数据，并通过展示模块反馈给用户；

38、所述对话互动模块为明文推理预训练模型pretraind-ptm，根据用户的文字输入生成对话结果，并通过展示模块反馈给用户；

39、所述隐私保护模块实现信道加密、同态加密、访问控制和权限管理的功能。

40、进一步的，所述aigc形象生成模块还包括明文推理预训练模型pretraing-ptm、密文推理预训练模型pretraing-ctm和提示判断模块g-prompt；

41、其中，所述明文推理预训练模型pretraing-ptm是根据已知公开的预训练模型进行微调参数形成的固化的预训练模型，基于扩散模型以及transformer结构的神经网络，通过提示数据以及上下文来输出全息数字人形象；

42、所述密文推理预训练模型pretraing-ctm推理前向计算过程采用同态加密完成密文推理，生成输出全息数字人形象密文上下文向量gpcv；

43、所述提示判断模块g-prompt负责完成来自客户端的明文数据和密文数据的判断，并调整提示数据，再进行相应的明文推理或密文推理；

44、所述aigc对话生成模块包括明文推理预训练模型pretraind-ptm、密文推理预训练模型pretraind-ctm和提示判断模块d-prompt。

45、进一步的，所述明文推理预训练模型pretraind-ptm是根据已知公开的预训练模型进行微调参数形成的固化的预训练模型，基于gpt结构的神经网络大模型，通过提示数据以及上下文来输出全息数字人对话反馈；

46、所述密文推理预训练模型pretraind-ctm推理前向计算过程采用同态加密完成密文推理，生成输出全息数字人对话密文上下文向量dpcv；

47、所述提示判断模块d-prompt负责完成来自客户端的明文数据和密文数据的判断，并调整提示数据，再进行相应的明文推理或密文推理。

48、进一步的，用户客户端运行在移动设备、pc计算机或者可信的联网设备，联合部署在云数据中心的全息数字人系统完成安全建模，包括预处理模块、数据混淆模块、提示信息生成模块以及隐私保护模块；

49、所述预处理模块根据用户提供的原始数据，进行敏感数据识别，并针对敏感数据进行处理，提取数据特征，形成敏感数据；

50、所述数据混淆模块针对非敏感数据，利用明文提示信息生成器pprompt-gen设计的提示数据，增加数据扰动，进行数据混淆生成明文数据pd，并将混淆数据提示数据s记录在本地；

51、所述隐私保护模块包括同态加密、密钥管理和权限控制，实现同态加密的密钥生成、加解密，并实现密钥管理和权限控制。

52、本发明的一种全息数字人安全建模方法及装置和现有技术相比，具有以下突出的有益效果：

53、与传统的安全建模方式相比，采用aigc预训练模型生成方式能更好地模拟真实用户的行为和语言表达，满足用户个性化需求。通过形象交互生成模型和对话交互生成模型的明文推理和密文推理两种模式，既能充分利用非敏感数据提高全息数字人的生成效率和互动效果，又利用密文推理将敏感数据保存在用户本地，保护了用户隐私和数据安全。

54、此外，采用固定的预训练模型和全息数字人上下文向量的生成方式，有效减少模型参数量，避免暴露原始数据，并便于利用不断收集的互动反馈数据持续优化模型。同时，涉密运算都在可信执行环境中执行，更好地保护数据计算过程中的用户隐私。