一种数据处理的方法、装置及电子设备与流程

文档序号:37145404发布日期:2024-02-26 16:58阅读:17来源:国知局
一种数据处理的方法、装置及电子设备与流程

本说明书涉及数据处理,尤其涉及一种数据处理的方法、装置及电子设备。


背景技术:

1、随着chatgpt等大模型的发布,由于大模型具有强大的功能,使得现在基于大模型的开发和应用越来越多。除了直接使用通用大模型,有很多场景需要使用场景相关的数据(排除敏感和隐私的个人信息的数据)做模型参数微调(即使用特定场景的数据做继续训练),以增强大模型对特定场景的适应能力。因此,在多个不同场景间进行切换时,经常需要配合使用多个不同的微调模型。

2、但是,由于大模型的模型参数的量级通常是千亿级别的,因此,在使用部署的大模型对应的多个微调模型对数据进行处理的过程中,会消耗较多显存。因此,目前亟需提供一种更优的数据处理的方案。


技术实现思路

1、本说明书实施例提供一种数据处理的方法、装置及电子设备,以提供一种更优的数据处理方案。

2、第一方面,本说明书一个或多个实施例提供一种数据处理的方法,包括:获取加载多个版本的调整模型的调整参数的基础模型,所述调整模型是在所述基础模型的基础上、通过所述调整参数对所述基础模型的模型参数进行调整后得到的模型;在接收到使用多个版本的所述调整模型中的目标调整模型对目标数据进行处理的请求的情况下,确定所述目标数据对应的掩码策略,所述掩码策略中至少包括对与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理的策略;在所述目标数据输入所述基础模型后,基于所述掩码策略,对所述基础模型中与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标数据对应的处理结果数据。

3、第二方面,本技术实施例提供了一种数据处理的装置,包括:获取加载多个版本的调整模型的调整参数的基础模型,所述调整模型是在所述基础模型的基础上、通过所述调整参数对所述基础模型的模型参数进行调整后得到的模型;在接收到使用多个版本的所述调整模型中的目标调整模型对目标数据进行处理的请求的情况下,确定所述目标数据对应的掩码策略,所述掩码策略中至少包括对与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理的策略;在所述目标数据输入所述基础模型后,基于所述掩码策略,对所述基础模型中与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标数据对应的处理结果数据。

4、第三方面,本技术实施例提供了一种电子设备,该电子设备包括:处理器,以及被安排成存储计算机可执行指令的存储器,在所述可执行指令被执行时,能够使得所述处理器:获取加载多个版本的调整模型的调整参数的基础模型,所述调整模型是在所述基础模型的基础上、通过所述调整参数对所述基础模型的模型参数进行调整后得到的模型;在接收到使用多个版本的所述调整模型中的目标调整模型对目标数据进行处理的请求的情况下,确定所述目标数据对应的掩码策略,所述掩码策略中至少包括对与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理的策略;在所述目标数据输入所述基础模型后,基于所述掩码策略,对所述基础模型中与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标数据对应的处理结果数据。

5、第四方面,本说明书实施例提供一种存储介质,用于存储计算机程序,所述计算机程序能够被处理器执行以实现以下流程:获取加载多个版本的调整模型的调整参数的基础模型,所述调整模型是在所述基础模型的基础上、通过所述调整参数对所述基础模型的模型参数进行调整后得到的模型;在接收到使用多个版本的所述调整模型中的目标调整模型对目标数据进行处理的请求的情况下,确定所述目标数据对应的掩码策略,所述掩码策略中至少包括对与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理的策略;在所述目标数据输入所述基础模型后,基于所述掩码策略,对所述基础模型中与所述目标调整模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标数据对应的处理结果数据。

6、第五方面,本说明书一个或多个实施例提供一种数据处理的方法,包括:获取加载多个版本的领域模型的调整参数的风控问答模型,所述领域模型是在所述风控问答模型的基础上、通过所述调整参数对所述风控问答模型的模型参数进行调整后得到的模型,多个版本的所述领域模型与所述风控问答模型涉及的领域一一对应;在接收到对所述风控问答模型涉及的领域中的目标领域的目标问题进行回答的请求的情况下,确定所述目标问题对应的掩码策略,所述掩码策略中至少包括对与目标领域模型无关的调整参数对应的输出数据进行掩盖处理的策略,所述目标领域模型是所述目标领域对应的调整模型;在所述目标问题输入所述风控问答模型后,基于所述掩码策略,对所述风控问答模型中与所述目标领域模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标问题对应的答案。

7、第六方面,本技术实施例提供了一种数据处理的装置,包括:获取加载多个版本的领域模型的调整参数的风控问答模型,所述领域模型是在所述风控问答模型的基础上、通过所述调整参数对所述风控问答模型的模型参数进行调整后得到的模型,多个版本的所述领域模型与所述风控问答模型涉及的领域一一对应;在接收到对所述风控问答模型涉及的领域中的目标领域的目标问题进行回答的请求的情况下,确定所述目标问题对应的掩码策略,所述掩码策略中至少包括对与目标领域模型无关的调整参数对应的输出数据进行掩盖处理的策略,所述目标领域模型是所述目标领域对应的调整模型;在所述目标问题输入所述风控问答模型后,基于所述掩码策略,对所述风控问答模型中与所述目标领域模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标问题对应的答案。

8、第七方面,本技术实施例提供了一种电子设备,该电子设备包括:处理器,以及被安排成存储计算机可执行指令的存储器,在所述可执行指令被执行时,能够使得所述处理器:获取加载多个版本的领域模型的调整参数的风控问答模型,所述领域模型是在所述风控问答模型的基础上、通过所述调整参数对所述风控问答模型的模型参数进行调整后得到的模型,多个版本的所述领域模型与所述风控问答模型涉及的领域一一对应;在接收到对所述风控问答模型涉及的领域中的目标领域的目标问题进行回答的请求的情况下,确定所述目标问题对应的掩码策略,所述掩码策略中至少包括对与目标领域模型无关的调整参数对应的输出数据进行掩盖处理的策略,所述目标领域模型是所述目标领域对应的调整模型;在所述目标问题输入所述风控问答模型后,基于所述掩码策略,对所述风控问答模型中与所述目标领域模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标问题对应的答案。

9、第八方面,本说明书实施例提供一种存储介质,用于存储计算机程序,所述计算机程序能够被处理器执行以实现以下流程:获取加载多个版本的领域模型的调整参数的风控问答模型,所述领域模型是在所述风控问答模型的基础上、通过所述调整参数对所述风控问答模型的模型参数进行调整后得到的模型,多个版本的所述领域模型与所述风控问答模型涉及的领域一一对应;在接收到对所述风控问答模型涉及的领域中的目标领域的目标问题进行回答的请求的情况下,确定所述目标问题对应的掩码策略,所述掩码策略中至少包括对与目标领域模型无关的调整参数对应的输出数据进行掩盖处理的策略,所述目标领域模型是所述目标领域对应的调整模型;在所述目标问题输入所述风控问答模型后,基于所述掩码策略,对所述风控问答模型中与所述目标领域模型无关的调整参数对应的输出数据进行掩盖处理,得到所述目标问题对应的答案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1