模型输入信息的处理方法、装置、存储介质和电子设备与流程

文档序号:37438141发布日期:2024-03-25 19:38阅读:26来源:国知局
模型输入信息的处理方法、装置、存储介质和电子设备与流程

本技术涉及数据处理,具体而言,涉及一种模型输入信息的处理方法、装置、存储介质和电子设备。


背景技术:

1、在当前技术背景下,自然语言处理(nlp)领域取得了显著的进展,尤其是大型预训练语言模型(如gpt系列)的崛起。这些模型在问答系统、对话生成等任务上表现出色,但仍存在一些挑战和限制。

2、相关技术中,对于用户与预训练语言模型的交互通常会产生以下问题:

3、(1)当用户与预训练语言模型交互轮数过多时,模型由于无法追溯部分最早与用户的交互内容,而导致用户与的交互效果降低;

4、(2)传统问答系统通常采用线性交互方式,用户提出问题,系统回答问题。这样的单一性交互模式可能无法满足复杂任务的需求,缺乏灵活性;

5、(3)当用户提出多层次、多步骤的问题,或者需要系统执行复杂任务时,传统的问答系统由于难以理解和处理复杂的语境和任务,易造成处理困难;

6、(4)随着用户需求的增长,对问答系统实时性的要求也在不断提高,一些大型语言模型在处理实时交互时可能面临性能瓶颈,且处理效率也难以提高;

7、(5)大型预训练语言模型的复杂性使得其决策过程难以解释,这可能降低用户对系统的信任度,尤其是在关键任务和敏感领域。


技术实现思路

1、本技术的主要目的在于提供一种模型输入信息的处理方法、装置、存储介质和电子设备,以至少解决现有技术中用户与预训练语言模型的交互效果较差的问题。

2、为了实现上述目的,根据本技术的一个方面,提供了一种模型输入信息的处理方法,包括:响应于用户向语言模型输入提示信息所触发的交互指令,获取用户与语言模型的第一目标交互信息和第二目标交互信息,其中,第一目标交互信息为用户与语言模型在预设追溯时间段内的历史交互信息,第二目标交互信息为用户与语言模型在预设追溯时间段之前的历史交互信息;对第二目标交互信息和提示信息进行向量化处理,得到向量化交互信息和向量化提示信息;根据向量化提示信息,从向量化交互信息中获取关联信息,其中,关联信息为向量化交互信息中与向量化提示信息的相似度满足预设相似度的向量内容经过解码后的信息;将关联信息、第一目标交互信息与提示信息合并,得到第三目标交互信息,将第三目标交互信息作为语言模型的输入信息。

3、可选地,对第二目标交互信息进行向量化处理,得到向量化交互信息,包括:对第二目标交互信息进行分块处理,得到多个交互信息块;对多个交互信息块进行局部向量化处理,得到与多个交互信息块对应的多个向量表示;将多个向量表示整合为定长向量,得到向量化交互信息。

4、可选地,方法还包括:将用户与语言模型在预设追溯时间段内的历史交互信息记录为多个交互节点,其中,多个交互节点于用户与语言模型在预设追溯时间段内的多个交互时间点一一对应;为多个交互节点生成不同的标识符,得到索引列表;在接收到回退指令的情况下,解析回退指令,从多个交互节点中确定与回退指令对应的目标交互节点;根据索引列表,确定与目标交互节点对应的目标历史交互信息;根据目标历史交互信息,确定与目标交互节点对应的语言模型的目标配置参数;将语言模型的当前配置参数替换为目标配置参数。

5、可选地,方法还包括:获取用户向语言模型输入的第一意图信息;判断第一意图信息是否包含第一多意图文本,得到第一判断结果;在第一判断结果指示第一意图信息包含第一多意图文本的情况下,将第一多意图文本拆解为多个第一任务信息;响应于用户触发的第一选择指令,从多个第一任务信息中确定第一目标任务信息,并将第一目标任务信息作为语言模型的输入信息,其中,第一选择指令用于指示用户对多个第一任务信息中一个第一任务信息的选择结果。

6、可选地,方法还包括:根据多个第一任务信息,建立一一对应的多个第一交互节点;获取用户基于在第二时刻向语言模型输入的第二意图信息,其中,第二时刻在第一时刻之后;判断第二意图信息是否包含第二多意图文本,得到第二判断结果;根据第二判断结果和第二意图信息,建立至少一个第二交互节点,并将第二交互节点关联为与第一目标任务信息对应的第一交互节点的子节点,其中,在第二判断结果指示为是的情况下,将第二多意图文本拆解为多个第二任务信息,并根据多个第二任务信息,建立一一对应的多个第二交互节点,在第二判断结果指示为否的情况下,建立与第二意图信息对应的一个第二交互节点。

7、可选地,方法还包括:获取用户向语言模型输入的第三意图信息;在响应于用户触发的自动化指令的情况下,调用与自动化指令对应的预设工作流程,以使语言模型根据第三意图信息和预设工作流程,输出交互结果信息,其中,预设工作流程包括顺序连接的多个任务节点,多个任务节点与语言模型的多个交互任务一一对应,将多个任务节点中的目标父节点对应的语言模型的输出信息作为与目标父节点的子节点对应的语言模型的输入信息。

8、可选地,方法还包括:响应于用户的第二选择指令,从多个第一任务信息中确定多个第二目标任务信息,其中,第二选择指令用于指示用户对多个第一任务信息中多个第一任务信息的选择结果;将多个第二目标任务信息分别作为语言模型的输入信息,获取语言模型输出的多个交互结果信息,多个交互结果信息与多个第二目标任务信息一一对应;响应于用户的第三选择指令,从多个交互结果信息中确定目标交互结果信息,其中,第三选择指令用于指示用户对多个交互结果信息中一个交互结果信息的选择结果;对目标交互结果信息进行向量化处理,得到向量化结果信息;将与目标交互结果信息对应的第二目标任务信息与向量化结果信息合并,得到第四目标交互信息,将第四目标交互信息作为语言模型的输入信息。

9、根据本技术的另一方面,提供了一种模型输入信息的处理装置,包括:第一获取模块,用于响应于用户向语言模型输入提示信息所触发的交互指令,获取用户与语言模型的第一目标交互信息和第二目标交互信息,其中,第一目标交互信息为用户与语言模型在预设追溯时间段内的历史交互信息,第二目标交互信息为用户与语言模型在预设追溯时间段之前的历史交互信息;向量化模块,对第二目标交互信息和提示信息进行向量化处理,得到向量化交互信息和向量化提示信息;第二获取模块,用于根据向量化提示信息,从向量化交互信息中获取关联信息,其中,关联信息为向量化交互信息中与向量化提示信息的相似度满足预设相似度的向量内容经过解码后的信息;合并模块,用于将关联信息、第一目标交互信息与提示信息合并,得到第三目标交互信息,将第三目标交互信息作为语言模型的输入信息。

10、根据本技术的再一方面,提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述的模型输入信息的处理方法。

11、根据本技术的又一方面,提供了一种电子设备,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,一个或多个程序被存储在存储器中,并且被配置为由一个或多个处理器执行,一个或多个程序包括用于执行上述的模型输入信息的处理方法。

12、应用本技术的技术方案,由于将超出模型前向追溯时间范围的历史交互记录进行实时向量化处理,并将向量化后的该部分历史交互记录与前向追溯时间范围内的历史交互记录一起传递给语言模型,从而在用户向语言模型输入提示信息时,同步进行提示信息的向量化后与向量化的历史交互记录进行相似度比对,从而从向量化的历史交互记录中获取到与用户本次输入的提示信息最相关的向量内容进行解码,再将解码结果与前向追溯时间范围内的历史交互记录及提示信息融合后输入模型,这样模型就能够同时利用前向追溯时间范围内的历史交互记录和超出该范围的向量化历史交互记录,以实现更全面的上下文理解,提高了模型于模型的交互效果,解决了现有技术中用户与预训练语言模型的交互效果较差的问题。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1