数据处理方法、装置、计算机设备和存储介质与流程

本申请涉人工智能，尤其涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术：

1、对话模型是一种能够根据给定的上下文，生成自然语言对话的人工智能系统。对话模型有多种应用场景，例如智能客服、聊天机器人、教育辅导等。对话模型的核心技术是语言生成，即如何从语义表示或历史信息中生成流畅、合理、有趣的对话。

2、然而由于受制于模型所能处理的最大文本长度限制，会话模型与用户之间不断地进行信息交互，会产生大量聊天数据。而现有的大模型受限于处理文本长度上限，无法处理太长的历史会话消息，不适合长期聊天等场景。

技术实现思路

1、本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中对话模型无法保持长期记忆的问题。

2、第一方面，本申请提供了一种数据处理方法，包括：

3、在用户与对话模型进行交互的过程中，按照交互的时间顺序将新增的会话内容添加到第一会话集中；对话模型用于根据第一提示词生成会话内容，第一提示词基于记忆模块和第一会话集生成；

4、判断第一会话集是否满足记忆更新条件；

5、若是，则将第一会话集中位于会话分割点之前的数据分离出来，得到第二会话集；

6、根据第二会话集和当前的记忆模块生成第二提示词，并将第二提示词输入记忆提取模型，以得到更新后的记忆模块。

7、在其中一个实施中，判断第一会话集是否满足记忆更新条件，包括：

8、获取第一会话集中的词元数量；

9、在词元数量大于更新阈值的情况下，判定第一会话集满足记忆更新条件。

10、在其中一个实施中，在将第一会话集中位于会话分割点之前的数据分离出来之前，还包括：

11、根据更新阈值，设置会话分割点。

12、在其中一个实施中，根据更新阈值，设置会话分割点，包括：

13、在第一会话集中，定位与更新阈值对应的词元，并以定位到的词元为目标词元、目标词元所在的段落为目标段；

14、若目标段由用户发出，则将会话分割点设置在目标段的起始词元之前；

15、若目标段由对话模型发出，则将会话分割点设置在目标段的结尾词元之后。

16、在其中一个实施中，根据第二会话集和当前的记忆模块生成第二提示词，包括：

17、根据第二会话集和当前的记忆模块，生成提取材料提示词；

18、根据提取设定，确定提取目标提示词；提取目标提示词用于指示记忆提取模型从提取材料提示词中提取目标内容。

19、在其中一个实施中，根据第二会话集、当前的记忆模块，生成提取材料提示词，包括：

20、根据第二会话集、当前的记忆模块和用户行为数据，生成提取材料提示词。

21、在其中一个实施中，目标内容包括用户画像和/或情绪信息。

22、在其中一个实施中，第一提示词基于记忆模块、第一会话集以及对话模型的角色设定生成。

23、第二方面，本申请提供了一种数据处理装置，包括：

24、会话更新模块，用于在用户与对话模型进行交互的过程中，按照交互的时间顺序将新增的会话内容添加到第一会话集中；对话模型用于根据第一提示词生成会话内容，第一提示词基于记忆模块和第一会话集生成；

25、判断模块，用于判断第一会话集是否满足记忆更新条件；

26、会话分割模块，用于在第一会话集满足记忆更新条件的情况下，将第一会话集中位于会话分割点之前的数据分离出来，得到第二会话集；

27、记忆更新模块，用于根据第二会话集和当前的记忆模块生成第二提示词，并将第二提示词输入记忆提取模型，以得到更新后的记忆模块。

28、第三方面，本申请提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的数据处理方法的步骤。

29、第四方面，本申请提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的数据处理方法的步骤。

30、从以上技术方案可以看出，本申请实施例具有以下优点：

31、上述实施例中的对话模型根据第一提示词来与用户进行交互，而第一提示词是基于第一会话集和记忆模块生成的。其中，第一会话集中的数据在两者交互的过程中将保持增加，直至其满足记忆更新条件，将第一会话集中产生时间较早的信息分离出来，并将分离出的数据与当前的记忆模块送入记忆提取模型进行信息压缩。使得第一提示词不会超出对话模型的处理极限，且第一提示词中的第一会话集保留了两者交互的近期内容、记忆模块中保存了经过精炼的两者交互的早期内容，使得对话模型在关键信息没有丢失的前提下保留了长期记忆，克服了历史性遗忘缺点。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述判断所述第一会话集是否满足记忆更新条件，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，在所述将所述第一会话集中位于会话分割点之前的数据分离出来之前，还包括：

4.根据权利要求3所述的数据处理方法，其特征在于，所述根据所述更新阈值，设置所述会话分割点，包括：

5.根据权利要求1-4任一项所述的数据处理方法，其特征在于，所述根据所述第二会话集和当前的所述记忆模块生成第二提示词，包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述第二会话集、当前的所述记忆模块，生成提取材料提示词，包括：

7.根据权利要求5所述的数据处理方法，其特征在于，所述目标内容包括用户画像和/或情绪信息。

8.根据权利要求1-4任一项所述的数据处理方法，其特征在于，所述第一提示词基于记忆模块、所述第一会话集以及所述对话模型的角色设定生成。

9.一种数据处理装置，其特征在于，包括：

10.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1-8任一项所述的数据处理方法的步骤。

11.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-8任一项所述的数据处理方法的步骤。

技术总结
本申请提供了一种数据处理方法、装置、计算机设备和存储介质。该方法包括：在用户与对话模型进行交互的过程中，按照交互的时间顺序将新增的会话内容添加到第一会话集中；对话模型用于根据第一提示词生成会话内容，第一提示词基于记忆模块和第一会话集生成；判断第一会话集是否满足记忆更新条件；若是，则将第一会话集中位于会话分割点之前的数据分离出来，得到第二会话集；根据第二会话集和当前的记忆模块生成第二提示词，并将第二提示词输入记忆提取模型，以得到更新后的记忆模块。本申请使得对话模型在关键信息没有丢失的前提下保留了长期记忆，克服了历史性遗忘缺点。

技术研发人员：邓其春,马金龙,吴文亮,熊佳,张政统,黎子骏,曾锐鸿,王伟喆,盘子圣,兰翔,徐志坚,谢睿,陈光尧
受保护的技术使用者：广州趣研网络科技有限公司
技术研发日：
技术公布日：2024/1/15