基于隐空间多属性控制的个性对话生成方法与装置

本发明涉及文本生成技术，尤其涉及一种基于隐空间多属性控制的个性对话生成方法与装置。

背景技术：

1、现有关于个性化的对话生成的研究主要分为两种：基于文本描述的方式，基于用户嵌入的方式。

2、基于文本描述的方法通常假设个性可以被描述为一系列身份元素和个人背景事实的组合，然而静态和固定的预定义角色在表达个性方面较为局限，限制了对个性细微差别的准确理解和表达，即使是最新的大型语言模型chatgpt也由于个性化提示语存在天然的自然语言的模糊性，难以实现细粒度控制。

3、基于用户嵌入的方法通常利用用户媒体信息或者用户对话历史自动提取出用户特征作为个性配置。然而这些方法由于通常从网络媒体动态中建模用户个性，存在个性稀疏的挑战，并且由于隐式建模缺乏可解释性，导致难以实现精确的个性控制。因此现有的个性对话生成工作还存在较大的局限性。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于隐空间多属性控制的个性对话生成方法与装置。

2、本发明解决其技术问题所采用的技术方案是：一种基于隐空间多属性控制的个性对话生成方法，包括以下步骤：

3、1)将复杂个性解耦为多个独立个性属性的相互组合；即复杂个性p被形式化为n个独立个性属性的组合(p1,p2,p3,…,pn)，其中，每个个性属性pi含有多个可能的属性值或方面，记为则复杂个性p的一种个性表示为

4、2)生成基于每个独立个性属性值的多轮对话，获得个性稠密数据；其中，个性稠密数据包括随机主题问题和对应的基于每个独立个性属性值的回复；

5、3)利用条件变分自编码器cvae，将回复r从离散的文本空间，映射到同一连续隐空间；具体如下：

6、3.1)将p(r|p,c)映射入隐空间，通过p(z|p,c)完成个性化，再利用cvae解码出对应的个性化回复；整个对话模型框架可形式化为：

7、p(r|p,c)＝p(z|p,c)p(z|c)p(r|z,c)   #(1)

8、其中，z表示输入在隐空间的对应表示，c表示历史对话的上下文；r为需要生成的对话回复；

9、3.2)对话模型训练阶段最终的损失函数为：

10、

11、其中，为条件变分自编码器cvae的损失函数，为方面分类损失函数，为属性距离损失函数；

12、方面分类损失侧重于提高个性属性的每个方面的鉴别性；

13、方面分类损失函数如下，

14、

15、其中，表示属性pi内pj类的基本真值概率，表示对属性pi内pj类的基本真值的预测概率；

16、属性距离损失用于增加不同个性属性之间的交集，从而允许对多个属性进行细粒度采样；

17、属性距离损失函数如下，

18、

19、其中，b表示数据样本的批量大小；i、j表示一个批次中的不同样本，a、b表示不同的个性属性编号，zi表示第i个数据样本在隐空间对应的编码表示；

20、4)实现基于p的个性化对话生成；具体如下：

21、4.1)进行p(p|z,c)的建模；

22、

23、其中，e(x)≥0为能量函数，z＝∫e-e(x)dx是正则化因子；

24、4.2)基于p的个性化对话生成；

25、

26、其中，t和β为diffusion过程的参数。

27、按上述方案，所述步骤1)中，将复杂个性解耦为语言风格，人生态度，心理特点三个独立个性属性的组合。

28、按上述方案，所述步骤2)中，生成基于每个独立个性属性值的多轮对话，具体如下：

29、设计指令模板来提示chatgpt模拟两人对话，指令模板中要求chatgpt根据随机挑选的主题生成对话；其中，chatgpt根据随机挑选的主题生成问题，然后以特定的个性属性方面回应生成回复。

30、一种基于隐空间多属性控制的个性对话生成装置，包括：

31、复杂个性解耦模块，用于将复杂个性解耦为多个独立个性属性的相互组合；即复杂个性p被形式化为n个独立个性属性的组合(p1,p2,p3,…,pn)，其中，每个个性属性pi含有多个可能的属性值或方面，记为则复杂个性p的一种个性表示为

32、个性稠密数据获取模块，用于生成基于每个独立个性属性值的多轮对话，获得个性稠密数据；其中，个性稠密数据包括随机主题问题和对应的基于每个独立个性属性值的回复；

33、隐属性空间对齐模块，用于通过条件变分自编码器cvae，将回复r从离散的文本空间，映射到同一连续隐空间；具体如下：

34、1)将p(r|p,c)映射入隐空间，通过p(z|p,c)完成个性化，再利用cvae解码出对应的个性化回复；整个对话模型框架可形式化为：

35、p(r|p,c)＝p(z|p,c)p(z|c)p(r|z,c)#(1)

36、其中，z表示输入在隐空间的对应表示，c表示历史对话的上下文；r为需要生成的对话回复；

37、2)对话模型训练阶段最终的损失函数为：

38、

39、其中，为条件变分自编码器cvae的损失函数，为方面分类损失函数，为属性距离损失函数；

40、方面分类损失侧重于提高个性属性的每个方面的鉴别性；

41、方面分类损失函数如下，

42、

43、其中，表示属性pi内pj类的基本真值概率，表示对属性pi内pj类的基本真值的预测概率；

44、属性距离损失用于增加不同个性属性之间的交集，从而允许对多个属性进行细粒度采样；

45、属性距离损失函数如下，

46、

47、其中，b表示数据样本的批量大小；i、j表示一个批次中的不同样本，a、b表示不同的个性属性编号，zi表示第i个数据样本在隐空间对应的编码表示；

48、多属性个性化对话生成模块，用于实现基于复杂个性p的个性化对话生成；具体如下：

49、1)进行p(p|z,c)的建模；

50、

51、其中，e(x)≥0为能量函数，z＝∫e-e(x)dx是正则化因子；

52、2)基于p的个性化对话生成；

53、

54、其中，t和β为diffusion过程的参数。

55、本发明产生的有益效果是：

56、本发明通过将复杂个性解耦为多个个性属性的相互组合，创建个性稠密数据，并利用条件变分自编码器，将文本空间的每个单独个性属性映射到同一隐空间，实现复杂个性的细粒度建模和个性化对话可控生成的精确性。

技术特征：

1.一种基于隐空间多属性控制的个性对话生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于隐空间多属性控制的个性对话生成方法，其特征在于，所述步骤1)中，将复杂个性解耦为语言风格，人生态度，心理特点三个独立个性属性的组合。

3.根据权利要求1所述的基于隐空间多属性控制的个性对话生成方法，其特征在于，所述步骤2)中，生成基于每个独立个性属性值的多轮对话，具体如下：

4.根据权利要求1所述的基于隐空间多属性控制的个性对话生成方法，其特征在于，所述步骤4)实现基于p的个性化对话生成，具体如下：

5.一种基于隐空间多属性控制的个性对话生成装置，其特征在于，包括：

6.根据权利要求5所述的基于隐空间多属性控制的个性对话生成装置，其特征在于，所述步骤1)中，将复杂个性解耦为语言风格，人生态度，心理特点三个独立个性属性的组合。

7.根据权利要求5所述的基于隐空间多属性控制的个性对话生成装置，其特征在于，所述步骤2)中，生成基于每个独立个性属性值的多轮对话，具体如下：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述的一种基于隐空间多属性控制的个性对话生成方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一所述的一种基于隐空间多属性控制的个性对话生成方法。

技术总结
本发明公开了一种基于隐空间多属性控制的个性对话生成方法，该方法包括以下步骤：1)将复杂个性解耦为多个独立个性属性的相互组合；2)生成基于每个独立个性属性值的多轮对话，获得个性稠密数据；3)利用条件变分自编码器，将回复r从离散的文本空间，映射到同一连续隐空间，进行对话模型训练；4)实现基于复杂个性P的个性化对话生成。本发明通过将复杂个性解耦为多个个性属性的相互组合，创建个性稠密数据，并利用条件变分自编码器，将文本空间的每个单独个性属性映射到同一隐空间，实现复杂个性的细粒度建模和个性化对话可控生成的精确性。

技术研发人员：魏巍,鲁镇仪,范士轩,谢文峰,陈当阳
受保护的技术使用者：华中科技大学
技术研发日：
技术公布日：2024/3/11