基于知识图谱的智能对话推荐方法及装置

文档序号:25897332发布日期:2021-07-16 20:23阅读:来源:国知局

技术特征:
1.一种基于知识图谱的智能对话推荐方法,其特征在于,包括:获取用户端的语音信息;将所述语音信息输入到训练好的语言模型中,得到所述语音信息对应的自然语言回复,所述训练好的语言模型是由样本对话历史内容和样本意图推理树,对语言模型进行训练得到的;其中,所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像,基于知识图谱进行推理得到的;所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的;所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码,基于自注意力机制得到的。2.根据权利要求1所述的基于知识图谱的智能对话推荐方法,其特征在于,所述训练好的语言模型通过以下步骤得到:根据样本问法和所述样本问法对应的样本回复,构建每轮次对话的样本历史对话内容,所述样本问法为用户端样本对话内容,所述样本回复为系统端样本对话内容;基于预训练的bert模型,对所述样本历史对话内容进行编码,得到样本对话历史表示;基于预训练的r

gcn模型,对知识图谱中每个节点进行编码,并根据所述样本对话历史内容中提及到的知识图谱的节点,将编码后的节点构建得到的目标节点矩阵,通过自注意力机制生成对应的样本用户画像;通过所述样本对话历史表示和所述样本用户画像,基于知识图谱,生成预设对话意图对应的样本意图推理树;根据所述样本意图推理树和所述样本历史对话内容,构建训练样本集,并将所述训练样本集输入到预训练的gpt

2模型进行微调,以根据训练好的gpt

2模型,得到训练好的语言模型,所述训练好的语言模型包括所述预训练的bert模型、所述预训练的r

gcn模型和所述训练好的gpt

2模型。3.根据权利要求2所述的基于知识图谱的智能对话推荐方法,其特征在于,所述基于预训练的bert模型,对所述样本历史对话内容进行编码,得到样本对话历史表示,包括:基于预训练的bert模型,对每轮次对话的样本历史对话内容进行编码,得到每轮次对话的对话表示:bert([y
t
‑1;x
t
]);其中,x
t
表示第t轮次对话中的用户端样本对话内容,y
t
‑1表示第t

1轮次对话中的系统端样本对话内容;所述预训练的bert模型的输出层连接一个lstm层;通过所述lstm层,根据对话的时序关系,对所有轮次对话的对话表示按照时序关系进行编码,得到样本对话历史表示u
t
;u
t
=lstm(u
t
‑1,bert([y
t
‑1;x
t
]))。4.根据权利要求2所述的基于知识图谱的智能对话推荐方法,其特征在于,所述基于预训练的r

gcn模型,对知识图谱中每个节点进行编码,并根据所述样本对话历史内容中提及到的知识图谱的节点,将编码后的节点构建得到的目标节点矩阵,通过自注意力机制生成对应的样本用户画像,包括:基于预训练的r

gcn模型,对知识图谱中每个节点进行编码,得到每个节点在所述预训练的r

gcn模型中每一层的表示:
其中,表示与节点e有关系r的节点集合;与为训练参数;r

gcn模型第l层的节点表示为h
e
∈r
d
;e

表示与节点e有关系r的节点;根据所述样本对话历史内容中提及到的知识图谱的节点,将对应的编码后的节点构成目标节点矩阵m
t
::基于自注意力机制,根据所述目标节点矩阵,生成对应的样本用户画像p
t
:p
t
=α
t
*m
t
;α
t
=softmax(w
p
·
tanh(w
p
m
t
));其中,α
t
表示第t轮次对话的权重向量,w
p
与w
p
表示训练参数。5.根据权利要求2所述的基于知识图谱的智能对话推荐方法,其特征在于,所述通过所述样本对话历史表示和所述样本用户画像,基于知识图谱,生成预设对话意图对应的样本意图推理树,包括:根据样本对话历史表示和样本用户画像,对预设对话意图在知识图谱上进行单步推理,得到对应的推理上下文向量c
t
::其中,i
t
表示第t个轮次对话中每个对话意图的训练向量表示,u
t
表示样本对话历史表示,p
t
表示样本用户画像,h
e
表示知识图谱中编码后的节点,γ
(n)
表示推理跳数为n时的权重值;根据所述推理上下文向量,获取知识图谱中与节点e有关系r的节点e

的得分的得分根据满足预设函数条件的节点,构建预设对话意图对应的样本意图推理树,所述预设函数条件为:其中,表示从节点e出发根据对应预设对话意图所能达到的节点集,τ表示预设得分。6.根据权利要求5所述的基于知识图谱的智能对话推荐方法,其特征在于,在所述通过
所述样本对话历史表示和所述样本用户画像,基于知识图谱,生成预设对话意图对应的样本意图推理树之后,所述方法还包括:按照先序遍历,对样本意图推理树进行序列化处理,得到序列化后的样本意图推理树;将所述序列化后的样本意图推理树和样本历史对话内容输入到预训练的gpt

2模型进行微调,得到训练好的语言模型,所述训练好的语言模型为:其中,x
t
表示第t轮次对话中的用户端样本对话内容,y
t
表示第t轮次对话中的系统端样本对话内容,a
t
表示第t轮次对话中序列化后的样本意图推理树,k表示系统端样本对话内容中字符在整个序列中的位置。7.根据权利要求6所述的基于知识图谱的智能对话推荐方法,其特征在于,所述训练好的语言模型的损失函数为:为:为:为:为:其中,表示选择预设对话意图部分的损失函数,表示意图推理树部分的损失函数,表示自然语言生成部分的损失函数,ε表示知识图谱上的节点集合,s
e

表示实体e

由语言模型预测的得分,表示实体e

实际得分,及表示训练参数。8.一种基于知识图谱的智能对话推荐装置,其特征在于,包括:语音信息获取模块,用于获取用户端的语音信息;智能回复生成模块,用于将所述语音信息输入到训练好的语言模型中,得到所述语音信息对应的自然语言回复,所述训练好的语言模型是由样本对话历史内容和样本意图推理树,对语言模型进行训练得到的;其中,所述样本意图推理树是根据预设对话意图、样本对话历史表示和样本用户画像,基于知识图谱进行推理得到的;所述样本对话历史表示是通过对所述样本对话历史内容进行编码得到的;所述样本用户画像是通过对所述样本对话历史内容中提及到的知识图谱的节点进行编码,基于自注意力机制得到的。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于知识图谱的智能对话推荐方法的步骤。10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于知识图谱的智能对话推荐方法的步骤。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1