面向专利咨询的多轮对话生成方法与流程

文档序号:26279337发布日期:2021-08-13 19:36阅读:来源:国知局

技术特征:

1.面向专利咨询的多轮对话生成方法,其特征在于,包括以下步骤:

(1)专利咨询对话语料的预处理:依次对专利咨询语料进行文本去噪音、中文文本分词、去停用词、文本向量化处理;

(2)基于动态残差网络的自然语言生成模型:根据当前的解码环境,动态的从历史状态集中选择一个最优的状态建立与当前状态的连接,采用基于强化学习的方法模拟词与词之间的依赖关系,并把产生的长距离依赖关系引入到模型的训练过程中;

(3)两阶段的自然语言理解模型:将意图识别和槽位的填充这两个任务进行分离,首先第一阶段基于依存句法分析获取对话语句的意图,然后第二阶段将槽位填充转化为自然语言处理中的序列标注任务,以第一阶段的结果为基础使用深度神经网络进行槽填充,以得到插槽序列和句子级别的意图;

(4)面向专利咨询的多轮对话模型:包括用户模拟器和端到端的神经对话系统。

2.根据权利要求1所述的面向专利咨询的多轮对话生成方法,其特征在于,所述步骤(1)中文本向量化处理采用word2vec进行文本向量化处理。

3.根据权利要求2所述的面向专利咨询的多轮对话生成方法,其特征在于,所述word2vec中基于分层的softmax的cbow模型中先设置每个词的上下文长度为2n,并以2n个词作为输入;然后将2n个词相加后映射为单个向量,该向量为当前词上下文的抽象表示,映射过程如式2-1所示:

cbow模型模拟完形填空的行为,预测空位的单词,首先初始化一个词向量权值矩阵wv∈rv*m,其中v为词表中单词的数量,m为词向量的维度;根据向量矩阵的索引查找输入单词的向量,词向量中的每一行对应一个当前序号的单词向量e;然后将这些上下文对应的词向量进行求和,求和过程如公式2-1所示;接着将xw与词向量权值矩阵wv做点乘,通过权值矩阵wv将xw映射为m维的向量e,计算过程如公式2-2所示;最后用softmax函数求得当前词的概率,计算过程如公式2-3所示:

e=wvxw(2-2)

4.根据权利要求2所述的面向专利咨询的多轮对话生成方法,其特征在于,所述word2vec中基于分层softmax的skip-gram模型利用词wi对该词上下文的单词的词向量进行预测,首先初始化一个词向量权值矩阵wv∈rn*d,其中n为词典中词的个数,d为词向量的维度,然后根据词wi与词向量矩阵对应的位置关系将该单词转化为对应的词向量,将词wi进行线性映射得到xw,接着将xw与词向量权值矩阵ev做点乘,通过权值矩阵ev将xw映射为d维的向量e,计算过程如公式2-4所示,最后用softmax函数求得当前词的概率,计算过程如公式2-5所示:

e=evxw(2-4)

5.根据权利要求1所述的面向专利咨询的多轮对话生成方法,其特征在于,所述用户模拟器包括自然语言生成模型和用户议程模型两个模块。

6.根据权利要求5所述的面向专利咨询的多轮对话生成方法,其特征在于,所述自然语言生成模型是以用户产生的对话动作为输入,根据对话管理模块学习到的对话策略,映射并生成相关的回复。

7.根据权利要求5所述的面向专利咨询的多轮对话生成方法,其特征在于,所述用户议程模型是实现当前用户产生的对话目标后,将当前的用户目标从用户议程模型中弹出。

8.根据权利要求6所述的面向专利咨询的多轮对话生成方法,其特征在于,所述端到端的神经对话系统包括自然语言理解模块和对话管理模块两部分。

9.根据权利要求8所述的面向专利咨询的多轮对话生成方法,其特征在于,所述自然语言理解模块是以自然语言生成模块生成的响应为输入,将自然语言解析成其对应的结构化语义框架,以作为对话管理模块的输入。

10.根据权利要求8所述的面向专利咨询的多轮对话生成方法,其特征在于,所述对话管理模块是将整个对话过程中对话状态的追踪以及对话策略的学习,记录、更新和维护每个时刻的对话状态并做出相应的对话响应。


技术总结
本发明公开一种面向专利咨询的多轮对话生成方法,依次对专利咨询语料进行文本去噪音、中文文本分词、去停用词、文本向量化处理;动态的从历史状态集中选择一个状态建立与当前状态的连接,模拟词与词之间的依赖关系,把产生的长距离依赖关系引入到模型的训练过程中;第一阶段基于依存句法分析获取对话语句的意图,然后第二阶段将槽位填充转化为自然语言处理中的序列标注任务,以第一阶段的结果为基础使用深度神经网络进行槽填充。根据专利咨询语料涉及特定领域知识的特点,设计了面向专利咨询的对话生成方法,该方法能够高效、便捷地实现科技咨询服务,解决了现有专利咨询服务过程中过分依赖专家人工咨询造成的交互自主性、及时性、可用性等问题。

技术研发人员:廖伟智;马亚恒
受保护的技术使用者:廖伟智;马亚恒
技术研发日:2021.05.14
技术公布日:2021.08.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1