一种健康问答模型的训练、健康问答方法及相关装置与流程

文档序号:33271402发布日期:2023-02-24 18:29阅读:来源:国知局

技术特征:
1.一种健康问答模型的训练方法,其特征在于,所述方法包括:s101:采集多个样本,每个所述样本包括健康问题信息,健康答案信息,所述健康问题信息中包含健康实体词的问题关键词,所述健康答案信息中包含健康实体词的答案关键词;s102:将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码,得到中间层输出的问题中间向量与答案中间向量;s103:将所述问题中间向量转换为受所述问题关键词控制的问题关键向量;s104:将所述答案中间向量转换为受所述答案关键词控制的答案关键向量;s105:将所述问题关键向量与所述答案关键向量输入所述基于孪生句向量变换器的双向编码器中继续完成编码,得到问题目标向量与答案目标向量;s106:根据所述问题目标向量与所述答案目标向量将所述基于孪生句向量变换器的双向编码器训练为健康问答模型。2.根据权利要求1所述的方法,其特征在于,所述步骤s102包括:将所述健康问题信息输入预设的第一分词器中进行处理,获得第一数字序列、第一分片序列与第一掩码序列;将所述健康答案信息输入预设的第一分词器中进行处理,获得第二数字序列、第二分片序列与第二掩码序列;将所述第一数字序列、所述第一分片序列与所述第一掩码序列,以及,所述第二数字序列、所述第二分片序列与所述第二掩码序列输入基于孪生句向量变换器的双向编码器中初步编码,得到中间层输出的问题中间向量与答案中间向量。3.根据权利要求1所述的方法,其特征在于,所述步骤s103包括:将所述问题中间向量转换为问题查询向量、问题索引向量与问题内容向量;对所述问题关键词进行编码,得到第一词索引向量、第一词内容向量;将所述问题索引向量与所述第一词索引向量融合为第一目标索引向量;将所述问题内容向量与所述第一词内容向量融合为第一目标内容向量;将所述问题查询向量、所述第一目标索引向量与所述第一目标内容向量输入预设的第一自注意力层进行处理,得到问题候选向量;从所述问题候选向量中提取特征,得到问题关键向量。4.根据权利要求3所述的方法,其特征在于,将问题中间向量转换为问题查询向量、问题索引向量与问题内容向量,包括:对所述问题中间向量生成第一查询矩阵、第一索引矩阵、第一内容矩阵;将所述问题中间向量分别与所述第一查询矩阵、所述第一索引矩阵、所述第一内容矩阵相乘,得到问题查询向量、问题索引向量与问题内容向量。5.根据权利要求3所述的方法,其特征在于,对问题关键词进行编码,得到第一词索引向量、第一词内容向量,包括:将所述问题关键词输入预设的第二分词器中进行处理,获得第三数字序列、第三分片序列与第三掩码序列;将所述第三数字序列、所述第三分片序列与所述第三掩码序列输入预设的词向量矩阵中进行处理,得到问题关键向量;
将所述问题关键向量输入预设的问题索引矩阵中进行处理,得到第一词索引向量;将所述第一词索引向量输入预设的问题内容矩阵中进行处理,得到第一词内容向量。6.根据权利要求3所述的方法,其特征在于,将问题索引向量与第一词索引向量融合为第一目标索引向量,包括:将所述第一词索引向量乘以预设的第一超参数,获得第一调权索引向量;将所述第一调权索引向量与所述问题索引向量拼接为第一目标索引向量;将问题内容向量与第一词内容向量融合为第一目标内容向量,包括:将所述第一词内容向量乘以预设的第一超参数,获得第一调权内容向量;将所述第一调权内容向量与所述问题内容向量拼接为第一目标内容向量。7.根据权利要求3所述的方法,其特征在于,从问题候选向量中提取特征,得到问题关键向量,包括:将所述问题候选向量输入预设的第一问题全连接层中映射为第一问题特征向量;对所述第一问题特征向量进行激活;若完成激活所述第一问题特征向量,则将所述第一问题特征向量输入预设的第二问题全连接层中映射为第二问题特征向量;对所述第二问题特征向量进行激活;若完成激活所述第二问题特征向量,则将所述第二问题特征向量输入预设的第三问题全连接层中映射为第三问题特征向量;对所述第三问题特征向量进行激活,得到问题关键向量。8.根据权利要求1所述的方法,其特征在于,所述步骤s104包括:将所述答案中间向量转换为答案查询向量、答案索引向量、答案内容向量;对所述答案关键词进行编码,得到第二词索引向量、第二词内容向量;将所述答案索引向量与所述第二词索引向量融合为第二目标索引向量;将所述答案内容向量与所述第二词内容向量融合为第二目标内容向量;将所述答案查询向量、所述第二目标索引向量与所述第二目标内容向量输入预设的第二自注意力层进行处理,得到答案候选向量;将所述答案候选向量中提取特征,得到答案关键向量。9.根据权利要求8所述的方法,其特征在于,将答案中间向量转换为答案查询向量、答案索引向量、答案内容向量,包括:对所述答案中间向量生成第二查询矩阵、第二索引矩阵、第二内容矩阵;将所述答案中间向量分别与所述第二查询矩阵、所述第二索引矩阵、所述第二内容矩阵相乘,得到答案查询向量、答案索引向量、答案内容向量。10.根据权利要求8所述的方法,其特征在于,对答案关键词进行编码,得到第二词索引向量、第二词内容向量,包括:将所述答案关键词输入预设的第二分词器中进行处理,获得第四数字序列、第四分片序列与第四掩码序列;将所述第四数字序列、所述第四分片序列与所述第四掩码序列输入预设的词向量矩阵中进行处理,得到答案关键向量;将所述答案关键向量输入预设的答案索引矩阵中进行处理,得到第二词索引向量;
将所述第二词索引向量输入预设的答案内容矩阵中进行处理,得到第二词内容向量。11.根据权利要求8所述的方法,其特征在于,将答案索引向量与所述第二词索引向量融合为第二目标索引向量,包括:将所述第二词索引向量乘以预设的第二超参数,获得第二调权索引向量;将所述第二调权索引向量与所述答案索引向量拼接为第二目标索引向量;所述将所述答案内容向量与所述第二词内容向量融合为第二目标内容向量,包括:将所述第二词内容向量乘以预设的第二超参数,获得第二调权内容向量;将所述第二调权内容向量与所述答案内容向量拼接为第二目标内容向量。12.根据权利要求8所述的方法,其特征在于,将答案候选向量中提取特征,得到答案关键向量,包括:将所述答案候选向量输入预设的第一答案全连接层中映射为第一答案特征向量;对所述第一答案特征向量进行激活;若完成激活所述第一答案特征向量,则将所述第一答案特征向量输入预设的第二答案全连接层中映射为第二答案特征向量;对所述第二答案特征向量进行激活;若完成激活所述第二答案特征向量,则将所述第二答案特征向量输入预设的第三答案全连接层中映射为第三答案特征向量;对所述第三答案特征向量进行激活,得到答案关键向量。13.根据权利要求1-12中任一项所述的方法,其特征在于,每个所述样本还包括健康问题信息与健康答案信息之间的真实相似度;所述步骤s106包括:基于所述问题目标向量与所述答案目标向量计算所述健康问题信息与所述健康答案信息之间的预测相似度;基于所述预测相似度与所述真实相似度计算损失值;按照所述损失值更新所述基于孪生句向量变换器的双向编码器;判断是否满足预设的训练条件;若是,则将所述基于孪生句向量变换器的双向编码器输出为健康问答模型;若否,则返回执行所述将所述健康问题信息与所述健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码,得到中间层输出的问题中间向量与答案中间向量。14.根据权利要求13所述的方法,其特征在于,基于所述问题目标向量与所述答案目标向量计算所述健康问题信息与所述健康答案信息之间的预测相似度,包括:计算所述问题目标向量与所述答案目标向量之间的余弦值;对所述余弦值进行激活,得到所述健康问题信息与所述健康答案信息之间的预测相似度;所述基于所述预测相似度与所述真实相似度计算损失值,包括:计算所述预测相似度与所述真实相似度之间的均方误差,作为损失值。15.根据权利要求1-12中任一项所述的方法,其特征在于,所述样本包括正样本、负样本;所述s101包括:获取相互匹配的健康问题信息、健康答案信息;
分别从所述健康问题信息中提取含健康实体词的问题关键词、从所述健康答案信息中提取含健康实体词的答案关键词;对所述健康问题信息与所述健康答案信息之间配置趋向上限值的实际相似度;将相互匹配的所述健康问题信息与所述健康答案信息、所述问题关键词、所述答案关键词、所述实际相似度构建为正样本;从当前所述正样本中采样所述健康问题信息及所述问题关键词;从其他所述正样本中随机负采样所述健康答案信息及所述答案关键词;对所述健康问题信息与所述健康答案信息之间配置趋向下限值的实际相似度;将来源于当前所述正样本的所述健康问题信息及所述问题关键词,来源于其他所述正样本的所述健康答案信息及所述答案关键词、所述实际相似度构建为负样本;从当前所述正样本中采样所述健康问题信息及所述问题关键词;从第一目标样本中随机负采样所述健康答案信息及所述答案关键词,所述第一目标样本为与所述正样本具有相同所述问题关键词的其他所述正样本;在第一数值与第二数值之间取最小者,作为所述健康问题信息与所述健康答案信息之间的实际相似度,所述第一数值趋向上限值,所述第二数值为对当前所述正样本与所述第一目标样本之间在所述问题关键词和/或所述答案关键词重合的数量取指定的第一比例;将来源于当前所述正样本的所述健康问题信息及所述问题关键词,来源于所述第一目标样本的所述健康答案信息及所述答案关键词、所述实际相似度构建为负样本;从当前所述正样本中采样所述健康答案信息及所述答案关键词;从第二目标样本中随机负采样所述健康问题信息及所述问题关键词,所述第二目标样本为与当前所述正样本具有相同所述答案关键词的其他所述正样本;在第三数值与第四数值之间取最小者,作为所述健康问题信息与所述健康答案信息之间的实际相似度,所述第三数值趋向上限值,所述第四数值为对当前所述正样本与所述第二目标样本之间在所述问题关键词和/或所述答案关键词重合的数量取指定的第二比例;将来源于所述第二目标样本的所述健康问题信息及所述问题关键词,来源于当前所述正样本的所述健康答案信息及所述答案关键词、所述实际相似度构建为负样本。16.一种健康问答方法,其特征在于,所述方法包括:s201:加载属于基于孪生句向量变换器的双向编码器的健康问答模型;s202:若接收到客户端输入的健康问题信息,则从所述健康问题信息中提取包括健康实体词的问题关键词;s203:将所述健康问题信息输入所述健康问答模型中初步编码,得到中间层输出的问题中间向量;s204:将所述问题中间向量转换为受所述问题关键词控制的问题关键向量;s205:将所述问题关键向量输入所述健康问答模型中继续完成编码,得到问题目标向量;s206:根据所述问题关键向量与预设的答案关键向量召回用于解答所述健康问题信息的所述健康答案信息,所述答案关键向量编码自健康问答信息及所述健康答案信息中包含健康实体词的答案关键词;s207:将用于解答所述健康问题信息的所述健康答案信息推送至所述客户端进行显
示。17.根据权利要求16所述的方法,其特征在于,所述s206包括:基于所述问题关键向量与预设的答案关键向量计算所述健康问题信息与所述健康答案信息之间的相似度;召回多个所述相似度最高的所述健康答案信息,作为用于解答所述健康问题信息的所述健康答案信息。18.一种电子设备,其特征在于,所述电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序及健康问答模型,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-15中任一项所述的健康问答模型的训练方法或者权利要求16-17中任一项所述的健康问答方法。19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序及健康问答模型,所述计算机程序用于使处理器执行时实现权利要求1-15中任一项所述的健康问答模型的训练方法或者权利要求16-17中任一项所述的健康问答方法。

技术总结
本发明公开了一种健康问答模型的训练、健康问答方法及相关装置,该方法包括:采集多个样本;将健康问题信息与健康答案信息输入基于孪生句向量变换器的双向编码器中初步编码,得到中间层输出的问题中间向量与答案中间向量;将问题中间向量转换为受问题关键词控制的问题关键向量;将答案中间向量转换为受答案关键词控制的答案关键向量;将问题关键向量与答案关键向量输入基于孪生句向量变换器的双向编码器中继续完成编码,得到问题目标向量与答案目标向量;根据问题目标向量与答案目标向量将基于孪生句向量变换器的双向编码器训练为健康问答模型。注意力集中到包含健康实体词的关键词上,提高了在健康领域的适应性,提高答案召回的准确率。召回的准确率。召回的准确率。


技术研发人员:章宇超 李响
受保护的技术使用者:汤臣倍健股份有限公司
技术研发日:2022.11.29
技术公布日:2023/2/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1