基于多模型融合的问答方法及系统与流程

本发明涉及人工智能的问答系统技术领域，尤其涉及一种基于多模型融合的问答方法及系统。

背景技术：

随着大数据和深度学习技术的发展，创建一个自动的人机对话系统作为我们的私人助理或聊天伙伴，将不再是一个幻想。

当前，对话系统在各个领域越来越引起人们的重视，深度学习技术的不断进步极大地推动了对话系统的发展。对于对话系统，深度学习技术可以利用大量的数据来学习特征表示和回复生成策略，这其中仅需要少量的手工操作。现有的基于意图识别与对话管理的机器人需要大量的标注语料来进行特征学习，标注的过程将耗费大量的人力物力，影响整个系统的执行效率，不利于系统维护，且影响系统的健壮性及可成长性。

技术实现要素：

本发明实施例提供一种基于多模型融合的问答方法及系统，可以解决上述问题。

本发明实施例第一方面提供了一种基于多模型融合的问答方法，可包括：

构建知识库和知识图谱，其中，知识库包括用于存储源知识的源知识库，用于存储同义词、关键词集合和问题模板的语法库，用于存储常问问题集和答案的faq问题库，知识图谱为基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱；

结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据，其中，问题解析数据包括原始问题中的关键字、提问的实体名称，问题分类以及可能的待匹配问题模板；

基于融合模型指示的匹配方法检索问题分析数据，得到原始问题对应的问题答案，其中，融合模型包括知识图谱推理模型、tf-idf模型、siamese模型和bert模型。

本发明实施例第二方面提供了一种基于多模型融合的问答系统，可包括：

基础数据构建模块，用于构建知识库和知识图谱，其中，知识库包括用于存储源知识的源知识库，用于存储同义词、关键词集合和问题模板的语法库，用于存储常问问题集和答案的faq问题库，知识图谱为基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱；

原始问题分析模块，用于结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据，其中，问题解析数据包括原始问题中的关键字、提问的实体名称，问题分类以及可能的待匹配问题模板；

答案搜索模块，用于基于融合模型指示的匹配方法检索问题分析数据，得到原始问题对应的问题答案，其中，融合模型包括知识图谱推理模型、tf-idf模型、siamese模型和bert模型。

本发明实施例第三方面提供了一种计算机设备，该设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的基于多模型融合的问答方法。

本发明实施例第四方面提供了一种计算机存储介质，该计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的基于多模型融合的问答方法。

在本发明实施例中，通过将四个模型进行融合，并提供针对融合的具体方法，实现了一种可解释性强且差异性较大的模型。采用融合模型搜索原始问题对应的答案的过程在保证准确性的前提下效率更高，且随着数据量的增长，深度学习模型日趋健壮，整体模型对于语义的理解更准确，实现了对机器人真正的“注智”。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于多模型融合的问答方法的流程示意图；

图2是本发明实施例提供的利用融合模型预测答案的结构示意图；

图3是本发明实施例提供的融合模型预测答案的流程示意图；

图4是本发明实施例提供的相似度计算示意图；

图5是本发明实施例提供的一种基于多模型融合的问答系统的结构示意图；

图6是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含，术语“第一”和“第二”仅是为了区别命名，并不代表数字的大小或者排序。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

需要说明的是，本申请提供的基于多模型融合的问答方法可以应用于公司内部知识培训问答的应用场景中。

本发明实施例中，基于多模型融合的问答方法可以应用于计算机设备中，该计算机设备可以是智能手机、平板电脑、pc(personalcomputer，个人计算机)等终端，也可以是其它具备计算处理能力的电子设备。

如图1所示，基于多模型融合的问答方法至少可以包括以下几个步骤：

s101，构建知识库和知识图谱。

具体的，计算机设备在进行答案搜索之前，需要构建知识库和知识图谱，其中的知识库可以包括用于存储源知识的源知识库，用于存储同义词、关键词集合和问题模板的语法库，用于存储常问问题集和答案的faq问题库，其中的知识图谱可以是基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱。

在一种实现方式中，计算机设备可以采集训练常问的相关问题构建问题样例，然后根据问题样例所涉及的关系和属对其进行分类，再使用命名实体识别分词，并去除停用词后提取只含有关键字的简化问题样例，然后将简化问题样例存储至文件中。优选的，设备可以提取特有的词语作为领域内的专业词语，并将该词语添加分词词典中。

在一种实现方式中，计算机设备可以将涉及同一个关系或者属性的简化问题样例归属为同一类，并可以将同一类简化问题模板中的关键字确定为同义词集合，可以理解的是，每一个同义词集合对应知识图谱中的一个关系或者属性。

在一种实现方式中，计算机设备可以为每一个问题模板配置从知识图谱中提取该问题模板的答案的路径和从原始问题中提取答案的约束条件。可选的，约束条件的格式可以是字段名+参数，其中参数为同义词，参数的值可以是字词集合名称所替换的原始问题中的字或词语。

在一种实现方式中，计算机设备可以对简化问题样例进行命名实体识别，采用识别出的分词和对应的词性标注建立语法树，使用句法树的结构对问题样本分类，将问题分为多个大类，每个大类再继续划分为多个小类，对每一个小类问题建立索引，在关键词与问题小类索引之间建立映射，通过映射将关键词指称对应到问题小类；该映射关系即为问题模板，形成问题模板库。可以理解的是，命名实体识别中的实体可以用通配符代替。

在可选实施例中，设备还可以统计高频的问题答案与答案，形成常问问题集，并将常问问题及相关答案存储到问题库，每一个问题对应一个标准答案，即问题与答案之间的映射，以此构建faq问题库。

s102，结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据。

可以理解的是，上述问题解析数据可以包括原始问题中的关键字、提问的实体名称，问题分类以及可能的待匹配问题模板。具体实现中，计算机设备可以基于知识库和知识图谱对所输入的原始问题进行预处理，确定原始问题对应的关键字，进一步的，可以基于问题模板库确定原始问题的关键字对应的问题分类，然后判断原始问题对应的实际提问次数，根据实际提问次数为所述原始问题分配待匹配问题模板。

在一种优选的实现方式中，设备可以首先判断原始问题的语句是否存在拼写错误，如果存在拼写错误，则通过拼写规则结合语言模型的算法对其进行修正，输出正确的语句，否则，直接输出用户语句。进一步的，可以对输出的用户语句进行标点等符号的过滤、和/或过滤掉停用词、同义词的转换以及将数字转换为中文数据。

在一种实现方式中，设备还可以对原始问题进行命名实体识别得到对应的实体指称，然后基于实体链接将实体指称链接到知识图谱的图谱节点，若果无法链接到图谱节点，则将faq问题库中的所有问题作为待匹配问题模板。

在一种可选实现方式中，设备可以对采用含有专业词语的词典对原始问题中除实体指称外的剩余部分进行分词，将分词得到的词语在语法库中进行匹配，确定对应的关键字。

进一步的，设备可以将上述关键词与问题模板库中的问题模板进行匹配，搜索关键字对应可能的问题分类，如果可以定位到问题分类，则问题分类中所有符合关键字的问题模板中的问题都作为可能待匹配问题模板；如果无法定位问题的具体分类，则faq问题库的所有问题作为待匹配问题模板。可以理解的是，在关键词与问题模板匹配的过程中，可以将每个关键词分别与所有的问题模板进行匹配，也可以将所有的关键词同时与所有的问题进行匹配，或者可以选取部分关键词与所有文问题模板进行匹配。

进一步的，设备可以记录并判断当前时第几次提问，针对第一次提问，可以将第一次提问的问题具体分类对应的问题模板作为待匹配问题模板，进而检索对应的答案；针对不是第一次提问，可以读取前k句提问数据，判断是一个问题还是多个问题，若多个问题则增加约束条件逐一反问，得到肯定回答后，明确问题后提取提问关键词，重新定位问题分类，产生多个待匹配问题模板。

s103，基于融合模型指示的匹配方法检索所述问题分析数据，得到所述原始问题对应的问题答案。

具体实现中，上述融合模型可以是融合知识图谱推理模型、tf-idf模型、siamese模型和bert模型之后的模型。

在本申请中，可以根据待匹配问题模板的个数确定生成候选答案集的方法，例如，当待匹配问题模板只有1个且从所述知识图谱中检索到对应的三元组时，设备可以将三元组问题作为候选问题之一，并确定该候选问题对应的图谱候选答案集，且具有较高的权重值。

在一种实现方式中，待匹配问题模板大于一个，或者无法从知识图谱中定位到图谱节点时，提取答案的具体方法为：采用融合模型计算原始问题与待匹配问题模板的短文相似度，生成多个候选答案；进一步的，选取相似度最大的常问问题为候选问题，若原始问题与待匹配问题模板的相似度大于相似度阈值，将原始问题匹配到候选问题，否则匹配不到问题的答案，可以输出不能回答问题的提示信息；进一步的，根据匹配到的候选问题与faq问题库指示的问题与答案的映射关系选取对应的答案作为原始问题的答案。

在一种优选的实现方式中，设备采用融合模型计算原始问题与待匹配问题模板的短文本相似度的具体过程为可以如图2所示，包括：基于tf-idf模型生成原始问题的tf-idf向量对应的稀疏矩阵，计算稀疏矩阵与待匹配问题模板之间的相似度，根据相似度排序从高到低排名前k的问题作为第一候选答案集，并记录相似度权重ai；进一步的，采用siamese模型计算原始问题与待匹配问题模板之间的相似度，并返回置信度从高到低排名前k的问题作为候选答案集，记录相似度权重bi；进一步的，采用bert模型计算原始问题与待匹配问题模板两两之间的语义相似度，根据语义相似度排序后得出最相似的k个问题作为第三候选答案集，记录相似度权重ci；进一步的，基于相似度权重将图谱候选答案集、第一候选答案集、第二候选答案集和第三候选答案集进行融合，结果原始问题与候选问题的字向量和词向量，训练对应的二分类神经网络；最后，采用该二分类神经网络将softmax得到的正类的概率作为候选答案的概率，并将最终的候选答案以概率降序输出，取置信度最高的作为最终的答案输出。

需要说明的是，在上述模型融合的过程中加入匹配文本本身作为输入之一，在考虑权重的过程中同时考虑句子本身，增加网络结构中特征的数量，使得融合模型的网络具有更好的鲁棒性。

在本申请的一种具体实现方式中，siamese模型的训练识别过程可以如图3和图4所示：

siamesenetwork有两个结构相同，且共享权值的子网络。分别接收两个输入x1与x2，将其转换为向量gw(x1)与gw(x2)，再通过某种距离度量的方式计算两个输出向量的距离ew。训练siamesenetwork采用的训练样本是一个tuple(x1,x2,y)，标签y＝0表示x1与x2属于不同类型(不相似、不重复、根据应用场景而定)。y＝1则表示x1与x2属于相同类型(相似)。相较于传统的word-level或者char-level的embeding，采用word+char合并输入；采用bigpu作为孪生神经网络的主体，相较于bilstm在数据集上具有更好的表现且具有更高的训练效率；采用曼哈顿空间距离计算vector的相似度，相较于cosine在文本上具有更强的解释性，且表现更好。

在本发明实施例中，通过将四个模型进行融合，并提供针对融合的具体方法，实现了一种可解释性强且差异性较大的模型。采用融合模型搜索原始问题对应的答案的过程在保证准确性的前提下效率更高，且随着数据量的增长，深度学习模型日趋健壮，整体模型对于语义的理解更准确，实现了对机器人真正的“注智”。

下面将结合附图5，对本发明实施例提供的基于多模型融合的问答系统进行介绍。需要说明的是，附图5所示的问答系统，用于执行本发明图1所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1所示的实施例。

请参见图5，为本发明实施例提供了一种基于多模型融合的问答系统的结构示意图。如图5所示，本发明实施例的问答系统10可以包括：基础数据构建模块101、原始问题分析模块102和答案搜索模块103。

基础数据构建模块101，用于构建知识库和知识图谱，其中，知识库包括用于存储源知识的源知识库，用于存储同义词、关键词集合和问题模板的语法库，用于存储常问问题集和答案的faq问题库，知识图谱为基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱。

原始问题分析模块102，用于结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据，其中，问题解析数据包括原始问题中的关键字、提问的实体名称，问题分类以及可能的待匹配问题模板。

答案搜索模块103，用于基于融合模型指示的匹配方法检索问题分析数据，得到原始问题对应的问题答案，其中，融合模型包括知识图谱推理模型、tf-idf模型、siamese模型和bert模型。

需要说明的是，本实施例四上述方法实施例对应的系统实施例，该实施例中的不同模块之间协同实现答案搜索的过程与上述实施例一致，实现过程可以参见上述方法实施例的具体描述，此处不再赘述。

在本发明实施例中，通过将四个模型进行融合，并提供针对融合的具体方法，实现了一种可解释性强且差异性较大的模型。采用融合模型搜索原始问题对应的答案的过程在保证准确性的前提下效率更高，且随着数据量的增长，深度学习模型日趋健壮，整体模型对于语义的理解更准确，实现了对机器人真正的“注智”。

本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1-图4所示实施例的方法步骤，具体执行过程可以参见图1-图4所示实施例的具体说明，在此不进行赘述。

本申请实施例还提供了一种计算机设备。如图6所示，计算机设备20可以包括：至少一个处理器201，例如cpu，至少一个网络接口204，用户接口203，存储器205，至少一个通信总线202，可选地，还可以包括显示屏206。其中，通信总线202用于实现这些组件之间的连接通信。其中，用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如wi-fi接口)，通过网络接口204可以与服务器建立通信连接。存储器205可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图6所示，作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

需要说明的是，网络接口204可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于wifi模块、蓝牙模块等，可以理解，本发明实施例中计算机设备也可以包括接收器、发射器和其他通信模块等。

处理器201可以用于调用存储器205中存储的程序指令，并使计算机设备20执行以下操作：

构建知识库和知识图谱，其中，知识库包括用于存储源知识的源知识库，用于存储同义词、关键词集合和问题模板的语法库，用于存储常问问题集和答案的faq问题库，知识图谱为基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱；

结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据，其中，问题解析数据包括原始问题中的关键字、提问的实体名称，问题分类以及可能的待匹配问题模板；

基于融合模型指示的匹配方法检索问题分析数据，得到原始问题对应的问题答案，其中，融合模型包括知识图谱推理模型、tf-idf模型、siamese模型和bert模型。

在一些实施例中，设备20在构建语法库和知识图谱时，具体用于：

构建基于有标签数据的行业相关法律、规定以及管理制度的知识数据集的知识图谱，知识数据集中的每条记录的文本和类别一一对应；

对所采集的问题样例进行预处理得到简化问题样例，使用分词和词性标注建立语法库对应的语法树。

在一些实施例中，设备20在对所采集的问题样例进行预处理得到简化问题样例，使用分词和词性标注建立语法库对应的语法树时，具体用于：

根据所采集问题实例对应的关系和属性对其进行分类，使用命名实体识别分词，并去除停用词后提取只包含关键字的简化问题样例；

将涉及同一关系或属性的简化问题样例归为同一类的问题模板；

为每一个问题模板配置从知识图谱中提取该问题模板的答案的路径和从原始问题中提取答案的约束条件；

对简化问题样例进行命名实体识别，采用识别出的分词和对应的词性标注建立语法树，语法树指示的关键词与问题小类索引之间的映射关系构成问题模板库。

在一些实施例中，设备20在结合知识库和知识图谱对所输入的原始问题进行问题解析，得到问题解析数据时，具体用于：

基于知识库和知识图谱对所输入的原始问题进行预处理，确定原始问题对应的关键字；

基于问题模板库确定原始问题的关键字对应的问题分类；

判断原始问题对应的实际提问次数，根据实际提问次数为原始问题分配待匹配问题模板。

在一些实施例中，设备20在基于知识库和知识图谱对所输入的原始问题进行预处理，确定原始问题对应的关键字时，具体用于：

当确定所输入的原始问题是不存在拼写错误时，对原始问题进行标点过滤、停用词过滤，同时采用同义词转换将原始问题中的数字转换为中文数据；

对原始问题进行命名实体识别得到对应的实体指称，基于实体链接将实体指称链接到知识图谱的图谱节点；

采用含有专业词语的词典对原始问题中除实体指称外的剩余部分进行分词，将分词得到的词语在语法库中进行匹配，确定对应的关键字。

在一些实施例中，设备20还用于：

当实体指称无法链接至图谱节点时，将faq问题库中的所有问题确定为待匹配问题模板。

在一些实施例中，设备20在基于融合模型指示的匹配方法检索问题分析数据，得到原始问题对应的问题答案时，具体用于：

当待匹配问题模板大于1个或者无法链接到图谱节点时，采用融合模型计算原始问题与待匹配问题模板的短文相似度，生成多个候选答案；

选取相似度最大的常问问题为候选问题，若原始问题与待匹配问题模板的相似度大于相似度阈值，将原始问题匹配到候选问题；

根据匹配到的候选问题与faq问题库指示的问题与答案的映射关系选取对应的答案作为原始问题的答案。

在一些实施例中，设备20还用于：

当待匹配问题模板只有1个且从知识图谱中检索到对应的三元组时，将三元组问题作为候选问题，并确定该候选问题对应的图谱候选答案集。

在一些实施例中，设备20在采用融合模型计算原始问题与待匹配问题模板的短文相似度，生成多个候选答案时，具体用于：

基于tf-idf模型生成原始问题的tf-idf向量对应的稀疏矩阵，计算稀疏矩阵与待匹配问题模板之间的相似度，根据相似度排序从高到低排名前k的问题作为第一候选答案集，并记录相似度权重ai；

采用siamese模型计算原始问题与第一候选答案集之间的相似度，并返回置信度从高到低排名前k的问题作为候选答案集，记录相似度权重bi；

采用bert模型计算原始问题与待匹配问题模板两两之间的语义相似度，根据语义相似度排序后得出最相似的k个问题作为第三候选答案集，记录相似度权重ci；

基于相似度权重将图谱候选答案集、第一候选答案集、第二候选答案集和第三候选答案集进行融合，结果原始问题与候选问题的字向量和词向量，训练对应的二分类神经网络；

采用二分类神经网络将softmax得到的正类的概率作为候选答案的概率，并将最终的候选答案以概率降序输出，取置信度最高的作为最终的答案输出。

在本发明实施例中，通过将四个模型进行融合，并提供针对融合的具体方法，实现了一种可解释性强且差异性较大的模型。采用融合模型搜索原始问题对应的答案的过程在保证准确性的前提下效率更高，且随着数据量的增长，深度学习模型日趋健壮，整体模型对于语义的理解更准确，实现了对机器人真正的“注智”。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。