知识库处理、模型训练方法、计算机设备及存储介质与流程

1.本技术涉及自然语言处理技术领域，尤其涉及一种知识库处理、模型训练方法、计算机设备及存储介质。


背景技术：

2.随着人工智能技术，尤其是自然语言处理技术的迅猛发展，智能客服应运而生。智能客服能够基于知识库回答用户问题，为用户提供全天候的服务。在智能客服系统中，通常需要将用户的可能意图进行收集，形成领域相关知识，并利用这些知识构建意图分类模型，并用于客服流程系统中的各个选择分支。一般而言，知识库的构建主要是人工查看数据和标注，效率较低，也有一些技术方案是基于数据聚类的方法，取聚类中心作为发现的中心，然后再将这些数据加入到知识库中；此类整体聚类方法的可控性较差，无法有效地发现新的扩展问数据。


技术实现要素：

3.本技术实施例提供一种知识库处理、模型训练方法、计算机设备及存储介质，能够高效、准确的在问答语料中挖掘相关的问题文本，对知识库进行扩展。
4.第一方面，本技术提供了一种知识库处理方法，所述方法包括：
5.获取多组问答语料，每组所述问答语料包括问题文本和所述问题文本对应的回答文本；
6.对所述问答语料进行向量提取，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量；
7.根据所述问题向量与知识库问题向量之间的第一相似度，以及所述问题向量与知识库回答向量之间的第二相似度，确定所述多组问答语料中的目标问答语料，其中所述知识库问题向量为所述知识库中第一问题文本对应的问题向量，所述知识库回答向量为第一问题文本对应的回答向量；
8.将所述目标问答语料中的问题文本，作为与所述第一问题文本关联的第二问题文本添加到所述知识库中。
9.第二方面，本技术提供了一种句向量提取模型的训练方法，其特征在于，包括：
10.获取问答语料，所述问答语料包括问题文本和所述问题文本对应的回答文本，且存在不同的问答语料中的问题文本关联；
11.基于句向量提取模型的输入层，对所述问答语料的字向量表示和词向量表示进行融合处理得到待处理向量；
12.基于句向量提取模型的语义表示层，对所述待处理向量进行语义特征提取，得到所述问答语料的语义特征向量表示；
13.基于句向量提取模型的输出层，对所述语义特征向量进行自注意力处理，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量；
14.根据关联的问题文本对应的问题向量之间的第一相似度，以及所述问题向量和所述回答向量之间的第二相似度，确定所述句向量提取模型的损失值；
15.根据所述损失值调整所述句向量提取模型的模型参数。
16.第三方面，本技术提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现上述方法的步骤。
17.第三方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，若所述计算机程序被处理器执行，实现上述方法的步骤。
18.本技术公开了一种知识库处理、模型训练方法、计算机设备及存储介质，方法包括：获取多组问答语料，对问答语料进行向量提取，得到问题文本对应的问题向量和回答文本对应的回答向量；根据问题向量与知识库问题向量之间的第一相似度，以及问题向量与知识库回答向量之间的第二相似度，确定多组问答语料中的目标问答语料，其中知识库问题向量为知识库中第一问题文本对应的问题向量，知识库回答向量为第一问题文本对应的回答向量；将目标问答语料中的问题文本，作为与第一问题文本关联的第二问题文本添加到知识库中；基于问题文本和问题文本之间的第一相似度，以及回答文本与问题文本之间的第二相似度，在问答语料中挖掘与知识库中的问题文本关联的问题文本，能够高效、准确的对知识库进行扩展。
附图说明
19.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本技术实施例提供的知识库处理方法的流程示意图；
21.图2为一实施方式中知识库处理方法的应用场景示意图；
22.图3为本技术实施例提供的句向量提取模型的训练方法的流程示意图；
23.图4为本技术一实施例提供的一种计算机设备的结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
26.请参阅图1，图1是本技术的实施例提供的一种知识库处理方法的流程示意图。
27.本技术实施例提供的知识库处理方法可以应用于终端或服务器中。终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理等电子设备；服务器可以为独立的服务器，也可以为服务器集群。但为了便于理解，以下实施例将以应用于服务器的方法进行详细
介绍。
28.在一些实施方式中，如图2所示，服务器从终端获取问答语料，根据知识库处理方法对知识库进行处理。在一些实施方式中，基于知识库，服务器可以提供智能客服服务，即客服系统。
29.知识库，又称智能数据库或者人工智能数据库，是针对某一种或某些领域的问题求解需要而构造的结构化的知识集群。知识库一般由标准问及其对应的扩展问组成，标准问是对某个意图的标准化描述，其对应的扩展问则是对该意图的口语化描述。例如，对于查询话费这一意图，标准问可以定义为“查询话费”，扩展问则可以表示为“请帮我查一下这个月的话费”、“我这个月话费多少”等。知识库作为智能客服系统的重要组成部分，其质量直接影响智能客服向用户返回信息的准确性。客服系统的目标是通过语义度量的方式，寻找与用户输入最接近的扩展问，并映射成对应的标准问，用于客服流程中。
30.一般而言，意图识别的数据收集，依赖于人工收集，通过人工整理来形成意图-扩展问对。但是人工收集的效率非常低且难以覆盖全面。目前也有一些方案通过词向量模型将句子转为句向量，然后用k-means之类的方法进行聚类，然后取聚类中心作为发现的中心，然后再将这些数据加入到知识库中。但是基于词向量的聚类方法，整体聚类方法可控性较差，无法有效地发现新的扩展问数据，而且聚类倾向于找出句子相似度极高的句子，对知识库增长没有较大的意义。而且无监督数据的效果较差。
31.本技术实施例例提供的知识库处理方法则可以高效、准确的在问答语料中挖掘相关的问题文本，对知识库进行扩展。
32.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
33.如图1所示，知识库处理方法包括以下步骤s110至步骤s140。
34.步骤s110、获取多组问答语料，每组所述问答语料包括问题文本和所述问题文本对应的回答文本。
35.在一些可选的实施例中，问答语料为用于实现知识库处理方法的装置在本地存储的文本、该装置从网络获取的文本、该装置从与其连接的输入装置获取的文本、该装置从其他电子设备获取的文本、该装置根据语音信息转成的文本等，当然也不限于此。
36.示例性的，收集客服语义文本对话(或者可以称为客服语义材料)，构造用户-客服的语义问答对即问答语料。每组问答语料包括问题文本和所述问题文本对应的回答文本，可以称为q-a对。
37.举例而言，多组问答语料包括q1-a1、q2-a3、q4-a4、
……
、qn-an。
38.步骤s120、对所述问答语料进行向量提取，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量。
39.可以理解的，问题向量为问题文本的向量化表示，回答向量为回答文本的向量化表示，在向量空间可以确定向量化标识之间的相似度，该相似度可以用于描述文本之间的相似度。
40.示例性的，基于句向量提取模型对所述问答语料进行向量提取。
41.可选的，所述句向量提取模型为基于双向lstm(bidirectional long-short term memory，bi-lstm，双向长短期记忆)网络结构的模型。其中，双向lstm网络结构包括前向的
lstm与后向的lstm(long-short term memory)，输入序列分别以正序和逆序输入至前向的lstm神经网络与后向的lstm神经网络进行特征提取，将2个输出向量(即提取后的特征向量)进行拼接后形成的向量作为该输入序列的最终特征表达。
42.在一些实施方式中，所述句向量提取模型的模型拓扑结构包括：输入层、语义表示层、输出层。其中，输入层用于确定输入文本的向量化表示，语义表示层用于对输入文本的向量化表示进行语义特征的提取，输出层用于对语义表示层提取的语义特征进行自注意力处理，得到输入文本的句向量。
43.在一些实施方式中，步骤s120对所述问答语料进行向量提取，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量，包括步骤s121-步骤s123。
44.步骤s121、基于句向量提取模型的输入层，对所述问答语料的字向量表示和词向量表示进行融合处理得到待处理向量。
45.示例性的，句向量提取模型的输入层的输入为文本的词向量和字向量，通过对字向量表示和词向量表示进行融合处理，可以既利用到了文本中词的信息，也利用到了文本中的字对于词的相对影响，融合处理得到的待处理向量信息量更丰富，可以提高模型进行向量提取的准确性，从而提高知识库处理的准确性。
46.可选的，对字向量表示和词向量表示进行融合处理时，可以以词作为最小语义单元，通过词内的字的信息得到该词语义单元的表示，将通过字得到的词的表示和原始词的表示进行结合。
47.可选的，在对字向量表示和词向量表示进行融合处理时，以字作为最小语义单元，将句子中某字所在的词的信息和该字的信息进行结合。
48.示例性的，对于输入的每个句子，如限定60个字，每个字的字向量的维度为100维，每个字对应的每个词的词向量的维度也为100维，字向量经过不同尺度的卷积核进行卷积，如(2*100)、(3*100)等，得到不同的字之间组合的向量，再经过自注意力(self attention)处理，得到各词中每个字的字向量构成的一个100维的表示，然后将文本的词向量加在得到的各词中每个字的字向量上面，得到这些字的新的100维向量的表示；那么整体句子的待处理向量就是一个(60，100)的二维矩阵。
49.步骤s122、基于句向量提取模型的语义表示层，对所述待处理向量进行语义特征提取，得到所述问答语料的语义特征向量表示。
50.语义表示层主要对从输入层接收的二维矩阵进行语义特征的提取，语义表示层可以使用双向lstm结构的网络；举例而言，其步长为30，隐层神经元节点个数为100个，则对于前向lstm和后向lstm每个隐层分别输出(1，100)维的特征,将前向lstm和后向lstm输出的特征进行拼接，获得(30，200)维的句子的隐层特征输出h。还可以对于拼接获得的(30，200)维特征矩阵进行自注意力(self attention)处理，计算每个隐层对于整个句子的影响权重，之后对整个隐层输出的特征矩阵做一个全连接变换，可以获得200维向量，构成该句的每个位置的语义特征向量表示。
51.步骤s123、基于句向量提取模型的输出层，对所述语义特征向量中进行自注意力处理，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量。
52.在在中间层的输出上，增加一个self attention操作，将问答语料的语义特征向量表示收缩，得到问答语料的句向量。
53.示例性的，步骤s123包括：基于所述输出层的第一子网络，对所述语义特征向量进行自注意力处理，得到所述问题文本对应的问题向量；以及基于所述输出层的第二子网络，对所述语义特征向量进行自注意力处理，得到所述回答文本对应的回答向量，所述第二子网络的参数与所述第一子网络不同。举例而言，对于用户、客服的输入，采用不同参数的子网络，分别得到用户、客服的句子的向量表示，如问题向量v1,回答向量v2。
54.在一些实施方式中，句向量提取模型输出的问题向量和回答向量之间的向量相似度可以用于指示问题文本和回答文本之间的相关性，句向量提取模型输出的问题向量和问题向量之间的向量相似度可以用于指示问题文本和问题文本之间的相关性；举例而言，向量相似度为余弦相似度，当然也不限于此；向量相似度越小，文本与文本之间的相关性越强；例如问题文本和该问题文本对应的回答文本之间的相关性较强，同一标准问对应的扩展问(即q-q对)之间的相关性较强。换而言之，句向量提取模型输出的向量，在q-a对和q-q对中具有相似度量性质。
55.在一些实施方式中，可以将客服系统中已有的数据库取出，在同一个知识点内的标准问，两两组成相似标准问对(q-q对)，即关联的问题文本。
56.在一些实施方式中，在训练句向量提取模型时，有两个训练目标，q-a对相似以及q-q对相似。
57.示例性的，根据关联的问题文本对应的问题向量之间的第一相似度，以及所述问题向量和所述回答向量之间的第二相似度，确定所述句向量提取模型的损失值，以及根据所述损失值调整所述句向量提取模型的模型参数。
58.示例性的，根据所述问答语料中问题文本的问题向量与关联的问题文本的问题向量之间的相似度，以及所述问题文本的问题向量与不关联的问题文本的问题向量之间的相似度，确定所述句向量提取模型的第一损失值。
59.举例而言，句向量提取模型的第一损失值l1表示如下：
60.l1＝1-cosine(q,q+)+cosine(q,q-)
61.其中，q和q+表示相互关联的两个问题文本的问题向量，即q-q对中的句向量；q-表示与q不在一个知识点下的问题文本的问题向量，即不关联的问题文本的问题向量，举例而言，q-可以为随机筛选的得到的。
62.通过在第一损失函数中加入所述问题文本的问题向量和不关联的问题文本对应的问题向量之间的相似度，可以提高第一损失值的准确性，训练得到的模型可以取得更准确的数据处理效果。
63.示例性的，根据所述问题文本的问题向量和回答文本的回答向量之间的相似度，以及所述问题文本的问题向量和不关联的问题文本对应的回答向量之间的相似度，确定所述句向量提取模型的第二损失值。
64.举例而言，句向量提取模型的第二损失值l2表示如下：
65.l2＝1-cosine(q,a+)+cosine(q,a-)
66.其中，q和a+分别表示问题文本的问题向量和该问题文本对应的回答文本的回答向量，即q-a对中的句向量；a-表示不关联的问题文本对应的回答文本的回答向量，即不同的答案的句向量；cosine()为夹角余弦函数。
67.通过在第二损失函数中加入所述问题文本的问题向量和不关联的问题文本对应
的回答向量之间的相似度，可以提高第二损失值的准确性，训练得到的模型可以取得更准确的数据处理效果。
68.示例性的，根据所述第一损失值以及所述第二损失值调整所述句向量提取模型的模型参数。
69.通过根据所述第一损失值调整所述句向量提取模型的模型参数，可以使句向量提取模型提取的问题向量和问题向量之间的向量相似度可以用于指示问题文本和问题文本之间的相关性；通过根据所述第二损失值调整所述句向量提取模型的模型参数，可以使句向量提取模型提取的问题向量和回答向量之间的向量相似度可以用于指示问题文本和回答文本之间的相关性；从而得到具有相似性度量性质的句向量提取模型。
70.步骤s130、根据所述问题向量与知识库问题向量之间的第一相似度，以及所述问题向量与知识库回答向量之间的第二相似度，确定所述多组问答语料中的目标问答语料，其中所述知识库问题向量为所述知识库中第一问题文本对应的问题向量，所述知识库回答向量为第一问题文本对应的回答向量。
71.在一些实施方式中，所述第一相似度为问题向量与问题向量之间的文本相似度；示例性的，可以将问题向量的第一相似度大于或等于第一预设阈值的不同问题文本确定为关联的问题文本，如确定为同一标准问对应的扩展问。
72.所述第二相似度为问题文本与回答文本之间的语义相似度；示例性的，可以将第二相似度大于或等于第二预设阈值的回答文本和问题文本确定为相关的问答。示例性的，可以将同一回答文本相关的不同问题文本确定为关联的问题文本，如确定为同一标准问对应的扩展问。
73.在一些实施方式中，步骤s130包括步骤s131和步骤s132。
74.步骤s131、根据所述问题向量与知识库问题向量之间的第一相似度，确定所述第一相似度大于或等于第一预设阈值的问题向量，将所述问题向量对应的问答语料确定为第一问答语料。
75.示例性的，可以确定各组问答语料对应的问题向量，与知识库中所有扩展问的句向量之间的第一相似度，即对q-a对中的问题向量与知识库中已有的扩展问进行相似度度量。可以将第一相似度大于或等于第一预设阈值的q-a对标记为第一问答语料。第一问答语料中的问题文本可以确定为与相应扩展问关联的问题文本，如确定为同一标准问对应的扩展问。
76.可选的，可以对第一相似度大于或等于第一预设阈值的q-a对进行人工筛选处理，通过人工筛选处理的q-a对标记为第一问答语料。
77.根据第一相似度挖掘的扩展问一般与知识库中已有的扩展问具有较高的相似度，通常对知识库扩展效果的提升较少。本技术实施例可以基于客服回答的相似度量进行挖掘，根据第二相似度挖掘出第一相似度较低而又有效的扩展问。
78.步骤s132、根据第二问答语料对应的问题向量与所述知识库回答向量之间的第二相似度，确定所述第二相似度大于或等于第二预设阈值的问题向量，将所述问题向量对应的第二问答语料确定为第三问答语料，其中所述第二问答语料为所述多组问答语料中除所述第一问答语料之外的问答语料。
79.示例性的，在步骤s131已经筛选掉了第一相似度较高的问题文本，可以将选出第
一问答语料后剩余的问答语料称为第二问答语料。在第二问答语料中，通过对第二问答语料的问题向量与所述知识库回答向量进行相似度度量，可以确定与知识库回答向量，如第一问答语料的回答文本之间的第二相似度大于或等于第二预设阈值的问题文本为该回答文本相关的问题文本；该问题文本所在的第二问答语料可以标记为第三问答语料。该问题文本与该回答文本对应的问题文本可以确定为关联的问题文本，如确定为同一标准问对应的扩展问。
80.可选的，可以在步骤s131将所述问题向量对应的问答语料确定为第一问答语料时，将所述第一问答语料添加到所述知识库中，在步骤s132根据第二问答语料对应的问题向量与所述知识库回答向量之间的第二相似度确定第三问答语料时，可以根据第二问答语料的问题向量与第一问答语料的回答文本之间的第二相似度确定第三问答语料。或者也可以先不将步骤s131确定的第一问答语料添加到所述知识库中，而在步骤s132使用知识库中已有的回答文本对应的回答向量，该回答文本是所述第一问题文本的回答文本。
81.可选的，可以对第二相似度大于或等于第二预设阈值的q-q对进行人工筛选处理，根据人工筛选处理的q-q对将通过人工筛选处理的第二问答语料标记为第三问答语料。
82.需要说明的是，所述第一相似度对应的第一预设阈值、所述第二相似度对应的第二预设阈值可以相等，也可以不相等。
83.其中，所述目标问答语料包括所述第一问答语料中的问题文本和所述第三问答语料中的问题文本。基于第一问答语料中回答文本的相似度量，对第二问答语料进行挖掘，可以根据第二相似度挖掘出第一相似度较低而又有效，即与回答文本的语义相似度较高的扩展问。从而能够高效、准确的在问答语料中挖掘相关的问题文本，对知识库进行扩展。
84.步骤s140、将所述目标问答语料中的问题文本，作为与所述第一问题文本关联的第二问题文本添加到所述知识库中。
85.示例性的，所述目标问答语料中的问题文本，包括与第一问题文本的文本相似度较高的问题文本，还包括与这些问题文本对应的答案文本语义相似度较高的问题文本，能够快速、准确的对所述知识库进行扩展。
86.在一些实施方式中，所述方法还包括步骤s150至步骤s170。
87.步骤s150、根据第四问答语料对应的问题向量之间的第一相似度，对所述第四问答语料对应的问题文本进行聚类，将同一类别的的问题文本对应的第四问答语料确定为第五问答语料，所述第四问答语料为所述第二问答语料中除所述第三问答语料之外的问答语料。
88.示例性的，经过步骤s120和步骤s130两步骤的筛选，剩下的问答语料(即第四问答语料)中的问题文本不属于知识库中已有的标准问，可以对这些问题文本进行数据聚类，从而挖掘出新的标准问。
89.示例性的，通过根据第一相似度对第四问答语料对应的问题文本进行聚类，可以将文本相似度较高的问题文本聚为一类，根据每个类别的问题文本可以确定标准问和该标准问对应的扩展问，例如聚类中心可以作为一个新的标准问。举例而言，同一类别的的问题文本对应的第四问答语料可以称为第五问答语料。
90.可选的，可以对同一类别的的问题文本进行人工筛选，通过人工筛选的问题文本对应的第四问答语料可以称为第五问答语料。
91.步骤s160、根据所述第五问答语料对应的回答向量与第六问答语料对应的问题向量之间的第二相似度，确定所述第二相似度大于或等于第二预设阈值的问题向量，将所述问题向量对应的第六问答语料确定为第七问答语料，其中所述第六问答语料为所述第四问答语料中除所述第五问答语料之外的问答语料。
92.在步骤s150筛选出新的标准问和扩展问后，可以在剩余的问答语料，即第六问答语料中，根据所述第二相似度挖掘出与第五问答语料中回答文本相关的问题文本。可以确定与第五问答语料的回答文本之间的第二相似度大于或等于第二预设阈值的问题文本为该回答文本相关的问题文本，该问题文本与该回答文本对应的问题文本可以确定为关联的问题文本，如确定为同一标准问对应的扩展问。可选的，可以对第二相似度大于或等于第二预设阈值的q-q对进行人工筛选处理，根据人工筛选处理的q-q对将通过人工筛选处理的第六问答语料标记为第七问答语料。
93.基于第五问答语料中回答文本的相似度量，对第六问答语料进行挖掘，可以根据第二相似度挖掘出第一相似度较低而又有效，即与回答文本的语义相似度较高的扩展问。从而能够高效、准确的在问答语料中挖掘相关的问题文本，对知识库进行扩展。
94.步骤s170、将所述第五问答语料中的问题文本和所述第七问答语料中的问题文本，作为第三问题文本添加到所述知识库中。
95.其中，所述第三问题文本与所述第一问题文本、所述第二问题文本均不关联。通过步骤s150至步骤s170，可以在第四问答语料中挖掘出新的标准问和相应的扩展问，高效、准确的对知识库进行扩展。
96.本技术实施例提供的知识库处理方法，包括：获取多组问答语料，对问答语料进行向量提取，得到问题文本对应的问题向量和回答文本对应的回答向量；根据问题向量与知识库问题向量之间的第一相似度，以及问题向量与知识库回答向量之间的第二相似度，确定多组问答语料中的目标问答语料，其中知识库问题向量为知识库中第一问题文本对应的向量，知识库回答向量为第一问题文本对应的回答向量；将目标问答语料中的问题文本，作为与第一问题文本关联的第二问题文本添加到知识库中；基于问题文本和问题文本之间的第一相似度，以及回答文本与问题文本之间的第二相似度，在问答语料中挖掘与知识库中的问题文本关联的问题文本，能够高效、准确的对知识库进行扩展。
97.在一些实施方式中，通过结合人工检测方案，构建一种半自动化的语义优化流程,提升扩展问的挖掘效率。
98.在一些实施方式中，能够快速地基于少量种子数据，快速完成知识库的构建，通过循环迭代以上的过程，可以不断优化效果。
99.请结合前述实施例参阅图3，本技术实施例还提供了一种句向量提取模型的训练方法。该训练方法包括步骤s210至步骤s260。
100.步骤s210、获取问答语料，所述问答语料包括问题文本和所述问题文本对应的回答文本，且存在不同的问答语料中的问题文本关联。
101.在一些实施方式中，收集客服语义文本对话，构造用户-客服的语义问答对(q-a对)。同时，还可以将客服系统中已有的问答数据取出，根据同一个知识点内的标准问，两两组成相似标准问对(q-q对)，即关联的问题文本。
102.步骤s220、基于句向量提取模型的输入层，对所述问答语料的字向量表示和词向
量表示进行融合处理得到待处理向量。
103.步骤s230、基于句向量提取模型的语义表示层，对所述待处理向量进行语义特征提取，得到所述问答语料的语义特征向量表示。
104.步骤s240、基于句向量提取模型的输出层，对所述语义特征向量进行自注意力处理，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量。
105.步骤s250、根据关联的问题文本对应的问题向量之间的第一相似度，以及所述问题向量和所述回答向量之间的第二相似度，确定所述句向量提取模型的损失值。
106.步骤s260、根据所述损失值调整所述句向量提取模型的模型参数。
107.在对句向量提取模型进行训练时，损失值既可以体现问题向量预测的准确性，也可以体现回答向量预测的准确性；使得句向量提取模型提取的问题向量和问题向量之间的向量相似度可以用于指示问题文本和问题文本之间的相关性，以及提取的问题向量和回答向量之间的向量相似度可以用于指示问题文本和回答文本之间的相关性，得到具有相似性度量性质的句向量提取模型。
108.在一些实施方式中，步骤s250包括步骤s251至步骤s252。
109.步骤s251、根据所述问答语料中问题文本的问题向量与关联的问题文本的问题向量之间的相似度，以及所述问题文本的问题向量与不关联的问题文本的问题向量之间的相似度，确定所述句向量提取模型的第一损失值。
110.通过在第一损失函数中加入所述问题文本的问题向量和不关联的问题文本对应的问题向量之间的相似度，可以提高第一损失值的准确性，训练得到的模型可以取得更准确的数据处理效果。
111.步骤s252、根据所述问题文本的问题向量和回答文本的回答向量之间的相似度，以及所述问题文本的问题向量和不关联的问题文本对应的回答向量之间的相似度，确定所述句向量提取模型的第二损失值。
112.通过在第二损失函数中加入所述问题文本的问题向量和不关联的问题文本对应的回答向量之间的相似度，可以提高第二损失值的准确性，训练得到的模型可以取得更准确的数据处理效果。
113.示例性的，所述根据所述损失值调整所述句向量提取模型的模型参数，包括：根据所述第一损失值以及所述第二损失值调整所述句向量提取模型的模型参数。
114.本技术的方法可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
115.示例性的，上述的方法可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
116.请参阅图4，图4是本技术实施例提供的一种计算机设备的结构示意图。该计算机设备可以是服务器或终端。
117.参阅图4，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
118.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，
该程序指令被执行时，可使得处理器执行任意一种知识库处理方法的步骤；和/或执行任意一种句向量提取模型的训练方法的步骤。
119.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
120.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种知识库处理方法的步骤。
121.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，该计算机设备的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
122.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
123.其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
124.获取多组问答语料，每组所述问答语料包括问题文本和所述问题文本对应的回答文本；
125.对所述问答语料进行向量提取，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量；
126.根据所述问题向量与知识库问题向量之间的第一相似度，以及所述问题向量与知识库回答向量之间的第二相似度，确定所述多组问答语料中的目标问答语料，其中所述知识库问题向量为所述知识库中第一问题文本对应的问题向量，所述知识库回答向量为第一问题文本对应的回答向量；
127.将所述目标问答语料中的问题文本，作为与所述第一问题文本关联的第二问题文本添加到所述知识库中。
128.在另一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
129.获取问答语料，所述问答语料包括问题文本和所述问题文本对应的回答文本，且存在不同的问答语料中的问题文本关联；
130.基于句向量提取模型的输入层，对所述问答语料的字向量表示和词向量表示进行融合处理得到待处理向量；
131.基于句向量提取模型的语义表示层，对所述待处理向量进行语义特征提取，得到所述问答语料的语义特征向量表示；
132.基于句向量提取模型的输出层，对所述语义特征向量进行自注意力处理，得到所述问题文本对应的问题向量和所述回答文本对应的回答向量；
133.根据关联的问题文本对应的问题向量之间的第一相似度，以及所述问题向量和所述回答向量之间的第二相似度，确定所述句向量提取模型的损失值；
134.根据所述损失值调整所述句向量提取模型的模型参数。
135.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法，如：
136.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项知识库处理方法的步骤；和/或执行任意一种句向量提取模型的训练方法的步骤。
137.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
138.本技术实施例提供的计算机设备及存储介质的具体原理和实现方式均与前述实施例的方法类似，此处不再赘述。
139.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。