问答文本的语义匹配方法、装置、介质及电子设备与流程

本发明涉及自然语言处理技术领域，具体而言，涉及一种问答文本的语义匹配方法、装置、介质及电子设备。

背景技术：

目前，基于深度学习的问答文本语义匹配的方法可以包含以下步骤：基于神经网络训练的词嵌入模型对文本进行词向量表示，其表示语义能力更强。通过构建长短时记忆网络lstm(longshort-termmemory)或门控循环单元gru(gatedrecurrentunit)等深度学习等模型对文本建模。虽然这些方法对特征选取依赖性较低，一定程度上提取了文本浅层语义信息和上下文局部特征，但不能提取大量重点全局特征和句法结构特征，因此降低了问答文本语义匹配的准确性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明实施例的目的在于提供一种问答文本的语义匹配方法、装置、介质及电子设备，进而至少可以在一定程度上克服问答文本语义匹配的准确性较低的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种问答文本的语义匹配方法，包括：利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列；基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，以及基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量；根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度。

在本发明的一些实施例中，在利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列之前，该方法还包括：根据知识库问答文本语料构建专业问答词典；根据所述专业问答词典对所述问题文本和所述候选答案文本进行分析，得到所述问题文本的单词、所述问题文本的句法结构和所述候选答案文本的单词、所述候选答案文本的句法结构；对所述问题文本的单词、所述问题文本的句法结构和所述候选答案文本的单词、所述候选答案文本的句法结构分别进行分布式表示，得到问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列。

在本发明的一些实施例中，基于前述方案，所述循环神经网络包括双向循环神经网络，所述双向循环神经网络中的循环神经网络包括基于长短时记忆lstm和/或基于门控循环单元gru的网络。

在本发明的一些实施例中，基于前述方案，上述还包括：基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列，生成背景信息，所述背景信息包括所述问题文本的词向量和所述候选答案的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息和句法结构信息；根据所述背景信息，确定所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重。

在本发明的一些实施例中，基于前述方案，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量包括：根据所述背景信息，确定所述背景信息与所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度；根据所述背景信息与所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度，确定所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重；根据所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重，对所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量加权并求和，得到所述问题文本的具有上下文局部特征、句法结构特征和全局特征的特征向量。

在本发明的一些实施例中，基于前述方案，基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量包括：根据所述背景信息，确定所述背景信息与所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度；根据所述背景信息与所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度，确定所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重；根据所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重，对所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量加权并求和，得到所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

在本发明的一些实施例中，基于前述方案，根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度包括：对所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量进行拼接；利用分类器对拼接后的特征向量进行分类，得到所述问题文本与所述候选答案文本的匹配度。

根据本发明实施例的第二方面，提供了一种问答文本的语义匹配装置，包括：获取模块，利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列；生成模块，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，以及基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量；确定模块，用于根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度。

根据本发明实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的问答文本的语义匹配方法。

根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的问答文本的语义匹配方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在相关技术中基于深度学习模型的问答文本语义匹配技术，其只能提供上下文局部语义特征信息，缺少背景全局特征信息和问答文本的句法特征信息，导致特征单一化，不能完全体现问答文本的语义匹配信息。为了解决该问题，本发明提供了一种基于多级特征和深度学习的问答文本语义匹配方法，对问答文本的单词和句法信息进行单词和句法结构分布式表示，并使用循环神经网络提取问答文本的上下文局部特征信息和句法结构特征信息，然后运用注意力机制抽取背景全局特征信息，使问答文本的特征信息更丰富，从而提高问答文本语义匹配的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的一个实施例的问答文本的语义匹配方法的流程图；

图2示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图3示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图4示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图5示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图6示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图；

图7示意性示出了根据本发明的一个实施例的问答文本的语义匹配装置的框图；

图8示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的一个实施例的问答文本的语义匹配方法的流程图。

如图1所示，问答文本的语义匹配方法包括步骤s110～步骤s140。

在步骤s110中，利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列。

在步骤s120中，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，以及基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

在步骤s130中，根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度。

该方法可以根据问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量来确定问题文本与候选答案文本的语义匹配度，从而提高了问答文本语义匹配的准确性。

在本发明的一个实施例中，可以将上述问答文本的语义匹配方法应用到智能问答机器人系统中，使得智能问答机器人系统向用户提供的答案更加准确，从而提高了用户体验。当然，智能问答机器人系统只是一个示例性的例子，该方法还可以应用到其他场景，在此不做限定。

在本发明的一个实施例中，步骤s110中的循环神经网络包括双向循环神经网络，该双向循环神经网络的中循环神经网络可以是基于长短时记忆lstm和/或基于门控循环单元gru的网络等等。

在本发明的一个实施例中，可以根据知识库问答文本(即问题文本和候选答案文本)语料构建专业问答词典，通过该专业问答词典可以对问答文本(即问题文本和候选答案文本)的分词单词和句法结构进行分布式表示，得到词向量和句法向量组成向量序列。例如，该专业问答词典可以辨识日常词汇，还可以辨识特定领域(例如，保险、电商)的专有名词。另外，如果该特定领域的文本数据库中以后有了其他专有名词，只需将其添加到专业问答词典中即可。

例如，可以根据目前智能问答系统知识库的语料构建专业问答词典，对客户问题、问答候选集中的候选答案进行分词处理和句法结构分析，并分别对它们进行分布式表示，得到词向量和句法向量组成的向量序列，即得到了问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列。

在本发明的一个实施例中，将问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列分别输入到各自的循环神经网络学习并提取具有上下文局部特征语义信息和句法结构信息的多级特征向量序列，并输出各自的多级特征特征向量序列。例如，以利用双向长短时记忆网络bi-lstm捕获数值化问答文本(即问题文本和候选答案文本)的上下文局部特征和句法结构特征，得到两者的具有上下文特征和句法结构特征的特征向量序列为例，对步骤s110进行详细描述。

具体的，在步骤s110中，可以将利用专业问答词典转化后的相同词汇长度的问题文本和候选答案文本的词向量序列分别输入到两个双向长短时记忆网络bi-lstm提取上下文局部特征和句法结构特征。在bi-lstm中，可以分别将正序问题文本和候选答案文本的词向量序列和倒序问题文本和候选答案文本的词向量序列输入两个长短时记忆网络lstm，在输入的过程中可以结合过去时刻的信息，计算当前时刻的文本信息。lstm的计算公式如下：

it＝σ(wxixt+whiht-1+wcict-1+bi)

ft＝σ(wxfxt+whfht-1+wcfct-1+bf)

ct＝ftct-1+ittanh(wxcxt+whcht-1+bc)

ot＝σ(wxoxt+whoht-1+wcoct+bo)

ht＝ottanh(ct)

其中，σ表示sigmoid激活函数，tanh表示双曲正切激活函数，xt表示步骤s110得到t时刻的词嵌入向量，it表示t时刻输入门的输出向量，ft表示t时刻遗忘门的输出向量，ot表示t时刻输出门的输出向量，ct和ct-1分别表示t时刻和t-1时刻的细胞单元的记忆流状态，ht和ht-1分别表示t时刻和t-1时刻隐藏层向量。权值矩阵和偏置参数描述有明显的含义，例如wxi表示输入和输入门的权值矩阵，whi表示隐藏层和输入门的权值矩阵，wci表示细胞单元和输入门的权值矩阵，bi、bf表示输入门和遗忘门的偏置参数，其角标表示所属的计算部分。这里的参数矩阵和偏置参数都是先随机初始化，然后在基于双向循环神经网络的模型训练中自动修正，最后会随循环神经网络得到最终的权值。

针对每个时刻t，可以让时刻t的输入学习到前时刻(例如，t+1)和后时刻(例如，t-1)的语义信息和句法结构信息，通过拼接正序问答文本(即问题文本和候选答案文本)词向量序列和倒序问答文本(即问题文本和候选答案文本)词向量序列的两个长短记忆网络lstm输出的特征向量hfw和hbw，作为bi-lstm时刻t的最终特征向量输出，其特征向量的维度是lstm输出特征向量维度的2倍。

ht＝[hfw,hbw]

其中，hfw表示处理正序问答文本(即问题文本和候选答案文本)词向量序列的lstm网络的输出，hbw表示处理倒序问答文本(即问题文本和候选答案文本)词向量序列的lstm网络的输出，ht表示bi-lstm时刻t的特征向量输出，即时刻t的问题文本的词向量和句法结构向量组成的特征向量和候选答案文本的词向量和句法结构向量组成的特征向量。以此方式对问答文本和候选答案文本利用bi-lstm进行训练学习，可以得到相应的多级特征向量序列，即问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列。

根据本发明的实施例，上述bi-lstm是基于两个长短时记忆网络lstm形成的双向长短时记忆网络。

根据本发明的实施例，可以利用lstm的计算公式对问题文本和候选答案文本中的每个词向量进行处理后，可以得到问题文本的具有上下文局部特征句法结构特征征的特征向量序列和候选答案文本的具有上下文局部特征和句法结构特征的特征向量序列。

图2示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图2所示，在步骤s1101之前，上述方法还包括步骤s210～步骤s230。

在步骤s210中，根据知识库问答文本语料构建专业问答词典。

在步骤s220中，根据所述专业问答词典对所述问题文本和所述候选答案文本进行分析，得到所述问题文本的单词、所述问题文本的句法结构和所述候选答案文本的单词、所述候选答案文本的句法结构。

在步骤s230中，对所述问题文本的单词、所述问题文本的句法结构和所述候选答案文本的单词、所述候选答案文本的句法结构分别进行分布式表示，得到问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列。

该方法包括可以根据专业问答词典对问题文本和候选答案文本进行分析，得到问题文本的单词、句法结构和候选答案文本的单词、句法结构，这样便于对问题文本的单词、句法结构和候选答案文本的单词、句法结构分别进行分布式表示，得到问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列，这样有助于后续利用循环神经网络从问题文本的词向量和句法结构向量组成的向量序列和候选答案文本的词向量和句法结构向量组成的向量序列中提取上下文局部特征、句法结构特征和全局特征的特征。

根据本发明的实施例，可以根据现有智能问答系统中知识库问答文本语料构建专业问答词典。针对问题文本和候选集中的候选答案文本使用分词工具和句法分析工具进行分词处理和句法结构分析，使用深度学习框架keras的embedding层对问题文本和候选答案文本各自的文本单词和句法结果进行分布式表示并转化为各自的词向量和句法向量，embedding层的参数随深度学习模型一起训练所得。并将问题文本和候选答案文本各自的词向量和句法向量组成向量序列。为了方便词向量序列的计算，对词向量序列进行长度选定，向量序列长度短是用0补充，向量序列长度大于限定值可以将其截取。

图3意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图

如图3示，除了图1实施例描述的步骤s110～步骤s130之外，该方法还包括步骤s310和步骤s320。

在步骤s310中，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列，生成背景信息，所述背景信息包括所述问题文本的词向量和所述候选答案的词向量在循环神经网络最后时刻之前的所有时间状态的语义信息和句法结构信息。

在步骤s320中，根据所述背景信息，确定所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重。

该方法通过将循环神经网络最后时刻之前的所有时间状态的语义信息作为问题文本和候选答案文本的背景信息，并参考该背景信息计算问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重和候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出问答文本(即问题文本和候选答案文本)的深层语义信息的句法结构特征和全局特征，从而克服了现有技术只反映了问答文本(即问题文本和候选答案文本)的浅层语义信息和上下文局部特征的缺陷。

在本发明的一个实施例中，上述背景信息可以是分别选取问题文本和候选答案文本在bi-lstm的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息和句法结构信息。具体地，可以分别从上述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中选取两者在bi-lstm的最后时刻状态的特征向量进行向量进行拼接作为上述的背景信息。另外，由于该背景信息为问答文本(即问题文本和候选答案文本)在bi-lstm的最后时刻状态的特征向量，因此可以通过lstm的计算公式得到最后时刻状态的特征向量。例如，可以通过结合lstm中最后时刻之前的所有过去时刻状态的特征向量计算得到，因此该背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息和句法结构信息。

下面参考图4和图5具体描述如何获得的问题文本和候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

图4示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图4所示，步骤s120中的“基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量”具体可以包括步骤s121、步骤s122和步骤s123。

在步骤s121中，根据所述背景信息，确定所述背景信息与所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度。

在步骤s122中，根据所述背景信息与所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度，确定所述问题文本的具有上下文局部特征的特征向量序列中的每个时刻特征向量的注意力权重。

在步骤s123中，根据所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重，对所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量加权并求和，得到所述问题文本的具有上下文局部特征、句法结构特征和全局特征的特征向量。

图5示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图5所示，步骤s120中的“基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量”具体可以包括步骤s124、步骤s125和步骤s126。

在步骤s124中，根据所述背景信息，确定所述背景信息与所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度。

在步骤s125中，根据所述背景信息与所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的相似度，确定所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重。

在步骤s126中，根据所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量的注意力权重，对所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个时刻特征向量加权并求和，得到所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

根据本发明的实施例，通过参考上述背景信息来计算该背景信息与问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻的特征向量的相似度和与候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻的特征向量的相似度，然后根据问答文本(即问题文本和候选答案文本)在bi-lstm中的每个时刻的特征向量的相似度来计算问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重和候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个时刻特征向量的注意力权重，以此方式计算得到的注意力权重能够有效地反映出问答文本(即问题文本和候选答案文本)的深层语义信息的句法结构特征和全局特征，从而克服了现有技术只反映了问答文本(即问题文本和候选答案文本)的浅层语义信息和上下文局部特征的缺陷。

在本发明的一个实施例中，可以根据注意力机制(softattention模型)的基本思想，选取问题文本和候选答案文本在bi-lstm的最后时刻状态的特征向量进行向量拼接作为背景信息表示，此背景信息包含问答文本(即问题文本和候选答案文本)此前所有时间状态的语义信息和句法结构信息。经过全连接层，将维度降到一半，与问题文本和候选答案文本在bi-lstm的输出序列向量维度一致。其参数表示为bkg。具体地可以通过三个阶段获得问题文本和候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列。

第一阶段：可以分别使用文本相似度公式计算背景信息bkg和问题答案文本在bi-lstm中的时刻t输出特征向量ht的相似度，具体公式如下：

simt＝bkg·ht

其中，simt表示为背景信息bkg和问答文本(即问题文本和候选答案文本)的具有上下文局部特征和句法结构特征的多级特征向量序列中的某个词向量ht的时刻t的相似度。因此根据该公式分别计算出问题文本和候选答案文本对应相似度矩阵simq和sima。根据该公式可以分别计算出问题文本和候选答案文本对应相似度向量simq和sima。

第二阶段，引入softmax计算方式，对第一阶段的相似度得分进行数值转换，一方面可以进行归一化，将原始计算分值整理成所有元素权值之和为1的概率分布；另一方面也可以通过softmax的内在机制更加突出问题文本和候选答案文本中重要信息的权重。公式如下：

其中，at为第t时刻问答文本(即问题文本和候选答案文本)的具有上下文局部特征和句法结构特征的多级特征向量序列中的某个特征向量的注意力权重，n为多级特征向量序列的长度。根据该公式可以分别通过相似度向量simq和sima计算出问题文本和候选答案文本每个时刻t的注意力权值aqt和aat。

第三阶段，aqt和aat分别为问答文本(即问题文本和候选答案文本)的具有上下文局部特征和句法结构特征的多级特征向量序列中的某个特征向量在第t时刻的注意力权重，需要跟问题和候选答案文本第t时刻单词的输出向量ht进行注意力权值加权，构成问答文本(即问题文本和候选答案文本)第t时刻单词新的向量st。该公式如下：

st＝atht

然后对每个时刻得到的st进行求和，生成问答文本(即问题文本和候选答案文本)各自的注意力数值向量，即问题文本的具有上下文局部特征和全局特征的特征向量和具有上下文局部特征、句法结构特征的和全局特征的特征向量，具体的公式如下：

其中，at为第t时刻单词的注意力权重，n为多级特征向量序列的长度，attention为注意力数值向量。

经过以上阶段，根据背景信息计算出问答文本(即问题文本和候选答案文本)的具有上下文局部特征和句法结构特征的多级特征向量序列中的每个特征向量在每个t时刻的注意力权值，然后给问答文本(即问题文本和候选答案文本)第t时刻的特征向量进行注意力权值的加权，然后求和。这样可以分别构建出问题文本和候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

图6示意性示出了根据本发明的另一个实施例的问答文本的语义匹配方法的流程图。

如图6所示，图1实施例中的步骤s130具体可以包括步骤s131和步骤s132。

在步骤s131中，对所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量进行拼接。

在步骤s132中，利用分类器对拼接后的特征向量进行分类，得到所述问题文本与所述候选答案文本的匹配度。

该方法可以对所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量进行拼接，然后利用分类器对拼接后的特征向量进行分类，得到问题文本与所述候选答案文本的匹配度。例如，将问题文本和候选答案文本所对应的注意力数值向量进行拼接，将新的特征向量输入全连接层，最后使用softmax分类器进行问答文本语义匹配的二分类判断，对得到的预测结果(匹配、不匹配)的预测值作为匹配度进行排序，这样可以返回匹配度最好的候选答案。

图7示意性示出了根据本发明的一个实施例的问答文本的语义匹配装置的框图。

如图7所示，问答文本的语义匹配装置700包括获取模块710、生成模块720和确定模块730。

具体地，获取模块710，利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列。

生成模块720，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，以及基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。

确定模块730，用于根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度。

该问答文本的语义匹配装置700可以根据问题文本的具有上下文局部特征和全局特征的特征向量序列、候选答案文本的具有上下文局部特征和全局特征的特征向量序列，确定问题文本与候选答案文本的语义匹配度，然后可以根据该匹配度确定该问题文本的答案，以此方式获取的问题文本的答案更加准确。

根据本发明的实施例，问答文本的语义匹配装置700可以用于实现上述图1～图6描述的问答文本的语义匹配方法。

由于本发明的示例实施例的问答文本的语义匹配装置700的各个模块可以用于实现上述问答文本的语义匹配方法的示例实施例的步骤，因此对于本发明装置实施例中未披露的细节，请参照本发明上述的问答文本的语义匹配方法的实施例。

下面参考图8，其示出了适于用来实现本发明实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备的计算机系统800仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有系统操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。

以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的问答文本的语义匹配方法。

例如，所述的电子设备可以实现如图1中所示的：在步骤s110中，利用循环神经网络获取问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列，以及获取候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列。在步骤s120中，基于所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述问题文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，以及基于所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列和所述候选答案文本的具有上下文局部特征和句法结构特征的多级特征向量序列中每个特征向量的注意力权重，生成所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量。在步骤s130中，根据所述问题文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量和所述候选答案文本的具有上下文局部特征、句法结构特征的和全局特征的特征向量，确定所述问题文本与所述候选答案文本的语义匹配度。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。