一种用于问答系统的答案选择方法与流程

技术特征：

1.一种用于问答系统的答案选择方法，其特征在于，包括以下步骤：

A.接收用户输入的问题句子和答案句子，利用预训练得到的词嵌入模型得出各句子中每个单词的词向量，并结合网络训练过程中对词嵌入模型进行微调后得出的词向量，计算得出组合后的单词向量；

B.从连接的单词向量中选取有效的特征，得到句子中每个单词的最终向量；

C.根据预设的句子长度阈值，在句子长度高于和低于阈值时，采用不同的特征提取器对句子进行处理，生成拟合后的包含上下文信息的句子矩阵表示；

D.注意力池化层根据步骤C中得到的包含上下文信息的句子矩阵，得出问题句子和答案句子的注意力相似度，通过分别在相似度矩阵的行和列的每一维度提取最大特征，对问题句子和答案句子进行长度自适应分布式表示，为问题句子和答案句子分别生成分布式向量表示；

E.测量问题句子和答案句子的分布式向量表示之间的余弦相似性，得到各答案句子相对于问题句子的相关性，根据相关性对答案句子进行排序。

2.根据权利要求1所述的一种用于问答系统的答案选择方法，其特征在于，在步骤A中包括以下步骤：

A1.将输入的问题句子和答案句子均定义为长度为L的句子s，对句子s中的第t个单词wt，在语料库中预训练得到词嵌入模型，在其中查找单词对应的词向量

A2.在网络训练过程中对预训练的词嵌入模型参数进行微调，使其适用于当前数据集，得到更新过的词嵌入模型，在其中查找出单词对应的词向量计算组合后的单词向量为

3.根据权利要求1所述的一种用于问答系统的答案选择方法，其特征在于，在步骤B中包括以下步骤：

B1.部署隐藏层，从连接的单词向量中选取有效的特征，得到句子中每个单词的最终向量表示

其中和均为隐藏层参数，的维度为D；

B2.对各句子中的所有单词进行步骤A1、A2及B1，得到不含上下文信息的句子分布式矩阵表示

4.根据权利要求1所述的一种用于问答系统的答案选择方法，其特征在于，在步骤C中，为每个输入的句子部署两个特征提取器，即基于BiLSTM的和基于Transformer的特征提取器，通过将两个特征提取器生成的句子分布式矩阵相加，生成拟合的句子分布式矩阵表示。

5.根据权利要求4所述的一种用于问答系统的答案选择方法，其特征在于，在步骤C中，定义每个特征提取器具有一个二值激活参数，二值激活参数设置为：

其中flaglstm为基于BiLSTM的特征抽取器的二值激活参数，flagtsfm为基于Transformer的特征提取器的二值激活参数，Lthreshold为句子长度阈值

各句子基于特征提取器的输入为

其中为基于BiLSTM的特征抽取器的输入，为基于Transformer的特征抽取器的输入。

6.根据权利要求5所述的一种用于问答系统的答案选择方法，其特征在于，在步骤C中，当句子长度L低于阈值Lthreshold时，句子中第t个单词的具体操作公式为：

其中，i、o、f分别代表BiLSTM中的输入门，输出门以及遗忘门，和C分别代表保留的总记忆以及当前单词保留的记忆，h代表某一方向上带有记忆的单词表示，其维度为H，和分别为向前和向后的带有记忆的单词表示，以及均为网络参数基于BiLSTM的向量表示构成包含上下文信息的句子矩阵表示

7.根据权利要求5所述一种用于问答系统的答案选择方法，其特征在于，在步骤C中，当句子长度L高于阈值Lthreshold时，对句子进行特征抽取的计算公式为

其中，为Transformer神经网络的多头自注意力机制中第i个自注意力机制的自注意力相似度；为经过第i个自注意力作用的句子矩阵表示；O、W、和U为自注意力参数；为输入句子矩阵表示中每一个词向量的维度，旨在对softmax函数进行压缩，为句子基于Transformer的包含上下文信息的句子矩阵表示。

8.根据权利要求1所述的一种用于问答系统的答案选择方法，其特征在于，在步骤D中，注意力池化层对问题句子和答案句子的具体操作公式为

其中G为问题和答案的注意力相似度，RQ为问题句子的包含上下文信息的句子矩阵表示，RA为答案句子的包含上下文信息的句子矩阵表示，U是注意力参数；ColumnMax(*)和RowMax(*)分别是取矩阵每一列和每一行的最大值的函数。

9.根据权利要求1所述的一种用于问答系统的答案选择方法，其特征在于，在步骤E中，通过最小化以下候选答案的排序损失来训练神经网络，使其达到最佳训练阶段：

其中，m是一个预设的间隔，vq为问题句子的分布式向量表示，va为答案句子的分布式向量表示，a⁺为训练实例中的正向答案，a^-为训练实例中的负向答案。