一种面向税务的智能问答系统的制作方法

技术特征：

1.一种面向税务的智能问答系统，其特征在于，包括：

一台大型服务器，用于存储知识库、用户数据、客服数据，还用于处理在用户使用过程中所发的消息；

一台安装android或ios操作系统的用户终端设备，用于采集客户语音或文本消息并传输至服务器进行计算；还用于将服务器计算得到的相关数据推送给用户以供用户选择；

一台计算机，用于客服人员与用户通过对话界面进行直接交流；

所述的大型服务器和计算机均安装有服务软件系统，该服务软件系统包括后台维护模块，前台客服模块；

所述用户终端设备安装有应用软件程序，该应用软件程序包括智能机器人模块中的语言算法模块；同时还安装有微信6.5.1版本及以上的应用程序。

2.根据权利要求1所述的面向税务的智能问答系统，其特征在于，所述前台客服模块包括智能机器人模块和人工客服模块；

所述智能机器人模块包括语言算法模块、问题推送模块；

其语言算法模块还包括：

语音转换模块，用于将用户录制的语音信息转化为文本信息；

分词模块，用于将文本信息切分成词组序列，其所用工具为ltp分词工具；

停用词过滤器，用于根据已有的大规模停用词表，去除用户提问的句子中和知识库内的句子里与实意无关的词，其所用工具为hanlp分词工具；

同义词转换模块，用于将实际上意义相同的词组进行归一化处理；

句法分析模块，用于对已去除停用词的句子进行句法分析，删除或忽视对实际意义影响不大的词语；

其问题推送模块还包括：

相似度计算模块，用于计算出关键词之间的联系；该模块整体运用了esim模型，引用了最新的注意力机制方法；

推送模块，用于将选择出的若干问题反馈给用户；

多轮问答模块，即在用户输入问题时，后台获取到第一输入信息，并对获取的第一输入信息进行识别从而确定预定问题；如果用户第一次提问的信息模糊，则后台可以根据第二次提问时对问题的补充来缩小问题的范围，给出精确的答案；

以及用户画像模块，用于对同一用户的身份形象进行刻画；

所述人工客服模块包括交流模块，用于人工客服在线为用户解答非常复杂的问题，其交流模块还创建了连接客服端和用户端的接口。

3.根据权利要求1或2所述的面向税务的智能问答系统，其特征在于，所述后台维护模块主要为数据库模块，其包括对已有知识库的“增、删、改、查”操作和对人工客服或智能机器人客服的聊天记录的“增、删、改、查”操作，以及对用户满意度的标注；

数据库模块，用于根据数据库记录的大量用户的查询操作，选取高频次、范围适中、高概括度的问题作为热点问题以企业号消息的方式推送到用户终端上，还用于自主剔除无效问题并增添新的政策方向问题，预训练模型采用elmo模型。

4.根据权利要求1-3任一项所述的面向税务的智能问答系统，其特征在于，系统在运行前需要进行相关的前序操作：数据库模块需要对知识库已有的知识条目进行核查，确保标签粒度适中；将知识库已有条目用elmo模型训练出预训练模型，该语言模型不仅考虑了词的位置和频率，同时考虑了上下文的关系；同义词转换模块检查已有的同义词表是否完整；停用词过滤器检查停用词表是否完整。

5.根据权利要求1所述的面向税务的智能问答系统，其特征在于，所述的esim模型和elmo模型均选用bi-lstm(双向长短时记忆模型)神经网络，该神经网络由两层不同方向的前向lstm网络和后向lstm网络串联组成，其在每一个记忆单元中也包括了记忆门、遗忘门、输出门三个可供增加或删除的部件。

6.根据权利要求5所述的面向税务的智能问答系统，其特征在于，所述bi-lstm神经网络的记忆单元更新过程如下：

(1)计算遗忘门：输入为前一时刻的隐层状态ht-1和当前时刻的输入词xt，输出为遗忘门的值ft，则遗忘门的计算公式为：

ft＝σ(wf·[ht-1，xt]+bf)

(2)计算记忆门：输入为前一时刻的隐层状态ht-1和当前时刻的输入词xt，输出为记忆门的值it和临时单元状态则记忆门和临时单元状态的计算公式分别为：

it＝σ(wi·[ht-1，xt]+bi)

(3)计算当前时刻单元状态：输入为记忆门的值it，遗忘门的值ft，临时单元状态上一时刻单元状态ct-1，输出为当前时刻的单元状态ct，则当前时刻单元状态的计算公式为：

(4)计算输出门和当前时刻隐层状态：输入为前一时刻隐层状态ht-1和当前时刻的输入词xt，输出为当前时刻单元状态ct，则输出门和当前时刻隐层状态的计算公式分别为：

ot＝σ(wo·[ht-1，xt]+bo)

ht＝ot*tanh(ct)。

7.根据权利要求6所述的面向税务的智能问答系统，其特征在于，基于以上bi-lstm神经网络的记忆单元更新过程，通过一个lstm层，得到与单词序列长度相同的隐层状态序列{h0，h1，...，hn-1}，通过前向lstm网络，根据前k-1个单词序列来预测第k个单词：而后向lstm网络则是根据后n-k个单词序列来预测第k个单词：采用对数函数的最大似然估计来将前向lstm网络和后向lstm网络进行结合，最终得到：

8.根据权利要求6所述的面向税务的智能问答系统，其特征在于，所述elmo模型在计算相似度时会选择bi-lstm神经网络最后一层的输出并将其整合成一个向量，其表达式为：

式中，表示每一层的输出，表示第一层的向量，整个表达式还可以表示为：θ^task表示针对的特定任务，γ表示用来控制elmo模型生成的向量大小，s表示softmax函数用作层间的归一化处理。

9.根据权利要求1所述的面向税务的智能问答系统，其特征在于，所述相似度计算模块整体运用了esim模型，包括：

输入与编码部分，整个系统的输入采用elmo模型预训练出的模型，为了对输入内容做特征提取，该部分将输入内容输入至双向lstm中做编码，最后把隐藏状态的值保留下来，分别记为

式中，i，j分别表示的是不同的时刻，a，b分别表示的是用户提问句和目标匹配句；

本地推断模型部分，用于将所述输入与编码部分得到的特征值做差异性计算，即首先进行两个句子之间单词的相似度计算，得到一个二维相似矩阵：

上式中，αi，αj运用了注意力机制；

根据注意力权重计算得出的提问句和匹配句的权重，其加权后的值设为

将输入与编码部分得到对应句子的编码值和本地推断模型部分得到对应句子的加权编码值做差异性计算，即对位相减和对位相乘操作，最后将编码值、加权编码值、对位相减值、对位相乘值拼接在一起，得到：

推理成分部分，将得到的编码信息送入bilstm神经网络进行计算，用于整合局部推理信息ma，mb以及上下文的关系，对经过bilstm神经网络处理得到的结果分别进行平均池化操作vave和最大池化操作vmax，并将结果拼接，得到：

v＝[va，ave，va，max，vb，ave，vb，max]

预测部分，将推理成分部分的v送入至全连接层用来分类，激活函数采用tanh，得到的结果送至softmax层，最终得到相似度。

10.根据权利要求9所述的面向税务的智能问答系统，其特征在于，所述的注意力机制，具体为：

将所述bi-lstm模型的输出作为注意力机制的输入，设为e，由下式获得：

e×w^q＝q；e×w^k＝k；e×w^v＝v

其中，为了提高表达能力，w^q、w^k、w^v分别表示可训练的参数矩阵，初始化时不相同，同时，会在训练中调整自己；q＝k＝v，三者都是由序列中单词对应的词向量转化而来；

计算注意力机制时，主要包括如下步骤：

步骤一：将q和每一个k进行相似度计算得到权重；

步骤二：采用一个softmax函数对上述权重进行归一化；

步骤三：将权重和对应的键值v进行加权求和后得到最后的attention，attention(q，k，v)＝∑iαivi，最终得到的αi即为注意力权重，得到：

ct＝[α1；...；αt]。