一种基于知识增强的多粒度政务服务事项推荐方法

本发明涉及政务服务推荐领域，特别涉及一种基于知识增强的多粒度政务服务事项推荐方法。

背景技术：

1、政务服务是政府为人民提供的一项非常重要的公共服务，它直接关系到人民的生产生活，是人民政府的一项重要职责。随着信息化的不断推进，“互联网+政务服务”已成为政府工作的一个重要方向。近年来政务平台涵盖的服务事项信息种类和范围越来越广，数据源呈现出异构的特点。同时，平台访问量逐年呈爆炸式增长，以重庆市为例，根据重庆市统计局2022年政府网站工作年度报表，截至2022年底，市政府部门网站的独立用户访问总量达到683934，网站总访问量达到2094310，较2021年分别提高59.8％、320.7％。面对庞大的政务信息和海量的访问请求，传统的数据管理模式无法有效应对，导致政务平台服务质量低。

2、另一方面，服务事项信息检索是用户核心需求之一，通过搜索和问答等功能能够快速获取所需信息。在检索过程中，输入查询与待检索事项名称之间的文本相似性匹配是核心。相关研究表明当前政务平台大多仍采用传统字频统计算法实现匹配，这些方法虽然计算快、占用内存小，但是对于文本语义的特征挖掘非常有限。在政务服务事项检索场景下，用户文化水平参差不齐，查询中包含口语化内容，与待检索事项名称有较大差别，不能准确地描述检索需求。如用户输入“驾照丢了补办”，应返回事项名称为“机动车证件遗失重新申领登记”，但由于两者缺少相同的关键字，系统返回为包含“补办”关键字的其他事项。

3、因此，提高人民群众查询、办理政务服务的体验需要基于深度学习和知识图谱等技术构建只能精准的政务服务事项检索模型。

4、随着人工智能高速发展，深度学习技术已经广泛应用于众多领域，特别在图像、自然语言处理上取得了突破。文本匹配作为自然语言处理领域中检索任务的子任务，许多基于深度学习的文本匹配模型被相继提出，效果有了明显提升。然而深度学习模型在处理文本时仍存在局限性，如无法真正把握文本深层语义、生成文本缺乏逻辑等。2012年谷歌提出知识图谱，知识图谱技术能够将文本数据转化为结构化图谱数据从而更好结合深度学习模型，发挥其优势。针对政务服务应用场景，知识图谱技术可以协助理解和利用大量分散的服务事项数据，通过将数据转化为结构化的知识图谱，实现深度分析和挖掘，为用户提供更智能、精准的政务服务，为政府决策提供数据支持。利用深度学习，知识图谱中丰富的实体和关系信息可以用来辅助深度学习模型进行训练，提高模型对语义的理解能力。

5、然而，政务服务领域内相关技术研究内容较少。一方面，政务服务领域的数据通常以结构化和半结构化形式存在，与知识图谱需要的结构化数据存在差异。同时政务服务资源庞大分散、种类多、层级复杂，给知识图谱的构建和维护带来很大难度。另一方面，深度文本匹配模型结构复杂，实际部署后运维和线上检索效率都成为将深度学习技术应用于政务服务领域需要解决的问题。

6、因此，基于图谱技术和深度学习技术，研究政务服务事项检索方法，保证检索效率的同时提高信息检索准确度，对于提升政务服务水平具有重要意义。

技术实现思路

1、针对现有技术存在的上述问题，本发明要解决的技术问题是：如何基于图谱技术和深度学习技术，在保证检索效率的同时提高信息检索准确度。

2、为解决上述技术问题，本发明采用如下技术方案：一种基于知识增强的多粒度政务服务事项推荐方法，包括如下步骤：

3、s1：获取多个用户输入查询文本和待匹配政务事项名称，构建政务知识图。

4、s2：构建和训练kemg模型，所述kemg模型包括融合字粒度信息的嵌入层，基于cnn增强的编码层，基于注意力机制的交互层，融合层和多层全连接层得到相似性预测分数。

5、s2-1：对所有用户输入查询文本和待匹配政务事项名称进行词向量的嵌入对应的得到查询词粒度向量和政务词粒度向量，对所有用户输入查询文本和待匹配政务事项名称进行字向量的嵌入对应的得到查询字粒度向量和政务字粒度向量，将查询词粒度向量和查询字粒度向量拼接融合形成查询最终文本句子表征向量，将政务词粒度向量和政务字粒度向量拼接融合形成政务最终文本句子表征向量；

6、s2-2：对s2-1得到的查询最终文本句子表征向量和政务最终文本句子表征向量均先采用采用esim进行上下文序列信息的编码，编码后的向量再采用cnn网络进行第二次编码对应的得到查询关键词特征编码值和政务关键词特征编码值。

7、s2-3：使用改进图注意力机制为政务知识图中的每个结点分配不同的权重，并利用所述权重来增强政务词粒度向量。采用软注意力机制对查询关键词特征编码值和政务关键词特征编码值进行交互，得到每个词语经过加权后的增强表征并输入池化层获取的特征向量进行拼接，分别得到用户查询最终表征向量和事项名称最终表征向量。

8、s2-4：融合层通过向量对位相减和向量对位相乘实现多特征交叉融合，得到查询-事项名称之间的匹配程度；

9、s2-5：将得到查询-事项名称之间的匹配程度直接输入多层全连接神经网络预测匹配分数，并根据预测匹配分数按照降序排列，并输入与预测匹配分数对应的政务事项名称。

10、s3:对于新用户，采用s1得到用户向量输入最优kemg模型，最优kemg模型计算该新用户与所有服务事项的关联程度，并按照关联程度值的大小降序排列，输出关联程度值所对应的服务事项序列top-k。

11、作为改进，所述s2-1得到词粒度向量的过程如下：

12、嵌入层(embedding layer)目的是将经过分词后的文本从高维空间映射到低维空间，以此对文本进行特征增广参与神经网络的向量运算。词嵌入(word embedding)作为嵌入层常用的方法，通过词向量的组合在短文本任务中能够很大程度上表征句向量。

13、采用word2vec对用户输入查询文本和待匹配政务事项文本进行词向量的嵌入，如等式(1)和(2)所示。

14、

15、

16、其中，qw和sw分别代表用户输入的查询(query)和待匹配政务服务事项名称(service name)经过word2vec后由词向量组合而成的向量矩阵，代表两个文本中每一个分词经嵌入后得到的w维向量，dw表示词向量的维数。la和lb分别代表用户输入的查询和待匹配政务服务事项名称的长度。

17、作为改进，所述s2-1得到字粒度向量的过程如下：

18、采用联合学习词嵌入模型jwe来实现对文本的字嵌入，如公式(3)所示。

19、

20、其中时分别指上下文词语，上下文汉字字符，上下文子字符，wi是目标词，l(wi)表示目标词语wi的三个预测条件概率的对数似然之和。

21、预测概率由softmax函数定义，如公式(4)所示。

22、

23、其中是目标词wi的输出向量，表示当前目标词，表示1到n的所有目标词求和中任意一个目标词。

24、通过jwe将用户输入的查询和待匹配政务服务事项名称中的每个字都得到一个字向量表征。用户输入的查询和待匹配政务服务事项名称对应的字向量表示分别记为qj和sj，如公式(5)和(6)所示。

25、

26、

27、其中，分别表示用户输入的查询和待匹配政务服务事项名称中第i,j个汉字的字向量表征，dc表示字向量的维度。zq，zs分别表示用户输入的查询和待匹配政务服务事项名称两文本的字数。

28、作为改进，所述s2-1中将词粒度向量和字粒度向量进行拼接融合形成最终文本对嵌入表征的过程如下：

29、用户输入的查询中的第i个词的新的组合向量qi计算公式如(7)所示。

30、

31、其中表示文本中构成第i个词语组成的所有字粒度向量经过池化操作后的特征向量；

32、查询最终文本句子表征向量q，计算公式如(8)所示。

33、q＝(q1,...,ql)     (8)

34、其中，定义模型的融合字粒度的词向量嵌入维度为d＝dw+dc。

35、采用与获取q相同的方法即可得到政务最终文本句子表征向量s。

36、作为改进，所述s2-2得到关键词特征编码的步骤如下：

37、采用esim对最终的文本句子表征向量进行上下文序列信息的编码，并且esim中采用bilstm来获取文本序列特征，经编码后的表征向量计算过程如公式(9)和(10)所示。

38、

39、

40、其中，分别表示用户输入查询文本和待匹配政务事项名称经过bigru后在第i个时间步和第j个时间步得到的新编码值，dg表示bigru中设置的隐藏层维度。

41、采在cnn网络进行第二次编码，cnn网络的分别使用大小为2，3，4的卷积核进行卷积操作，卷积窗口提取文本特征过程如下，首先经过式(11)：

42、

43、其中，表示词向量的拼接矩阵，表示拼接操作。在卷积操作中卷积核它以一个大小为w的窗口形式在文本上滑动进行新特征的提取，如公式(12)所示。

44、

45、其中ci表示卷积核在卷积的过程中提取到的第i份特征。

46、将超出范围之外的输入向量(i<1或i>l)视作零向量，表示词向量qi,qi+1,qi+2,…,qw拼接起来的矩阵，b表示卷积网络中的偏置。

47、以大小为w的卷积核应用于句子中每一个可能的隐藏状态以提取到的特征图如公式(13)所示。

48、q＝[q1,q2,...,ql-w+1]t     (13)

49、其中将得到的6个特征图输入最大池化层中获得固定长度的特征向量表示：

50、qi＝p({qi1,qi2,...,qi(l-w+1)})     (14)

51、其中，qi表示第i个特征图经过最大池化操作后的特征向量，qi1表示第i个特征图的第1份特征。qi(l-w+1)表示第i个特征图的第(l-w+1)份特征。

52、最后通过公式(15)将经过池化后的特征向量拼接起来形成最终的查询关键词特征编码

53、

54、采用与获取相同的方法即可得到政务关键词特征编码

55、作为改进，所述s2-3中得到用户查询最终表征向量和事项名称最终表征向量的过程如下：

56、sif句向量生成方法包括：

57、1)得到初步句向量：遍历语料库所有句子，通过公式(16)计算得出当前句子s的初步句向量vs。

58、

59、其中|s|代表句子s的词语个数，vw表示句子中词语w的词向量，p(w)是词语w在全体语料库中的词频概率，a是一个可调节的参数。

60、2)全体初步句向量进行主成分分析：计算出全体初步句向量第一主成分u，称为公共话语向量，u是组成这句话的词向量构成的矩阵的第一主向量。

61、3)得到目标句向量：通过公式(17)对初步句向量进行二次处理，得到目标句向量。

62、vs＝vs-uutvs     (17)

63、

64、其中表示经sif嵌入后的句向量值，w分别表示句子和每一个词语。

65、采用公式(18)得到用户输入查询文本经sif嵌入后的句向量值待匹配政务事项名称经sif嵌入后的句向量值

66、经过改进的图注意力计算公式如(19)所示。

67、

68、其中，表示融合政务知识图增强后的政务事项名称句向量表征，表示包含政务事项自身在内的所有与政务事项直接相关联的政务知识结点，则表示相关政务知识经过sif嵌入后得到的句向量值。

69、软注意力机制对查询关键词特征编码值和政务关键词特征编码值进行交互：

70、首先计算相关性得分，分数值的计算方式如公式(20)所示。

71、

72、式中eij表示查询最终文本句子表征向量中的和查询最终文本句子表征向量中的经过点乘的方式得出的相关性分数。

73、相关性分数进行归一化操作，将相关性分数转化为权重系数以进行后续加权表征，过程如公式(21)所示。

74、

75、其中，表示用户输入查询文本新的表征向量，是查询最终文本句子表征向量中第i个词语与政务最终文本句子表征向量中每个词进行注意力系数分配后进行的加权求和的结果，eik表示政务最终文本表征向量中任意一词的词向量。

76、对于事项名称中第j个词来说，的计算过程和意义是相同的，如公式(22)所示。

77、

78、表示待匹配政务事项名称新的表征向量，是政务最终文本句子表征向量中第j个词语与查询最终文本句子表征向量中每个词进行注意力系数分配后进行的加权求和的结果，ekj表示用户输入查询文本表征向量中任意一词的词向量。

79、采用池化策略对和进行降维，使用平均池化结合最大池化的方式，计算过程如公式(23)和(24)所示。

80、

81、

82、vq,ave，vq,max，vs,ave，vs,max分别表示用户输入查询文本和待检索事项名称经过平均池化和最大池化后得到的4个向量。

83、然后拼接得到用户输入查询文本和待匹配政务事项名称经软注意力交互运算得到的表征向量：

84、

85、

86、其中，分别表示经软注意力交互运算后得到的用户输入查询文本对应的用户查询最终表征向量和待匹配政务事项名称对应的事项名称最终表征向量。dg表示gru中设置的隐藏层维度。

87、作为改进，所述s2-4得到查询-事项名称之间的匹配程度的过程如下：

88、通过向量对位相减和向量对位相乘实现多特征交叉融合。将用户输入查询文本与待匹配政务事项名称各自三个特征进行拼接，存储在一个序列中：

89、

90、

91、分别对两个序列进行对位相减和对位相乘，然后将两者的结果和原序列值进行拼接：

92、mout＝[mq；ms；mq-ms；mq⊙ms]     (29)

93、通过融合层，查询-事项名称之间的匹配程度通过向量进行表示。

94、作为改进，所述s2-5计算匹配分数的过程如下：如公式(30)所示：

95、mscore＝fs(w·mout+b)     (30)

96、其中，w，b表示多层全连接层的参数，fs(·)为sigmod激活函数。

97、作为改进，margin ranking loss在计算损失时，为每个样本对引入两个事项之间的最小相关性差距。对于每个样本对(xi,xj)，损失函数如下所示：

98、l(xk,xj)＝max(0,m-(s(xk)-s(xj)))      (31)

99、其中，m表示margin参数，s(xi)和s(xj)分别是样本xk和xj的相关性分数。

100、提出servicerank损失函数：

101、

102、其中，表示由用户输入文本和待检索事项名称文本构成的数据集，表示数据集中的样本数量，si表示第i个用户输入查询文本对应的政务事项名称个数，表示第i个用户输入查询文本对应的所有政务事项名称的集合，l(xj,xk)是由(31)计算的marginranking loss。

103、相对于现有技术，本发明至少具有如下优点：

104、1.对比实验结果表明在政务服务事项检索任务下，本发明方法的检索效果优于其他非bert类模型，参数量大幅少于bert类模型保证线上部署的可行性。损失函数策略对比实验表明了servicerank在本发明构建数据集上的有效性。

105、2.进行了消融实验，验证了引入的字嵌入、cnn网络以及政务知识等多个模块对模型检索能力的影响。对sif句向量生成中参数a的取值，servicerank中m的取值，全连接层的神经元数量以及最后一层的dropout率四个超参数对模型整体检索效果影响进行了实验分析，确定了模型在最优状态下的性能指标。