一种异构环境下嵌入预期价值的文献推荐方法

1.本发明属于学术文献检索技术领域，具体涉及一种异构环境下嵌入预期价值的文献推荐方法。


背景技术：

2.随着信息技术的快速发展，网络上的学术文献数量呈现指数级增长趋势。如何依据现有工作，在大量文献中快速定位和发现有引用价值的学术文献，是科研工作者，特别是初级科研工作者面临的难题。根据研究者现有工作，为其推荐合适的学术引文文献，是目前推荐领域研究的热点问题，具有重要的实际应用价值。
3.随着近年来深度神经网络技术，特别是图学习技术的进步，有些研究者提出用基于图卷积神经网络的方法来推荐学术文献。图神经网络利用设定好的网络结构，完全从训练数据中学习文献内容的层级结构性特征，能够提取更加接近文献内容高级语义的抽象特征，因此在文献推荐上的表现远远超过传统机器学习方法。同时图卷积神经网络能够利用文献间的关联关系，将链接信息嵌入文献特征中，能够有效还原文献网络结构，在特征表示上具有极大的优越性。
4.虽然图卷积神经网络能提取接近文献语义和链接的抽象特征，然而由于文献网络还包含作者和期刊等异构信息，图卷积神经网络难以挖掘和利用这些异构信息之间的深层关联关系，随着卷积层数的增加，更深层次的节点向量难以区分位于不同距离和不同类型节点的重要性，因此容易在节点表示学习过程中带来噪声。同时由于新文献的链接数量非常少，无法利用引用数预计新发表文献的价值信息，导致图卷积神经网络对新发表文献的推荐效果较差。


技术实现要素：

5.本发明的目的是提供一种异构环境下嵌入预期价值的文献推荐方法，解决了现有文献推荐技术中无法多维度衡量文献网络中异构节点重要度，且对新发表文献推荐效果较差的问题。
6.为达上述目的，本发明提供了一种异构环境下嵌入预期价值的文献推荐方法，包括以下步骤：
7.s1：根据文献数据集构建初始特征向量；
8.s2：根据初始特征向量构建异构文献图；
9.s3：根据s2中的异构文献图构建异构图卷积网络，并将节点初始特征向量输入异构图卷积深度网络获得异构节点特征向量；
10.s4：构建深度注意力层,并利用注意力层获取每个卷积层的权重调节因子，然后利用权重调节因子生成所有的异构节点最终向量表示；
11.s5：将所获得的异构节点最终向量表示利用解码器还原文献网络结构；
12.s6：利用对抗生成机制，将文件预期价值信息嵌入文献向量中；
13.s7：针对每一篇候选文献计算得分，最终根据得分对文献进行推荐。
14.进一步的，所述步骤s1具体过程如下：
15.s1.1：根据文献数据集，对于每一篇文献，通过word2vec工具获取每个词的词向量，并将该文献中的词向量取平均获得文献初始向量；
16.s1.2：根据文献数据集，对于每一个作者，取其发表过的所有文献的初始向量并取平均，从而获得作者初始向量；
17.s1.3：根据文献数据集，对于每一个期刊，取其包含的所有文献的初始向量并取平均，从而获得期刊初始向量。
18.进一步的，所述步骤s2中异构文献图表示为g＝{x,e}；
19.x＝{x
p
,xa,xj}，其表示三类不同节点的特征信息：x
p
表示所有文献向量特征，xa表示所有作者向量特征，xj表示所有期刊向量特征，取值自于步骤s1初始特征向量；根据节点的不同，边集e＝{e
pp
,e
pa
,e
pj
,e
aa
,e
aj
,e
jj
}含有六种不同类型，包括三种同构关联关系：e
pp
为文献引用信息、e
aa
为作者合著信息和e
jj
为来源关联信息，以及三种异构关联关系：e
pa
为文献-作者关系、e
pj
为文献-来源关系、e
aj
为作者-来源关系。
20.进一步的，所述步骤s3中异构图卷积网络构成方法如下：
21.s301:首先基于步骤s2中的异构文献图，依据不同的节点和边信息构造六类邻接矩阵r＝{r
pp
,r
pa
,r
pj
,r
aa
,r
aj
,r
jj
}；
22.式中：式中：和分别为文献-引用信息、文献-作者关系、文献-来源关系、作者-合著信息、作者-来源关系和来源关联信息所对应的领接矩阵，其中n
p
、na和nj分别表示数据集中文献、作者和期刊的总数；
23.s302:临界矩阵初始化，并根据初始化的邻接矩阵生成转置矩阵；
24.s303:基于邻接矩阵r构造增广邻接矩阵
[0025][0026]
式中：r
ap
、r
ja
和r
jp
分别为步骤s302中r
pa
、r
aj
和r
pj
的转置矩阵；
[0027]
s304:基于r
*
构建l层异构图卷积层，其中第l层的异构图卷积过程为：
[0028][0029]
其中，relu(
·
)表示修正线性单元函数，为卷积核，ds表示卷积核宽度，是基于r
*
构造的矩阵，其值为r
*
+i，其中为单位矩阵，表示异构图的度矩阵，表示取度矩阵的第i行第j列的数据，表示取矩阵的第i行第j列的数据，z
l
表示深度图卷积网络第l层的数据特征，其中由节点初始特征向量构成，z0的构造方式分别为：
[0030][0031]
将节点初始特征向量输入异构图卷积深度网络获得异构节点特征向量，获得每一层的异构节点中间向量z1,z2,
…
,z
l
。
[0032]
进一步的，所述步骤s4具体过程如下：
[0033]
s4.1：构建三个可学习的投射向量分别用于计算不同卷积层中的文献、作者和期刊向量权重，式中d
α
表示投射向量的长度；
[0034]
s4.2：依据不同节点类型，将所有异构节点向量进行堆叠，获得关于文献、作者和来源的张量和然后利用下述过程为l个卷积层生成权重调节因子：
[0035][0036]
和分别生成的所有卷积层中文献向量、作者向量和来源向量的权重因子；其中，σ(
·
)为sigmoid函数，softmax(
·
)为多分类函数，为可学习的映射矩阵；
[0037]
s4.3：根据三类权重调节因子，依据下式生成所有的异构节点最终向量表示：
[0038][0039]
其中，表示hadamard积，表示向量加和取平均。
[0040]
进一步的，所述步骤s5具体过程如下：
[0041]
为保证所获异构节点表示的有效性，将最终异构节点最终向量表示输入解码器以概率还原文献网络结构，其解码方式为最大化如下似然函数：
[0042][0043]
式中，n
*
＝n
p
+na+nj表示节点总数，和表示中任意两个节点向量，为增广邻接矩阵r
*
中和节点所对应的邻接值。
[0044]
进一步的，所述步骤s6具体过程如下：
[0045]
s6.1：构建文献幂律分布生成器：
[0046]
将数据集中所有文献的被引次数在[0,c]范围内分为m个区间，其中引用次数超过
c值的文献被归为第m个区间，定义h为某个被引次数区间，p(h)为该被引次数区间中的文章数量，则可以获得如下幂律分布：
[0047]
p(h,c,α)＝β(h)-α
[0048]
式中，α和β是可估计参数；
[0049]
s6.2：随机多批次选取文献，然后按被引次数划分统计每次选择子样本集的文献引用次数，则可以获得如下观测序列其中n表示每一批次获取的样本总数，将此观测序列作为训练数据，采用极大似然估计法，通过下式估计获得中α和β的参数值：
[0050][0051]
s6.3：利用获得的幂律分布，动态采样获得一组符合该幂律分布的值，记为文献预期价值向量
[0052]
s6.4：利用卷积神经网络，将所有文献向量表示矩阵转化为预期文献价值向量
[0053][0054]
其中，t表示矩阵转置，covx(
·
)表示带一层卷积和k-max池化层的卷积神经网络，为卷积核，所用卷积核个数为nc，同时nc*k＝m，k表示卷积之后最大的k个值；
[0055]
s6.5：利用对抗生成网络，将h
*
作为约束加入文献向量表示的学习过程中,对抗生成网络的判别器会将判定为假，并将从幂律分布中采样获得的h
*
判定为真，此时由数据集中的文献向量产生的价值向量与幂律分布器产生的价值向量h
*
保持近似，从而将文件预期价值信息嵌入文献向量中；此过程等价于如下过程：
[0056][0057]
其中，d(
·
)表示判别器，g(
·
)表示生成器，包含covx(
·
)及s3到s5所述的异构图卷积网络；
[0058]
s6.6：通过重复步骤s3-步骤s6.5，直到所有参数值收敛或达到最大训练次数,最大训练次数取500次。
[0059]
进一步的，所述步骤s7具体过程如下：
[0060]
s7.1：首先给定查询q＝[qw,q
α
,qj]，其中qw为查询文本所有词，q
α
为查询作者所有词，qj为查询来源所有词,然后将查询q＝[qw,q
α
,qj]转化为向量其中为查询文本所有词的平均向量，为查询作者所发表过的所有文献所包含词的平均向量，为查询来源中所有文献所包含词的平均向量；
[0061]
s7.2：选取数据集中的所有文献为候选文献di,针对每一篇候选文献di，以下式计算得分
[0062][0063]
其中，和分别候选文献di的文本、作者和来源向量表示，其取值均来自于步骤s4.3中的
[0064]
最终选择得分较高的文献，作为结果推荐。
[0065]
本发明的优点是：
[0066]
1.本发明针对图卷积神经网络难以利用文献网路异构节点的问题，建立了非对等条件下的异构节点贡献度的计算机制，从而获取高性能的文献网络异构节点特征。
[0067]
2.本发明针对图卷积神经网络对新发表文献推荐效果较差的问题，利用现时文献网络结构和引用数据，估计文献预期价值，提升了新发表文献的推荐精度。
[0068]
3.相对于基于传统机器学习的文献推荐方法，本发明方法由于采用大数据量文献样本进行端到端的深度学习，其推荐精度大幅提升，通用性更强，可靠性更高。
[0069]
下面结合附图和实施例对本发明做详细说明。
附图说明
[0070]
图1是异构环境下嵌入预期价值的文献推荐方法的模型框架图。
具体实施方式
[0071]
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0073]
实施例1
[0074]
本实施例提供了如图1所示的一种异构环境下嵌入预期价值的文献推荐方法，包括以下步骤：
[0075]
s1：根据文献数据集构建初始特征向量；
[0076]
s2：根据初始特征向量构建异构文献图；
[0077]
s3：根据s2中的异构文献图构建异构图卷积网络，并将节点初始特征向量输入异构图卷积深度网络获得异构节点特征向量；
[0078]
s4：构建深度注意力层,并利用注意力层获取每个卷积层的权重调节因子，然后利用权重调节因子生成所有的异构节点最终向量表示；
[0079]
s5：将所获得的异构节点最终向量表示利用解码器还原文献网络结构；
[0080]
s6：利用对抗生成机制，将文件预期价值信息嵌入文献向量中；
[0081]
s7：针对每一篇候选文献计算得分，最终根据得分对文献进行推荐。
[0082]
进一步的，所述步骤s1具体过程如下：
[0083]
s1.1：根据文献数据集，对于每一篇文献，通过word2vec工具获取每个词的词向量，并将该文献中的词向量取平均获得文献初始向量；
[0084]
s1.2：根据文献数据集，对于每一个作者，取其发表过的所有文献的初始向量并取平均，从而获得作者初始向量；
[0085]
s1.3：根据文献数据集，对于每一个期刊，取其包含的所有文献的初始向量并取平均，从而获得期刊初始向量。
[0086]
进一步的，所述步骤s2中异构文献图表示为g＝{x,e}；
[0087]
x＝{x
p
,xa,xj}，表示三类不同节点的特征信息：x
p
表示所有文献向量特征，xa表示所有作者向量特征，xj表示所有期刊向量特征，取值自于步骤s1初始特征向量；
[0088]
根据节点的不同，边集e＝{e
pp
,e
pa
,e
pj
,e
aa
,e
aj
,e
jj
}含有六种不同类型，包括三种同构关联关系：e
pp
为文献引用信息、e
aa
为作者合著信息和e
jj
为来源关联信息，以及三种异构关联关系：e
pa
为文献-作者关系、e
pj
为文献-来源关系、e
aj
为作者-来源关系。
[0089]
进一步的，所述步骤s3中异构图卷积网络构成方法如下：
[0090]
首先基于步骤s2中的异构文献图，依据不同的节点和边信息构造六类邻接矩阵r＝{r
pp
,r
pa
,r
pj
,r
aa
,r
aj
,r
jj
}；
[0091]
式中：式中：和分别为文献-引用信息、文献-作者关系、文献-来源关系、作者-合著信息、作者-来源关系和来源关联信息所对应的领接矩阵，其中n
p
、na和nj分别表示数据集中文献、作者和期刊的总数；
[0092]
s302:临界矩阵初始化，并根据初始化的邻接矩阵生成转置矩阵；
[0093]
临界矩阵初始化具体步骤如下：
[0094]
判断节点间链接关系,若两篇文章之间具有引用关系，则r
pp
中两篇文章对应的邻接值为1，否则为0；若文章中的作者列表包含某位作者，则r
pa
中该文章和作者对应的邻接值为1，否则为0；若文章发表于某个期刊，则r
pj
中该文章和期刊对应的邻接值为1，否则为0；若两个作者共同署名同一篇文章，则r
aa
中这两个作者对应的邻接值为1，否则为0；若某个作者在某期刊发表过文章，则r
aj
中该作者和期刊对应的邻接值为1，否则为0；若两个期刊属于共同的类别，则r
jj
中这两个期刊对应的邻接值为1，否则为0；
[0095]
s303:基于邻接矩阵r构造增广邻接矩阵
[0096][0097]
式中：r
ap
、r
ja
和r
jp
分别为步骤s302中r
pa
、r
aj
和r
pj
的转置矩阵；
[0098]
s304:基于r
*
构建l层异构图卷积层，其中第l层的异构图卷积过程为：
[0099][0100]
其中，relu(
·
)表示修正线性单元函数，为卷积核，ds表示卷积核宽度，是基于r
*
构造的矩阵，其值为r
*
+i，其中为单位矩阵，表示异构图的度矩阵，表示取度矩阵的第i行第j列的数据，表示取矩阵的第i行第j列的数据，z
l
表示深度图卷积网络第l层的数据特征，其中
由节点初始特征向量构成，z0的构造方式分别为：
[0101][0102]
将节点初始特征向量输入异构图卷积深度网络获得异构节点特征向量，获得每一层的异构节点中间向量z1,z2,
…
,z
l
。
[0103]
进一步的，所述步骤s4具体过程如下：
[0104]
s4.1：构建三个可学习的投射向量分别用于计算不同卷积层中的文献、作者和期刊向量权重，式中d
α
表示投射向量的长度；
[0105]
s4.2：依据不同节点类型，将所有异构节点向量进行堆叠，获得关于文献、作者和来源的张量和然后利用下述过程为l个卷积层生成权重调节因子：
[0106][0107]
和分别生成的所有卷积层中文献向量、作者向量和来源向量的权重因子；其中，σ(
·
)为sigmoid函数，softmax(
·
)为多分类函数，为可学习的映射矩阵；
[0108]
s4.3：根据三类权重调节因子，依据下式生成所有的异构节点最终向量表示：
[0109][0110]
其中，表示hadamard积，表示向量加和取平均。
[0111]
进一步的，所述步骤s5具体过程如下：
[0112]
为保证所获异构节点表示的有效性，将最终异构节点最终向量表示输入解码器以概率还原文献网络结构，其解码方式为最大化如下似然函数：
[0113][0114]
式中，n
*
＝n
p
+na+nj表示节点总数，和表示中任意两个节点向量，为增广邻接矩阵r
*
中和节点所对应的邻接值。
[0115]
进一步的，所述步骤s6具体过程如下：
[0116]
s6.1：构建文献幂律分布生成器：
[0117]
将数据集中所有文献的被引次数在[0,c]范围内分为m个区间，其中引用次数超过c值的文献被归为第m个区间，定义h为某个被引次数区间，p(h)为该被引次数区间中的文章数量，则可以获得如下幂律分布：
[0118]
p(h,c,α)＝β(h)-α
[0119]
式中，α和β是可估计参数；
[0120]
s6.2：随机多批次选取文献，然后按被引次数划分统计每次选择子样本集的文献引用次数，则可以获得如下观测序列其中n表示每一批次获取的样本总数，将此观测序列作为训练数据，采用极大似然估计法，通过下式估计获得中α和β的参数值：
[0121][0122]
s6.3：利用获得的幂律分布，动态采样获得一组符合该幂律分布的值，记为文献预期价值向量
[0123]
s6.4：利用卷积神经网络，将所有文献向量表示矩阵转化为预期文献价值向量
[0124][0125]
其中，t表示矩阵转置，covx(
·
)表示带一层卷积和k-max池化层的卷积神经网络，为卷积核，所用卷积核个数为nc，同时nc*k＝m,k表示卷积之后最大的k个值；
[0126]
s6.5：利用对抗生成网络，将h
*
作为约束加入文献向量表示的学习过程中,对抗生成网络的判别器会将判定为假，并将从幂律分布中采样获得的h
*
判定为真，此时由数据集中的文献向量产生的价值向量与幂律分布器产生的价值向量h
*
保持近似，从而将文件预期价值信息嵌入文献向量中；此过程等价于如下过程：
[0127][0128]
其中，d(
·
)表示判别器，g(
·
)表示生成器，包含covx(
·
)及s3到s5所述的异构图卷积网络；
[0129]
s6.6：通过重复步骤s3-步骤s6.5，直到所有参数值收敛或达到最大训练次数，具体的说，最大训练次数取500次。
[0130]
进一步的，所述步骤s7具体过程如下：
[0131]
s7.1：首先给定查询q＝[qw,q
α
,qj]，其中qw为查询文本所有词，q
α
为查询作者所有词，qj为查询来源所有词,然后将查询q＝[qw,q
α
,qj]转化为向量其中为查询文本所有词的平均向量，为查询作者所发表过的所有文献所包含词的平均向量，为查询来源中所有文献所包含词的平均向量；
[0132]
s7.2：选取数据集中的所有文献为候选文献di,针对每一篇候选文献di，以下式计算得分
[0133][0134]
其中，和分别候选文献di的文本、作者和来源向量表示，其取值均来自于步骤s4.3中的
[0135]
最终选择得分较高的文献，作为结果推荐。
[0136]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。