一种基于多模态信息学习的专家推荐方法

文档序号:30510125发布日期:2022-06-25 01:39阅读:来源:国知局

技术特征:
1.一种基于多模态信息学习的专家推荐方法,其特征在于,包括步骤:s10,爬取网络专家信息数据和项目信息数据,对数据进行预处理,并整理现有专家库中的专家信息数据;s20,根据专家属性构建专家属性异构图,根据专家担任评委信息构建专家历史评审项目序列;s30,用bert模型对专家的文本信息进行学习,用图神经网络模型对专家的属性异构图进行学习,搭建自注意力推荐模型对专家历史评审项目序列进行学习,将得到的嵌入输入融合层得到专家信息嵌入,得到预训练模型;s40,用预训练模型提取专家信息嵌入,同时对项目信息编码通过embedding层获得项目信息嵌入,将获得的专家属性表示与项目信息表示合并输入多层感知机对模型训练,学习得到专家对评审项目的匹配度得分。2.根据权利要求1所述的一种基于多模态信息学习的专家推荐方法,其特征在于,在所述步骤s10中,包括:爬取网络专家信息数据,包括专家文本信息;爬取网络中的项目信息数据;对爬取的数据进行预处理;整理现有专家库中的数据,包括专家的姓名、职位、研究领域、工作单位属性信息和评审活动信息。3.根据权利要求2所述的一种基于多模态信息学习的专家推荐方法,其特征在于,在所述步骤s20中,包括:以时间顺序对专家参与评审项目构建历史评审项目序列;以专家姓名、职位、研究领域和工作单位为节点,以节点间相关关系为边构建专家属性异构图。4.根据权利要求3所述的一种基于多模态信息学习的专家推荐方法,其特征在于,在所述步骤s30中,包括:将专家文本信息包括文章和个人简介输入bert模型,通过执行遮蔽语言预测任务,对bert模型进行预训练,获得专家文本嵌入;在专家属性异构图上,执行对比预训练任务,预训练用于学习专家属性的图神经网络,获得专家属性嵌入;将专家历史评审序列输入搭建的自注意力推荐模型,执行下一个项目预测任务,对专家历史评审项目序列进行学习,获得专家均值和协方差嵌入;将提取不同嵌入进行融合获得专家信息属性。5.根据权利要求4所述的一种基于多模态信息学习的评审专家推荐方法,其特征在于,将专家文本信息包括文章和个人简介输入bert模型,通过执行遮蔽语言预测任务,对bert模型进行训练,获得专家文本嵌入,包括步骤:s311,通过嵌入矩阵将文本信息中的字转化为词嵌入,为每个字添加相应的段嵌入和位置嵌入,作为bert模型的输入;s312,在遮蔽语言预测任务中,选择与专家研究领域相关的词进行屏蔽和重构;s313,遮蔽语言预测任务损失被定义为交叉熵损失。6.根据权利要求4所述的一种基于多模态信息学习的评审专家推荐方法,其特征在于,
在专家属性异构图上进行对比预训练任务,训练用于学习专家属性的图神经网络,获得专家属性嵌入,包括步骤:s321,执行关系级预训练任务,对于异构图中给定的正例三元组,为其构造不一致关系和不相关节点的负样例队列进行对比学习任务;s322,执行子图级预训练任务,在异构图上生成元图实例来构建正样本,同时生成排队的负样本,并通过对比学习区分正负样本。根据权利要求4所述的一种基于多模态信息学习的评审专家推荐方法,其特征在于,将专家历史评审序列输入搭建的自注意力推荐模型,执行下一个项目预测任务,对专家历史评审项目序列进行学习,获得专家均值)和协方差嵌入,包括步骤:s331,自注意力推荐模型,包括随机嵌入层、wasserstein自注意力层和bprloss中的正则化项;s332,在随机嵌入层,通过将项目表示为多维椭圆高斯分布;椭圆高斯分布由均值向量和协方差向量控制;对于所有项目,定义一个均值嵌入表m
μ
∈r
|v|*d
和协方差嵌入表m

∈r
|v|*d
;同时分别为均值嵌入和协方差嵌入引入单独的位置嵌入p
μ
∈r
|v|*d
和p

∈r
|v|*d
;由此,得到序列的包括均值嵌入和协方差嵌入和协方差嵌入和协方差嵌入s333,在wasserstein自注意力层,给定物品sk和st,对应的随机嵌入分别为d维椭圆高斯分布其中:其中:为可训练矩阵;同时,引入wasserstein距离作为注意力权重来衡量序列中项目之间的成对关系,并采用高斯分布的线性组合特性来聚合历史项目并获得序列表示;s334,将序列表示输入到前馈神经网络中,应用两个带有elu激活的逐点全连接层来在学习随机嵌入中引入非线性,并采用了残差连接、层归一化和dropout层,层输出为每个项目的均值嵌入和协方差嵌入;s335,执行下一个项目预测任务,预测分数为物品间的wasserstein距离,并使用正则化项提升正负样本间的距离,损失被定义为brp损失,对自注意力推荐模型预训练。7.根据权利要求4所述的一种基于多模态信息学习的评审专家推荐方法,其特征在于,将提取不同嵌入进行融合获得专家信息属性,包括:将预训练模型提取的专家文本嵌入、专家的的均值和协方差序列嵌入和专家属性嵌入输入融合层,获得专家信息嵌入:u'=ln(aw
a
+ww
w
+z
μ
w
μ
+z
σ
w
σ
),u=ln(u'+ffn(u'));其中,a代表专家属性嵌入,w代表专家文本嵌入,z
μ
代表专家评审序列的均值嵌入,z
σ

表专家评审序列的协方差嵌入;w
a
,w
w
,w
μ
,w

为可训练矩阵,u为专家信息嵌入;根据专家信息嵌入嵌入,对专家评分进行预测,学习专家的信息嵌入更好的表示,预测分数为r'=wu+b,w、b为可训练参数。8.根据权利要求1所述的一种基于多模态信息学习的专家推荐方法,其特征在于,在所述步骤s40中,包括步骤:s41,用预训练模型提取新专家信息嵌入;s42,对项目信息进行编码,经过映射后获得项目的信息嵌入;s43,根据提取的新专家信息嵌入嵌入与项目的嵌入进行融合,输入多层感知机,根据历史的专家评审信息对多层感知机进行训练;最后,得到专家与项目的推荐分数对专家进行推荐。

技术总结
本发明公开一种基于多模态信息学习的专家推荐方法,爬取网络专家信息数据和项目信息数据,并整理现有专家库中的专家信息数据;构建专家评审异构图和专家属性异构图;bert模型对专家的文本信息进行学习,图神经网络对专家的属性异构图进行学习,搭建自注意力推荐模型对专家历史评审序列进行学习,将学习到的嵌入输入融合层得到专家信息嵌入,得到预训练模型;用预训练模型提取专家信息嵌入,对项目信息编码获得项目信息嵌入,将获得的专家属性表示与项目信息表示输入多层感知机对模型训练,得到专家与项目的推荐分数。本发明将丰富的语义和属性信息充分融入到专家的嵌入和模型参数中,提升专家推荐的准确率。提升专家推荐的准确率。提升专家推荐的准确率。


技术研发人员:王书海 彭浩 唐翊群 赵晓亮 王辉 胡畅霞
受保护的技术使用者:石家庄铁道大学
技术研发日:2022.02.21
技术公布日:2022/6/24
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1