基于提示学习和更新关系标签词表示的关系抽取方法和装置

本发明属于信息处理，尤其涉及一种基于提示学习和更新关系标签词表示的关系抽取方法和装置。

背景技术：

1、随着大数据时代的蓬勃发展，信息的爆炸式增长，非结构化文本数据出现在各行各业中，这些数据中包含着重要的信息。如何高效、准确、自动化地提取数据的信息成为自然语言处理领域研究的热点，其中关系抽取任务备受关注。关系抽取(relationextraction,re)作为信息抽取(information extraction,ie)领域的主要任务，旨在从非结构化的文本中提取实体间的关系，识别出目标实体之间所蕴含的语义关系。关系抽取不仅可以应用到智能问答、知识图谱构建等领域，还可以为机器翻译、句子等其他任务提供支持。因此，如何提高关系抽取任务的性能具有重要的研究价值。

2、随着预训练语言模型(pre-trained language models,plms)的兴起，“预训练”+“微调”成为解决关系抽取问题的标准范式。然而在使用时还存在以下问题：

3、(1)现有的关系抽取模型存在关系抽取任务逻辑推理能力不足的问题，未能正确识别句中表示关系的头或尾实体，因产生错误三元组导致分类错误；

4、(2)关系标签语义信息表示不够全面的问题，对于相同关系标签的不同表示方式识别不够准确，影响关系抽取的准确性；

5、(3)分类易混淆问题，对于不同关系标签的表示不够准确，使得表示含义相似的关系标签存在模糊，对不同关系的含义缺乏区分性。

技术实现思路

1、本发明要解决的技术问题是，提供一种基于提示学习和更新关系标签词表示的关系抽取方法和装置，可以提高关系抽取的准确性。

2、为实现上述目的，本发明采用如下的技术方案：

3、一种基于提示学习和更新关系标签词表示的关系抽取方法，包括：

4、步骤s1、获取原始句子、提示模板和关系标签词；

5、步骤s2、根据原始句子、提示模板和关系标签词，得到预训练语言模型的总损失函数；其中，所述总损失函数包含：mask损失函数、关系标签词更新损失函数和对比学习损失函数；

6、步骤s3、通过使总损失函数最小化训练预训练语言模型，得到基于更新关系表示的提示对比学习模型；

7、步骤s4、将待处理的句子输入到基于更新关系表示的提示对比学习模型，进行关系抽取。

8、作为优选，mask损失函数的计算如下：

9、

10、p(y|x)＝p([mask]＝φ(y)|xprompt)

11、其中，表示训练集中训练样本数；yx为原始句子的真实标签；φ(y)为标签y通过标签词映射器φ得到的关系标签词；xprompt为输入表示，xprompt由提示模板t(x)和原始句子x组成。

12、作为优选，关系标签词更新损失函数的计算如下：

13、

14、其中，v″update_i为更新后的关系标签词向量；|r|为关系集的大小。

15、作为优选，对比学习损失函数的计算如下：

16、

17、其中，为标签词集；τ为可调节的标量温度参数；v″update_denoised_i为去噪后的关系标签词向量；update_denoised_j＝{1,...,|r|}；hmask为[mask]向量。

18、本发明还提供一种基于提示学习和更新关系标签词表示的关系抽取最终，包括：

19、获取模块，用于获取原始句子、提示模板和关系标签词；

20、计算模块，用于根据原始句子、提示模板和关系标签词，得到预训练语言模型的总损失函数；其中，所述总损失函数包含：mask损失函数、关系标签词更新损失函数和对比学习损失函数；

21、训练模块，用于通过使总损失函数最小化训练预训练语言模型，得到基于更新关系表示的提示对比学习模型；

22、抽取模块，用于将待处理的句子输入到基于更新关系表示的提示对比学习模型，进行关系抽取。

23、作为优选，mask损失函数的计算如下：

24、

25、p(y|x)＝p([mask]＝φ(y)|xprompt)

26、其中，表示训练集中训练样本数；yx为原始句子的真实标签；φ(y)为标签y通过标签词映射器φ得到的关系标签词；xprompt为输入表示，xprompt由提示模板t(x)和原始句子x组成。

27、作为优选，关系标签词更新损失函数的计算如下：

28、

29、其中，v″update_i为更新后的关系标签词向量；|r|为关系集的大小。

30、作为优选，对比学习损失函数的计算如下：

31、

32、其中，为标签词集；τ为可调节的标量温度参数；v″update_denoised_i为去噪后的关系标签词向量；update_denoised_j＝{1,...,|r|}；hmask为[mask]向量。

33、本发明根据原始句子、提示模板和关系标签词，得到预训练语言模型的总损失函数；通过使总损失函数最小化训练预训练语言模型，得到基于更新关系表示的提示对比学习模型；将待处理的句子输入到基于更新关系表示的提示对比学习模型，进行关系抽取。采用本发明的技术方案，可以提高关系抽取的准确性

技术特征：

1.一种基于提示学习和更新关系标签词表示的关系抽取方法，其特征在于，包括：

2.如权利要求1所述的基于提示学习和更新关系标签词表示的关系抽取方法，其特征在于，mask损失函数的计算如下：

3.如权利要求2所述的基于提示学习和更新关系标签词表示的关系抽取方法，其特征在于，关系标签词更新损失函数的计算如下：

4.如权利要求3所述的基于提示学习和更新关系标签词表示的关系抽取方法，其特征在于，对比学习损失函数的计算如下：

5.一种基于提示学习和更新关系标签词表示的关系抽取装置，其特征在于，包括：

6.如权利要求5所述的基于提示学习和更新关系标签词表示的关系抽取装置，其特征在于，mask损失函数的计算如下：

7.如权利要求6所述的基于提示学习和更新关系标签词表示的关系抽取装置，其特征在于，关系标签词更新损失函数的计算如下：

8.如权利要求7所述的基于提示学习和更新关系标签词表示的关系抽取装置，其特征在于，对比学习损失函数的计算如下：

技术总结
本发明公开一种基于提示学习和更新关系标签词表示的关系抽取方法和装置，包括：步骤S1、获取原始句子、提示模板和关系标签词；步骤S2、根据原始句子、提示模板和关系标签词，得到预训练语言模型的总损失函数；步骤S3、通过使总损失函数最小化训练预训练语言模型，得到基于更新关系表示的提示对比学习模型；步骤S4、将待处理的句子输入到基于更新关系表示的提示对比学习模型，进行关系抽取。采用本发明的技术方案，可以提高关系抽取的准确性。

技术研发人员：赵亚慧,王苑儒,金国哲,金哲俊,尹飞,崔荣一,任一平,杜美豫,郑金康,张博伦,谷会敏,胡勤龙
受保护的技术使用者：延边大学
技术研发日：
技术公布日：2024/5/10