农牧知识图谱的构建方法、装置、计算机设备及存储介质与流程

文档序号:37346417发布日期:2024-03-18 18:21阅读:12来源:国知局
农牧知识图谱的构建方法、装置、计算机设备及存储介质与流程

本发明实施例涉及数据处理领域,尤其涉及一种农牧知识图谱的构建方法、装置、计算机设备及存储介质。


背景技术:

1、随着农牧业信息化技术的不断发展,农牧业领域的数据资源在不断增加,这些数据和信息往往都是异构的,分撒在不同的地方,难以整合利用。通过构建农牧领域的知识图谱,可以将这些复杂的异构数据信息进行结构化存储,建立语义关系,使它们更容易被检索和利用。农牧行业从业者可以更快地获取他们所需的信息,更好的帮他们解决实际问题,促进农牧业地发展。

2、现有的农牧领域知识图谱构建方法主要包含以下步骤:首先搜集农牧领域的数据资源,包括和农牧领域有关的专业网站、期刊、领域专家、从业者及企业信息系统等渠道进行搜集,收集到的数据需要进行预处理,以便于后续的处理和分析。其次进行知识抽取,通过自然语言处理技术,如实体抽取、关系抽取、属性抽取等,解析搜集到的数据资料,提取其中的农牧实体以及实体之间的关系,如农作物与病害之间的关系,家禽和饲养方法的关系等。然后完成知识融合,对于提取出的农牧实体,还需要识别其具体的含义并链接到其在知识图谱中的位置。现有方法是通过经验规则、自然语言处理技术(如实体对齐,属性对齐等技术)实现。最后进行知识图谱构建,将提取出的实体和关系按照预定义的知识图谱模型进行整合,形成知识图谱。

3、现有的农牧领域知识图谱构建方法存在以下缺点:不同的数据源需要使用不同的采集方法,如ocr识别、网页爬虫等,同时搜集到的数据存在大量冗余信息,数据的质量和可靠性无法保证。现有的许多知识图谱构建方法需要手动标记数据,这不仅耗时而且昂贵,限制了构建大规模和高质量的知识图谱的可能性。现有的知识抽取方法如命名体识别,关系抽取等,通常只能处理已标记的语义信息,无法处理未标注过的信息,导致这些方法无法从各类资料中准确、完全地抽取出所有相关的实体和关系,影响知识的完整性和正确性。同时现有方法通常是静态的,难以动态地更新和扩展知识图谱,以适应快速变化的环境和新的需求。农牧领域的知识量大,复杂度高,农牧领域的大量实体的融合依赖上下文关系。现有的方法(规则,实体对齐、属性对齐等)只能处理标注数据范围内的一些数据,无法处理较长的上下文关系数据。


技术实现思路

1、鉴于此,为解决上述技术问题或部分技术问题,本发明实施例提供一种农牧知识图谱的构建方法、装置、计算机设备及存储介质。

2、第一方面,本发明实施例提供一种农牧知识图谱的构建方法,包括:

3、根据农牧领域的业务场景以及业务需求设计农牧知识图谱的schema;

4、基于所述农牧知识图谱的schema设计农牧数据prompt模板;

5、基于所述农牧数据prompt模板通过大语言模型生成农牧领域专业数据;

6、基于所述农牧领域专业数据和已有农牧领域数据的数据特点,以及所述农牧知识图谱的schema设计农牧知识抽取prompt模板;

7、基于所述农牧知识抽取prompt模板,通过大语言模型对所述农牧领域专业数据和已有农牧领域数据进行农牧知识抽取;

8、将抽取到的农牧知识进行知识融合处理;

9、基于知识融合处理后的农牧知识,构建农牧知识图谱。

10、在一个可能的实施方式中,所述方法还包括:

11、根据农牧领域的业务场景以及业务需求,抽象出农牧领域内的全部实体,以及定义每个实体的属性和属性之间的关系。

12、在一个可能的实施方式中,所述方法还包括:

13、基于抽象出的全部实体、每个实体的属性和属性之间的关系设计大语言模型可识别的农牧数据prompt模板和农牧知识抽取prompt模板。

14、在一个可能的实施方式中,所述方法还包括:

15、获取用户端通过所述农牧数据prompt模板输入的prompt提示信息;

16、基于所述prompt提示信息通过大语言模型对农牧行业数据库进行数据抽取,得到农牧行业的专业数据;

17、基于预设的数据优化prompt模板,对抽取得到的农牧行业的专业数据进行数据优化。

18、在一个可能的实施方式中,所述方法还包括:

19、基于所述农牧知识抽取prompt模板,通过大语言模型对数据优化后的专业数据进行实体和实体关系抽取,得到包含实体的全部文本信息;

20、在所述全部文本信息中识别所述农牧知识抽取prompt模板对应的目标实体、所述目标实体之间的语义关系和所述目标实体的属性信息。

21、在一个可能的实施方式中,所述方法还包括:

22、通过大语言模型对所述目标实体的文本信息表达进行比较,确定相似度高于第一预设阈值的目标实体,进行实体融合;

23、通过大语言模型对进行实体融合后的目标实体的属性的相似度进行比较,将相似度高于第二预设阈值的属性进行融合。

24、在一个可能的实施方式中,所述方法还包括:

25、将进行知识融合处理后的农牧知识导入图数据库,得到农牧知识图谱。

26、第二方面,本发明实施例提供一种农牧知识图谱的构建装置,包括:

27、设计模块,用于根据农牧领域的业务场景以及业务需求设计农牧知识图谱的schema;

28、所述设计模块,还用于基于所述农牧知识图谱的schema设计农牧数据prompt模板;

29、所述设计模块,还用于基于所述农牧领域专业数据和已有农牧领域数据的数据特点,以及所述农牧知识图谱的schema设计农牧知识抽取prompt模板;

30、抽取模块,用于基于所述农牧知识抽取prompt模板,通过大语言模型对所述农牧领域专业数据和已有农牧领域数据进行农牧知识抽取;

31、融合模块,用于将抽取到的农牧知识进行知识融合处理;

32、构建模块,用于基于知识融合处理后的农牧知识,构建农牧知识图谱。

33、第三方面,本发明实施例提供一种计算机设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的农牧知识图谱的构建程序,以实现上述第一方面中所述的农牧知识图谱的构建方法。

34、第四方面,本发明实施例提供一种存储介质,包括:所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述第一方面中所述的农牧知识图谱的构建方法。

35、本发明实施例提供的农牧知识图谱的构建方案,通过根据农牧领域的业务场景以及业务需求设计农牧知识图谱的schema;基于所述农牧知识图谱的schema设计农牧数据prompt模板;基于所述农牧数据prompt模板通过大语言模型生成农牧领域专业数据;基于所述农牧领域专业数据和已有农牧领域数据的数据特点,以及所述农牧知识图谱的schema设计农牧知识抽取prompt模板;基于所述农牧知识抽取prompt模板,通过大语言模型对所述农牧领域专业数据和已有农牧领域数据进行农牧知识抽取;将抽取到的农牧知识进行知识融合处理;基于知识融合处理后的农牧知识,构建农牧知识图谱。相比于现有的农牧领域知识图谱构建方法中数据存在大量冗余信息、需要手动标记数据、知识的完整性和正确性较低、无法处理较长的上下文关系数据的问题。由本方案,首先是设计农牧知识图谱的schema,即抽象出农牧领域内的实体概念,定义每个实体的属性及属性之间的关系,通过大语言模型生成大量的农牧行业的领域知识,对已有的知识进行补充,缓解农牧领域知识搜集困难的问题,构建的知识图谱可以更加全面;其次,使用大语言模型对农牧行业的知识库进行知识抽取,包括实体抽取和关系抽取,该过程无需标注数据,训练模型,接着使用大语言模型进行知识融合,利用大模型强大的语言能力准确地进行实体对齐,可以很好避免知识融合过程中的歧义问题,同时有效地降低构建知识图谱过程的复杂度。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1