基于大模型的垂直领域数据整合方法、装置、设备及介质与流程

本发明涉及数据处理，具体涉及一种基于大模型的垂直领域数据整合方法、装置、设备及介质。

背景技术：

1、垂直领域大模型是指在特定的领域或行业中经过训练和优化的大型语言模型，该模型可以用于解决该领域内的各种问题，具有较高的准确性和效率。与通用语言模型相比，垂直领域大模型更专注于某个特定领域的知识和技能，具备更高的领域专业性和实用性。

2、目前，将垂直领域与大模型结合起来的方法有以下几种：（1）预训练-微调：这是目前应用最广泛的方法之一。在这种方法中，模型首先在大规模的通用语料库上进行预训练，以学习语言的一般特征和结构。然后，通过在特定领域的数据上进行微调，使模型适应该领域的特定任务。（2）数据增强：数据增强是通过对原始数据进行一系列随机变换和处理来生成新的训练样本的技术。在垂直领域的大型模型中，可以使用各种数据增强技术来扩充训练数据集，以提高模型的泛化能力和鲁棒性。

3、而预训练-微调方法在大多数情况下是无监督或弱监督的，模型主要从大规模通用数据中学习。因此，模型可能缺乏特定领域的专业知识和细节，这限制了模型在垂直领域中的准确性和实用性。另外，不同领域之间的知识迁移可能受到数据分布的差异、领域特定的语言和规则等因素的影响，使模型在特定领域的表现仍然有限。

4、另一方面，数据增强方法可能导致模型对于某些特定的数据变化过于敏感，从而增加了过拟合的风险。如果增强的数据过于接近训练集中的某些样本，模型可能会在处理相似的数据时表现良好，但在面对新的、真实场景中的数据时表现较差。

技术实现思路

1、有鉴于此，本技术实施例提供一种基于大模型的垂直领域数据整合方法、装置、设备及介质，以实现垂直领域知识、数据和逻辑的高效整合。

2、本技术实施例提供以下技术方案：一种基于大模型的垂直领域数据整合方法，包括：

3、通过每个垂直领域对应的垂直领域代理接收用户输入的查询语句，其中，不同垂直领域分别设置有对应的垂直领域代理；

4、调用预先已训练的intent大模型，通过所述intent大模型识别所述查询语句的查询意图；

5、在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和/或，调用预先已训练的extraction大模型抽取所述查询意图对应的垂直领域知识；

6、调用预先已训练的digest大模型，将获得的所述实时数据和/或所述垂直领域知识整合为所述查询语句的应答数据。

7、根据本技术一种实施例，在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和/或，调用预先已训练的extraction大模型抽取所述查询意图对应的垂直领域知识，包括：

8、根据所述垂直领域包括的不同知识体系，在所述垂直领域代理中，为每个所述知识体系设置对应的知识体系domainagent；

9、通过所述intent大模型确定所述查询意图对应的知识体系domainagent；

10、在确定的知识体系domainagent中，调用所述外部程序接口提取所述查询意图对应的实时数据，和/或，调用所述extraction大模型抽取所述查询意图对应的垂直领域知识。

11、根据本技术一种实施例，在确定的知识体系domainagent中，调用所述外部程序接口提取所述查询意图对应的实时数据，和/或，调用所述extraction大模型抽取所述查询意图对应的垂直领域知识，包括：

12、根据不同知识体系包括的不同知识属性，在每个所述知识体系domainagent中，为每个知识属性设置对应的子知识体系domainagent；

13、通过所述intent大模型确定所述查询意图对应的知识体系domainagent以及在该知识体系domainagent中对应的子知识体系domainagent；

14、在确定的子知识体系domainagent中，调用所述外部程序接口提取所述查询意图对应的实时数据，和/或，调用所述extraction大模型抽取所述查询意图对应的垂直领域知识。

15、根据本技术一种实施例，还包括：

16、在每个所述知识体系domainagent和每个所述子知识体系domainagent中均分别设置有数据分析端口、知识抽取端口以及逻辑整合端口，以通过所述数据分析端口调用预设的外部程序接口，提取所述查询意图对应的实时数据，通过所述知识抽取端口调用预先已训练的extraction大模型，抽取所述查询意图对应的垂直领域知识获取所述垂直领域知识，通过所述逻辑整合端口调用预先已训练的digest大模型，将获得的所述实时数据和/或所述垂直领域知识整合为所述查询语句的应答数据。

17、根据本技术一种实施例，通过所述intent大模型识别所述查询语句的查询意图，包括：

18、通过所述intent大模型识别所述查询语句的查询意图的类型，其中，所述查询意图的类型包括实时数据查询和垂直领域知识查询。

19、根据本技术一种实施例，还包括：

20、根据接收到的模型训练指令，调用训练数据，对待训练intent大模型、待训练extraction大模型、待训练digest大模型分别进行训练，分别得到用于识别查询意图的所述intent大模型、用于抽取垂直领域知识的所述extraction大模型以及用于数据整合的所述digest大模型。

21、根据本技术一种实施例，所述待训练intent大模型、所述待训练extraction大模型以及所述待训练digest大模型的模型架构均是基于transformer架构的大模型。

22、本技术实施例还提供一种基于大模型的垂直领域数据整合装置，包括：

23、查询接收模块，用于通过每个垂直领域对应的垂直领域代理接收用户输入的查询语句，其中，不同垂直领域分别设置有对应的垂直领域代理；

24、意图识别模块，用于调用预先已训练的intent大模型，通过所述intent大模型识别所述查询语句的查询意图；

25、数据获取模块，用于在所述垂直领域代理中，根据所述查询意图，调用预设的外部程序接口提取所述查询意图对应的实时数据，和/或，调用预先已训练的extraction大模型抽取所述查询意图对应的垂直领域知识；

26、数据整合模块，用于调用预先已训练的digest大模型，将获得的所述实时数据和/或所述垂直领域知识整合为所述查询语句的应答数据。

27、本技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的基于大模型的垂直领域数据整合方法。

28、本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述的基于大模型的垂直领域数据整合方法的计算机程序。

29、与现有技术相比，本发明实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

30、（1）高效整合：利用大语言模型的智能语言理解能力，实现垂直领域知识、数据和逻辑的高效整合。

31、（2）准确应用：结合领域特定的知识库、数据源和逻辑规则，提高模型在垂直领域的应用准确性和可靠性。

32、（3）自动化处理：通过预训练的大语言模型，实现自动化的知识、数据和逻辑处理，节省人力和时间成本。

33、（4）可扩展性：该方法可适用于不同的垂直领域，通过定制化的领域知识库和规则，扩展到不同领域的知识整合和应用。