一种大语言模型的调度与训练方法、系统、设备及介质与流程

本技术涉及人工智能领域，尤其是涉及一种大语言模型的调度与训练方法、系统、设备及介质。

背景技术：

1、当大语言模型的参数量增大时，大参数量的模型会对计算资源与训练样本有着更高的要求。为了解决大参数量的模型中存在的问题，目前主要通过模型压缩、模型剪枝或模型量化等技术将大参数量的模型进行压缩，得到轻量级的模型，以减少大参数量的模型对计算资源的消耗。

2、然而轻量级的模型在表示能力上与大参数量的模型相比存在着较大的差距，因此，在实际应用中，需要根据具体的需求和场景来选择适合的模型大小，在大参数模型的资源需求和小参数模型的表示能力之间进行权衡。

3、目前，在垂类知识问答的过程中，对于用户输入的垂类问题，通常将垂类问题输入单个问答模型，根据问答模型的输出结果向用户返回回答结果。若问答模型采用大参数量的模型，尽管提升了问答模型的表示能力，但在对问答模型进行训练时会对计算资源有着更高的要求；若问答模型采用轻量化的模型，那么虽然减轻了训练时计算资源要求的负担，但同时也降低了问答模型的表示能力。当前，问答模型的训练算力需求与其表示能力之间难以做到较好的兼顾。

技术实现思路

1、为了能够较好的兼顾问答模型的训练算力需求与表示能力，本技术提供一种大语言模型的调度与训练方法、系统、设备及介质。

2、第一方面，本技术提供了一种大语言模型的调度与训练方法，所述方法包括以下步骤：

3、获取垂类问题；

4、根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型，所述综合垂类模型中包含有多个所述细分垂类模型，各所述细分垂类模型均为轻量级模型；

5、将所述垂类问题输入选取出的所述细分垂类模型中以获取由所述细分垂类模型输出的多个第一回答结果；

6、对各所述第一回答结果进行整理拼接以得到与所述垂类问题对应的第二回答结果，完成对所述垂类问题的解答。

7、通过采用上述技术方案，针对于用户输入的垂类问题，基于垂类问题在综合垂类模型中选取出至少一个细分垂类模型对垂类问题进行解答，通过对于多个细分垂类模型的调用以保证模型的表示能力；同时，细分垂类模型均为轻量级模型，多个轻量级模型的训练计算资源需求远远小于一个大参数模型的训练计算资源需求，减轻了训练时计算资源要求的负担。较好的兼顾了问答模型的训练算力需求与其表示能力。

8、可选的，在根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型前，还包括对所述综合垂类模型的训练过程，所述训练过程具体包括以下步骤：

9、获取垂类文本数据；

10、对所述垂类文本数据进行文本自分类以得到多个垂类文本簇；

11、通过各所述垂类文本簇对所述综合垂类模型进行循环预训练，以生成与各所述垂类文本簇对应的所述细分垂类模型。

12、通过采用上述技术方案，完成对垂类文本的自分类，在进行文本分类的过程中，不设定分类目标，而是自动的根据垂类文本的自身语义进行文本分类，从而确定不同垂直领域的垂类文本簇。基于自动划分的垂类文本簇对综合垂类模型进行训练，从而得到各个垂类文本簇对应的垂直领域的细分垂类模型，保证了各个细分垂类模型对其对应垂直领域的表示能力。

13、可选的，在对所述垂类文本数据进行文本自分类以得到多个垂类文本簇中，具体包括：

14、对所述垂类文本数据进行切片，得到多个语义切片；

15、在全部语义切片中确定出若干个相似切片集合，所述相似切片集合中包含有多个所述语义切片；

16、分别计算各所述相似切片集合的集合评分；

17、选取所述集合评分最高的若干个所述相似切片集合作为所述垂类文本簇，同时确定各所述垂类文本簇的类心点。

18、通过采用上述技术方案，通过评选得分最高的若干个相似切片集合以确定垂类文本簇，相似切片集合中的各个语义切片之间的语义相似度高，保证了垂类文本簇的聚合程度高，从而使得垂类文本簇能够较好的表示特定的垂直领域。同时完成垂类文本簇的类心点的确定，通过类心点实现对垂类文本簇的主要特征的描述。

19、可选的，在全部语义切片中确定出若干个相似切片集合，具体包括：

20、在全部所述语义切片中选取出任一个所述语义切片；

21、分别计算选取出的所述语义切片与其他所述语义切片之间的语义相似度；

22、不放回取出若干数量的语义相似度大于第一相似度阈值的其他所述语义切片，完成所述相似切片集合的构建。

23、通过采用上述技术方案，在进行相似切片集合的确定时，从全部语义切片中进行不放回取出，保证不同的相似切片集合间不存在相同的语义切片。同时对相似切片集合中包含的语义切片的数量进行限定，从而在一定程度上避免了大类侵蚀小类或语料内容不平衡而导致的密集类对稀疏类的侵蚀。

24、可选的，在分别计算各所述相似切片集合的集合评分中，具体包括：

25、分别计算所述相似切片集合中任意两个所述语义切片之间的语义相似度；

26、根据所述相似切片集合中任意两个所述语义切片之间的语义相似度计算所述相似切片集合的第一相似度平均值与第一相似度标准差；

27、对所述第一相似度平均值与所述第一相似度标准差进行归一化处理，得到第二相似度平均值与第二相似度标准差；

28、通过预置的集合评分计算公式对所述第二相似度平均值与所述第二相似度标准差进行处理，计算得到所述集合评分。

29、通过采用上述技术方案，通过计算集合评分，可以综合考虑相似切片集合的相似度分布情况，既关注相似切片集合内部的相似度平均水平，又考虑相似度的分散程度。这样可以对相似切片集合进行排序，优先选择评分较高的相似切片集合进行后续处理，以提高聚类的效果和准确性。

30、可选的，在根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型中，具体包括：

31、对所述垂类问题进行向量化，得到垂类问题向量；

32、分别计算所述垂类问题向量与各所述细分垂类模型对应的所述相似切片集合的所述类心点之间的语义相似度；

33、选取全部语义相似度大于第二相似度阈值的所述细分垂类模型。

34、通过采用上述技术方案，类心点用于对相似切片集合的主要特征进行描述，通过类心点与垂类问题向量之间的语义相似度调度与垂类问题对应的细分垂类模型，从而保证细分垂类模型与垂类问题之间的对应性。

35、可选的，在对各所述第一回答结果进行整理拼接以得到与所述垂类问题对应的第二回答结果中，具体包括：

36、根据所述垂类问题向量获取垂类问题提示词；

37、对各所述第一回答结果进行拼接，并在所有的拼接文本前加入所述垂类问题提示词以得到所述第二回答结果。

38、通过采用上述技术方案，根据用户的原始查询垂类问题向量确定对应的垂类问题提示词，垂类问题提示词能够为第二回答结果的生成提供有效的上下文信息，进而使得根据垂类问题提示词拼接得到的第二回答结果能够更好的适应于查询的意图和上下文，在生成回答时对垂类问题具有更好的针对性，提高了回答的质量，使其更具相关性和可读性。

39、在本技术的第二方面提供了一种大语言模型的调度与训练系统，所述系统包括以下模块：

40、用户垂类问题获取模块，用于获取垂类问题；

41、细分垂类模型选取模块，用于根据所述垂类问题在综合垂类模型中选取出至少一个细分垂类模型，所述综合垂类模型中包含有多个所述细分垂类模型，各所述细分垂类模型均为轻量级模型；

42、第一回答结果确定模块，用于将所述垂类问题输入选取出的所述细分垂类模型中以获取由所述细分垂类模型输出的多个第一回答结果；

43、第二回答结果确定模块，用于对各所述第一回答结果进行整理拼接以得到与所述垂类问题对应的第二回答结果，完成对所述垂类问题的解答。

44、在本技术的第三方面提供了一种电子设备；

45、所述电子设备包括处理器、存储器、用户接口及网络接口，所述存储器用于存储指令，所述用户接口和网络接口用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行一种大语言模型的调度与训练方法。

46、在本技术的第四方面提供了一种计算机可读存储介质；

47、所述计算机可读存储介质存储有指令，当所述指令被执行时，执行一种大语言模型的调度与训练方法。

48、综上所述，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

49、1、针对于用户输入的垂类问题，基于垂类问题在综合垂类模型中选取出至少一个细分垂类模型对垂类问题进行解答，通过对于多个细分垂类模型的调用以保证模型的表示能力；同时，细分垂类模型均为轻量级模型，多个轻量级模型的训练计算资源需求远远小于一个大参数模型的训练计算资源需求，减轻了训练时计算资源要求的负担。较好的兼顾了问答模型的训练算力需求与其表示能力。

50、2、完成对垂类文本的自分类，在进行文本分类的过程中，不设定分类目标，而是自动的根据垂类文本的自身语义进行文本分类，从而确定不同垂直领域的垂类文本簇。基于自动划分的垂类文本簇对综合垂类模型进行训练，从而得到各个垂类文本簇对应的垂直领域的细分垂类模型，保证了各个细分垂类模型对其对应垂直领域的表示能力。

51、3、通过类心点与垂类问题向量之间的语义相似度调度与垂类问题对应的细分垂类模型，从而保证细分垂类模型与垂类问题之间的对应性。