一种基于LLM的多任务数据处理方法及存储介质与流程

本发明涉及大语言模型领域，特别是涉及一种基于llm的多任务数据处理方法及存储介质。

背景技术：

1、自然语言类处理技术在如今的社会中应用广泛，例如关系抽取、实体识别、文本纠错、分词与词性标注等，这些应用程序都需要处理大量的文本数据，使用自然语言处理技术来对文本进行理解和分析；另一方面，随着大语言模型的迅速发展，开始使用大语言模型来处理自然语言类处理任务，然而，大语言模型的参数量巨大，如何使用一个大语言模型处理多个自然语言类处理任务至关重要。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：一种基于llm的多任务数据处理方法，所述方法用于基于目标llm模型，获取目标语句在预设任务下的输出结果，所述方法包括如下步骤：

2、s100，获取预设任务列表a={a1，a2，…，ai，…，am}，ai是第i个预设任务，i的取值范围是1到m，m是预设任务的数量；所述预设任务为在目标llm模型上处理的自然语言类处理任务；

3、s200，获取预设任务ai包含的子任务列表集bi={bi，1，bi，2，…，bi，j，…，bi，ni}，将bi按照第一划分原则进行划分，获取划分后的第一组合任务列表ci={ci，1，ci，2，…，ci，r，…，ci，si}；

4、其中，第j个子任务列表bi，j包括预设任务ai在第j个预设领域中对应的所有子任务，j的取值范围是1到ni，ni是预设领域的数量；bi对应的第r个第一组合任务ci，r至少包括一个子任务，r的取值范围是1到si，si是bi对应的第一组合任务的数量，si≤ni；所述第一划分原则为根据子任务的一级任务类别进行划分；

5、s300，若ci，r包含的子任务的数量＞预设子任务数量阈值，将ci，r按照第二划分原则进行划分，获取ci，r对应的第二组合任务列表di，r={di，r1，di，r2，…，di，ry，…，di，rp}，并使用di，r1，di，r2，…，di，ry，…，di，rp替换第一组合任务列表ci中的ci，r，从而获取ai对应的最终组合任务列表gi={gi，1，gi，2，…，gi，x，…，gi，q}；

6、其中，di,ry是将ci，r按照第二划分原则进行划分后得到的第y个第二组合任务，y的取值范围是1到p，p是将ci，r按照第二划分原则进行划分后得到的第二组合任务的数量；

7、gi，x是第x个最终组合任务，x的取值范围是1到q，q是最终组合任务的数量，q=si+p-1；

8、所述第二划分原则为根据子任务的二级任务类别进行划分，所述二级任务类别低于所述一级任务类别；

9、s400，获取gi，x对应的任务模版ei，x，从而获取任务模版列表ei={ei，1，ei，2，…，ei，x，…，ei，q}，所述任务模版ei，x包括：预设样例语句和“参考预设样例语句，输出目标语句对应的子任务输出结果”；其中，预设样例语句为：gi，x包含的每一子任务对应的预设样例语句和每一预设样例语句对应的子任务输出结果；所述子任务输出结果为对预设样例语句或目标语句按照所述子任务进行内容抽取后的输出内容；

10、s500，获取用户输入目标llm模型的预设任务ai和目标语句，获取所述目标语句对应的子任务输出结果fi={fi，1，fi，2，…，fi，x，…，fi，q}，fi，x是gi，x对应的子任务输出结果。。

11、一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的基于llm的多任务数据处理方法。

12、本发明至少具有以下有益效果：

13、综上，获取预设任务列表，获取预设任务包含的子任务列表，并将子任务按照目标语句所在领域的第一事件类型进行拆分，获取第一组合任务列表，若任一第一组合任务包含的子任务数量大于预设子任务数量阈值，将该第一组合任务按照第二事件类型进行划分，获取该第一组合任务对应的第二组合任务，并将该第二组合任务在第一组合任务列表中替换掉第一组合任务，从而获取最终任务组合列表，获取最终任务组合列表对应的任务模板列表，获取用户输入目标llm模型的预设任务和目标语句，获取输出结果；本发明通过对每一预设任务的子任务按照目标领域的事件类型进行组合，并且通过对预设任务的选择，实现在同一大预言模型下的多个任务的处理，充分利用大预言模型的能力；将多个紫然语言类处理任务房在同一大预言模型上，使用户的体验感更好。

技术特征：

1.一种基于llm的多任务数据处理方法，其特征在于，所述方法用于基于目标llm模型，获取目标语句在预设任务下的输出结果，所述方法包括如下步骤：

2.根据权利要求1所述的基于llm的多任务数据处理方法，其特征在于，预设任务列表至少包括：关系抽取、实体识别、文本校对。

3.根据权利要求1所述的基于llm的多任务数据处理方法，其特征在于，预设样例语句还包括：指定子任务对应的预设样例语句和指定子任务，所述指定子任务是输出为空的子任务。

4.根据权利要求1所述的基于llm的多任务数据处理方法，其特征在于，每一任务模版中输入的字符内容长度≤m0，其中，m0为预设的输入字符长度阈值。

5.根据权利要求4所述的基于llm的多任务数据处理方法，其特征在于，s400中，获取gi，x对应的任务模版ei，x中的预设样例语句包括如下步骤：

6.根据权利要求5所述的基于llm的多任务数据处理方法，其特征在于，s440还包括：若待使用组合列表ji，x中存在多个ki，xe≤m0，将ki，xe≤m0的待使用组合标记为待确定组合，随机选择一个待确定组合作为gi，x对应的任务模版ei，x。

7.根据权利要求5所述的基于llm的多任务数据处理方法，其特征在于，s440还包括，若存在ki，xe≤m0，且m0-ki，xe≥k0，其中，k0是预设差距阈值，执行如下步骤：

8.根据权利要求7所述的基于llm的多任务数据处理方法，其特征在于，6≤a0≤8。

9.根据权利要求8所述的基于llm的多任务数据处理方法，其特征在于，a0=7。

10.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-9中任意一项的所述的基于llm的多任务数据处理方法。

技术总结
本发明提供了一种基于LLM的多任务数据处理方法及存储介质，涉及大语言模型领域，所述方法包括：获取预设任务列表，获取预设任务包含的子任务列表，并将子任务按照目标语句所在领域的第一事件类型进行拆分，获取第一组合任务列表，若任一第一组合任务包含的子任务数量大于预设子任务数量阈值，将该第一组合任务按照第二事件类型进行划分，获取该第一组合任务对应的第二组合任务，并将该第二组合任务在第一组合任务列表中替换掉第一组合任务，从而获取最终任务组合列表，获取最终任务组合列表对应的任务模板列表，获取用户输入目标LLM模型的预设任务和目标语句，获取输出结果；实现在同一大预言模型下的多个任务的处理。

技术研发人员：于伟,石江枫,赵洲洋,靳雯,王全修,王明超
受保护的技术使用者：北京睿企信息科技有限公司
技术研发日：
技术公布日：2024/1/16