一种指令生成方法、装置、设备及存储介质与流程

文档序号:37158239发布日期:2024-02-26 17:23阅读:10来源:国知局
一种指令生成方法、装置、设备及存储介质与流程

本技术涉及计算机,特别是涉及一种指令生成方法、装置、设备及存储介质。


背景技术:

1、大模型,是指参数规模超过千万的机器学习模型,主要应用于自然语言处理、计算机视觉、语音识别等领域。随着计算机技术的发展,大模型在这些领域有了越来越突出的表现。

2、目前,大模型基于指令可以执行许多场景下的不同任务。然而,在一些专业性较强的场景下,大模型往往表现欠佳,导致大模型具有难以适用于专业性较强的领域。


技术实现思路

1、基于上述问题,本技术提供了一种指令生成方法、装置、设备及存储介质,目的在于解决大模型难以适用于专业性较强的领域的问题。

2、本技术实施例公开了如下技术方案:

3、第一方面:本技术提供一种指令生成方法,包括:

4、对专业领域数据进行语义特征提取,获得语义特征;

5、根据所述语义特征,从所述专业领域数据中获取有效知识片段;

6、将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令。

7、在一种可能的实现方式中,所述根据所述语义特征,从所述专业领域数据中获取有效知识片段,包括:

8、根据所述语义特征,对所述专业领域数据进行分段,获得多个专业领域数据片段;

9、对所述多个专业领域数据片段进行分类,获得多个分类后的专业领域数据片段;

10、从所述多个分类后的专业领域数据片段中,获取有效知识片段。

11、在一种可能的实现方式中,所述从所述多个分类后的专业领域数据片段中,获取有效知识片段,包括:

12、从所述多个分类后的专业领域数据片段中,获取不完整有效知识片段;

13、将与所述不完整有效知识片段关联的专业领域数据片段,和所述不完整有效知识片段进行拼接,获得拼接后的有效知识片段;

14、所述将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令,包括:

15、将所述拼接后的有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述拼接后的有效知识片段对应的指令。

16、在一种可能的实现方式中,所述将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令之前,包括:

17、对多个所述有效知识片段进行去重处理,获得去重后的有效知识片段;

18、所述将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令,包括:

19、将所述去重后的有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述去重后的有效知识片段对应的指令。

20、在一种可能的实现方式中,所述对多个所述有效知识片段进行去重处理,获得去重后的有效知识片段,包括:

21、根据多个所述有效知识片段之间的字面相似度和哈希hash编码相似度,计算所述多个所述有效知识片段之间的相似度;

22、将大于阈值的相似度对应的多个所述有效知识片段进行合并,获得所述去重后的有效知识片段。

23、在一种可能的实现方式中,所述提示词用于指示所述大模型生成模糊指令,所述将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令,包括:

24、将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词对所述有效知识片段进行拆解,获得所述有效知识片段中的专业术语;

25、根据所述提示词和所述专业术语,生成所述有效知识片段对应的模糊指令,所述模糊指令为不包含专业术语的指令。

26、在一种可能的实现方式中,所述根据所述语义特征,从所述专业领域数据中获取有效知识片段,包括:

27、将所述语义特征输入分类器,从所述专业领域数据中获取有效知识片段,所述分类器是基于标注类数据进行训练得到的,所述标注类数据包括有效知识类数据、无效知识类数据和不完整有效知识类数据。

28、第二方面:本技术提供一种指令生成装置,包括:

29、提取单元、获取单元和生成单元;

30、所述提取单元,用于对专业领域数据进行语义特征提取,获得语义特征;

31、所述获取单元,用于根据所述语义特征,从所述专业领域数据中获取有效知识片段;

32、所述生成单元,用于将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令。

33、在一种可能的实现方式中,所述获取单元,包括:分段子单元、分类子单元和第一获取子单元;

34、所述分段子单元,用于根据所述语义特征,对所述专业领域数据进行分段,获得多个专业领域数据片段;

35、所述分类子单元,用于对所述多个专业领域数据片段进行分类,获得多个分类后的专业领域数据片段;

36、所述第一获取子单元,用于从所述多个分类后的专业领域数据片段中,获取有效知识片段。

37、在一种可能的实现方式中,所述获取单元,包括:

38、第二获取子单元和拼接子单元;

39、所述第二获取子单元,用于从所述多个分类后的专业领域数据片段中,获取不完整有效知识片段;

40、所述拼接子单元,用于将与所述不完整有效知识片段关联的专业领域数据片段,和所述不完整有效知识片段进行拼接,获得拼接后的有效知识片段;

41、所述生成单元,具体用于:

42、将所述拼接后的有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述拼接后的有效知识片段对应的指令。

43、在一种可能的实现方式中,所述装置,还包括:去重单元;

44、所述去重单元,用于对多个所述有效知识片段进行去重处理,获得去重后的有效知识片段;

45、所述生成单元,具体用于:

46、将所述去重后的有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述去重后的有效知识片段对应的指令。

47、在一种可能的实现方式中,所述去重单元,包括:、

48、计算子单元和合并子单元;

49、所述计算子单元,用于根据多个所述有效知识片段之间的字面相似度和哈希hash编码相似度,计算所述多个所述有效知识片段之间的相似度;

50、所述合并子单元,用于将大于阈值的相似度对应的多个所述有效知识片段进行合并,获得所述去重后的有效知识片段。

51、在一种可能的实现方式中,所述提示词用于指示所述大模型生成模糊指令,所述生成单元,包括:拆解子单元和生成子单元;

52、所述拆解子单元,用于将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词对所述有效知识片段进行拆解,获得所述有效知识片段中的专业术语;

53、所述生成子单元,用于根据所述提示词和所述专业术语,生成所述有效知识片段对应的模糊指令,所述模糊指令为不包含专业术语的指令。

54、在一种可能的实现方式中,所述获取单元,用于:将所述语义特征输入分类器,从所述专业领域数据中获取有效知识片段,所述分类器是基于标注类数据进行训练得到的,所述标注类数据包括有效知识类数据、无效知识类数据和不完整有效知识类数据。

55、第三方面:本技术提供一种电子设备,所述电子设备包括:处理器以及存储器;

56、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;

57、所述处理器用于根据所述程序代码中的指令执行如上所述的一种指令生成方法的步骤。

58、第四方面:本技术提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的一种指令生成方法的步骤。

59、相较于现有技术,本技术具有以下有益效果:

60、本技术提供一种指令生成方法、装置、设备及存储介质,通过对专业领域数据进行语义特征提取,获得语义特征;根据所述语义特征,从所述专业领域数据中获取有效知识片段;将所述有效知识片段和提示词输入大模型,使所述大模型根据所述提示词生成所述有效知识片段对应的指令。本技术中,从专业领域数据中可以提取专业性的有效知识片段,基于大模型可以生成该专业性的有效知识片段对应的指令。由此,大模型后续可以基于生成的该指令执行专业领域的任务,使得大模型可以适用于专业性较强的领域。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1