标准问题确定方法及装置、电子设备和存储介质与流程

文档序号:37076210发布日期:2024-02-20 21:30阅读:11来源:国知局
标准问题确定方法及装置、电子设备和存储介质与流程

本公开涉及人工智能领域,尤其涉及一种标准问题确定方法及装置、电子设备和存储介质。


背景技术:

1、标准问题为问答系统中预先设置的问题。通常,问答系统需要根据用户提出的问题,选择出正确的标准问题,以启动相应的处理流程,或反馈给用户相应的答案。

2、标准问题可以分为头部标准问题和长尾标准问题。头部标准问题的类别数量远小于长尾标准问题,头部标准问题中可能存在语义相似的标准问题。但是语义相似的头部标准问题对应的处理流程却不一定相同。

3、另外,长尾标准问题经常变动,所以在选择标准问题时,需要随着长尾标准问题的变动对选择策略进行调整。

4、鉴于标准问题的这些特性,亟需一种方法可以根据用户提出的问题准确且高效地确定出标准问题。


技术实现思路

1、有鉴于此,本公开提出了一种标准问题确定方案。

2、根据本公开的一方面,提供了一种标准问题确定方法,包括:将第一问题进行第一处理,得到第一问题的第一指标,所述第一处理包括匹配或分类,所述第一指标表征所述第一处理所得结果;在所述第一指标不满足预设条件的情况下,将所述第一问题进行第二处理,得到所述第一问题的第二指标,并将所述第二指标对应的标准问题确定为目标标准问题,所述第二处理包括分类或匹配,所述第一处理与所述第二处理不同,所述第二指标表征所述第二处理所得结果,所述目标标准问题包括头部标准问题,和/或,长尾标准问题。

3、在一种可能的实现方式中,所述第一处理为匹配,所述第二处理为分类,所述第一指标为第一相似度,所述预设条件为第一相似度大于第一相似度阈值,所述第二指标为第一类别,所述将第一问题进行第一处理,得到第一问题的第一指标,包括:确定所述第一问题与至少一个候选标准问题的第一相似度,所述至少一个候选标准问题包括标准问题库中与所述第一问题匹配的标准问题;在所述第一指标不满足预设条件的情况下,将所述第一问题进行第二处理,得到所述第一问题的第二指标,并将所述第二指标对应的标准问题确定为目标标准问题,包括:在数值最高的第一相似度不大于所述第一相似度阈值的情况下,确定所述第一问题的第一类别,将所述标准问题库中与所述第一类别对应的头部标准问题确定为所述目标标准问题。

4、在一种可能的实现方式中,所述第一处理为分类,所述第二处理为匹配,所述第一指标为第一类别,所述预设条件为第一类别对应标准问题库中的单个头部标准问题,所述第二指标为第一相似度,所述将第一问题进行第一处理,得到第一问题的第一指标,包括:确定所述第一问题的第一类别,单个所述第一类别对应所述标准问题库中单个头部标准问题,或全部长尾问题;在所述第一指标不满足预设条件的情况下,将所述第一问题进行第二处理,得到所述第一问题的第二指标,并将所述第二指标对应的标准问题确定为目标标准问题,包括:在所述第一类别对应所述标准问题库中全部长尾问题的情况下,确定所述第一问题与至少一个候选标准问题的第一相似度,并将数值最高的第一相似度对应的候选标准问题,确定为所述目标标准问题,所述至少一个候选标准问题包括标准问题库中与所述第一问题匹配的长尾标准问题。

5、在一种可能的实现方式中,其特征在于,所述方法还包括:在所述第一指标满足预设条件的情况下,将所述第一指标对应的标准问题确定为所述目标标准问题。

6、在一种可能的实现方式中,所述确定所述第一问题的第一类别,将所述标准问题库中与所述第一类别对应的头部标准问题确定为所述目标标准问题,基于头部标准问题分类模型实现,所述头部标准问题分类模型的训练过程,包括:确定所述标准问题库中的至少一个头部标准问题,以及至少一个长尾标准问题,以及与各所述头部标准问题对应的第一拓展问题;确定所述标准问题库以外的至少一个第二问题;使用各所述头部标准问题,和/或,各所述第一拓展问题构成的第一正样本,以及各所述长尾标准问题,和/或,各所述第二问题构成的第一负样本,训练所述头部标准问题分类模型。

7、在一种可能的实现方式中,确定所述标准问题库中的至少一个头部标准问题,以及至少一个长尾标准问题,包括:统计所述标准问题库中各标准问题在预设时间段内的使用频率;根据所述使用频率,确定出各所述头部标准问题和各所述长尾标准问题。

8、在一种可能的实现方式中,所述确定所述第一问题与至少一个候选标准问题的第一相似度,并将数值最高的第一相似度对应的候选标准问题,确定为所述目标标准问题,基于长尾标准问题匹配模型实现,所述长尾标准问题匹配模型的训练过程,包括:确定所述标准问题库中的至少一个长尾标准问题,以及与各所述长尾标准问题对应的第二拓展问题;确定所述标准问题库以外的至少一个问题组,单个所述问题组包括两个问题;在所述问题组中的两个问题的第二相似度大于预设的第二相似度阈值的情况下,将所述问题组作为第二正样本;在所述问题组中的两个问题的第二相似度不大于预设的第二相似度阈值的情况下,将所述问题组作为第二负样本;根据所述第二正样本,和/或,由所述长尾标准问题以及所述第二拓展问题构成的第三正样本,和/或,所述第二负样本,构建对比学习样本;使用所述对比学习样本,训练所述长尾标准问题匹配模型。

9、在一种可能的实现方式中,根据所述第二正样本,构建对比学习样本,包括:按照预设的第一删除量,删除单个第二正样本中的一个问题中的词,得到与所述单个第二正样本对应的第三负样本;基于所述单个第二正样本及其对应的第三负样本,构成所述对比学习样本。

10、在一种可能的实现方式中,根据由所述长尾标准问题以及所述第二拓展问题构成的第三正样本,构建对比学习样本,包括:按照预设的第二删除量,删除单个第三正样本中的一个问题中的词,得到与所述单个第三正样本对应的第四负样本;基于所述单个第三正样本及其对应的第四负样本,构成所述对比学习样本。

11、在一种可能的实现方式中,根据所述第二负样本,构建对比学习样本,包括:按照预设的第三删除量,删除单个第二负样本中的一个问题中的词,得到与所述单个第二负样本对应的第四正样本;基于所述单个第二负样本及其对应的第四正样本,构成所述对比学习样本。

12、根据本公开的另一方面,提供了一种标准问题确定装置,包括:

13、第一指标确定单元,用于将第一问题进行第一处理,得到第一问题的第一指标,所述第一处理包括匹配或分类,所述第一指标表征所述第一处理所得结果;

14、目标标准问题确定单元,用于在所述第一指标不满足预设条件的情况下,将所述第一问题进行第二处理,得到所述第一问题的第二指标,并将所述第二指标对应的标准问题确定为目标标准问题,所述第二处理包括分类或匹配,所述第一处理与所述第二处理不同,所述第二指标表征所述第二处理所得结果,所述目标标准问题包括头部标准问题,和/或,长尾标准问题。

15、在一种可能的实现方式中,所述第一处理为匹配,所述第二处理为分类,所述第一指标为第一相似度,所述预设条件为第一相似度大于第一相似度阈值,所述第二指标为第一类别,

16、所述第一指标确定单元,包括:

17、第一相似度确定单元,用于确定所述第一问题与至少一个候选标准问题的第一相似度,所述至少一个候选标准问题包括标准问题库中与所述第一问题匹配的标准问题;

18、所述目标标准问题确定单元,包括:

19、目标问题确定子单元a,用于在数值最高的第一相似度不大于所述第一相似度阈值的情况下,确定所述第一问题的第一类别,将所述标准问题库中与所述第一类别对应的头部标准问题确定为所述目标标准问题。

20、在一种可能的实现方式中,所述第一处理为分类,所述第二处理为匹配,所述第一指标为第一类别,所述预设条件为第一类别对应标准问题库中的单个头部标准问题,所述第二指标为第一相似度,

21、所述第一指标确定单元,包括:

22、第一类别确定单元,用于确定所述第一问题的第一类别,单个所述第一类别对应所述标准问题库中单个头部标准问题,或全部长尾问题;

23、所述目标标准问题确定单元,包括:

24、目标问题确定子单元b,用于在所述第一类别对应所述标准问题库中全部长尾问题的情况下,确定所述第一问题与至少一个候选标准问题的第一相似度,并将数值最高的第一相似度对应的候选标准问题,确定为所述目标标准问题,所述至少一个候选标准问题包括标准问题库中与所述第一问题匹配的长尾标准问题。

25、在一种可能的实现方式中,所述装置还包括:

26、目标问题确定子单元c,用于在所述第一指标满足预设条件的情况下,将所述第一指标对应的标准问题确定为所述目标标准问题。

27、在一种可能的实现方式中,所述目标问题确定子单元a,基于头部标准问题分类模型实现,所述头部标准问题分类模型的训练过程,包括:确定所述标准问题库中的至少一个头部标准问题,以及至少一个长尾标准问题,以及与各所述头部标准问题对应的第一拓展问题;确定所述标准问题库以外的至少一个第二问题;使用各所述头部标准问题,和/或,各所述第一拓展问题构成的第一正样本,以及各所述长尾标准问题,和/或,各所述第二问题构成的第一负样本,训练所述头部标准问题分类模型。

28、在一种可能的实现方式中,确定所述标准问题库中的至少一个头部标准问题,以及至少一个长尾标准问题,包括:统计所述标准问题库中各标准问题在预设时间段内的使用频率;根据所述使用频率,确定出各所述头部标准问题和各所述长尾标准问题。

29、在一种可能的实现方式中,所述确目标问题确定子单元b,基于长尾标准问题匹配模型实现,所述长尾标准问题匹配模型的训练过程,包括:确定所述标准问题库中的至少一个长尾标准问题,以及与各所述长尾标准问题对应的第二拓展问题;确定所述标准问题库以外的至少一个问题组,单个所述问题组包括两个问题;在所述问题组中的两个问题的第二相似度大于预设的第二相似度阈值的情况下,将所述问题组作为第二正样本;在所述问题组中的两个问题的第二相似度不大于预设的第二相似度阈值的情况下,将所述问题组作为第二负样本;根据所述第二正样本,和/或,由所述长尾标准问题以及所述第二拓展问题构成的第三正样本,和/或,所述第二负样本,构建对比学习样本;使用所述对比学习样本,训练所述长尾标准问题匹配模型。

30、在一种可能的实现方式中,根据所述第二正样本,构建对比学习样本,包括:按照预设的第一删除量,删除单个第二正样本中的一个问题中的词,得到与所述单个第二正样本对应的第三负样本;基于所述单个第二正样本及其对应的第三负样本,构成所述对比学习样本。

31、在一种可能的实现方式中,根据由所述长尾标准问题以及所述第二拓展问题构成的第三正样本,构建对比学习样本,包括:按照预设的第二删除量,删除单个第三正样本中的一个问题中的词,得到与所述单个第三正样本对应的第四负样本;基于所述单个第三正样本及其对应的第四负样本,构成所述对比学习样本。

32、在一种可能的实现方式中,根据所述第二负样本,构建对比学习样本,包括:按照预设的第三删除量,删除单个第二负样本中的一个问题中的词,得到与所述单个第二负样本对应的第四正样本;基于所述单个第二负样本及其对应的第四正样本,构成所述对比学习样本。

33、根据本公开的另一方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为在执行所述存储器存储的指令时,实现上述方法。

34、根据本公开的另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序指令,其中,所述计算机程序指令被处理器执行时实现上述方法。

35、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述方法。

36、在本公开实施例中,先对第一问题进行第一处理,得到第一问题的第一指标,在所述第一指标不满足预设条件的情况下,将所述第一问题进行第二处理,得到所述第一问题的第二指标,并将所述第二指标对应的标准问题确定为目标标准问题。第一处理为匹配或分类、第二处理为分类或匹配,且第一处理和第二处理不相同。使用本公开实施例的方法,所以无论第一问题是头部问题还是长尾问题,都可以准确地确定出与第一问题对应的目标标准问题,提高了确定出目标标准问题的准确性。

37、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1