相关性判断方法及基于LLM的相关性判断模型构建方法与流程

本说明书一个或多个实施例涉及计算机软件，尤其涉及一种搜索相关性判断方法、基于llm的相关性判断模型的构建方法及电子设备。

背景技术：

1、在搜索场景中，当用户输入搜索词后，搜索引擎会根据用户提供的搜索词进行检索，召回与搜索词相关的召回词。其中，搜索词与召回词之间的相关性判断是确保搜索结果质量的关键环节，从而在进行搜索结果展示时，可以基于相关性判断结果将与搜索词强相关的召回词排在靠前的位置，将与搜索词强弱相关或不太相关的召回词排在靠后的位置，以便提高用户的搜索体验。

2、然而，相关技术中的相关性判断方法，在对某些搜索词（诸如长尾搜索词或其他搜索次数较少的搜索词）及其召回词进行相关性判断时，存在相关性判断不准确的问题。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供一种搜索相关性判断方法、基于llm的相关性判断模型的构建方法、电子设备、计算机可读存储介质及计算机程序产品。

2、为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

3、根据本说明书一个或多个实施例的第一方面，提出了一种基于llm的相关性判断模型的构建方法，包括：

4、获取多个数据样本，各个所述数据样本包括搜索词、召回词以及两者之间的相关性标签；

5、针对于各个所述数据样本，根据所述数据样本中的搜索词、召回词以及预设的相关性打分规则生成相关性判断提示，并将所述相关性判断提示输入预训练语言模型，以使得所述预训练语言模型按照所述相关性判断提示执行以下步骤：参考所述相关性打分规则对所述搜索词和所述召回词进行相关性打分，生成并输出所述搜索词和所述召回词之间的相关性分数以及针对于所述相关性分数的打分解释说明；

6、基于各个数据样本以及与所述数据样本对应的所述搜索词和所述召回词之间的相关性分数及其打分解释说明，构建训练样本；

7、基于所述训练样本进行有监督训练得到相关性判断模型；其中，所述相关性判断模型用于基于输入的搜索词和召回词进行相关性判断，并输出相关性判断结果。

8、根据本说明书一个或多个实施例的第二方面，提出了一种相关性判断方法，包括：

9、基于用户输入的搜索词召回至少一个候选召回词；

10、将所述搜索词和各个所述候选召回词输入预先构建的相关性判断模型中，以由所述相关性判断模型对所述搜索词和各个所述候选召回词之间的相关性进行判断并输出相关性判断结果；其中，所述相关性判断模型基于第一方面所述的基于llm的相关性判断模型的构建方法构建得到。

11、根据本说明书一个或多个实施例的第三方面，提出了一种相关性判断方法，包括：

12、基于用户输入的搜索词召回至少一个候选召回词；

13、根据所述搜索词、所述至少一个候选召回词以及预设的相关性打分规则生成搜索相关性判别提示，并将所述搜索相关性判别提示输入预训练语言模型中，以使得所述预训练语言模型按照所述相关性判断提示执行以下操作步骤：参考所述相关性打分规则对所述搜索词和各个所述候选召回词进行相关性打分，生成并输出所述搜索词和各个所述候选召回词之间的相关性分数以及针对于所述相关性分数的打分解释说明；

14、根据所述搜索词和各个所述候选召回词之间的相关性分数以及针对于所述相关性分数的打分解释说明，获得所述搜索词和各个所述候选召回词之间的相关性判断结果。

15、根据本公开实施例的第四方面，提供一种电子设备，包括：

16、处理器；

17、用于存储处理器可执行指令的存储器；

18、其中，所述处理器执行所述可执行指令时，用于实现第一方面、第二方面或第三方面所述的方法。

19、根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

20、根据本公开实施例的第六方面，提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。

21、本公开的实施例提供的技术方案可以包括以下有益效果：

22、本公开实施例中，通过引入参数量较大的预训练语言模型，利用其强大的语义理解能力，获取搜索词和召回词之间的相关性分数及其打分解释说明，并以此构建训练样本，基于训练样本进行有监督训练得到相关性判断模型。

23、一方面，训练样本中的相关性分数及其打分解释说明可以让相关性判断模型在理解搜索词和召回词之间的语义关系时具备更强的能力，能够捕捉到更多的相关性特征，提高相关性判断的准确性。

24、另一方面，训练样本中的相关性分数及其打分解释说明通过预训练语言模型获得，预训练语言模型已经学习了大量的语言知识和语义表示，可以为相关性判断模型提供有用的中间表示，使相关性判断模型从预训练语言模型中受益，提高相关性判断模型的泛化能力。

25、又一方面，相关性分数的打分解释说明可以帮助理解模型是如何得出相关性评估的，提高相关性判断模型的可解释性，使得相关性判断模型的判断结果更加可信和可理解。

26、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种基于llm的相关性判断模型的构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预训练语言模型生成与所述数据样本对应的所述搜索词和所述召回词之间的相关性分数及其打分解释说明的推理过程，包括由多个中间推理过程构成的思维链；

3.根据权利要求2所述的方法，其特征在于，所述相关性判断提示还包括针对于搜索词所属的不同类型的解释说明；

4.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本进行有监督训练得到相关性判断模型，包括：

5.根据权利要求1所述的方法，其特征在于，所述基于所述训练样本进行有监督训练得到相关性判断模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述训练样本进行知识蒸馏训练得到相关性判断模型，包括：

7.根据权利要求1所述的方法，其特征在于，所述相关性判断模型包括预训练的bert模型以及与所述bert模型连接的多层感知器。

8.根据权利要求7所述的方法，其特征在于，所述bert模型基于mlm任务进行预训练以及基于二分类任务进行微调；所述mlm任务是指将输入bert模型的句子中的任意单词进行掩盖，然后通过bert模型预测被掩盖的单词；

9.一种相关性判断方法，其特征在于，包括：

10.一种相关性判断方法，其特征在于，包括：

11.根据权利要求10所述的方法，其特征在于，所述预训练语言模型生成所述搜索词和各个所述候选召回词之间的相关性分数以及针对于所述相关性分数的打分解释说明的推理过程，包括由多个中间推理过程构成的思维链；

12.一种电子设备，其特征在于，包括：

技术总结
本说明书一个或多个实施例提供一种相关性判断方法及基于LLM的相关性判断模型的构建方法。基于LLM的相关性判断模型的构建方法包括：获取包括搜索词、召回词以及相关性标签的数据样本；根据数据样本中的搜索词、召回词以及预设的相关性打分规则生成相关性判断提示并将其输入预训练语言模型，以使得预训练语言模型按照相关性判断提示执行以下步骤：参考相关性打分规则对搜索词和召回词进行相关性打分，生成并输出搜索词和召回词之间的相关性分数及其打分解释说明；基于各个数据样本以及与数据样本对应的相关性分数及其打分解释说明，构建训练样本；基于训练样本进行有监督训练得到相关性判断模型。实现获得预测准确率高的相关性判断模型。

技术研发人员：吴晓东
受保护的技术使用者：浙江口碑网络技术有限公司
技术研发日：
技术公布日：2024/3/24