文本对象表征模型训练方法、文本对象召回方法及装置与流程

本说明书实施例通常涉及人工智能领域，尤其涉及文本对象表征模型训练方法、文本对象召回方法及装置。

背景技术：

1、文本对象检索(例如，信息检索)是指给定采用自然语言形式的用户查询(查询对象)，从大规模文本对象库(比如，语料库)中返回与该用户查询相关的文本对象。文本检索过程通常包含文本对象召回阶段和重排序阶段。在文本对象召回阶段，从大规模文本对象库中初步检索出小规模的相关文本对象，随后在重排序阶段，对所召回的文本对象进行重排序并根据重排序结果确定目标文本对象。为了兼具性能和效率，文本对象召回阶段通常采用具有双塔结构的稠密检索模型进行稠密向量检索，即，使用稠密检索模型中的查询编码器和文本对象编码器来分别将用户查询和文本对象库中的每个文本对象编码为稠密的单一向量表征，然后使用例如点积/余弦相似度等的相似度计算方法召回与用户查询相关的候选文本对象集。

2、得益于预训练模型的强大理解能力，可以选择预训练模型作为文本对象表征模型(例如，查询编码器和文本对象编码器)来进行文本对象表征。针对预训练模型，可以设计合适的预训练任务，以期望所训练出的预训练模型可以得到更能反映文本对象特性的文本对象表征。

技术实现思路

1、本说明书实施例提供文本对象表征模型训练方法、文本对象召回方法及装置。利用该文本对象表征模型训练方法，针对结构化文本对象，在文本对象表征模型训练时设计基于结构化文本对象的内容文本的内容掩码语言模型预测任务以及基于结构化文本对象的内容文本和属性文本的属性-内容掩码语言模型预测任务，并根据内容掩码语言模型预测任务所得到的内容掩码预测损失函数和属性-内容掩码语言模型预测任务所得到的属性-内容掩码预测损失函数来进行模型更新。按照这种模型训练方法，通过设置内容掩码语言模型预测任务，可以确保文本对象表征模型在不使用属性文本的情况下的内容文本表征能力，并且通过设置属性-内容掩码语言模型预测任务，可以在模型训练时引入属性文本所包含的语义信息，从而提升文本对象表征模型对结构化文本对象的语言建模效果，进而提升文本对象表征模型的模型表征能力。

2、根据本说明书的实施例的一个方面，提供一种用于训练文本对象表征模型的方法，包括：将结构化文本对象的经过掩码处理后的内容文本提供给文本对象表征模型来执行内容掩码语言模型预测任务，得到内容掩码预测损失函数；将所述结构化文本对象的属性文本和经过掩码处理的内容文本提供给所述文本对象表征模型来执行属性到内容的掩码语言模型预测任务，得到属性-内容掩码预测损失函数，在执行所述属性到内容的掩码语言模型预测任务时，使用所述结构化文本对象的属性文本作为上下文执行内容文本掩码预测；以及根据所述内容掩码预测损失函数和所述属性-内容掩码预测损失函数调整所述文本对象表征模型的模型参数。

3、可选地，在上述方面的一个示例中，所述方法还可以包括：将所述结构化文本对象的内容文本和经过掩码处理的属性文本提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数，在执行所述内容到属性的掩码语言模型预测任务时，使用所述结构化文本对象的内容文本作为上下文执行属性文本掩码预测。相应地，根据所述内容掩码预测损失函数和所述属性-内容掩码预测损失函数调整所述文本对象表征模型的模型参数可以包括：根据所述内容掩码预测损失函数、所述属性-内容掩码预测损失函数和所述内容-属性掩码预测损失函数调整所述文本对象表征模型的模型参数。

4、可选地，在上述方面的一个示例中，将所述结构化文本对象的属性文本和经过掩码处理的内容文本提供给所述文本对象表征模型来执行属性到内容的掩码语言模型预测任务，得到属性-内容掩码预测损失函数可以包括：将经过掩码处理后的内容文本与所述属性文本经过拼接后提供给所述文本表征模型来执行属性到内容的掩码语言模型预测任务，得到所述属性-内容掩码预测损失函数。

5、可选地，在上述方面的一个示例中，将经过掩码处理后的内容文本与所述属性文本经过拼接后提供给所述文本表征模型来执行属性到内容的掩码语言模型预测任务，得到所述属性-内容掩码预测损失函数可以包括：将经过掩码处理后的内容文本与所述属性文本结合提示词进行拼接后提供给所述文本表征模型来执行属性到内容的掩码语言模型预测任务，得到所述属性-内容掩码预测损失函数，每个内容文本或属性文本前增加一个对应提示词。

6、可选地，在上述方面的一个示例中，将所述结构化文本对象的内容文本和经过掩码处理的属性文本提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数可以包括：将所述结构化文本对象的内容文本和经过掩码处理的属性文本经过拼接后提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数。

7、可选地，在上述方面的一个示例中，将所述结构化文本对象的内容文本和经过掩码处理的属性文本经过拼接后提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数可以包括：将所述结构化文本对象的内容文本和经过掩码处理的属性文本结合提示词进行拼接后提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数，每个内容文本或属性文本前增加一个对应提示词。

8、可选地，在上述方面的一个示例中，在所训练出的文本对象表征模型应用于相关性确定场景时，使用相关性标注数据来对所训练出的文本对象表征模型进行模型参数微调。

9、可选地，在上述方面的一个示例中，所述相关性确定场景包括下述场景中的一种：对象推荐场景和对象检索场景。

10、可选地，在上述方面的一个示例中，在所训练出的文本对象表征模型应用于对象检索场景时，所述文本对象表征模型包括应用于候选对象的候选对象表征模型和应用于查询对象的查询对象表征模型，在进行模型参数微调时，所述查询对象表征模型的输入不包括属性文本的文本内容。

11、根据本说明书的实施例的另一方面，提供一种文本对象召回方法，包括：将查询对象的内容文本和属性文本提供给查询对象表征模型，得到所述查询对象的查询对象表征；将候选对象库中的每个候选对象的内容文本和属性文本提供给候选对象表征模型，得到每个候选对象的候选对象表征；以及基于所述查询对象的查询对象表征和所述候选对象的候选对象表征，从所述候选对象库中召回所述查询对象的相关候选对象，其中，所述查询对象表征模型和所述候选对象表征模型按照如上所述的方法训练出。

12、可选地，在上述方面的一个示例中，将查询对象的内容文本和属性文本提供给查询对象表征模型，得到所述查询对象的查询对象表征可以包括：将所述查询对象的内容文本和属性文本结合提示词进行拼接后提供给所述查询对象表征模型，得到所述查询对象的查询对象表征。此外，将候选对象库中的每个候选对象的内容文本和属性文本提供给候选对象表征模型，得到每个候选对象的候选对象表征可以包括：将所述候选对象库中的每个候选对象的内容文本和属性文本结合提示词进行拼接后提供给所述候选对象表征模型，得到每个候选对象的候选对象表征。

13、可选地，在上述方面的一个示例中，在进行模型参数微调时，所述查询对象表征模型的输入不包括属性文本的文本内容。此外，在将所述查询对象的内容文本和属性文本结合提示词进行拼接后提供给所述查询对象表征模型时，所述拼接后的文本不包括所述属性文本的文本内容。

14、根据本说明书的实施例的另一方面，提供一种用于训练文本对象表征模型的装置，包括：内容掩码预测单元，将结构化文本对象的经过掩码处理后的内容文本提供给文本对象表征模型来执行内容掩码语言模型预测任务，得到内容掩码预测损失函数；属性-内容掩码预测单元，将所述结构化文本对象的属性文本和经过掩码处理的内容文本提供给所述文本对象表征模型来执行属性到内容的掩码语言模型预测任务，得到属性-内容掩码预测损失函数，在执行所述属性到内容的掩码语言模型预测任务时，使用所述结构化文本对象的属性文本作为上下文执行内容文本掩码预测；以及模型参数调整单元，根据所述内容掩码预测损失函数和所述属性-内容掩码预测损失函数调整所述文本对象表征模型的模型参数。

15、可选地，在上述方面的一个示例中，所述装置还可以包括：内容-属性掩码预测单元，将所述结构化文本对象的内容文本和经过掩码处理的属性文本提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数，在执行所述内容到属性的掩码语言模型预测任务时，使用所述结构化文本对象的内容文本作为上下文执行属性文本掩码预测。相应地，所述模型参数调整单元根据所述内容掩码预测损失函数、所述属性-内容掩码预测损失函数和所述内容-属性掩码预测损失函数调整所述文本对象表征模型的模型参数。

16、可选地，在上述方面的一个示例中，所述属性-内容掩码预测单元将经过掩码处理后的内容文本与所述属性文本结合提示词进行拼接后提供给所述文本表征模型来执行属性到内容的掩码语言模型预测任务，得到所述属性-内容掩码预测损失函数，每个内容文本或属性文本前增加一个对应提示词。

17、可选地，在上述方面的一个示例中，所述内容-属性掩码预测单元将所述结构化文本对象的内容文本和经过掩码处理的属性文本结合提示词进行拼接后提供给所述文本对象表征模型来执行内容到属性的掩码语言模型预测任务，得到内容-属性掩码预测损失函数，每个内容文本或属性文本前增加一个对应提示词。

18、可选地，在上述方面的一个示例中，所述装置还可以包括：模型微调单元，在所训练出的文本对象表征模型应用于相关性确定场景时，使用相关性标注数据来对所训练出的文本对象表征模型进行模型参数微调。

19、根据本说明书的实施例的另一方面，提供一种文本对象召回装置，包括：查询对象表征单元，将查询对象的内容文本和属性文本提供给查询对象表征模型，得到所述查询对象的查询对象表征；候选对象表征单元，将候选对象库中的每个候选对象的内容文本和属性文本提供给候选对象表征模型，得到每个候选对象的候选对象表征；以及文本对象召回单元，基于所述查询对象的查询对象表征和所述候选对象的候选对象表征，从所述候选对象库中召回所述查询对象的相关候选对象，其中，所述查询对象表征模型和所述候选对象表征模型按照如上所述的方法训练出。

20、根据本说明书的实施例的另一方面，提供一种文本对象表征模型训练装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的用于训练文本对象表征模型的方法。

21、根据本说明书的实施例的另一方面，提供一种文本对象召回装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的文本对象召回方法。