语言模型的领域迁移方法、电子设备及存储介质与流程

本公开涉及计算机，本公开尤其涉及一种语言模型的领域迁移方法、电子设备、存储介质及程序产品。

背景技术：

1、目前，语言模型进入爆发期，语言模型旨在对词序列的生成概率进行建模，以预测未来(或缺失)单词的概率，大大便利了人们的文本处理工作。

2、目前的语言模型往往具备一定的通用知识和能力，对日常通识方面的文本预测较为准确。然而，在特定专业领域的业务场景上，语言模型无法直接落地应用，需要根据特定专业领域的业务数据调整训练语言模型，以使语言模型的参数能够与该领域适配，以具备该领域业务上的知识和能力，这样需要耗费大量的人力和算力调整语言模型的参数。

技术实现思路

1、本公开提供了一种语言模型的领域迁移方法、电子设备、存储介质及程序产品。

2、本公开第一方面提供了一种语言模型的领域迁移方法，包括：将初始文本输入已训练的语言模型以获取候选词条及第一预测概率，每个所述第一预测概率对应一个所述候选词条；根据所述候选词条和目标领域数据获取第二预测概率，每个所述第二预测概率对应一个所述候选词条；以及根据所述候选词条、所述第一预测概率及所述第二预测概率获取目标文本。

3、在一些实施方式中，所述根据所述候选词条和目标领域数据获取第二预测概率，包括：根据所述目标领域数据获取语料参数；以及根据所述语料参数获取每个所述候选词条对应的所述第二预测概率。在一些实施方式中，所述根据所述目标领域数据获取语料参数，包括：根据所述目标领域数据获取迁移文本和迁移词条；获取所述迁移词条对应的第一出现次数，所述第一出现次数表征所述迁移词条在所述迁移文本中的出现次数；获取所述迁移词条对应的第二出现次数，所述第二出现次数表征第n个所述迁移词条在所述迁移文本中衔接于前n-j个所述迁移词条之后的次数；以及根据每个所述迁移词条对应的所述第一出现次数和所述第二出现次数获取所述语料参数。

4、在一些实施方式中，所述根据所述语料参数获取每个所述候选词条对应的所述第二预测概率，包括：根据所述语料参数获取每个所述候选词条对应的所述第一出现次数和所述第二出现次数；以及根据所述候选词条对应的所述第一出现次数与对应的所述第二出现次数的比值获取所述第二预测概率。

5、在一些实施方式中，所述根据所述候选词条、所述第一预测概率及所述第二预测概率获取目标文本，包括：根据所述第一预测概率和所述第二预测概率将所述候选词条组合为一条或多条预测文本序列；根据每条所述预测文本序列包含的所述候选词条对应的所述第一预测概率及所述第二预测概率获取所述预测文本序列对应的综合概率得分；以及根据每条所述预测文本序列对应的所述综合概率得分选取目标序列，以将所述目标序列作为所述目标文本。

6、在一些实施方式中，所述根据所述第一预测概率和所述第二预测概率组合所述候选词条以获取多条预测文本序列，包括：将所述第一预测概率和所述第二预测概率的乘积作为所述候选词条对应的第三预测概率；选取第三预测概率最高的k个所述候选词条衔接于第n-1个所述候选词条以作为第n个所述候选词条；以及将m个所述候选词条按顺序组成多条预测文本序列。

7、在一些实施方式中，所述根据所述预测文本序列包含的所述候选词条对应的所述第一预测概率及所述第二预测概率计算所述预测文本序列对应的综合概率得分，包括：根据所述第一预测概率获取所述预测文本序列的第一概率得分；根据所述第二预测概率获取所述预测文本序列的第二概率得分；以及根据所述第一概率得分与所述第二概率得分的乘积获取所述综合概率得分。

8、本公开第二方面提供了一种电子设备，包括：存储器，所述存储器存储执行指令；处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一实施方式所述的语言模型的领域迁移方法。

9、本公开第三方面提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一实施方式所述的语言模型的领域迁移方法。

10、本公开第四方面提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开任一实施方式所述的语言模型的领域迁移方法。

技术特征：

1.一种语言模型的领域迁移方法，其特征在于，包括：

2.根据权利要求1所述的语言模型的领域迁移方法，其特征在于，所述根据所述候选词条和目标领域数据获取第二预测概率，包括：

3.根据权利要求2所述的语言模型的领域迁移方法，其特征在于，所述根据所述目标领域数据获取语料参数，包括：

4.根据权利要求3所述的语言模型的领域迁移方法，其特征在于，所述根据所述语料参数获取每个所述候选词条对应的所述第二预测概率，包括：

5.根据权利要求1所述的语言模型的领域迁移方法，其特征在于，所述根据所述候选词条、所述第一预测概率及所述第二预测概率获取目标文本，包括：

6.根据权利要求5所述的语言模型的领域迁移方法，其特征在于，所述根据所述第一预测概率和所述第二预测概率组合所述候选词条以获取多条预测文本序列，包括：

7.根据权利要求5所述的语言模型的领域迁移方法，其特征在于，所述根据所述预测文本序列包含的所述候选词条对应的所述第一预测概率及所述第二预测概率计算所述预测文本序列对应的综合概率得分，包括：

8.一种电子设备，其特征在于，包括：

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至7中任一项所述的语言模型的领域迁移方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的语言模型的领域迁移方法。

技术总结
本公开提供了一种语言模型的领域迁移方法、电子设备、可读存储介质及程序产品。本公开的语言模型的领域迁移方法包括：将初始文本输入已训练的语言模型以获取候选词条及第一预测概率，每个所述第一预测概率对应一个所述候选词条；根据所述候选词条和目标领域数据获取第二预测概率，每个所述第二预测概率对应一个所述候选词条；根据所述候选词条、所述第一预测概率及所述第二预测概率获取目标文本。

技术研发人员：赵帅江,方小泉,邹伟
受保护的技术使用者：贝壳找房（北京）科技有限公司
技术研发日：
技术公布日：2024/2/29