一种基于用户权重的个性化大语言模型构建方法及系统与流程

本公开涉及人工智能和机器学习，特别涉及一种基于用户权重的个性化大语言模型构建方法及系统。

背景技术：

1、随着大数据和人工智能的不断发展，大语言模型在自然语言处理领域取得了显著的成果。然而，现有的大语言模型都聚焦于通用领域，无法充分满足用户在特定领域、特定场景下的个性化需求，极大程度限制了大语言模型的通用性。

2、目前，现有大语言模型具有以下技术问题：

3、如何为大语言模型构建有效的用户建模方法以捕捉用户的兴趣和偏好？

4、如何通过用户权重的动态调整，以实时反映用户的需求变化？

5、如何在保证模型质量的同时，减少模型训练和推理过程中的计算资源消耗，以支撑用户权重的实时更新？

6、因此，如何针对用户的特定需求构建大语言模型是目前人工智能和机器学习领域亟待解决的技术难题。

技术实现思路

1、本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种基于用户权重的个性化大语言模型构建方法及系统。

2、第一方面，本公开提供了一种基于用户权重的个性化大语言模型构建方法，包括：

3、以用户特征向量和语言模型的融合作为输入，实现根据用户兴趣和偏好建立个性化模型；

4、引入注意力机制，根据用户的行为数据，实时计算用户特征向量的权重；

5、基于知识蒸馏方法，将较大的预训练语言模型的高级知识迁移到较小的所述个性化模型中得到个性化大语言模型。

6、优选地，所述用户特征向量的获取具体包括：采用深度学习方法，通过收集用户的历史行为数据，构建用户特征向量，其中，历史行为数据包括浏览记录、偏好数据。

7、优选地，所述收集用户的历史行为数据，具体包括：

8、收集用户历史行为数据；

9、将不同种类的历史行为数据各自转化为特征向量；

10、将特特征向量归一化到0-1之间或者标准化到平均值为0，方差为1的范围内得到新特征向量；

11、将多个所述新特征向量组合成一个用户特征向量，作为个性化模型的输入。

12、优选地，所述引入注意力机制，根据用户的行为数据，实时计算用户特征向量的权重，具体包括：

13、使用多头注意力机制，根据每个用户的行为数据，计算出每个特征向量在该用户对问题的兴趣度的注意力分值，实时调整用户权重；

14、根据计算出的注意力分值，动态更新得到新的用户特征向量。

15、优选地，所述计算出每个特征向量在该用户对问题的兴趣度的注意力分值，具体包括：

16、将历史浏览记录中的关键词与待查询问题进行比较，计算出每个关键词对于该用户对问题的兴趣度贡献度，得出每个关键词的权重，从而构建用户的注意力分值。

17、优选地，所述根据计算出的注意力分值，动态更新得到新的用户特征向量，具体包括：

18、将注意力分值作为权重因子，乘以用户特征向量中的各个特征分量，得到调整后的用户特征向量。

19、优选地，所述基于知识蒸馏方法，将较大预训练语言模型的知识迁移到较小的所述个性化模型中得到个性化大语言模型，具体包括：

20、使用预训练语言模型对文本进行推理，并记录输出结果；

21、根据输出结果训练所述个性化模型；

22、对个性化模型进行微调后得到最终的个性化大语言模型。

23、优选地，所述高级知识包括：语义关系及语法结构。

24、第二方面，本公开还提供了一种基于用户权重的个性化大语言模型构建方法，所述系统可用于实现基于用户权重的个性化大语言模型构建系统，所述系统包括：

25、模型建立模块，配置为以用户特征向量和语言模型的融合作为输入，实现对用户兴趣和偏好的建立个性化模型；

26、个性化模块，配置为引入注意力机制，根据用户的行为数据，实时计算用户特征向量的权重；

27、优化模块，配置为基于知识蒸馏方法，将较大的预训练语言模型的高级知识迁移到较小的所述个性化模型中得到个性化大语言模型。

28、第三方面，本公开还提供了一种电子设备，包括：

29、一个或多个处理器；

30、存储器，用于存储一个或多个程序；

31、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现基于用户权重的个性化大语言模型构建方法。

技术特征：

1.一种基于用户权重的个性化大语言模型构建方法，其特征在于，包括：

2.根据权利要求1所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述用户特征向量的获取具体包括：采用深度学习方法，通过收集用户的历史行为数据，构建用户特征向量，其中，历史行为数据包括浏览记录、偏好数据。

3.根据权利要求2所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述收集用户的历史行为数据，具体包括：

4.根据权利要求1所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述引入注意力机制，根据用户的行为数据，实时计算用户特征向量的权重，具体包括：

5.根据权利要求4所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述计算出每个特征向量在该用户对问题的兴趣度的注意力分值，具体包括：

6.根据权利要求4所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述根据计算出的注意力分值，动态更新得到新的用户特征向量，具体包括：

7.根据权利要求1所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述基于知识蒸馏方法，将较大预训练语言模型的知识迁移到较小的所述个性化模型中得到个性化大语言模型，具体包括：

8.根据权利要求1所述的基于用户权重的个性化大语言模型构建方法，其特征在于，所述高级知识包括：语义关系及语法结构。

9.一种基于用户权重的个性化大语言模型构建方法，其特征在于，所述系统可用于实现上述权利要求1至8中任一所述基于用户权重的个性化大语言模型构建系统，所述系统包括：

10.一种电子设备，其特征在于，包括：

技术总结
本公开属于人工智能和机器学习技术领域，具体提供了一种基于用户权重的个性化大语言模型构建方法及系统，其中方法包括：以用户特征向量和语言模型的融合作为输入，实现对用户兴趣和偏好的建立个性化模型；引入注意力机制，根据用户的行为数据，实时计算用户特征向量的权重；基于知识蒸馏方法，将较大的预训练语言模型的高级知识迁移到较小的个性化模型中得到个性化大语言模型。通用的大语言模型没有考虑对用户行为的建模，并且在模型的数据、计算流中均未考虑用户特征的引入，而本方案通过对用户行为进行搜集、建模并在模型计算中引入和融合，能够生成更加符合用户个性化偏好的结果。

技术研发人员：周玉,邓彪
受保护的技术使用者：北京中科凡语科技有限公司
技术研发日：
技术公布日：2024/3/4