一种基于联邦学习的多模态推荐方法及系统

本发明涉及计算机信息推荐，具体而言，涉及一种基于联邦学习的多模态推荐方法及系统。

背景技术：

1、随着大数据技术的飞速发展以及居民消费观念的提高，越来越多的人投入到“网购大军”中。但是互联网数据呈现爆炸性增长，并还在呈现倍增的趋势。海量信息出现的同时，人们难以在大规模数据中找到自己想要的商品，因此便出现了个性化推荐方法。但是大部分推荐方法是基于单模态信息进行推荐。多模态推荐方法通常利用贝叶斯个性化排序损失中随机采样的负例来指导用户/项目表示的学习，这增加了大型图的计算成本，也可能给训练过程带来噪声的监督信号。

2、在大多数情况下，数据分散的保存在各个企业手中，而各个企业希望在不公开自己数据的情况下，联合其他企业(利用各个企业所持有的数据)一起训练一个模型，该模型能够帮助企业获取更大的利益。但是随着国内外相关数据隐私保护法律的颁布，企业直接使用多方数据就造成了隐私泄露问题，随着人们对隐私保护需求的日益增长，保护隐私和安全显得越来越重要。

3、因此，如何实现一种在多模态推荐的情况下同时保障多方的数据不出本地，断绝数据在上传过程中的隐私泄露，并提高推荐算法的精度，是本领域技术人员要亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是：

2、现有的多模态推荐方法，难以保障多方的数据不出本地、断绝数据在上传过程中的隐私泄露并实现高精度的推荐。

3、本发明为解决上述技术问题所采用的技术方案：

4、本发明提供了一种基于联邦学习的多模态推荐方法，所述方法基于联邦学习模型，包括一个服务端和多个客户端，包括如下步骤：

5、步骤1：多个客户端分别对本地数据集进行预处理，本地数据集包括文本和图像，将预处理的数据集划分为训练集、验证集和测试集；

6、步骤2：服务器端构建多模态模型及损失函数，并将所述多模态模型及损失函数下发至各客户端；

7、步骤3：各客户端基于训练集对服务器端下发的模型进行训练，通过反向传播更新网络参数，采用验证集验证模型性能，采用测试集对每轮训练的模型进行测试，将最优测试结果的模型参数上传至服务器端；

8、步骤4：服务器端接收到各客户端上传的模型参数后，对不同客户端上传的模型参数进行聚合得到聚合模型，服务端基于本地数据集对所述聚合模型进行训练，并将训练后的聚合模型再次下发到客户端；

9、步骤5：客户端对服务器端下发的模型再次进行初始化，并基于验证集和测试集对模型进行验证和测试，得到多模态推荐模型，模型根据用户嵌入与所有候选项嵌入的内积，得到候选项目的推荐结果，实现联邦多模态推荐。

10、进一步地，步骤1中对数据进行预处理，具体过程为：首先从数据集中提取u-i交互图，其中u代表用户，i代表商品，其次采用k-score过滤方法，对交互图索引值进行重新分配，生成k-score交互图；基于生成的k-score交互图，对商品的图像和文本特征分别进行一一对应，组成数据集；

11、将数据集的文本和图像转成连续性向量，再分别转换成嵌入向量；将图像特征和文本特征根据相同的用户id进行合并，得到预处理的数据集。

12、进一步地，所述k-score过滤方法的k值为5，生成的k-score交互图由userid、itemid、rating、timestamp、x_label信息组成，其中，userid代表用户id，itemid代表商品id，rating代表用户对商品的评分，timestamp代表时间戳，x_label代表对应的标签。

13、进一步地，所述对商品的图像和文本特征分别进行一一对应，生成的数据集包括：itemid，asin，title，price，imurl，related，brand，categories，salesramk及description；

14、其中，asin表示产品编码，title表示商品名称，price表示商品价格，imurl表示商品图片链接，related表示相关商品，salesrank表示折扣信息，brand表示商品的品牌，categories表示商品所属的目录类别。

15、进一步地，步骤2中损失函数的构建方法为：

16、步骤21、将预处理后的用户数据和项目数据输入至下发的模型得到模态特定特征表示为其中m∈m表示来自完整模态m的特定模态，dm表示特征的维数；使用基于多层感知器mlp的投影函数fm将其投影到一个潜在的低维上；

17、步骤22、使用带有残留连接的骨干网对u-i交互图的结构进行编码；

18、步骤23、利用多模态潜在空间转换器，得到三种类型的潜在嵌入，包括：用户id嵌入、项目id嵌入和单模态项目嵌入；

19、步骤24、将三种嵌入输入至对比视图生成器中，生成三种对比视图；

20、步骤25、基于三种视图，构建最终的损失函数。

21、进一步地，步骤21基于的方法为：

22、hm＝emwm+bm

23、其中，表示投影函数fm的mlp中的线性变换矩阵及偏差。

24、进一步地，步骤24中对比视图生成器嵌入率p下的对比视图的方法为：

25、

26、其中，输入向量h表示待处理的特征或表示，bernoulli(p)表示服从伯努利分布的随机变量，其中p为成功的概率，用作控制元素丢弃的概率，h·bernoulli(p)表示对输入向量h进行元素级别的随机丢弃操作，其中每个元素独立地以概率p被置为0，以概率(1-p)保留原值。

27、进一步地，步骤25中得到最终的损失函数为：

28、

29、其中和为正则化惩罚；

30、为图重构损失，表示接收一个正反馈的用户和项目对(u，i)作为输入，基于在线表示生成的对比视图，并定义一个对称损失函数，然后求他们的之间的余弦相似度，并对其中的和停止梯度算子：

31、

32、为跨通道特征对准损失，表示对于项目i的每个单模态潜嵌入求余弦相似度：

33、

34、为内模态特征掩码损失，表示对随机嵌入hm进行掩码，表示稀疏嵌入，得到掩码损失：

35、

36、进一步地，步骤4中对模型进行聚合，具体为对各客户端的模型参数进行加权平均，得到聚合模型。

37、一种基于联邦学习的多模态推荐方法系统，该系统具有与上述技术方案任一项技术方案的步骤对应的程序模块，运行时执行上述的基于联邦学习的多模态推荐方法中的步骤。

38、相较于现有技术，本发明的有益效果是：

39、本发明一种基于联邦学习的多模态推荐方法及系统，利用了联邦学习的优势，实现了在保护用户隐私的前提下，有效地融合多个分布式数据源的信息，并进行了个性化的推荐。本发明方法不仅提供了更准确和个性化的推荐结果，进一步对齐不同模态之间的学习特征，并减少来自特定模态的不同增强视图表示之间的差异，还使用了一种简单的潜在表示退出机制，而不是图增强，在没有负样本的情况下生成用户或物品的目标视图进行对比学习，提高了用户体验和系统的效率。

40、本发明方法能够有效地处理分布式数据，可扩展性和适应性使其适用于多种多模态推荐场景，包括图像、文本等。具有较好的应用前景。