一种基于多模态图卷积的影像推荐系统及方法

本发明所述一种基于多模态图卷积的影像推荐系统及方法，属于计算机。

背景技术：

1、推荐系统是一种广泛应用于互联网和其他领域的技术，它通过分析用户的行为和兴趣来预测用户可能喜欢的物品，从而为用户提供个性化的推荐。如何为用户精准推荐符合其兴趣的影视作品成为了一项重要任务。然而，大量的影视作品意味着复杂的内容和元信息，这使得传统的推荐系统难以很好地获取用户的偏好。

2、现有的多模态推荐系统主要依赖于用户的行为数据(如观看历史、评分等)和影视作品的内容信息(如演员、类型等)。然而，这些信息往往是高维、稀疏且异构的这使得建立一个有效的用户偏好模型变得非常困难。此外，由于多模态信息的融合过程往往涉及大量的参数调整，这使得传统的多模态推荐系统在面对特定模式下用户偏好建模时性能较差。

技术实现思路

1、本发明解决了现有的多模态推荐系统难以很好的对特定模式下用户偏好建模问题。提供了一种基于多模态图卷积的影像推荐系统及方法。

2、本发明所述一种基于多模态图卷积的影像推荐系统及方法，通过以下技术方案实现：

3、步骤一、通过爬虫算法，获取同一个用户对影视作品的评价记录、影视作品相关海报等信息。

4、步骤二、数据集预处理，使用mixgen方法对数据进行增强，对数据集进行扩充。

5、步骤三、对不同模态的信息进行提取，使用线性变换等方法将图像数据模态和文本数据模态表示为向量形式。

6、步骤四、利用图卷积对同一个模态进行层内和层间节点聚合，提取用户对电影的细粒度意图。

7、步骤五、通过对不同模态建立超级节点，建立层间聚合建立细粒度和粗粒度用户意图之间的关系。

8、步骤六、将聚合得到各模态的特征通过一个自注意力机制层，增强不同模态之间的交互，最终获取影视作品推荐列表。

9、本发明最为突出的特点和显著的有益效果是：

10、本发明所涉及的一种基于多模态图卷积的影像推荐系统及方法，通过爬虫算法，获取同一个用户对影视作品的评价记录、影视作品相关海报等信息；对数据集进行预处理，使用mixgen方法对数据进行增强，对数据集进行扩充；使用线性变换等方法将图像数据模态和文本数据模态表示为向量形式；对不同模态的信息进行提取，分别获取多模态中文本模态和图像数据模态的向量表示；利用图卷积对同一个模态进行层内和层间节点聚合，提取用户对电影的细粒度意图；利用层间聚合建立细粒度和粗粒度用户意图之间的关系，对不同模态的处理都建立超级节点结合；将聚合得到各模态的特征通过一个注意力机制层，增强不同模态之间的交互，最终获取影视作品推荐列表。本发明解决了现有的多模态推荐系统难以很好的在特定模式下对用户偏好建模以及不同模态数据难以进行交互的问题。

技术特征：

1.一种基于多模态图卷积的影像推荐系统及方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述一种基于多模态图卷积的影像推荐系统及方法，其特征在于，步骤二中所述线性变换等方法的使用，获取图像数据模态和文本数据模态表示为向量形式。

3.根据权利要求2所述一种对多模态数据进行数据增强方法，其特征在于，步骤二中所述的使用mixgen数据增强方法。在进行数据增强的过程中，为了尽可能的保留图像和文本的特征，使用mixgen数据增强方法，其表达式如下：

4.根据权利要求3所述一种提取用户对电影的细粒度意图方法，其特征在于，步骤四中所述的利用图卷积对同一个模态进行层内和层间节点聚合方法的使用，分别将图像和文本的特征输入到不同的图卷积神经网络中，构建一个协同交互图g＝{x,a}，其中x表示提取到的文本和图像的特征，a邻接矩阵。每一层节点表示同意模态下不同的模态特征，特征之间是否有交互用矩阵a表示，其定义如下：

5.根据权利要求4所述一种建立层间聚合建立细粒度和粗粒度用户意图之间的关系方法，其特征在于，步骤五中所述的对不同模态建立超级节点，建立的超级节点的表示如下：

6.根据权利要求5所述一种增强不同模态之间的交互方法，其特征在于，步骤六中所述的利用自注意力机制增强不同模态之间的交互。每个模态中每一层的节点都是通过不断的迭代得到，具体表示形式如下：

技术总结
本发明所述一种基于多模态图卷积的影像推荐系统及方法，属于计算机技术领域。本发明综合利用图卷积对多模态特征聚合的方法，基于图卷积架构针对用户偏好实现影视作品的推荐。本方法首先通过爬虫算法，获取同一个用户对影视作品的评价记录、影视作品相关海报等信息；对数据集进行预处理，使用MixGen方法对数据进行增强，对数据集进行扩充；使用线性变换等方法将图像数据模态和文本数据模态表示为向量形式；对不同模态的信息进行提取，分别获取多模态中文本模态和图像数据模态的向量表示；利用图卷积对同一个模态进行层内和层间节点聚合，提取用户对电影的细粒度意图；利用层间聚合建立细粒度和粗粒度用户意图之间的关系，对不同模态的处理都建立超级节点结合；将聚合得到各模态的特征通过一个注意力机制层，增强不同模态之间的交互，最终获取影视作品推荐列表。本发明解决了现有的多模态推荐系统难以很好的在特定模式下对用户偏好建模以及不同模态数据难以进行交互的问题。

技术研发人员：朱东杰,谭景元,丁卓,张立斌,鲁宁
受保护的技术使用者：哈尔滨工业大学（威海）
技术研发日：
技术公布日：2024/1/15