基于有效邻居取样最大化的图神经网络的个性化建模方法

1.本发明属于个性化时尚推荐系统技术领域，具体涉及一种基于有效邻居取样最大化的图神经网络的个性化、兼容性建模方法。


背景技术：

2.近年来，随着时尚产业的快速发展，消费者对于时尚推荐的需求也在不断增加，由此产生了对于穿衣搭配的强烈需求。在服装兼容性建模方面，目前的工作可以分为两大类：其一是对两件时尚单品（如上衣与下衣）的兼容性建模，其二是对成套服装（多件时尚单品）的兼容性建模。在时尚单品建模方面，大多数方法是通过假设具有兼容关系的一对时尚单品在一个潜在空间当中彼此接近，从而将其视为一个度量学习问题；之后，随着相关研究的进展，数据独立函数与数据依赖函数的依次提出，科研工作者开始使用这些方法来建模时尚单品之间的兼容性；在套装建模方面，目前的研究方法多是将成套的服装视为一个序列，利用bi-lstm或rnn方法进行建模，之后，随着图神经网络的广泛应用，开始将这种方法应用在套装建模中。
3.基于上述，在时尚推荐领域进行服装兼容性建模时，目前的方法主要存在以下三点不足：其一，忽略了不同服装之间的关联程度，仅仅使用自身的视觉特征或者文本特征进行特征表示，不足以获得准确的单品特征表示；其二，在考虑个性化因素的建模方案中，忽略了用户关系网络对用户的影响，从而无法获得准确的用户特征表示，进而使得推荐系统无法根据不同用户做出精确的服装推荐；其三，在使用图神经网络进行建模的方案当中，一般是将目标结点的所有邻居信息进行聚合，并未考虑噪声结点对目标结点表示带来的影响。


技术实现要素：

4.本发明的目的是提供一种基于有效邻居取样最大化的图神经网络的个性化建模方法，以弥补现有技术的不足。
5.为了达到上述发明目的，本发明采用的具体技术方案是：基于有效邻居取样最大化的图神经网络的个性化建模方法，包括以下步骤：s1：首先构建基础模型：即所述个性化、兼容性模型；s2：根据用户以及时尚单品间的交互图：构建用户-时尚单品图、用户交互图、时尚单品-用户图、时尚单品-时尚单品交互图；s3：根据s2步骤创建的时尚单品交互图，创建时尚单品的特征表示矩阵，并构造一个共有l层的图神经网络模型，将时尚单品的特征表示矩阵送入到图神经网络模型当中，获得更新之后的时尚单品特征表示矩阵，包括上衣的特征表示和下衣的特征表示；s4：根据s2步骤创建的用户交互图，创建用户的特征表示矩阵，利用s3步骤创建的图神经网络模型，将用户的特征表示矩阵送入到该图神经网络模型当中，获得更新之后的用户特征表示矩阵，即用户特征表示；
s5：经过s3步骤，获得上衣的特征表示与下衣的特征表示，将这两个特征表示送入所述上衣-下衣兼容性模块当中，计算上衣与下衣的兼容性分数；s6：经过s3步骤与s4步骤，分别获得下衣的特征表示与用户特征表示，将这两个表示送入到所述用户个性化模块中，获得用户对给定下衣的偏爱分数；s7：将从s5步骤获得的上衣与下衣的兼容性分数以及从s5步骤获得的用户对给定下衣的偏爱分数送入推荐模块，获得融合了个性化因素的上衣与下衣的兼容性分数。
6.进一步的，所述基础模型包括构图模块、时尚单品表示模块、用户表示模块、上衣-下衣兼容性模块、用户个性化模块、推荐模块；其中构图模块与时尚单品表示模块、用户表示模块两大模块相连，时尚单品表示模块与上衣-下衣兼容性模块相连，时尚单品表示模块和用户表示模块与用户个性化模块相连，上衣-下衣兼容性模块和用户个性化模块两大模块与推荐模块相连。
7.更进一步的，所述构图模块：根据用户以及时尚单品间的关系，构建用户-时尚单品图、用户-用户关系图、时尚单品-用户图、时尚单品-时尚单品图；所述时尚单品表示模块：用于将时尚单品-用户图、时尚单品-时尚单品图以及随机初始化的用户、单品特征表示矩阵，输入到构建的图神经网络模型当中，获取更新之后的时尚单品特征表示；所述用户表示模块：用于将用户-时尚单品图、用户-用户关系图以及随机初始化的用户、单品特征表示矩阵，输入到构建的图神经网络模型当中，获取更新之后的用户特征表示；所述上衣-下衣兼容性模块：将从时尚单品表示模块中获得的上衣特征表示以及下衣特征表示作为输入信息，送入到该模块中，计算上衣与下衣的兼容性程度；所述用户个性化模块：将从时尚单品表示模块中获得的下衣特征表示以及从用户表示模块中获得的用户特征表示作为输入信息，送入到该模块中，计算用户对于给定下衣的喜欢程度；所述推荐模块：将上衣-下衣兼容性模块得到的上衣与下衣兼容性程度以及用户个性化模块得到的用户对下衣的喜欢程度作为输入，计算融入了个性化因素的上衣与下衣的兼容性分数，根据分数，为用户产生推荐。
8.更进一步地，所述的时尚单品表示模块包括第一表示子模块、第二表示子模块和第三表示子模块，其中第一表示子模块和第二表示子模块均与第三表示子模块相连；第一表示子模块：用于从时尚单品交互空间中，借助图神经网络模型，并且融合注意力机制，从单品层面中获得单品特征表示；第二表示子模块：用于从时尚单品-用户交互空间中，借助图神经网络模型，并且融合注意力机制，从用户层面中获得单品的特征表示；第三表示子模块：将第一表示子模块与第二表示子模块的输出内容作为输入，用于融合从单品层面获得的单品特征表示以及从用户层面获得的单品特征表示，获得目标时尚单品的最终特征表示。
9.更进一步地，所述的用户表示模块包括第一表示子模块、第二表示子模块和第三表示子模块，其中第一表示子模块和第二表示子模块均与第三表示子模块相连；第一表示子模块：用于从用户-时尚单品交互空间中，借助图神经网络，并且融合
注意力机制，从单品层面中获得用户特征表示；第二表示子模块：用于从用户-用户交互关系空间中，借助图神经网络，并且融合注意力机制，从用户交互层面中获得用户的特征表示；第三表示子模块：将第一表示子模块与第二表示子模块的输出内容作为输入，用于融合从单品层面获得的用户特征表示以及从用户交互层面获得的用户特征表示，获得目标用户的最终特征表示。
10.进一步地，所述步骤s2中，创建交互图的具体方法为：s21：首先定义两个符号表示，记为包含n个用户的用户集合；为包含m个时尚单品的服装集合；s22：创建字典形式的时尚单品-时尚单品交互图，其中，与表示时尚单品目标结点，与分别是结点，的邻居结点集合；s23：创建字典形式的时尚单品-用户交互图,其中，与表示时尚单品目标结点，与分别是结点，的邻居结点集合；s24：创建字典形式的用户-用户交互关系图，其中，与表示用户目标结点，与分别是结点，的邻居结点集合；s25：创建字典形式的用户-时尚单品交互图,其中，与表示用户目标结点，与分别是结点，的邻居结点集合。
11.进一步地，所述的步骤s3具体为：s31：根据创建的交互图，构造时尚单品静态特征矩阵;其中，时尚单品特征矩阵的每一行代表一件时尚单品的特征向量，将其记为,这也是单品在图神经网络中第一层的初始向量；s32：从时尚单品层面，借助图神经网络，聚合邻居结点的状态，对单品的特征向量进行更新，通过状态更新，得到单品在第ｋ层的结点表示；s33：从用户层面，借助图神经网络，聚合邻居结点的状态，对单品的特征向量进行更新，通过状态更新，得到单品在第ｋ层的结点表示；s34：将从时尚单品层面获得的单品表示以及从用户层面获得的单品表示进行拼接，得到最终的单品表示。
12.进一步地，所述的步骤s4具体为：s41：根据创建的交互图，构造用户静态特征矩阵;其中，用户特征矩阵的每一行代表一个用户的特征向量，将其记为，这也是
用户在图神经网络中第一层的初始向量；s42：从时尚单品层面，借助图神经网络，聚合邻居结点的状态，对用户的特征向量进行更新，通过状态更新，可以得到用户在第ｋ层的结点表示；s43：从用户交互关系层面，借助图神经网络，聚合邻居结点的状态，对用户的特征向量进行更新，通过状态更新，可以得到用户在第ｋ层的结点表示；s44：将从时尚单品层面获得的用户表示以及从用户交互层面获得的用户表示进行拼接，得到最终的用户表示。
13.更进一步地，上述的图神经网络在进行邻居结点聚合信息时，采用一种依不同概率p在不同网络层进行取样有效结点参与信息聚合的策略，详细的步骤如下：a1：取样概率与图神经网络层数的关系为：，其中ｊ为图神经网络的第ｊ层，ｐ为该层网络的取样概率；a2：对于目标结点ｏ，依据取样概率ｐ，在网络的第ｊ层进行取样结点，以参与目标结点的信息聚合，其中取样结点数目num与概率p的关系为：，其中，d是目标结点o的度，ceil是一个向上取整的函数；a3：计算目标结点o的所有邻居与结点o的相似度，取出前num个相似度大的结点，参与目标结点o的特征聚合。
14.进一步地，所述的步骤s5具体为：s51：将通过s3获得的上衣特征表示与下衣特征表示送入到上衣-下衣兼容性建模模块中；s52：计算上衣与下衣的兼容性分数式中，表示点积运算。
15.进一步地，所述的步骤s6具体为：s61：将通过s3步骤获得的下衣特征表示与通过s4步骤获得的用户特征表示送入到用户个性化建模模块中；s62：计算用户对给定下衣的喜欢分数。
16.进一步地，所述的步骤s7具体为：s71：根据s52步骤获得的上衣下衣兼容性分数以及根据s52步骤获得的用户对给定下衣的喜欢分数,计算融合了用户个性化偏好的服装兼容性:式中，π是一个介于（0，1）之间的非负权衡参数。
17.s72：使用bpr loss计算损失：式中，，分别表示融合了个性化因素的上衣与下衣、下衣的兼容性。
18.上述方法能够应用于时尚推荐、衣服搭配等领域。
19.本发明的优点和有益效果如下：
（1）本发明提供了图神经网络在时尚推荐领域的具体用途，通过挖掘用户、时尚单品以及二者之间的交互关系，借助图表示学习方法，能充分学习用户以及时尚单品的特征表示，从而提高推荐的准确度。
20.（2）本发明在图神经网络的不同层采用不同的取样概率，尽可能地取样有效结点，摒弃噪声结点，从而提高模型对目标结点的表示能力；同时，提出依概率取样策略有效地解决了图神经网络当中由于层数过多而产生的过平滑问题，提高了模型的鲁棒性。
附图说明
21.图1为本发明建模过程整体框架示意图；图 2 为本发明的建模使用方法流程图。
具体实施方式
22.下面结合附图来对本发明作进一步的阐述。
23.实施例：一种基于有效邻居取样最大化的图神经网络的用户个性化、兼容性方法：首先建立基础模型（如图1-2所示），该模型主要包括构图模块、时尚单品表示模块、用户表示模块、上衣-下衣兼容性模块、用户个性化模块、推荐模块，其中构图模块与时尚单品表示模块、用户表示模块两大模块相连，时尚单品表示模块与上衣-下衣兼容性模块相连，用户表示模块与用户个性化模块相连，上衣-下衣兼容性模块与用户个性化模块两大模块与推荐模块相连；构图模块：构建用户-时尚单品图、用户-用户交互关系图、时尚单品-用户图、时尚单品-时尚单品图，从而为时尚单品表示模块以及用户表示模块提供交互图；时尚单品表示模块：用于将时尚单品-用户图、时尚单品-时尚单品图两个交互图以及随机初始化的用户、时尚单品特征表示矩阵，输入到所构建的图神经网络模型当中，以获取更新之后的时尚单品特征表示。所述的时尚单品表示模块包括：第一表示子模块、第二表示子模块以及第三表示子模块，其中第一表示子模块和第二表示子模块均与第三表示子模块相连；第一表示子模块：用于从时尚单品交互空间中，借助图神经网络，并且融合注意力机制，从单品层面中获得时尚单品特征表示；第二表示子模块：用于从时尚单品-用户交互空间中，借助图神经网络，并且融合注意力机制，从用户层面中获得单品的特征表示；第三表示子模块：将第一表示子模块与第二表示子模块的输出内容作为输入，用于融合从单品层面获得的单品特征表示以及从用户层面获得的单品特征表示，获得目标时尚单品的最终特征表示。
24.用户表示模块：用于将用户-时尚单品图、用户-用户交互图两个交互图以及随机初始化的用户、单品特征表示矩阵，输入到所构建的图神经网络模型当中，获取更新之后的用户特征表示。所述的用户表示模块包括：第一表示子模块、第二表示子模块以及第三表示子模块，其中第一表示子模块和第二表示子模块均与第三表示子模块相连；第一表示子模块：用于从用户-时尚单品交互空间中，借助图神经网络，并且融合
注意力机制，从单品层面中获得用户特征表示；第二表示子模块：用于从用户-用户交互空间中，借助图神经网络，并且融合注意力机制，从用户交互层面中获得用户的特征表示；第三表示子模块：将第一表示子模块与第二表示子模块的输出内容作为输入，用于融合从单品层面获得的用户特征表示以及从用户交互层面获得的用户特征表示，获得目标用户的最终特征表示。
25.上衣-下衣兼容性模块：将从时尚单品表示模块中获得的上衣特征表示与下衣特征表示作为输入信息，送入到该模块中，计算上衣与下衣的兼容性程度；用户个性化模块：将从时尚单品表示模块中获得的下衣特征表示以及从用户表示模块中获得的用户特征表示作为输入信息，送入到该模块中，计算用户对于给定下衣的喜欢程度；推荐模块：将上衣-下衣兼容性模块得到的上衣与下衣兼容性程度以及用户个性化模块得到的用户对下衣的喜欢程度作为输入，计算融入了个性化因素的上衣与下衣的兼容性分数，根据分数，为用户产生推荐。
26.基于上述模型的具体建模方法，包括以下步骤：s1：构建用户-时尚单品图、用户-用户交互关系图、时尚单品-用户图、时尚单品-时尚单品图，所构建的四个交互图均为无向图，详细的交互图构建方式为：s11：首先定义两个符号表示，记为包含n个用户的用户集合；为包含m个时尚单品的服装集合；s12：创建字典形式的时尚单品-时尚单品交互图，其中，与表示时尚单品目标结点，与分别是结点，的邻居结点集合；s13：创建字典形式的时尚单品-用户交互图,其中，与表示时尚单品目标结点，与分别是结点，的邻居结点集合；s14：创建字典形式的用户-用户交互关系图,其中，与表示用户目标结点，与分别是结点，的邻居结点集合；s15：创建字典形式的用户-时尚单品交互图,其中，与表示用户目标结点，与分别是结点，的邻居结点集合；在上面所构建四个交互图中，需要注意以下两点，其一图中不允许出现自环，反映到字典形式的交互图中即value集合中没有与key相同的元素；其二value集合的长度即为目标结点的度。
27.本实施例在图神经网络当中，采用了一种依不同概率p在不同网络层进行取样有效结点以参与信息聚合的策略，详细的步骤如下：
a1：取样概率与图神经网络层数的关系为：，其中j为图神经网络的第j层，p为该层网络的取样概率；a2：对于目标结点o，依据取样概率p，在网络的第j层进行取样结点，以参与目标结点的信息聚合，其中取样结点数目num与概率p的关系为：，其中，d是目标结点o的度，ceil是一个向上取整的函数，ceil函数与概率p的引进，保证了目标结点的取样结点数目；a3：计算目标结点o的所有邻居与结点o的相似度，取出前num个相似度大的结点，参与目标结点o的特征聚合，计算相似度的操作具体为：其中，是目标结点o的特征向量，e为目标结点o的邻居的特征矩阵，该矩阵的每一行表示其中一个邻居的特征向量，函数的作用是与特征矩阵e的每一行做点积，最后根据计算出的m矩阵，从中选出前num个相似度大的索引，根据索引找到对应的结点，来参与目标结点o的特征聚合。
28.s2：经过s1步骤，已经创建好上述四个交互图，构造时尚单品的静态交互矩阵，使用的是pytorch框架下的,其中num_emb是时尚单品的总数量，emb_dim是特征向量的维度。其中，矩阵的每一行代表一件时尚单品的特征向量，将其记为,这也是单品在图神经网络中第一层的初始向量。
29.现在以上衣时尚单品为例，详细描述其在图神经网络中的聚集信息过程：s21：在时尚单品层面进行聚集信息：其中,表示服装-服装空间当中上衣在图神经网络当中第 层的表示向量，是一种在服装-服装空间中进行聚合操作的加权聚合器。表示上衣的全部邻居，表示服装空间当中上衣的邻居在图神经网络当中第层的表示向量，与分别表示神经网络当中可以学习的权重与偏置，σ是sigmoid非线性激活函数，
⊕
符号表示拼接操作。
30.时尚单品层面详细的邻居聚合操作如下：在信息聚合当中使用了注意力机制，其中，表示不同网络层的注意力系数。详细的注意力系数获得方式如下：细的注意力系数获得方式如下：其中，与分别表示服装，用户在图神经网络当中第层的表示。
31.s22：在用户层面进行聚集信息：其中，表示服装-用户图当中上衣在图神经网络中第层的表示向量，是一种在服装-用户空间中进行聚合操作的加权聚合器。表示上衣的全部邻居，表示服装-用户空间当中服装的邻居在第层的表示向量。与分别表示在服装-用户空间的神经网络当中可以学习的权重与偏置。
32.用户层面详细的邻居聚合操作如下：式中，在聚合过程中也采用了注意力机制 ，注意力系数获得方式与s21同理。
33.s23：将从时尚单品层面获得的上衣表示以及从用户层面获得的上衣表示进行拼接，得到最终的上衣表示,向量拼接方式如下：同理，可以获得下衣的最终表示。
34.s3：经过s1步骤，利用上述创建好的四个交互图，构造用户静态交互矩阵，使用的是pytorch框架下的,其中num_emb是用户的总数量，emb_dim是特征向量的维度。其中，矩阵的每一行代表一个用户的特征向量，将其记为,这也是用户在图神经网络中第一层的初始向量。详细的图神经网络聚集信息过程如下：s31：从时尚单品层面进行聚集信息：其中，表示用户-服装空间当中用户在网络中第层的表示向量,是本发明当中采用的加权聚合器。表示用户的全部邻居，表示用户-服装空间当中用户的邻居 在第层的表示向量，与分别表示神经网络当中可以学习的权重与偏置。
35.时尚单品层面详细的邻居聚合操作如下：式中，在聚合过程中也采用了注意力机制 ，注意力系数获得方式与s21同理。
36.s32：从用户交互层面进行聚集信息：其中，表示用户交互空间当中用户u在图神经网络当中第层的表示向量，是本发明当中采用的加权聚合器，表示用户的全部邻居，表示用户-交互空
间当中用户的邻居 在图神经网络当中第层的表示向量，与分别表示用户交互空间的神经网络当中可以学习的权重与偏置。
37.用户交互层面详细的邻居聚合操作如下：式中，在聚合过程中也采用了注意力机制 ，注意力系数η获得方式与s21同理。
38.s33：将从时尚单品层面获得的用户表示与从用户交互层面获得的用户表示进行拼接，得到最终的用户表示：s4：将通过s2步骤获得的上衣特征表示以及下衣的特征表示送入上衣-下衣兼容性模块，计算上衣与下衣的兼容性分数，具体计算过程如下：在上式中使用最简单的点积方法来计算上衣与下衣的兼容性分数。
39.s5：将通过s2步骤获得的下衣的特征表示以及通过s3步骤获得的用户特征表示送入用户个性化模块，计算用户对给定下衣的喜欢分数，具体计算过程如下：在上式中使用最简单的点积方法来计算用户对给定下衣的喜欢分数。
40.s6：在推荐模块当中主要完成下衣的时尚推荐，其详细步骤具体如下：s61：经过s4，s5步骤，分别得到了上衣与下衣的兼容性分数以及用户对下衣的偏好程度,则融合了用户个性化偏好的服装兼容性可以表示如下：s62：根据现有的数据集构造四元组：其中,四元组中的o表示上衣与下衣构成的套装集合。四元组表示在给定上衣的情况之下，用户更加喜欢下衣而不是。
41.s63：通过bpr 损失函数的定义，目标函数如下：损失函数的定义，目标函数如下：其中，λ是一个非负超参数，表示整个模型当中出现的参数。
42.s64：根据计算出的损失值，采用随机梯度下降的方法更新图神经网络中的参数，直到模型收敛，进而完成模型的训练工作，需要特别指出的是，在模型训练过程中，采用的是adam优化器。
43.s65：同时需要注意的是，整个实验的过程中，将数据集划分为了训练集、验证集与测试集，三部分数据集的比例为7:2:1,其中训练集的作用是训练模型参数，验证集的作用是调整模型中的超参数，而测试集的作用是评估模型的性能。
44.本发明提出的基于有效邻居取样最大化的图神经网络的个性化建模方法充分利用了用户、时尚单品以及二者之间的交互信息，通过构建用户、时尚单品以及二者之间的交互图，借助图神经网络，并且采用一种最大化邻居取样策略，做到了对用户和时尚单品的准确表示，从而实现了贴合现实情况的高质量推荐。本发明实现了更加准确的实体特征表示，从而完成个性化时尚推荐任务。
45.最后，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。