具有多方面特征交互的可扩展神经张量网络的制作方法

背景技术：

1、图像含有关于美学、上下文和项目间关系的丰富信息，且视觉感知推荐器系统的新近发展已经考虑图像。此类推荐系统的一个示例性利用是在时装业。

2、然而，推荐引擎中存在许多问题。举例来说，难以确定和考虑多项目兼容性(例如在时装业用例中为帽子、上装、下装、鞋子、包袋等之间的兼容性)。此外，难以确定如何利用来自项目的视觉信号(例如利用全局和局部视觉信号)。另一问题是可扩展性。就当前方法的结果质量来说，那些方法在时间和内存方面不是可扩展的。

3、本公开的实施例个别地和共同地解决了此问题和其它问题。

技术实现思路

1、一个实施例涉及一种方法，所述方法包括：由处理计算机确定第一项目类型的第一多个图像、第二项目类型的第二多个图像和第三项目类型的第三多个图像中的每一者的一组区域；对于所述第一多个图像、所述第二多个图像和所述第三多个图像的每一组区域中的每一区域，由所述处理计算机生成表示所述区域的向量；由所述处理计算机使用所述向量生成对应于不同类型的项目的图像的组合的多个聚合消息，所述图像来自所述第一、第二和第三多个图像；由所述处理计算机使用所述多个聚合消息中的聚合消息分别针对所述第一、第二和第三多个图像中的所述图像生成统一嵌入；以及

2、由所述处理计算机使用所述统一嵌入和机器学习模型创建与所述第一项目类型、所述第二项目类型和所述第三项目类型的所述图像的组合相关联的匹配得分。

3、本发明的另一实施例涉及一种处理计算机，所述处理计算机包括：处理器；以及计算机可读介质，所述计算机可读介质耦合到所述处理器，所述计算机可读介质包括可由所述处理器执行以用于实施方法的代码，所述方法包括：确定第一项目类型的第一多个图像、第二项目类型的第二多个图像和第三项目类型的第三多个图像中的每一者的一组区域；对于所述第一多个图像、所述第二多个图像和所述第三多个图像的每一组区域中的每一区域，生成表示所述区域的向量；使用所述向量生成对应于不同类型的项目的图像的组合的多个聚合消息，所述图像来自所述第一、第二和第三多个图像；使用所述多个聚合消息中的聚合消息分别针对所述第一、第二和第三多个图像中的所述图像生成统一嵌入；以及使用所述统一嵌入和机器学习模型创建与所述第一项目类型、所述第二项目类型和所述第三项目类型的所述图像的组合相关联的匹配得分。

4、关于本公开的实施例的另外的细节可以在具体实施方式和附图中找到。

技术特征：

1.一种方法，其包括：

2.根据权利要求1所述的方法，其进一步包括：

3.根据权利要求1所述的方法，其中当所述第一项目类型、所述第二项目类型和所述第三项目类型由用户以组合方式一起使用时，所述第一项目类型在所述第二项目类型近端且在所述第三项目类型远端。

4.根据权利要求1所述的方法，其进一步包括：

5.根据权利要求1所述的方法，其进一步包括：

6.根据权利要求1所述的方法，其中使用所述向量生成对应于不同类型的项目的图像的组合的所述多个聚合消息，所述图像来自所述第一、第二和第三多个图像包括：

7.根据权利要求6所述的方法，其中所述亲和矩阵指示所述第二图像的每一区域的所述向量对所述第一图像的每一区域的所述向量的影响量。

8.根据权利要求6所述的方法，其中所述聚合消息是针对每一定向对的图像确定的。

9.根据权利要求1所述的方法，其中所述机器学习模型是广度和深度张量网络，所述广度和深度张量网络包括将所述统一嵌入池化到第一向量中的广度网络模型和通过以层次方式应用感知器层而从所述统一嵌入提取第二向量的深度网络。

10.根据权利要求1所述的方法，其中所述第一项目类型、所述第二项目类型和所述第三项目类型是不同类型的服装。

11.一种处理计算机，其包括：

12.根据权利要求11所述的处理计算机，其进一步包括：

13.根据权利要求11所述的处理计算机，其中所述方法进一步包括：

14.根据权利要求11所述的处理计算机，其中所述多个聚合消息中的聚合消息指示图像的一个区域对另一图像的另一区域的影响量。

15.根据权利要求11所述的处理计算机，其中当所述第一项目类型、所述第二项目类型和所述第三项目类型由用户以组合方式一起使用时，所述第一项目类型在所述第二项目类型近端且在所述第三项目类型远端，其中所述第一项目类型、所述第二项目类型和所述第三项目类型是服装。

16.根据权利要求11所述的处理计算机，其中在创建与所述第一项目类型、所述第二项目类型和所述第三项目类型的所述图像的组合相关联的匹配得分之后，所述方法进一步包括：

17.根据权利要求11所述的处理计算机，其中所述第一项目类型是第一资源，所述第二项目类型是第二资源，且所述第三项目类型是第三资源，其中所述第一资源、所述第二资源和所述第三资源是由资源提供者使得可供资源用户使用的资源。

18.根据权利要求11所述的处理计算机，其中使用所述向量生成对应于不同类型的项目的图像的组合的所述多个聚合消息，所述图像来自所述第一、第二和第三多个图像包括：

19.根据权利要求11所述的处理计算机，其中所述处理计算机是服务器计算机。

20.根据权利要求11所述的处理计算机，其中所述匹配得分指示所述第一项目类型、所述第二项目类型和所述第三项目类型的所述组合的兼容性。

技术总结
一种方法包括：确定第一项目类型的第一多个图像、第二项目类型的第二多个图像和第三项目类型的第三多个图像中的每一者的一组区域。所述方法还包括：对于所述图像的每一组区域中的每一区域，由处理计算机生成表示所述区域的向量，且接着使用所述向量生成对应于不同类型的项目的图像的组合的多个聚合消息，所述图像来自所述第一、第二和第三多个图像。接着，使用所述多个聚合消息中的聚合消息分别针对所述第一、第二和第三多个图像中的所述图像生成统一嵌入。使用所述统一嵌入和机器学习模型创建与所述图像的组合相关联的匹配得分。

技术研发人员：陈辉原,林郁珊,王飞,仰颢
受保护的技术使用者：维萨国际服务协会
技术研发日：
技术公布日：2024/1/15