使用图和神经网络的极限分类处理的制作方法

背景技术：

1、传统系统通过从候选集合中确定推荐来提供推荐作为接收搜索查询的结果。这些系统分析接收到的搜索查询的词语或上下文并将其分类为数千个候选类中的一个或多个类。这些分类系统可以在各种应用中(例如，web搜索、产品推荐和查询重写等)。在实践中，当候选类的大小不够大时，推荐的准确性成为问题。例如，候选类集合(例如，数千个类)可以不必包括准确地从数百万个可能的推荐中反映期望推荐的候选。提高提供推荐的准确性需要更多、更多的候选类。实际上，在不牺牲训练或分类的性能的情况下，不是仅需要数千个而是需要数百万个候选类。因此，期望开发在分类系统的训练和预测阶段两者中具有足够性能的、更好满足这些要求的技术。

2、关于这些和其他一般考虑做出了本文中公开的各方面。此外，虽然可以讨论相对特定的问题，但是应当理解，示例不应当限于解决在本公开的背景或其他地方中标识的特定问题。

技术实现思路

1、根据本公开，通过基于文档和标签的联合图生成分类器集合来训练极限分类(extreme classification)系统来解决上述和其它问题。在各方面中，“文档”可以指对系统的输入，并且“标签”可以指系统的输出。

2、本公开涉及在分类系统的训练过程期间基于文档和标签的联合图来生成分类器集合。此后，可以在预测阶段中使用经训练的分类系统来利用来自极大标签集合(例如，数百万个标签)的最相关的标签子集来注释给定文档。特别地，联合图包括作为节点的文档和标签的组合，以及作为边的至少一对文档和标签之间的关系作为边。对与节点相邻的节点执行图卷积以生成用于学习的文档表示。在各方面中，可以基于相对于联合图内的文档节点连续增加节点的“邻域”来生成文档节点的多个向量表示的集合。例如，相对于文档节点，第一节点可以与文档节点具有直接关系(或边)，第二节点可以与第一节点具有直接关系，并且第三节点可以与第二节点具有直接关系，等等。从文档节点的“第一跳”可以指包括第一节点的第一邻域层级，从文档节点的“第二跳”可以指包括第一节点和第二节点的第二邻域层级，从文档节点的“第三跳”可以指包括第一节点、第二节点和第三节点的第三邻域层级，等等。在各方面中，来自节点(或标签)的信息可以随着跳离文档节点的增加而变得更泛化，并且包括更多的相邻节点(或标签)。文档节点的向量表示可以基于离文档节点的“跳”(或邻域层级)的数目而被不同地加权。在各方面中，联合图中特定跳数内的文档节点的向量表示可以相对于另一跳数内的文档节点的另一向量表示而被加权。

3、特征标签生成器基于标签注意力针对极大数目的标签(例如，数百万个标签)中的每个标签生成文档表示的向量表示。每标签文档表示中的每个每标签文档表示包括对具有基于图中标签的位置(例如，头标签或尾标签)的指定跳数的文档表示中的文档表示的标签注意力。标签“注意力”将联合图中相邻节点的一个或多个特征加权，以生成针对标签的文档表示。基于标签注意力的特征标签生成器的输出是数百万个文档表示，针对数百万个标签中的每个标签存在一个文档表示。在一些方面中，本公开然后基于作为输入的每标签文档表示来学习针对每个标签的单独分类器。在一些其它方面中，在训练和预测期间使用入围列表(shortlist)可以减少要处理的分类器的数目以用于改善性能。基于使用针对相应标签的极大数目的分类器的分类，针对给定查询的预测或推荐候选的准确性得到改善。

4、所公开的技术包括分类系统的训练过程和预测过程。训练过程是本公开的主要关注点。该过程可以包括图卷积、特征变换、特征标签注意力和分类器生成中的一项或多项。图卷积包括基于离文档和标签的联合图内的相应文档节点的变化的跳数来生成文档的向量表示。特征变换包括基于具有跳跃连接的残差层来变换文档的向量表示。特征标签注意力针对每个标签生成单独的文档表示。每个标签根据节点是对应于联合图中的头标签还是尾标签而不同地关注邻域的不同跳。调整联合图中的用于标签注意力的相邻范围提供了足量的信息以提供标注文档时的准确性。

5、一些示例包括用于训练分类器的方法。方法可以包括：接收联合图，其中联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型，基于联合图的图卷积，生成文档的多个多维向量表示，其中文档由联合图中的文档节点来表示，并且其中文档的每个多维向量表示与相邻节点离联合图中的文档节点的不同层级对应，使用神经网络的残差层基于文档的所生成的多个多维向量表示，来生成文档的经变换的多维向量表示，其中残差层包括残差网络和跳跃连接，使用标签注意力来生成文档的多个每标签多维向量表示，其中文档的每个每标签多维向量表示与多个标签中的标签对应，并且其中标签注意力将可变加权应用于文档的经变换的多维向量表示中的一个或多个经变换的多维向量表示，以生成每标签多维向量表示，训练针对多个标签中的每个标签的分类器，以及发送多个经训练的分类器以用于在标签预测过程中的部署。离文档节点的相邻节点的层级与离联合图的文档节点的跳数对应，并且其中针对尾标签的标签注意力对文档的基于相邻节点的更高层级而被生成的多维向量表示施加更高的加权。文档的多个多维向量表示包括基于离文档节点的一跳之内的节点的第一多维向量表示、基于离文档节点的两跳之内的节点的第二多维向量表示、基于离文档节点的三跳之内的节点的第三多维向量表示。图卷积包括：向量化文档和与离文档节点的预定数目的跳之内的节点相关联的标签的特征，以生成文档的多维向量表示。多个标签的数目至少是一百万，并且其中文档的多个每标签多维向量表示的数目至少是一百万。方法还可以包括部署多个经训练的分类器以用于标签预测过程，接收文档，使用多个经训练的分类器的子集来生成针对所接收的文档的推荐候选标签的集合，以及发送所生成的推荐候选标签作为对文档的响应。

6、一些示例包括一种系统，用于学习针对极限分类处理中的标签的分类器。系统包括处理器和存储计算机可执行指令的存储器，该计算机可执行指令在由处理器执行时使系统：接收联合图，其中联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型，基于联合图的图卷积，生成文档的多个多维向量表示，其中文档由联合图中的文档节点来表示，并且其中文档的每个多维向量表示与相邻节点离联合图中的文档节点的不同层级对应，使用神经网络的残差层基于文档的所生成的多个多维向量表示，来生成文档的经变换的多维向量表示，其中残差层包括残差网络和跳跃连接，使用标签注意力来生成文档的多个每标签多维向量表示，其中文档的每个每标签多维向量表示与多个标签中的标签对应，并且其中标签注意力将可变加权应用于文档的经变换的多维向量表示中的一个或多个经变换的多维向量表示，以生成每标签多维向量表示，训练针对多个标签中的每个标签的分类器，以及发送多个经训练的分类器以用于在标签预测过程中的部署。离文档节点的相邻节点的层级与从联合图的文档节点的跳数对应，并且其中针对尾标签的标签注意力对文档的基于相邻节点的更高层级而被生成的多维向量表示施加更高的加权。文档的多个多维向量表示包括基于离文档节点的一跳之内的节点的第一多维向量表示、基于离文档节点的两跳之内的节点的第二多维向量表示、基于离文档节点的三跳之内的节点的第三多维向量表示。图卷积包括：向量化文档和与从文档节点的预定数目的跳之内的节点相关联的标签的特征，以生成文档的多维向量表示。计算机可执行指令在被执行时还使系统：部署多个经训练的分类器以用于标签预测过程，接收文档，使用多个经训练的分类器的子集来生成针对所接收的文档的推荐候选标签的集合，以及发送所生成的推荐候选标签作为对文档的响应。文档包括以下至少一项：作为web搜索应用中的搜索结果的网页，赞助搜索应用中的定向内容片段，产品推荐应用中的另一产品，或者内容推荐应用中的另一内容标题，并且其中标签包括以下至少一项：该web搜索应用中的查询，该赞助搜索应用中的查询，该产品推荐应用中的产品，或者该内容推荐应用中的内容标题。计算机可执行指令在执行时还使系统：生成用于学习的分类器集合；以及在批处理中学习分类器集合中的每个分类器。

7、一些示例包括存储计算机可执行指令的计算机可读非暂态记录介质。计算机可读非暂态记录介质可以存储计算机可执行指令，该计算机可执行指令在由处理器执行时使计算机系统：接收联合图，其中联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型，基于联合图的图卷积，生成文档的多个多维向量表示，其中文档由联合图中的文档节点来表示，并且其中文档的每个多维向量表示与相邻节点离联合图的文档节点的不同层级对应，使用神经网络的残差层基于文档的所生成的多个多维向量表示，来生成文档的经变换的多维向量表示，其中残差层包括残差网络和跳跃连接，使用标签注意力来生成文档的多个每标签多维向量表示，其中文档的每个每标签多维向量表示与多个标签中的标签对应，并且其中标签注意力将可变加权应用于文档的经变换的多维向量表示中的一个或多个经变换的多维向量表示，以生成每标签多维向量表示，训练针对多个标签中的每个标签的分类器，以及发送多个经训练的分类器以用于在标签预测过程中的部署。从文档节点的相邻节点的层级与离联合图的文档节点的跳数对应，并且其中针对尾标签的标签注意力对文档的基于相邻节点的更高层级而被生成的多维向量表示施加更高的加权。文档的多个多维向量表示包括基于离文档节点的一跳之内的节点的第一多维向量表示、基于离文档节点的两跳之内的节点的第二多维向量表示、基于离文档节点的三跳之内的节点的第三多维向量表示。计算机可执行指令在执行时还使系统：部署多个经训练的分类器以用于标签预测过程，接收文档，使用多个经训练的分类器的子集来生成针对所接收的文档的推荐候选标签的集合，以及发送所生成的推荐候选标签作为对文档的响应。文档包括以下至少一项：作为web搜索应用中的搜索结果的网页，赞助搜索应用中的定向内容片段，产品推荐应用中的另一产品，或者内容推荐应用中的另一内容标题，并且其中标签包括以下至少一项：该web搜索应用中的查询，该赞助搜索应用中的查询，该产品推荐应用中的产品，或者该内容推荐应用中的内容标题。

8、提供本概述从而以简化的形式介绍概念的选择，这将在下面的具体实施方式中进一步描述。本概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。示例的附加方面、特征和/或优点将部分地在以下描述中阐述，并且部分地将从描述中明显，或者可以通过实践本公开而获知。