用于表示异构图节点的模型生成方法及装置与流程

本公开的实施例涉及计算机技术领域，具体涉及自然语言处理、知识图谱、深度学习技术，为一种用于表示异构图节点的模型生成方法及装置。

背景技术：

目前，图网络表示技术被广泛应用，例如节点分类、链路预测、社区检测等。现实中，存在大量的异构图，异构图中包括多种节点类型和边的类型。为了学习出不同类型节点的语义信息，针对异构图的图网络表示技术采用的方法一般为：通过元路径采样得到不同的实例游走序列，将实例游走序列当成句子序列，通过词嵌入模型的训练方法对游走序列进行训练，最终得到异构图节点的表示结果。这种节点表示学习方法只使用了一种元路径，丢失了其它元路径的语义信息，导致最终的优化是一个次优的结果。

技术实现要素：

本申请提供了一种用于表示异构图节点的模型生成的方法、装置、设备以及存储介质。

根据第一方面，本申请提供了一种用于表示异构图节点的模型生成方法，包括：获取训练数据集，其中，训练数据集包括根据不同的元路径对异构图进行采样得到的节点游走路径信息；基于梯度下降算法，将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

根据第二方面，本申请提供了一种用于表示异构图节点的模型生成装置，包括：第一获取单元，被配置成获取训练数据集，其中，训练数据集包括根据不同的元路径对异构图进行采样得到的节点游走路径信息；训练单元，被配置成基于梯度下降算法，将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面中任一项的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行上述第一方面中任一项的方法。

根据本申请的技术采用多种元路径相结合的方式，可以获取不同元路径的语义信息，解决了基于一种元路径的节点表示方法会丢失异构图的路径信息的问题，增强了针对异构图的节点表示能力。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的用于表示异构图节点的模型生成方法的一个实施例的流程图；

图3是根据本公开的异构图的说明性示意图；

图4是根据本公开的用于表示异构图节点的模型生成方法的一个应用场景的示意图；

图5是根据本公开的用于表示异构图节点的模型生成方法的又一个实施例的流程图；

图6是根据本公开的用于表示异构图节点的模型生成装置的一个实施例的结构示意图；

图7是适于用来实现本公开的实施例的电子设备/终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本申请的用于表示异构图节点的模型生成方法及装置的示例性架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103可以是支持网络连接从而进行数据交互和数据处理的硬件设备或软件。当终端设备101、102、103为硬件时，其可以是支持信息交互、网络连接、图像拍摄等功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如基于终端设备101、102、103发送的训练数据集，对初始异构图节点表示模型进行训练的后台处理服务器。后台处理服务器可以初始异构图节点表示模型进行训练，从而得到训练后的异构图节点表示模型。可选的，后台处理服务器还可以将异构图节点表示模型反馈给终端设备，以供终端设备使用。作为示例，服务器105可以是云端服务器。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

还需要说明的是，本公开的实施例所提供的用于表示异构图节点的模型生成方法可以由服务器执行，也可以由终端设备执行，还可以由服务器和终端设备彼此配合执行。相应地，信息处理装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当用于表示异构图节点的模型生成方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该系统架构可以仅包括用于表示异构图节点的模型生成方法运行于其上的电子设备(例如服务器或终端设备)。

继续参考图2，示出了用于表示异构图节点的模型生成方法的一个实施例的流程200，包括以下步骤：

步骤201，获取训练数据集。

本实施例中，用于表示异构图节点的模型生成方法的执行主体(例如图1中的终端设备或服务器)可以通过有线连接方式或者无线连接方式从远程，或从本地获取训练数据集。其中，训练数据集包括根据不同的元路径对异构图进行采样得到的节点游走路径信息。

异构图也被称为异构信息网络(hin，heterogeneousinformationnetwork)或异构图网络，其中存在多种类型的节点和边，边可以理解为两个类型节点之间的联系。现实世界中的图形通常是具有多种类型的节点和边的异构图。由于异构图包含的信息更加全面，语义更加丰富，因此在许多数据挖掘任务中得到了广泛的应用。

元路径是连接两个节点对象的复合关系，是一种广泛应用的语义捕获结构。本实施例中的不同的元路径的结构不同。根据元路径对异构图进行采样，可以得到节点游走路径信息，节点游走路径信息所表征的节点游走路径中包括多个元路径。作为示例，上述执行主体可以基于随机游走策略对异构图进行采样，得到元路径的节点游走路径信息，获取异构图网络中各种不同类型节点的异构领域。

作为示例，如图3所示，异构图网络拥有3种不同类型的节点，分别为a、p、c三种类型的节点，例如，a、p、c这三种类型的节点可以依次表示电影、演员和导演，其中，电影类型的节点a中包括电影a1、电影a2、电影a3、电影a4；演员类型的节点p中包括演员p1、演员p2、演员p3、演员p4、演员p5，导演类型的节点c中包括导演c1、导演c2、导演c3。根据这三种类型的节点，我们可以构造出不同的元路径(metapath)。例如，可以将a-p-c-p-a、c-p-c和a-p-a设置为图3的异构图的元路径。元路径a-p-a(电影-演员-电影)描述了两部电影之间有相同的演员这一联系，而c-p-c(电影-导演-电影)则是指两部电影由同一个导演完成这一联系。可见，根据元路径的不同，异构图中节点之间的关系可以有不同的语义。根据异构图的结构以及需要获得的结果信息可以具体设置元路径，在此不做限定。设置好元路径之后，对于每一条元路径，上述执行主体可以在图中按照元路径中指定的节点类型在异构图网络中采样得到节点游走路径信息。

例如，针对于元路径a-p-c-p-a，上述执行主体可以采样得到节点游走路径a1-p1-c1-p3-a3-p4-c3，针对于元路径a-p-a，上述执行主体可以采样得到节点游走路径a1-p1-a2-p3-a3-p4。

需要说明的是，异构图可以是包括数量众多的节点类型和边类型的异构图，其中的关系错综复杂。针对于每条元路径，上述执行主体可以采样得到多条节点游走路径信息，以获得针对异构图的丰富而准确地语义信息。

步骤202，基于梯度下降算法，将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

本实施例中，上述执行主体可以将步骤201获取的训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。其中，异构图节点表示模型用于根据异构图中各类型节点和各类型边，得到异构图中各节点的节点表示结果。

本实施例中，初始异构图节点表示模型可以采用各种机器学习模型，包括但不限于是神经网络模型、深度学习模型等等。在本实施例的一些可选的实现方式中，初始异构图节点表示模型采用跳字(skip-gram)模型。上述执行主体使用基于元路径的随机游走获取异构图网络中各种不同类型节点的异构领域，通过跳字(skip-gram)模型处理获取的节点领域，最终得到异构图中每个节点的网络嵌入表示，在保留异构图网络结构的同时能够有效且高效能学习异构图的语义相互关系。

具体的，针对训练数据集中的每份训练数据，上述执行主体可以将该训练数据输入经上一份训练数据训练后的更新异构图节点表示模型，对更新异构图节点表示模型进行参数更新。在训练过程中，上述执行主体可以通过梯度下降法来一步步的迭代求解直至模型收敛，得到最小化的损失函数和模型参数值，将收敛后的模型确定为异构图节点表示模型。

作为示例，异构图可以是移动广告生态系统中表征用户、应用和广告之间的关联关系异构图网络，通过网络异构图节点表示模型可以得到各用户、各应用和各广告的节点表示结果。其中节点标识结果可以采用向量、矩阵等方式表示。

继续参见图4，图4是根据本实施例的用于表示异构图节点的模型生成方法的应用场景的一个示意图。在图4的应用场景中，终端设备401中存储有异构图以及基于不同的元路径对异构图进行采样得到的节点游走路径信息，其中，异构图中的节点包括是移动广告生态系统中表征用户、应用和广告的节点。首先，服务器402从终端设备401中获取训练数据集，其中，训练数据集包括根据不同的元路径对异构图进行采样得到的节点游走路径信息。然后，基于梯度下降算法，服务器402将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

本申请的技术采用多种元路径相结合的方式，可以获取不同元路径的语义信息，解决了基于一种元路径的节点表示方法会丢失异构图的路径信息的问题，增强了针对异构图的节点表示能力。

继续参考图5，示出了根据本申请的用于表示异构图节点的模型生成方法的另一个实施例的示意性流程500，包括以下步骤：

步骤501，获取异构图。

本实施例中，用于表示异构图节点的模型生成方法的执行主体，可以通过有线连接方式或者无线连接方式从远程，或从本地获取异构图。

步骤502，确定异构图中的各类型节点以及各类型节点之间的联系。

本实施例中，上述执行主体可以确定出异构图中的各类型节点以及各类型节点之间的联系。

需要说明的是，本实施例是基于异构图网络和异构图网络中各类型节点以及各类型节点之间的联系，通过后续步骤得到的异构图网络节点表示模型得到异构图中各节点的节点表示结果。本实施例并不限定步骤501和步骤502的执行顺序。在一些示例中，上述执行主体可以根据异构图，确定异构图中的各类型节点以及各类型节点之间的联系。在另一些示例中，是上述执行主体可以根据各类型节点以及各类型节点之间的联系，确定书对应的异构图网络。

本实施例中，上述执行主体可以以异构图或异构图中的各类型节点以及各类型节点之间的联系作为获取训练数据集的数据基础，处理得到训练数据集，扩展了本实施例的实用性。

步骤503，针对不同的元路径中的每条元路径，根据异构图中的各类型节点以及各类型节点之间的联系，对异构图进行采样，得到对应于该元路径的节点游走路径信息。

本实施例中，元路径的数量和结构可以根据异构图的网络结构具体设置，上述执行主体针对多条不同的元路径中的每条元路径，都对异构图进行采样，以得到对应于每一条元路径的节点游走路径信息。

本实施例中，基于多条不同的元路径可以得到多条节点游走路径信息。一条节点游走路径信息可以作为训练数据集中的一份训练数据，多条节点游走路径信息包含更丰富的异构图的语义信息，可以为异构图节点表示模型提供更准确的训练数据，以提升异构图节点表示模型针对异构图节点表示的准确性。

步骤504，基于梯度下降算法，将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

本实施例中，步骤504与图2对应实施例中的步骤202基本一致，在此不再赘述。

从图5中可以看出，与图2对应的实施例相比，本实施例中的用于表示异构图节点的模型生成方法的流程500突出说明了获取训练数据集前的异构图处理过程以及训练数据集的获取过程。如此，本实施例描述的方案更具实用性，并且可以获取包含更丰富的异构图的语义信息的训练数据集。

在本实施例的一些可选的实现方式中，还可以包括以下步骤：

步骤505，通过预先训练的异构图节点表示模型，得到待处理异构图的节点表示结果。

本实施例中，待处理异构图可以是任意的异构图。

作为示例，上述执行主体可以根据待处理异构图确定其中的各类型节点以及各类型节点之间的联系，然后通过预先训练的异构图节点表示模型，得到待处理异构图的节点表示结果。如此，本实施例描述的方案根据待处理异构图可以得到准确的节点表示结果，丰富了异构图的节点表示结果的获取方式。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种用于表示异构图节点的模型生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征，以及产生与图2所示的方法实施例相同或相应的效果。该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的用于表示异构图节点的模型生成装置，包括：第一获取单元601，被配置成获取训练数据集，其中，训练数据集包括根据不同的元路径对异构图进行采样得到的节点游走路径信息；训练单元602，被配置成基于梯度下降算法，将训练数据集作为初始异构图节点表示模型的输入，训练初始异构图节点表示模型，得到异构图节点表示模型。

在一些实施例中，上述模型生成装置还包括：第二获取单元(图中未示出)，被配置成获取异构图；确定单元(图中未示出)，被配置成确定异构图中的各类型节点以及各类型节点之间的联系。

在一些实施例中，第一获取单元501，进一步被配置成：针对不同的元路径中的每条元路径，根据异构图中的各类型节点以及各类型节点之间的联系，对异构图进行采样，得到对应于该元路径的节点游走路径信息。

在一些实施例中，上述模型生成装置还包括：节点表示单元(图中未示出)，别配置成通过预先训练的异构图节点表示模型，得到待处理异构图的节点表示结果。

在一些实施例中，初始异构图节点表示模型为跳字模型。

本实施例中，用于表示异构图节点的模型生成装置采用多种元路径相结合的方式，可以获取不同元路径的语义信息，解决了基于一种元路径的节点表示方法会丢失异构图的路径信息的问题，增强了针对异构图的节点表示能力。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的用于表示异构图节点的模型生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于表示异构图节点的模型生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于表示异构图节点的模型生成方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于表示异构图节点的模型生成方法对应的程序指令/单元(例如，附图6所示的第一获取单元601和训练单元602)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于表示异构图节点的模型生成方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据用于表示异构图节点的模型生成方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至用于表示异构图节点的模型生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

用于表示异构图节点的模型生成方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与用于表示异构图节点的模型生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，采用多种元路径相结合的方式，可以获取不同元路径的语义信息，解决了基于一种元路径的节点表示方法会丢失异构图的路径信息的问题，增强了针对异构图的节点表示能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。