使用去噪目标训练示图神经网络的制作方法

背景技术：

1、本说明书涉及使用机器学习模型处理数据。

2、机器学习模型接收输入并且基于接收到的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并且基于接收到的输入和模型的参数的值来生成输出。

3、一些机器学习模型是采用多层模型来为接收到的输入生成输出的深度模型。例如，深度神经网络是包括输出层和一个或多个隐藏层的深度机器学习模型，每个隐藏层对接收到的输入应用非线性变换以生成输出。

技术实现思路

1、本说明书大体上描述了一种训练系统，该训练系统在一个或多个地点中的一个或多个计算机上被实施为训练包括一个或多个示图神经网络层的神经网络的计算机程序。

2、如贯穿本说明书使用的，“示图”(graph)是指至少包括以下的数据结构：(i)节点集合，以及(ii)边缘集合。示图中的每个边缘可以连接示图中的相应节点对。示图可以是“有向”示图，即，使得连接一对节点的每个边缘被定义为从第一节点指向第二节点，或者反之亦然，或者可以是“无向”示图，即，使得边缘(或者反向边缘对)与方向不关联。

3、通常，定义示图的数据可以包括定义示图的节点和边缘的数据，并且可以用任何适当的数字格式表示。例如，示图可以由包括元组列表{(i,j)}的数据定义，其中每个元组(i,j)表示连接节点i和节点j的示图中的边缘。而且，示图中的每个边缘可以与一个或多个边缘特征的集合相关联，并且示图中的每个节点可以与一个或多个节点特征的集合相关联。

4、在一个方面中，描述了一种用于训练包括一个或多个示图神经网络层的神经网络的方法。该方法包括生成定义示图的数据，该示图包括：(i)节点集合，(ii)每个节点的节点嵌入，以及(iii)各自连接相应节点对的边缘集合。在实施方式中，这包括获得每个节点的相应的初始特征表示，并且为每个节点生成相应的最终特征表示，其中，针对一个或多个节点中的每个节点，相应的最终特征表示是使用相应噪声从节点的相应特征表示生成的修改特征表示，并且使用节点的相应的最终特征表示来生成定义示图的数据。在实施方式中，每个节点的节点嵌入是从节点的相应的最终特征表示生成的。

5、该方法使用神经网络的示图神经网络层中的一个或多个来处理定义示图的数据，以生成每个节点的相应的更新节点嵌入。针对具有修改特征表示的一个或多个节点中的每个节点，该方法处理节点的更新节点嵌入，以为节点生成相应去噪预测，该相应去噪预测表征节点的去噪特征表示，该去噪特征表示不包括用于生成节点的修改特征表示的噪声。该方法确定对神经网络的神经网络参数的当前值的更新，以优化目标函数，该目标函数测量节点的去噪预测中的误差，具体地优化节点的相应去噪预测。

6、在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测用于生成节点的修改特征表示的噪声。

7、在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测节点的相应初始特征表示。

8、在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测表征节点的目标特征表示。

9、在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，节点的相应去噪预测预测节点的增量特征表示，如果该增量特征表示被添加到节点的修改特征表示，则产生节点的目标特征表示。

10、在一些实施方式中，该方法进一步包括：处理节点的更新节点嵌入以生成任务预测，其中，目标函数还测量任务预测中的误差。

11、在一些实施方式中，以下两者：(i)节点的更新节点嵌入，以及(ii)在使用示图神经网络层来被更新之前的节点的原始节点嵌入，都被处理以生成任务预测。

12、在一些实施方式中，示图表示分子，并且任务预测是对分子的平衡能量的预测。

13、在一些实施方式中，针对神经网络的多个示图神经网络层中的每个示图神经网络层，目标函数测量节点的去噪预测中的相应误差，所述去噪预测基于由示图神经网络层生成的更新节点嵌入。

14、在一些实施方式中，针对具有修改特征表示的一个或多个节点中的每个节点，处理节点的更新节点嵌入以为节点生成相应去噪预测包括：使用一个或多个神经网络层来处理节点的更新节点嵌入，以为节点生成相应去噪预测。

15、在一些实施方式中，确定对神经网络的神经网络参数的当前值的更新以优化目标函数包括：通过示图神经网络层的神经网络参数反向传播目标函数的梯度。

16、在一些实施方式中，针对一个或多个节点中的每个节点，节点的相应的最终特征表示是通过将相应噪声添加到节点的相应特征表示而生成的。

17、在一些实施方式中，使用节点的相应的最终特征表示来生成定义示图的数据包括：针对包括第一节点和第二节点的每对节点，确定第一节点的最终特征表示和第二节点的最终特征表示之间的相应距离；以及确定与小于预定义阈值的距离相对应的每对节点由示图中的边缘连接。

18、在一些实施方式中，该示图进一步包括每个边缘的相应边缘嵌入。

19、在一些实施方式中，生成定义示图的数据包括：至少部分地基于由边缘连接的节点的相应的最终特征表示之间的差异来为示图中的每个边缘生成边缘嵌入。

20、在一些实施方式中，示图表示分子，该示图中的每个节点表示分子中的相应原子，并且生成定义示图的数据包括：基于由节点表示的原子类型来为每个节点生成节点嵌入。

21、在一些实施方式中，神经网络包括至少10个示图神经网络层。

22、在一些实施方式中，示图神经网络的每个示图神经网络层被配置为：接收当前示图；以及根据示图神经网络层的当前神经网络参数值来更新当前示图，包括：基于以下来更新示图中的一个或多个节点中的每个节点的当前节点嵌入：(i)节点的当前节点嵌入，以及(ii)示图中的节点的一个或多个邻居中的每个邻居的相应当前节点嵌入。

23、在一些实施方式中，当前示图包括每个边缘的边缘嵌入，并且更新示图中的一个或多个节点中的每个节点的当前节点嵌入进一步包括：至少部分地基于连接至节点的一个或多个边缘中的每个边缘的相应边缘嵌入来更新节点的节点嵌入。

24、在一些实施方式中，示图表示分子，该示图中的每个节点表示分子中的相应原子，每个节点的初始特征表示表示分子中的对应原子的初始空间位置，并且针对具有修改特征表示的一个或多个节点中的每个节点，并且节点的目标特征表示表示原子弛豫之后对应原子的最终空间位置。

25、根据另一方面，提供了一种存储指令的一个或多个非暂时性计算机存储介质，在所述指令由一个或多个计算机实行时，使所述一个或多个计算机执行本文描述的方法的操作。

26、根据另一方面，提供了一种系统，包括：一个或多个计算机；以及一个或多个存储设备，被通信地耦合至一个或多个计算机，其中，所述一个或多个存储设备存储指令，在所述指令由一个或多个计算机实行时，使所述一个或多个计算机执行本文描述的方法的操作。

27、如贯穿本说明书使用的，“嵌入”是指数值的有序集合，例如数值的向量、矩阵或其他张量。

28、本说明书中描述的主题可以被实施在特定实施例中，以便实现以下优点中的一个或多个。

29、本说明书中描述的系统可以训练示图神经网络(即，包括一个或多个示图神经网络层的神经网络)来生成示图中的节点的去噪预测。具体地，在示图上训练示图神经网络之前，系统可以使用噪声来修改示图中的节点的特征表示，例如通过将噪声添加到节点的特征表示。去噪预测可以例如预测修改节点的特征表示的噪声的值，或者预测示图中的节点的原始特征表示的重构(即，在使用噪声修改特征表示之前)。

30、训练示图神经网络以生成去噪预测可以使示图神经网络的训练正规化，并且具体地，可以实现对具有大量示图神经网络层——例如多于100个示图神经网络层——的示图神经网络进行有效训练。相反，在示图神经网络的性能随着更多的示图神经网络层的添加而饱和或者甚至降低之前，许多常规系统被限制为训练具有少得多的示图神经网络层(例如少于10层)的示图神经网络。当由本说明书中描述的系统训练时，较深的示图神经网络(即，具有更多的示图神经网络层)可以为更复杂的预测任务实现与使用较浅的示图神经网络(即，具有更少的示图神经网络层)可实现的相比更高的预测准确性。

31、生成去噪预测需要每个节点嵌入对唯一信息进行编码，以便对节点的特征表示进行去噪，这可以减轻“过度平滑”的影响，例如节点嵌入在通过多个示图神经网络层处理后变得几乎相同。而且，训练示图神经网络生成去噪预测可以降低“过度拟合”的似然性，例如因为添加到示图中的节点的特征表示的噪声防止示图神经网络记忆原始节点特征表示。训练示图神经网络生成去噪预测也鼓励示图神经网络隐式学习“真实”示图的分布，即，具有未修改的节点特征表示，并且示图神经网络可以充分利用该隐式知识来实现“任务”预测的更高准确性。因为所描述的技术与涉及丢弃节点或边缘特征的其他技术不同地工作，所以它们可以与这些其他技术组合。因此，本说明书中描述的系统通过使得能够有效训练较深的示图神经网络来实现更高的准确性，同时减轻过度平滑和过度拟合的影响，从而能够更有效地使用计算资源(例如存储器和计算功率)。

32、本说明书的主题的一个或多个实施例的细节在下面的附图和描述中陈述。主题的其他特征、方面和优点将通过描述、附图和权利要求而变得显而易见。