基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法及系统

本发明涉及一种基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法及系统，属于生化信息。

背景技术：

1、分子性质的预测对于药物的发现设计很重要。在过去，分子的性质通常是通过专门的预测方程来计算的，这是一个昂贵而漫长的过程。因此，我们利用计算机对药物理论进行仿真对整体药物研发控制成本、加快进度具有很大的帮助。分子性质预测的算法包括传统的机器学习方法和图神经网络。传统的方法是通过化学领域专业知识获得的人工制作的分子描述符来描述了每个原子的化学环境或整体构象。这些描述符通常用经典的方法进行处理，以获得原子上或结构上的目标。图神经网络是基于深度学习的方法，它是图的基础上进行处理。我们将图神经网络于分子性质预测时，图神经网络仅以分子图作为输入，几乎不需要进行人工进行特征加工。虽然整体过程进行了简化，但表现出明显优于以前的机器学习模型，这显示了利用分子图进行分子性质预测的良好前景。

技术实现思路

1、本发明目的是提供了一种基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法及系统。本发明将神经网络常采取的块结构与多头注意力机制进行结合对分子图进行处理。多头注意力机制可以提取更多子空间的特征信息，块结构可以缓解随着网络精度增加而普遍存在的网络退化问题。

2、本发明为实现上述目的，通过以下技术方案实现：

3、一种基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法，包括以下步骤：

4、s1. 分子图经过消息传递块进行处理，消息传递块是由i个残差块组成，每个残差块都是基于块的图神经网络，基于块的图神经网络的整体架构分别由定向键消息传递部分、前馈神经网络、和层组成；

5、s2. 通过节点环境混合模块进行信息处理，求取原子b周围化学环境的隐藏信息，采取类似消息传递块中的多头注意力与残差块相结合的方式来获取目标信息；

6、s3. 通过化学指纹读出部分获得化学指纹，得到用于分子性质预测的分子指纹：

7、s31. 融合了原子的坐标信息参与原子的特征表达；

8、s32. 采用transformer结构聚合每个原子周围化学环境的隐藏信息即分子指纹。

9、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，图神经网络的整体架构中化学键ab即由原子a指向原子b的初始隐藏状态，的计算公式如下：

10、

11、其中，代表初始状态下的化学键ab的边缘特征信息；

12、代表原子a的特征信息；

13、代表化学键ab的特征信息，在第一次传递信息时，输入的化学键信息为，它是化学键ab的初始信息得到，在之后的传递信息过程中，是由上一个消息传递块获得；

14、是多头注意力机制中单个注意力头输出向量的维度，是与注意力头数量的乘积，代表化学键ab的位置特征信息，代表化学键ab的位置向量，，代表层归一化，是激活函数。

15、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，在定向键消息传递过程中，将作为多头注意力机制的输入，求得，最终经l次迭代后获得化学键ab代表的隐藏消息。

16、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，相关公式如下：

17、a. 查询矩阵q，键矩阵 k 和价值矩阵 v是通过学习矩阵处理后得到，缩放点乘法的查询向量和键向量被用作处理由化学键ca指向化学键ab的注意力机制的输入值；

18、b. 采用softmax函数处理本部分所含化学键代表的注意力分数；

19、c. 将所有的价值向量进行权重加和，加和结果用作化学键ab向下一步传递的消息，得到第n个注意力头的输出值。

20、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，第n个注意力头的输出值的计算方式如下：

21、 ，

22、其中，

23、；

24、把全部的注意力头的输出进行串联，对串联结果进行处理获得：，其中；获得后，进行过渡处理，这一部分由前馈神经网络、边级批次归一化层和激活函数组成通过这一部分求取每个化学键的隐藏信息的残差信息，，代表边水平批次归一化操作；

25、获得后，采用跳跃连接得到，公式如下：，作为输入进入下一个残差块中,经过i个残差块处理过后，得到最终的输出经化学键ab的隐藏特征向量。

26、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，s2具体过程如下：

27、首先，利用原子b的初始信息，计算原子b周围化学环境的初始隐藏信息，公式如下：

28、

29、其中， 

30、本部分所用多头注意力机制类似于消息传递块，查询向量是由原子隐藏得到，相应的键向量和价值向量是由化学键ab代表的隐藏向量和原子周围环境隐藏向量计算出的；

31、每个注意力头的输出公式如下：

32、；

33、接下来先将每个注意力头进行串联输出，再经过渡操作获得残差向量,

34、

35、其中，代表节点水平批次归一化操作；

36、最后我们对进行残差连接获得，，

37、经f个残差块进行更新后，获得原子b的周围化学特征隐藏信息。

38、上述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法基础上，s32具体过程如下：

39、首先，获取transformer的初始输入，原子b周围化学环境的隐藏信息的初始状态，公式如下：

40、；

41、接下来，假设一个分子含有n个原子，我们将一个随机向量嵌入到一个分子中的当中，公式如下：

42、，

43、其中，

44、，是一个用作化学指纹的可学习随机向量，通过t个transformer层的连续计算得到，选取作为分子化学指纹，利用对进行处理，最终获得原子的性质预测结果。

45、实现所述基于图神经网络块结构与多头注意力机制融合的药物分子筛选方法的系统，包括消息传递块、节点环境混合模块和分子指纹获取模块，消息传递块是由i个残差块组成，每个残差块都是基于块的图神经网络，基于块的图神经网络的整体架构分别由定向键消息传递部分、前馈神经网络、和 层组成；节点环境混合模块采取类似消息传递块中的多头注意力与残差块相结合的方式来获取目标信息；分子指纹获取模块采用transformer结构聚合每个原子周围化学环境的隐藏信息。

46、本发明的优点在于：

47、（1）在消息传递块中，我们整体采用了残差块设计，并在当中通过跳跃连接和归一化处理来减少网络退化问题。根据本文的传递网络的特点，我们提出了边级批次归一化。

48、（2）在消息传递块中，我们采用以定向化学键为中心的消息传递模式，这样可以避免在节点传递消息中出现的消息的重复传递。

49、（3）在框架利用定向化学键消息传递和获取分子化学指纹时，我们均采用了多头注意力机制，相比普遍采用的直接求和与set2set的方法，这样的方法可以提取更丰富的化学特征信息，并更加合理的融合这些信息，最终获取表达能力更强的化学信息。