多层网络关键节点的识别方法、装置、设备和存储介质

1.本技术涉及复杂网络与数据挖掘技术领域，特别是涉及一种多层网络关键节点的识别方法、装置、设备和存储介质。


背景技术：

2.近年来，复杂网络的理论被广泛应用于军事智能、信息科学、经济学、社会学和生物信息学等领域。由于复杂网络的无标度和小世界特性，网络中的关键节点对整个网络起着至关重要的作用，若这些节点出现故障，将会导致网络在短时间内的大面积崩溃。比如，联合作战条件下，目标之间的关联关系错综复杂，有效选择打击目标，是实现“体系破击”的制胜关键；在无人装备集群中，攻击关键的无人机会导致整个无人机集群受到毁灭性打击。另外，对社交网络、科研合作网络、交通网络、电力网络等各种具体网络中节点重要性进行评估都具有很高的实用价值。
3.目前的关键节点的识别大多是在单层网络上进行研究，然而现实世界中的网络很少独立存在，大多数是与其他网络耦合或相互作用的，例如，如图1所示，集群对抗网络中的态势感知信息在网络层a上传播，而指挥决策信息在网络层b上传播，每层通信网络包含相同类型的节点但传播拓扑结构是不同的，在多层网络中，忽略各种相互作用的共存可能会对系统的能力和特性产生重大影响。因此，研究多层网络上的关键节点的识别问题具有相当重要的意义。
4.多层网络的关键节点识别虽已经取得了诸多研究成果，但在实际应用过程中仍然存在四类需要解决的关键问题：其一，目前对关键节点识别的研究大多数是根据网络结构，但在现实世界的网络数据中，不仅存在网络的拓扑结构信息，更包含了丰富的属性信息，这些信息对于判断节点的重要性弥足重要，可以很大程度提高预测精度。其二，目前节点的识别通常是基于近似和启发式算法，采用一些具有明确物理意义的拓扑指标，例如节点中心性等，但这些指标的一个弊端就是无法很好的跟具体的下游任务紧密结合，只是单纯的用定义好的指标未必能提供为关键节点识别所需的最相关的结构信息。其三，目前的大多数方法是诱导式(transductive)而不是归纳式(inductive)的模型，意味着训练好的模型无法处理训练阶段没见过的节点，从而限制其在动态图上的应用现实的网络数据更加的复杂。其四，现实生活中的数据庞大，节点与边关系类型多种多样，相互之间的耦合关系复杂，这使得传统的社会网络分析方法受限，可迁移性不强。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够对复杂网络进行关键点识别的多层网络关键节点的识别方法、装置、计算机设备和存储介质。
6.一种多层网络关键节点的识别方法，所述方法包括：
7.获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有
传播关系，且多层网络以图结构的形式进行表示；
8.将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
9.获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
10.在其中一实施例中，在所述图神经网中依次对输入的多层网络进行:graphsage嵌入、节点交叉嵌入和层间交叉嵌入；
11.其中，在进行graphsage嵌入时在多层网络的基础中增加了一个聚合层，也就是将输入的多层网络进行聚合，在进行节点交叉嵌入以及层间交叉嵌入时均采用注意力机制，并在进行所述节点交叉嵌入后得到多层网络中每个节点的向量表示，在进行所述层间交叉嵌入之后得到整个网络的向量表示。
12.在其中一实施例中，通过注意力机制进行节交叉嵌入的过程如以下公式所示：
[0013][0014][0015]
在上式中，l＝{1,2,3,
…
,m},v∈v，v表示节点，v表示所有节点，l表示层数，m表示层数最大值，为节点嵌入向量也就是进行graphsage嵌入后得到的网络每一层节点的嵌入信息，w4为权重参数，为各节点的向量表示。
[0016]
在其中一实施例中，通过注意力机制进行层间交叉嵌入的过程如以下公式所示：
[0017][0018][0019]
在上式中，w5为权重参数，zu为整个网络的向量表示。
[0020]
在其中一实施例中，在所述深度q网络中采用以下公式进行计算：
[0021][0022]
在上式中，w6和w7表示可学习的参数，和zu分别是编码器输出的用向量表示
的节点和整个网络。
[0023]
在其中一实施例中，所述深度强化学习模型采用深度q网络，在利用所述深度q网络进行深度强化学习时，将向量表示的各节点以及整个网络作为输入，将删除节点或终止删除节点作为动作，将已经删除的节点序列作为状态，将节点删除前后整个网络鲁棒性得分变化作为奖励，将累积奖励最大化作为优化目标，以此得到所述关键点序列表。
[0024]
在其中一实施例中，在对所述关键点识别网络进行训练时，采用最小化损失函数对编码器及解码器中的参数进行更新；
[0025]
所述损失函数包括根据编码器计算得到的结构损失函数以及根据解码器计算得到的任务损失函数。
[0026]
本技术还提供了一种多层网络关键节点的识别装置，所述装置包括：
[0027]
训练数据集获取模块，用于获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0028]
关键点识别网络训练模块，用于将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0029]
关键点识别模块，用于获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0030]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0031]
获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0032]
将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0033]
获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0034]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0035]
获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有
传播关系，且多层网络以图结构的形式进行表示；
[0036]
将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0037]
获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0038]
上述多层网络关键节点的识别方法、装置、设备和存储介质，在关键点识别网络中通过利用图神经网络对多层网络进行编码也就是将节点和整个多增网络特征化并将其映射到低维的向量进行表示，再采用深度强化学习根据向量表示的各节点和整个网络，在大量数据中自动学习最佳的关键点选点策略，以得到可以用于表示各节点关键程度的关键节点序列，以最终实现对多层网络中关键节点的识别。本方法扩展性较强，且所需要的先验知识少，只需将多层网络本身作为输入，根据不同问题定义相应的奖励函数就可高效地学习网络瓦解策略，其应用场景十分广阔。
附图说明
[0039]
图1为一个实施例中多层网络的结构示意图；
[0040]
图2为一个实施例中多层网络关键节点的识别方法的流程示意图；
[0041]
图3为一个实施例中关键点识别网络中编码及解码过程的示意图；
[0042]
图4为一个实施例中关键点识别的整体框架示意图；
[0043]
图5为一个实施例中多层网络关键节点的识别装置的结构框图；
[0044]
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
[0045]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0046]
如图2所示，提供了一种多层网络关键节点的识别方法，包括以下步骤：
[0047]
步骤s100，获取多层网络训练数据集，多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0048]
步骤s110，将多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，关键点识别网络包括编码器以及解码器，编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0049]
步骤s120，获取待识别的多层网络数据，并将多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0050]
在本实施例中，针对背景技术中现有技术中的各缺陷，在本方法中采用了图神经网络以及深度强化学习对多层网络中关键点进行识别。首先利用图神经网络对多层网络进行表示学习，将节点与图映射到低维向量空间，再结合强化学习模型在大量数据中自动学习最佳的选点策略，选择最优的节点集合。
[0051]
接下来，根据图2中所显示的方法步骤的顺序对本方法的各部分进行逐一说明。其中，步骤s100和步骤s110为训练关键点识别网络的过程，而步骤s120 是对训练后的关键点识别网络进行应用的过程。在本文中将着重对训练部分进行阐述。
[0052]
在步骤s100中，由于在本方法中进行关键点识别的对象是多层网络，也就是较为复杂的网络结构。其中，多层网络包括多层不同的网络结构，但是各层网络中具有相同类型的节点，但是各层网络中各节点具有不同的连接关系，且各层网络之间的节点也存在连接关系，关于多层网络的描述在背景技术中有详细的解释，在这里就不再进行赘述了。而多层网络训练数据集中可包含有多个多层网络，对关键点识别网络进行多次训练，直至其完成训练。
[0053]
需要说明的是，输入到关键点识别网络的多层网络均以多层图结构进行表示，其包括表示不同实体的多个节点，以及具有关系的两实体之间由边进行连接。
[0054]
在本实施例中，输入关键点识别网络的多层网络还包括有各节点的属性信息，以使得图神经网络在对多层网络的结构特征可以进行更好的学习。
[0055]
如图3所示，关键点识别网络实际由作为编码器的图神经网络以及作为解码器的深度强化学习模型构成。首先对图神经网络进行说明：
[0056]
具体的，在图神经网中依次对输入的多层网络进行:graphsage嵌入、节点交叉嵌入和层间交叉嵌入。其中，在进行graphsage嵌入时在多层网络的基础中增加了一个聚合层，也就是将输入的多层网络进行聚合。在进行节点交叉嵌入以及层间交叉嵌入时均采用注意力机制，并在进行节点交叉嵌入后得到多层网络中每个节点的向量表示，在进行层间交叉嵌入之后得到整个网络的向量表示。
[0057]
进一步的，在进行graphsage嵌入时，也就是在进行编码的第一步，在多层网络的基础上增加一个聚合层g
[agg]
(v,e
[1]
∪e
[2]
∪
…e[m]
，其中，v代表所有的节点，e
[l]
代表l层的所有连边，将输入的多层网络进行聚合由一个网络进行表达。然后再用graphsage对多层网络进行初始处理，由图3中graphsage 嵌入部分进行表示，其中每个节点由其邻居的聚合来表示，得到每一层的节点表示
[0058]
进一步的，在进行节点交叉嵌入时，在在初步获得每个节点的嵌入信息后，考虑到各层中的相应节点具有强关联性，需要将其综合考虑。为了在每一层的节点之间交换信息，将每一层的对应节点连接起来，形成一个独立的全连接网络，如图3中节点交叉嵌入部分进行表示。然后再采用注意力机制来获取各层节点的嵌入信息，通过注意力机制进行节交叉嵌入的过程如以下公式所示：
[0059][0060]
在公式(1)中，l＝{1,2,3,
…
,m},v∈v，v表示节点，v表示所有节点，l表示层数，m表示层数最大值，为节点嵌入向量也就是进行graphsage嵌入后得到的网络每一层节点的嵌入信息，w4为权重参数，为各节点的向量表示。
[0061]
通过各层对应节点之间的全连接网络，采用注意力机制，得到各层的最终节点嵌入在接下来的解码过程中被作为动作的嵌入向量即图3的行动。
[0062]
进一步的，在进行层间交叉嵌入时，不同于传统的使用读出机制对所有节点进行聚合，在第l层引入了虚拟节点u
[l]
，它可以捕获更多的网络信息。它与第 l层的所有节点单向连接，在graphsage嵌入中接收其他节点的信息而不向其他节点传递信息。在graphsage嵌入部分引入虚拟节点的目的是利用虚拟节点嵌入提供网络层的向量表示，收集层内的节点特征。在获得各层虚拟节点的嵌入后，将聚合层虚拟节点与其他层虚拟节点连接起来，如图3中的层间交叉嵌入部分所表示。通过注意力机计算，聚合层虚拟节点整合各层的网络信息，得到最终的整个网络的向量表示也就是最终的嵌入，如以下公式所示：
[0063][0064]
在公式(2)中，w5为权重参数，为聚合层的虚拟节点，zu为整个网络的向量表示。
[0065]
通过使用注意力机制，得到了整合了所有层信息的最终多层网络嵌入zu，它被用作下一个解码过程的状态向量，即图3的状态。
[0066]
在多层网络通过图神经网络后得到用向量进行表示的各节点以及整个多层网络，而在深度强化学习模型中，以向量进行表示的各节点作为输入深度强化学习模型的行动向量，而以向量进行表示的整个多层网络作为输入深度强化学习模型的状态向量。
[0067]
在本实施例中，深度强化学习模型采用深度q网络(dqn，deep q-learning)，在利用所述深度q网络进行深度强化学习时，将向量表示的各节点以及整个网络作为输入，将删除节点或终止删除节点作为动作，将已经删除的节点序列作为状态，将节点删除前后整个网络鲁棒性得分变化作为奖励，将累积奖励最大化作为优化目标，以此得到关键点序列表。
[0068]
具体的，得到节点嵌入向量(action)与网络嵌入向量(state)后，进行强化深度学习。主要工作是如何评估状态(state)
‑‑
行为(action)对的奖励，并将其过程称为解码过程。即学习一个从状态-动作对(s,a)到实数值q(s,a) 的映射，q(s,a)能够预测在状态s下执行动作a所能带来的最大累积收益。
[0069]
一次完整的强化学习过程可以描述为：环境产生一个初始状态s0，在每一个时间
步t,智能体选择行动a
t
，相应的环境反馈下一个状态s
t+1
和对智能体这一次行动的奖励r
t
。之后智能体和环境重复“行动-奖励-状态-行动”的过程直到达到网络瓦解目标。这一过程中产生了一系列轨迹τ＝(s0,a0,r0,s1,a1r
1,....
)。强化学习的目标就是找到一个最优策略，能使轨迹产生最大的累计奖励。
[0070]
在根据网络表示学习模型和强化学习算法训练关键点识别模型时，将删除节点或终止删除作为动作，将已经删除的节点序列作为状态，将节点删除前后网络鲁棒性得分变化作为奖励，将累积奖励最大化作为优化目标。
[0071]
在本实施例中，最终得到的关键节点序列实则是对各节点的关键程度进行排序，而排在序列前面的节点则可认为是关键节点。在不同的应用环境的中，对关键点的识别均有着至关重要的作用，例如，通过找个多层网络的关键节点可对该网络实施攻击，这样可以最快的对该网络进行瓦解，那么根据该应用背景，关键点识别网络又可称为网络瓦解模型。
[0072]
在本实施例中，将关键节点序列的发现视为一个马尔可夫决策过程：通过状态、行动和奖励的序列与环境交互，产生一系列状态、动作和奖励。环境是输入的图，状态被定义为前一次攻击后的当前剩余网络，行动是删除已确定的关键节点，每一步的行动奖励是行动后的归一化连通性，总体奖励是累计归一化连通性anc(accumulated normalized connectivity)。在这个过程中，不断地更新训练池，使其能够将节点嵌入到适合网络瓦解任务的特征向量中。这其中，使用注意力机制将不同层间的节点特征相互耦合，来适应多层网络的特点。
[0073]
具体的，其解码器也就是深度q网络可以用以下公式进行表示：
[0074][0075]
在公式(3)中，w6和w7是可学习的参数，和zu是编码输出的动作和状态向量。
[0076]
在本实施例中，通过关键点识别网络中对多层网络进行处理的过程包括：首先对当前多层网络图结构进行编码后，得到每个节点的表示向量，这些标识向量捕捉了节点所在的结构特征和属性信息特征。然后利用深度q网络将每个向量解码为实数q值，用来预测如果选择这个节点所带来的预期收益。基于计算出的q值，采用线下训练阶段采用∈贪心选点策略，也就是每次以概率(1-∈) 选择最高q值的点，以概率∈随机选点。当一轮游戏结束，将轨迹 (si,ai,r
(i,i+n)
,s
(i+n)
)放入经验回收池，同时通过经验池的训练样本来更新编码器和解码器的学习参数。重复上述训练回合，直到训练回合达到设定次数，关键点识别网络训练结束，得到关键节点序列。
[0077]
在本实施例中，在对关键点识别网络进行训练时，采用最小化损失函数对编码器及解码器中的参数进行更新，损失函数包括根据编码器计算得到的结构损失函数以及根据解码器计算得到的任务损失函数。
[0078]
具体的，在训练过程中，关键点识别网络包括两组参数，分别是编码器参数θe＝{w1,w2,w3,w4,w5}和解码器参数θd＝{w6,w7}。与一般的dqn一样，在训练过程中，将攻击训练的每一步得到的状态-动作-奖励对(s
t
,a
t
,r
t
,s
t+1
)放入训练池p中。通过最小化损失函数来更新参数，该损失函数由两部分组成：任务损失和结构损失如公式所示：
[0079]
[0080]
在公式(4)中，任务损失为根据解码器参数计算得到的损失函数，而为根据编码器参数计算得到的损失函数。
[0081]
具体的，计算任务损失函数通过以下公式：
[0082][0083]
具体的，计算结构损失函数通过以下公式：
[0084][0085]
在进行训练时，重复上述训练阶段的训练回合，知道训练回合达到设定次数，关键点识别网络训练结束，得到已训练的关键点识别网络。
[0086]
在其中一实施例中，其具体的的训练过程为：
[0087]
1:初始化经验回放池b，容量设为m
[0088]
2:用随机权重θ＝{θe,θd}初始化q网络
[0089]
3:用权重初始化目标网络
[0090]
4:用ba模型随机产生一个图
[0091]
5:状态初始化为s1＝()
[0092]
6:以概率ε随机选择行动a
t
[0093]
7:否则选择a
t
＝argmaxaq(s
t
,a；θ)
[0094]
8:执行动作a
t
，收集奖励r
t
[0095]
9:将a
t
加入到s
t+1
＝s
t
∪a
t
[0096]
10:存储训练样本(s
t-n
,a
t-n
,r
t-n,t
,s
t
)至经验回放池b
[0097]
11:从b中随机采集训练样本(sj,aj,r
j,j+n
,s
j+n
)
[0098]
12:令
[0099]
13:执行梯度下降最小化更新参数θ
[0100]
14:每隔c步，重置
[0101]
如图4所示，还给出的关键点识别网络的整体框架，在这里将关键点识别网络的解码器和编码器看做是整一个深度学习框架，该深度学习框架将网络瓦解中关键节点的选择问题转换成学习问题，将节点选择的过程转成智能体决策的过程，这个过程分为线下的训练阶段和现实应用阶段，线下训练阶段是一个马尔科夫行动决策问题，分为状态、行动、奖励、终止条件四个要素，状态就是当前的网络，动作就是选择一个节点，奖励就是选择完一个节点之后anc(网络联通性)的变化值，终止条件就是剩余的节点都是孤立节点。在本方法中采用编码的方式表示网络的当前状态和动作，采用解码的方式将向量映射为实数值，从而告诉智能体一个状态下的正确动作是什么。这个行动序列决策过程需要不停的编码和解
码，编码的目的是将网络编码到一个低维空间，每个节点表示成一组向量，编码采用的是图神经网络的方法。解码采用的是深度强化学习 dqn的方式，解码是将这个节点向量解码成q函数，q函数的值代表选择这个节点收到的累积回报，而在本方法中策略就是选择累积回报最大的，重复这个过程，通过最小化损失值来更新编码器和解码器的参数，让这个小baby一样的agent变成一个doctor一样的agent,然后应用时直接用这个doctor的 agent对网络来进行决策。
[0102]
上述多层网络关键节点的识别方法中，首先利用图神经网络对多层网络进行表示学习，将节点与图映射到低维向量空间，结合强化学习模型在大量数据中自动学习最佳的选点策略，选择最优的节点集合。
[0103]
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0104]
在一个实施例中，如图5所示，提供了一种多层网络关键节点的识别装置，包括：训练数据集获取模块300、关键点识别网络训练模块310和关键点识别模块320，其中：
[0105]
训练数据集获取模块300，用于获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0106]
关键点识别网络训练模块310，用于将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0107]
关键点识别模块320，用于获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0108]
关于多层网络关键节点的识别装置的具体限定可以参见上文中对于多层网络关键节点的识别方法的限定，在此不再赘述。上述多层网络关键节点的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0109]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多层网络关键节点的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0110]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0111]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0112]
获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0113]
将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0114]
获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0115]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0116]
获取多层网络训练数据集，所述多层网络数据中包括有多层网络，各所述层网络中均包含相同类型的节点，但各层网络节点的传播拓扑结构不同，同时各层节点之间具有传播关系，且多层网络以图结构的形式进行表示；
[0117]
将所述多层网络训练集输入关键点识别网络对其进行训练，直至得到具备对多层网络中关键节点进行识别能力的已训练的关键点识别网络，其中，所述关键点识别网络包括编码器以及解码器，所述编码器采用图神经网络对多层网络进行图表示学习，将各节点以及整个网络特征化后映射到低纬度的向量空间并以向量进行表示，所述解码器采用深度强化学习模型根据用向量进行表示的各节点以及整个网络利用深度强化学习自动学习瓦解策略对多层网络中的关键点进行识别，得到关键点序列表；
[0118]
获取待识别的多层网络数据，并将所述多层网络数据输入已训练的关键点识别网络中，以得到多层网络中关键节点序列表。
[0119]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程 rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限， ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步 dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram (esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus) 直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0120]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0121]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。