基于云计算节点关联的数据存储动态均衡方法及其系统与流程

1.本技术涉及云计算节点的数据存储领域，且更为具体地，涉及一种基于云计算节点关联的数据存储动态均衡方法及其系统。


背景技术：

2.云计算环境下，数据及其副本存储在各个节点上，随着数据不断地存储、更新及删除，势必造成各个节点数据存储的不均衡。考虑到各个节点的硬件配置的差异性、数据访问频度的差异性、数据访问并发度的差异性、网络带宽的差异性等因素，这些节点的储存负载极有可能是不均衡的。并且，云计算中各个节点之间不是完全相互独立的，在考虑各节点的数据存储负载是否均衡配置时，如何根据各个节点之间的负载关联性来确定其负载的均衡性是需要考虑的问题。
3.数据存储负载的不均衡会影响用户的访问、甚至更严重地引起节点的宕机。因此，为了处理好各个节点的数据存储的负载均衡问题。期待一种基于云计算节点关联的数据存储动态均衡方法。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于云计算节点关联的数据存储动态均衡方法及其系统，其通过基于上下文的编码器模型来对所述输入参数进行处理以获得全局性的参数关联信息，并利用卷积神经网络模型来从所述各节点之间的并发访问文件数目中提取出所述各节点之间的并发访问文件数目的高维关联特征，进一步使用图神经网络来生成包含特征信息与不规则的拓扑结构信息的表征矩阵，并在后续对分类器进行训练的过程中使用所述两个分类损失函数值与所述交叉熵值，以提高对于块结构的训练度，从而提高分类器的回归准确性。这样，可以对各个节点的数据存储的负载是否均衡进行准确地判断，进而解决负载不均衡导致的问题。
5.根据本技术的一个方面，提供了一种基于云计算节点关联的数据存储动态均衡方法，其包括：
6.训练阶段，包括：
7.获取云计算系统中各个节点的多个负载数据；
8.将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；
9.将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；
10.基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；
11.将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；
12.将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；
13.将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；
14.将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；
15.将所述分类特征矩阵通过分类器以获得第一分类损失函数值；
16.将各个所述节点的分类特征向量通过所述分类器以获得第二分类损失函数值；
17.基于所述第一分类损失函数值、所述第二分类损失函数值和每一个所述参数特征向量与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的训练；以及
18.推断阶段，包括：
19.获取云计算系统中各个节点的多个负载数据；
20.将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；
21.将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；
22.基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；
23.将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；
24.将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；
25.将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；以及
26.将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；和
27.将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示节点的数据存储的负载是否均衡。
28.根据本技术提供的基于云计算节点关联的数据存储动态均衡方法及其系统，其通过基于上下文的编码器模型来对所述输入参数进行处理以获得全局性的参数关联信息，并利用卷积神经网络模型来从所述各节点之间的并发访问文件数目中提取出所述各节点之间的并发访问文件数目的高维关联特征，进一步使用图神经网络来生成包含特征信息与不规则的拓扑结构信息的表征矩阵，并在后续对分类器进行训练的过程中使用所述两个分类损失函数值与所述交叉熵值，以提高对于块结构的训练度，从而提高分类器的回归准确性。这样，可以对各个节点的数据存储的负载是否均衡进行准确地判断，进而解决负载不均衡导致的问题。
附图说明
29.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
30.图1为根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中训练阶段的流程图。
31.图2为根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中推断阶段的流程图。
32.图3为根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中训练阶段的架构示意图。
33.图4为根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中推断阶段的架构示意图。
34.图5为根据本技术实施例的基于云计算节点关联的数据存储动态均衡系统的框图。
具体实施方式
35.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
36.场景概述
37.如前所述，云计算环境下，数据及其副本存储在各个节点上，随着数据不断地存储、更新及删除，势必造成各个节点数据存储的不均衡。考虑到各个节点的硬件配置的差异性、数据访问频度的差异性、数据访问并发度的差异性、网络带宽的差异性等因素，这些节点的储存负载极有可能是不均衡的。并且，云计算中各个节点之间不是完全相互独立的，在考虑各节点的数据存储负载是否均衡配置时，如何根据各个节点之间的负载关联性来确定其负载的均衡性是需要考虑的问题。
38.数据存储负载的不均衡会影响用户的访问、甚至更严重地引起节点的宕机。因此，为了处理好各个节点的数据存储的负载均衡问题。期待一种基于云计算节点关联的数据存储动态均衡方法。
39.各个参数对文件的负载的影响如下：1、文件的访问次数：文件的负载值与被访问的次数成正比关系，被访问次数越多，负载值越大。2、文件的并发访问数：并发访问次数多的文件的负载更大。3、文件的未访问时间：随着文件不断访问时间的增加，它的负载值不断减小。4、文件大小：文件的负载值与其文件大小成正比关系，文件越大，负载值越大。5、第i次访问文件的时间：文件的负载值与文件的被访问的时间长短成正比关系，被访问的时间越长，负载值越大。6、网络带宽大小：访问的数据量相同时，节点的负载值与网络带宽成反比关系，网络带宽越大，节点的负载值越小。7、节点的可用存储空间大小：访问的数据量相同时，节点的负载值与节点的可用存储空间成反比关系，节点可用空间越大，其负载值越小。8、节点的cpu能力、节点的内存大小：访问同等数据量时，节点的负载与节点的cpu能力
及节点的内存成反比关系，节点性能越好，其负载值越小。
40.具体地，在本技术的技术方案中，首先将1-8项的每个输入参数转换为输入向量之后，输入基于上下文的编码器，以获得参数特征向量的序列，并通过拼接参数特征向量得到节点特征向量。
41.基于各节点之间的并发访问文件数目，获得用于表示访问邻接关系的邻接矩阵，即矩阵中的每个位置表示对应的两个节点之间的并发访问文件数目，并输入卷积神经网络以得到邻接特征矩阵。
42.然后，将邻接特征矩阵和各个节点的节点特征向量二维排列组成的节点特征矩阵输入图神经网络，生成特征图表征矩阵，该图神经网络通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵，用于表达出在不规则的非欧几里得空间内的图结构导致的数据样本之间的关联关系。
43.按照上述方法可以得到每个节点的分类特征向量，然后进一步将各个节点的分类特征向量进行二维拼接得到分类特征矩阵，再输入分类器得到用于表示各节点的数据存储的负载均衡情况的分类结果。
44.一方面，考虑到每个节点的分类特征向量来自节点特征向量，而节点特征向量是通过参数特征向量拼接得到的，因此在节点特征向量中存在拼接结构，这就使得在分类特征向量通过分类器进行回归时，分类器的由多个全连接层组成的神经网络也应该存在相对于每个参数特征向量的块结构。为了能够提高对于块结构的训练度，在每个迭代周期内，除使用分类特征矩阵整体第一分类损失函数值进行参数更新之外，还计算每个节点的分类特征向量的第二分类损失函数值，并计算每一个参数特征向量与第二分类损失函数值的交叉熵值，并以此作为损失函数来进行参数更新，从而基于分类器的各节点参数之间的超过阈值的预定相似表示形式来强化分类器的对应于每项参数的块结构的训练，以此提高分类器的回归准确性。此外，通过基于每一个参数特征向量与分类损失函数值的交叉熵值的训练，还可以挖掘出各个参数之间的隐含独立状态，比如某些参数与负载成正比，某些参数与负载成反比，而使得分类器的参数的更新更有针对性。
45.另一方面，考虑到分类特征矩阵中的参数量较大，这使得分类器中的每个全连接层的权重矩阵规模较大，因此期望对于分类器的权重矩阵进行结构化，来提高分类器的拟合度。因此，通过如上所述的每一个参数特征向量与第二分类损失函数值的交叉熵值的均值，可以得到每个节点的分类特征向量与初始参数特征向量之间的一致性程度，可以在训练时，基于小于阈值的一致性程度对权重矩阵进行相应的列修剪。也就是，因为权重矩阵的列对应于分类特征矩阵展开后的特征向量的每个位置，如果计算得到特征向量的第i到第j个位置归属于一致性程度小于阈值的分类特征向量，则将权重矩阵的第i列到第j列的权值修改为0。
46.基于此，本技术提出了一种基于云计算节点关联的数据存储动态均衡方法，其包括：训练阶段和推断阶段。其中，训练阶段包括步骤：获取云计算系统中各个节点的多个负载数据；将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；基于各个所述节点之间的并发访问文件数目构建用于表示访问
邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；将所述分类特征矩阵通过分类器以获得第一分类损失函数值；将各个所述节点的分类特征向量通过所述分类器以获得第二分类损失函数值；以及，基于所述第一分类损失函数值、所述第二分类损失函数值和每一个所述参数特征向量与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的训练。其中，推断阶段包括步骤：获取云计算系统中各个节点的多个负载数据；将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；以及，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示节点的数据存储的负载是否均衡。
47.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
48.示例性方法
49.图1图示了根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中训练阶段的流程图。如图1所示，根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法，包括：训练阶段，包括步骤：s110，获取云计算系统中各个节点的多个负载数据；s120，将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；s130，将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；s140，基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；s150，将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；s160，将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；s170，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；s180，将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；s190，将所述分类特征矩阵通过分类器以获得
第一分类损失函数值；s200，将各个所述节点的分类特征向量通过所述分类器以获得第二分类损失函数值；以及，s201，基于所述第一分类损失函数值、所述第二分类损失函数值和每一个所述参数特征向量与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的训练。
50.图2图示了根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中推断阶段的流程图。如图2所示，根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法，还包括：推断阶段，包括步骤：s210，获取云计算系统中各个节点的多个负载数据；s220，将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；s230，将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；s240，基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；s250，将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；s260，将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；s270，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；s280，将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；以及，s290，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示节点的数据存储的负载是否均衡。
51.图3图示了根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中训练阶段的架构示意图。如图3所示，在训练阶段中，在该网络架构中，首先，将获得的各个所述节点的多个负载数据(例如，如图3中所示意的p)通过包含嵌入单元的基于上下文的编码器模型(例如，如图3中所示意的e)以获得各个所述节点的参数特征向量的序列(例如，如图3中所示意的vf1)；接着，将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量(例如，如图3中所示意的vf2)，并将各个所述节点的节点特征向量二维排列为节点特征矩阵(例如，如图3中所示意的mf1)；然后，基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵(例如，如图3中所示意的m)；接着，将所述邻接矩阵通过作为特征提取器的卷积神经网络(例如，如图3中所示意的cnn)以获得邻接特征矩阵(例如，如图3中所示意的mf2)；然后，将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络(例如，如图3中所示意的gnn)以获得特征图表示矩阵(例如，如图3中所示意的mf)；接着，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量(例如，如图3中所示意的vf)；然后，将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵(例如，如图3中所示意的mfc)；接着，将所述分类特征矩阵通过分类器(例如，如图3中所示意的分类器)以获得第一分类损失函数值(例如，如图3中所示意的clv1)；然后，将各个所述节点的分类特征向量通过所述分类器(例如，如图3中所示意的圈s)以获得第二分类损失函数值(例如，如图3中所示意的clv2)；最后，基于所述第一分类损失函数值、所述第二分类损失函数值和每一个所述参数特征向量与所述第二分类损失函数值之间的交叉熵值(例如，如图3中所示意的lv)对所述分类器进行基于对应于每项负载数据的块结构的训练。
52.图4图示了根据本技术实施例的基于云计算节点关联的数据存储动态均衡方法中推断阶段的架构示意图。如图4所示，在推断阶段中，在该网络结构中，首先，将获得的各个所述节点的多个负载数据(例如，如图4中所示意的q)通过包含嵌入单元的基于上下文的编码器模型(例如，如图4中所示意的e)以获得各个所述节点的参数特征向量的序列(例如，如图4中所示意的vf1)；接着，将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量(例如，如图4中所示意的vf2)，并将各个所述节点的节点特征向量二维排列为节点特征矩阵(例如，如图4中所示意的mf1)；然后，基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵(例如，如图4中所示意的m)；接着，将所述邻接矩阵通过作为特征提取器的卷积神经网络(例如，如图4中所示意的cnn)以获得邻接特征矩阵(例如，如图4中所示意的mf2)；然后，将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络(例如，如图4中所示意的gnn)以获得特征图表示矩阵(例如，如图4中所示意的mf)；接着，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量(例如，如图4中所示意的vf)；然后，将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵(例如，如图4中所示意的mfc)；最后，将所述分类特征矩阵通过分类器(例如，如图4中所示意的分类器)以获得分类结果。
53.更具体地，在训练阶段中，在步骤s110和步骤s120中，获取云计算系统中各个节点的多个负载数据，并将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列。如前所述，考虑到云计算中各个节点之间不是完全相互独立的，在确定所述各节点的数据存储负载是否均衡配置时，还需要考虑所述各个节点之间的负载关联。因此，在本技术的技术方案中，首先获取云计算系统中各个节点的多个负载数据，这里，所述多个负载数据包括文件的访问次数、文件的并发访问数、文件的未访问时间、文件的大小、第i次访问文件的时间、网络带宽的大小、节点的可用存储空间的大小、节点的cpu能力和节点的内存值。然后，将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型中进行编码处理，以获得各个所述节点的参数特征向量的序列。
54.具体地，在本技术实施例中，将各个所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列的过程，包括：首先，将各个所述节点的各项负载数据通过所述编码器模型的嵌入单元以将各项负载数据分别转化为输入向量，以便于后续对其进行编码处理；然后，将各个所述节点的多个输入向量输入所述编码器模型的转换器以获得各个所述节点的参数特征向量的序列。应可以理解，由于基于转换器的编码器模型可以基于上下文对所述输入向量进行编码，从而使得获得的各个所述节点的参数特征向量具有全局性的参数关联特征。
55.更具体地，在训练阶段中，在步骤s130中，将各个所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵。也就是，在本技术的技术方案中，在得到各个所述节点的参数特征向量的序列后，进一步拼接所述参数特征向量的序列中的所有参数特征向量，以获得各个所述节点的节点特征向量；接着，再将所述各个所述节点的节点特征向量二维排列为节点特征矩阵，以便于后续对其进行处理。
56.更具体地，在训练阶段中，在步骤s140和步骤s150中，基于各个所述节点之间的并
发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目，并将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵。应可以理解，所述邻接矩阵是表示顶点之间相邻关系的矩阵，是n阶方阵，这里，利用所述邻接矩阵可以表示各个所述节点之间的并发访问文件数目信息之间的关联性。因此，在本技术的技术方案中，进一步再基于各个所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目。然后，再将所述邻接矩阵通过作为特征提取器的卷积神经网络中进行处理，以提取出各个所述节点之间的并发访问文件数目之间的高维隐含关联特征，从而获得邻接特征矩阵。值得一提的是，这里，所述卷积神经网络基于过滤器在各层的正向传递的过程中对所述输入数据进行沿通道维度的均值池化以获得所述邻接特征矩阵。
57.相应地，在一个具体示例中，将所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵的过程，包括：所述卷积神经网络中除最后一层以外的各层对输入数据进行卷积处理、池化处理和激活处理以获得邻接特征图；以及，所述卷积神经网络的最后一层对所述邻接特征图进行沿通道维度的全局平均池化以获得所述邻接特征矩阵。应可以理解，通过对所述邻接特征图进行全局池化处理，可以减少参数的数量，以提高训练的速度，进而对整个网络在结构上做正规化防止过拟合。
58.更具体地，在训练阶段中，在步骤s160中，将所述邻接特征矩阵和所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵。也就是，在本技术的技术方案中，接着，将所述邻接特征矩阵和各个所述节点的节点特征向量二维排列组成的节点特征矩阵输入图神经网络，生成特征图表征矩阵。这里，该所述图神经网络通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵，用于表达出在不规则的非欧几里得空间内的图结构导致的数据样本之间的关联关系。
59.更具体地，在训练阶段中，在步骤s170和步骤s180中，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量，并将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵。也就是，在得到各个所述节点的节点特征向量和所述特征图表示矩阵后，进一步地，将各个所述节点的节点特征向量与所述特征图进行矩阵相乘，从而把各个所述节点的节点特征向量映射到所述特征图表示矩阵的特征空间中，以获得各个所述节点的分类特征向量。接着，再将各个所述节点的分类特征向量进行二维拼接为分类特征矩阵，以便于后续的分类处理。
60.更具体地，在训练阶段中，在步骤s190、步骤s200和步骤s201中，将所述分类特征矩阵通过分类器以获得第一分类损失函数值，并将各个所述节点的分类特征向量通过所述分类器以获得第二分类损失函数值，再基于所述第一分类损失函数值、所述第二分类损失函数值和每一个所述参数特征向量与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的训练。应可以理解，一方面，考虑到每个所述节点的分类特征向量来自节点特征向量，而节点特征向量是通过所述参数特征向量拼接得到的，因此在所述节点特征向量中存在拼接结构，这就使得在所述分类特征向量通过分类器进行回归时，分类器的由多个全连接层组成的神经网络也应该存在相对于每个参数特征
向量的块结构。为了能够提高对于块结构的训练度，在每个迭代周期内，除使用所述分类特征矩阵整体第一分类损失函数值进行参数更新之外，还计算每个所述节点的分类特征向量的第二分类损失函数值，并计算所述每一个参数特征向量与所述第二分类损失函数值的交叉熵值，并以此作为损失函数来进行参数更新，从而基于分类器的各节点参数之间的超过阈值的预定相似表示形式来强化分类器的对应于每项参数的块结构的训练，以此提高分类器的回归准确性。此外，通过基于所述每一个参数特征向量与所述分类损失函数值的交叉熵值的训练，还可以挖掘出各个参数之间的隐含独立状态，比如某些参数与负载成正比，某些参数与负载成反比，而使得分类器的参数的更新更有针对性。
61.另一方面，考虑到所述分类特征矩阵中的参数量较大，这使得分类器中的每个全连接层的权重矩阵规模较大，因此期望对于分类器的权重矩阵进行结构化，来提高分类器的拟合度。因此，通过如上所述的每一个所述参数特征向量与所述第二分类损失函数值的交叉熵值的均值，可以得到每个节点的分类特征向量与初始参数特征向量之间的一致性程度，可以在训练时，基于小于阈值的一致性程度对权重矩阵进行相应的列修剪。也就是，因为权重矩阵的列对应于分类特征矩阵展开后的特征向量的每个位置，如果计算得到特征向量的第i到第j个位置归属于一致性程度小于阈值的分类特征向量，则将权重矩阵的第i列到第j列的权值修改为0。
62.具体地，在本技术实施例中，将所述分类特征矩阵通过分类器以获得第一分类损失函数值的过程，包括：首先，所述分类器以如下公式对所述分类特征矩阵进行处理以获得分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵；然后，计算所述分类结果与真实值之间的交叉熵值作为所述第一分类损失函数值。
63.相应地，在一个具体示例中，在每一轮迭代周期中，计算所述第二分类损失函数值与每一个所述参数特征向量之间的交叉熵值，以及，计算所述交叉熵值、所述第一分类损失函数值和所述第二分类损失函数值的加权和作为损失函数值来更新所述分类器的参数，通过这样的方式，基于分类器的各节点参数之间的超过阈值的预定相似表示形式来强化分类器的对应于每项负载数据的块结构的训练。
64.特别地，在本技术实施例中，需要计算每一个所述参数特征向量与所述分类特征向量之间的交叉熵值的均值来表示各个所述节点的分类特征向量与各个所述参数特征向量之间的一致性程度值；进一步基于所述一致性程度值与预设阈值之间的比较，来对所述分类器的各层全连接层的权重矩阵进行相应的列修剪。具体地，将所述权重矩阵中对应列的权值修改为0。
65.在训练完成后，进入推断阶段。也就是，按照上述方法可以得到所述每个节点的分类特征向量，然后进一步将各个所述节点的分类特征向量进行二维拼接得到所述分类特征矩阵，再输入分类器得到用于表示各节点的数据存储的负载均衡情况的分类结果。
66.综上，基于本技术实施例的基于云计算节点关联的数据存储动态均衡方法被阐明，其通过基于上下文的编码器模型来对所述输入参数进行处理以获得全局性的参数关联信息，并利用卷积神经网络模型来从所述各节点之间的并发访问文件数目中提取出所述各节点之间的并发访问文件数目的高维关联特征，进一步使用图神经网络来生成包含特征信
息与不规则的拓扑结构信息的表征矩阵，并在后续对分类器进行训练的过程中使用所述两个分类损失函数值与所述交叉熵值，以提高对于块结构的训练度，从而提高分类器的回归准确性。这样，可以对各个节点的数据存储的负载是否均衡进行准确地判断，进而解决负载不均衡导致的问题。
67.示例性系统
68.图5图示了根据本技术实施例的基于云计算节点关联的数据存储动态均衡系统的框图。如图5所示，根据本技术实施例的基于云计算节点关联的数据存储动态均衡系统600，包括：训练模块610和推断模块620。
69.如图5所示，所述训练模块610，包括：负载数据获取单元6101，用于获取云计算系统中各个节点的多个负载数据；编码单元6102，用于将各个所述负载数据获取单元6101获得的所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；拼接单元6103，用于将各个所述编码单元6102获得的所述节点的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；邻接关系构建单元6104，用于基于各个所述负载数据获取单元6101获得的所述节点之间的并发访问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；卷积神经网络处理单元6105，用于将所述邻接关系构建单元6104获得的所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；图神经网络单元6106，用于将所述卷积神经网络处理单元6105获得的所述邻接特征矩阵和所述拼接单元6103获得的所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；矩阵相乘单元6107，用于将各个所述拼接单元6103获得的所述节点的节点特征向量与所述图神经网络单元6106获得的所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；二维拼接单元6108，用于将各个所述矩阵相乘单元6107获得的所述节点的分类特征向量进行二维拼接为分类特征矩阵；第一分类损失函数值计算单元6109，用于将所述二维拼接单元6108获得的所述分类特征矩阵通过分类器以获得第一分类损失函数值；第二分类损失函数值计算单元6110，用于将各个所述矩阵相乘单元6107获得的所述节点的分类特征向量通过所述分类器以获得第二分类损失函数值；训练单元6111，用于基于所述第一分类损失函数值计算单元6109获得的所述第一分类损失函数值、所述第二分类损失函数值计算单元6110获得的所述第二分类损失函数值和每一个所述编码单元6102获得的所述参数特征向量与所述第二分类损失函数值之间的交叉熵值对所述分类器进行基于对应于每项负载数据的块结构的训练。
70.如图5所示，所述推断模块620，包括：数据获取单元621，用于获取云计算系统中各个节点的多个负载数据；参数特征向量生成单元622，用于将各个所述数据获取单元621获得的所述节点的多个负载数据通过包含嵌入单元的基于上下文的编码器模型以获得各个所述节点的参数特征向量的序列；节点特征矩阵生成单元623，用于将各个所述节点的所述参数特征向量生成单元622获得的所述参数特征向量的序列中的参数特征向量拼接为各个所述节点的节点特征向量，并将各个所述节点的节点特征向量二维排列为节点特征矩阵；邻接矩阵构造单元624，用于基于各个所述数据获取单元621获得的所述节点之间的并发访
问文件数目构建用于表示访问邻接关系的邻接矩阵，其中，所述邻接矩阵中各个位置的特征值表示对应的两个节点之间的并发访问文件数目；邻接特征矩阵生成单元625，用于将所述邻接矩阵构造单元624获得的所述邻接矩阵通过作为特征提取器的卷积神经网络以获得邻接特征矩阵；特征图表示矩阵生成单元626，用于将所述邻接特征矩阵生成单元625获得的所述邻接特征矩阵和所述节点特征矩阵生成单元623获得的所述节点特征矩阵输入图神经网络以获得特征图表示矩阵，所述图神经网络用于通过可学习的神经网络参数来生成包含特征信息与不规则的拓扑结构信息的表征矩阵；分类特征向量生成单元627，用于将所述节点特征矩阵生成单元623获得的各个所述节点的节点特征向量与所述特征图表示矩阵生成单元626获得的所述特征图进行矩阵相乘以获得各个所述节点的分类特征向量；分类特征矩阵生成单元628，用于将所述分类特征向量生成单元627获得的各个所述节点的分类特征向量进行二维拼接为分类特征矩阵；以及，分类结果生成单元629，用于将所述分类特征矩阵生成单元628获得的所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示节点的数据存储的负载是否均衡。
71.这里，本领域技术人员可以理解，上述基于云计算节点关联的数据存储动态均衡系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于云计算节点关联的数据存储动态均衡方法的描述中得到了详细介绍，并因此，将省略其重复描述。
72.如上所述，根据本技术实施例的基于云计算节点关联的数据存储动态均衡系统600可以实现在各种终端设备中，例如基于云计算节点关联的数据存储动态均衡算法的服务器等。在一个示例中，根据本技术实施例的基于云计算节点关联的数据存储动态均衡系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于云计算节点关联的数据存储动态均衡系统600可以是该终端设备的操作装置中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于云计算节点关联的数据存储动态均衡系统600同样可以是该终端设备的众多硬件模块之一。
73.替换地，在另一示例中，该基于云计算节点关联的数据存储动态均衡系统600与该终端设备也可以是分立的设备，并且该基于云计算节点关联的数据存储动态均衡系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
74.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
75.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
76.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
77.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。