小样本非平衡数据约束下调度模型的混合联邦学习方法与流程

1.本发明涉及联邦学习技术领域，尤其涉及小样本非平衡数据约束下调度模型的混合联邦学习方法。


背景技术：

2.联邦学习是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
3.随着社会的不断发展，联邦学习应用十分广泛，在小样本非平衡数据约束下调度模型常常也需要用混合联邦学习方法进行学习，现有的混合联邦学习方法无法对各参与方所训练的局部模型进行更细粒度的考虑，影响混合联邦学习的效果，因此具有待改进的空间。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺点，而提出的小样本非平衡数据约束下调度模型的混合联邦学习方法。其优点在于对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型，如不能则将分割位置前移，直到满足节点的存储能力，可以对各参与方所训练的局部模型进行更细粒度的考虑，提高了混合联邦学习的效果。
5.为了实现上述目的，本发明采用了如下技术方案：
6.小样本非平衡数据约束下调度模型的混合联邦学习方法，包括以下步骤：
7.步骤一：获取可用的边缘节点并收集小样本数据资源信息；
8.步骤二：对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段；
9.步骤三：将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割；
10.步骤四：检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移，直到满足节点的存储能力；
11.步骤五：检查目标节点的存储资源是否能够部署其对应的分割后的部分模型，如果可以，则分割结束；如果不能，并且当前节点已是唯一剩余的可用边缘节点，转至步骤六，否则，转至步骤三；
12.步骤六：回溯到上一次分割并成功部署时的状态，将分割位置前移一个节点重新部署，并转至步骤四；如果每个备都仅部署了一个节点，并且当前节点的存储资源仍然不足，则部署失败，从而完成混合联邦学习。
13.本发明进一步设置为，在对模型进行分割时需要用到分割公式，所述分割公式为
其中scr为初始节点编号，dst为目标节点编号。
14.本发明进一步设置为，对于多个子问题的求解，如果不考虑节点的存储能力，那么每次对目标模型进行二分时，由于初始节点已经确定，此时使得总执行时间最小化的最优选择是将剩余可用边缘节点中计算能力最强的节点作为另外一部分模型部署的目标节点。
15.本发明进一步设置为，在联邦学习或者一般的深度学习应用中，服务提供方会预先确定好所要使用的深度神经网络，并且实际使用的网络结构会根据用户需求的不同而随之变化，但是，从整个执行过程来看，所使用的神经网络是静态的，一旦其确定下来，就不会在模型训练过程中再发生变化。
16.本发明进一步设置为，正因为如此，其每层的计算量和输入输出的数据大小可以在运行之前进行准确的测量，而无需对运行时期进行考虑。
17.本发明进一步设置为，所述深度神经网络的训练过程由多个重复的训练步骤组成，每个步骤可以分为两个阶段，分别为前向传播和反向传播，前向传播的计算沿着有向无环图中箭头的方向，而反向传播则恰好与箭头方向相反。
18.本发明进一步设置为，所述前向传播阶段每层的输入首先经过一次仿射变换，由于这是一个线性的组合过程，无法表现较为复杂的函数，深度神经网络会在变换后增加一个非线性激活单元，提高模型的拟合能力，逐层计算后，最终在输出层计算出一个预测值。
19.本发明进一步设置为，所述后向传播阶段为了能够修正每层的权重使得预测值更加接近真实值，神经网络将预测值和真实值之间的误差经过处理后逐层往回传播，以求取每个神经元的梯度，从而修正对应的权重，因此，每层的计算量是由这两个阶段的计算量叠加而成的。
20.本发明进一步设置为，所述混合联邦学习方法核心采用inception网络结构，所述inception网络结构保证了整个网络的稀疏性，并且可以充分利用高性能的算力计算密集矩阵，由于该网络结构中存在分支结构，无法采用链式拓扑对其进行建模。
21.本发明的有益效果为：该小样本非平衡数据约束下调度模型的混合联邦学习方法，可以将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型，如不能则将分割位置前移，直到满足节点的存储能力，可以对各参与方所训练的局部模型进行更细粒度的考虑，提高了混合联邦学习的效果。
附图说明
22.图1为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的流程结构示意图；
23.图2为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的inception网络结构结构示意图；
24.图3为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的模型切割结构示意图。
具体实施方式
25.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
26.下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
27.在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
28.在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
29.参照图1和图3，小样本非平衡数据约束下调度模型的混合联邦学习方法，包括以下步骤：
30.步骤一：获取可用的边缘节点并收集小样本数据资源信息；
31.步骤二：对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段；
32.步骤三：将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割；
33.步骤四：检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移，直到满足节点的存储能力；
34.步骤五：检查目标节点的存储资源是否能够部署其对应的分割后的部分模型，如果可以，则分割结束；如果不能，并且当前节点已是唯一剩余的可用边缘节点，转至步骤六，否则，转至步骤三；
35.步骤六：回溯到上一次分割并成功部署时的状态，将分割位置前移一个节点重新部署，并转至步骤四；如果每个备都仅部署了一个节点，并且当前节点的存储资源仍然不足，则部署失败，从而完成混合联邦学习。
36.在本实施例中，在对模型进行分割时需要用到分割公式，分割公式为，其中scr为初始节点编号，dst为目标节点编号，对于多个子问题的求解，如果不考虑节点的存储能力，那么每次对目标模型进行二分时，由于初始节点已经确定，此时使得总执行时间最小化的最优选择是将剩余可用边缘节点中计算能力最强的节点作为另外一部分模型部署的目标节点。
37.在本实施例中，在联邦学习或者一般的深度学习应用中，服务提供方会预先确定好所要使用的深度神经网络，并且实际使用的网络结构会根据用户需求的不同而随之变化，但是，从整个执行过程来看，所使用的神经网络是静态的，一旦其确定下来，就不会在模型训练过程中再发生变化，正因为如此，其每层的计算量和输入输出的数据大小可以在运行之前进行准确的测量，而无需对运行时期进行考虑。
38.在本实施例中，深度神经网络的训练过程由多个重复的训练步骤组成，每个步骤
可以分为两个阶段，分别为前向传播和反向传播，前向传播的计算沿着有向无环图中箭头的方向，而反向传播则恰好与箭头方向相反，前向传播阶段每层的输入首先经过一次仿射变换，由于这是一个线性的组合过程，无法表现较为复杂的函数，深度神经网络会在变换后增加一个非线性激活单元，提高模型的拟合能力，逐层计算后，最终在输出层计算出一个预测值，后向传播阶段为了能够修正每层的权重使得预测值更加接近真实值，神经网络将预测值和真实值之间的误差经过处理后逐层往回传播，以求取每个神经元的梯度，从而修正对应的权重，因此，每层的计算量是由这两个阶段的计算量叠加而成的。
39.参照图2，混合联邦学习方法核心采用inception网络结构，inception网络结构保证了整个网络的稀疏性，并且可以充分利用高性能的算力计算密集矩阵，由于该网络结构中存在分支结构，无法采用链式拓扑对其进行建模。
40.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。