数据遗忘学习方法、装置、数据处理系统和存储介质与流程

本申请涉及分布式模型训练领域，特别是涉及数据遗忘学习方法、装置、数据处理系统和存储介质。

背景技术：

1、联邦学习可以协调大量边缘节点在边缘计算场景下共同训练一个全局模型，目前已被广泛用于各种智能应用的训练和部署。然而，人们越来越关注数据的隐私安全问题。为了完全消除某个节点的贡献，一种比较直观的方法是基于除目标节点外的剩余节点拥有的数据从头重新训练模型。然而，模型的重新训练会导致非常大的计算开销，给边缘节点有限的资源带来巨大的压力。当前，华中科技大学提出利用历史模型更新来构造遗忘模型，但在服务器上存储所有节点的历史梯度会带来巨大的内存开销。亚马逊公司提出利用剩余的数据对训练好的模型进行矫正的更新步骤，但这种方法需要全局访问整个数据集，不满足联邦遗忘学习场景的实际需求。而香港理工大学注意到卷积神经网(convolutional neuralnetwork，cnn)中不同通道对分类任务中的类别有不同的贡献程度。为此，他们针对类级别的遗忘，通过模型剪枝去除与目标类别最相关的通道来构造遗忘模型，但这种方法只针对cnn模型且仅适用于遗忘特定类别的数据。

2、针对相关技术中存在数据处理效率低、内存资源消耗大等问题，目前还没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种数据遗忘学习方法、装置、数据处理系统和存储介质，以解决相关技术中数据处理效率低、内存资源消耗大的问题。

2、第一个方面，在本实施例中提供了一种数据遗忘学习方法，包括：

3、在接收到针对数据处理系统中目标边缘节点的移除请求的情况下，根据数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；

4、将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理系统中目标节点簇之外的各个节点簇识别为其他节点簇；

5、获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；

6、获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；

7、根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理系统。

8、在其中的一些实施例中，在根据数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇之前，上述方法还包括：

9、将初始全局模型下发至数据处理系统中所有的边缘节点进行训练，基于训练结果得到所有的边缘节点的初始梯度；

10、根据所有的边缘节点的初始梯度，得到任意两个边缘节点的梯度相似度。

11、在其中的一些实施例中，任意两个边缘节点的梯度相似度为任意两个边缘节点的梯度的余弦相似度。

12、在其中的一些实施例中，上述方法还包括：

13、基于节点性能，将每个节点簇内性能最强的节点设置为簇头。

14、在其中一些实施例中，上述方法还包括：

15、初始簇模型为簇头先根据各边缘节点在节点簇内训练，得到训练梯度，将训练梯度进行聚合并更新簇模型后，再下发给各边缘节点，由各边缘节点再进行训练，循环进行各边缘节点训练和簇头聚合，直至达到预设循环次数，将最后训练得到的模型作为初始簇模型。

16、在其中的一些实施例中，上述方法还包括：

17、遗忘模型为目标节点簇的簇头根据目标边缘节点的累积梯度，利用梯度上升算法，对目标边缘节点进行遗忘学习得到。

18、在其中的一些实施例中，根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理系统，包括：

19、将遗忘模型和其他簇模型进行聚合，得到初始聚合模型；

20、将初始聚合模型下发至各个簇头，以使各个簇头基于各自节点簇内的边缘节点对初始聚合模型进行训练，并基于各个节点簇的训练结果进行模型聚合，循环进行模型的训练和聚合，直至达到预设循环次数，将最后聚合得到的模型识别为目标聚合模型；

21、根据目标聚合模型，得到去除目标边缘节点的数据处理系统。

22、第二个方面，在本实施例中提供了一种数据遗忘学习装置，包括：

23、分簇模块、遗忘学习模块以及调整模块，其中：

24、分簇模块，用于在接收到针对数据处理系统中目标边缘节点的移除请求的情况下，根据数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理系统中目标节点簇之外的各个节点簇识别为其他节点簇；

25、遗忘学习模块，用于获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；

26、调整模块，用于根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理系统。

27、第三个方面，在本实施例中提供了一种数据处理系统，包括服务器和边缘节点；其中，服务器应用第一个方面的数据遗忘学习方法。

28、第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面的数据遗忘学习方法。

29、与相关技术相比，在本实施例中提供的数据遗忘学习方法，通过在接收到针对数据处理系统中目标边缘节点的移除请求的情况下，根据数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；其中，边缘节点的梯度为模型损失函数梯度；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理系统中目标节点簇之外的各个节点簇识别为其他节点簇；获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；其中，初始簇模型为各边缘节点在节点簇内训练后得到；获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理系统，解决了数据处理效率低、内存资源消耗大的问题，提升了数据处理的效率，减少了内存资源的消耗。

30、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种数据遗忘学习方法，其特征在于，包括：

2.根据权利要求1所述的数据遗忘学习方法，其特征在于，在根据所述数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇之前，所述方法还包括：

3.根据权利要求1所述的数据遗忘学习方法，其特征在于：

4.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的数据遗忘学习方法，其特征在于，所述根据所述遗忘模型和所述其他簇模型，得到移除所述目标边缘节点的数据处理系统，包括：

8.一种数据遗忘学习装置，其特征在于，包括：分簇模块、遗忘学习模块以及调整模块，其中：

9.一种数据处理系统，其特征在于，包括服务器和边缘节点；其中：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据遗忘学习方法的步骤。

技术总结
本申请涉及一种数据遗忘学习方法、装置、数据处理系统和存储介质，其中，该数据遗忘学习方法包括：在接收到针对数据处理系统中目标边缘节点的移除请求的情况下，根据数据处理系统中任意两个边缘节点的梯度相似度，将若干个边缘节点划分成节点簇；将目标边缘节点所在的节点簇识别为目标节点簇，将数据处理系统中目标节点簇之外的各个节点簇识别为其他节点簇；获取由目标节点簇上传的，根据初始簇模型进行遗忘学习得到遗忘模型；获取由其他节点簇上传的，根据初始簇模型进行训练得到其他簇模型；根据遗忘模型和其他簇模型，得到移除目标边缘节点的数据处理系统，通过本申请，提升了数据处理的效率，减少了内存资源的消耗。

技术研发人员：马振国,周丽,李清明,姬朋立,严笑然,孔祥杰
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/2/21