一种基于弹性权重巩固的遗忘学习方法与流程

本发明涉及数据处理，特别涉及一种基于弹性权重巩固的遗忘学习方法。

背景技术：

1、今天的计算机系统中保存着大量的个人隐私数据。由于数据存储和数据传输技术的巨大进步，产生、记录和处理的数据呈爆炸式增长。个人数据，包括用户留下的数字足迹，反映了他们在现实世界中的行为、互动和交流模式。

2、这些数据的其他来源包括在线用户为表达他们的想法和观点而创建的数字内容，如互动评论、博客文章、状态寻求和知识共享。最近，个人数据也扩展到包括来自可穿戴设备的数据。如此丰富的数据推动了人工智能(ai)的发展，如深度学习。然而，另一方面，这些数据威胁到了用户的隐私，并增加了数据泄露的风险。出于这些原因，一些用户可能会选择将他们的数据完全从一个系统中移除，特别是那些与金融或医疗保健相关的敏感系统。同时，最近的法律法规也赋予了用户“被遗忘的权利”，迫使互联网服务提供商根据用户的要求从系统中删除其全部或部分数据。

3、在机器学习领域，数据删除不仅限于简单地从后台数据库中删除相应的数据记录，还应包括间接利用这些数据的所有实体。例如，机器学习模型，因为它通过给定数据的表示来执行高级抽象。然而，当我们从模型中删除一些数据时，模型的性能可能会受到负面影响。这是因为神经网络在训练过程中会根据数据的分布和特征来调整其权重和偏置，从而逐渐适应训练数据。如果我们删除了一些数据，网络的权重和偏置可能需要重新调整，以适应新的数据分布。但是，这也可能会导致网络遗忘先前的知识，从而在之前的任务上表现不佳。

技术实现思路

1、本发明目的在于提供一种基于弹性权重巩固的遗忘学习方法，以解决从模型中删除一些数据时，模型的性能可能会受到负面影响的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于弹性权重巩固的遗忘学习方法，包括如下步骤：

4、s1、通过训练数据集初始化模型参数；

5、s2、通过样本获取损失函数，并选择优化算法最小化损失函数，直至模型收敛；

6、s3、接收删除请求，获取待删除数据集；

7、s4、计算数据集的费歇耳信息矩阵，并结合待删除数据集修改损失函数；

8、s5、使用所述优化算法最小化损失函数，直至达到需求后输出删除数据集的模型。

9、进一步地，所述步骤s2包括如下步骤：

10、s21、初始化迭代轮数；

11、s22、将数据集输入至模型中，并计算数据集的损失函数；

12、s23、计算损失函数对模型的权重，并更新模型权重，并将迭代轮数加1；

13、s24、重复步骤s21至s23，最小化损失函数，直至模型收敛，并输出模型。

14、进一步地，所述步骤s21为按批次输入，并且输入前设置批次大小、优化步长。

15、进一步地，所述损失函数选择交叉熵，所述优化算法选择随机梯度下降。

16、进一步地，所述步骤s4包括如下步骤：

17、s41、将数据集输入至模型中，并计算损失函数；

18、s42、计算损失函数对每个模型权重的梯度，并将每个模型权重的梯度平方作为费歇耳信息矩阵的元素；

19、s43、根据所述步骤s42得到的费歇耳信息矩阵和待删除数据集修改损失函数。

20、进一步地，所述步骤s5包括如下步骤：

21、s51、初始化迭代轮数；

22、s52、将待删除数据集输入至模型中，计算待删除数据集的损失函数；

23、s53、计算待删除数据集的损失函数对模型权重，并更新模型权重，并将迭代轮数加1；

24、s54、重复步骤s51至s53，直至达到需要，并输出模型。

25、进一步地，所述步骤s51为按批次输入，并且输入前设置批次大小、优化步长。

26、本发明还提供了一种存储有计算机程序的计算机可读存储介质，所述可读存储介质的计算机程序被处理器执行时，用于实现上诉任一项所述方法的步骤。

27、本发明的有益效果：

28、本发明适用于在线学习场景，可以有效保留之前学到的知识，在删除数据之前预先优化损失函数，可以快速适应新的任务。

技术特征：

1.一种基于弹性权重巩固的遗忘学习方法，其特征在于：包括如下步骤：

2.如权利要求1所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤s2包括如下步骤：

3.如权利要求2所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤s21为按批次输入，并且输入前设置批次大小、优化步长。

4.如权利要求2所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述损失函数选择交叉熵，所述优化算法选择随机梯度下降。

5.如权利要求1所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤s4包括如下步骤：

6.如权利要求1所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤s5包括如下步骤：

7.如权利要求6所述的一种基于弹性权重巩固的遗忘学习方法，其特征在于：所述步骤s51为按批次输入，并且输入前设置批次大小、优化步长。

8.一种存储有计算机程序的计算机可读存储介质，其特征在于：所述可读存储介质的计算机程序被处理器执行时，用于实现权利要求1至7中任一项所述方法的步骤。

技术总结
本发明公开了一种基于弹性权重巩固的遗忘学习方法，包括通过训练数据集初始化模型参数，通过样本获取损失函数，并选择优化算法最小化损失函数，直至模型收敛，接收删除请求，获取待删除数据集，计算数据集的费歇耳信息矩阵，并结合待删除数据集修改损失函数，使用所述优化算法最小化损失函数，直至达到需求后输出删除数据集的模型。本发明适用于在线学习场景，可以有效保留之前学到的知识，在删除数据之前预先优化损失函数，可以快速适应新的任务。

技术研发人员：张峰,石建,逯兆博,王伊蕾,刘运杰,韩朝阳
受保护的技术使用者：杭州后量子密码科技有限公司
技术研发日：
技术公布日：2024/1/15