一种基于区块链的增量学习分类方法及系统

本发明涉及深度学习技术，更具体地说，它涉及一种基于区块链的增量学习分类方法及系统。

背景技术：

1、数字版权管理(digital rights management，drm)平台是当前数字作品保护工作有效实施的重要保障，区块链是目前信息安全的前沿技术，通过密码学算法、共识机制形成一个安全透明、可追溯的分布式数据库，推动了数字版权存证与确权、传播及管理方式的变革。

2、用户可以通过版权存证系统将版权图像上传至区块链平台从而对图像进行存证，而图像分类的目的在于将图像分类为正确标签，从而为数据管理、数据检索带来便利。现有方法为用户自主选择上传类别，再经过后台人员审核后完成分类。其缺点在于类别多样化用户难以正确选择分类，人工审核效率低，使用人工智能方法进行自动分类从而保证存证自动化流程、减少数据管理成本。

3、版权存证为一个动态数据增长场景，随着用户不断上传图像，图像数量与类别都会随着时间不断增加。现有使用深度学习图像分类技术对图像进行分类的方法缺乏动态更新能力，随着数据的增长，模型将无法识别新增类别或图像。

4、增量学习是在连续的数据流中训练模型，随着时间的推移，更多的数据逐渐可用，同时旧数据可能由于存储限制或隐私保护等原因而逐渐不可用，并且学习任务的类型和数量没有预定义(例如分类任务中的类别数)。

5、版权存证平台后台管理数据时需要对数据进行分类存储，使用传统深度学习模型对图像进行分类存在模型无法识别新增类别的问题，模型具有时效性，传统解决方案为使用数据库全部数据对模型进行重新训练从而保证模型分类的正确性，这种方法称之为联合训练。由于版权图像的特殊性使用数据库的全部数据用于模型训练可能会导致用户隐私泄露、数据安全等问题，且当数据量庞大时训练模型将耗费大量时间与算力。

技术实现思路

1、本发明要解决的技术问题是针对现有技术的不足，提供一种基于区块链的增量学习分类方法，减少了数据泄露风险，大大减少了模型训练所需参数。

2、本发明还提供一种基于区块链的增量学习分类系统，减少了数据泄露风险，大大减少了模型训练所需参数。

3、本发明所述的一种基于区块链的增量学习分类方法，该方法为，

4、获取新的增量数据集d＝{d1,d2,...,dn}；

5、加载预训练的vit模型fpre；

6、为所述预训练的vit模型fpre加载自适应多层感知机模块；

7、通过所述vit模型fpre中的特征提取器对增量数据dt进行特征提取，以获取所述增量数据dt的中心特征；其中，t为1-n中任一自然数；

8、将所述中心特征作为分类器的参数提供给分类器wt，将所述分类器wt添加到增量模型ft-1中。若t＝1，此时的增量模型ft-1为预训练的vit模型fpre，初始增量模型f1由预训练的vit模型fpre在数据集d1上训练所得。

9、作进一步的改进，所述vit模型fpre包括：

10、多头注意力层，用于计算由分割后的版权图像映射成的向量xe所映射成的参数q、k、v的自注意力；

11、缩放与平移模块层，附加在所述多头注意力层和多层感知机层之后，用于通过缩放和移位操作来调整所述多头注意力层输出；

12、自适应多层感知机模块，用于对缩放与平移模块层的输出值进行自适应处理，其表达式为：

13、mlp(xd)+relu(xdwdown)wup；

14、式中，xd为自适应多层感知机模块的输入值；mlp为预训练的vit模型fpre中原始的mlp层函数；relu为非线性激活函数；wdown为降维模块；wup为升维模块。

15、进一步的，所述缩放与平移模块层的表达式为：

16、

17、式中，为缩放与平移模块层的输出，l为版权图像分隔成的小块数量，d为向量x。的维度；和分别是比例因子和平移因子；为缩放与平移模块层的输入；为hadamard乘积。

18、更进一步的，所述缩放与平移模块层与自适应多层感知机模块之间嵌入有层归一化模块。

19、作进一步的改进，所述分类器wt添加到增量模型ft-1中的方法为：

20、对上一任务的增量模型ft-1进行冻结；取分类器wt-1作为目前分类器，将当前所述的中心特征作为分类器的参数更新分类器wt-1，并将更新后的分类器wt-1作为分类器wt，将所述分类器wt拼接在增量模型ft-1中，以获取增量模型ft。

21、作进一步的改进，所述新的增量数据集d由经过原创性检测和新类别识别的版权图像组成。

22、进一步的，所述原创性检测为，将所述版权图像与图像数据库中的图像数据进行比对；若所述版权图像的相似度与图像数据库中的图像数据相似度大于设定的阈值，则返回相似度提示信息；否则进行新类别识别；

23、所述新类别识别为，将所述版权图像的类别与图像数据库中的图像类别进行对比，若所述版权图像的类别与图像数据库中的图像类别均不一致，则所述版权图像将作为新的增量数据集d中的增量数据dt。

24、进一步的，若所述版权图像的类别已经存在于图像数据库中，则通过所述增量模型ft对版权图像进行分类，并将分类后的版权图像存证在区块链平台中。

25、一种基于区块链的增量学习分类系统，包括：

26、版权图像获取模块，用于获取新的增量数据集d＝{d1,d2,...,dn}；

27、新类训练模块，用于加载预训练的vit模型fpre；为所述预训练的vit模型fpre加载自适应多层感知机模块e；通过所述vit模型fpre中的特征提取器对增量数据dt进行特征提取，以获取所述增量数据dt的中心特征；其中，t为1-n中任一自然数；将所述中心特征作为分类器的参数提供给分类器wt，将所述分类器wt添加到增量模型ft-1中；

28、图像存证模块，用于将分类后的版权图像存证在区块链平台中。

29、作进一步的改进，所述分类器wt添加到增量模型ft-1中的方法为：

30、对上一任务的增量模型ft-1进行冻结；取分类器wt-1作为目前分类器，将当前所述的中心特征作为分类器的参数更新分类器wt-1，并将更新后的分类器wt-1作为分类器wt，将所述分类器wt拼接在增量模型ft-1中，以获取增量模型ft。

31、有益效果

32、本发明的优点在于：本发明的增量学习只需对新增的版权图像数据进行模型训练而无需访问数据库中原有的版权图像数据，大大地减少了数据泄露风险。其次，使用预训练的vit模型fpre进行参数微调，即按照预训练的vit模型fpre中原始的mlp结构配备适配器，以实现自适应多层感知机模块的加载；并在训练过程中冻结增量模型的已有特征，只训练附加的自适应参数与分类器，大大减少了模型训练所需参数。

技术特征：

1.一种基于区块链的增量学习分类方法，其特征在于，该方法为，

2.根据权利要求1所述的一种基于区块链的增量学习分类方法，其特征在于，所述vit模型fpre包括：

3.根据权利要求2所述的一种基于区块链的增量学习分类方法，其特征在于，所述缩放与平移模块层的表达式为：

4.根据权利要求3所述的一种基于区块链的增量学习分类方法，其特征在于，所述缩放与平移模块层与自适应多层感知机模块之间嵌入有层归一化模块。

5.根据权利要求1所述的一种基于区块链的增量学习分类方法，其特征在于，所述分类器wt添加到增量模型ft-1中的方法为：

6.根据权利要求1所述的一种基于区块链的增量学习分类方法，其特征在于，所述新的增量数据集d由经过原创性检测和新类别识别的版权图像组成。

7.根据权利要求6所述的一种基于区块链的增量学习分类方法，其特征在于，所述原创性检测为，将所述版权图像与图像数据库中的图像数据进行比对；若所述版权图像的相似度与图像数据库中的图像数据相似度大于设定的阈值，则返回相似度提示信息；否则进行新类别识别；

8.根据权利要求6所述的一种基于区块链的增量学习分类方法，其特征在于，若所述版权图像的类别已经存在于图像数据库中，则通过所述增量模型ft对版权图像进行分类，并将分类后的版权图像存证在区块链平台中。

9.一种基于区块链的增量学习分类系统，其特征在于，包括：

10.根据权利要求9所述的一种基于区块链的增量学习分类系统，其特征在于，所述分类器wt添加到增量模型ft-1中的方法为：

技术总结
本发明公开了一种基于区块链的增量学习分类方法，涉及深度学习技术。获取新的增量数据集D；加载预训练的VIT模型F<subgt;pre</subgt;；为预训练的VIT模型F<subgt;pre</subgt;加载自适应多层感知机模块；通过VIT模型F<subgt;pre</subgt;中的特征提取器对增量数据D<subgt;t</subgt;进行特征提取，以获取增量数据D<subgt;t</subgt;的中心特征；将中心特征作为分类器的参数提供给分类器W<subgt;t</subgt;，将所述分类器W<subgt;t</subgt;添加到增量模型F<subgt;t</subgt;。本发明还公开了一种基于区块链的增量学习分类系统。本发明采取增量学习设置只需访问数据库新增数据对模型进行训练，减少了数据泄露风险。其次，使用预训练的VIT模型F<subgt;pre</subgt;进行参数微调，在训练过程中冻结模型特征提取部分，只训练附加的自适应参数与模型分类器，大大减少了模型训练所需参数。

技术研发人员：戴青云,许龙,雷方元,蒋健健,梁敏靖
受保护的技术使用者：广东技术师范大学
技术研发日：
技术公布日：2024/1/22