一种基于高效参数迁移的眼底图像分类方法

本发明属于机器学习中的图像识别，具体的说是一种基于高效参数迁移的眼底图像分类方法。

背景技术：

1、视网膜病变是一种眼部并发症。通过眼科图像设备，如数字相机、眼底扫描仪、光学相干断层扫描，扫描患者眼底以获取高分辨率的眼底图像，这些图像提供了医生观察内部组织结构和异常情况的重要信息。通过分类方法可以辅助医生进行观察，从而极大提升医生的工作效率。

2、随着深度学习的发展，卷积神经网络(cnns)已经成为图像识别领域的主流技术。然而，训练性能优秀的网络模型需要大量数据的支持，如果模型没有足够的训练数据，它可能无法学习到足够的特征来对输入数据做正确分类。由于眼科图像数据的获取和标注成本较高，迁移学习成为解决数据稀缺问题的有效手段。迁移学习通过将在大规模数据上预训练的模型应用于眼底图像分类任务中。

3、现有的迁移学习方法主要包括：基于特征提取、半监督学习、神经网络微调的方法。

4、基于特征提取的方法，通常会使用一个在大规模数据集上训练好的深度神经网络模型作为特征提取器。该模型的前几层对输入图像进行特征提取，而最后几层则将这些特征映射到原始任务的输出空间。然后，针对新的任务，可以重新训练最后几层以适应新任务的输出要求。

5、基于半监督学习的方法，通常会使用少量有标记的数据和大量无标记的数据来训练模型。学习模型的无监督部分通常涉及从大量无标记的数据中提取特征，而有监督部分则可以使用有标记数据来调整模型以适应新任务。

6、基于网络模型微调的方法，通常会使用一个在大规模数据集上预训练好的网络模型，并通过在新任务上微调网络来适应新的任务。微调过程通常涉及特定层的冻结和解冻，以便网络可以重新调整参数以适应新任务。

7、在数据量较少的情况下，直接训练神经网络可能会受到限制。迁移学习方法可以通过利用源数据的知识来解决这个问题，但忽视了源数据集和目标数据集的数据分布差距较大的挑战。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出了一种基于高效参数迁移的眼底图像分类方法，以期能考虑眼底图像的敏感性，通过对预训练的模型进行高效参数迁移，从而实现对眼底图像的准确识别分类。

2、为解决上述技术问题，本发明采用的技术方案是：

3、本发明一种基于高效参数迁移的眼底图像分类方法的特点在于，是按以下步骤进行：

4、步骤1、采集带有i种类别标签的若干张眼底图像并经过预处理后，得到的数据集dall并划分为训练集dtra和验证集dval；

5、步骤2、基于调整后的vit-b/16模型构建模型a，包括：输入模块、嵌入模块、编码器模块和分类模块，并用于对训练集dtra进行处理，得到预测标签；

6、步骤3、参数定义并初始化，包括：所有眼底图片的总数量为nsum，眼底图片的类别数为i，某一类别索引为c，第c种类别图片的数量为nc，学习率倍数为α，学习率为lr，模型训练的最大次数为emax；

7、步骤4、将预训练的模型权重加载到模型a中；记模型a的n个编码器中所有归一化层的参数集合记为wa，且wa＝[wa1,1,wa1,2,wa2,1,...wan,1,wan,2,...,wan-1,2,wan,1,wan,2]，其中，wan,1表示第n个编码器中第一个归一化层lnn,1的参数，wan,2表示第n个编码器中第二个归一化层lnn,2的参数；

8、记模型a的n个编码器中所低阶适配器模块的参数集合记为wb，且wb＝[wb1,1,wb1,2,wb2,1,...wbn,1,wbn,2,...,wbn-1,2,wbn,1,wbn,2]，其中，wbn,1表示第n个编码器中第一个低阶适配器lrn,1的参数，wbn,2表示第n个编码器中第二个低阶适配器lrn,2的参数；

9、步骤5、只打开模型a中的所有归一化层的参数集合wa和分类器模块中全连接层的参数，其余模型的参数冻结后，使用α倍的学习率lr在训练集dtra上对模型a进行一次训练，得到一次训练后的编码器模块中所有归一化层参数集合w’a，且w’a＝[wa’1,1,wa’1,2,wa’2,1,...wa’n,1,wa’n,2,...,wa’n-1,2,wa’n,1,wa’n,2]，其中，wa’n,1表示一次训练后的第n个编码器中第一个归一化层lnn,1的参数，wa’n，2表示一次训练后的第n个编码器中第二个归一化层lnn,2的参数；

10、步骤6、计算wa与w’a的相似度值集合s＝[s1,1,s1,2,s2,1,...,sn,1,sn,2,...,sn-1,2,sn,1,sn,2]，其中，sn,1表示wan,1与wa’n,1的相似度值，sn,2表示wan,2与wa’n,2的相似度值，对s进行降序排序，得到排序后相似度值集合s’；

11、步骤7、定义变量j，并初始化j＝2n；

12、步骤8、对模型a的参数进行第2n-j+1调整，得到第2n-j+1次调整参数后的模型；

13、步骤9、在训练集dtra上使用随机梯度下降算法对第2n-j+1次调整参数后的模型a2n-j+1进行训练，同时利用式(3)所示的交叉熵损失函数对第2n-j+1次调整参数后的模型a2n-j+1的权重参数进行更新，每次更新后，在验证集dval上对第2n-j+1次调整参数后的模型a2n-j+1更新后的权重参数进行验证，得到第2n-j+1次调整参数后的验证结果，直至达到总训练次数emax为止，并保留在验证集dval上第2n-j+1次调整参数后的最优验证结果tbest,2n-j+1；

14、

15、式(3)中，y表示输入眼底图像xtra的真实标签，表示第2n-j+1次调整参数后的模型a2n-j+1输出的眼底图像xtra的预测标签，表示第2n-j+1次调整参数后的模型a2n-j+1输出的预测标签的概率，nc表示第c种类别的眼底图像数量；

16、步骤10、判断tbest,2n-j+1>tbest是否成立，若是，则将tbest,2n-j+1作为最佳验证结果tbest，否则，保持tbest不变，当j＝2n时，初始化tbest为0；

17、步骤11、将j-1赋值给j后，判断j＝n/2是否成立，若成立，则将tbest所对应的模型作为最优模型abest，并用于对眼底图像进行分类，否则，返回步骤8顺序执行。

18、本发明所述的一种基于高效参数迁移的眼底图像分类方法的特点也在于，所述步骤2包括：

19、步骤2.1、所述输入模块由一个卷积层和一个展平层组成；

20、将训练集dtra中任意一张眼底训练图像xtra输入所述输入模块中，并通过卷积层的卷积操作，将图片分成固定大小的图像块，将所有图像块通过线性变换进行展平后，得到眼底特征序列ftra；

21、步骤2.2、所述嵌入模块包含类别嵌入和位置嵌入；

22、随机初始化的待学习的类别嵌入向量cls，并构建与图像块位置相关的位置嵌入向量pos；

23、将眼底特征序列ftra传送到嵌入模块中，将类别嵌入向量cls添加到眼底特征序列ftra后，再将位置嵌入向量pos添加到眼底特征序列ftra中，从而得到嵌入后的眼底特征序列f’tra；

24、步骤2.3、所述编码器模块由n个编码器组成，第n个编码器模块由两个大模块组成；其中，第一个大模块由第一残差连接层，第一归一化层lnn,1，多头注意力模块mhan，第一低阶适配器lrn,1组成；第二个大模块由第二残差连接层，第二归一化层lnn,2、多层感知机mlpn以及第二低阶适配器lrn,2组成；

25、所述眼底特征序列f’tra输入编码器模块中，并由第n个编码器中的第一个大模块利用式(1)得到第n-1个输入特征向量f’n-1；再由第n个编码器中的第二个大模块利用式(2)得到第n个编码器处理后的特征向量fn，从而经过n个编码器处理后，得到特征向量fn；

26、f′n-1＝f′n-1+mlpn(lnn,1(fn-1))+lrn,1(lnn,1((fn-1))  (1)

27、fn＝f′n-1+mlpn(lnn,2(f′n-1))+lrn,2(lnn,2((f′n-1))  (2)

28、式(1)和式(2)中，fn-1表示第n-1个编码器处理后的特征向量；当n＝1时，令fn-1＝f’tr；

29、步骤2.4、分类器模块由池化层和全连接层组成；

30、对输出特征fn进行全局平均池化，得到池化后的特征，再通过一个全连接层进行映射，最终生成输出。

31、所述步骤8包括：

32、步骤8.1、初始化n＝1；

33、步骤8.2、从s’中取出第j个相似度值sj，并分别与sn,1和sn,2比较，若sn,1≥sj，则将参数wan,1打开，同时将参数wbn,1冻结；否则，将wan,1冻结，将wbn,1打开；若sn,2≥sj，则将参数wan,2打开，同时将参数wbn,2冻结；否则，将wan,2冻结，将wbn,2打开；

34、步骤8.3、将n+1赋值给n后，返回步骤8.2，直至n＝n为止。

35、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述眼底图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

36、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述眼底图像分类方法的步骤。

37、与现有技术相比，本发明的有益效果在于：

38、1、本发明提供了一种快速有效的度量方法，通过比较模型的归一化层参数在对眼底图像进行训练前后的变化，来评估归一化层参数对眼底图像的敏感性。该方法在不可见源数据的情况下，能够明确区分眼底图像和源数据的数据分布差异，从而实了现对模型参数的高效迁移，使得能够迅速找到适用于眼底图像分类的模型。

39、2、本发明提出了一种高效的参数迁移方法，旨在适应眼底图像数据集并提高模型对图像特征的学习能力。该方法通过冻结预训练模型中对眼底图像敏感性较低的参数，有效地迁移这些参数以增强模型对眼底图像的共性特征提取能力。同时，对模型中敏感性较高的参数进行重新训练，以强化对眼底图像的个性特征提取能力。通过这样的调整，本发明增强了模型对眼底图像的综合特征提取能力，从而在眼底图像分类任务上取得了较高的准确率。

40、3、本发明方法具有简单操作和灵活性，所训练的网络结构冗余度低，训练参数量少，并且代价很小，能够实现对在眼底图像的准确分类。