基于双相似性度量与联合学习的小样本医学图像处理方法

本发明属于医学图像处理领域，具体涉及一种基于双相似性度量与联合学习的小样本医学图像处理方法。

背景技术：

1、小样本学习是一种利用有限的标记图像进行图像信息学习并解决问题的机器学习方法，与传统基于数据驱动的算法不同，小样本学习中每个类别只包含个别实例样本，因此如何利用有限数量样本提升神经网络的性能和分类精度是其研究的重点。纵观国内外研究小样本疾病(尤其胸部疾病)分类问题的相关工作，现有的方法大致可分为两类：数据增强和度量学习的方法。其中，数据增强方法可以分为基于几何变换的数据扩充和基于深度生成模型的数据扩充，前者通过图像变换对胸部x光图像数据进行扩充，后者通过生成器生成新的胸部x光图像伪标签数据；度量学习方法主要利用各种不同的距离函数计算胸部疾病之间的相似度。

2、近年来，鉴于深度神经网络端到端的训练优势，研究人员常将其与简单有效的度量学习相结合，广泛应用于小样本胸部疾病分类任务中。结合后的深度度量学习通过比较支持样本和查询样本之间的相似性，直接预测查询样本标签，从而提高模型在小样本情景下的性能表现。

3、随着研究者对小样本胸部x光图像疾病分类问题的不断深入研究，目前已经取得了一些突破性进展，但仍然存在着一些问题，主要包括以下几个方面：

4、(1)已有的方法通过人为地增加胸部疾病阳性样本数量，但也无法应对本就样本量稀少的罕见疾病或新型疾病；

5、(2)目前基于度量学习的小样本胸部疾病分类工作，仅仅建立单个相似性距离度量进行对比，这会导致相似性方面的偏差，降低模型的泛化能力；

6、(3)目前的工作仅通过学习胸部x光图像支持集样本的信息，以便预测查询集样本标签，而没有利用同样有效的查询集样本的信息，导致模型的性能受到限制。

7、胸部疾病辅助诊断是深度学习技术在医疗图像领域的重要应用之一。由于胸部x光图像数据集具有样本获取困难、标注成本高以及长尾分布的问题，因此，面向小样本的胸部x光图像分类研究具有现实意义。

技术实现思路

1、本发明所要解决的技术问题是：提供一种基于双相似性度量与联合学习的小样本医学图像处理方法，解决了现有技术中x光图像处理数据量大，模型泛化能力低，分类不够准确的问题。

2、本发明为解决上述技术问题采用以下技术方案：

3、基于双相似性度量与联合学习的小样本医学图像处理方法，包括如下步骤：

4、步骤1、先将输入的样本图像数据集划分为训练集和测试集，再分别为训练集和测试集构建支持集和查询集；

5、步骤2、在训练阶段，先将训练集的支持集和查询集样本通过特征提取器提取特征向量，再构建双相似性度量模块，对支持集样本的特征向量进行度量约束，使得同类别样本之间相似度高，不同类别样本之间互相远离，最后计算支持集样本中的每个类别的平均特征向量作为原型，用于预测查询集样本的标签；

6、步骤3、对模型进行小样本联合学习，将查询集预测标签与查询集样本构成样本-标签对，同样经过双相似性度量模块获得类别原型，根据查询集原型反向预测支持集样本标签，反向预测得到的支持集样本标签和支持集样本真实标签与预测得到的查询集样本标签和查询集样本真实标签共同训练目标优化器；

7、步骤4、在测试阶段，将测试集的支持集和查询集样本通过特征提取器提取特征向量，支持集样本特征向量根据双相似性度量模块构建原型，查询集样本与原型比较得到初步预测标签，初步预测标签再经过目标优化器得到最终预测标签。

8、在特征空间中，对特征向量进行度量损失约束，对相同类别的样本计算余弦相似度，对各个类别的原型计算欧几里得距离，使得类内相似度高，而类间差异大。

9、余弦相似度计算公式如下：

10、

11、损失函数为：

12、

13、其中，fi,fj为样本i和样本j的特征向量，且i≠j，n为类内样本对数量。

14、欧几里得距离计算公式如下：

15、

16、损失函数为：

17、

18、其中，fa,fb为原型a和原型b的特征向量，且a≠b，m为类间样本对数量，k为特征向量长度。

19、所述目标优化器由三个全连接层组成，每两层之间有一个relu激活函数。

20、训练阶段，建立支持集标签样本真实标签y，以及优化后的支持集标签之间的损失约束建立查询预测集标签查询集样本真实标签y′以及优化后的查询集标签之间的损失约束其中，lc为交叉熵损失函数。

21、所述的特征提取器为convnext模型，样本i经过特征提取器得到特征向量：

22、f＝fcnn(i；φcnn)∈rd

23、其中，φcnn为模型参数，d为特征向量长度。

24、为了进一步解决小样本分类精度低的问题，本发明还提供一种小样本医学图像处理方法及系统，具体的技术方案如下：

25、基于双相似性度量与联合学习的小样本医学图像处理系统，包括图像存储单元、图像特征提取器、双相似性度量模块和目标优化器；其中，

26、图像存储单元存储若干图像数据，用于对模型进行训练和测试，训练阶段使用训练集，测试阶段使用测试集；所述训练集和测试集，由元任务集组成，每个元任务包含一组支持集样本和一组查询集样本；

27、图像特征提取器，用于捕获图像特征，将原始图像数据转化为具有表征性信息的特征数据；

28、双相似性度量模块，用于获取更具代表性的原型；

29、目标优化器，用于学习样本的预测标签与真实标签之间的差异。

30、小样本医学图像处理方法，首先，获取若干医学疾病x光图像和对应部位正常x光图像，并筛选出符合要求的图像，然后，应用所述方法对筛选出的图像进行处理，获取所有图像的分类结果，最后，输出最终的分类结果，作为疾病判断的依据或指导。

31、计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于执行所述方法的全部或部分步骤。

32、与现有技术相比，本发明具有以下有益效果：

33、1、提出了双相似性度量损失模块，对同一疾病类内样本和不同疾病类间样本分别使用不同的度量函数，减少了单一度量空间引起的相似性偏差，提高了模型的泛化能力。

34、2、利用胸部x光图像查询集样本反向预测支持集样本，使模型充分融合同样有效的训练集中的查询集样本的信息，有效地提升了模型的性能。

35、3、设计了一个目标优化器，通过学习训练阶段支持集样本的预测标签与真实标签和查询集样本的预测标签与真实标签之间的差异，来优化测试阶段查询集样本的预测标签，进而提升模型对胸部疾病的分类精度。

技术特征：

1.基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：在特征空间中，对特征向量进行度量损失约束，对相同类别的样本计算余弦相似度，对各个类别的原型计算欧几里得距离，使得类内相似度高，而类间差异大。

3.根据权利要求2所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：余弦相似度计算公式如下：

4.根据权利要求2所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：欧几里得距离计算公式如下：

5.根据权利要求1所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：所述目标优化器由三个全连接层组成，每两层之间有一个relu激活函数。

6.根据权利要求5所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：训练阶段，建立支持集标签样本真实标签y，以及优化后的支持集标签之间的损失约束建立查询预测集标签查询集样本真实标签y′以及优化后的查询集标签之间的损失约束其中，lc为交叉熵损失函数。

7.根据权利要求1所述的基于双相似性度量与联合学习的小样本医学图像处理方法，其特征在于：所述的特征提取器为convnext模型，样本i经过特征提取器得到特征向量：

8.基于双相似性度量与联合学习的小样本医学图像处理系统，其特征在于：包括图像存储单元、图像特征提取器、双相似性度量模块和目标优化器；其中，

9.小样本医学图像处理方法，其特征在于：首先，获取若干医学疾病x光图像和对应部位正常x光图像，并筛选出符合要求的图像，然后，应用权利要求1至7中任一项所述方法对筛选出的图像进行处理，获取所有图像的分类结果，最后，输出最终的分类结果，作为疾病判断的依据或指导。

10.计算机存储介质，其特征在于：所述计算机存储介质存储有计算机指令，所述计算机指令被调用时用于执行权利要求1至7中任一项所述方法的全部或部分步骤。

技术总结
本发明公开了一种基于双相似性度量与联合学习的小样本医学图像处理方法，分别为训练集和测试集构建元任务，每个任务都关联和处理支持集和查询集。在特征空间中，构造双相似性度量模块，对同类别的样本计算余弦相似度，对各个类别的原型计算欧几里得距离，并进行度量损失约束，目的是使类内相似度高，而类间差异大。在训练阶段，根据支持集和查询集样本的联合学习，共同训练一个目标优化器。在测试阶段，待预测的查询集样本与支持集类别原型进行相似度计算得到初步预测标签，再经过目标优化器得到最终预测标签。利用本发明方法，模型通过学习双相似性度量和联合学习模块，为小样本胸部X光图像疾病分类提供了一种通用、有效的辅助诊断方法。

技术研发人员：曾国荪,金宇霏
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/4/7