基于分割大模型引导的医学影像细粒度分类方法

本发明涉及一种基于分割大模型引导的医学影像细粒度分类方法，属于医学图像。

背景技术：

1、医学影像能够为医生的诊断决策带来更多的帮助，然而解读医学图像将耗费大量精力。首先，需要在有限的时间内尽可能精确地找出能够支持诊断决策的图像；其次，医学影像解读的难度较大，例如良性病变与恶性病变的差别可能在一个微小的部位，或者仅仅在颜色上有稍许变化。这就需要耗费医生大量的精力去甄别影像上每一个细节；另外，医生个人经验与水平对判读结果也有较大影响。

2、利用计算机视觉解决图像分类问题在很多场景已经得到广泛应用，如动植物种类识别、交通场景分析以及常见于日常生活中的人脸识别等。然而分类的主体不同，其难度也不一样。在常见的自然图像分类问题中，分辨汽车与飞机是简单的，而区分同一款汽车的不同型号较为困难。这就是细粒度分类问题，旨在分辨属于同一个大类下而不同子类的物体。相对通用图像分类而言，细粒度分类问题特点在于图像所属类别的粒度更为精细。

3、医学图像的特点在于其成像对象单一，皆为目标器官，而其中的微小变化反应了不同的病症。这一特点与目前计算机视觉领域中的细粒度图像分类问题完全吻合。但目前计算机领域细粒度分类问题的研究集中于自然图像，与医学图像有显著区别。

4、因此，如何将细粒度分类的思路与方法应用于医学图像分类上，这是目前研究热点。通过对现有的医学图像细粒度分类方法进行分析总结，已有的方法存在下面几个不足：（1）显著性定位能力差，难识别病变中细微但临床有意义的区域。（2）性能解释能力差，难量化模型预测依据,缺乏可解释性。（3）分类粒度有限，难识别细微组织差异。（4）医学图像中的背景噪声也会对细粒度分类产生严重的影响，使得医学图像分类准确度和精度较低。

技术实现思路

1、本发明的目的是提出一种基于分割大模型引导的医学影像细粒度分类方法，以进一步提高医学图像细粒度分类的准确性，为医学图像病理诊断提供方法与技术上的支持。

2、为实现上述发明目的，本发明采取的具体技术方案如下：

3、一种基于分割大模型引导的医学影像细粒度分类方法，包括如下步骤：

4、s1：收集医学图像数据集，该数据集首先通过分割网络生成粗mask；

5、s2：首先对所述粗mask进行精细化，得到一个更加精细mask,然后使用精细mask通过最大连通图方法生成框提示bounding box；

6、s3： 将所述精细mask、所述框提示，以及所述医学图像数据集作为输入至分割大模型sam中进行分割处理；

7、s4：将s3得到的分割处理结果做为指导项输入到panet分类网络，进行细粒度分类；所述panet分类网络使用图像级类标签，并通过在特征向量之间应用负平方欧几里得距离函数，并提出了部分丢失的方法，即一次性丢弃部分特征向量，以防止单个部分在分类中占主导地位，提升网络的鲁棒性；所述panet分类网络还采用部分特征向量调制方法；

8、s5：对所述panet分类网络进行训练，再利用训练好的网络进行医学图像分类识别，输出分类结果。

9、进一步的，所述s1中，使用一个分割网络（例如u-net或mask r-cnn）生成粗mask，该粗mask被视为一个二值图像，其中像素值为1的区域表示对象的位置，而像素值为0的区域表示背景。

10、进一步的，所述s2包括：

11、s2-1：所述粗mask通过mask refinement在粗mask上应用一系列的卷积和非线性操作来生成一个精细mask；mask refinement的目标函数定义为iou损失函数：

12、；

13、其中，是像素i在精细mask中的预测标签,是粗mask对应的标签值，为预测正确的概率；

14、s2-2：再利用最大连通图算法能够得到精细mask中所有连通的区域，并选择像素数量最多的区域作为最大连通图；

15、s2-3：最后通过计算这个最大连通图的最小和最大的x和y坐标来生成框提示bounding box。

16、进一步的，所述s3中，所述分割大模型sam能够接收各种类型的输入提示，包括点提示和框提示；对于框提示，定义一个二值图像，其中则表示(x,y)在提示框内，否则，即表示这个点不在提示框内；然后，将这些提示图像作为额外的输入通道提供给sam模型，在sam模型训练过程中，定义一个目标函数，它鼓励sam模型在提示区域内生成高置信度的掩码；所述目标函数定义为：

17、；

18、其中，是sam模型在位置(x,y)生成对象掩码的预测概率；

19、所述精细mask输入sam模型的图像编码器，产生高层语义特征，随后输入至sam模型的掩码解码器，产生更加精细的分割结果。

20、进一步的，所述s4具体为：

21、s4-1：使用sam模型对图像进行分割，得到一个二值掩码，其中像素值为1的区域表示对象，像素值为0的区域表示背景；

22、s4-2：将所述二值掩码用于指导panet分类网络,待分类新图像输入到panet分类网络中，对输入图像进行细粒度分类：

23、；

24、其中，x是输入图像，y是panet的输出，是panet的前向传播函数；

25、panet分类网络的目标函数定义为交叉熵损失函数：

26、；

27、其中，是像素i的真实标签，是像素i的预测概率；

28、s4-3：所述panet分类网络使用图像级类标签和先验知识：panet使用图像级类标签来发现对象的部分区域；

29、通过在特征向量  之间应用负平方欧几里得距离函数，注意力的计算方式如下：

30、；

31、其中和分别为提取的特征和k个部分的原型；

32、另外，使用sam模型分割结果生成的注意力图a作为panet分类网络生成注意力图b的正则化项，定义的公式如下：

33、；

34、使用注意力图a中的元素aij去更新注意力图b中的对应元素；是一个学习率参数，用来控制更新的步长，通过这个来约束注意力映射；

35、然后使用每个注意力图通过使用注意力值来计算 z 中特征向量的加权平均值来计算其对应的部分向量 ：

36、；

37、s4-4：部分丢失：为了防止单个部分在分类中占主导地位，panet提出了部分丢失的方法，即一次性丢弃部分特征向量；

38、s4-5：部分特征向量调制：此外，panet还提出了部分特征向量调制的方法：

39、；

40、在这个公式中，是第k个部分的原始特征向量，和是对应的权重（或称为线性分类器）和调制向量，是调制后的特征向量。

41、进一步的，所述panet分类网络的损失函数具体为：

42、；

43、其中，等方差损失函数：

44、；

45、存在损失函数定义如下：

46、；

47、其中avgpool()是一个核大小为1的2d平均池化；

48、对注意力图 的集中损失函数：

49、；

50、其中和分别表示垂直和水平空间方差；

51、通过应用所有对之间的余弦距离来计算部分向量的正交性损失函数：

52、；

53、其中，和是特征向量；

54、kl散度函数来约束函数：

55、；

56、其中，和分别是分类网络和sam得到的特征图归一化后的概率分布。

57、本发明是一种基于分割大模型(sam)引导医学影像细粒度分类方法。首先，通过分割网络生成粗略的mask作为sam的提示，并用于生成更丰富的提示。然后，使用这个粗mask和最大连通图来生成bounding box。同时生成的mask，通过mask refinement优化，经过图像编码器后，得到高级的语义特征，输入到sam的掩码解码器中，指导更加精确的分割结果。sam可以接收各种类型的输入提示，如点、框等，这些提示可以帮助模型更准确地识别和分割图像中的对象。接下来，使用sam对图像进行分割和分析，生成分割后的mask图。

58、然后，将分割的mask输入到panet分类网络中，对图像进行细粒度分类。通过mask约束网络对图像的关注部分，减少关注图像的背景噪声，更多的关注前景区域，即更多的关注判别性区域，使得网络发现应该关注的部分。panet网络提出了新的部分发现方法，该方法使用图像级类标签来发现对象的部分。同时，提出了部分丢失的概念，即一次性丢弃部分特征向量，以防止单个部分在分类中占主导地位。此外，还提出了部分特征向量调制的方法，使得每个部分的信息在分类器的视角下都与其他部分不同。最后，这个方法在不需要任何额外的超参数调整的情况下，提供了比以前的方法更好的部分发现性能，同时并未降低分类性能。

59、本发明的优点和有益效果：

60、传统的分类方法通常依赖于手动标注或者简单的阈值分割来定位和分割对象，这些方法可能无法准确地捕捉到对象的全部细节。而本发明通过使用分割大模型(sam)和精准的提示，可以生成更精确的mask，从而更准确地定位和分割对象。传统的方法通常无法发现对象的部分，或者需要额外的标注信息来发现部分。而本发明中的panet网络可以使用图像级类标签以及利用分割大模型sam产生的mask来发现对象的部分，这使得本发明在部分发现性能上超越了传统的方法。通过减轻原始图像中的背景噪声的干扰，更多关注前景区域。可以提高最后的分类精度。而传统的方法通常会受到背景噪声的干扰，不具备很强的判别性。导致分类精度降低。

61、总的来说，本发明在对象定位和分割、泛化能力、部分发现性能和分类精度等方面都优于传统的医学图像细粒度分类方法，使得本发明在医学图像分析领域具有广泛的应用前景。