一种基于监督对比学习的医学图像分析方法及系统

本发明涉及图像处理，尤其涉及一种基于监督对比学习的医学图像分析方法及系统。

背景技术：

1、深度卷积网络技术在计算机视觉领域如图像分类、目标检测等任务上取得了巨大的进步，它为解决医疗问题提供了新的途径；例如，lassau等人提出了基于ct扫描图像的深度学习模型来预测sars-cov-2的严重程度。zeng等人开发了drpscore深度学习模型来识别天然rna样蛋白结构。da cunha olegario等人首次提出了能够识别先天性全面性脂肪营养不良表型的深度学习模型。然而在实际应用中，随着神经网络性能的不断提高，数据集的规模成为制约模型性能提升的关键因素，这一限制对深度学习模型的性能和临床应用产生了负面影响，并增加了过渡拟合和泛化不良的可能性。

2、传统的对比学习方式可以在有限数据集中提升模型对特征的提取能力，例如：moco、simclr等，它们往往是通过指定代理任务进行预训练，通常来说，传统的对比学习方法中并不会包含样本的标签，在没有标签的情况下，让模型学习数据集中哪些数据点相似或不同来学习数据集中的一般特征，但它们在医学数据集上的表现往往达不到理想预期，因此，如何解决这个问题是目前需要考虑的。

技术实现思路

1、本发明的目的在于克服现有技术的缺点，提供了一种基于监督对比学习的医学图像分析方法及系统，解决了传统对比学习方法存在的问题。

2、本发明的目的通过以下技术方案来实现：一种基于监督对比学习的医学图像分析方法，所述分析方法包括：

3、数据处理步骤：对每个患者的ct图像进行编号，并提取患者ct图像上以roi区域为中心，以目标最大直径为边长的正方形图像，以及以roi区域为中心提取一个小尺度的正方形图像，将两种尺度的图像进行数据增强生成新的增强样本后输入到特征提取网络模型中；

4、特征提取步骤：通过特征提取网络模型提取特征并输出潜在的特征表示后转换为hi并归一化，最终得到包含ct影像中与病理信息相关的特征向量hi，并提高同一类的增强样本的相似度，降低不同类别的增强样本的相似度；

5、训练预测步骤：将特征提取网络模型输出的特征向量hi输入到由若干线性层和激活函数构成的分类头中，实现数据降维，最终输出病理预测结果。

6、所述数据处理步骤具体包括以下内容：

7、对每个患者下的ct图像中每张ct的标签均设置为该患者的编号；

8、在患者ct图像上提取以roi区域为中心，以目标最大直径为边长的正方形图像作为第一尺度图像；

9、在患者ct图像上以roi区域为中心，提取一个小尺度的正方形图像作为第二尺度图像；

10、将两种尺度图像通过t1(.)和t2(.)对数据进行增强，生成两个具有原始样本特征子集的新的增强样本。

11、所述对数据进行增强包括：随机旋转0°～45°角；-30°～30°角间随机仿射变化；随机调整图像的对比度、饱和度和亮度；在图像中加入设定比例的椒盐噪声。

12、所述特征提取步骤具体包括以下内容：

13、将增强的样本输入到resnetnet50模型中，输入图像首先经过一个卷积层和池化层，然后通过多个残差模块，最后通过全局平均池化输出潜在的特征表示；

14、潜在特征表示通过全连接层转换为hi并归一化，最终得到包含ct影像中与病理信息相关的特征向量hi；

15、利用投影头降低hi的维数并输出一个128维向量zi，通过supcon loss来提高同一类别增强样本的相似度，降低不同类别增强样本的相似度，并通过adam优化器降低supconloss值。

16、所述supcon loss的具体公式如下：

17、

18、n表示数据集的总数，{xk,yk}k＝1…n为每个样本，每个输入后，通过数据增强产生两个新的增强样本，即产生2n对样本/标签和设i∈d≡{1…2n}是任意增广样本的索引，a(i)≡d\{i}为数据集d中与i所代表样本标签不同的样本的集合，q(i)≡{q∈d(i):yq＝yi}是与i属于同一类的增广样本的标签集，zi为模型输出的128维特征向量，·为点乘运算方式，τ∈r+。

19、一种基于监督对比学习的医学图像分析系统，它包括数据处理模块、特征提取模块和训练预测模块；

20、所述数据处理模块：用于对每个患者的ct图像进行编号，并提取患者ct图像上以roi区域为中心，以目标最大直径为边长的正方形图像，以及以roi区域为中心提取一个小尺度的正方形图像，将两种尺度的图像进行数据增强生成新的增强样本后输入到特征提取网络模型中；

21、所述特征提取模块：用于通过特征提取网络模型提取特征并输出潜在的特征表示后转换为hi并归一化，最终得到包含ct影像中与病理信息相关的特征向量hi，并提高同一类的增强样本的相似度，降低不同类别的增强样本的相似度；

22、所述训练预测模块：用于将特征提取网络模型输出的特征向量hi输入到由若干线性层和激活函数构成的分类头中，实现数据降维，最终输出病理预测结果。

23、所述特征提取模块包括提取单元和相似度计算单元；

24、所述提取单元：用于将增强的样本输入到resnetnet50模型中，输入图像首先经过一个卷积层和池化层，然后通过多个残差模块，最后通过全局平均池化输出潜在的特征表示，将潜在特征表示通过全连接层转换为hi并归一化，最终得到包含ct影像中与病理信息相关的特征向量hi；

25、所述相似度计算单元：用于利用投影头降低hi的维数并输出一个128维向量zi，通过supcon loss来提高同一类别增强样本的相似度，降低不同类别增强样本的相似度，并通过adam优化器降低supcon loss值。

26、本发明具有以下优点：一种基于监督对比学习的医学图像分析方法及系统，充分考虑相似样本之间的相关性和异构样本之间的异质性，可以使模型识别医学数据集中更深层次的潜在联系，从而提高模型在有限医学数据集中的性能。

技术特征：

1.一种基于监督对比学习的医学图像分析方法，其特征在于：所述分析方法包括：

2.根据权利要求1所述的一种基于监督对比学习的医学图像分析方法，其特征在于：所述数据处理步骤具体包括以下内容：

3.根据权利要求2所述的一种基于监督对比学习的医学图像分析方法，其特征在于：所述对数据进行增强包括：随机旋转0°～45°角；-30°～30°角间随机仿射变化；随机调整图像的对比度、饱和度和亮度；在图像中加入设定比例的椒盐噪声。

4.根据权利要求1所述的一种基于监督对比学习的医学图像分析方法，其特征在于：所述特征提取步骤具体包括以下内容：

5.根据权利要求2所述的一种基于监督对比学习的医学图像分析方法，其特征在于：所述supcon loss的具体公式如下：

6.一种基于监督对比学习的医学图像分析系统，其特征在于：它包括数据处理模块、特征提取模块和训练预测模块；

7.根据权利要求6所述的一种基于监督对比学习的医学图像分析系统，其特征在于：所述特征提取模块包括提取单元和相似度计算单元；

技术总结
本发明涉及一种基于监督对比学习的医学图像分析方法及系统，属于图像处理领域，包括：对每个患者的CT图像进行编号，并提取两种尺度的图像进行增强后输入到特征提取网络模型中；通过特征提取网络模型提取特征并输出潜在的特征表示后转换为h<subgt;i</subgt;并归一化，最终得到特征向量h<subgt;i</subgt;，并提高同一类的增强样本的相似度，降低不同类别的增强样本的相似度；将特征提取网络模型输出的特征向量h<subgt;i</subgt;输入到由若干线性层和激活函数构成的分类头中，实现数据降维，最终输出病理预测结果。本发明充分考虑相似样本之间的相关性和异构样本之间的异质性，可以使模型识别医学数据集中更深层次的潜在联系，从而提高模型在有限医学数据集中的性能。

技术研发人员：王晓敏,陈文瀚,刘明,龚海刚,刘明辉,刘念伯
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/3/31