一种基于SwinTransformer和对比学习的乳腺癌识别系统及方法

本发明涉及一种乳腺癌识别系统，特别是涉及一种基于swin transformer和对比学习的乳腺癌识别系统及方法，属于乳腺癌识别系统。

背景技术：

1、乳腺癌作为全球女性死亡率极高的癌症类型之一，对女性健康构成了巨大的威胁，乳房x光摄影虽然在一定程度上有助于早期发现乳腺癌，但其准确性和效率仍有待提高，近些年，transformer模型因其在处理序列数据方面的卓越性能，逐渐受到医学影像领域的广泛关注，swin transformer，作为一种新型的视觉transformer模型，通过采用非重叠移位窗口，已证实在各种视觉检测任务中表现出色，然而由于标记的乳腺癌x光数据稀缺，现有的深度学习模型在乳腺癌识别任务上的准确性和效率仍然受到限制，为此设计一种基于swin transformer和对比学习的乳腺癌识别系统及方法来解决现有技术中存在的问题。

技术实现思路

1、本发明的主要目的是为了提供一种基于swin transformer和对比学习的乳腺癌识别系统及方法。

2、本发明的目的可以通过采用如下技术方案达到：

3、一种基于swin transformer和对比学习的乳腺癌识别方法，包括如下步骤：

4、步骤一：获取乳腺癌x光图像数据；

5、步骤二：将图像裁剪成为224x224的三通道图像，得到裁剪后的乳腺癌x光图像数据；

6、步骤三：搭建swin transformer网络；

7、步骤四：引入swinclr框架，使用simclr框架对于swin transformer模型进行没有标签数据集的预训练后，使用有标签的数据集对swin transformer模型进行监督学习的训练；

8、步骤五：输出对于输入的x光片，乳腺癌的患病概率数据。

9、优选的，步骤三中具体搭建swin transformer网络采用如下步骤：

10、步骤s11：将大小为224×224×3的rgb图像分割为初始大小为4×4的小块，且每个图像块的尺寸为4×4×3＝48；

11、步骤s12：将线性嵌入层应用于大小为48的原始特征张量，将其投影到任意特征维度c；

12、步骤s13：在这些大小为c的块线性嵌入层上，部署增强自注意力机制的swintransformer块，保持token数量等于h/4×w/4；

13、步骤s14：在线性嵌入层上再加上swin transformer块，共同构成了swintransformer架构的第一阶段；

14、步骤s15：为实现分层表示从swin transformer架构的第二阶段开始，通过补丁合并层减少补丁的数量；

15、步骤s16：在第二阶段的块合并层中，将每组2×2相邻块的特征连接起来，并对连接起来的4c维特征应用一个线性层；

16、步骤s17：将patch的数量减少4倍，并且线性层的输出深度设置为2c，对这些特征应用swin transformer块进行特征变换，使第二阶段的输出token数量保持h/8×w/8；

17、步骤s18：在第三阶段和第四阶段重复两次，输出分辨率分别为h/16×w/16和h/32×w/32。

18、优选的，在swin transformer的实现中，采用移位窗口划分过程，并通过公式(1)-(4)计算连续的swin transformer块；

19、zl＝wmsa(ln(zl-1))+zl-1    (1)；

20、

21、

22、

23、其中，zl和分别表示第l个块中的窗口多头自注意力和多层感知器模块的输出特征；

24、和zl+1表示第(l+1)个块中的wmsa和mlp的输出；

25、其中，在每个swin transformer块中，在多头自注意力和mlp模块之前执行层归一化操作。

26、优选的，在步骤四中引入的swinclr框架具体包括如下步骤：

27、步骤s21：通过采用随机裁剪和调整尺寸到原始维度、随机颜色失真和随机高斯模糊增强方法，创建同一样本的两个相关视图；

28、步骤s22：使用基于swin transformer模型将输入图像映射到特征空间，创建图像的特征表示；

29、步骤s23：使用对比损失函数对目标数据集进行网络优化；

30、步骤s24：通过比较相同图像的不同视图的特征表示，最小化相同图像的不同表示之间的距离，同时最大化不同图像表示之间的距离；

31、步骤s25：采用具有单个隐藏层的多层感知器将图像的特征表示投影到低维空间；

32、步骤s26：该空间作为图像的最终表示，并被输入到对混合损失函数中。

33、优选的，在步骤26中采用的混合损失函数具体为焦点损失与对比损失相结合，构成混合损失函数，且具体公式如下所示：

34、对比损失公式为：

35、

36、lswinclr＝αlsimclr+βlfocal；

37、焦点损失公式为：

38、fl(pt)＝-αt(1-pt)γlog(pt)；

39、pt为真实类别概率，αt为平衡因子，γ为聚焦参数；

40、混合损失公式：

41、lswubclr＝αlsimclr+βlfocal

42、一种基于swin transformer和对比学习的乳腺癌识别系统，包括模型训练模块和模型推理模块；

43、模型训练模块，用于获取病人乳腺癌x光图像将图像裁剪成大小为224×224的三通道图像，通过随机数据增强模块输入至具有swin transformer特征提取器的simclr框架中进行第一阶段的自监督对比学习训练，然后将图像和标签输入至swin transformer图像分类模型中进行第二阶段的有监督学习训练；

44、模型推理模块，采用训练后的swinclr模型对未经观察的数据集进行处理和分析，以确定乳腺x射线成像中是否存在癌变组织。

45、优选的，在模型训练模块中采用的随机数据增强模块具体包括随机裁剪和随机翻转。

46、优选的，模型推理模块通过采用所学习的特征表征以及经过优化的模型结构执行预测功能，实现对乳腺癌的早期检测与精准定位；

47、模型推理模块结合对比学习机制和swin transformer的分层特性。

48、优选的，随机裁剪过程包括以下步骤：

49、确定裁剪尺寸：首先设定裁剪区域的大小，如宽度和高度；

50、选择裁剪位置：在原始图像中随机选取一个点作为裁剪区域的起始点；

51、执行裁剪：从选定的起始点按照设定的大小裁剪图像，裁剪区域会包含从起始点开始到达指定宽度和高度的图像部分。

52、优选的，随机翻转包括水平翻转和垂直翻转两种类型：

53、其中水平翻转包括如下步骤：

54、决定是否翻转：根据预设的概率决定是否对图像进行翻转。这意味着每次处理图像时，都有一定几率进行翻转，也有一定几率保持原样；

55、执行翻转：如果决定翻转图像，那么图像将沿着中心垂直轴线被翻转，即左右颠倒；

56、其中垂直翻转包括如下步骤：

57、决定是否翻转：同样基于一个预设的概率来决定是否执行翻转；

58、执行翻转：在决定翻转的情况下，图像将沿着中心水平轴线被翻转，即上下颠倒。

59、本发明的有益技术效果：

60、本发明提供的一种基于swin transformer和对比学习的乳腺癌识别系统及方法，该方法将simclr算法和swin transformer的优点进行了独特的混合，专门为乳腺癌的有效检测进行了优化，swinclr模型不仅充分利用了未标记数据，还显著提高了乳腺癌识别的准确性和效率，为了最大化对比学习的好处并解决类不平衡问题，我们引入了swinclr损失，这是nt-xent损失和focal loss的融合，为具体任务进行了定制。

61、此外，swinclr展示了其卓越的性能和在各种任务中的通用性，验证了其在实际应用中的灵活性和有效性，为了解决医疗数据集中明显的类不平衡问题，swinclr采取了主动管理策略，确保了特征提取的平衡和代表性，从而提高了模型在乳腺癌检测任务上的性能，通过这些创新点，swinclr不仅解决了数据稀缺的问题，还为乳腺癌的早期诊断和治疗提供了一种新的、有效的工具。