基于Transformer的特征补充黑色素瘤图像分割方法

本发明涉及医学图像分割，具体涉及基于transformer的特征补充黑色素瘤图像分割方法。

背景技术：

1、黑色素瘤是一种恶性肿瘤，通常出现在皮肤、眼睛和黏膜等处，约占全部肿瘤的3％。早期通常用一些非侵入性成像技术，如皮肤镜来筛查黑色素瘤，但由于需要医生手工操作，非常主观和耗时，而且对医生的技术和经验都有很高的要求。同时，黑色素瘤、痣和脂溢性角化病等不同皮肤疾病之间存在内在的视觉相似性，即使是皮肤镜的专家也很难区分它们。黑色素瘤图像分割技术能够帮助医生更加准确地识别和确定病变，从而更有效地诊断疾病，提高治疗效率。它还可以为医生提供更多的细节信息，帮助他们更好地判断病情，从而实现更有效的治疗。

2、尽管目前提出的黑色素瘤皮肤病变图像分割模型多基于transformer网络，通过自注意力机制对特征之间的长距离联系和依赖进行建模，能够克服卷积神经网络的局部性，捕获更大范围的上下文信息。但对显卡的需求高不适合小型任务，且缺乏对细节信息的捕获和对不同尺度通道获取的特征之间进行融合筛选。针对现有黑色素瘤皮肤病变分割模型所存在的不足，利用transformer结构捕获远程信息，在此基础上结合卷积层对特征补充模块和特征融合模块进行设计。例如，swin-unet将卷积块换成了transformer模块，通过多层的分组卷积和多层的swintransformer块来提取图像的特征表示，结合编码器的特征表示进行特征融合，最终输出分割掩码。uctransnet利用transformer的远程依赖建模优势融合多尺度编码器特征，解决语义空白，实现医学图像自动分割。

3、上述研究都是基于transformer进行设计，保证了模型的远程信息捕获能力，但这些研究忽略了每个图像块内部像素级的内在结构特征，对于局部特征信息的获取不够充分。导致皮损边界分割模糊、甚至与周围皮肤融合在一起的问题。

技术实现思路

1、本发明的目的在于，提出一种基于transformer的特征补充黑色素瘤图像分割方法faunet，该方法有效地提取了全局视觉信息，保留了浅层信息建立编码器与解码器之间的关联，弥补了下采样和上采样过程中造成的空间信息损失问题。通过横向连接丰富特征信息，提高了模型的鲁棒性。

2、为实现上述目的，本技术提出的基于transformer的特征补充黑色素瘤图像分割方法，包括：

3、使用resnet网络作为分割模型的骨干网络，提取到黑色素瘤图像的不同尺度特征图laye0～layer4；

4、对所述特征图layer0～layer4进行位置嵌入，然后将layer1～layer4送入分割模型的transformer中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到不同尺度的特征图m1～m4；

5、将特征图m1～m4依次经过分割模型的重构特征(refa)模块进行处理；

6、将编码器端的浅层特征layer0与解码器特征送入分割模型的特征金字塔(ifpn)模块中汇合，进行特征横向连接；然后对分割模型进行训练；

7、将需要分割的黑色素瘤图像送入训练完的分割模型中，得到相应的分割结果图及对应指标。

8、进一步地，对所述特征图layer0～layer4进行位置嵌入方式为：

9、对特征图i＝1,2,3,4token化来进行位置嵌入，其中，h表示高度，w表示宽度，c为通道数；具体为：将特征重新划分成大小分别为的二维图像块，使这些图像块序列在4种尺度下映射到编码器特征的相同区域；在这个过程中，保持原来的通道尺寸；

10、将4个层的token ti，i＝1,2,3,4，连接起来，tσ＝concat(t1,t2,t3,t4)作为key和value。

11、进一步地，将token送入分割模型的transformer中，动态地获取每个位置与其他位置之间的相对重要性并进行整合，得到不同尺度的特征图m1～m4，具体为：

12、将token送入transformer中，获取全局上下文信息，所述transformer包含多头通道交叉注意力模块和具有残差结构的多层感知机；由式(1)和(2)获取通道关系和特征依赖；

13、所述多头通道交叉注意力模块有5个输入，包含4个层的ti和一个tσ作为key和value；

14、

15、

16、其中，是由transformer中的多头通道交叉注意力模块产生的；为不同输入的权值，d为序列长度，ci,i＝1,2,3,4为4个跳跃连接层的通道尺寸；在n头注意力的情况下，多头通道交叉注意力模块的输出结果是应用简单mlp和残差操作得到注意力的平均值；

17、经过上述transformer的自注意力机制对特征之间的长距离联系和依赖进行建模得到特征图m1～m4。

18、进一步地，将特征图依次经过分割模型的重构特征模块进行处理，具体为：

19、将特征图m4经过重构特征模块处理，重构特征模块的核心组件pixelshuffle_icnr使用了逆卷积和像素混洗技术来实现图像的上采样：首先将特征图m1～m4分割成多个小块，每个小块的尺寸为(w,h,c1)，其中w和h分别表示小块的宽度和高度，c1表示每个小块中的通道数；

20、将每个小块中的通道数c1分成两部分，分别为c2和c3；然后，将每个小块中的像素重构为一个新块，其尺寸为(w×s,h×s,c2+c3)，其中s是放大因子；每个小块的像素被均匀地分配到高分辨率图像的像素中；

21、将新块中的像素重新排列，通道数变小的张量进行上采样，同时将通道数变大。

22、进一步地，pixelshuffle_icnr上采样的具体方式如下：

23、重建图像：

24、y＝w*x+b   (3)

25、其中w是一个可学习的权重矩阵，x是输入图像，b是一个偏置量，y是重建后的图像；

26、pixelshuffle操作：

27、y＝pixelshuffle(a)   (4)

28、其中a是重建图像，y是pixelshuffle操作后的图像。

29、进一步地，经过pixelshuffle_icnr上采样的特征图与上一层特征图m3进行concatenation拼接成更高维度的特征，再使用dropout2d处理；

30、接着使用一个激活函数relu来调整数据，然后通过两个卷积层和dropout2d层再进行处理得到特征图dec4；

31、依次地，m3、m2、m1经过重构特征模块处理，提取出辨别能力更强、分类特征丰富的特征信息；最终得到特征图dec3～dec1。

32、进一步地，将编码器端的浅层特征layer0与解码器特征送入分割模型的特征金字塔模块中汇合，进行特征横向连接，具体为：

33、将特征图dec3～dec1分别进行上采样，使其特征图大小与dec4相同，为128×128；

34、上采样后的特征图分别通过卷积层、dropout2d层、relu层、batchnorm2d层和另一卷积层来筛选特征并将它们统一调整为通道数为16的特征图；

35、将4个特征图以及编码器端的浅层特征图layer0进行concatenation拼接成通道数为96的特征图；

36、对拼接后的特征图使用一个卷积层和一个上采样层来融合特征。

37、本发明采用的以上技术方案，与现有技术相比，具有的优点是：本发明使用了transformer获取全局信息，同时保留了最浅层信息来建立编码器与解码器之间的关联，弥补下采样和上采样过程中造成的空间信息损失问题。帮助模型学习到更多的边缘信息和纹理信息，从而增强模型对于图像细节的提取能力，有助于提高模型的性能。并且使用重构特征模块对特征进行逐步恢复，提高了模型对输出数据的表达能力，使其更好地理解输入数据中的语义信息，提高模型的分割和重建能力。结合ifpn模块进行特征横向连接进而丰富特征信息，有效地提高了整个模型的分割性能。