基于重叠自注意力变形器架构U型网络的图像分割网络的制作方法

基于重叠自注意力变形器架构u型网络的图像分割网络
技术领域
1.本发明涉及的是一种神经网络图像分割领域的技术，具体是一种基于重叠自注意力变形器(transformer)架构u型网络的图像分割网络。


背景技术：

2.现有以卷积神经网络(cnn)为主导的图像分割技术中，u-net以其跳跃连接结构可以融合上下文信息的特点，获得了很好的分割效果。而变形器模型以具有全局效应的特点被广泛应用于自然语言处理领域。
3.但现有的基于变形器架构的分割网络容易出现以下问题：
①
cnn的提取特征方式与变形器模型有较大区别，直接进行特征图拼接会有内容不匹配的问题
②
图像往往分辨率高，像素点多，变形器基于全局的自注意力的计算导致计算量远远大于传统的卷积神经网络模型。
4.现有基于transformer架构的分割技术通过直接对原始图像切分图像块后展开的序列计算全局注意力，导致其仅关注全局而对局部细节不具有感知力，因此其对上下文的局部与全局信息的全面捕获能力弱，且计算复杂度较高。


技术实现要素：

5.本发明针对现有基于局部窗口的变形器相比于计算全局自注意力的变形器在计算量上大大减少，但由于窗口间缺少交互，因此在一定程度上较难把控全局特征和窗口间的联系这一不足，以及现有全局变形器计算量大特征冗余以及u型架构特征融合时内容不匹配的问题，提出一种基于重叠自注意力变形器架构u型网络的图像分割网络，通过重叠局部自注意力变形器对图像进行编码解码，捕捉到图像不同分区之间的联系，u型架构叠加不同尺度间的特征，可以更好的融合上下文信息的同时降低计算量。
6.本发明是通过以下技术方案实现的：
7.本发明涉及一种基于重叠自注意力变形器架构u型网络的图像分割网络，包括：图像块展开单元、若干特征提取块、若干上、下采样层、若干跳跃连接模块以及维度映射单元，其中：图像块展开单元将输入图像根据输入尺寸分成若干图像块；特征提取块对图像块进行特征提取，得到多语义信息特征图；下采样单元通过对多语义信息特征图进行向下重构得到高特征维度低分辨率特征图；上采样单元对高特征维度低分辨率特征图进行向上重构得到低特征维度高分辨率特征图；跳跃连接单元将相应层次的特征图进行融合得到上下文信息特征图；维度映射单元将上下文信息特征图通过维度映射生成掩码，实现图像分割。
8.所述的特征提取块包括：局部变形器模块与重叠自注意力模块，其中：局部变形器模块将每个图像块进一步分成若干小窗口，即特征图后，将其拉伸为特征序列并计算窗口自注意力，得到带有低层次特征的特征图并拼接为特征图像块；重叠自注意力模块计算特征图像块的重叠自注意力，得到包含高层次特征的特征图后，与特征图像块融合成完整的多语义信息特征图，实现一次特征提取。
9.所述的窗口自注意力是指：计算特征序列的自注意力并叠加位置编码后，通过softmax层进行归一化以得到序列的自相关矩阵；再与序列的复制进行矩阵相乘得到带有低层次特征的特征序列，并将其还原为特征图后拼接为特征图像块。
10.所述的自注意力具体为：其中：q、k、v均为输入序列的复制，qk
t
为序列每一个元素之间的相关性，为放缩比例，b1为与自相关矩阵维度相同的相对距离编码矩阵。
11.所述的相对距离编码矩阵b1，具体建立步骤为：以特征序列的第j个元素为原点建立坐标系，其余元素的数值为(xi+width)+(yi+height)，逐行拼接成序列，即相对距离编码矩阵的第j行，其中：xi与yi为此坐标系下的横纵坐标值，width与height分别为小窗口的长和宽。
12.所述的重叠自注意力具体是指：对同一个特征提取块中的局部变形器模块生成的特征图像块分别聚合得到q’和k’、v’后，通过公式计算重叠注意力，其中：q’、k’、v’均为输入序列的复制，q’k’t
为序列每一个元素之间的相关性，b2为与自相关矩阵维度相同的相对距离编码矩阵。
13.所述的分别聚合，包括：
14.a)对局部变形器模块生成的特征图像块划分为14
×
14大小的n
×
n个特征小窗口，将每个通道为c的特征小窗口展成维度为14
×
14
×
c的特征序列，使用全连接层将维度从14
×
14
×
c降至2
×c×n×
n，得到重叠自注意力机制中的q’。
15.b)对局部变形器模块生成的通道为c的特征图像块进行上下左右为1的填充，并以步长为14、卷积核大小为16进行滑动剪裁得到维度为16
×
16
×
c的特征序列后，使用全连接层降维至2
×c×n×
n，得到重叠自注意力机制中的k’和v’。
16.所述的相对距离编码矩阵b2，具体建立步骤为：对每个特征图像块分成14
×
14大小的特征小窗口，将每个小窗口作为一个整体堆叠成一维序列后，以其中第j个小窗口为原点建立坐标系，其余元素的数值为(xi+nw)+(yi+nh)，再将此小窗口逐行拼接成序列，即相对距离编码矩阵的第j行，其中：xi与yi为此坐标系下的横纵坐标值，nw与nh分别为特征图像块长宽方向小窗口的个数。
17.所述的向下重构是指：对多语义信息特征图依次进行分块、链接、层归一化和全连接层对应的降维处理，得到高特征维度低分辨率特征图。
18.所述的向上重构是指：对高特征维度低分辨率特征图依次进行全连接层对应的升维、拆分、组合和层归一化处理，得到低特征维度高分辨率特征图。
19.所述的维度映射是指：将上下文信息特征图以图像块展开的顺序进行拼接，并通过三个卷积核大小为1
×
1的卷积层和图像合并层依次进行特征到掩码的映射，得到通道为分割类别n的分割掩码。技术效果
20.与现有技术相比，本发明通过应用局部自注意力的变形器模块解决全局变形器计算量大特征冗余的问题以及u型架构特征融合时内容不匹配的问题，同时利用叠加自注意力机制捕捉图像全局特征。
附图说明
21.图1为本发明流程图；
22.图2为本发明的网络结构图；
23.图3为本发明网络中特征提取模块图；
24.图4为本发明网络中上下采样层即维度映射单元流程图；
25.图5为本发明实施例的一次结果展示。
具体实施方式
26.如图1所示，为本实施例涉及一种基于重叠自注意力变形器架构的u型图像分割方法，包括以下步骤：
27.步骤1)图像预处理：本实施例选用prostatex提供的前列腺横断面t2w成像数据。整理数据集提供的原图，并按结合病人序号与切片顺序进行命名，对于原始图像数据中的移行区(tz)和外周带(pz)逐一标注，生成同比例的掩模图像并与原图像一一配对。
28.步骤2)制作数据集：按8:2的比例将步骤1整理好的数据划分训练集与测试集，对训练集的数据进行图像包括随机旋转10
°
、水平翻转、随机饱和度调整、对比度调整、中心裁剪、正则化等数据增强方法以扩增数据量提高训练的泛化性。
29.本实施例使用pytorch搭建，由于同时对pz和tz两个区域进行分割，因此在数据读取段代码使用one-hot编码将掩码中背景、pz和tz区域的像素值分别置为0、1和2以作区分。
30.步骤3)输入网络模型：搭建如图2所示的融合重叠自注意力变形器架构u型网络，原始图像为灰度图为适应网络输入复制为3通道输入，图像尺寸重采样为224
×
224。因此，网络初始输入为16
×3×
224
×
224，经过图像块展开后变为16
×
56
×
56
×
48，其中16为网络输入的批大小，嵌入维度为96。
31.表1本实施例中各个模块的结构与参数
32.本实施例使用的是显存为8gb的nvidia rtx2080进行实验。如图2所示，将维度为16
×
56
×
56
×
96的图像块，经过6次特征提取块、2次下采样层、2次上采样层和2次跳跃连接得到特征层1到6。最终，对特征层6先经过1层卷积层升维然后使用图像合并层合并图像块，最后再对图像大小的特征图使用2层卷积层输出3通道的掩码。
33.步骤4)用生成的训练样本训练该网络模型，其中在训练过程中由于医学图像中待分割目标即器官和病灶往往体积较小且不清晰，因此加权交叉熵损失函数来控制反向传播的方向，该加权交叉熵损失函数具体为：其中：p为标签，为预测结果，β为权重参数用来控制正负样本的传播比例。
34.步骤5)在在线阶段，使用测试集通过网络输出预测结果。
35.本实施例进一步使用平滑dice系数(s_dice)来评估分割结果，具体为：本实施例进一步使用平滑dice系数(s_dice)来评估分割结果，具体为：其中：y为医生标记的真实值，y’为网络预测值，smooth为平滑系数，||表示取绝对值，∩表示取交集。
36.本实施例初始学习率为0.004，使用adam优化器，weightdecay设为0.99。本实施例使用prostatex公开数据集，如图5所示，为本实施例其中一次实验的结果展示，本发明与现有技术相比，在prostatex的800张测试集数据上，取得pz和tz区域的s_dice的平均值
±
标准差分别为0.7739
±
0.11和0.8532
±
0.06的优秀结果。
37.上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。