一种基于双重注意力机制的异常脑图像分割方法及系统

1.本技术属于医学图像处理技术领域，尤其涉及一种基于双重注意力机制的异常脑图像分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.医学图像分割是图像分析处理中的一项关键技术，根据图像内区域的相似性以及特异性将感兴趣的有关组织分离出来，并提取相关特征。这对于临床诊断和治疗过程具有重要意义，是一切后续工作的主要前提，而分割效果的好坏程度也会直接影响到后续的信息处理工作的顺利进行。
4.脑肿瘤作为脑内的异常组织，被认为是一种常见的神经系统疾病，危害大脑的健康组织，且生长速度快，不易被发现。磁共振成像(magnetic resonance imaging，mri)是一种典型的非侵入性成像技术，可以产生高质量的无损伤和颅骨伪影的脑图像，被认为是诊断和治疗脑肿瘤的主要技术手段。通过多模态脑图像，医生可以对脑肿瘤进行定量分析，从而做出最佳诊断患者治疗方案。然而，从mr图像中手工分割脑瘤需要大量的时间、资源和专业知识此外，人工分割依赖于临床经验，不同专家对每个肿瘤分区的分割存在显著差异。计算机自动分割不仅节省了时间和成本，而且提高了定量的客观性分析。因此，通过对异常脑磁共振图像进行自动分割可以为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。
5.在图像分割的早期，深度学习尚未出现，通常采用传统的机器学习方法进行分割。joseph等人利用阈值来确定肺组织，从而实现了应用于x射线计算机断层摄影的自动分割基于阈值的分割方法直接利用了图像的灰度特性，计算速度较快，但只能适用于目标与背景差异较大的图像。tang等人采用边缘分割，然后采用基于脑组织结构连接性的区域分割，以显示更精细的脑组织结构。juang等人提出了一种基于k均值的颜色转换分割算法，其核心思想是将灰度图像输入转换成颜色空间图像，然后对经过聚类指标标记的图像进行运算，对给定的mri图像进行分割。
6.随着深度学习技术的不断突破，基于深度学习的自动图像分割方法也取得了很大的发展。ronneberger等人提出了一种用于医学图像分割的对称全卷积网络u-net。u-net由一个包含多个卷积层的压缩路径(用于下采样输入图像)、一个扩展路径(用于上采样深度特征图)和一个跳过连接(用于从编码器-解码器网络合并裁剪后的特征图)组成，极大地提高了医学图像的分割性能。但是，发明人发现，多次卷积操作导致特征图的边缘信息消失，影响异常脑图像的分割准确率。


技术实现要素：

7.为克服现有技术的不足，针对脑肿瘤图像数据集少，现有分割算法精度低等问题，
本技术提供一种基于双重注意力机制的异常脑图像分割方法及系统。
8.本技术采用的技术方案如下：
9.第一方面，本发明实施例提供一种基于双重注意力机制的异常脑图像分割方法，包括：
10.获取异常脑原图像；
11.对所述异常脑原图像进行归一化处理，利用灰度共生矩阵生成纹理特征图像，搭建卷积神经网络模型，将所述异常脑原图像和纹理特征图像输入至所搭建的卷积神经网络模型进行模型训练，基于训练好的卷积神经网络模型对核磁共振脑图像进行分割；
12.其中，所述卷积神经网络模型包括编码器和解码器，在编码器中，设置五个卷积模块，每个模块包含一个残差单元；在解码器中，第一次上采样融入位置注意力机制模块和通道注意力机制模块，之后的上采样只融入通道注意力机制模块；所述异常脑原图像和纹理特征图像分别经过编码器进行特征提取，得到特征图，所述特征图在进行跳跃连接之后输入至解码器。
13.在一种可能的实施方式中，还包括：将获取到的核磁共振脑图像按照设定比例划分为训练集和验证集；所述训练集的核磁共振脑图像用于训练所述卷积神经网络模型，所述验证集的核磁共振脑图像用于在所述卷积神经网络模型训练完成之后，对卷积神经网络模型的分割效果进行测试与评价。
14.在一种可能的实施方式中，利用灰度共生矩阵计算统计量均值、标准差、对比度和相异度，生成均值、标准差、对比度和相异度的纹理特征图像。
15.在一种可能的实施方式中，所述编码器包括五个卷积模块，第一个卷积模块将异常脑原图像和生成的纹理特征图像输入进来进行3
×3×
3卷积，经过批标准化层和leakyrelu激活后短连接输入到下一个卷积模块，第二个卷积模块至第五个卷积模块使用残差块来取代池化层。
16.在一种可能的实施方式中，所述残差模块包括两个单元，每个单元由正则化、激活函数和3
×3×
3卷积层组成。
17.在一种可能的实施方式中，所述解码器包括四个上采样层，所述特征图进行第一次上采样拼接之后，经过拼接的通道注意力机制模块和位置注意力机制模块输入到残差模块；第二个上采样层的输入包括前一个上采样层的输出和编码器中第三个卷积层中异常脑原图像和纹理特征图像深度卷积路径和标准卷积路径的输出，经过第二次上采样拼接后，经过通道注意力机制模块输入到残差模块；第三个上采样层和第四个上采样层采用与第二个上采样层同样的方式，最后使用softmax函数对上采样阶段的输出进行激活。
18.在一种可能的实施方式中，所述卷积神经网络模型的损失函数选择为交叉熵和dice loss相结合。
19.第二方面，本技术实施例提供一种基于双重注意力机制的异常脑图像分割系统，包括：
20.获取模块，用于获取异常脑原图像；
21.分割模块，用于对所述异常脑原图像进行归一化处理，利用灰度共生矩阵提取纹理特征图像，搭建卷积神经网络模型，将所述异常脑原图像和纹理特征图像输入至所搭建的卷积神经网络模型进行模型训练，基于训练好的卷积神经网络模型对核磁共振脑图像进
行分割；
22.其中，所述卷积神经网络模型包括编码器和解码器，在编码器中，设置五个卷积模块，每个模块包含一个残差单元；在解码器中，第一次上采样融入位置注意力机制模块和通道注意力机制模块，之后的上采样只融入通道注意力机制模块；所述异常脑原图像和纹理特征图像分别经过编码器进行特征提取，得到特征图，所述特征图在进行跳跃连接之后输入至解码器。
23.第三方面，本发明实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的异常脑图像分割方法的步骤。
24.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面和第一方面任一种可能的实施方式中所述的异常脑图像分割方法的步骤。
25.本技术的有益效果是：
26.1、针对脑肿瘤图像数据集少，现有分割算法精度低等问题，本技术提供一种基于双重注意力机制的异常脑图像分割方法，利用灰度共生矩阵提取纹理特征图像，并将异常脑原图像和纹理特征图像输入至卷积神经网络模型进行模型训练，可以增加样本数据集，有利于更好的提取图像特征。同时，在3du-net网络模型的基础上，引入双重注意力机制，以解决多次卷积操作导致特征图的边缘信息消失的问题，提高异常脑图像的分割准确率。
27.2、相较于现有的基于3d u-net网络进行医学图像分割的方法，本技术提供的异常脑分割方法在肿瘤、脑脊液、脑白质和脑灰质的平均dice评价分别可达0.81、0.91、0.91和0.93，具有更高的准确性。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是本技术实施例所提供的异常脑图像分割方法的流程图之一；
30.图2是本技术实施例所提供的异常脑图像分割方法的流程图之二；
31.图3是本技术实施例所提供的t1模态图像经过灰度共生矩阵计算统计量均值、标准差、对比度和相异度之后生成的纹理特征图像；
32.图4是本技术实施例所提供的卷积神经网络模型的结构示意图；
33.图5是本技术实施例所提供的通道注意力机制模块的结构示意图；
34.图6是本技术实施例所提供的位置注意力机制模块的结构示意图；
35.图7是本技术实施例所提供的不同卷积网络模型分割结果图；
36.图8是本技术实施例所提供的异常脑图像分割系统的结构示意图；
37.图9是本技术实施例所提供的一种计算机设备的示意图。
具体实施方式
38.下面结合附图与实施例对本发明作进一步说明。
39.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
40.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
41.实施例一
42.请参阅图1和图2，针对脑肿瘤图像数据集少，现有分割算法精度低等问题，本技术提供一种基于双重注意力机制的异常脑图像分割方法，执行所述异常脑图像分割方法的设备可以是与用户端进行交互的云平台或服务器。下面从执行主体为服务器的角度，对本技术实施例所提供的异常脑图像分割方法加以说明。如图1中所示，本技术实施例提供的异常脑图像分割方法包括以下步骤：
43.s101：获取异常脑原图像。
44.在具体实施中，通过磁共振成像可以产生高质量的无损伤和颅骨伪影的脑图像，因此，本实施例中使用的是t1模态的3d大脑图像，每个图像的大小是192
×
192
×
160。
45.s102：对所述异常脑原图像进行归一化处理，利用灰度共生矩阵生成纹理特征图像，搭建卷积神经网络模型，将所述异常脑原图像和纹理特征图像输入至所搭建的卷积神经网络模型进行模型训练，基于训练好的卷积神经网络模型对核磁共振脑图像进行分割；
46.其中，所述卷积神经网络模型包括编码器和解码器，在编码器中，设置五个卷积模块，每个模块包含一个残差单元；在解码器中，第一次上采样融入位置注意力机制模块和通道注意力机制模块，之后的上采样只融入通道注意力机制模块；所述异常脑原图像和纹理特征图像分别经过编码器进行特征提取，得到特征图，所述特征图在进行跳跃连接之后输入至解码器。
47.在具体实施中，本实施例首先对获取的异常脑原图像进行归一化处理，然后利用灰度共生矩阵生成纹理特征图像，搭建卷积神经网络模型，将所述异常脑原图像和纹理特征图像输入至所搭建的卷积神经网络模型进行模型训练，基于训练好的卷积神经网络模型对核磁共振脑图像进行分割，这样，可以增加样本数据集，有利于更好的提取图像特征。同时，所搭建的卷积神经网络模型包括编码器和解码器，在编码器中，设置五个卷积模块，每个模块包含一个残差单元；在解码器中，第一次上采样融入位置注意力机制模块和通道注意力机制模块，之后的上采样只融入通道注意力机制模块；所述异常脑原图像和纹理特征图像分别经过编码器进行特征提取，得到特征图，所述特征图在进行跳跃连接之后输入至解码器。通过该方式可以解决多次卷积操作导致特征图的边缘信息消失的问题，提高异常脑图像的分割准确率。
48.本技术实施例中，作为一可选实施方式，所述异常脑图像分割方法还包括：将获取到的核磁共振脑图像按照设定比例划分为训练集和验证集；所述训练集的核磁共振脑图像用于训练所述卷积神经网络模型，所述验证集的核磁共振脑图像用于在所述卷积神经网络模型训练完成之后，对卷积神经网络模型的分割效果进行测试与评价。
49.在具体实施中，将获取到的3d核磁共振大脑图像按照8:2的比例划分为训练集和
验证集，通过训练集的核磁共振脑图像训练卷积神经网络模型，在卷积神经网络模型训练完成之后，通过验证集的核磁共振脑图像对卷积神经网络模型的分割效果进行测试与评价，具体如图2中所示。
50.本技术实施例中，作为一可选实施方式，利用灰度共生矩阵计算统计量均值、标准差、对比度和相异度，生成均值、标准差、对比度和相异度的纹理特征图像。其中，均值用来反映图像灰度分布的平均情况；标准差用来反映图像灰度变换的情况；对比度用来描述图像的清晰程度和纹理的深浅程度；相异度用来描述图像中用于描述图像中的局部变化，然后生成均值、标准差、对比度和相异度的纹理特征图，如图3所示。
51.本技术实施例中，作为一可选实施方式，所述编码器包括五个卷积模块，第一个卷积模块将异常脑原图像和生成的纹理特征图像输入进来进行3
×3×
3卷积，经过批标准化层和leakyrelu激活后短连接输入到下一个卷积模块，第二个卷积模块至第五个卷积模块使用残差块来取代池化层。可选的，所述残差模块包括两个单元，每个单元由正则化、激活函数和3
×3×
3卷积层组成。
52.作为一可选实施方式，所述解码器包括四个上采样层，所述特征图进行第一次上采样拼接之后，经过拼接的通道注意力机制模块和位置注意力机制模块输入到残差模块；第二个上采样层的输入包括第一个上采样层的输出和编码器中第三个卷积层中异常脑原图像和纹理特征图像深度卷积路径和标准卷积路径的输出，经过第二次上采样拼接后，经过通道注意力机制模块输入到残差模块；第三个上采样层和第四个上采样层采用与第二个上采样层同样的方式；最后使用softmax函数对上采样阶段的输出进行激活。
53.在具体实施中，如图4所示，本技术实施例是以3du-net为基础，包括下采样阶段、上采样阶段和激活层。
54.下采样阶段包括5个卷积模块，第一个卷积模块将异常脑原图像和生成的纹理特征图像输入进来进行3
×3×
3卷积，经过批标准化层和leakyrelu激活后短连接输入到下一个卷积模块，第2、3、4和5卷积模块使用残差块来取代池化层，残差快包括两个相同的单元，每个单元由正则化、leakyrelu激活函数和3
×3×
3卷积层组成，前一个单元的步长为2，后一个单元的步长为1。对于每一次下采样操作，特征图的尺寸大小会减半，但相应的通道数会加倍。
55.通过上采样阶段将特征图的大小还原成输入切片的大小，其中下采样阶段中深度卷积路径和标准卷积路径通过可训练系数，拼接到一起，得到新的特征图。第一个上采样层的输入包括新的特征图和下采样阶段中第4个卷积层中异常脑原图像和纹理特征图像路径的输出，进行第一次上采样拼接后，再通过拼接的通道注意力机制模块和位置注意力机制模块，输入到残差模块。
56.第二个上采样层的输入包括前一个上采样层的输出和编码器中第三个卷积层中异常脑原图像和纹理特征图像深度卷积路径和标准卷积路径的输出，经过第二次上采样拼接后，经过通道注意力机制模块输入到残差模块，上采样中的残差模块步长都为1。
57.第三个上采样层和第四个上采样层采用与第二个上采样层同样的方式，都是经过上采样拼接后，经过通道注意力机制模块输入到残差模块。其中，第三个上采样层的输入包括前一个上采样层的输出和编码器中第二个卷积层中异常脑原图像和纹理特征图像深度卷积路径和标准卷积路径的输出；第四个上采样层的输入包括前一个上采样层的输出和编
码器中第一个卷积层中异常脑原图像和纹理特征图像深度卷积路径和标准卷积路径的输出。最后使用softmax函数对上采样阶段的输出进行激活，通道注意力机制模块和位置注意力机制模块如图4和图5所示。
58.进而，将异常脑原图像和纹理特征图像输入至卷积神经网络，在输入之前先对收集到的brats2020脑mr数据进行分patch处理，把patch-size设置为64
×
64
×
64，stride-patch设置为32。
59.使用结合灰度共生矩阵和双重注意力机制的u-net模型对训练集进行训练，经过有限次迭代后保存理想模型，在本实施例中模型训练设置为20个周期后完成对模型的训练，可选的，卷积神经网络模型的损失函数选择为交叉熵和dice loss相结合，优化器选择为adam，初始学习率选择为le-4。
60.当基于glcm和双重注意力机制的u-net网络模型训练好后，在测试集上进行测试并评价分割效果。在本实施例中使用dice系数和hausdorff距离来对分割结果进行评价。
61.为验证本实施例对3d u-net网络改进的有效性，将本技术提供的异常脑分割方法与基于3d u-net网络的医学图像分割方法在相同的训练集，验证集和测试集上进行模型训练、验证及测试。
62.首先，在模型测试的过程中取出分割图进行分析。图7为测试集中两例数据分别采用本实施例提供的方法和原始3d u-net模型分割后的分割结果比较图。从图7中可以看出，采用3d u-net网络模型进行分割后的结果与专家手动分割的标签相比，虽然边缘部分的细节信息还不够精细，但是已经能够大致分割出肿瘤、脑脊液、脑白质和脑灰质这些较大的目标对象。相较于现有的基于3du-net网络进行医学图像分割的方法，本实施例所提供的异常脑分割方法具有更高的准确性。
63.其次，从模型测试过程中的分割结果的dice相似系数评和hausdorff距离价指标进行定量分析。表1为测试集数据分别采用不同卷积网络模型进行分割后，肿瘤、脑脊液、脑白质和脑灰质四种分割目标的dice均值结果；表2为测试集数据分别采用不同卷积网络模型进行分割后，肿瘤、脑脊液、脑白质和脑灰质四种分割目标的hausdorff距离均值结果。其结果如下所示：
64.表1
[0065][0066]
表2
[0067][0068]
从表1和表2中可以看出，本技术实施例中的异常脑分割方法在分割精度上有一定提高，这也与上面的定性分析结果相一致。实验结果表明，将灰度共生矩阵、通道注意机制和位置注意力机制引入u-net网络结构用于异常脑图像的分割，可以提高分割模型的准确
性。
[0069]
实施例二
[0070]
请参阅图8，图8是本技术实施例所提供的异常脑图像分割系统的结构示意图，如图8中所示，所述异常脑图像分割系统800包括：
[0071]
获取模块810，用于获取异常脑原图像；
[0072]
分割模块820，用于对所述异常脑原图像进行归一化处理，利用灰度共生矩阵生成纹理特征图像，搭建卷积神经网络模型，将所述异常脑原图像和纹理特征图像输入至所搭建的卷积神经网络模型进行模型训练，基于训练好的卷积神经网络模型对核磁共振脑图像进行分割；
[0073]
其中，所述卷积神经网络模型包括编码器和解码器，在编码器中，设置五个卷积模块，每个模块包含一个残差单元；在解码器中，第一次上采样融入位置注意力机制模块和通道注意力机制模块，之后的上采样只融入通道注意力机制模块；所述异常脑原图像和纹理特征图像分别经过编码器进行特征提取，得到特征图，所述特征图在进行跳跃连接之后输入至解码器。
[0074]
实施例三
[0075]
请参阅图9，图9是本技术实施例提供的一种计算机设备的示意图。如图9中所示，所述计算机设备900包括处理器910、存储器920和总线930。
[0076]
所述存储器920存储有所述处理器910可执行的机器可读指令，当计算机设备900运行时，所述处理器910与所述存储器920之间通过总线930通信，所述机器可读指令被所述处理器910执行时，可以执行如上述图1至图7所示方法实施例中的异常脑图像分割方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
[0077]
实施例四
[0078]
基于同一申请构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法实施例中所述的异常脑图像分割方法的步骤。
[0079]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0080]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。