基于血管增强的注意力机制多核卷积的鼠脑血管分割方法与流程

本发明涉及图像处理，具体涉及一种基于注意力多核卷积网络的脑血管图像分割方法。

背景技术：

1、根据世界卫生组织的数据，脑血管疾病如中风，是全球第二大死亡原因，每年影响1500万人。近年来，通过已鉴定的基因突变产生了各种人类疾病的小鼠模型已被广泛用作中风、脑血管疾病、神经退行性疾病及其相互联系的模型中。血液流动时间序列磁共振血管成像(tof-mra)技术是一种无创可视化的脑血管成像技术。利用高分辨率3d成像模式例如tof-mra，能够实现小鼠颅内血管可视化。准确分割小鼠血管系统对于研究人员分析脑血管疾病的发病机制和疗效至关重要。

2、医学图像中的血管分割得到了广泛的关注。所提出的方法可分为两类：传统方法和基于深度学习的方法。

3、传统的方法结合了模式识别技术和基于模型的方法。这种方法利用了这样的原理，即血管看起来类似于细长的管状结构。区域增长是一种具有代表性的模式识别方法，它通过基于预定义的标准(如值相似性和空间接近度)将相邻像素纳入到区域来分割图像。然而，区域生长方法通常需要来自用户定义的种子点，并且需要连接集合内的所有血管体素。

4、在基于模型的方法中，最经典的是主动轮廓模型(active contour model)，也称为snake模型。主动轮廓模型使用能量最小化来匹配可变形模型，以解决血管造影术中血管的边缘。

5、近年来，深度学习在医学图像方向取得了很大的进步。基于深度学习的分割方法对每个体素进行分类，这与通常依赖手工制作特征的传统分割方法形成了对比。在血管分割中，已经提出了几种基于2d图像的方法。现有技术一设计了一个简单的神经网络来提取二维tof-mra图像中的脑血管，只利用五张原始图像进行分析和评估。尽管分割结果显示出小血管的缺陷，但它们展示了深度卷积神经网络(cnn)在tof-mra脑血管分割方面的能力。现有技术二开发了基于注意力机制的cs net模型，用于显微镜图像中的角膜神经分割。然而，上述基于2d图像的方法在其3d上下文中丢弃了血管信息。随后，现有技术三将2d u-net扩展到3d u-net，为医学图像的3d图像分割提供了基线模块。现有技术四使用dense v-net模型分割各种3d管状器官。现有技术五创建了deepvesselnet模型，这是一种提取人脑mra中血管网络的3d血管分割网络。现有技术六提出了一种基于inception模块和u-net-like架构的uception网络来分割mra图像中的脑血管。

6、总的来说，尽管上述方法已被证明对脑血管分割任务是有效的，但图像数据的处理方式和预处理技术在分割中起着重要作用。由于在图像采集期间血管网络上的对比度分布不均匀，这种类型的图像通常对高度变化的血管结构强度不具有鲁棒性。当对大型血管网络进行成像时，层流引起的血流速度变化会破坏血管强度分布，并进一步增加不均匀性。在经典的分割算法中，用于增强血管结构的滤波器被广泛用于去除图像中这些不期望的强度变化，抑制非血管结构，并减少图像噪声。例如，在一些现有技术中，由于血管厚度变化和医学图像强度对比度弱的巨大挑战，故提出使用多尺度血管增强和基于区域的水平集来执行血管分割。还有一些现有技术主要是通过使用现有的血管滤波器与深度学习方法相结合进行增强。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于注意力多核卷积网络的脑血管图像分割方法。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种基于血管增强的注意力机制多核卷积的鼠脑血管分割方法，包括以下步骤：

4、步骤一、采集小鼠脑血管图像，并进行预处理，将预处理后的小鼠脑血管图像分为训练数据集和测试数据集；

5、步骤二、构建鼠脑血管分割模型，包括特征编码器模块、注意力模块和特征解码器模块；

6、特征编码器模块用于提取输入的小鼠脑血管图像的特征图，包括三个编码层；每个编码层处理不同分辨率的特征图，每个编码层均通过多核卷积模块提取特征图，以捕捉不同尺度的特征；在多核卷积模块中，每次卷积操作后均具有批量归一化层和校正线性单元层；特征图的通道在每层编码器层之后加倍；

7、特征编码器模块输出的特征图送到两个平行的注意力模块中；注意力模块包括通道注意力模块和空间注意力模块；将通道注意力模块和空间注意力模块的输出加到一起，输入到特征解码器模块中；

8、特征解码器模块用于将特征编码器模块提取的特征图逐渐恢复到输入图像的分辨率；特征解码器模块包括三层解码层，每层解码层包括反卷积和多核卷积模块；在特征编码器模块和特征解码器模块的对应层之间引入了跳过连接，以组合不同级别的特征；

9、在鼠脑血管分割模型网络的末端，利用sigmoid函数和一个卷积层来获得最终的分割结果；

10、步骤三、通过训练数据集，以及加权交叉熵损失和dice系数损失构成的损失函数对鼠脑血管分割模型进行训练；

11、步骤四，将测试数据集中的小鼠脑血管图像输入至完成训练的鼠脑血管分割模型中，得到分割结果。

12、进一步地，特征编码器模块的多核卷积模块由三个分支组成：

13、第一个分支包括卷积核大小为1的卷积层和卷积核大小为3的卷积层；

14、第二个分支包括最大池化层和卷积核大小为3的卷积层；

15、第三个分支包括一个卷积核大小为1的卷积层和两个卷积核大小为3的卷积层；

16、最后，将从这三个分支提取的特征图连接起来，通过一个卷积核大小为1的卷积层进行特征融合。

17、进一步地，特征解码器模块中的多核卷积模块由五个分支组成：

18、第一个分支包括卷积核大小为1的卷积层和卷积核大小为3的卷积层；

19、第二个分支包括卷积核大小为1的卷积层和卷积核大小为3的不对称三维卷积层；

20、第三个分支包括卷积核大小为1的卷积层和卷积核大小为3的不对称三维卷积层；

21、第四个分支包括卷积核大小为1的卷积层和卷积核大小为3的不对称三维卷积层；

22、第五个分支包括卷积一个核大小为1的卷积层和两个卷积核大小为3的卷积层；

23、最后，将从这五个分支的特征图连接起来，通过一个卷积核大小为1的卷积层进行特征融合。

24、进一步地，空间注意力模块的工作过程包括：

25、对于特征图a∈rc*h*w*d，首先应用一个1×1×1卷积层，通过批量归一化和relu激活，生成三个特征图b∈rc*h*w*d，c∈rc*h*w*d和d∈rc*h*w*d，其中h、w和d表示输入图像的高度、宽度和深度；然后将特征图b、c、d重塑为r∈c*n，其中n＝h*w*d；在转置b和c以及转置d和c之间执行矩阵乘法；之后，在转置矩阵b与c以及转置矩阵d与c之间应用矩阵乘法；最后使用softmax层来计算空间注意力图s：

26、

27、其中，表示空间注意力图s的x、y和z位置上特征的相互影响；

28、通过在特征图a上应用大小为1*1*1的卷积层来获得新的特征图e∈rc×h×w×d；然后，e和进行矩阵的相乘并且将结果的形状改变成rc×h×w×d，对特征图a进行逐体素求和运算，以获得最终输出f∈rc×h×w×d：

29、

30、进一步地，通道注意力模块的工作过程包括：

31、将特征图a重塑为b’，c’，d’∈rc×n，其中n＝h*w*d；在转置特征图b’与c’以及转置特征图d’与c’之间应用矩阵乘法，最后通过利用softmax层来获得通道注意力图s’：

32、

33、其中表示通道注意力图s’的x，y和z位置在通道上特征的相互影响；其中特征图e’就是特征图a，在s’和e’的转置之间进行矩阵乘法，并将结果转置为rc×h×w×d；最后，对特征图a进行体素求和运算，以获得最终输出f’∈rc×h×w×d：

34、

35、进一步地，所述损失函数为：

36、

37、其中，α和β表示加权交叉熵损失和dice系数损失之间的加权平衡参数，加权交叉熵损失和dice系数损失定义如下：

38、

39、

40、其中ω定义为n表示体素的数量，pi和gi分别表示小鼠脑血管图像第i个体素的预测概率和真实标签。

41、进一步地，所述小鼠脑血管图像为小鼠的tof-mra脑血管图像。

42、进一步地，步骤一具体包括：通过rat方法进行鼠脑的提取，获取颅骨剥离后的小鼠脑血管图像；使用n4itk mri bias correction工具对小鼠脑血管图像进行非均匀性校正，将矫正后的图像裁剪成固定大小的图像块；通过基于直方图的阈值方式对图像块进行阈值分割，并且通过手动的修正获得最终的血管标签。

43、与现有技术相比，本发明的有益技术效果是：

44、本发明开发了一种基于注意力的多核卷积网络的新型u型网络，该网络具有多尺度血管增强预处理功能，用于11.7t tof-mra小鼠的血管自动分割。本发明的工作表明，基于注意力的多核模块有效地捕捉了不同尺度的脑血管特征，从而实现了更准确的血管分割。采用多尺度血管增强滤波作为预处理，进一步提高了分割性能。与包括3d u-net、vnet、cs2-net和uception在内的几种最先进的方法相比，在不同分辨率的数据集上的实验结果证明了本发明提出的方法在分割脑血管方面的优越性。

45、小鼠血管系统的分割对于研究人员分析脑血管疾病的发病机制和治疗效果至关重要。然而，目前没有可用的工具用于在小鼠的3d tof-mra图像中执行血管分割。尽管在该领域进行了大量研究，但有效分割小鼠的脑血管系统仍然具有挑战性，尤其是对于通过超高场mra观察到的小血管。为了解决这个问题，本发明所提出的小鼠脑血管分割方法包括：(1)具有脑血管分割预处理的深度编码器-解码器架构；(2)在网络中嵌入注意力和多核模块，以捕捉更精细的脑血管结构，提高对小血管的识别。为了证明该方法的有效性，本发明进行了一系列的消融研究。通过在uception和cs2-net中添加预处理的实验，本发明可以发现，这两种模型都取得了优异的性能，但在小血管上没有实现理想的血管分割。这一发现表明，仅对图像进行血管增强可能不足以提高网络提取各种血管直径特征的能力。同时，本发明对模型的四种不同变体进行了消融实验，以评估其有效性。最终结果表明，本发明的预处理，加上基于注意力的多核卷积机制，使模型能够为后续预测学习丰富的信息。

46、总的来说，本发明提出了一种具有多尺度血管增强的新型u-net架构和一种基于注意力的多核卷积网络，用于11.7t tof-mra小鼠脑血管的分割。在这项任务中，所提出的网络优于其他先进的分割网络。本发明提出的方法有可能用于神经血管疾病的临床前研究。