一种基于空间多尺度注意网络的DSA脑血管分割系统及方法

一种基于空间多尺度注意网络的dsa脑血管分割系统及方法
技术领域
1.本发明属于图像处理及图像分割技术领域，具体地，涉及一种基于空间多尺度注意网络的dsa脑血管分割系统及方法。


背景技术：

2.数字减影血管造影(dsa)是临床上公认的诊断血管疾病的金标准，它可以精确显示血管异常如狭窄、阻塞或畸形等。分析脑血管的直径、弯曲度等可以得到脑血管疾病的临床病理特征。此外，多个角度下的二维血管结构可以实现血管的三维可视化建模，辅助医生在不进行解剖的情况下多角度、多形式观察和诊断病变。脑血管dsa中的自动血管分割在脑血管疾病的管理中具有重要的临床应用。最近，深度学习方法在血管分割中实现了高精度。然而，由于脑血管结构的复杂性和dsa中伪影等噪声的影响，自动分割仍然是一项具有挑战性的任务。


技术实现要素：

3.本发明为了解决dsa脑血管图像中伪影的影响以及尺度变化较大的情况，并能够快速准确的分割出脑血管结构，提出了一种基于空间多尺度注意网络的dsa脑血管分割系统及方法，可以捕获多尺度特征，还增加了注意力机制和细节分支，提高血管分割的精度。
4.本发明通过以下技术方案实现：
5.一种基于空间多尺度注意网络的dsa脑血管分割方法，其特征在于：
6.所述方法具体包括以下步骤：
7.步骤一、获取原始的dsa图像数据；对采集的原始dsa图像进行处理，原始的dsa图像是图片序列，提取不同血管或者不同角度dsa图像的每一帧图像
8.步骤二、对每一帧图像标注类别，标注出血管结构和非血管结构，制作dsa脑血管数据集；标注出的数据集即为分割模型进行类别信息提取的关键先验信息；
9.步骤三、对图像进行预处理，处理后的数据预留出测试集，其余数据作为训练图像，按照一定的比例划分为训练集和验证集；
10.步骤四、将训练集的数据送入空间多尺度注意力网络模型中进行训练；
11.步骤五、将验证集的数据送入步骤四训练好的模型中，调整模型训练过程的参数，通过验证集中的auc值选择出最好的模型；
12.步骤六、将测试集的图像分成局部图像块，以滑动窗口从图像的左上角开始，步距为16进行采样分割为96
×
96的局部图像块；
13.步骤七、通过步骤五筛选出的最好模型，测试步骤六处理的测试集数据，并将预测结果重建，验证分割效果。
14.进一步地，在步骤三中，由于血管与非血管结构的灰度值相似，对图像首先进行预处理；使用局部图像块的方法对数据进行扩充，将训练图像分割为128
×
128的局部图像块进行数据增强，其中90％训练样本，10％验证样本。
15.进一步地，在步骤五中，batchsize设置为16,每次训练50个epoch，设置损失值10个批次不再下降，及时终止模型的训练，避免过拟合，设置学习率为0.0001，并在训练过程中使用余弦退火方法动态降低学习率。
16.进一步地，在步骤七中，使用训练好的模型在测试集上进行f1分数、准确度和auc值指标的测定，并重建出完整的分割结果。
17.一种基于空间多尺度注意网络的dsa脑血管分割系统：
18.所述系统包括dsa图像获取模块、图像标注类别模块、图像预处理模块、模型训练及筛选模块、图像分割模块和最终测试模块；
19.所述dsa图像获取模块用于获取原始的dsa图像数据；对采集的原始dsa图像进行处理，原始的dsa图像是图片序列，提取不同血管或者不同角度dsa图像的每一帧图像
20.所述图像标注类别模块用于对每一帧图像标注类别，标注出血管结构和非血管结构，制作dsa脑血管数据集；标注出的数据集即为分割模型进行类别信息提取的关键先验信息；
21.所述图像预处理模块用于对图像进行预处理，处理后的数据预留出测试集，其余数据作为训练图像，按照一定的比例划分为训练集和验证集；
22.所述模型训练及筛选模块通过空间多尺度注意力网络模型训练预处理后的训练集数据；并将验证集的数据送入训练好的模型中，调整模型训练过程的参数，通过验证集中的auc值选择出最好的模型；
23.所述图像分割模块用于将测试集的图像分成局部图像块，以滑动窗口从图像的左上角开始，步距为16进行采样分割为96
×
96的局部图像块；
24.所述最终测试模块通过筛选出的最好模型，测试处理后的测试集数据，并将预测结果重建，验证分割效果。
25.进一步地，在图像标注类别模块中，由于血管与非血管结构的灰度值相似，对图像首先进行预处理；所以使用局部图像块的方法对数据进行扩充，将训练图像分割为128
×
128的局部图像块进行数据增强，其中90％训练样本，10％验证样本。
26.进一步地，在模型训练及筛选模块中，batchsize设置为16,每次训练50个epoch，设置损失值10个批次不再下降，及时终止模型的训练，避免过拟合，设置学习率为0.0001，并在训练过程中使用余弦退火方法动态降低学习率。
27.进一步地，在最终测试模块中，使用训练好的模型在测试集上进行f1分数、准确度和auc值指标的测定，并重建出完整的分割结果。
28.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
29.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述任一项所述方法的步骤。
30.本发明有益效果
31.本发明的模型在捕获多尺度血管特征的基础上，能够在大量噪声的影响下，实现了脑血管的准确分割。
32.为了进一步提高的提取多尺度血管的能力，本发明以分支的方式采用不同大小扩张率的深度可分离卷积，并加载空间注意块获得多尺度特征的权重信息，以此融合不同尺
度的上下文信息。
33.除此之外，本发明在跳跃连接处增加了特征聚合模块，更好的融合编码器和解码器之间的特征。在训练时间没有显著增加的情况下，本发明的模型在图像伪影等影响下取得了令人振奋的分割效果。
34.本发明所述的基于空间多尺度注意网络分割模型是基于图像处理、深度学习等技术实现的，相比于其他技术，能够明显提高分割精度，改善分割效果。精确的血管分割结果可以辅助医生诊断血管疾病，并且多个角度下的二维血管结构可以实现血管的三维可视化建模，具有一定的实际意义。
35.除此之外，本发明模型的鲁棒性也能够得到保证，模型可以最大限度的抑制dsa伪影的影响，在时间成本可以接受的范围内即可稳定训练出一套效果可观的分割系统。
附图说明
36.图1为本发明基于多尺度空间注意力结构进行dsa脑血管分割的流程框图。
37.图2为本发明的分割模型结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.结合图1至图2。
40.如图2，本发明构建了一种基于空间多尺度注意网络模型，以u-net为基线，包括局部图像模块、编解码模块、特征聚合模块、多尺度空间注意模块、细节监督模块、联合损失和softmax分类器；
41.具体而言，主干结构是一个五层的编解码结构，编解码模块中使用瓶颈块加剩余连接卷积块代替原来的两个3
×
3卷积，以减少计算负担和过拟合的风险；
42.多尺度空间注意模块以分支的方式采用不同大小扩张率的深度可分离卷积提取多尺度特征，并加载空间注意块获得多尺度特征的权重信息，以此融合不同尺度的上下文信息。
43.特征聚合模块采用平均池化和最大池化两个分支获得通道的全局信息，通过调整输入特征权重来增强原始特征，更好的融合编码器和解码器之间的特征。
44.细节监督模块是利用输入图像、主干结构中的浅层特征以及多尺度的深层特征重新引入的分支，其中的上采样注意门将深层特征重新加权后与浅层特征融合，然后通过双线性插值上采样到输入图像大小，获得输出。
45.最终将主干结构中的加权解码侧输出以及细节监督模块中的输出使用softmax分类器进行分类，然后分别和真实标签通过交叉熵损失函数计算损失并相加，得到联合损失训练网络。输出为采样的局部图像块的预测概率图，最后将所有图像块重建成原图像得到分割结果。
46.输入的血管图像的局部块被送入网络进行预测，最终将局部块重新组合成原图
像。
47.一种基于空间多尺度注意网络的dsa脑血管分割方法：所述方法具体包括以下步骤：
48.步骤一、获取原始的dsa图像数据；对采集的原始dsa图像进行处理，原始的dsa图像是图片序列，提取不同血管或者不同角度dsa图像的每一帧图像
49.步骤二、对每一帧图像标注类别，标注出血管结构和非血管结构(背景)，制作dsa脑血管数据集；标注出的数据集即为分割模型进行类别信息提取的关键先验信息；
50.步骤三、对图像进行预处理，处理后的数据预留出测试集，其余数据作为训练图像，按照一定的比例划分为训练集和验证集；
51.步骤四、将训练集的数据送入空间多尺度注意力网络模型中进行训练；
52.步骤五、将验证集的数据送入步骤四训练好的模型中，调整模型训练过程的参数，通过验证集中的auc值选择出最好的模型；
53.步骤六、为了使模型能够适应各种尺寸的输入图像，将测试集的图像分成局部图像块，以滑动窗口从图像的左上角开始，步距为16进行采样分割为96
×
96的局部图像块；
54.步骤七、通过步骤五筛选出的最好模型，测试步骤六处理的测试集数据，并将预测结果重建，验证分割效果。
55.在步骤三中，由于血管与非血管结构(背景)的灰度值相似，为了更好的提取血管信息，对图像首先进行预处理；并且由于dsa图像尺寸较大，一般无法直接进行训练，所以使用局部图像块的方法对数据进行扩充，将训练图像分割为128
×
128的局部图像块进行数据增强，其中90％训练样本，10％验证样本。
56.在步骤五中，为了验证所提出模型的优越性和有效性，将其与目前应用最广泛的u-net模型，以及其他u-net改进方法cs-net，attention u-net，ladder-net等进行了对比实验，其中，batchsize设置为16,每次训练50个epoch，设置了相应的早停策略防止过拟合，即损失值10个批次不再下降，及时终止模型的训练，避免过拟合，设置学习率为0.0001，并在训练过程中使用余弦退火方法动态降低学习率。
57.在步骤七中，使用训练好的模型在测试集上进行f1分数、准确度和auc值等指标的测定，并重建出完整的分割结果。
58.一种基于空间多尺度注意网络的dsa脑血管分割系统：
59.所述系统包括dsa图像获取模块、图像标注类别模块、图像预处理模块、模型训练及筛选模块、图像分割模块和最终测试模块；
60.所述dsa图像获取模块用于获取原始的dsa图像数据；对采集的原始dsa图像进行处理，原始的dsa图像是图片序列，提取不同血管或者不同角度dsa图像的每一帧图像
61.所述图像标注类别模块用于对每一帧图像标注类别，标注出血管结构和非血管结构(背景)，制作dsa脑血管数据集；标注出的数据集即为分割模型进行类别信息提取的关键先验信息；
62.所述图像预处理模块用于对图像进行预处理，处理后的数据预留出测试集，其余数据作为训练图像，按照一定的比例划分为训练集和验证集；
63.所述模型训练及筛选模块通过空间多尺度注意力网络模型训练预处理后的训练集数据；并将验证集的数据送入训练好的模型中，调整模型训练过程的参数，通过验证集中
的auc值选择出最好的模型；
64.所述图像分割模块用于将测试集的图像分成局部图像块，使得模型能够适应各种尺寸的输入图像，以滑动窗口从图像的左上角开始，步距为16进行采样分割为96
×
96的局部图像块；
65.所述最终测试模块通过筛选出的最好模型，测试处理后的测试集数据，并将预测结果重建，验证分割效果。
66.在图像标注类别模块中，由于血管与非血管结构(背景)的灰度值相似，为了更好的提取血管信息，对图像首先进行预处理；并且由于dsa图像尺寸较大，一般无法直接进行训练，所以使用局部图像块的方法对数据进行扩充，将训练图像分割为128
×
128的局部图像块进行数据增强，其中90％训练样本，10％验证样本。
67.在模型训练及筛选模块中，为了验证所提出模型的优越性和有效性，将其与目前应用最广泛的u-net模型，以及其他u-net改进方法cs-net，attention u-net，ladder-net等进行了对比实验，其中，batchsize设置为16,每次训练50个epoch，设置了相应的早停策略防止过拟合，即损失值10个批次不再下降，及时终止模型的训练，避免过拟合，设置学习率为0.0001，并在训练过程中使用余弦退火方法动态降低学习率。
68.在最终测试模块中，使用训练好的模型在测试集上进行f1分数、准确度和auc值等指标的测定，并重建出完整的分割结果。
69.使用本发明的模型和其他先进模型如u-net、laddernet、attention u-net、csnet等在公开的视网膜血管数据集chase以及本发明实验室制作的dsa脑血管数据集dsac上进行对比试验。使用f1 score、accuracy、sensitivity、specificity和percision这些二元分割的量化指标衡量每种方法的分割性能，取测试集数据的平均值。
70.本发明首先在基准视网膜图像数据集chase上进行实验。本发明从训练集的20幅眼底图像中随机提取40000个大小为128
×
128的局部图像块。其中90％的样本作为训练集，10％的样本作为验证集。实验结果如表1：
71.methodsaucprf1accsespprecisionu-net0.98580.89980.81310.96600.81630.98090.8099ladder-net0.98550.89700.81260.96520.83350.97830.7928attentionu-net0.98570.90000.81510.96580.83070.97930.8000cs-net0.98580.89900.81350.96580.82210.98020.8050denseu-net0.985700.83.89960.81590.96580.83630.97870.7966proposed0.98610.89980.81230.96650.80120.98290.8237
72.表1不同分割方法在chase数据集上的性能对比
73.由表1可以看出，本发明提出的模型在大多数指标上都达到了最优的性能，这表明本发明提出的模型对于视网膜血管分割也是有效的。
74.分割dsa图像时使用了新的局部图像块采样策略，一部分采用随机采取的图像块，一部分在采样时判断该图像块中是否包含血管，二者之间的最佳比例经过实验验证结果如表2：
ram，dr ram)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
86.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如，固态硬盘(solid state disc，ssd))等。
87.在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
88.应注意，本技术实施例中的处理器可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
89.以上对本发明所提出的一种基于空间多尺度注意网络的dsa脑血管分割系统及方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。