基于U-Net的血管图像分割方法、装置和设备
本发明涉及人工智能技术领域，尤其是基于u-net的血管图像分割方法、装置和设备。
背景技术：
视网膜血管的可见结构能预示着许多疾病。精确的分割有助于捕捉视网膜血管结构的可见变化，这有助于医生诊断与眼睛相关的疾病。因此，它在当前的视网膜图像分析任务中尤为重要。例如，高血压性视网膜病是一种由高血压引起的视网膜疾病，高血压患者可以发现血管曲度增加或狭窄。传统上，人工分割是由专家执行的，这是费力的、耗时的，并且受到专家之间的主观性的影响。在临床实践中，为了提高效率和可靠性，减少医生的工作量，对自动分割方法有很高的要求。
近年来，随着深度学习研究热潮的兴起，一些医学研宄人员将深度神经网络引入到视网膜血管分割任务中，提升了视网膜血管分割的效果，其中unet网络已经广泛用于生物图像分割，如视网膜血管分割，肺部ct图像，冠状动脉血管图像等，并取得了良好的效果。该算法建立在全卷积网络(fcn)上，由一个编码器和一个解码器组成，网络的形状类似于“u”形，因此称为“u-net”。
一般来说，目前的基于u-net的分割模型大多侧重于解码器，而编码器方面的创新成果很少。对于编码器，常用的是经典的预训练图像特征提取模型，如resnet、vgg16和densenet，或者只采用一系列交替的常规卷积层和下采样层。这两类编码器的主要缺陷包括:首先，医学图像与自然图像在特征和成像原理上存在巨大差异，导致特征提取模型在这两个数据集上的可移植性较差。也就是说，直接将在自然图像或其他医学数据集上预先训练的模型应用于目标图像通常仅提取浅层特征。其次，编码阶段下采样过程中丢失的图像信息限制了解码器的恢复能力，不仅会导致模型分割结果过于平滑，而且容易对小对象进行欠分割。因此，能够感知图像像素的多尺度上下文信息特征的提取模块能够为解码器提供丰富的图像特征，从而对整个模型的分割精度和泛化能力产生积极的影响。
其次每个阶段中的普通跳跃连接通常直接结合局部信息，这引入了太多不相关的背景噪声，使得难以将视网膜血管与周围的模仿物和噪声区分开来，尤其是微小血管。原则上，从深层阶段获得的高层特征具有丰富的语义信息但缺乏足够的分辨率，而从浅层阶段获得的低层特征具有丰富的空间细节但缺乏全局语义信息。
技术实现要素：
有鉴于此，本发明实施例提供基于u-net的血管图像分割方法、装置和设备，以提高分割性能。
本发明的第一方面提供了一种基于u-net的血管图像分割方法，包括：
获取血管分割数据集；
对所述血管分割数据集进行预处理；
对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据；
根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络；
根据所述血管图像分割网络进行血管图像分割，并对所述血管图像分割的结果进行评价；
其中，所述血管图像分割网络中的卷积块由多尺度特征聚集块替换；所述多尺度特征聚集块的第一输入为多尺度高层特征，所述多尺度特征聚集块的第二输入为多尺度低层特征；所述血管图像分割网络通过ms-cam模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
可选地，所述对所述血管分割数据集进行预处理，包括：
提取所述血管分割数据集中rgb图像的绿色通道；
对所述绿色通道进行白化处理；
对所述白化处理后的图像进行自适应直方图均衡化处理；
对所述自适应直方图均衡化处理后的图像进行伽马变换处理。
可选地，所述对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据，包括：
对所述血管分割图像进行图像块裁剪操作，得到随机坐标；
将所述随机坐标作为中心点，裁剪得到48×48的图像块，并将所述图像块作为样本数据。
可选地，所述根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络这一步骤中，
所述血管图像分割网络的网络架构为u型架构，所述u型架构包括一个编码器和一个解码器；所述编码器包括四层结构；
所述多尺度特征聚集块用于：通过1×1卷积将输入数据分为左分支和右分支；
所述右分支的输入数据经过下采样处理后通过卷积操作进行特征提取，得到多尺度高层特征；
所述左分支的输入数据经过上采样处理后通过卷积操作进行特征提取，得到多尺度低层特征；
通过ms-cam特征融合模块将所述多尺度高层特征和所述多尺度低层特征进行处理，得到一个用于注意力操作的注意力权重；
根据所述注意力权重进行注意力操作得到编码器的输出。
可选地，所述ms-cam模块在注意力操作的过程中将局部信息融入全局信息，通过使用点卷积作为局部通信信息整合器；
其中，所述局部通道信息的计算公式为：
l(x)＝b(pwconv2(δ(b(pwconv1(x)))))
其中，l(x)代表局部通道信息；b代表批量归一化；pwconv1表示通过1*1卷积将输入的特征x通道数减少为原先的
可选地，所述解码器包括四层结构；
所述解码器通过自适应特征融合模块来实现相邻层之间的融合。
可选地，所述对所述血管图像分割的结果进行评价，包括：
获取样本标注图像的目标对象的第一像素点，获取预测分割图像的目标对象的第二像素点；
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标；
获取预测分割图像中正样本预测为真的目标对象的第三像素点，获取预测分割图像中负样本预测为真的目标对象的第四像素点，获取正样本预测为假的目标对象的第五像素点；
根据所述第三像素点和所述第四像素点计算得到精密度评价指标；
根据所述第三像素点和所述第五像素点计算得到查全率评价指标；
根据所述精密度评价指标和所述查全率评价指标，计算得到均值评价指标。
本发明实施例的第二方面提供了基于u-net的血管图像分割装置，包括：
第一模块，用于获取血管分割数据集；
第二模块，用于对所述血管分割数据集进行预处理；
第三模块，用于对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据；
第四模块，用于根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络；
第五模块，用于根据所述血管图像分割网络进行血管图像分割，并对所述血管图像分割的结果进行评价；
其中，所述血管图像分割网络中的卷积块由多尺度特征聚集块替换；所述多尺度特征聚集块的第一输入为多尺度高层特征，所述多尺度特征聚集块的第二输入为多尺度低层特征；所述血管图像分割网络通过ms-cam模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
本发明实施例的第三方面提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明的实施例的管图像分割网络中的卷积块由多尺度特征聚集块替换；所述多尺度特征聚集块的第一输入为多尺度高层特征，所述多尺度特征聚集块的第二输入为多尺度低层特征；所述血管图像分割网络通过ms-cam模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合，能够提高分割性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来将，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的血管图像分割方法的流程示意图；
图2是本发明中多尺度特征聚合模块(msab)的结构示意图；
图3是本发明中ms-cam特征融合模块的结构示意图；
图4是本发明中自适应特征融合模块(aff)的结构示意图；
图5是本发明中提出的改进的分割网络的整体设计图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术的问题，本发明提出了一种基于u-net的血管图像分割方法，包括：
获取血管分割数据集；
对所述血管分割数据集进行预处理；
对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据；
根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络；
根据所述血管图像分割网络进行血管图像分割，并对所述血管图像分割的结果进行评价；
其中，所述血管图像分割网络中的卷积块由多尺度特征聚集块替换；所述多尺度特征聚集块的第一输入为多尺度高层特征，所述多尺度特征聚集块的第二输入为多尺度低层特征；所述血管图像分割网络通过ms-cam模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
可选地，所述对所述血管分割数据集进行预处理，包括：
提取所述血管分割数据集中rgb图像的绿色通道；
对所述绿色通道进行白化处理；
对所述白化处理后的图像进行自适应直方图均衡化处理；
对所述自适应直方图均衡化处理后的图像进行伽马变换处理。
可选地，所述对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据，包括：
对所述血管分割图像进行图像块裁剪操作，得到随机坐标；
将所述随机坐标作为中心点，裁剪得到48×48的图像块，并将所述图像块作为样本数据。
可选地，所述根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络这一步骤中，
所述血管图像分割网络的网络架构为u型架构，所述u型架构包括一个编码器和一个解码器；所述编码器包括四层结构；
所述多尺度特征聚集块用于：通过1×1卷积将输入数据分为左分支和右分支；
所述右分支的输入数据经过下采样处理后通过卷积操作进行特征提取，得到多尺度高层特征；
所述左分支的输入数据经过上采样处理后通过卷积操作进行特征提取，得到多尺度低层特征；
通过ms-cam特征融合模块将所述多尺度高层特征和所述多尺度低层特征进行处理，得到一个用于注意力操作的注意力权重；
根据所述注意力权重进行注意力操作得到编码器的输出。
可选地，所述ms-cam模块在注意力操作的过程中将局部信息融入全局信息，通过使用点卷积作为局部通信信息整合器；
其中，所述局部通道信息的计算公式为：
l(x)＝b(pwconv2(δ(b(pwconv1(x)))))
其中，l(x)代表局部通道信息；b代表批量归一化；pwconv1表示通过1*1卷积将输入的特征x通道数减少为原先的
可选地，所述解码器包括四层结构；
所述解码器通过自适应特征融合模块来实现相邻层之间的融合。
可选地，所述对所述血管图像分割的结果进行评价，包括：
获取样本标注图像的目标对象的第一像素点，获取预测分割图像的目标对象的第二像素点；
根据所述第一像素点和所述第二像素点计算得到重叠度评价指标；
获取预测分割图像中正样本预测为真的目标对象的第三像素点，获取预测分割图像中负样本预测为真的目标对象的第四像素点，获取正样本预测为假的目标对象的第五像素点；
根据所述第三像素点和所述第四像素点计算得到精密度评价指标；
根据所述第三像素点和所述第五像素点计算得到查全率评价指标；
根据所述精密度评价指标和所述查全率评价指标，计算得到均值评价指标。
本发明实施例还提供了基于u-net的血管图像分割装置，包括：
第一模块，用于获取血管分割数据集；
第二模块，用于对所述血管分割数据集进行预处理；
第三模块，用于对预处理后的血管分割图像进行图像块裁剪操作，得到样本数据；
第四模块，用于根据所述样本数据，通过pytorch深度学习框架搭建血管图像分割网络；
第五模块，用于根据所述血管图像分割网络进行血管图像分割，并对所述血管图像分割的结果进行评价；
其中，所述血管图像分割网络中的卷积块由多尺度特征聚集块替换；所述多尺度特征聚集块的第一输入为多尺度高层特征，所述多尺度特征聚集块的第二输入为多尺度低层特征；所述血管图像分割网络通过ms-cam模块将所述多尺度特征聚集块中的多尺度高层特征和多尺度低层特征进行融合。
本发明实施例还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
下面结合说明书附图，对本发明的血管图像分割方法的具体实现过程进行详细描述：
图1为本发明提供的一种视网膜血管分割方法的流程示意图，具体参见图1所示，该方法可以包括如下步骤：
步骤s1：获得血管分割数据集，并将前70％和后30％的图像分别划分为训练集和测试集。
步骤s2：对获得的图像进行预处理使得血管图像整体对比度得到增强，这也保证了在之后的实验中，模型能够更好的拟合血管图像数据，从而更好的实现分割结果。
步骤s2.1：提取原始rgb图像的绿色通道，因为血管在绿色通道中比在红色和蓝色通道中呈现出良好的对比度。
步骤s2.2：对绿色通道进行白化处理，通过白化处理可以解决外部环境亮度、物体反射等因素对图像的影响。对图像求均值μ和方差δ的公式如下：
然后对原始图像的每个像素pij进行转换计算得到新的像素值
步骤s2.3：自适应直方图均衡化处理(又名clahe操作)，clahe操作将原图像的灰度直方图进行了一定的拉伸，提高了对比度，同时也限制了局部较亮或较暗区域，防止了直方图均衡化操作出现信息丢失的情况。
步骤s2.4：伽马变换处理，使处理后的血管图像的灰度值与处理前图像的灰度值之间呈现非线性指数关系，实现灰度拉伸。
伽马变换公式如下：
输入灰度级取0到255，并对输入输出灰度级都做归一化为0到1之间，当γ较小时，图像的整体亮度得到非线性提高，当γ较大时，图像的整体亮度会被非线性降低。
步骤s3：完成图像预处理操作之后，进行图像块裁剪操作，裁剪时生成一组随机坐标，以这些坐标为中心点，裁剪大小为48x48的图像块，得到的大量的样本数据用于训练分割模型。
步骤s4：使用pytorch深度学习框架搭建本网络，本发明所提出的卷积神经网络的结构如图5所示，基于经典的u-net，对网络的卷积模块和跳跃连接进行了重新设计。是借鉴u-net网络，采用u型架构，总体结构由一个编码器、一个解码器构成。
编码器总共有四层，在网络中本发明使用设计的如图2所示的多尺度特征聚集块(msab)替换普通卷积块。对于多尺度特征聚集块首先将输入经过一个1x1卷积平分为左右两个分支，这样设计是为了减少计算量。在右分支中输入图像首先经过下采样，然后输出再经过两组3x1和1x3卷积模组对特征进行提取。在特征提取的过程中采用了两组3x1和1x3卷积等效于一个5x5卷积的设计思路，这样既加深了网络的深度也可以减少参数。经过感受野为3和5的多尺度特征提取后再进行上采样，这样整个右分支就完成了多尺度高层特征的提取。同样对于左侧分支输入首先经过上采样，然后输出同样经过两组3x1和1x3卷积模组对特征进行提取。特征提取结束后再经过一个下采样，这样左侧分支就完成了对尺度低层特征的提取。在左右两个分支对特征提取结束后本发明使用如图3所示的ms-cam特征融合模块对两个分支进行处理产生一个用于注意力操作的权重。对于ms-cam模块通过使用不同的空间池化获得的多尺度特征,并在不同尺度特征上实施通道注意力操作。为了维持轻量模型仅在注意力模块中将局部信息融入全局信息，通过使用点卷积即1x1卷积作为局部通道信息整合器，其利用了不同通道的对应像素点做信息交互。为了不增加参数量,在计算局部通道信息l(x)时使用了一个瓶颈结构。局部通道信息计算如下所示:
l(x)＝b(pwconv2(δ(b(pwconv1(x)))))
其中pwconv1表示通过1*1卷积将输入的特征x通道数减少为原先的
其中m(x)表示有ms-cam产生的注意力权重，
解码器同编码器一样也是四层，并且解码器中的卷积块也使用本发明设计的多尺度特征聚集块。编码器经过三次下采样将提取到的特征信息传播到解码器，由于高级特征包含丰富的语义信息，可以帮助低级特征识别语义上重要的位置。然而，由于相对粗糙的分辨率，它缺乏必要的空间信息。相比之下，低层特征包含丰富的空间信息，这对于高层特征重建精确的细节是有用的。然而，它缺乏必要的语义信息来从全局角度识别目标对象。因此，语义信息丰富的高层特征和空间信息丰富的低层特征在本质上是互补的。所以在网络中本发明将传统的跳跃连接替换为一个自适应特征融合(aff)模块来指导相邻层之间的融合，该模块基于挤压和激励(se)操作来建模两个相邻层之间的特征通道之间的相关性。如图4所示，通过计算加权向量来重新加权低层特征并抑制不相关背景噪声的干扰，所提出的网络可以保留更重要的上下文语义信息以进行更精确的定位。具体来说，本发明首先连接相邻级别的特征图，并对组合特征通道之间的相关性进行建模：
其中，
其中f表示1x1卷积，
步骤s5：血管分割模型训练完成后，根据评价指标对血管分割结果进行评价。评价指标包括重叠度(iou)、精密度(precision)、查全率(recall)和加权调和均值(f-measure)。公式如下：
其中，target是样本标注图像的目标对象的像素点，prediction是预测分割图像的目标对象的像素点。
其中，tp是正样本预测为真的目标对象的像素点，fp是负样本预测为真的目标对象的像素点。
其中，tp是正样本预测为真的目标对象的像素点，fn是正样本预测为假的目标对象的像素点。
其中，
综上所述，本发明提出了一种新的多尺度和上下文敏感的深度卷积网络来全面解决视网膜血管分割的挑战。本发明的模型是基于经典的编解码结构实现的，由两个核心模块组成。首先，在编码器模块，本发明提出了一种新的多尺度感知特征聚合模块(msab)来有效提取多尺度上下文信息。通过这种方式，从粗到细的上下文信息在每个尺度上被共享和聚集，从而改善毛细血管的分割。其次，在解码器的每个阶段，本发明用自适应特征融合(aff)模块代替经典u-net模型的跳跃连接，通过使用aff模块，网络可以有效地引导相邻层次特征的融合，以获取更多可区分的语义信息，从而最终细化血管图。
相较于现有技术，本发明具有以下优点：
1、本发明使用多尺度特征聚集块替换替换传统卷积块，将输入通道分为两支，一支提取多尺度高层特征，另一支提取多尺度低层特征。特征提取结束后使用ms-cam模块能更好的融合语义和尺度不一致的特征。
2、在多尺度聚集块中将普通3x3卷积用一个3x1和1x3卷积串联进行替换，同时使用两组3x1和1x3卷积串联代替5x5卷积，这样设计既加深了网络深度又减少了参数。
3、使用aff特征融合模块替换跳跃连接，不仅可以抑制无关的背景噪声，还可以保留更详细的局部语义信息，从而将血管从背景和噪声中分离出来。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
- 还没有人留言评论。精彩留言会获得点赞！