基于非对称卷积神经网络双通道的视网膜血管分割方法

1.本发明属于机器学习与医学图像处理领域，具体涉及一种基于非对称卷积神经网络双通道的视网膜血管分割方法。


背景技术：

2.通过分析视网膜血管的形态结构有助于诊断和预测包括青光眼在内的典型眼科疾病，但现有技术采集得到的眼底图像通常存在光照不均匀和血管粗细、对比度不均衡的情况。因此在眼底图像处理中，由于无法有效区分细小血管与复杂背景的干扰，经常会发生细小血管分割精度过低的问题，视网膜血管分割技术已成为提升眼底图像分析性能和效率的重要因素。
3.近年来视网膜血管分割研究陆续产生了一些新算法，例如基于多路径网络分割模型，提高血管图像的特征提取性能；还有研究提出一种基于频域分级的眼底图像血管分割方法，将高低频信息分别输入到多路径卷积神经网络中进行特征提取，进而融合高低维特征得到视网膜血管分割图。上述方法虽然考虑到了多路径网络分割的优势，但仍然存在如下问题：(1)血管分割过程中未考虑到血管方向错综复杂且宽度不一，弱化了视网膜血管图像的方向选择和多尺度预处理；(2)网络训练过程中对于层级间的关联性考虑不充分，尤其是多路径网络对于输入差异性的针对性不足，通常单纯地利用通道数合并来实现特征融合，不可避免的在卷积和采样操作过程中损失血管的细节信息。


技术实现要素：

4.为解决上述存在的问题，本发明提出基于非对称卷积神经网络双通道的视网膜血管分割方法。首先在数据预处理阶段，在求出血管方向最佳匹配角的基础上，利用多尺度的gabor滤波器自适应地提取表征整体特性的主血管特征图和保留细小血管末梢的细血管特征图。针对主、细血管特征图的特点构建非对称卷积神经网络双通道，包含主血管分割网络和细血管补偿网络。最后将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中丢失的细小血管末梢，提高网络分割精度。
5.基于非对称卷积神经网络双通道的视网膜血管分割方法，具体包括以下步骤：
6.步骤一、获取主、细血管特征图
7.选取视网膜血管图像的绿色通道分量图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为h、w。
8.由于血管粗细和对比度特征不均衡，因此引入二维gabor函数模拟视皮层简单细胞的方向选择特性和感知尺度差异特性：
[0009][0010]
其中，γ表示gabor滤波器的椭圆
率；1/λ表示cosine因子的空间调制频率；σ表示gabor滤波核响应的尺度，即血管尺度；θ表示gabor滤波器的方向，即血管方向；表示gabor滤波器的相角。
[0011]
由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180
°
)，以15
°
为间隔，选取12个不同的方向，记为θ
i
，i＝1,2,
…
,12；将12个不同方向的gabor滤波器分别与待处理图像f(x,y)进行卷积，得到卷积响应
[0012][0013]
其中，*表示卷积运算。
[0014]
将卷积响应经过奇偶对称gabor滤波处理后得到gabor滤波器响应
[0015][0016]
其中，和表示卷积响应经过奇偶对称gabor滤波后的响应，其中
[0017]
由于血管方向对尺度参数σ不敏感，因此在σ＝2.5的条件下提取不同方向θ
i
所对应的gabor滤波器响应的最大值
[0018][0019]
其中，θ
zy
为gabor滤波响应取最大值时所对应的血管方向，即血管方向最佳匹配角。
[0020]
设置gabor滤波核响应的尺度σ∈(σ
min
,σ
max
]，尺度间隔为tab，选取个不同的尺度，记为σ
j
，j＝1,2,
…
,σ1＝σ
min
+tab；在最佳匹配角θ
zy
下提取所有尺度σ
j
下的gabor滤波器响应并计算其熵ent
j
：
[0021][0022]
然后获取最大熵值ent
jmax
及其所对应的尺度σ
jmax
。
[0023]
计算细血管特征图和主血管特征图
[0024][0025][0026]
作为优选，设置γ＝0.5、λ＝3.5；σ
min
＝1，σ
max
＝4，tab＝0.5。
[0027]
步骤二、分割主血管特征图
[0028]
构建主血管分割网络，将步骤一得到的主血管特征图输入四个由两个3
×
3卷积层和2倍下采样组成的模块中，依次得到尺寸为原图1/2、1/4、1/8、1/16的特征图q
p
，p＝1,2,3,4：
[0029]
q
p
＝pool(conv1(q
p
‑1))
ꢀꢀꢀ
(8)
[0030]
其中，pool表示2
×
2最大池化操作；conv1表示两层3
×
3、步长为1的普通卷积。q0为主血管特征图
[0031]
引入逐级连接策略，对特征图q4进行逐级上采样，完成对主血管特征图的分割：
[0032][0033]
其中，unsampling表示采用双线性内插值法的上采样操作，q
31
表示特征图q4经过2倍上采样后得到的与特征图q3尺寸相同的特征图。
[0034]
步骤三、分割细血管特征图
[0035]
构建细血管补偿网络，将步骤一得到的细血管特征图经过编码器由卷积层和下采样组成的三个模块，依次得到三个低层特征图p1，p2，p3；其中低层特征图p3经过两个混合空洞卷积残差块，得到特征图p4：
[0036]
p4＝res2(conv2(p3))
ꢀꢀꢀ
(10)
[0037]
其中，res2表示两次残差块操作；conv2表示两层空洞卷积。
[0038]
将特征图p4输入解码器由上采样和混合空洞卷积残差块组成的三个模块，依次得到三个高层特征图p
31
，p
21
，p
11
。
[0039]
在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n
q
为：
[0040]
n
q
＝k+(k
‑
1)
×
(d
q
‑
1)
ꢀꢀꢀꢀ
(11)
[0041]
其中，d
q
表示空洞卷积的扩张率，q＝1,2,3；k表示卷积核尺寸；
[0042]
将编码器的三个低层特征图p1，p2，p3分别经过三个并联的空洞卷积，将每个特征图获得的三个不同尺度的上下文信息通过串联拼接，形成对应的跳跃响应特征图将每一层跳跃响应特征图与其对应的解码器高层特征图p
q1
进行通道拼接后经过解码器的混合空洞卷积残差块后，获得细血管补偿分割图并且将最后一层解码器输出的作为细血管的分割图f
fine
(x,y)：
[0043][0044]
作为优选，k＝3。
[0045]
步骤四、获得血管分割图
[0046]
对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和relu激活函数得到的单通道血管预测图与步骤三得到的细血管分割图经过1x1卷积和relu激活函数得到的单通道血管预测图进行逻辑或操作，得到视网膜血管预测分割图f
fuse
(x,y)：
[0047][0048]
其中，表示逻辑或操作。
[0049]
步骤五、网络训练优化
[0050]
计算步骤四得到的视网膜血管预测分割图f
fuse
(x,y)与对应已知标签x
m
的损失值loss：
[0051][0052]
其中，z
m
表示经过sigmoid激活函数得到的第m个图像像素点的预测值。
[0053]
对非对称卷积神经网络进行反复的迭代训练，使用adam优化函数对非对称卷积神经网络的双通道参数进行优化，当loss的值小于阈值ε时结束迭代，并保存网络权重。
[0054]
作为优选，ε的值为输入的血管图像样本像素总数的1％～3％。
[0055]
步骤六、视网膜血管分割
[0056]
将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。
[0057]
本发明具有以下有益效果：
[0058]
1、强化了对视网膜血管图像的方向选择和多尺度预处理，选用二维gabor滤波器在血管方向最佳匹配角下获取多尺度血管特征图，并针对主、细血管特点自适应地提取主、细血管特征图，构建非对称卷积神经网络双通道模型。
[0059]
2、构建非对称卷积神经网络双通道模型，主血管分割网络引入逐级连接策略进行采样，以卷积层级间的信息互补来减少特征丢失；细血管补偿网络采用结合跳跃连接模块的编
‑
解码器，有效补偿解码过程中无法还原的细小血管特征。
[0060]
3、将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中被忽略的细小血管末梢，提高血管分割的效率和精度。
附图说明
[0061]
图1为本方法的流程图。
具体实施方式
[0062]
以下结合附图对本发明作进一步的解释说明；
[0063]
如图1所示，该方法包括以下步骤：
[0064]
步骤一、获取主、细血管特征图
[0065]
考虑到视网膜血管图像的绿色通道分量能够清晰表达血管的形态结构，选取视网膜血管图像的绿色通道分量的图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横
纵坐标，图像的宽度和高度分别为h、w。
[0066]
由于血管粗细和对比度特征不均衡，因此引入二维gabor函数模拟视皮层简单细胞的方向选择特性和感知尺度差异特性：
[0067][0068]
其中，γ表示gabor滤波器的椭圆率，γ＝0.5；1/λ表示cosine因子的空间调制频率，λ＝3.5；σ表示gabor滤波核响应的尺度，即血管尺度；θ表示gabor滤波器的方向，即血管方向；表示gabor滤波器的相角。
[0069]
由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180
°
)，以15
°
为间隔，选取12个不同的方向，记为θ
i
，i＝1,2,
…
,12；将12个不同方向的gabor滤波器分别与待处理图像f(x,y)进行卷积，得到卷积响应
[0070][0071]
其中，*表示卷积运算。
[0072]
将卷积响应经过奇偶对称gabor滤波处理后得到gabor滤波器响应
[0073][0074]
其中，和表示卷积响应经过奇偶对称gabor滤波后的响应，其中
[0075]
由于血管粗细和对比度特征不均衡，因此选取多尺度的gabor滤波器捕捉血管特征。血管方向对尺度参数σ不敏感，在σ＝2.5的条件下提取不同方向θ
i
所对应的gabor滤波器响应的最大值
[0076][0077]
其中，θ
zy
为gabor滤波响应取最大值时所对应的血管方向，即血管方向最佳匹配角。
[0078]
由于血管宽度对尺度参数σ较敏感，因此为了提取不同宽度的血管，在θ
zy
确定的基础上，进一步提出gabor滤波核响应尺度的自适应选取策略。设置gabor滤波核响应的尺度σ∈(σ
min
,σ
max
]，尺度间隔为tab，选取个不同的尺度，记为σ
j
，j＝1,2,
…
,σ1＝σ
min
+tab；提取所有尺度σ
j
下的gabor滤波器响应并计算其熵ent
j
：
[0079][0080]
然后获取最大熵值ent
jmax
及其所对应的尺度σ
jmax
。
[0081]
计算细血管特征图
[0082][0083]
考虑到视网膜主体血管分支由粗到细发散性分布，因此将其余尺度图像融合得到主血管特征图
[0084][0085]
作为优选，设置γ＝0.5、λ＝3.5；σ
min
＝1，σ
max
＝4，tab＝0.5。
[0086]
步骤二、分割主血管特征图
[0087]
构建主血管分割网络，快速分割主体血管。主血管分割网络由五个模块组成，前四个模块为卷积和下采样的组合，第五模块为上采样。考虑到多层池化会造成主血管细节信息丢失，因此本方法从卷积层级间的关联性出发，引入逐级连接策略，以卷积层之间的信息互补来减少主血管特征的损失。
[0088]
将步骤一得到的主血管特征图输入四个由两个3
×
3卷积层和2倍下采样组成的模块中，依次得到尺寸为原图1/2、1/4、1/8、1/16的特征图q
p
，p＝1,2,3,4：
[0089]
q
p
＝pool(conv1(q
p
‑1))
ꢀꢀꢀ
(8)
[0090]
其中，pool表示2
×
2最大池化操作；conv1表示两层3
×
3、步长为1的普通卷积。q0为主血管特征图
[0091]
经过四次池化操作后，主血管特征图尺寸降为原图的1/16，若直接采用双线性内插值法对特征图q4进行16倍上采样，会造成主血管分割精度较差。考虑到卷积层之间的信息互补能够有效地减少池化造成的细节信息丢失，引入逐级连接策略，对特征图q4进行逐级上采样，完成对主血管特征图的分割：
[0092][0093]
其中，unsampling表示采用双线性内插值法的上采样操作，q
31
表示特征图q4经过2倍上采样后得到的与特征图q3尺寸相同的特征图。
[0094]
步骤三、分割细血管特征图
[0095]
构建细血管补偿网络，精细分割细小血管。考虑到细小血管特征提取难度大、易丢失，因此构建细血管补偿网络，与主血管分割网络具有结构非对称特性。将步骤一得到的细
血管特征图经过编码器由卷积层和下采样组成的三个模块，依次得到三个低层特征图p1，p2，p3；为了避免细小血管末梢的丢失，将低层特征图p3经过两个混合空洞卷积残差块，得到特征图p4：
[0096]
p4＝res2(conv2(p3))
ꢀꢀꢀ
(10)
[0097]
其中，res2表示两次残差块操作；conv2表示两层空洞卷积。
[0098]
将特征图p4输入解码器由上采样和混合空洞卷积残差块组成的三个模块，依次得到三个高层特征图p
31
，p
21
，p
11
。
[0099]
在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n
q
为：
[0100]
n
q
＝k+(k
‑
1)
×
(d
q
‑
1)
ꢀꢀꢀꢀ
(11)
[0101]
其中，d
q
表示空洞卷积的扩张率，q＝1,2,3；k＝3，表示卷积核尺寸；
[0102]
将编码器的三个低层特征图p1，p2，p3分别经过三个并联的空洞卷积，将每个特征图获得的三个不同尺度的上下文信息通过串联拼接，形成对应的跳跃响应特征图将每一层跳跃响应特征图与其对应的解码器高层特征图p
q1
进行通道拼接后经过解码器的混合空洞卷积残差块后，获得细血管补偿分割图并且将最后一层解码器输出的作为细血管的分割图f
fine
(x,y)：
[0103][0104]
步骤四、获得血管分割图
[0105]
为了达到精细血管分割的目的，利用细血管补偿网络分割图补全主血管分割过程中被忽略的细血管末梢。对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和relu激活函数得到的单通道血管预测图与步骤三得到的细血管分割图经过1x1卷积和relu激活函数得到的单通道血管预测图进行逻辑或操作，得到视网膜血管预测分割图f
fuse
(x,y)：
[0106][0107]
其中，表示逻辑或操作。
[0108]
步骤五、网络训练优化
[0109]
计算步骤四得到的视网膜血管预测分割图f
fuse
(x,y)与对应已知标签x
m
的损失值loss：
[0110][0111]
其中，z
m
表示经过sigmoid激活函数得到的第m个图像像素点的预测值。
[0112]
对非对称卷积神经网络进行反复的迭代训练，使用adam优化函数对非对称卷积神经网络的双通道参数进行优化，当loss的值小于输入的血管图像样本像素点的1％～3％结
束迭代，并保存网络权重，并保存网络权重。
[0113]
步骤六、视网膜血管分割
[0114]
将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。