一种基于生物视觉通路的视网膜血管分割方法

本发明涉及计算机图像处理技术检领域，具体涉及一种基于生物视觉通路的视网膜血管分割方法。

背景技术：

1、视网膜血管是判断眼底多种疾病诊断的重要依据，准确分割视网膜血管具有重要的意义。近年来随着计算机视觉的发展，深度学习在医学图像领域得到迅速发展。许多卷积神经网络模型被广泛应用，其中包括全卷积网络fcn，u-net。unet将编码网络中低层的语义信息与解码网络中高层的语义信息相结合，增加了不同层级特征的融合，使得特征表达能力更强。u-net凭借优异的图像分割性能，在医学图像领域受到了广泛的关注。在视网膜血管分割领域，基于u-net的不同变体结构网络得到了广泛应用，并取得了不错的效果。

2、虽然基于unet的编码-解码边缘检测方法取得了不错的效果，但是目前的模型主要的创新设计点在unet网络的基础上设计，并且这些模型的缺乏视觉机制的指导，由于图像质量问题和的病变影响，导致血管边界模糊、噪声干扰、导致分割算法误差较大。

技术实现思路

1、本发明旨在提供一种基于生物视觉通路的视网膜血管分割方法，该方法能够有效提取视网膜血管特征信息，从而得到较为准确的视网膜分割图。

2、本发明的技术方案如下：

3、所述的基于生物视觉通路的视网膜血管分割方法，包括以下步骤：

4、a、构建深度神经网络结构，深度神经网络结构具体如下：

5、特征增强网络、编码网络、解码网络；

6、其中，编码网络包括特征增强网络、五个ebⅰ模块、四个ebⅱ模块、四个pmb模块；

7、b、原始图像输入特征增强网络中，分离出原始图像中红、绿、蓝分量，黄分量为红、绿分量的平均值，计算得到绿-红通道、红-绿通道、黄-蓝通道、蓝-黄通道的拮抗响应；绿-红通道、红-绿通道、黄-蓝通道、蓝-黄通道的拮抗响应分别经过包含四个方向卷积的dcb模块处理；蓝-黄通道的拮抗响应的dcb模块处理结果经过3*3深度可分离卷积处理，处理结果与蓝-黄通道的拮抗响应的dcb模块处理结果相加融合后，得到融合蓝-黄通道拮抗响应dcb模块处理结果；

8、绿-红通道和黄-蓝通道的dcb处理结果相加融合后，得到第一融合结果；第一融合结果经过深度可分离卷积处理，处理结果与第一融合结果相加融合后，依次经过空洞卷积模块、1*1卷积，得到第一路响应结果；

9、红-绿通道的dcb处理结果和融合蓝-黄通道拮抗响应dcb模块处理结果相加融合后，得到第二融合结果；第二融合结果经过深度可分离卷积处理，处理结果与第二融合结果相加融合后，依次经过空洞卷积模块、1*1卷积，得到第二路响应结果；

10、第一路响应结果和第二路响应结果相加融合后，得到特征增强网络处理结果，输入编码网络中；

11、c、编码网络中，特征增强网络处理结果分为两路输入；第一路中，特征增强网络处理结果输入第一ebⅰ模块中处理，得到通道数变为原来的两倍的第一ebⅰ模块处理结果，第一ebⅰ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，输入第二ebⅰ模块中处理，得到通道数变为原来的两倍的第二ebⅰ模块处理结果，第二ebⅰ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，输入第三ebⅰ模块中处理，得到通道数变为原来的两倍的第三ebⅰ模块处理结果，第三ebⅰ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，输入第四ebⅰ模块中处理，得到通道数变为原来的两倍的第四ebⅰ模块处理结果，第四ebⅰ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，输入第五ebⅰ模块中处理，得到通道数变为原来的两倍的第五ebⅰ模块处理结果；

12、第一ebⅰ模块处理结果、第二ebⅰ模块处理结果输入第一pmb模块中处理，得到第一pmb模块处理结果；第二ebⅰ模块处理结果、第三ebⅰ模块处理结果输入第二pmb模块中处理，得到第二pmb模块处理结果；第三ebⅰ模块处理结果、第四ebⅰ模块处理结果输入第三pmb模块中处理，得到第三pmb模块处理结果；第四ebⅰ模块处理结果、第五ebⅰ模块处理结果输入第四pmb模块中处理，得到第四pmb模块处理结果；

13、特征增强网络处理结果和第一pmb模块处理结果输入第一ebⅱ模块中处理，得到通道数变为原来的两倍的第一ebⅱ模块处理结果；第一ebⅱ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，和第二pmb模块处理结果输入第二ebⅱ模块中处理，得到通道数变为原来的两倍的第二ebⅱ模块处理结果；第二ebⅱ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，和第三pmb模块处理结果输入第三ebⅱ模块中处理，得到通道数变为原来的两倍的第三ebⅱ模块处理结果；第三ebⅱ模块处理结果经过最大池化处理将其分辨率降低为原来的二分之一，和第四pmb模块处理结果输入第四ebⅱ模块中处理，得到通道数变为原来的两倍的第四ebⅱ模块处理结果；

14、第五ebⅰ模块处理结果、第一ebⅱ模块处理结果、第二ebⅱ模块处理结果、第三ebⅱ模块处理结果、第四ebⅱ模块处理结果输入解码网络中；

15、d、解码网络对第五ebⅰ模块处理结果、第一ebⅱ模块处理结果、第二ebⅱ模块处理结果、第三ebⅱ模块处理结果、第四ebⅱ模块处理结果进行解码后，得到最终眼底血管图。

16、所述的步骤b中，dcb模块的四个方向卷积分别为水平方向、垂直方向、两个对角线方向卷积；

17、所述的空洞卷积模块中设有3个空洞卷积层，3个空洞卷积层的扩张率分别为4、8、12；输入结果分别经过3个空洞卷积层处理后，得到的3个空洞卷积结果和输入结果拼接后，得到输出结果。

18、所述的步骤c中，ebⅰ模块包括两个3*3深度可分离卷积层和1*1卷积，输入结果分为两路，第一路经过1*1卷积将通道数变为两倍，得到第一路结果；另一路经过第一个3*3深度可分离卷积层处理，将通道数变为两倍后，依次经过prelu函数、instancenorm函数、第二个3*3深度可分离卷积层处理后，得到第二路结果；第一路结果和第二路结果相加后得到输出结果。

19、所述的步骤c中，ebⅱ模块包括两个3*3深度可分离卷积层和1*1卷积，两个输入结果相加融合后，分为两路，第一路经过1*1卷积将通道数变为两倍，得到第一路结果；另一路经过第一个3*3深度可分离卷积层处理，将通道数变为两倍后，依次经过prelu函数、instancenorm函数、第二个3*3深度可分离卷积层处理后，得到第二路结果；第一路结果和第二路结果相加后得到输出结果。

20、所述的步骤c中，pmb模块处理过程如下：

21、第一pmb模块中，第二ebⅰ模块处理结果、第三ebⅰ模块处理结果、第四ebⅰ模块处理结果、第五ebⅰ模块处理结果分别经过以下的插值操作公式(1)处理变成与第一ebⅰ模块处理结果尺寸相同的插值处理结果p0，这些插值处理结果p0经过以下的公式(2)处理，得到四个插值处理结果p1；第一ebⅰ模块处理结果经过以下的公式(3)处理，得到处理结果p2；将p0、四个p1、p2输入公式(4)中，处理得到处理结果p3；处理结果p3分别与四个插值处理结果p1点乘，得到四个点乘结果，四个点乘结果与第一ebⅰ模块处理结果拼接得到输出结果；

22、第二pmb模块中，第一ebⅰ模块处理结果、第三ebⅰ模块处理结果、第四ebⅰ模块处理结果、第五ebⅰ模块处理结果分别经过以下的插值操作公式(1)处理变成与第二ebⅰ模块处理结果尺寸相同的插值处理结果p0，这些插值处理结果p0经过以下的公式(2)处理，得到四个插值处理结果p1；第二ebⅰ模块处理结果经过以下的公式(3)处理，得到处理结果p2；将p0、四个p1、p2输入公式(4)中，处理得到处理结果p3；处理结果p3分别与四个插值处理结果p1点乘，得到四个点乘结果，四个点乘结果与第二ebⅰ模块处理结果拼接得到输出结果；

23、第三pmb模块中，第一ebⅰ模块处理结果、第二ebⅰ模块处理结果、第四ebⅰ模块处理结果、第五ebⅰ模块处理结果分别经过以下的插值操作公式(1)处理变成与第三ebⅰ模块处理结果尺寸相同的插值处理结果p0，这些插值处理结果p0经过以下的公式(2)处理，得到四个插值处理结果p1；第三ebⅰ模块处理结果经过以下的公式(3)处理，得到处理结果p2；将p0、四个p1、p2输入公式(4)中，处理得到处理结果p3；处理结果p3分别与四个插值处理结果p1点乘，得到四个点乘结果，四个点乘结果与第三ebⅰ模块处理结果拼接得到输出结果；

24、第四pmb模块中，第一ebⅰ模块处理结果、第二ebⅰ模块处理结果、第三ebⅰ模块处理结果、第五ebⅰ模块处理结果分别经过以下的插值操作公式(1)处理变成与第四ebⅰ模块处理结果尺寸相同的插值处理结果p0，这些插值处理结果p0经过以下的公式(2)处理，得到四个插值处理结果p1；第四ebⅰ模块处理结果经过以下的公式(3)处理，得到处理结果p2；将p0、四个p1、p2输入公式(4)中，处理得到处理结果p3；处理结果p3分别与四个插值处理结果p1点乘，得到四个点乘结果，四个点乘结果与第四ebⅰ模块处理结果拼接得到输出结果；

25、

26、p1＝sigmoid(p0)    (2)

27、p2＝sigmoid(ebi)    (3)

28、

29、所述的解码网络包括四个db模块，其解码过程如下：

30、第五ebⅰ模块处理结果和第一ebⅱ模块处理结果输入第一db模块处理，得到通道数为原来二分之一的第一db模块处理结果；第一db模块处理结果经过像素重组将分辨率增加为为原来的两倍后，和第二ebⅱ模块处理结果输入第二db模块处理，得到通道数为原来二分之一的第二db模块处理结果；第二db模块处理结果经过像素重组将分辨率增加为为原来的两倍后，和第三ebⅱ模块处理结果输入第三db模块处理，得到通道数为原来二分之一的第三db模块处理结果；第三db模块处理结果经过像素重组将分辨率增加为为原来的两倍后，和第四ebⅱ模块处理结果输入第四db模块处理，得到通道数为原来二分之一的第四db模块处理结果；

31、第四db模块处理结果经过1*1卷积处理后得到最终输出结果。

32、本发明受生物视觉机制的启发，设计包含特征增强网络，编码网络，解码网络的仿生型的视网膜血管分割网络。其中特征增强网络能让编码网络获取更丰富的视网膜血管特征信息，提升了血管的提取能力，能够获得较为准确的最终眼底血管图。