一种基于边界引导深度学习的图像分割算法的制作方法

本发明涉及图像分割与处理技术领域，具体涉及一种基于边界引导深度学习的图像分割算法。

背景技术：

图像分割是一个从图像中探测并提取兴趣目标的处理技术，其通过分析图像不同区域具有的灰度分布特性、组织对比度、以及组织之间的关联性，实现兴趣目标的有效分割。这种处理技术能够辅助图像的理解与分析、病灶的探测与定位，以及病灶区域的形态测量等任务中，因而具有十分重要的临床诊断价值和学术研究意义。为准确执行图像分割，大量的分割算法被开发出来，并被粗略地分为无监督(unsupervised)和有监督(supervised)的分割算法。(a)无监督分割算法主要根据图像自身的灰度分布特性和组织对比度等信息，通过形态学操作或阈值法等传统的计算机视觉技术，执行兴趣目标的探测与提取。这类算法通常具有较高的计算效率，能够有效分割成像质量好的图像。然而，它们无法有效处理具有较弱组织对比度，严重成像伪影或噪声的图像。特别地，这些算法往往涉及较多的依靠经验赋值的参数，无法大规模处理不同成像条件的图像而具有有限的应用价值。(b)有监督分割算法在图像处理中一般需要人工的干预，通过选择适当的特征信息或者手工标注，执行兴趣区域的分割。这类算法由于特征信息的使用，能够在一定程度上降低伪影或噪声等不利成像条件的影响，从而优于无监督的图像分割算法。然而，特征信息的获取需要大量的背景知识，并且获取的信息可能与兴趣目标具有较弱的关联性，从而影响算法的分割性能。为了自动探测图像中的各种特征信息，基于深度学习的监督分割算法在近几年得到了广泛的关注。这些基于深度学习的算法中，u-net是较为流行的一个分割网络，被大量应用于各种医学图像的分割任务中，并能够获得较高的分割性能。然而，这种u型分割网络无法有效凸显与兴趣目标密切相关的特征信息，且容易丢失某些关键的图像信息，从而在目标的边界区域具有相对较低的分割精度。为了改善u-net网络在边界区域的分割性能，就需要设计合适的卷积模块和网络架构，执行目标及其边界的准确分割。

作为一个经典的分割网络，u-net虽然能获得较好的分割性能，但是在某些情况下具有有限的边界探测精度。这主要因为(a)u-net网络对编码卷积特征无差别地进行解码处理，不仅容易受到不相关的冗余特征的干扰，而且导致关键的目标特征在分割中具有较低的作用权重；(b)分割网络多次使用图像下采样操作，极大降低了图像的分辨率，导致大量结构纹理的丢失，引发目标边界的模糊。这些不足导致u-net网络无法有效处理目标的边界区域，尤其是输入图像存在较弱的组织对比度，严重的成像伪影或噪声等现象的时候。为了克服u-net网络存在的不足，便需要设计合适的深度学习网络，通过对相邻两个卷积层之间的特征信息进行必要的处理，突显图像中与兴趣目标密切相关的边界信息，提升分割网络对目标边界的探测敏感性，实现目标及其边界的同时准确分割。

技术实现要素：

为了解决现有技术存在的技术缺陷，特别是针对图像存在较低的组织对比度，严重的成像伪影或噪声等现象时的分割处理的问题，本发明提供了一种基于边界引导深度学习的图像分割算法。

本发明采用的技术解决方案是：一种基于边界引导深度学习的图像分割算法，包括以下步骤：

(1)根据传统边界探测算法，构建三个不同的卷积模块，即编码卷积模块、解码卷积模块、以及边界意识卷积模块，实现输入图像中目标卷积特征和边界卷积特征的探测；

(2)将三种不同的卷积模块整合到经典的u型网络中，构造两个不同的网络分支，分别为目标提取子网络和边界探测子网络，利用它们执行兴趣目标及其边界的准确提取；

(3)有效整合上述两个子网络中的卷积特征，实现边界卷积特征引导的图像分割。

所述的步骤(1)具体为：基于传统边界探测算法，将编码卷积模块和解码卷积模块整合到经典的u-net网络中，用于替换该网络在图像编码和特征解码过程中使用的单一卷积模块，从而构建一个目标提取子网络(oes)，该网络和u-net在网络架构上保持一致，实现目标和边界卷积特征的分别提取，以及兴趣目标的分割，将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以u型网络架构的形式构建一个新的边界探测子网络(eds)，执行兴趣目标对应边界的提取。

所述的将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以u型网络架构的形式构建一个新的边界探测子网络的步骤为：根据u-net网络中解码卷积模块的结构，需要对不同的编码卷积特征进行串联处理，然后利用多个卷积层对串联结果进行卷积和作差操作，从而得到一个用于提取目标区域的解码卷积模块和一个用于探测目标边界的边界意识卷积模块。

所述的步骤(2)具体为：将上述编码卷积模块和解码卷积模块整合到u型网络结构中，可以构建一个目标提取子网络，用于提取指定的目标区域。将编码卷积模块和边界意识卷积模块整合到u型网络结构中，可构建一个边界探测子网络，用于探测目标区域对应的边界，两个子网络分别用于目标和边界卷积特征的解码处理，实现输入图像到兴趣目标及其对应边界的分割。

所述的步骤(3)具体为：将编码卷积模块的探测的目标和边界卷积特征、边界意识卷积模块输出的解码卷积特征、以及上采样操作的输出结果四种特征信息输入到解码卷积模块中，通过基于图像通道的串联操作实现各种不同种类的特征信息的整合，然后使用三个相同卷积层,即conv3×3→bn→relu，一个基于元素的减法运算和一个基于图像通道的串联操作，执行特征信息的解码处理。逐层级地执行两个子网络输出结果之间的整合与解码，便可以构建一个基于边界引导的图像分割网络。

本发明的有益效果是：本发明提供了一种基于边界引导深度学习的图像分割算法，通过设计三个不同的卷积模块和两个不同的子网络，对经典的u-net网络进行改进，从而构建一个具有边界引导特性的图像分割网络，执行图像中兴趣目标及其边界的同时提取，本发明可用于图像分割任务中，并且能够获得相对较高的分割精度，可为目标空间定位，病灶探测及其形态量化提供重要理论支撑。

附图说明

图1是本发明的流程图。

图2是本发明中拟设计的一种边界引导的图像分割网络。

图3是本发明中受传统边界探测算法启发而设计的三个不同的卷积模块，从上到下分别为编码卷积模块，解码卷积模块，边界意识卷积模块。

图4是本发明针对角膜oct图像进行分割后的结果，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为u-net、m-net、deeplabv3、以及拟设计网络对应的分割结果。

图5是本发明中拟设计的分割网络获取的目标边界，其中，第1和3列为手工标注的目标边界，第2和4为分割网络获取的目标边界。

具体实施方式

设计思路：

卷积模块的设计(1)现有基于深度学习的图像分割网络(如u-net)通常使用较为简单的卷积模块实现输入图像中各种卷积特征的提取。这些卷积模块通常由两个相同的卷积层(convolutionallayer)构成，每个卷积层由深度学习领域中三个基本的操作模块组成，即3×3的卷积运算(3×3convolutionaloperation,conv3×3)，批正则化(batchnormalization,bn)和修正线性激活函数(rectifiedlinearunit,relu)。这些基本操作的顺序迭加(即conv3×3→bn→relu)使得卷积模块通常具有较为有限的特征探测性，无法有效凸显与兴趣目标密切相关的卷积特征(如目标边界或位置等特征)，从而导致深度学习网络在图像分割中存在一定的性能缺陷。为了增强图像中的关键特征信息，就行要合理设计卷积模块，有效分辨图像中的不同卷积特征，使它们在深度学习过程中具有不同的作用权重，进而改善兴趣目标的探测敏感性和分割准确性。为此，本发明受传统边界探测算法(即一个图像与其平滑滤波结果之差，能在一定程度上凸显图像中的各种边界纹理)的启发引入三个不同的卷积模块，执行不同卷积特征的编码探测和解码提取。这些卷积模块通过计算相邻两个卷积层输出结果对应位置上的信息差异，抓取兴趣目标在不同卷积特征图(featuremaps)上的形态变化，从而改善分割网络对目标边界的探测敏感性，确保这些边界信息在分割网络中具有更大的作用权重，提升图像的分割性能；

目前常用的卷积模块是两个相同卷积层(即conv3×3→bn→relu)简单叠加而成，卷积层输出结果之间不存在任何其他操作。为了探测卷积模块内不同卷积层输出结果间的信息差异，本发明借鉴传统边界探测算法，设计三个不同的卷积模块。其中，传统边界探测算法可表为：

其中，i表示输入的原始灰度图像，表示卷积运算符，g(σ)表示标准差为σ的高斯核函数。e为原始图像与其高斯滤波结果之间的差图(differenceimage)，该图相比原始图像可以更明显地凸显图像中的各种边界信息，这些信息通常与目标的边界密切相关，因此可以为目标区域的分割提供关键指导。

基于这一传统边界探测算法，可对现有的卷积模块进行改造，通过计算指定卷积层前后的特征信息变化，实现图像中各种边界纹理的探测与增强。拟设计的卷积模块如图3所示，它们分别为：(a)用于编码输入图像中各种信息的编码卷积模块，可实现像素灰度到卷积特征的转变；(b)用于解码各种卷积特征的解码卷积模块，执行冗余特征信息的排除和关键模块特征的选择与增强；(c)用于边界卷积特征解码处理的边界意识卷积模块，其作用类似于解码卷积模块。这些卷积模块通过基于像素的减法运算将图像信息分别转化为目标卷积特征和边界卷积特征，从而实现不同特征信息的分辨与增强。

基于卷积模块的网络分支设计(2)经典的u-net网络是一种结构简洁的端到端深度网络架构，被广泛用于各种医学图像的分割任务中并且可以获得较高分割性能；但是这种网络由于(a)在图像分割中不加辨别地处理各种卷积特征，从而对某些与兴趣目标密切相关的重要特征不够敏感；(b)多次使用图像下采样操作(maxpooling2×2)，导致大量的纹理细节和空间位置等信息的丢失，进而导致目标边界区域具有较低的分割精度。为了克服上述两个缺点，本发明将前文引入的三个卷积模块引入到u型网络结构中，通过设计两个不同的u型网络分支，分别实现兴趣目标及其对应边界的提取。这两个子网络均使用u型结构，因此在一定程度上继承了u-net网络具有的优点。此外，由于目标及其边界具有极强的组织关联性，因此可将两个子网络中不同卷积层次的特征整合到一起，使目标的分割和边界的探测能够互相促进，共同推动目标区域的准确提取；

将编码卷积模块和解码卷积模块整合到经典的u-net网络中，用于替换该网络在图像编码和特征解码过程中使用的单一卷积模块，从而构建一个目标提取子网络(oes)。该网络和u-net在网络架构上保持一致，主要实现目标和边界卷积特征的分别提取，以及兴趣目标的分割。为了克服u-net存在的不足，将目标提取子网络中获取的边界卷积特征输入到边界意识卷积模块中，同样以u型网络架构的形式构建一个新的边界探测子网络(eds)，执行兴趣目标对应边界的提取。由于目标提取子网络能够同时获取目标和边界卷积特征，因此两个子网络共用一个图像信息编码操作，但使用不同的特征解码操作。

这种设计策略的优点主要包括：(a)将输入的图像信息转换为不同的卷积特征，使这些特征在图像分割中具有不同的作用权重，从而改善分割网络对兴趣目标的敏感性，有效提升网络模型的训练效率和分割性能；(b)边界卷积特征通常与兴趣目标的边界密切相关，这关联图像能在一定程度上增强目标边界特征，降低边界区域的分割误差；(c)同时对兴趣目标及其边界进行分割，能部分缓解多次图像下采样造成的信息丢失问题，减少冗余的不相关特征对分割性能的干扰。

基于边界引导的分割网络(3)上述设计的两个网络分支分别执行兴趣目标及其对应边界的提取；鉴于兴趣目标及其边界间的组织关联性，结合两个网络分支中对应的卷积特征，可在一定程度上改善图像的分割精度。为此，借助解码卷积模块将两个网络分支中对应卷积层次的解码特征整合起来，通过基于图像通道的串联操作(channel-wiseconcatenation)或基于像素的减法运算(element-wisesubtraction)，实现冗余卷积特征的删除和关键目标特征的增强。逐层次地实现上述解码卷积模块的操作，可将输入图像转化为一个相同维度的概率图(probabilitymap)，使用合适的概率值阈值化概率图，即可获得所需的分割结果。为了获得输入图像的概率图，需要使用合适的代价函数(lossfunction)和优化算法(optimizationalgorithm)，在已标注图像上对分割网络进行模型的训练。训练完成后，可应用训练过的模型执行大量图像中指定兴趣目标的快速准确分割；

鉴于兴趣目标与其边界间的关联性，将目标提取子网络和边界探测子网络中的卷积特征整合起来，执行目标的逐层级的解码。具体地，将编码卷积模块的探测的目标和边界卷积特征、边界意识卷积模块输出的解码卷积特征、以及上采样操作(upsampling2×2)的输出结果四种特征信息输入到解码卷积模块中，通过基于图像通道的串联操作实现各种不同种类的特征信息的整合，然后使用三个相同卷积层(即conv3×3→bn→relu)，一个基于元素的减法运算和一个基于图像通道的串联操作，执行特征信息的解码处理。逐层级地执行两个子网络输出结果之间的整合与解码，便可以构建一个基于边界引导的图像分割网络。

基于边界引导的分割网络由u-net网络拓展而来，但在网络架构上具有独特的特点：(a)受传统边界探测算法的启发，大量使用基于像素的减法运算，有效提升了分割网络对目标边界的探测敏感性，改善了边界区域的分割精度；(b)多次使用经典的u型网络结构，在保持该结构优点的同时，提升兴趣目标及其边界的探测性能；(c)两个子网络共用一个编码操作过程实现图像信息到卷积特征的转换，且它们的解码结果被整合到一起，从而确保目标与边界的提取可以互相促进，共同推动目标区域的准确分割。

下面结合附图对一种基于边界引导的图像分割深度学习网络做进一步描述；

参考图1，本发明一种基于边界引导的图像分割深度学习网络，包括如下步骤：

步骤1，基于传统边界探测算法构建具有边界敏感特性的卷积模块，实现目标和边界卷积特征的编码和解码处理。

(1a)在经典的u-net网络中，图像信息的编码与解码处理主要依靠由两个卷积层线性迭代而成的卷积模块进行简单地顺序执行，卷积模块不会对两卷积层输出结果之间的信息差异进行任何对比评估，导致分割网络无法在排除冗余特征和增强目标信息之间取得合适的平衡，进而引发相对较大的边界分割误差。为了改进卷积模块的探测性能，将相邻两个卷积层的输出结果进行基于像素的减法运算，用以探测不同特征图像中结构纹理的变化情况。这种处理类似于传统的边界探测算法，能够探测到大量与目标边界密切相关的特征信息，因此可用于引导目标区域的分割。由于减法运算的引入，适当整合不同卷积层的输出结果，便可以得到拟设计的编码卷积模块，实现目标和边界卷积特征的探测。

(1b)为了有效处理编码卷积模块探测的目标和边界卷积特征，便需要设计不同的卷积模块(即解码卷积模块和边界意识卷积模块)分别用于两种卷积特征的解码操作。根据u-net网络中解码卷积模块的结构，需要对不同的编码卷积特征进行串联处理，然后利用多个卷积层对串联结果进行卷积和作差操作，从而得到一个用于提取目标区域的解码卷积模块和一个用于探测目标边界的边界意识卷积模块。

步骤2，基于卷积模块的网络分支设计

将上述编码卷积模块和解码卷积模块整合到u型网络结构中，可以构建一个目标提取子网络(objectextractionsub-network,oes)，用于提取指定的目标区域。将编码卷积模块和边界意识卷积模块整合到u型网络结构中，可构建一个边界探测子网络(edgedetectionsub-network,eds)，用于探测目标区域对应的边界。这两个子网络分别用于目标和边界卷积特征的解码处理，实现输入图像到兴趣目标及其对应边界的分割。

步骤3，基于边界引导的分割网络

由于编码卷积模块可同时探测输入图像中的目标和边界卷积特征，因此可将上述设计的两个子网络整合到一起，使它们共用一个图像编码处理过程，同时由于目标区域与其边界具有极强的组织关联性，可将两个子网络的解码输出结果进行有效整合，使目标区域的提取与目标边界的探测能够互相促进，共同推动兴趣目标的分割。这种由两个子网络耦合而成的网络，即为本发明拟设计的边界引导的图像分割网络。

1、仿真条件：

本发明在windows1064bitintel(r)xeon(r)gold5120cpu@2.20ghz2.19ghzram64gb平台上的keras深度学习软件上进行分割实验，实验数据为从温州医科大学附属眼视光医院收集并手工标注的角膜oct图像数据集。

2、仿真内容与结果

本仿真实验使用角膜oct图像对拟设计的边界引导的分割网络进行训练和独立验证，测试算法的有效性，并与现有三个分割网络(即u-net、m-net和deeplabv3)的性能进行对比评估，实验结果呈现在图4和5中：

图4中，第1-2列分别为待分割的原始图像及其对应的手工标注结果，第3-6列分别为u-net、m-net、deeplabv3、以及拟设计网络对应的分割结果。从分割结果可以看出，拟设计的分割网络比其他分割网络具有更好的分割精度和更平滑的目标边界。

图5中，第1和3列为手工标注的目标边界，第2和4为分割网络获取的目标边界。根据分割结果可以看出，拟设计的分割网络能够成功提取目标的边界，即使在目标边界较为细小的情况下。此外，由于角膜oct图像具有极低的组织对比度，这导致拟设计的分割网络在某些区域无法有效地探测到目标的边界。

对四种不同网络的分割结果可以发现：拟设计的分割网络能够准确探测不同大小的兴趣目标，并且具有最优的分割性能。其他三种分割网络中在图像分割中无法同时兼顾不同大小的兴趣目标，因而具有相对有限的分割性能。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。