基于分支注意力及多模型融合的眼底血管分割方法与流程

本发明涉及医疗图像处理技术领域，具体地涉及一种基于分支注意力及多模型融合的眼底血管分割方法。

背景技术：

目前，图像前背景分割技术在诸多现实场景中有着广泛的应用，如何构建准确、高效的图像前背景分割模型是图像分类技术中的最重要的一步。现有的分割方法主要是基于有监督学习，即先由人工收集大量的目标类别的有标注的训练数据，再用这些训练数据为目标类别构建分割模型。

眼底图像中的视网膜血管分割和视网膜血管形态特征的描述，例如长度，宽度，曲折度，分支模式和角度，可用于诊断，筛查，治疗和评估各种心血管和眼科疾病，例如糖尿病，高血压，动脉硬化和脉络膜新生血管形成。

脉管系统的自动检测和分析可以帮助实施糖尿病性视网膜病变的筛查程序，可以帮助研究血管曲折和高血压性视网膜病变之间的关系，与高血压的诊断有关的血管直径测量以及计算机辅助激光手术。此外，发现视网膜血管树对于每个人来说都是唯一的，并且可以用于生物识别。

视网膜脉管系统结构牵涉重要信息，并帮助眼科医生检测和诊断各种视网膜病理学，例如早产儿视网膜病变，糖尿病性视网膜病变，青光眼，高血压和与年龄相关的黄斑变性(amd)失明的原因。视网膜血管的分割对于视网膜疾病的诊断辅助，治疗和手术计划特别重要。血管形态的变化(例如形状，曲折度，分支模式和宽度)可对许多视网膜疾病进行准确的早期检测。

在过去的二十年中，研究人员已经进行了大量的研究来从视网膜眼底图像中分割血管，并取得了一定的成果，这些方法在实现分割精度方面与训练后的人类标注人员的分割结果相当。尽管如此，由于血管结构的复杂性质带来的各种挑战的存在，原来的方法仍然有改进的余地，这些挑战包括存在异常时的分割，细血管结构的分割以及分叉和交叉区域附近的分割。

目前基于深度学习的分割方法主要是基于u-net的分割方法及其改进方案，尽管已经提出了许多基于深度学习的方法，但是现有方法往往会错过精细的血管结构或在末端分支处出现误报。mosinska等人发现像素级损失不适合视网膜血管分割，因为它们无法在最终预测中反映错误的拓扑影响，于是他们发明了一种新的损失函数，也就是为交叉熵损失增加了一个系数，根据聚焦像素和最近像素之间的欧式距离来设计一种估计连通性的方法，但由于其中使用的vgg网络特征图并非十分的理想，也有误差，因此效果并不能达到理想。最近由于生成对抗神经网络思想和效果都较好，sonjaemin等人使用生成对抗神经网络生成视网膜血管分割图，但由于训练数据首先，生成器比判别器难训练，也较难达到很好地训练效果。目前也有基于重要性采样的方法和增加注意力的方式让训练过程中对有断点的预测结果给予惩罚，达到对断点区域的注意力，但是由于重要性采样的注意力方式最终是经验近似值，无法精确地反应更加广泛的数据分布，因此在效果上可能有一定差距。

技术实现要素：

本发明所要解决的技术问题是提供一种基于卷积神经网络多维度融合的ct图像器官分割方法。本发明解决了在眼底图像血管分割问题中，一些细小的血管无法被很好分割的问题，使得在眼底细小血管较多的情况下，设计分割模型和注意力损失函数，从而保证在分割过程中，眼底血管分割模型能够注意到细小血管部分，提高了分割准确率。

通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。

本发明解决上述技术问题的技术方案如下：

根据本公开的一方面，本发明提供一种基于卷积神经网络多维度融合的ct图像器官分割方法，所述方法包括：利用注意力损失函数、通过标签计算得到的权重、训练数据和标签数据来训练unet++模型；利用训练数据、标签和二元交叉熵损失函数训练unet++模型；利用所得到的两个训练后的unet++模型和待分割数据分别得到两个不同的分割结果；以及将所述两个不同的分割结果进行融合。

可选地，在如上所述的方法中，对于眼底血管分割图像，为了更好地让图像中血管像素与其他的像素对比度更高，需要使用clahe将图像进行增强预处理，同时在训练时，需要对眼底图像进行旋转和随机裁剪操作，用于对训练数据的扩充。

可选地，在如上所述的方法中，为了提高神经网络对眼底血管分支以及其连通区域的分割准确性，需要在训练过程中给不同的像素的损失值以不同的权重。

可选地，在如上所述的方法中，对于每一个像素p，以其为中心构建一个大小r*r的滤波器，通过该滤波器计算所述像素p的连通程度。

可选地，在如上所述的方法中，首先，选取所述滤波器左上角的像素作为遍历起始点，记录其像素值，然后控制指针逐步绕着所述滤波器边缘移动，设置记录变色次数的整数，其初始值为0，在移动过程中，如果当前像素值与前一个像素值不相同，则将该整数加1然后继续移动，否侧不加1并继续移动，直到移动到初始位置为止，其中该整数代表了该像素周围具有的连通分支的数量，分支越多越代表该像素处于血管分支位置，然后计算当前像素的密度权重，最后得到每个像素的最终权重，其中每个像素在分支和细小血管上具有较大的权重，在大血管周围具有较小的权重。

可选地，在如上所述的方法中，通过二元交叉熵损失函数训练unet++模型采用四次降采样和四次上采样的形式进行训练。

可选地，在如上所述的方法中，训练后的unet++模型使用边缘微调训练策略来对分割网络进行进一步优化。

可选地，在如上所述的方法中，在得到训练后的两个模型后，利用两个模型对测试集分别生成不同的血管分割结果，其中该结果为图像每一个像素是否为血管的概率。

可选地，在如上所述的方法中，以将所述两个不同的分割结果求平均的方式对于所述两个不同的分割结果进行融合。

上述技术方案仅为本发明实施例的一些部分，本领域技术人员从以下本发明的详细描述中可以导出和理解包含了本发明的技术特征的各种实施例。

从上述的技术方案中可以看出，本发明的创新之处在于设计出连通性注意力损失函数以及结果融合的方式得到分割最终的结果，通过不同的损失函数所注意的地方不同的特点，将神经网络的分割重点进行划分，让不同的网络分别负责不同重点分割区域，提高分割效果，从实验的结果来看，本发明所提出的基于连通性注意力的损失函数和多分割模型分割结果融合方法具有分割精度高、适用范围广等优点，具有较强的实际应用前景。

本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。

附图说明

被包括以提供对本发明的进一步理解的附图示出本发明的实施例，并且与说明书一起用于解释本发明的原理。

图1为本发明实施例提供的一种基于分支注意力及多模型融合的眼底血管分割方法的示意图。

图2为本发明实施例提供的一种基于分支注意力及多模型融合的眼底血管分割方法的逐像素权重算法计算结果的可视化图。

图3为本发明实施例提供的一种基于分支注意力及多模型融合的眼底血管分割方法的边缘分割网络结构的示意图。

具体实施方式

现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。

在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1示出了本发明实施例提供的一种基于分支注意力及多模型融合的眼底血管分割方法的示意图。其具体实施方式如下：

1眼底图像增强

对于眼底血管分割图像，为了更好地让图像中血管像素与其他的像素对比度更高，需要将图像进行增强预处理，在本发明中使用clahe进行预处理，同时在训练时，需要对眼底图像进行旋转，随机裁剪等操作，用于对训练数据的扩充。具体操作如下，首先，记眼底图像为i，记旋转操作为r(i，angle)，记范围为[0，n]的随机数为rand(n)，clahe操作为clahe(i)，i为一张眼底图像，随机裁剪为clip(i，range)它表示对图像i进行大小为range的随机裁剪。那么用于模型训练的训练图像可以表示为clip(r(clahe((image)，random(360))，480)，用于模型测试的测试图像可以表示为clahe(image)，同时，训练的数据和标签的裁剪和旋转方式务必要一致，因此标签也需要进行相同角度的旋转和相同范围的裁剪。本发明在训练的过程中，这样的增强方式能够保证增强的过程中大概率不重复的取采样到不同的区域，但由于本发明旋转所用的方式为三次样条插值法，会导致值为pixel∈{0，1}的像素值会轻微的改变，即可能出现小于1和大于0的情况，因此不应该使用向下或向上取整的方式，来将插值旋转后的像素重新分配到pixel∈{0，1}的取值空间，因此本发明中，被旋转后的图像将做一次取值变换，变换函数为

2计算连通性注意力的像素权重

为了提高神经网络对眼底血管分支以及其连通区域的分割准确性，需要使神经网络对这一部分区域有较多的注意力，因此需要在训练过程中给不同的像素的损失值以不同的权重，如何构建这样的一个权重是本发明解决的一个重要问题。具体来说，对于每一个像素p，以其为中心构建一个大小r*r的滤波器，通过该滤波器计算这一个像素的连通程度，其计算过程如下，首先，选取滤波器左上角的像素作为遍历起始点，记录其像素值(0或255)，然后控制指针逐步绕着滤波器边缘移动，设置一个记录变色次数的整数ci，并记录一个，其初始为0，在移动过程中，若当前像素值与前一个像素值不相同，则将ci加1，继续移动，否侧不加1并继续移动，直到移动到初始位置为止。其中ci则代表了这个像素周围会有多少个连通分支，分支越多越能代表改像素处于血管分支位置，模型需对其有一定的注意力。得到difference后，需计算当前的密度权重，通过公式得到像素的密度权重，其中r为滤波器的边长。最后得到每一个像素的最终权重在本专利中，r的大小为5，由于像素密度和连通数目的存在，最终每个像素会在分支和细小血管上有较大的权重，在大血管周围权重较小，最后得到的权重图的可以可视化，如图2所示，其中，灰度值越高的地方代表损失注意力权重越大，可以看到权重较大的像素主要集中在分支处。

3使用两种损失函数训练unet++模型

本发明的第二个创新点在于使用两种不同的损失函数训练unet++模型，并将两个模型的测试结果进行融合，这样做的前提是基于两个模型分别会对不同的血管有着不同的分割效果，利用带分支注意力权重的损失函数训练出来的模型对分支的分割效果更好，利用二元交叉熵训练得到的模型对主干的分割效果更好，基于这样的假设，本发明应用unet++模型进行不同损失函数的训练得到不同注意力的模型，其具体步骤如下，首先通过二元交叉熵损失函数训练unet++模型，本发明中采用四次降采样和四次上采样的形式，并利用“深监督”的训练方法进行训练，得到训练后的模型mθ1其中θ1是模型的参数，然后，利用步骤二中的方法得到损失函数中每一个像素的权重，在训练中将像素的权重其乘上每一个像素的损失值，最后将所有的损失值求平均得到最终的损失值，通过sgd算法进行模型的优化得到模型mθ2，其中θ2为模型参数。

4边缘微调训练策略

在步骤(3)得到训练好的unet++模型(为参数集合)后，本发明使用边缘微调训练策略来对分割网络进行进一步优化，其具体做法如下，首先，定义血管边缘像素为其周围八个像素的均值小于1且自身像素值为1的像素，通过该定义从血管标签中得到血管的边缘图，训练一个小型的网络，用于对标签进行边缘分割，网络具体如图3所示。通过血管标签以及根据血管标签得到的边缘图对边缘分割网络进行训练，训练使用的损失函数为二元交叉熵损失函数，优化方式为随机梯度下降(sgd)，训练后得到边缘分割模型其中为的参数集合。

训练好边缘分割网络之后，则将该边缘分割网络和本身的一起进行训练，具体训练过程是，通过对原始图像进行分割，得到分割后的图像，将分割后的图像输入到边缘分割网络得到分割后的边缘图，利用输出的图像和血管标签图像求二元交叉熵损失值lunet++(label，ouput)，利用边缘分割网络输出的边缘图和血管标签得到的真实边缘求二元交叉熵损失ledge(labeledge，outputedge)。在优化时，反向传播的损失值为lunet+++λledge，最后通过该损失值训练得到血管分割模型，其中λ在本发明中设置为0.25，在优化训练中，学习率设置为0.0001，优化方法为随机梯度下降法(sgd)，在反向传播过程中，固定的参数不被改变，只优化网络。该方法使得网络在正常分割的过程中，对边缘像素有一个附加惩罚，并通过小网络反向传播到大网络进行优化。

5多模型的测试结果融合

在得到上述训练后的两个模型和后，本发明利用两个模型对测试集分别生成不同的血管分割结果r1和r2，其中r1和r2为图像每一个像素是否为血管的概率，最后得到其中表示相同大小的分割图中的逐像素值相加。round(rfinal)即为本发明的最终血管分割结果，其中

通过在眼底血管分割公开数据集drive上的实验，本发明所提出的基于血管分支注意力损失函数以及多模型融合的眼底血管分割模型训练方式表现出了有效性。具体来说，drive数据集的照片来自荷兰的糖尿病视网膜病变筛查计划。筛查人群由年龄在25-90岁之间的400位糖尿病患者组成。随机选择了40张照片，其中33张未显示任何糖尿病性视网膜病变的征兆，而7张显示了轻度早期糖尿病性视网膜病变的征兆。在drive数据集中，以20张照片作为训练集，20张照片作为测试集，最终评价标准为20张测试图片的平均dice系数。对于drive数据集，本发明所提出的方法在分割任务上取得了0.8313的dice系数成绩，效果优异。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。