基于注意力机制和全卷积神经网络的冠状血管分割方法与流程

本发明涉及医学图像处理技术领域，尤其是涉及一种基于注意力机制和全卷积神经网络的冠状血管分割方法。

背景技术：

冠心病是当今世界上最大的健康问题之一。通过在医学图像中分割冠状动脉并检查它们，可以找到关于异常狭窄和斑块的重要信息，这些是造成这些疾病的主要原因。

当今手动分割冠状动脉很耗时并且由操作者的主观意识去决定，准确度低，图像清晰度也不够，这使得现在的临床医学图像识别处理中对自动分割技术的需要显而易见。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于注意力机制和全卷积神经网络的冠状血管分割方法。

本发明的目的可以通过以下技术方案来实现：

一种基于注意力机制和全卷积神经网络的冠状血管分割方法，该分割方法包括以下步骤：

步骤1：获取用于神经网络训练的输入数据；

步骤2：利用输入数据训练融入注意力机制的三维全卷积网络模型；

步骤3：利用训练完毕的三维全卷积网络模型对实际病人图像进行冠状血管初步预测分割；

步骤4：通过传统算法对初步预测分割的结果进行迭代优化并获得最终的冠状血管分割结果。

进一步地，所述的步骤1包括以下分步骤：

步骤11：获取冠状血管原始cta图像；

步骤12：针对原始cta图像进行筛选；

步骤13：对经过筛选后的cta图像进行需要分割的冠脉和主动脉的位置标注；

步骤14：对经过位置标注的cta图像进行数据二值化得到最终用于神经网络训练的输入数据。

进一步地，所述步骤11中的冠状血管原始cta图像的个数为200～300，所述步骤13中的经过筛选后的cta图像的个数至少为160。

进一步地，所述步骤2中的融入注意力机制的三维全卷积网络模型包括第一卷积层、第二卷积层和第三卷积层，所述第一卷积层采用的卷积核尺寸为5×5×5，其采用的卷积步长为1，所述第二卷积层采用的卷积核尺寸为2×2×2，其采用的卷积步长为2，所述第三卷积层采用的卷积核尺寸为1×1×1。

进一步地，所述步骤2中三维全卷积网络模型的描述公式为：

式中，表示第，层的第m个三维全卷积网络模型输出特征体积，σ(.)表示非线性激活函数，表示内核尺寸为m×n×t的3d滤波器，表示偏差，表示第l-1层的第k个特征体积。

进一步地，所述非线性激活函数，其描述公式为：

σ(fi)＝max(0，fi)+αi·min(0，fi)

式中，σ(fi)表示非线性激活函数的输出，fi表示非线性激活函数的输入，αi表示学习控制fi的负数部分所需的训练参数。

进一步地，所述步骤4具体包括：通过水平集函数算法对初步预测分割的结果进行迭代优化并获得最终的冠状血管分割结果，所述水平集函数算法的演化满足方程为：

式中，φt表示水平集函数，表示包括与图像有关的项以及与曲线的几何形状有关的项的曲线法线方向上的速度函数。

进一步地，所述步骤2中的注意力机制采用注意力门，其描述公式为：

式中，σ1和σ2表示注意系数，表示注意系数矢量，gi表示门控矢量，θatt表示注意力门的特征参数组合，和分别表示输入特征图和门控矢量各自的线性变换矩阵，表示输入特征图，gi表示门控矢量，bg表示门控矢量偏置项，ψ^t表示参数整流线性单元的线性变换矩阵，bψ表示参数整流线性单元的偏置项。

与现有技术相比，本发明具有以下优点：

(1)本发明利用深度学习中的三维全卷积神经网络对冠脉血管进行分割，并且在三维全卷积神经网络中联合注意力机制来提升网络整体的训练以及预测的效果，最后还把网络预测结果送入水平集函数进行进一步迭代优化，来得到最终分割结果，实现冠脉血管的全自动分割，更好的辅助医学，判断速度快。

(2)本发明尤其适合用于医院等医疗卫生部门，当医院的医生想要对患者做出相关判断，判断患者是否具有冠心病等心血管疾病的时候，就不需要通过从外界引入压力导丝去判断血管是否堵塞等症状，更不需要让医务人员在冠脉cta影像上手动分割血管，只需要把患者原始冠脉cta(computedtomographyangiography)影像送入到计算机中，让计算机通过计算来自动分割血管，从而准确判断患者是否具有冠心病等心血管疾病，及早进行治疗，整体效率高，准确度高。

附图说明

图1为本发明的整体方法阶段模块图；

图2为本发明的方法流程示意图；

图3为本发明的融入注意力机制的三维全卷积网络模型的结构图；

图4为本发明中注意力机制的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示为本发明的整体方法阶段模块图，包括：数据准备模块，通过专家人工标注的方法把冠脉血管部位标注好，是原始数据与标签数据成对存在，深度学习模块，把成对冠脉血管数据送入到联合注意力机制的三维全卷积网络去训练模型，并用训练好的模型对血管部位进行预测分割，传统算法优化模块，把网络分割的初步结果运用水平集函数进行迭代优化，深度学习模块采用了融入注意力机制的三维全卷积网络模型来对冠脉血管进行初步预测分割，提升分割的精度。

如图2所示为本发明的方法流程示意图，该分割方法包括以下步骤：

步骤1：获取用于神经网络训练的输入数据；

步骤2：利用输入数据训练融入注意力机制的三维全卷积网络模型；

步骤3：利用训练完毕的三维全卷积网络模型对实际病人图像进行冠状血管初步预测分割；

步骤4：通过传统算法对初步预测分割的结果进行迭代优化并获得最终的冠状血管分割结果。

具体步骤流程如下：

数据准备，首先获取冠脉血管原始cta影像，一组病人的原始数据一般包含200到300张切片，里面包含很多无用切片(不存在冠脉和主动脉的情况)，所以先通过筛选的方法把每组病人的数据固定到160张，然后通过人工标注的方法标注出需要分割的冠脉和主动脉所在的具体位置，并且把标签数据二值化，1代表血管的对应位置，0代表背景部分，最后使得每组病人的原始冠脉cta图像与标签图片成对存在。

深度学习，原始网络本发明实施例选用三维全卷积网络结构，如图3所示，网络的左侧分为不同的阶段，以不同的分辨率运行。每个阶段包含一到三个卷积层，并且在每个阶段中，通过把每个阶段的输入在卷积层中进行非线性处理，并且将该层添加到该级的最后一个卷积层的输出，以便能够学习残差函数。在网络结构中融入这种残差函数学习的优点就在于可以使网络在短时间内达到收敛的状态。在每个阶段中执行的卷积使用的是卷积核尺寸5×5×5，步长为1的卷积。随着数据沿编码路径前进不同阶段，其分辨率逐渐降低。这是通过卷积核尺寸2×2×2，步长为2的卷积来完成。由于第二个操作仅通过考虑非重叠的2×2×2卷积核来提取特征，因此所得特征图的大小减半。这种通过卷积来减半特征图的方法也是代替了以往卷积神经网络中常用的池化操作。此外，由于特征通道的数量在该网络中的编码路径的每个阶段加倍，并且由于模型作为残差网络的形成，本发明实施例采用这些卷积操作使特征映射的数量加倍，因为本发明实施例降低它们的分辨率。在整个网络中应用了prelu非线性激活函数，并且在非线性激活函数前本发明实施例也采用了批标准化，通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布，这样可以使梯度变大，避免产生梯度消失，加速网络的收敛。使用卷积方法进行编码操作也会导致网络在训练期间会占用更小的内存。网络的编码路径中的下采样部分允许本发明实施例减小输入的大小，并增加在后续网络层中计算的特征的接收域。网络解码路径主要进行提取特征并扩展较低分辨率特征图，以便收集和组合必要的信息，并且每个阶段计算出的特征数量是前一层的两倍。最后一个卷积层采用卷积核尺寸1×1×1并产生与输入体积大小相同的输出的一个特征映射并通过应用sigmoid激活函数转换为前景和背景区域的概率。在该网络的解码路径的每个阶段之后，采用反卷积运算以增加输入的大小，接着是一到三个卷积层，涉及前一层中采用的5×5×5卷积核的数量的一半。与网络的编码路径部分类似，同样，本发明实施例也会在卷积阶段学习残差函数来加速网络模型的收敛。在标准的卷积神经网络模型中，本发明实施例一般采取对特征图网格逐渐下采样来捕获足够大的感知场从而能够更好地捕获语义上下文信息。通过这种方式，可以让网络模型学习到粗糙空间网格水平模型的位置和全局范围内组织之间的关系。然而，仅通过下采样的方式仍然难以减少对于显示大的形状可变性的小物体的假阳性预测。为了提高准确性，当前的分割框架依赖于附加的在前对象定位模型来将任务简化为单独的定位和后续分割步骤。在这一任务中，本发明实施例通过把注意力机制融入到标准卷积神经网络模型中可以实现相同的目标。与多级卷积神经网络中的定位模型相反，它不需要训练多个模型和大量额外的模型参数，并且注意力机制的最大特点在于它可以逐渐抑制在不相关的背景区域中的特征响应，而不需要通过级联网络来裁剪roi。在本发明实施例的工作中，通过把注意力机制合并到三维全卷积网络的网络架构中，以突出通过跳跃连接传递的显著特征，结构如图3所示。从粗略提取的信息用于门控以消除跳跃连接中的不相关和噪声。这在串联操作之前执行来合并相关激活。另外，注意力机制在正向传播期间以及反向传播期间过滤神经元激活。源自背景区域的梯度在反向传播期间向下加权。这允许较浅层中的模型参数主要基于与给定任务相关的空间区域来更新。在每个注意力机制中，提取并融合补充信息以定义跳跃连接的输出。为了减少可训练参数的数量和注意力机制的计算复杂度，采用卷积核为1×1×1的卷积来执行线性变换，并且输入特征映射被下采样到门控信号的分辨率，类似于非局部块。相应的线性变换将特征图解耦并将它们映射到用于门控操作的较低维空间。并且在门控功能中不使用低级特征图，因为它们不表示高维空间中的输入数据。所以本发明实施例将注意力机制直接添加到网络结构最后一层跳跃连接上来加强整个网络对相关特征的学习。本发明实施例运用上述的深度学习网络结构训练模型，并将训练完成的模型用于冠脉血管的预测分割，得到初步分割结果。

传统算法优化，通过观察结果发现，深度学习模块得到的初步分割结果，在血管的边缘还是比较粗糙，不够光滑，针对这一问题随即采用传统算法中的水平集函数对深度学习模块中得到的初步冠脉血管分割结果进行迭代优化，使分割结果更加精细准确，从而得到最终分割结果。

针对上述中的三维全卷积网络，有：

假设是第l-1层的第k个特征体积，则第l层的第m个输出特征体积给出为：

其中表示内核尺寸为m×n×t的3d滤波器，在每个前一层的特征体积上逐元卷积；代表3d卷积运算；表示偏差，σ(.)代表非线性激活函数。这里，新引入的非线性激活函数，即参数整流线性单元(prelu)，来代替整流线性单元。prelu函数给出为，

σ(fi)＝max(0，fi)+αi·min(0，fi)

其中fi表示非线性激活函数的输入，σ(fi)表示非线性激活函数的输出，αi表示学习控制fi的负数部分所需的训练参数，而αi在relu中几乎为零。因此，prelu可以根据输入情况调整整流器，从而提高网络的准确性，几乎不增加计算成本，并降低过拟合风险。

在这项工作中，本实施例采用了一个基于dice系数的目标函数，它的值介于0和1之间，目标是最大化dice系数的值。两个二元体积之间的dice系数d可写为

其中总和在n个体素上运行，预测的二值分割体积pi∈p和groundtruth二值体积gi∈g。

针对上述的注意力机制，有：

cta的血管形状和大小因冠状动脉的切片而异，血管增强对于消除cta切片中的杂质区域非常重要。在标准的cnn网络模型中，本发明实施例一般采取对特征图网格逐渐下采样来捕获足够大的感知场，从而能够更好地捕获语义上下文信息。通过这种方式，可以让网络模型学习到粗糙空间网格水平模型的位置和全局范围内组织之间的关系。然而，仅通过下采样的方式仍然难以减少对于显示大的形状可变性的小物体的假阳性预测。为了提高准确性，当前的分割框架依赖于附加的在前对象定位模型来将任务简化为单独的定位和后续分割步骤。在这一任务中，本发明实施例通过把注意力门(ag)融入到标准cnn模型中可以实现相同的目标。与多级cnn中的定位模型相反，它不需要训练多个模型和大量额外的模型参数，并且ag的最大特点在于它可以逐渐抑制在不相关的背景区域中的特征响应，而不需要通过级联网络来裁剪roi。

在标准注意力门中，ag的输出是输入特征图和注意系数的逐元素乘法，公式如下：

式中存在注意系数αi∈[0，1]，识别显著图像区域和修剪特征响应来保留与特定任务相关的激活。一般情况下，针对每个像素矢量计算单个标量注意值，其中f1对应于层1中的特征图的数量。

通过学习多维注意系数来针对多个语义类情况。因此，每个ag都学会专注于目标结构的子集。其中包含门控矢量用于每个像素i以确定聚焦区域。门控向量包含上下文信息以修剪下层特征响应。通过对比乘法注意和加性注意的性能，本发明实施例最终使用加性注意来获得门控系数。虽然这在计算上更昂贵，但实验证明它可以获得比乘法注意更高的准确度。加性注意力如下：

式中，σ1和σ2表示注意系数，表示注意系数矢量，gi表示门控矢量，θatt表示注意力门的特征参数组合，和分别表示输入特征图和门控矢量各自的线性变换矩阵，表示输入特征图，gi表示门控矢量，bg表示门控矢量偏置项，ψ^t表示参数整流线性单元的线性变换矩阵，bψ表示参数整流线性单元的偏置项。

本发明采用基于向量级联的注意方法，对于输入张量，使用卷积核为1×1×1卷积计算线性变换，其中级联特征x¹和g被线性地映射到维度中。注意系数(σ1)采用prelu非线性激活函数，因为prelu激活函数相比于广泛使用的relu激活函数可以根据输入情况调整整流器来提升精度；由于顺序使用softmax函数会在输出端产生较稀疏的激活，所以注意系数(σ2)则采用了sigmoid激活函数，从而让ag参数在训练过程中更好的收敛。ag的整体流程如图4所示。

返回图3，通过把ag合并到3dfcn的网络架构中，以突出通过跳跃连接传递的显著特征，从粗略提取的信息用于门控以消除跳跃连接中的不相关和噪声。这在串联操作之前执行来合并相关激活。另外，ag在正向传播期间以及反向传播期间过滤神经元激活。源自背景区域的梯度在反向传播期间向下加权。这允许较浅层中的模型参数主要基于与给定任务相关的空间区域来更新。在每个子ag中，提取并融合补充信息以定义跳跃连接的输出。为了减少可训练参数的数量和ag的计算复杂度，采用卷积核为1×1×1的卷积来执行线性变换，并且输入特征映射被下采样到门控信号的分辨率，类似于非局部块。相应的线性变换将特征图解耦并将它们映射到用于门控操作的较低维空间。并且在门控功能中不使用低级特征图，因为它们不表示高维空间中的输入数据。所以本发明将ag直接添加到网络结构最后一层跳跃连接上来加强整个网络对相关特征的学习。

针对上述的水平集函数，有：

水平集函数(levelset)方法的基本思想是将平面闭合曲线隐含地表达为二维曲面函数的水平集，即具有相同函数值的点集，通过levelset函数曲面的进化隐含地求解曲线的运动。尽管这种转换使得问题在形式上变得复杂，但在问题的求解上带来很多优点，其最大的优点在于曲线的拓扑变化能够得到很自然的处理，而且可以获得唯一的满足熵条件的弱解。水平集函数函数的演化满足如下的基本方程：

其中，φt为水平集函数，其零水平集表示目标轮廓曲线，即γ(t)＝{x|φ(x，t)＝0}，表示水平集函数的梯度范数；包括与图像有关的项以及与曲线的几何形状有关的项的曲线法线方向上的速度函数。

本发明方法整体概述的实际工作流程为：

首先对原始冠脉cta影像进行处理，然后训练融入注意力机制的三维全卷积网络模型，再用训练好的模型进行初步预测分割，最后再通过传统算法水平集函数对初步分割结果进行迭代优化，得到最终分割结果。

本发明尤其适合用于医院等医疗卫生部门，当医院的医生想要对患者做出相关判断，判断患者是否具有冠心病等心血管疾病的时候，就不需要通过从外界引入压力导丝去判断血管是否堵塞等症状，更不需要让医务人员在冠脉cta影像上手动分割血管，只需要把患者原始冠脉cta影像送入到计算机中，让计算机通过计算来自动分割血管，从而准确判断患者是否具有冠心病等心血管疾病，及早进行治疗。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。