一种基于深层全卷积神经网络的心脏左心室分割方法与流程

本发明属于医学图像分析技术领域，具体涉及一种基于深层全卷积神经网络的心脏左心室分割方法。

背景技术：

近年来，心血管疾病已经成为人类生命健康的头号杀手之一，随着人民生活水平的提高和现代医学的快速发展，心血管疾病的早期诊断和风险评估成为了提高人类生活水平的重要条件。另外，随着医学技术的不断进步，能够对心脏进行动态成像的影像设备主要有磁共振成像(magneticresonanceimaging，mri)、计算机断层成像(x-raycomputertomography，ct)和超声成像(ultrasonicimaging，us)等。心脏磁共振成像具有较好的软组织对比度、无放射性、无需注射或服用示踪剂、和能够任意平面进行成像的能力。

然而定量地分析心脏整体和局部的功能包括心室容积、射血分数、心肌质量等临床参数，还需要依赖短轴影像中精确的左心室(lv)和右心室(rv)的心内膜和心外膜轮廓。如果这些轮廓需要手工描绘，那将是一项耗时且乏味的任务，而且容易引起观察者本身和观察者间的高度可变性。因此，需要一种快速、准确、可重复和完全自动化的心脏分割方法来帮助诊断心血管疾病。

对于磁共振心脏影像，心肌组织的灰度值与心脏周围组织的灰度值十分接近，这对心脏左心室的分割带来挑战，目前国内常见的分割算法包括水平集分割算法、区域生长分割算法、阈值分割算法，然而这些分割算法的精度依然不高，鲁棒性也不强。近几年，随着硬件水平与技术的提高，基于深度学习的图像分割算法已经在很多的领域超越了传统的图像分割分割算法。其中包括fcn架构(tranpv.afullyconvolutionalneuralnetworkforcardiacsegmentationinshort-axismri[j].2016.)和unet架构(ronnebergero,fischerp,broxt.u-net:convolutionalnetworksforbiomedicalimagesegmentation[j].2015.)用于左心室分割；fcn背后的一般思想是利用下采样路径来学习各种空间尺度的相关特征，然后利用上采样路径来组合像素级预测的特征，然而当心脏切片由于其较小的尺寸而处于心脏的顶点或心脏收缩末期时，网络没有克服这一分割的难度，这是因为在网络中的最大化层的缩减处理期间，精细对象信息可能丢失。unet是医学影像中常用的分割模型之一，该网络通过多次反卷积得到分割图，另外还在反卷积上采样的时候加入了网络前端对应大小的卷积层信息，使得更多细节得以保留，但该网络没有对分割边界的像素点给予更多的关注，同样会在心脏的顶点或收缩末期存在分割精度较低的问题。

技术实现要素：

鉴于上述，本发明提出了一种基于深层全卷积神经网络的心脏左心室分割方法，其采用的分割模型以全图像作为输入，以手动分割作为标签，网络可以端到端有效地训练，最后对图像的每个像素进行预测，实现左右心室的分割，用以克服传统图像分割算法的缺点，实现高精度和高鲁棒性的左心室分割。

一种基于深层全卷积神经网络的心脏左心室分割方法，包括如下步骤：

(1)获取受试者的心脏磁共振短轴图像并采用人工方式在图像中手动标记出心脏左心室的轮廓线，并构造与心脏磁共振短轴图像大小相同的二值分割图像，该二值分割图像中心脏左心室轮廓及其内部像素值均为1，轮廓外部像素值均为0；

(2)针对不同受试者采用步骤(1)的方法获得大量样本，每一样本包括受试者的心脏磁共振短轴图像及其对应的二值分割图像；将所有样本按比例划分为训练集、验证集和测试集；

(3)利用训练集样本中的心脏磁共振短轴图像作为全卷积神经网络的输入，二值分割图像作为全卷积神经网络输出的真值标签，进而对该神经网络进行训练，最终训练完成后得到心脏左心室分割模型；

(4)将测试集样本中的心脏磁共振短轴图像输入至心脏左心室分割模型，即可得到关于心脏左心室轮廓的二值分割图像，进而将该二值分割图像与测试集样本中的二值分割图像进行比对。

进一步地，所述步骤(1)中获取受试者的心脏磁共振短轴图像，即通过磁共振仪器对受试者心脏同时做冠、矢、轴三个方向定位成像，成像范围从心底及大血管根部到心尖部，并从中筛选出心脏磁共振短轴图像。

进一步地，所述步骤(1)中构造二值分割图像的具体操作过程为：对于手动标记出的心脏左心室轮廓线，将其表示成神经网络可识别的标记图，即一张与心脏磁共振短轴图像大小相同的二值分割图像，其中属于轮廓线及其内部的像素点为目标类且像素值均为1，轮廓线外部的像素点为背景类且像素值均为0；所述训练集、验证集和测试集中的样本数量比例为1:1:1。

进一步地，所述步骤(3)中的全卷积神经网络包含一个残差网络resnet50、四个预测层p1～p4和四个反卷积层d1～d4，所述残差网络resnet50从输入到输出依次由一个卷积层c、一个池化层和四个残差阶段l1～l4级联而成，卷积层c的输入即为整个神经网络的输入，残差阶段l1和残差阶段l4均由3个残差结构级联而成，残差阶段l2则由4个残差结构级联而成，残差阶段l3则由6个残差结构级联而成，所述残差结构由三个卷积层c1～c3级联而成，其中卷积层c1的输入与卷积层c3的输出叠加后作为残差结构的输出；残差阶段l4的输出与预测层p1的输入相连，预测层p1的输出反卷积层d1的输入相连，残差阶段l3的输出与预测层p2的输入相连，预测层p2的输出与反卷积层d1的输出叠加后作为反卷积层d2的输入，残差阶段l2的输出与预测层p3的输入相连，预测层p3的输出与反卷积层d2的输出叠加后作为反卷积层d3的输入，残差阶段l1的输出与预测层p4的输入相连，预测层p4的输出与反卷积层d3的输出叠加后作为反卷积层d4的输入，反卷积层d4的输出即为整个神经网络的输出；所述预测层p1～p4均包含3×3的卷积核，步长为1，填充为1，激活函数为relu；所述反卷积层d1～d4均设置卷积核使得输入维度扩大一倍。

进一步地，所述步骤(3)中对全卷积神经网络进行训练的过程为：首先将训练集样本中的心脏磁共振短轴图像逐一输入至全卷积神经网络中，计算全卷积神经网络每一次输出结果与对应真值标签之间的损失函数l，以损失函数l最小为目标通过反向传播法对全卷积神经网络中的参数不断进行优化，最终训练完成后确立的全卷积神经网络即为心脏左心室分割模型。

进一步地，所述损失函数l的表达式如下：

其中：w为二值分割图像的宽，h为二值分割图像的高，n为类别数且n＝2，p(i,j,n)为全卷积神经网络输出图像中第j行第i列像素为类别n的概率，g(i,j,n)为对应训练集样本的二值分割图像中第j行第i列像素值，类别1表示像素为心脏左心室区域，类别2表示像素为背景区域。

优选地，所述步骤(3)中对于训练完成后得到的心脏左心室分割模型，利用验证集样本对其进行验证，通过验证对模型参数进行微调，以进一步提高模型的分割准确率。

本发明将深度学习的思想引入到心脏磁共振短轴图像左心室分割中，其过程主要分为训练和预测两个阶段：在训练阶段将预处理后的128×128大小的心脏磁共振图像作为输入，将人工处理好的标签作为网络的标签用于计算误差，随着训练迭代次数的增加，训练集误差和验证集误差逐渐下降；在测试阶段，将测试集中的数据输入到训练好的模型中，最终网络输出对每个像素的预测，生成分割结果。本发明从数据驱动的角度实现心脏磁共振短轴图像的分割，有效地解决了需要人工描绘轮廓的费时费力问题，可以克服传统图像分割算法的缺点，实现高精度和高鲁棒性的左心室分割。

附图说明

图1为本发明深层全卷积神经网络的结构示意图。

图2为心脏磁共振短轴电影序列影像。

图3为心脏左心室轮廓的标签图像序列。

图4为本发明与现有分割模型fcn和unet在测试集上的分割结果对比示意图。

具体实施方式

为了更为明确地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明基于深层全卷积神经网络的心脏左心室分割方法，具体实施步骤如下：

s1.获取受试者完整心脏磁共振图像，以及对应手工描绘的左心室内膜轮廓线。受试者完整心脏磁共振短轴图像只包含普通的电影序列影像，如图2所示，即通过磁共振仪器对受试者同时做冠、矢、轴三方向定位图，成像范围从心底及大血管根部到心尖部，我们只筛选短轴心脏图像，本实施方式总计受试者45例。

s2.数据预处理。

扣取图像中间128×128大小的图像区域，考虑到左心室一般都位于短轴图像的中间区域，扣取后的图像可以减少其他组织对网络的影响，另外还会对扣取后的图像做归一化处理，将该轮廓线做成神经网络可以识别的标记图，最终生成一张128×128的二值图像，其中属于轮廓线内部的像素点为目标类，轮廓线外部的像素的为背景类，并将其处理成如图3所示的标签图。

s3.划分数据集。

将得到的短轴磁共振图像数据和对应的分割标签数据作为样本数据集，并将该数据集划分为训练集、验证集和测试集，即按照大致1:1:1的比例。

s4.搭建网络模型。

按照如图1所示搭建网络，本次训练过程中使用了全卷积网络，卷积网络背后的思想是局部连接和权值共享。不同于之前的饿感知机网络中每个神经元与前一层所有神经元进行全连接，局部连接和权值共享可以减少很多参数量。每一个卷积层通过特定大小的卷积核来计算，假设输入图像和卷积核(其中hi≥hk,wi≥wk)，那么k卷积i就是将卷积核k在矩阵i上滑动，在每一个滑动到的位置做矩阵点乘再求和的运算，最终得到特征矩阵另外，有时在卷积层之后会进行池化层的操作，对结果压缩的效果，降低数据的空间尺寸，即是的计算资源耗费变少；常见的池化操作有最大池化层和平均池化层，最大池化是对局部区域取最大值，平均池化是对局部区域求取平均值。

为了能够加深网络的深度，更好地学到图像的特征，我们以残差网络作为主干网络，残差网络利用跨层链接的思想。假定某段神经网络的输入是x，期望输出是h(x)，如果是直接通过x来学习h(x)，那么相对训练会比较难；残差网络是把目标转变为恒等映射的学习，将输入x传到输出中作为初始的结果，这样输出结果变为h(x)＝f(x)+x，这段网络的目标不再是学习一个完整的输出，而是目标值h(x)和x之间的差值，也就是f(x)＝h(x)-x。这种残差跳跃式的结构，打破了之前传统的神经网络n-1层的输出只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入。

分割网络是对图像进行像素级的分类，与经典的卷积网络在末端使用全连接层得到固定长度的特征向量进行分类不同。分割网络需要利用反卷积对最后一个基层的特征图进行上采样，使它恢复到原输入图像的尺寸，从而完成对图像中每一个像素点的预测。考虑到只使用最后一个特征层做反卷积会存在信息丢失严重的问题，本发明加入了跳跃结构，让更前层的特征层也做反卷积然后与后层的融合后作为最后的预测结果，本发明的网络总共利用4个特征层。

本发明的网络以磁共振短轴的心脏图像作为输入，网络最终实现基于每个像素点的分类。对于一张磁共振短轴图像进入网络之后，网络的输出是一张与输入图像同样大小的预测图，每个像素值是该像素的类别y0,y1,...,yn,...,yn,n∈[0,n]，然后会经过一个softmax层，如下式(1)将输出转化为概率。

网络训练过程一般利用式(2)交叉损失函数来计算预测的概率图与标签之间的差距，来监督网络对参数的优化。式(2)中，g(i,j,n)是真实的标签，其中交叉熵的值越小，两个概率分布就越接近。

为了更好的对左心室分割，本发明提出基于式(3)的focal交叉损失函数，该损失函数会对难分类的像素点给予更多的关注，对容易分的像素点基于较少的关注。

s5.训练网络。

以训练集中的短轴心脏图像作为神经网络的输入，以该图像对应的标签图像作为真值标签，通过端到端地训练全卷积神经网络。

s6.模型测试。

通过学习确定最终的整个网络框架，将测试集输入到网络中，最终网络输出对每个像素点的分类结果。将预测结果与真实标签(groundtruth)作比较，根据式(4)计算相应的dicemetric(dm)指标。

此外，我们使本发明与另外两个分割模型fcn和unet做了比较，如图4所示，可以看出本发明模型在测试集上的效果是最好的。

上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。