一种SPECT三维重建图像左心室自动分割的方法与流程

本发明涉及医学影像领域和深度学习领域，尤其涉及一种基于深度学习网络的spect三维重建图像左心室自动分割的方法。

背景技术：

spect心脏成像是目前临床诊断冠心病、心肌缺血等心血管疾病和疗效评价以及预后判断的金标准，其可非介入式的提供心肌组织的功能性信息来检测到尚未导致结构上变化的潜在病变，提供心肌组织更详细的功能活性信息。临床进行spect检查时，需要对重建后的spect图像进行一系列的操作和分析，其中左心室射血系数的计算是评价心脏功能的一个重要指标，其需要对左心室心室腔及心室壁进行分割，以提取不同心跳周期时的左心室腔体积进行计算。临床标准的spect心脏视图为短轴图sa方向，且由于左心室长轴与人体的长轴不平行，所以通常需要手动对重建spect图像进行旋转以获得标准sa视图，并在此视图中进行图像分割用以计算左心室射血系数。同时，基于标准sa视图的左心室图像可用于制备心脏极坐标图进行左心室心肌的活性分析。

将图像从常规ra视图转至临床分析的心脏标准sa视图临床上常需要医师手动操作，此主观性的操作容易引入随机误差而影响分析准确性，且需消耗较长的手动操作时间。而对于左心室图像分割，目前常见的临床核医学心脏图像分析软件多采用常规图像处理的分割方法，例如基于左心室壁中心线的分割方法、基于左心室模型的分割方法、基于心脏图谱的分割方法、基于阈值或k均值聚类的分割方法等，由于spect图像分辨率较低，且心脏图像易受到呼吸和心跳运动影响出现图像运动边界模糊，目前的分割方法在进行分割时常出现分割精度低、对分割边缘提取不准确的问题从而进一步影响量化分析的精度。因此，对于spect心脏图像的临床处理和分析时，如何实现常规重建视图到特定的临床分析所用的标准sa视图的稳定、准确的图像自动转向和定位，如何在较低图像分辨率的spect心脏图像中实现对左心室结构的精准分割提取，是临床spect心脏处理中所面临的技术难题。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于深度学习网络的spect三维重建图像左心室自动分割的方法。

本发明的目的是通过以下技术方案来实现的：

一种spect三维重建图像左心室自动分割的方法，包括以下步骤：

步骤一：对spect三维重建图像的常规视图ra进行缩小重采样，并将重采样后的缩小常规视图ra-r作为特征提取网络的输入，所述特征提取网络由卷积模块和全连接层组成，利用卷积模块对缩小常规视图ra-r进行特征提取，并全连接展开后形成6维特征向量t-r，所述6维特征向量t-r包含3个方向的平移参量和3个角度的旋转参量；

步骤二：利用常规视图ra与缩小常规视图ra-r的等比例关系将t-r调整为特征向量t，其中旋转参量不变而平移参量等比例放大；

步骤三：利用空间变换网络将特征向量t-r应用于缩小常规视图ra-r中得到预测缩小图像sa-r’，同时将特征向量t应用于常规视图ra中得到预测图像sa’；

步骤四：以预测图像sa’的中心为中心，截取图像中的提取心脏部分，形成预测心脏图像sa-h’，同时，对心脏图像sa-h’进行图像梯度计算获得对应梯度图sa-g；

步骤五：将心脏图像sa-h’和梯度图sa-g融合为双通道图像并经过三维u-net网络的下采样及上采样提取图像特征并经过softmax层进行分割处理即获得预测的左心室结构分割结果f；

其中，所述特征提取网络、空间变换网络和u-net网络联合采用多任务共同学习训练，训练的总损失函数l=δl-par+μl-img+λl-seg；

其中δ、μ和λ为权重系数；l-img为预测缩小图像sa-r’与缩小标准视图sa-r之间的图像损失函数、l-par为特征向量t-r与刚性配准参数p-r之间的参数损失函数，l-seg为预测分割结果f与sa方向分割标签g之间的标签损失函数；所述缩小标准视图sa-r通过手动转向spect三维重建图像的常规视图ra并按等比例缩小获得；所述刚性配准参数p-r为刚性配准算法计算的缩小常规视图ra-r与缩小标准视图sa-r之间的配准参数，包含3个方向的平移参量和3个角度的旋转参量；所述sa方向分割标签g包含左心室腔、心室壁及背景的3个数值，通过以标准视图sa中心为中心截取的心脏图像sa-h并手动勾画心脏左心室的心室腔及心室壁获得。

进一步地，所述缩小常规视图ra-r、缩小标准视图sa-r的尺寸优选为64*64*64体素大小；心脏图像sa-h和预测心脏图像sa-h’应以涵盖整个心脏图像，同时尽量少的包含其他高强度器官信息为最佳，优选为32*32*32体素大小。

进一步地，所述步骤三中，通过构建变换矩阵p=[rm^t]获取预测图像，其中，m=[tx、ty、tz]表示位移矩阵，tx、ty、tz分别为特征向量中对应的3个方向的平移参量，r为旋转矩阵，将r从欧拉角r=[β、α、γ]转换为世界坐标系参数：

。

进一步地，所述梯度图sa-g获得的计算公式为：

其中，gx,gy,gz分别为x、y、z方向的梯度，其计算公式为：

其中i、j、k为图像内x、y、z三个方向的坐标索引。

由于梯度图像可以更好的提供图像边界信息，同步读入梯度图可以优化网络对图像边缘的识别从而进一步提高网络对图像分割的效力。

进一步地，所述特征提取网络的卷积模块、全连接层的个数均为3个，每个卷积模块包含卷积层和池化层；所述三维u-net网络的下采样及上采样均为4次，其中下采样包含卷积层和池化层，上采样包含卷积层和反卷积层。

进一步地，所述sa方向分割标签g中，将背景设置为0,左心室腔设置为1，左心室壁设置为2。

进一步地，所述δ、μ和λ分别取值为1,100和10。

进一步地，所述图像损失函数l-img采用均方差函数。

进一步地，所述参数损失函数l-par采用绝对值损失函数l1或范数损失函数l2。

进一步地，所述标签损失函数l-seg采用dice-loss损失函数，其中，分别对左心室腔及左心室壁计算标签损失函数l-seg-1及l-seg-2，最终l-seg=l-seg-2+l-seg-1。

本发明的有益效果是：本发明使用多任务学习的深度学习网络同步提取图像的位置特征和语义特征，并利用双网络特征的互相监督达到网络一体化训练的效果以实现不同角度到标准视图的一体化自动转向、心脏定位及左心室的结构分割，减少了手动转向、分割的复杂性和人为误差，实现了图像操作的全自动并提高了准确性，并且本发明还进一步采用梯度图像增加对图像数据边缘分割的准确性。

附图说明

图1是本发明spect三维图像左心室自动分割的流程示意图。

图2是spect三维图像左心室自动分割模型结构中的自动转向和定位模块示意图。

图3是spect三维图像左心室自动分割模型结构中的自动分割模块示意图。

具体实施方式

下面结合附图详细说明本发明。

本发明提出的一种基于深度学习网络的spect三维重建图像左心室自动分割的方法，该方法具体为：对原始spect胸部三维重建图像通过线性插值进行等比例缩放至64*64*64体素大小，利用特征提取网络对缩小后图像提取刚性配准参数特征，利用空间变换网络及提取的刚性配准参数特征对spect三维重建图像进行自动转向获得标准视图的预测图像，从标准视图的预测图像中切割中心32*32*32体素部位以获取心脏图像，并通过u-net网络进行图像自动分割以获得标准视图下的左心室结构分割结果，其流程如图1所示。其中，所述特征提取网络、空间变换网络和u-net网络联合采用多任务共同学习训练，训练的总损失函数图像损失函数l-img、参数损失函数l-par以及标签损失函数l-seg的联合损失函数；通过多任务共同学习可以保证前后部分网络的共同学习和对目标的优化。

下面，提供一个spect三维图像左心室自动分割模型（结构如图2和图3所示），以实现本发明方法的一体化的自动转向、定位及分割，该模型的构建和训练，具体包括以下步骤：

步骤一：获取600例spect三维重建图像的常规视图ra，并手动转向至用于临床分析的、左心室位于图像中心的标准视图sa，在标准视图sa中以图像中心为中心截取32*32*32体素大小的图像以获得心脏图像sa-h并手动勾画心脏左心室的心室腔及心室壁以获得sa方向分割标签g，通过刚性配准算法计算常规视图ra及标准视图sa之间的刚性配准参数p，刚性配准参数p的6个参数分别为3个方向的平移参量和3个角度的旋转角度参量p=[tx、ty、tz、β、α、γ]，形成spect图像常规视图ra、标准视图sa、sa方向分割标签g以及刚性配准参数p的映射数据库。将常规视图ra及标准视图sa均采用线性插值等比例重采样至64*64*64体素大小的缩小常规视图ra-r及缩小标准视图sa-r，并调整刚性配准参数p为缩小刚性配准参数p-r以形成spect图像的ra-r、sa-r与p-r的映射数据组。同样地，缩小刚性配准参数p-r包含3个方向的平移参量和3个角度的旋转参量，p与p-r的旋转参量相同而平移参量根据缩放比例进行等比例缩减；所述sa方向分割标签g包含左心室腔、心室壁及背景的3个数值，其中，背景值为0，左心室腔值为1，左心室壁值为2。

步骤二：将缩小常规视图ra-r输入至特征提取网络，利用卷积模块对缩小常规视图ra-r进行特征提取，并全连接展开后形成6维特征向量t-r，利用p-r与p的等比例关系将t-r调整为与p比例相同的特征向量t，其中旋转参量不变而平移参量等比例放大；t-r与t的6维向量可拆分为位移矩阵m=[tx、ty、tz]及旋转矩阵r=[β、α、γ]，将r从欧拉角转换为世界坐标系参数:

重构变换矩阵为t’=[rm^t]以适配后续空间变换网络的参数输入。图2中为自动转向模块的实施例结构，其包含了特征提取网络及空间变换网络。特征提取网络中的卷积模块由3×3×3的卷积单元和relu激活函数单元组成。

步骤三：经过空间变换网络将特征向量t-r应用于常规视图ra-r中以得到预测缩小图像sa-r’，将特征向量t应用于spect重建图像常规视图ra中以得到预测图像sa’（图2）；以预测图像sa’中心为中心，截取32*32*32体素大小的图像以提取心脏部分，形成心脏图像sa-h’。计算并生成sa-r’图像的梯度图sa-g（图3），其中梯度图sa-g获得的计算公式为：

其中，gx,gy,gz分别为x、y、z方向的梯度，其计算公式为：

其中i、j、k为图像内x、y、z三个方向的坐标索引。

步骤四：进一步将心脏图像sa-h’及梯度图sa-g整合为双通道图像并利用三维u-net网络以获得预测的左心室结构分割结果f。图3为图像分割模块的实施例结构，卷积模块由3×3×3的卷积单元（convolution,conv.）和relu激活函数单元组成，上采样模块由3×3×3的转置卷积单元（transposeconvolution,trans.conv.）和relu激活函数单元组成。最后一个模块通过1×1×1的卷积单元与softmax层进行连接实现最终分割结果的输出。虚线表示对数据复制裁切操作以结合图像和特征的双层信息。

步骤五：构建预测缩小图像sa-r’与缩小标准视图ra-r之间的图像损失函数l-img、特征向量t-r与刚性配准参数p-r之间的参数损失函数l-par以及预测分割结果f与sa方向分割标签g之间的标签损失函数l-seg，对网络进行训练优化以获得spect三维图像左心室自动分割模型。其中的具体实现细分以下子步骤：

（5.1）自动分割模型的训练是一个多任务学习的过程，其损失矩阵将包含对ra-r到sa-r转向模型的约束信息和从sa-h到分割结果f的分割模型的约束信息，多任务的学习目标共同形成对整体网络的约束以训练此自动分割模型。模型的整体损失矩阵设计为图像损失函数l-img、参数损失函数l-par以及标签损失函数l-seg的联合损失函数l=δl-par+μl-img+λl-seg，其中δ、μ和λ为权重系数，其根据经验分别取值1，100和10。

（5.2）转向模型部分的图像损失函数l-img采用预测图像和参考图像间的均方差函数，起对应的刚性配准参数损失函数l-par采用绝对值损失函数l1或范数损失函数l2。

（5.3）分割模型部分标签损失函数l-seg采用dice-loss损失函数，其中，分别对左心室腔及左心室壁计算标签损失函数l-seg-1及l-seg-2，最终l-seg=l-seg-2+l-seg-1。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。