一种基于深度多任务回归网络的左心室量化方法

本发明涉及医学图像分割领域，特别是涉及一种基于深度多任务回归网络的左心室量化方法。

背景技术：

1、心脏磁共振(mr)图像不仅可以反映心脏的解剖结构，还可以用于评估和检测心血管疾病，因此分析和研究心脏mr图像具有重要意义。但是在临床应用中，面对大量的医学图像，临床医生很难手动分析图像。因此，利用计算机辅助技术帮助临床医生准确高效地处理图像数据已成为临床工作中不可或缺的一部分。

2、目前，心脏mr图像的计算机辅助技术包括图像分割和量化。图像分割为临床医生提供视觉帮助和定性分析，而图像量化可以提供准确和详细的定量分析。在现有先进方法中，可以归纳为三类，第一类是对心脏mr图像只进行轮廓分割，第二类是对心脏mr图像只进行功能指标量化分析，第三类是将分割与量化进行结合。下面将简单介绍一下这三类方法。

3、第一类，对于左心室(lv)分割，基于深度学习的分割方法主要是采用卷积神经网络(cnn)框架。例如，khened等人提出的一种全自动方法，通过密集连接的全卷积神经网络从心脏mr图像中分割lv，rv和心肌。zotti等人提出了一种新的卷积神经网络架构，该架构在左心室和右心室分割之前嵌入了心脏形状。avendi等人采用基于深度学习的算法与可变形模型相结合，实现全自动左心室分割。除上述方法外，在分割这一领域，临床研究方法可谓是五花八门，当今最具代表性的工作有：

4、yang等人提出的一种轻量级全卷积网络模型，称为lfcn，用于心脏mri分割任务。lfcn也是在u-net模型的基础上进行改进的，引入了可分离卷积和残差连接的机制，以减小模型的体积。通过使用可分离卷积替代传统卷积操作，lfcn减少了模型的参数数量，并增加了网络的深度，同时通过残差连接保持了深层网络的稳定性。lfcn采用了编码器-解码器结构，分为两个部分。在下采样路径(编码器)中，输入心脏mr图像通过可分离块(sb)和下采样块(tb)进行处理，以获取高级语义特征。然后在上采样路径(解码器)中，通过使用转置卷积、可分离块(sb)和来自下采样路径的跳跃连接，恢复原始图像的空间分辨率。最后一个可分离块(sb)的输出特征图经过1×1卷积，并使用softmax激活函数生成最终的分割结果。通过这些改进，lfcn在保持精度的同时，大大减小了模型的体积。

5、le等人提出的名为dr-unet++的心脏分割模型方法，它是在dr-unet的基础上进行改进的。在这个模型中，他们保留了双respath块和paspp块的设计，同时为了更有效地提取空间信息，引入了dc块来替代剩余块，并且还添加了se块以增强对具有重要特征的模型关注度。通过这些改进，dr-unet++模型在心脏分割任务上表现出了更好的性能和精度。然而，dr-unet++中所需要的参数数量比dr-unet多，因此这增加了大量训练时间和计算量。

6、第二类，对于左心室(lv)量化，基于深度学习的方法一般可以分为两类：两阶段估计方法和端到端估计方法。两阶段的估计方法，顾名思义，它们包括两个阶段。一个阶段用于心脏mr图像表示，另一个阶段用于相关的临床指标估计。在心脏mr图像表示过程中，图像通常通过手工方法或基于学习的方法提取的特征来表示。如无监督的心脏图像表示是由多尺度卷积深度信念网络学习的，在最终的指标估计阶段，通常通过深度回归模型获得相关的临床指标。端到端的估计方法的主要思想是通过建立一个神经网络架构，并使用心脏mr图像作为网络的输入，直接获得所需的输出(如临床指标)。例如，选择舒张末期和收缩期末期图像作为网络的输入，舒张末期和收缩期末期的心脏容积直接通过舒张末期和深度cnn网络获得。此外，还有其他结构，如用于心脏图像表示的深度卷积自动编码器(dcae)，以及用于多类型指数回归的多输出卷积神经网络。可以看出在心脏量化分析领域，研究方法更是繁多，下面将列举几个近年来先进的左心室(lv)量化的临床研究方法。

7、xue等人提出了名为fulllvnet的深度多任务学习网络，用于充分量化任务内和任务间相关性的左心室图像。该网络由深度卷积神经网络(cnn)用于特征嵌入，以及两个并行的循环神经网络(rnn)模块用于时间动态建模，并包含四个线性模型用于最终估计。在最终估计阶段，fulllvnet通过任务内和任务间相关性的组套索正则化和相位引导约束两种方式提高泛化能力。通过充分利用深度cnn提取的表达特征和rnn有效地建模动态时间的优势以及两步策略，fulllvnet能够为量化任务提供先进的准确性。

8、xue等人也提出了一个叫做残差递归神经网络(resrnn)模型。resrnn包含两部分网络：cnn网络和rnn网络。其中，cnn网络用于从心脏mr图像中提取低维表示，并初步估计每帧的rwt。rnn网络则利用相邻帧之间的差异来进行更精确的rwt估计。在rnn网路中，时间rnn用于对时间上相邻帧的特征进行建模以捕捉长期时间依赖性；而空间rnn用于对壁厚预测结果之间的相互依赖性进行建模。通过使用cnn嵌入表示的图像，时间和空间rnn能够有效地捕捉心肌的动态变形和心脏形状的多样性，从而实现对rwt的准确量化估计。

9、第三类，对于将左心室(lv)分割和量化进行结合的方法中，目前现有临床研究方法是将分割和量化两个任务进行并行结合，通过二者之间相辅相成的影响关系去提高研究方法的精度，主要有：

10、du等人提出的indices-jsq方法在分割阶段通过使用一个dced进行图像表示，它属于一个完全卷积的神经网络结构，由一个编码器模块和一个相应的解码器组成模块，它将卷积层作为一个有效特征表示的编码器，利用解码器网络将低分辨率编码器特征映射到全输入分辨率特征映射。该解码器使用在相应编码器的最大池化步骤中计算出的池化索引来进行非线性的上采样。在心脏mr图像量化阶段设计了一个多任务回归模型来估计左心室临床指标。通过学习到的多个任务之间的共享表示可以减少数据源的数量、整个模型参数的规模，提高模型的泛化能力，提高估计效率。

11、wang等人提出的csrnet这个方法，在分割阶段通过采用密集连接的卷积网络densenet方法进行分割，它利用了层之间的密集连接。这种体系结构可以减少需要学习的参数的数量，并鼓励在整个网络中的特性重用。在一张图像经过分割阶段，得到的软分割图像送入一个采用单尺度cnn卷积神经网络进行回归预测。

12、sulaiman vesal等人提出的基于2d+t时空卷积多任务学习框架方法。该方法在分割阶段通过参考dr-unet网络架构，引入扩张卷积和残差连接的思想，他们的方法创建了一个堆叠的扩展卷积块，其输出被累加在一起。通过这种方式，每个后续的层都可以完全访问使用不同的扩展速率学习到的先前特征，以允许网络通过增加各自的字段来捕获全局和局部的上下文信息。在量化阶段，该网络采用时空卷积法，不仅考虑空间信息，还考虑时间信息。将3d cnns应用于2d+t图像帧，保存相应时间信息并传播给后续网络处理层。这些模块的使用，使它可以表示更鲁棒的结构特征和时间信息。

13、综上所述，已有技术存在以下问题：

14、(1)缺乏分割与量化任务的相互辅助

15、心脏mr图像的同时分割与量化对于心血管疾病的辅助诊断与鉴别诊断具有重要意义。越来越多的心脏图像辅助技术致力于同时完成分割与量化任务，然而以往的技术存在一些不足，未能充分实现分割任务与量化任务的正确融合，以使两种任务相互补充。目前存在两种主要方法来同时进行心脏图像的分割与量化：第一种方法是先进行图像分割，然后在分割网络所得的结果基础上进行心脏的量化处理。这种方法的量化结果很大程度上受到分割结果的影响，需要致力于减小分割误差。第二种方法是在图像输入后，将图像分别输入两个并行通道，分别独立进行分割与量化任务，并最终同时产生分割与量化结果。然而，以往的方法在本质上还是把分割与量化作为两个单独的任务，并未很好地将二者统一起来，仍存在一定的隔阂。

16、(2)长序列处理的上下文信息利用不足

17、常见的捕获序列数据集信息有传统rnn(循环神经网络)、单向lstm、gru(基于门控制的循环神经)、transformer(基于自注意力机制的神经网络结构)、convlstm(结合了卷积神经和lstm的网络结构)等，但是这些常见的序列数据集信息捕获网络普遍存在长序列处理的上下文信息利用不足的问题，例如传统的rnn在处理长期依赖性时存在梯度消失和梯度爆炸等问题，导致难以有效地建模长期记忆；单向lstm和gru只能考虑过去的上下文特征，无法同时利用未来的信息。这可能导致对序列中某些关键信息的缺失或无法准确预测后续情况；相对于lstm和gru，transformer通常需要更多的参数来建模序列数据。这可能导致更高的计算成本和更多的存储需求，尤其是在处理大规模数据集时。

18、(3)不同尺度上的细节信息获取不足

19、现有常见的特征提取网络有基于卷积神经网络(cnn)、基于自编码器(autoencoder)、基于预训练模型(pretrained models)的特征提取网络、基于注意力机制(attention mechanism)的特征提取网络等，然而这些经典的特征提取网络对于细节的信息提取不足。例如传统的cnn在处理多尺度信息方面较为有限,它们在设计上通常采用固定的卷积核和池化层大小，无法灵活地适应不同尺度的输入；自编码器倾向于学习输入数据的低维表示，但可能忽略了一些高级语义信息。

技术实现思路

1、为了解决现有技术缺乏分割与量化任务的相互辅助的技术问题，本发明提供基于深度多任务回归网络的左心室量化方法。

2、本发明采用以下技术方案实现：

3、一种基于深度多任务回归网络的左心室量化方法，其包括以下步骤：

4、对若干预设心脏mr图像进行数据处理；

5、根据数据处理后的若干预设心脏mr图像进行模型搭建；所述模型包括特征提取模块和分割量化模块；

6、利用模型对待处理心脏mr图像进行左心室量化；

7、其中，所述特征提取模块包括特征表示网络、指数估计网络；特征表示网络包括深度卷积编码器-解码器模块，用于提取与分割和量化任务相关的心脏结构特征；指数估计网络包含ms-cnn模块和双向lstm模块；ms-cnn模块利用多个独立cnn模型，采用不同核大小和池化大小，从编码器-解码器模块的高级特征图中提取出更有效的低级特征，用于心脏图像处理；双向lstm模块用于捕捉心脏结构的动态变化；

8、所述分割量化模块包括对心脏mr图像进行处理的编码器-解码器结构；编码器-解码器结构包括通过短程跳跃连接起来的两个子编码器，每个子编码器包含四个块，每个块都有相似的结构，从高层到低层依次包括卷积层、激活函数、最大池化层和丢弃层；这些卷积层逐渐从高层到低层提取输入图像的特征信息；在每个块的第二个卷积层中，使用了空洞卷积来增加感受野；解码器模块与编码器模块类似，也由四个块组成，其中使用上采样层将低层特征图恢复到输入图像的分辨率，解码器模块中的其他层与编码器模块具有相同的参数设置，并通过长程和短程跳跃连接的剩余网络块进行特征集成；通过逐层上采样和特征融合，解码器模块产生与输入图像相同尺寸和语义信息的输出特征图，实现准确的图像分割。

9、作为上述方案的进一步改进，所述数据处理的方法包括数据预处理和数据标注。

10、进一步地，所述数据预处理包括：特征点标记、图像旋转、roi裁剪和大小调整；首先，在每张预设心脏mr图像上找到心脏区域并标记关键点；然后，根据关键点进行图像旋转至预定角度；接下来，在旋转后的图像上选择合适的roi区域进行裁剪；最后，将所有裁剪后的图像调整为预定像素的大小；所述合适的roi区域是指能够完整地包含心脏的整个轮廓的roi区域。

11、进一步地，所述数据标注包括：通过将左心室心腔直径和心肌室壁厚度的真实临床物理值按照所述预定像素的尺寸进行归一化，同时将心肌和心腔的面积也按照所述预定像素的图像面积进行归一化处理。

12、作为上述方案的进一步改进，图像经过特征表示网络后，输入到指数估计网络的ms-cnn模块获取多层次的局部特征；ms-cnn包括三个并行的cnn模型，通过多尺度策略进行多级特征提取，融合三个cnn模型的输出作为ms-cnn的最终输出。

13、进一步地，通过设置双向lstm模块用于捕捉图像的动态变形，位于指数估计网络的底部，步长设置为20，将ms-cnn提取的图像特征作为其输入。

14、作为上述方案的进一步改进，在所述模型使用之前，还对所述模型进行训练。

15、进一步地，模型训练采用五折交叉训练法对整个模型快速进行训练。

16、进一步地，模型在训练后，需要进行模型测试与评估。

17、优选地，将预测结果反归一化，使其变成实际物理值以此来得到评估网络框架的性能的指标。

18、综上所述，本发明具备如下有益效果。

19、1.同时实现心脏mr图像的分割与量化：

20、模型可以将心脏mr图像进行准确的分割，并在此基础上实现对心脏的量化分析。同时实现心脏mr图像的分割与量化有助于医生快速获得心脏结构和功能的相关信息，有利于诊断和治疗冠心病等心血管疾病。

21、2.实现多层特征集成：

22、不同于以往的单个编解码器模块，本发明的模型采用了基于集成的编解码器，即用通过短程跳跃连接的编解码器代替以往的单个编解码器。一个包含长程和短程跳过连接的残差网络块用于多级特征集成。例如，在功能的信息流到达解码器模块命名dec1_d(d＝1、2、3)，从不同的功能块，其中包括enc1_d，dec1_d+1，dec2_d+1融合的远程和短程跳过连接，这样本发明最终将实现多层特征集成，将得到更准确的分割性能。

23、3.充分利用上下文特征：

24、在心脏mr图像量化任务中，不同于rnn网络会出现梯度消失的致命性弱点与传统的lstm只能访问每个时间步中前面上下文的信息，本发明模型使用bi-lstm网络来捕获序列数据集的信息，并维护来自过去和未来的上下文特征。因此该技术可以有效解决传统rnn网络在处理长序列数据时面临的梯度消失/爆炸问题，同时能够更好地利用过去和未来的上下文信息，提高对于具有强时间依赖性数据集的建模和预测能力。

25、本发明的设计创新在于：

26、1、基于集成的深度卷积编解码模块设计

27、不同于以往的单个编解码器模块，本发明的模型采用了基于集成的编解码器，即用通过短程跳跃连接的编解码器代替以往的单个编解码器。一个包含长程和短程跳过连接的残差网络块用于多级特征集成。例如，在功能的信息流到达解码器模块命名dec1_d(d＝1、2、3)，从不同的功能块，其中包括enc1_d，dec1_d+1，dec2_d+1融合的远程和短程跳过连接，这样本发明最终将实现多层特征集成，将得到更准确的分割性能。

28、2、一种新型的多尺度cnn设计

29、本发明模型在指标估计任务阶段中，设计了一种新型的多尺度cnn。在经过特征表示网络后，将提取的特征发送到指标估计阶段中的多尺度cnn模块，可以实现获得多级局部特征的目的。多尺度cnn模块由三个平行的cnn模型组成，第一个cnn模型包含四个卷积层，卷积核的大小为3*3，池化窗口大小为2*2，步长为2，接着它与两个全连接层连接，并在第一个全连接层后加一个丢弃层；第二个cnn模型包含三个卷积层，卷积核大小为3*3，然后分别对应最大池化层、丢弃层和两个全连接层，与第一个模型不同，第二个cnn模型最大池化层的池化窗口大小被设置为5*5，步长为2；第三个cnn模型的结构与第二个cnn模型的结构几乎完全相同，除了卷积核大小变成5*5.在ms-cnn采用多尺度策略进行多层次特征提取后，本发明将三个独立的cnn模型的输出融合，将局部图像特征作为ms-cnn的最终输出。

30、3、通过引入bi-lstm网络实现上下文特征的更加充分利用

31、在心脏mr图像量化任务中，不同于rnn网络会出现梯度消失的致命性弱点与传统的lstm只能访问每个时间步中前面上下文的信息，本发明模型引入bi-lstm网络来捕获序列数据集的信息，并维护来自过去和未来的上下文特征。因此该技术可以有效解决传统rnn网络在处理长序列数据时面临的梯度消失/爆炸问题，同时能够更好地利用过去和未来的上下文信息，提高对于具有强时间依赖性数据集的建模和预测能力。