基于深度学习和mri图像的心室功能指标预测方法
【专利摘要】基于深度学习和MRI图像的心室功能指标预测方法，属于医学图像处理领域。传统的心室指标预测方法主要依赖于人工分割每个相位的心室肌肉部分，然后在此基础上进行测算。这种方式需要耗费大量的人力和时间，并且存在严重的人为差异。一种基于深度学习和MRI图像的心室功能指标预测方法，所述方法通过以下步骤实现：临床方式获取心脏核磁共振影像；人工勾勒心室轮廓并计算相关的心室功能指标；对心脏MRI图像进行预处理；采用深度学习方法对心脏核磁共振数据进行特征表示；采用机器学习方法训练心室功能指标预测模型；采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测。本发明能快速、准确、自动化的预测心室功能指标来辅助临床心脏疾病的诊断。
【专利说明】
基于深度学习和MR I图像的心室功能指标预测方法
技术领域
[0001]本发明涉及一种基于深度学习和MRI图像的心室功能指标预测方法。
【背景技术】
[0002]医学图像处理是随着计算机技术的发展和成熟以及临床诊断技术的进步而迅速发展起来的一门新兴学科与技术，如今医学图像处理技术的在临床上的应用越来越广泛。心脏疾病是致死率最高的一种疾病之一，因此在临床诊疗中越来越被重视，同时心脏疾病检测和治疗的相关技术也成为医学图像处理领域技术研发的热点和难点。心室疾病是常见的一种心脏疾病，如心室肌肉肥大、室颤、心衰等。由于MRI图像具有较高的软组织分辨能力，因此成为临床心室疾病诊断金标准工具。当今，临床上心室疾病的诊断主要依赖于人工标定MRI图像数据，从而对疾病相关的衡量指标的进行测算。针对心室疾病临床上常用的测算指标包括:左右心室的体积、质量、收缩末期血容量、舒张末期血容量以及射血分数。这些指标被测算的准确性和一致性往往对心脏疾病的诊断具有决定性作用。依赖于人工标记的衡量指标测算方法有如下缺点:(I)耗费大量人力。(2)存在人为差异，即同样的数据，不同人的测算结果却不同。如何针对MRI图像自动化的完成心室功能指标的准确预测是心脏疾病诊断领域亟需解决的问题。这一问题的解决有很大的意义，通俗来说自动化的完成心室功能指标的预测，可以更好解放临床医生的劳动力，并且提供更加准确快捷的诊断依据。当然该项技术不仅可以应用于MRI图像，还可以拓展到基于其他模态(CT、超声心动图)的心室功能指标预测。
【发明内容】
[0003]本发明的目的是为了解决传统的心室指标预测方法依赖于人工分割每个相位的心室肌肉部分，然后在此基础上进行测算，存在人力和时间耗费大和严重的人为差异的问题，而提出一种基于深度学习和MRI图像的心室功能指标预测方法。
[0004]一种基于深度学习和MRI图像的心室功能指标预测方法，所述方法通过以下步骤实现:
[0005]步骤一、临床方式获取心脏核磁共振影像；
[0006]步骤二、人工勾勒心室轮廓并计算相关的心室功能指标；
[0007]步骤三、对心脏MRI图像进行预处理；
[0008]步骤四、采用深度学习方法对心脏核磁共振数据进行特征表示；
[0009]步骤五、采用机器学习方法训练心室功能指标预测模型；
[0010]步骤六、采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测。
[0011]本发明的有益效果为:
[0012]本发明是通过MRI设备或者两个相位多个方向的切片数据，对心脏MRI图像进行预处理过程中，不仅对图像进行去噪处理，还对图像进行多尺度和多种类的滤波操作，从而凸显更加丰富的图像内容;然后采用无监督的深度学习的方法对图像特征进行了进一步的提炼和表示，再采用有监督的机器学习方法训练心室功能指标预测模型，基于已经训练好的深度学习特征表示模型和机器学习分类模型，实现对左右心室的体积、质量、收缩末期血容量、舒张末期血容量以及射血分数的自动化心室功能指标预测，并依据射血分数对心脏病人的严重程度进行等级划分。本发明的自动化的完成心室功能指标的预测，可以更好解放临床医生的劳动力，并且提供更加准确快捷的诊断依据。当然该项技术不仅可以应用于MRI图像，还可以拓展到基于其他模态(CT、超声心动图)的心室功能指标预测。与传统方法相比较，本发明的心室指标预测方法能快速、准确、自动化的预测心室功能指标来辅助临床心脏疾病的诊断。
【附图说明】
[0013]图1为本发明涉及的心室指标预测方法流程图；
[0014]图2为本发明涉及的MRI心脏短轴切向基底部位图像；
[0015]图3为本发明涉及的MRI心脏短轴切向心室中部图像；
[0016]图4为本发明涉及的MRI心脏短轴切向心室上位图像；
[0017]图5为本发明涉及的MRI心脏长轴“四腔心”切片图像；
[0018]图6为本发明涉及的MRI心脏长轴“二腔心”切片图像；
[0019]图7为本发明涉及的心室指标预测学习框架。
【具体实施方式】
[0020]【具体实施方式】一:
[0021]本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，结合图1所示，所述方法通过以下步骤实现:
[0022]步骤一、临床方式获取心脏核磁共振影像；
[0023]步骤二、人工勾勒心室轮廓并计算相关的心室功能指标；
[0024]步骤三、对心脏MRI图像进行预处理；
[0025]步骤四、采用深度学习方法对心脏核磁共振数据进行特征表示；
[0026]步骤五、采用机器学习方法训练心室功能指标预测模型；
[0027]步骤六、采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测;其中，MRI是指核磁共振成像术，简称为磁共振成像。
[0028]【具体实施方式】二:
[0029]与【具体实施方式】一不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤一所述心脏核磁共振影像为MRI设备获取的心脏MRI图像，或者两个相位多个方向的切片数据;其中，两个相位为心脏收缩末期和心脏舒张末期，多个方向的切片数据为心脏MRI短轴切向基底部位图像、短轴切向心室中部图像、短轴切向心室上位图像、长轴二腔心图像和长轴四腔心图像。
[0030]【具体实施方式】三:
[0031]与【具体实施方式】一或二不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤二所述人工勾勒心室轮廓并计算相关的心室功能指标的过程为，人工对步骤一获取的心脏MRI图像的心室部分进行人工分割，并按照临床通用的金标准对心室功能指标进彳丁计算;其中，所述心室功能指标具体包括:左右心室的体积、质量、收缩末期血容量、舒张末期血容量以及射血分数;其中，质量通过体积计算而得，射血分数通过通过收缩末期血容量和舒张末期血容量计算而得。
[0032]其中，对步骤一获取的心脏MRI图像的心室部分进行人工分割时，临床医生采用通用标准，一般参考如下文章的方法进行人工分割:PrakkenN H,Velthuis B K,Vonken E J,et al.Cardiac MR1: standardized right and left ventricular quantificat1n bybriefly coaching inexperienced personnel[J].0pen Magn Reson J,2008,1:104-110
[0033]【具体实施方式】四:
[0034]与【具体实施方式】三不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤三所述对心脏MRI图像进行预处理的过程为，选择心脏MRI图像的收缩末期和舒张末期两个相位的多方向切片进行数据的预处理，则处理后的图像做为深度学习网络的输入;具体包括以下两部分:
[0035](I)采用去噪声方法对心脏MRI图像进行去噪声处理;其中，所述去噪声方法包括均值滤波或高斯平滑滤波；
[0036](2)对心脏MRI图像进行多尺度的滤波，多角度的表达心脏MRI图像中包含的信息，挖掘心脏MRI图像的固有特征，为后续深度学习网络的特征提炼打基础;其中，所述滤波方法选为拉普拉斯滤波或Gabor滤波方法。
[0037]【具体实施方式】五:
[0038]与【具体实施方式】一、二或四不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤四所述采用深度学习方法对心脏核磁共振数据进行特征表示的过程为，将经步骤三处理后的收缩末期和舒张末期两个相位的多方向的切片收据作为深度学习网络的输入，进行无监督的深度学习网络训练，采用由下至上的无监督的方式进行特征学习，具体为:
[0039]采用无标定数据训练第一层:采用TOke-sleep算法进行调优，学习第一层的参数，由于稀疏性约束，通过学习数据本身的结构得到深度学习模型，从而通过该模型得到更具有表示能力的特征。使得到的深度学习模型比输入更具有表示能力的特征;直至学习得到第η-l层的参数后，将η-l层的输出作为第η层的输入，进行第η层的训练，至此分别得到各层的参数；
[0040]其中，所述无监督的深度学习网络训练采用的网络模式包括深信度网络、卷积神经网络或者限制波尔兹曼机，且
[0041]当深度学习网络为五层以上时，网络模式选择为深信度网络或者限制波尔兹曼机；
[0042]当深度学习网络为三至五层时，网络模式选择为卷积神经网络；
[0043]所述无监督的深度学习网络训练过程为:
[0044]a)取数据集合中的样本(Χ，Υ)，其中，X表示输入图像序列集合，Y表示理想输出，X—{ Xbase，Xmid，Xapex，Xfour，Xtwo }; Xbase表示心室短轴基地部MRI图像，Xmid表示心室短轴中部MRI图像，Xapex表示心室短轴心尖部MRI图像，xf—表示长轴四腔心MRI图像，xtw。表示长轴两腔心MRI图像；
[0045]b)计算网络的实际输出0，在此阶段，将输入图像序列集合X作为输入，从输入层经过逐级变换传送到输出层，在此过程中，网络执行:进行输入与每层的权值矩阵的点乘计算，从而得到最后的实际输出结果= O = Fn(…(FKFKX-WOW〗)...)？!!)；其中，Fn表示网络的层级，W1，W2...Wn表示每层权值矩阵；
[0046]c)采用反向传播算法优化每层的权值，算实际输出O与相应的理想输出Y的平方差;按极小化误差的方法反向传播调整权矩阵。
[0047]【具体实施方式】六:
[0048]与【具体实施方式】五不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤五所述采用机器学习方法训练心室功能指标预测模型的过程为，经过步骤四的深度学习网络的特征提炼之后，学习到的特征将更加具有表征能力，采用有监督的机器学习方法对预测模型进行训练，针对每个心室功能指标分别训练一种预测模型，得到预测心室功能指标的分类器模型；且在进行有监督学习的过程中，采用三折交叉验证的训练模式增强预测模型的鲁棒性；
[0049]其中，采用有监督学习方法进行模型的求解时，可以选用有监督学习方法中的三层卷积神经网络、支持向量机或随机森林。
[0050]【具体实施方式】七:
[0051 ]与【具体实施方式】一、二、四或六不同的是，本实施方式的基于深度学习和MRI图像的心室功能指标预测方法，步骤六所述采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测的过程为，经过步骤一至步骤五的过程得到用于特征表示的深度学习模型和用于预测心室功能指标的分类器模型，直接用于自动化的心室功能指标预测。
[0052]实施例1:
[0053]图2是MRI心脏短轴切向基底部位图像，图3是MRI心脏短轴切向心室中部图像，图4是MRI心脏短轴切向心室上位图像，图5是MRI心脏长轴“四腔心”切片图像，图6是MRI心脏长轴“二腔心”切片图像。按照图2、3、4、5、6所示，从临床上采集每个病人的长轴和短轴影像数据。为了训练出更准确的指标预测模型，病人样例的数量尽量保证在500以上。采用多个切向的数据作为输入可以提供更加丰富全面的病人心脏信息，从而实现后续更加完整的特征表示和准确的模型提炼；
[0054]步骤一、将图2、3、4、5、6所示的多相位多个方向的切片数据作为输入；
[0055]步骤二、组织专家对临床获取的心脏MRI数据的心室部分进行人工分割，并按照临床通用的金标准对心室功能指标进彳丁计算;其中，所述心室功能指标具体包括:左右心室的体积、质量、收缩末期血容量、舒张末期血容量以及射血分数;其中，质量通过体积计算而得，射血分数通过通过收缩末期血容量和舒张末期血容量计算而得；
[0056]步骤三、选择心脏MRI图像的收缩末期和舒张末期两个相位的多方向切片，采用去噪声方法对心脏MRI图像进行去噪声处理，对心脏MRI图像进行多尺度的滤波，多角度的表达心脏MRI图像中包含的信息，最大限度地挖掘心脏MRI图像的固有特征，完成数据预处理；
[0057]步骤四、如下图7所示，在上述步骤的基础上，将经步骤三处理后的收缩末期和舒张末期两个相位的多方向的切片收据作为深度学习网络的输入，首先，采用无标定数据训练第一层:采用wake-sleep算法进行调优，学习第一层的参数，由于稀疏性约束，通过学习数据本身的结构得到特征表示或者深度学习网络模型，从而得到更具有表示能力的特征。使得到的深度学习网络模型比输入更具有表示能力的特征，；直至学习得到第η-l层的参数后，将η-l层的输出作为第η层的输入，进行第η层的训练，至此分别得到各层的参数，完成行无监督的深度学习网络训练；
[0058]步骤五、如图7所示，经过步骤四的深度学习网络的特征提炼之后，学习到的特征将更加具有表征能力，采用有监督的机器学习方法对预测模型进行训练，采用有监督学习方法训练分类器，针对每个心室功能指标分别训练一种预测模型;且在进行有监督学习的过程中，采用三折交叉验证的训练模式增强预测模型的鲁棒性；
[0059]步骤六、经过步骤一至步骤五的过程得到用于特征表示的深度学习模型和用于预测心室功能指标的分类器模型，直接用于自动化的心室功能指标预测。
[0060]本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
【主权项】
1.一种基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:所述方法通过以下步骤实现: 步骤一、临床方式获取心脏核磁共振影像； 步骤二、人工勾勒心室轮廓并计算相关的心室功能指标； 步骤三、对心脏MRI图像进行预处理； 步骤四、采用深度学习方法对心脏核磁共振数据进行特征表示； 步骤五、采用机器学习方法训练心室功能指标预测模型； 步骤六、采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测。2.根据权利要求1所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤一所述心脏核磁共振影像为MRI设备获取的心脏MRI图像，或者两个相位多个方向的切片数据;其中，两个相位为心脏收缩末期和心脏舒张末期，多个方向的切片数据为心脏MRI短轴切向基底部位图像、短轴切向心室中部图像、短轴切向心室上位图像、长轴二腔心图像和长轴四腔心图像。3.根据权利要求1或2所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤二所述人工勾勒心室轮廓并计算相关的心室功能指标的过程为，人工对步骤一获取的心脏MRI图像的心室部分进行人工分割，并按照临床通用的金标准对心室功能指标进行计算;其中，所述心室功能指标具体包括:左右心室的体积、质量、收缩末期血容量、舒张末期血容量以及射血分数。4.根据权利要求3所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤三所述对心脏MRI图像进行预处理的过程为，选择心脏MRI图像的收缩末期和舒张末期两个相位的多方向切片进行数据的预处理，具体包括以下两部分: (1)采用去噪声方法对心脏MRI图像进行去噪声处理;其中，所述去噪声方法包括均值滤波或高斯平滑滤波； (2)对心脏MRI图像进行多尺度的滤波，多角度的表达心脏MRI图像中包含的信息，挖掘心脏MRI图像的固有特征;其中，所述滤波方法选为拉普拉斯滤波或Gabor滤波方法。5.根据权利要求1、2或4所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤四所述采用深度学习方法对心脏核磁共振数据进行特征表示的过程为，将经步骤三处理后的收缩末期和舒张末期两个相位的多方向的切片收据作为深度学习网络的输入，进行无监督的深度学习网络训练，采用由下至上的无监督的方式进行特征学习，具体为: 采用无标定数据训练第一层:采用wake-sleep算法进行调优，学习第一层的参数，通过学习数据本身的结构得到深度学习模型;直至学习得到第η-l层的参数后，将η-l层的输出作为第η层的输入，进行第η层的训练，至此分别得到各层的参数； 其中，所述无监督的深度学习网络训练采用的网络模式包括深信度网络、卷积神经网络或者限制波尔兹曼机，且 当深度学习网络为五层以上时，网络模式选择为深信度网络或者限制波尔兹曼机； 当深度学习网络为三至五层时，网络模式选择为卷积神经网络； 所述无监督的深度学习网络训练过程为: a)取数据集合中的样本(X，Y)，其中，X表示输入图像序列集合，Y表示理想输出，X={ Xbase , Xmid , Xapex , Xfour , Xtwo }; Xbase表示心室短轴基地部MRI图像，Xmid表示心室短轴中部MRI图像，xapM表示心室短轴心尖部MRI图像，xf.表示长轴四腔心MRI图像，xtw。表示长轴两腔心MRI图像； b)计算网络的实际输出0，在此阶段，将输入图像序列集合X作为输入，从输入层经过逐级变换传送到输出层，在此过程中，网络执行:进行输入与每层的权值矩阵的点乘计算，从而得到最后的实际输出结果= O = Fn(…(F2(F1(X-W1)W2UWn);其中，Fn表示网络的层级，Wi，W2...Wn表示每层权值矩阵； c)采用反向传播算法优化每层的权值，算实际输出O与相应的理想输出Y的平方差；按极小化误差的方法反向传播调整权矩阵。6.根据权利要求5所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤五所述采用机器学习方法训练心室功能指标预测模型的过程为，经过步骤四的深度学习网络的特征提炼之后，采用有监督的机器学习方法对预测模型进行训练，针对每个心室功能指标分别训练一种预测模型，得到预测心室功能指标的分类器模型;且在进行有监督学习的过程中，采用三折交叉验证的训练模式增强预测模型的鲁棒性； 其中，采用有监督学习方法进行模型的求解时，可以选用有监督学习方法中的三层卷积神经网络、支持向量机或随机森林。7.根据权利要求1、2、4或6所述基于深度学习和MRI图像的心室功能指标预测方法，其特征在于:步骤六所述采用训练好的模型对步骤一获取的心脏核磁共振影像进行心室功能指标预测的过程为，经过步骤一至步骤五的过程得到用于特征表示的深度学习模型和用于预测心室功能指标的分类器模型，直接用于自动化的心室功能指标预测。
【文档编号】G06K9/62GK106096632SQ201610388764
【公开日】2016年11月9日
【申请日】2016年6月2日 公开号201610388764.1, CN 106096632 A, CN 106096632A, CN 201610388764, CN-A-106096632, CN106096632 A, CN106096632A, CN201610388764, CN201610388764.1
【发明人】王宽全, 骆功宁, 安然, 董素宇, 张恒贵
【申请人】哈尔滨工业大学