基于二维影像迁移学习的医学图像超分辨率三维重建方法与流程

本发明属于医学图像三维重建领域，更具体地，涉及一种基于二维影像迁移学习的医学图像超分辨率三维重建方法。
背景技术：
：医学影像中的断层扫描数据广泛应用于临床诊断与治疗。然而，受到成像设备、安全、经济等方面的约束，实际中往往只能得到层间间距较大的断层序列。为了得到体数据的完整描述，就必须对这些断层序列进行处理。这些处理称之为三维重建。目的是将二维切片代表的人体组织以立体的方式展现出来，进行多角度、多层次的观察，从而做出准确的诊断。现有三维重建方法主要是基于插值的重建方法。其中分为基于场景的插值与基于对象的插值。前者主要包括最近邻插值以及线性插值等方法；后者主要针对的是三维体积数据包含不同组织结构的情况下，一般包括距离、基于形态学的形状插值等方法。由于这些插值算法仅仅考虑到了像素间的空间关系，并没有引入其他信息。所以只适用于一些组织较为连续的体数据，鲁棒性和精确度较低。为了有效克服传统插值算法存在的问题，本发明提供了一种新颖有效的三维重建方法，大大提高了三维重建的精度。技术实现要素：针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，将卷积神经网络引入到三维重建中，通过网络自主学习二维影像列之间的位置关系，随后将切片序列转换成二维图像，目的是为了将切片序列的层间关系转换为二维影像列之间的位置关系。从而使得三维重建问题转换成为二维问题。本发明中的三维重建方法鲁棒性强，重建结果精度高。为实现上述目的，按照本发明，提供了一种基于二维影像迁移学习的医学图像超分辨率三维重建方法，其特征在于，包括以下步骤：(1)采集一系列二维医学影像数据作为训练数据；(2)对于所述步骤(1)得到的任意一张二维医学图像，按照隔(s-1)列的方式进行采样，得到s个子图像矩阵；其中，第1个子图像矩阵由该二维医学图像中的第(1+s×0)、(1+s×1)、(1+s×2)…列构成，第2个子图像矩阵由该二维医学图像中的第(2+s×0)、(2+s×1)、(2+s×2)…列构成，第3个子图像矩阵由该二维医学图像中的第(3+s×0)、(3+s×1)、(3+s×2)…列构成，由此类推，得到一组共s个子图像矩阵；对所述步骤(1)得到的一系列二维医学影像重复此操作，由此得到多组子图像矩阵；其中，s为预先设定的大于等于2的正整数；(3)设计三维重建用卷积神经网络，输入为单个通道，输出为(s-1)个通道；然后利用所述步骤(2)得到的多组子图像矩阵对该卷积神经网络进行训练，训练完成后即得到训练后的卷积神经网络；训练时，具体是将任意一组共s个子图像矩阵中的其中一个子图像矩阵作为输入，另外(s-1)个子图像矩阵与(s-1)个输出通道一一对应，作为这(s-1)个输出通道的标签值，由此利用多组子图像矩阵中的每一组对该卷积神经网络进行训练；(4)对待重建的三维医学影像进行迁移，将待重建的初始图像序列中每一帧i＝[i1，i2，…]都转换为列向量重新组合成一张全新的二维图像；然后将该图像输入至所述步骤(3)得到的训练后的卷积神经网络中，得到(s-1)个输出通道输出的(s-1)个矩阵，任意一个输出矩阵中的第i列数据均与输入矩阵中的第i列数据相对应；接着，将每一个输出矩阵中的每一列转换成h＝[h1，h2，…]，然后按顺序插入到所述初始图像序列中与该列相对应的某一帧图像后，即可得到三维重建后的超分辨率医学图像。作为本发明的进一步优选，所述步骤(3)中，所述卷积神经网络包括70层细节结构，其中第1层细节结构至第68层细节结构依次相连形成主链结构，该主链结构的末端设置有并列的(s-1)个通道，任意一个所述通道均含有彼此相连的第69层细节结构与第70层细节结构；其中，所述第1层细节结构为输入层，第2层细节结构为卷积层，第3层细节结构至第66层细节结构则对应着16个依次相连的残差块，任意一个残差块均由卷积层、激励层、卷积层和元素叠加层依次连接而成；第67层细节结构、第68层细节结构分别为卷积层和元素叠加层；(s-1)个所述第69层细节结构均为卷积层，(s-1)个所述第70层细节结构均为输出层；在这70层细节结构中，除第70层细节结构外，每一层的输出均为下一层的输入；此外，优选的，任意一个卷积层均包含64个滤波器，每个滤波器大小均为3×3，padding大小为1。作为本发明的进一步优选，所述步骤(1)中，所述二维医学影像数据包括ct数据、mri不同时期的数据中的至少一种；所述二维医学影像数据的分辨率均优选为1mm×1mm。作为本发明的进一步优选，所述步骤(4)中，所述超分辨率医学图像相当于是所述初始图像序列放大s倍后得到的。总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：1、将超分辨率的思想引入到三维重建中，基于大量的学习样本，建立切片间的空间对应关系，这种方法较传统方法，精度高，鲁棒性好。本发明优选同时采用ct数据、mri不同时期的数据作为训练集，使训练得到的cnn网络适用性更广。2、将基于卷积神经网络的学习方法引入到医学三维重建中，只要一经训练，便可以使用于所有切片序列图像的三维重建，算法简单，适用性广。3、利用迁移学习的思想，用二维影像列之间的位置关系表示切片序列的层间关系。将三维重建问题转换成了二维问题。避免了收集大量高分辨率的体数据的过程，从而使整个算法有更强的实用性。本发明所使用的三维重建用卷积神经网络，其输入为单通道，输出为多通道，网络描述的是二维影像列之间的位置关系。本发明还通过对卷积神经网络的结构进行优选控制，得到特定内部结构组成的卷积神经网络，一方面能够防止由于网络层数增加而导致的梯度弥散问题与退化问题，另一方面使用多通道的输出，有效地将卷积神经网络与三维重建问题结合起来，能够提高三维重建的精度。附图说明图1是本发明实施例的三维重建方法的流程图。图2是三维重建用卷积神经网络(即，cnn)结构图(图中n为残差块的个数)。图3中的图(a)、(b)、(c)分别是金标准(体数据其中一帧图像)、传统插值方法结果及本发明实施例的三维重建方法结果。图4中的图(a)、(b)是传统插值方法结果与金标准的残差图、本发明实施例的三维重建方法与金标准的残差图(其中，金标准为体数据其中一帧图像)。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本发明中基于二维影像迁移学习的医学图像超分辨率三维重建方法，总体来说，包括以下步骤：(1)采集一系列高分辨率的二维医学影像数据；(2)对采集的数据隔列进行采样，采样得到的图作为训练样本；(3)设计三维重建用卷积神经网络，并对其进行训练；(4)将待重建的切片序列中每一层图像转换为列向量，组成一张全新的图，输入到网络得到输出的对应切片序列；(5)将对应切片序列结果的每一列转换为图像后，按顺序排列，生成最终的三维结果。实施例1本实施例的基于二维影像迁移学习的医学图像超分辨率三维重建，如图1所示，包括如下步骤：(1)采集一系列二维高分辨率医学影像作为训练数据。优选地，所述训练数据包含不同模态的数据，本例收集了300张ct数据，500张mri不同时期的数据，分辨率均为1mm×1mm。(2)对步骤(1)中采集的每一个数据隔(s-1)列进行采样(其中，s为预先设定的放大倍数；s为大于等于2的正整数)，采样得到的图作为训练样本。以切片序列需放大2倍为例(即s＝2)，抽取每个图像数据中的第1,3,5,7,9，…列作为输入值，第2,4,6,8,10，…列作为标签值。再以切片序列需放大3倍为例，抽取每个数据的第1,4,7,10,13，…列作为输入值，第2,5,8,11,14，…列及第3,6,9,12,15，…列作为第一个标签值及第二个标签值；需放大s倍，则同理得到顺序抽取并排列的：输入值，第一个标签值，第二个标签值，……，第(s-1)个标签值；(3)设计一种三维重建用卷积神经网络，输入为单通道，输出为多通道，网络描述的是二维影像列之间的位置关系。输出通道的总个数与放大倍数s相关，等于s-1。优选地，所述神经网络仅包含卷积层、元素叠加层、激励层三种结构层，该神经网络结构如图2所示，为全卷积神经网络，输入图像及每个通道输出图像尺寸可以为30×30。所述网络是一种残差网络，在每个残差块中，通过跳跃式传递的方式，将输入跟学习到的残差在元素叠加层内相加，生成输出。这种残差网络的目的是为了防止由于网络层数增加而导致的梯度弥散问题与退化问题。在该网络中，一共有n个残差块。优选地，本文中使用了16个残差块。正如图2所示，卷积神经网络具体由不同类型的70层以及s-1个通道组成，s为放大倍数，第1层为输入层，s-1个多通道均由1个卷积层跟1个对应的输出层组成(即，任意一个通道包括1个卷积层跟1个对应的输出层，其中的卷积层即卷积神经网络整体70层结构中的第69层，输出层即卷积神经网络整体70层结构中的第70层)，每一层的输出作为下一层的输入；其中，第2、67层为卷积层，第68层为元素叠加层。第3层至第66层对应着16个残差块。每一个残差块由卷积层、激励层、卷积层、元素叠加层依次连接。所有卷积层均包含64个滤波器，每个滤波器大小均为3×3，padding大小为1(padding指的是卷积后在边界补充像素，从而保证图像尺寸不变)，通过这种特定结构的卷积层神经网络，能够增加重建精度。该网络中一共包含的s-1个不同的通道，分别对应需要重建出的不同的切片序列。激励层均采用relu函数(max(0，x))。优选地，所述神经网络的损失函数为各个输出通道的l1损失函数之和。将步骤(2)中获得的训练数据(780幅医学影像用作训练集，20幅作为验证集)输入步骤(3)中设计的神经网络模型，初始化网络参数，选取适当的优化算法进行迭代更新权重，得到所述三维重建用卷积神经网络。优选地，本例使用的优化算法为adam优化法，该方法高效的计算，所需内存少，适合解决含大规模数据和参数的优化问题。同时设置学习率为0.0001，每训练200个epoch(每一个epoch指把当前训练数据全部训练一遍)下降为原学习率的一半。在每个epoch结束后验证集将进行测试并保存最优结果的网络权重。总epoch次数可以设置为300次。(4)测试阶段，以三维图像数据为待重建对象，将待重建的图像序列中每一帧i＝[i1，i2，…]都转换为列向量后(即，对i按列自左向右依次采集灰度值并排列成新的一个列向量得到i’)，重新组合成一张全新的图像，从而将切片序列的层间关系转换为二维影像列之间的位置关系。将图像输入到网络中，得到其输出的对应不同的切片序列结果，再将为这些切片序列结果每一列转换成图像h＝[h1，h2，…]。随后按顺序组合排列生成最终的三维重建结果。具体的，以切片序列需要放大2倍为例，cnn输出结果与输入结果列与列一一对应，在最终得到放大图像时，可将输入结果的第1列、输出结果的第1列、输入结果的第2列、输出结果的第2列、……依次排列，由此得到放大2倍的切片序列，实现医学图像的三维重建结果。类似的，对于切片序列需要放大3倍的情形，可将输入结果的第1列、第一通道输出结果的第1列、第二通道输出结果的第1列、输入结果的第2列、输出结果的第2列、第二通道输出结果的第2列、……依次排列，由此得到放大3倍的切片序列，实现医学图像的三维重建结果。表1展示了3组不同时期的mri影像在放大2倍的情况下的结果。待放大的影像分辨率为1mm×1mm×2mm。目的是为了重建出1mm×1mm×1mm的高分辨率数据。本发明的方法与传统的插值算法进行了定性的质量评价。图3展示了本发明实施例的三维重建方法结果、传统插值方法结果及金标准(选取其中一帧图像作为显示结果)，图3中的(a)为金标准，图3中的(b)为插值结果，图3中的(c)为测试结果。同时，为了突出本例的优越性，在图4中，展示了本发明实施例的三维重建方法、传统插值方法结果分别与金标准的残差图，图4中的(a)对应插值结果，图4中的(b)对应测试结果。表1质量评价结果(psnr/db)方法t1t2pd插值35.6927.2131.16测试结果38.7029.9434.15从表1和图3可以明显的看出，我们得到的结果在不同的数据下较传统的插值方法有着显著的精度提升，并且细节更加明显。因此也验证了我们方法的合理性。从图4中可以明显的看出，相较于传统的插值方法，本发明实施例的三维重建方法所得结果与金标准更为接近。本发明中三维重建用卷积神经网络中，激励层所采用的relu函数(max(0，x))可参考相关现有技术建立，如nairv,hintonge.rectifiedlinearunitsimproverestrictedboltzmannmachines.in:internationalconferenceonmachinelearning,2010.pp.807–814。本发明所采用的adam优化法可参考现有技术，如kingmadp,baj.adam:amethodforstochasticoptimization[j].computerscience,2014。上述实施例中作为参照所采用的传统插值方法具体是使用keysrg.cubicconvolutioninterpolationfordigitalimageprocessing[j].ieeetransactionsonacousticsspeech&signalprocessing,2003,29(6):1153-1160.中记载的插值方法。本发明适用的医学图像可以是超声图像、ct图像、mri图像等医学图像。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12