基于深度学习的腹部三维医学影像转换生成方法

本发明属于计算机视觉领域以及医疗影像领域，涉及一种不同模态的三维医疗影像之间进行转换的方法，具体涉及一种基于深度学习的腹部三维医学影像转换生成方法。

背景技术：

医学影像包含多种模态的数据形式，mri与ct是两种常见模态的三维医学影像，由于成像原理不同，二者对疾病的诊断各有优势，比如ct影像中的骨组织更加清晰，mri影像中的软组织则更细致，而且由于没有放射性不会对人体细胞造成损伤。单模态医学影像通常无法反映疾病的复杂特征，综合分析mri和ct多模态医疗影像，综合考虑不同模态数据特征及互补关系，能为医生提供更加全面的诊断信息，提高疾病诊断准确率。同时，利用mri数据生成具有医学诊断意义的ct数据能有效避免给患者带来辐射伤害。

然而现有研究成果存在生成的数据精度不够解决这一共性问题，并且对医疗影像中的微小细节无法保留，使其生成的数据无法满足精度与匹配度要求。因此，需要设计一种能够解决上述问题的方法。

技术实现要素：

本发明是为了解决上述问题而进行的，目的在于提供一种基于深度学习的腹部三维医学影像转换生成方法，能够通过仅有的腹部mri影像生成可以用于辅助诊断的同一部位的对应ct影像。

本发明提供了一种基于深度学习的腹部三维医学影像转换生成方法，用于实现由腹部mri影像转换为腹部ct影像的跨模态影像转换，具有这样的特征，包括如下步骤：步骤s1，对已有训练集中的真实mri影像和真实ct影像进行三维医学配准，得到配准影像；步骤s2，将所述配准影像输入用于图像转换的三维深度学习模型进行模型训练，得到训练后的三维深度学习模型；步骤s3，将需要进行转换的腹部mri影像输入训练后的所述三维深度学习模型，得到同一部位的相应的ct影像。

在本发明提供的基于深度学习的腹部三维医学影像转换生成方法中，还可以具有这样的特征：其中，步骤s2中，三维深度学习模型包括生成器模型和判别器模型，模型训练具体包括如下子步骤：

步骤s2-1，构建初始生成器模型和初始判别器模型；

步骤s2-2，将腹部mri影像输入所述初始生成器模型，得到初始腹部ct影像ⅰ；

步骤s2-3，采用所述已有训练集中的一部分所述真实ct影像和一部分所述初始腹部ct影像ⅰ输入所述初始判别器模型，对所述初始判别器模型进行训练，得到训练后的初始判别器模型；

步骤s2-4，采用所述已有训练集中的另一部分经过三维医学配准后的真实mri影像和对应的真实ct影像输入所述初始生成器模型，对所述初始生成器模型进行训练，得到训练后的初始训练器模型；

步骤2-5，重复步骤s2-2，得到初始腹部ct影像ⅱ，将其与对应的真实ct影像进行对比，判断所述初始腹部ct影像是否为高质量影像，当判断为是高质量影像时，则停止训练，当判断为不是高质量影像时，则重复步骤步骤s2-3和步骤s2-4，直至输出的腹部ct影像为高质量影像时，则停止训练。

在本发明提供的基于深度学习的腹部三维医学影像转换生成方法中，还可以具有这样的特征：其中，步骤s1中，三维医学配准采用faim算法。

在本发明提供的基于深度学习的腹部三维医学影像转换生成方法中，还可以具有这样的特征：其中，步骤s3中，ct影像为dicom格式的三维ct影像。

发明的作用与效果

根据本发明所涉及的基于深度学习的腹部三维医学影像转换生成方法，由于在训练模型之前对mri影像和ct影像进行了三维配准，使得深度学习模型得到的训练数据质量更高，易于得出更好的效果。具体来说，模型使用了生成式对抗网络作为主体，通过生成器模型和判别器模型互相博弈的方法生成高质量的ct影像。

进一步地，采用3d卷积处理三维的mri影像和ct影像，能捕捉更多的空间信息和和医学影像中组织器官的信息，并且解决医学影像切片的不连续性问题，解决生成的图像模糊、边缘不清晰等问题。通过生成ct影像，综合分析mri和ct两个模态医疗影像，能为医生提供更加全面的诊断信息，提高疾病诊断准确率。同时，利用mri数据生成具有医学诊断意义的ct数据能有效避免给患者带来辐射伤害。

此外，本发明的基于深度学习的腹部三维医学影像转换生成方法能够用于患者因各种原因，如担心辐射等，只进行了mri拍摄而没有进行ct拍摄时帮助医生进行辅助诊断，为医生提供更多可用的医学诊断影像作为判断依据。

附图说明

图1是本发明的实施例中基于深度学习的腹部三维医学影像转换生成方法的流程图；

图2是本发明的实施例中腹部骨盆的mri影像和对应的同一部位的ct影像示意图；

图3是本发明的实施例中腹部三维医学影像转换生成模型的训练步骤的流程图；

图4是本发明的实施例中由mri影像生成ct影像所使用的全卷积网络结构的示意图。

具体实施方式

为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。

本发明的一种基于深度学习的腹部三维医学影像转换生成方法在实施过程中通过一台计算机运行，该计算机需要一张显卡进行gpu加速从而完成模型的训练过程，训练完成的腹部三维医学影像转换生成方法的模型以及影像识别过程以可执行代码的形式存储在计算机中。

图1是本发明的实施例中基于深度学习的腹部三维医学影像转换生成方法的流程图，图2是本发明的实施例中腹部骨盆的mri影像和对应的同一部位的ct影像示意图，图2中，图2(a)为，图2(b)为骨盆的mri影响，图2(b)为对应的骨盆的ct影像。

如图1和图2所示，本发明的基于深度学习的腹部三维医学影像转换生成方法，用于实现由腹部mri影像转换为腹部ct影像的跨模态影像转换，包括如下步骤：

步骤s1，对已有训练集中的真实mri影像和真实ct影像进行三维医学配准，得到配准影像。

本发明中，三维医学配准采用faim算法，用于处理需要配对的完整3d影像，并预测将源模态影像转换到目标模态影像所需要的位移场。

图3是本发明的实施例中腹部三维医学影像转换生成模型的训练步骤的流程图。

步骤s2，将所述配准影像输入用于图像转换的三维深度学习模型进行模型训练，得到训练后的三维深度学习模型。

本发明中，三维深度学习模型包括生成器模型和判别器模型，模型训练具体包括如下子步骤：

步骤s2-1，构建初始生成器模型和初始判别器模型；

步骤s2-2，将腹部mri影像输入所述初始生成器模型，得到初始腹部ct影像ⅰ；

步骤s2-3，采用所述已有训练集中的一部分所述真实ct影像和一部分所述初始腹部ct影像ⅰ输入所述初始判别器模型，对所述初始判别器模型进行训练，得到训练后的初始判别器模型；

步骤s2-4，采用所述已有训练集中的另一部分经过三维医学配准后的真实mri影像和对应的真实ct影像输入所述初始生成器模型，对所述初始生成器模型进行训练，得到训练后的初始训练器模型；

步骤2-5，重复步骤s2-2，得到初始腹部ct影像ⅱ，将其与对应的真实ct影像进行对比，判断所述初始腹部ct影像是否为高质量影像，当判断为是高质量影像时，则停止训练，当判断为不是高质量影像时，则重复步骤步骤s2-3和步骤s2-4，直至输出的腹部ct影像为高质量影像时，则停止训练。

本发明中，训练后得到的模型存储在计算机中，计算机可以通过可执行代码调用该模型，得到由输入的mri影像转换而成的ct影像并输出显示，上述高质量影像指的是：1、输出的腹部ct影像与对应的真实ct影像相似度较高，人眼难以分辨此ct影像是真实拍摄还是由模型生成；2、输出的ct影像能正确反应出患者的真实mri影像中包含的医疗影像信息，如各类病灶的形状等。

步骤s3，将需要进行转换的腹部mri影像输入训练后的所述三维深度学习模型，得到同一部位的相应的ct影像。

本发明中，ct影像为dicom格式的三维ct影像，通过阅读dicom格式的软件对生成ct影像进行阅读，并且可以进行窗宽、窗位的调节，更符合医生的阅片习惯。

本发明的初始三维医学影像转换生成模型的各层包含不同的模型参数，这些模型参数在构建时为随机设置。

实施例：

图4是本发明的实施例中由mri影像生成ct影像所使用的全卷积网络结构的示意图。

如图4所示，生成器的具体结构是基于一个全卷积网络，其中一种可能的结构如下：

若从数据集中提取出的三维mri切片大小为32×32×16，相应的三维ct切片大小为24×24×12，两种影像已经经过三维配准。在全卷积网络中，首先使用卷积核大小为7×7×3的三维卷积处理输入的mri切片，在第一个隐藏层中获得32张特征图，并且在图像的前两个维度进行单个体素的填充，作为第二层的输入。第二层卷积使用5×5×3的卷积核获得64张特征图作为第三层的输入，第三层使用3×3×3的卷积核获得32张特征图，最后使用一个3×3×3的卷积核处理这些特征图获得一个三维图像，即为输出的ct影像。为了保持影像大小的对应关系，在最后两层需要对三维特征图的每一维都进行体素填充。通过这种方法，mri影像和ct影像之间潜在的非线性关系被编码在了网络所拥有的大量参数中。

实施例的作用与效果

根据本实施例所涉及的基于深度学习的腹部三维医学影像转换生成方法，由于在训练模型之前对mri影像和ct影像进行了三维配准，使得深度学习模型得到的训练数据质量更高，易于得出更好的效果。具体来说，模型使用了生成式对抗网络作为主体，通过生成器模型和判别器模型互相博弈的方法生成高质量的ct影像。

进一步地，采用3d卷积处理三维的mri影像和ct影像，能捕捉更多的空间信息和和医学影像中组织器官的信息，并且解决医学影像切片的不连续性问题，解决生成的图像模糊、边缘不清晰等问题。通过生成ct影像，综合分析mri和ct两个模态医疗影像，能为医生提供更加全面的诊断信息，提高疾病诊断准确率。同时，利用mri数据生成具有医学诊断意义的ct数据能有效避免给患者带来辐射伤害。

此外，本实施例的基于深度学习的腹部三维医学影像转换生成方法能够用于患者因各种原因，如担心辐射等，只进行了mri拍摄而没有进行ct拍摄时帮助医生进行辅助诊断，为医生提供更多可用的医学诊断影像作为判断依据。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。