多模态医学图像生成方法和装置

1.本技术实施例涉及医学图像领域，具体涉及医学图像模态领域，尤其涉及多模态医学图像生成方法和装置。


背景技术：

2.x射线计算机断层成像技术(x射线ct)是一种利用x射线与物质相互作用的原理，对待检部位一定厚度的层面进行扫描，由探测器接收透过该层面的x射线，转变为电信号，再经模拟/数字转换器转为数字信号(投影数据)，输入计算机，对物体内部信息进行成像的一种技术。
3.核磁共振(mr)成像技术是利用核磁共振(nuclear magnetic resonance)原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构图像。
4.正电子发射断层扫描(pet)成像技术是一种用于肿瘤疾病诊断工具，其方法是将某种物质，一般是生物生命代谢中必须的物质，如：葡萄糖、蛋白质、核酸、脂肪酸，标记上短半衰期放射性核素(如
18
f，
11
c等)，注入人体，由于肿瘤细胞代谢旺盛，这些物质会在肿瘤细胞处聚集。通过探测放射性核素发射的光子并成像，来定位肿瘤情况，从而可对病变进行诊断和分析。
5.pet图像，如图1(a)所示，能提供肿瘤的诊断信息，但图像缺失了肿瘤及其周围组织的解剖结构信息，这些额外的解剖需要ct或mr图像提供，如图1(b)所示。
6.目前在临床医疗检查中，各个医学成像模态都需要单独的设备进行成像，然后再汇总到医生处，根据多个模态图像进行综合诊断，耗费大量的人力物力。
7.目前在临床医疗检查中，各个医学成像模态都需要单独的设备进行成像，要得到pet、ct、mr图像就需要三种设备，对于使用单位来说采购设备的成本很高；对于患者来说这些检查也非常昂贵，耗费的时间也很长。
8.本发明克服了上面的缺点，将医学图像的一种模态转换、生成另一种模态图像，实现了计算机断层成像(ct)图像、核磁共振(mr)图像以及正电子发射断层扫描(pet)图像之间的相互转换与生成。只需要扫描ct、mr、pet三种模态中的一种，就可生成其他另外两种。能有效减轻设备使用单位的采购负担，同时为患者节省检查时间和经济负担。


技术实现要素：

9.本技术实施例提出了一种多模态医学图像生成方法和装置。
10.第一方面，本技术实施例提供了一种多模态医学图像生成方法，包括：
11.将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
12.将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态
图像，所述第二模态图像与所述第一模态图像的模态不同；
13.输出所述第二模态图像。
14.在一些实施例中，其中，所述生成器的生成器网络采用卷积神经网络，残差网络和生成对抗网络。
15.在一些实施例中，其中，所述生成器网络采用生成对抗网络，生成器的网络结构包含生成器与判别器；
16.生成器用于生成目标模态图像；
17.判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。
18.在一些实施例中，其中，所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。
19.在一些实施例中，其中，所述生成器用于实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。
20.在一些实施例中，其中，所述降采样与所述升采样结合的网络，包括但不限于：降采样与升采样都采用常规卷积层或残差卷积层，卷积层激活函数采用relu、leaky_relu、tanh、sigmod。
21.在一些实施例中，其中，降采样与升采样结合的部分，可以采用直接相连，也可以采用全连接层相连接，也可以采用一个或多个残差网络相连接。
22.第二方面，本技术实施例还提供了一种多模态医学图像生成装置，包括：
23.训练装置，用于将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
24.输入装置，用于将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态图像，所述第二模态图像与所述第一模态图像的模态不同；
25.输出装置，用于输出所述第二模态图像。
26.在一些实施例中，其中，所述生成器的生成器网络采用卷积神经网络，残差网络和生成对抗网络。
27.在一些实施例中，其中，所述生成器的网络结构包含生成器与判别器；
28.生成器用于生成目标模态图像；
29.判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。
30.在一些实施例中，其中，所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。
31.在一些实施例中，其中，所述生成器用于实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。
32.在一些实施例中，其中，所述降采样与所述升采样结合的网络，包括但不限于：降采样与升采样都采用常规卷积层或残差卷积层，卷积层激活函数采用relu、leaky_relu、tanh、sigmod。
33.在一些实施例中，其中，降采样与升采样结合的部分，可以采用直接相连，也可以采用全连接层相连接，也可以采用一个或多个残差网络相连接。
34.第三方面，本技术实施例提供了一种电子设备，包括：
35.一个或多个处理器；
36.存储装置，用于存储一个或多个程序，
37.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述多模态医学图像生成方法中任一实施例的方法。
38.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述多模态医学图像生成方法中任一实施例的方法。
39.本发明克服了现有技术中的缺点，将医学图像的一种模态转换、生成另一种模态图像，实现计算机断层成像(ct)图像、核磁共振(mr)图像以及正电子发射断层扫描(pet)图像之间的相互转换与生成。以输入pet图像输出mr图像为例，本发明将患者检查得到的pet图像输入本发明神经网络，直接可生成mr图像，不需要另外专用的mr设备重新扫描。因深度卷积神经网络已经预先训练完成，在部署时，可直接应用，整个重建过程速度非常迅速。
附图说明
40.图1是现有技术中两种模态的医学图像；
41.图2是本技术的多模态医学图像生成方法一个实施例的流程图；
42.图3是本技术的pet图像生成mr图像总体流程图；
43.图4是本技术的生成器网络结构示意程图；
44.图5是本技术的生成器判别器网络结构示意程图；
45.图6是本技术的生成器残差网络结构示意程图；
46.图7是本技术的生成器卷积网络a结构示意程图；
47.图8是本技术的生成器卷积网络b结构示意程图；
48.图9是本技术一个实施例根据pet图像生成的mr图像的对比图；
49.图10是本技术的多模态医学图像生成装置结构示意程图。
具体实施方式
50.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
51.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
52.图2示出了根据本技术的多模态医学图像生成方法的一个实施例的流程图。该多模态医学图像生成方法包括以下步骤：
53.步骤201，将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
54.步骤202，将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态图像，所述第二模态图像与所述第一模态图像的模态不同；
55.步骤203，输出所述第二模态图像。
56.第二模态图像为pet，ct，mr或其他医学模态图像中的一种。
57.在本实施例中，步骤202中预先训练好的生成器通过以下方式进行训练：
58.首先将第一模态图像数据输入神经网络。在训练过程中，将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练。在部署过程中，单独输入一种模态图像就可得到目标模态图像。因深度卷积神经网络已经预先训练完成，在部署时，可直接应用，整个重建过程非常迅速。以输入pet图像输出mr图像为例，如图3所示，其他模态之间的转换与该方法相同。
59.生成器网络可由卷积神经网络、残差网络、生成对抗网络等网络实现。本示例采用生成对抗网络，其网络结构包含生成器与判别器，生成器用于生成目标模态图像，判别器用于判断生成的图像是否达到了要求，达到了停止训练的要求即停止训练。所述生成器的网络结构可以运用迁移学习技术，通过加载预训练网络加快网络训练。
60.在本实施例中，生成器如图4所示。生成器实现输入图像的多级降采样，之后再对应多级升采样，降采样与升采样之间采用多个残差网络连接。生成器中的卷积网络a的结构如图7所示，含有若干个卷积层和激活层，最后一层为池化层，可采用最大池化或者平均池化操作，卷积网络a的作用主要在于提取图像高层次特征，共n个串联，并和相对应的卷积网络b有短接；生成器中的卷积网络b的结构如图8所示，共n个，含有若干个卷积层和激活层，最后一层为上采样层，可采用反卷积或者反池化操作，实现图片生成；生成器中的残差网络结构如图6所示。判别网络如图5所示，判别器网络中分别有n个卷积层和激活层，最后三层为全连层+激活层+全连层。
61.在本实施例一些可选的实现方式中，在生成器中：卷积网络a的个数为5个，其中共卷积层和激活层分别为3层，最后一层为最大池化层，对应的卷积网络b的个数为5个，其中卷积层和激活层分别为3层，最后一层为最大反卷积层；判别器中：卷积层和激活层分别为8层，最后三层为全连层+激活层+全连层。
62.在本实施例一些可选的实现方式中，生成器网络结构采用生成对抗网络，在网络的一次训练中，预先对判别器网络训练n次，这里取n＝5，然后对生成器训练1次，生成器训练产生的图像和参照图像经过判别器判断是否达到和参照图像清晰程度，如果没有，继续训练判别器5次，然后训练生成器1次，如此循环，经过多次迭代训练完成对网络训练。
63.在本实施例一些可选的实现方式中，生成器网络的降采样过程包括：网络起始位置卷积网络a1的输入、输出图像尺寸与网络的输入图像尺寸相同，输入图像的尺寸记为m
×
n，则本卷积模块内部其他卷积层(多个级联卷积单元)生成的特征图像尺寸为m
×
n。下一级卷积网络a2的输入层(单元)卷积时采用stride＝2模式降采样卷积，得到的特征图像尺寸为(m/2)
×
(n/2)，其他层(单元)的特征图像尺寸同为(m/2)
×
(n/2)。以此类推，卷积网络an内部卷积层的特征图像尺寸为(m/n)
×
(n/n)。
64.在本实施例一些可选的实现方式中，生成器网络的升采样过程包括：网络的升采样过程与降采样相反，卷积网络bn的内部卷积层特征图像尺寸为(m/n)
×
(n/n)，模块的最后一层采用stride＝2
″
反卷积
″
把特征图像升采样到(m/(n-1))
×
(n/(n-1))，后面的升采样模块以此类推，直到最终升采样卷积网络b1，卷积网络b1的最后一层不再升采样，经过整形层保证输出图像尺寸与网络最开始输入图像尺寸一致。
65.在本实施例一些可选的实现方式中，在降采样与升采样的卷积网络输出同等特征图像尺寸时，采用残差路径把降采样卷积网络a的输出直接连接到升采样卷积网络b的输
出。比如降采样卷积网络a1的输出特征图像尺寸为m
×
n，升采样卷积网络b2的输出特征图像尺寸同为m
×
n，把降采样卷积模块1的输出，连接到升采样卷积网络b2的输出上，共同送入卷积网络b1。
66.在本实施例一些可选的实现方式中，在降采样的末尾，升采样的开始，采用多个级联的残差网络连接。
67.在本实施例一些可选的实现方式中，网络结构中的
″
卷积模块
″
采用的卷积核大小，可以选取(3
×
3)、(5
×
5)、(7
×
7)等。各个卷积模块以及模块内部卷积层的输入输出特征图像数目，可以选取8、16、32、64等。各个卷积模块以及模块内部卷积层的激活函数，可以选取relu、leaky_relu、tanh等。
68.在一个实施例中采用pet图像作为输入，最终通过网络生成mr图像，结果如下图9所示。其效果理想，可以为医生提供pet图像mr图像的解剖结构信息，用于病灶的定位和诊断。其他模态图像之间(如pet到ct，ct到mr，ct到pet，mr到ct，mr到pet)的转换过程均可采用相同的方法和流程。
69.进一步参考图10，本技术还提供了一种多模态医学图像生成装置，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
70.如图10所示，本实施例的多模态医学图像处理装置1000包括：训练装置1001，输入装置1002和输出装置1003。
71.其中，训练装置1001，用于将第一模态图像与目标第二模态图像输入训练网络，实现监督学习，迭代训练达到停止条件后停止训练，获得生成器；
72.输入装置1002，用于将第一模态图像输入预先训练好的生成器，将所述第一模态图像转换为第二模态图像，所述第二模态图像与所述第一模态图像的模态不同；
73.输出装置1003，用于输出所述第二模态图像。
74.第二模态图像为pet，ct，mr或其他医学模态图像中的一种
75.以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
76.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
77.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
78.还需要说明的是，术语
″
包括
″
、
″
包含
″
或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句
″
包括一个......
″
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
79.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。