用深度图像到图像网络和对抗网络的跨域图像分析和合成的制作方法

本发明涉及跨域医学图像分析和医学图像的跨域合成，并且更具体地，涉及使用深度学习网络的跨域医学图像分析和跨域医学图像合成。

诸如计算机断层扫描（CT）、扩散张量成像（DT1）、T1加权磁共振成像（MRI）、T2加权MRI、超声、X射线、正电子发射断层扫描（PET）等众多成像模态可以用于患者的医学图像分析。这些成像模态中的每个捕获潜在解剖的不同特性并且任何两个模态之间的关系是高度非线性的。这些不同成像技术为医师提供用于作出准确诊断的多变工具和信息。然而，传感器异质性为开发有效的自动图像分析平台造成挑战。特别地，在一个模态上良好工作的算法可能在从不同类型的扫描仪收集的数据上表现得无用。

在很多实际医学图像分析问题中，经常遇到这样的情形，在该情形中归因于模态异质性或域变化，可用于训练（例如可用于基于机器学习的解剖学对象检测）的医学图像数据具有与测试期间给定的医学图像数据不同的分布或表示。归因于跨模态的图像特性中的变化，利用来自一个模态的数据所训练的医学图像分析算法在被应用到来自不同模态的医学图像数据时可能无法良好工作。解决该问题的一种方式是从每个成像模态收集大量训练数据。然而，由于收集医学图像经常是耗时且昂贵的，因此该解决方案是不切实际的。

跨模态合成从给定源模态图像生成在期望目标模态中的医学图像，在没有实际采集的情况下合成医学图像的能力具有诸如图谱构造、虚拟增强、多模态配准和分割之类的很多潜在应用。已经提出了用于跨模态合成的各种方案，但是这类方案通常针对特定应用或基于各种启发法而定制。

技术实现要素：

本发明提供用于自动化的基于计算机的跨域医学图像分析和医学图像的跨域合成的方法和系统。

在本发明的一个实施例中，一种用于在患者的医学图像上自动执行基于跨域的医学图像分析的方法包括：接收患者的来自第一域的医学图像；将患者的医学图像输入到跨域深度图像到图像网络的第一编码器，所述跨域深度图像到图像网络包括用于第一域的第一编码器、用于第二域的第二编码器以及解码器；以及由将来自第一域的输入医学图像转换为特征图的第一编码器和从第一编码器生成的特征图生成输出图像的解码器，使用跨域深度图像到图像网络自动生成输出图像，所述输出图像提供输入医学图像上的目标医学图像分析任务的结果。至少部分地基于由第一编码器从来自第一域的训练输入图像生成的特征图和由第二编码器从来自第二域的训练输入图像生成的特征图的相似性，来一起训练用于第一域的第一编码器与用于第二域的第二编码器。训练解码器以从第一编码器生成的特征图和第二编码器生成的特征图生成输出图像。

在本发明的另一个实施例中，一种用于训练用于跨域双边医学图像合成的深度神经网络的方法，包括：接收第一域的第一组训练图像和在第二域中的第二组训练图像；以及基于第一域的第一组训练图像和第二域的第二组训练图像训练双边生成性对抗网络，所述双边生成性对抗网络包括：第一生成器网络，其用于从第一域的输入医学图像生成第二域的合成医学图像；第二生成器网络，其用于从第二域的输入医学图像生成第一域的合成医学图像；第一鉴别器网络，其用于在第一域的真实训练图像和第二生成器网络从第二域的训练图像生成的第一域的合成医学图像之间进行区分；以及第二鉴别器网络，其用于在第二域的真实训练图像和第一生成器网络从第一域的训练图像生成的第二域的合成医学图像之间进行区分。双边生成性对抗网络的训练奖励第一域的训练图像和第二生成器网络从第一生成器网络从第一域的训练图像生成的第二域的合成图像生成的第一域的合成图像之间的一致性，以及第二域的训练图像和第一生成器网络从第二生成器网络从第二域的训练图像生成的第一域的合成图像生成的第二域的合成图像之间的一致性。

通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员而言将是清楚的。

附图说明

图1图示了根据本发明的实施例的用于医学图像分析的深度图像到图像网络（DI2IN）；

图2图示了用于图像生成的生成性对抗网络；

图3图示了使用跨域深度图像到图像网络的用于自动跨域医学图像分析的方法；

图4图示了根据本发明的实施例的具有对抗网络的跨域DI2IN；

图5图示了根据本发明的实施例的用于训练跨域DI2IN和对抗网络的方法；

图6图示了根据本发明的实施例的用于跨域医学图像合成的生成性对抗网络（GAN）；

图7图示了根据本发明的实施例的用于跨域双边医学图像合成的方法；

图8图示了根据本发明的实施例的用于训练用于跨域医学图像合成的深度神经网络的双边GAN；

图9图示了根据本发明的实施例的用于训练用于跨域双边医学图像合成的深度神经网络的方法；

图10图示了根据本发明的实施例的使用几何结构保持生成性对抗网络的用于跨域医学图像合成的方法；以及

图11是能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及用于基于自动化计算机的跨域医学图像分析和跨域医学图像合成的方法和系统。本文描述本发明的实施例以给出跨域医学图像分析和跨域医学图像合成方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示构成。本文通常在标识和操控对象方面来描述对象的数字表示。这类操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。因此，要理解，可以在计算机系统内使用存储在计算机系统内的数据来执行本发明的实施例。

可以使用诸如超声、计算机断层扫描（CT）和磁共振成像（MRI）图像采集设备之类的不同类型的成像设备来获取医学图像。因此，这类医学图像的分析可以从利用来自多个域的共享知识受益。例如，考虑来自医学图像的经分割目标解剖学结构的医学图像分析任务。出现在针对同一患者的CT和MRI图像中的例如肝脏之类的同一解剖学结构共享相同的形态，虽然其外观不同。设计两个独立的分割管道（一个用于CT并且另一个用于MRI）是次优的。本发明的实施例提供用于跨域图像分析的基于机器学习的方法。在本发明的有利实施例中，深度图像到图像网络和对抗网络用于一起训练深度神经网络，以针对来自不同域的医学图像执行医学图像分析任务，使得来自一个域的知识可以改进另一个域中的医学图像分析任务的性能。当一个域（例如，源域）具有相当大量的带注释数据组并且另一个域（例如，目标域）具有有限量的带注释图像或者极端地没有带注释图像时，本文描述的方法的实际益处出现。在这类情况下，跨域图像分析可以导致在目标域中的更有效的医学图像分析。

如本文所使用的，来自不同“域”的医学图像指代来自不同医学成像模态（诸如CT、MRI、超声等）的医学图像以及跨图像域的医学图像（诸如具有不同协议（例如，T1和T2）的MR图像、对比CT图像和非对比CT图像、以低kV捕获的CT图像和以高kV捕获的CT图像、或低和高分辨率医学图像）。即，“第一域”和“第二域”可以是完全不同的医学成像模态或相同整体成像模态内的不同图像域或协议。

可以在完全卷积的深度图像到图像网络（DI2IN）学习框架内制定模型估计任务族。在DI2IN中，输入是图像（或多个图像），并且输出也是表示目标医学图像分析任务的结果的相同网格大小的图像。可以应用该框架以执行很多医学图像分析任务。例如，对于界标检测，可以使用在目标界标周围的具有高斯斑点的图像来表示界标。对于图像分割，掩模图像已经处于图像表示格式。如通过引用在其整体上并入本文的名称为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利No.9,760,807中所描述的，可以在DI2IN框架中制定诸如检测、分割、配准、去噪和跨模态合成之类的各种医学图像分析任务。

图1图示了根据本发明的实施例的用于医学图像分析的深度图像到图像网络（DI2IN）100。如图1中示出的，DI2IN 100输入输入图像I并输出输出图像J。DI2IN 100包括将输入图像I从低级描绘为高级表示的编码网络（或编码器）F 102以及解码网络（或解码器）G 104，解码网络G 104将高级表示转换回像素级语义表示以生成输出图像J。这可以表达为：

DI2IN 100的编码器F 102具有将输入图像I编码成代码（特征图）的一系列层，所述代码的大小大幅小于输入图像I的大小。DI2IN 100的解码器G 104具有一系列层，所述一系列层然后将把代码解码为输出图像J。在编码器F 102中生成的所有中间信息与解码器G 104共享，使得在编码过程中没有信息丢失。

生成性对抗网络（GAN）是用于图像生成的新范式。图2图示了用于图像生成的生成性对抗网络。如在图2中示出的，GAN包括以深度网络形式的两个模块——用于图像生成的生成器（或G网络）Gα200和用于在真实图像和合成图像之间进行区分的鉴别器（或D网络）Dβ202。生成器Gα200从某个输入z生成合成图像。鉴别器Dβ202输入由生成器Gα200生成的合成图像和真实图像I并将这些图像中的每个分类为真实或伪造（合成）。在训练期间，生成器Gα200和鉴别器Dβ202一起参与以下最小最大游戏：

其中α和β分别是生成器Gα200和鉴别器Dβ202的参数（权重）。只要游戏在进行直到它们达到平衡，生成器Gα200和鉴别器Dβ202在学习更好的网络参数的意义上就动态演进；即，合成图像通过鉴别器Dβ202来看变得与真实图像不可区分（或尽可能接近于不可区分）。在这类情况下，生成器基本上生成真实图像。GAN框架实现合成真实图像方面的快速发展，但是还未被应用于模型估计。

在有利实施例中，集成深度图像到图像网络和对抗网络学习框架以训练用于跨域医学图像分析的跨域深度图像到图像网络（DI2IN）。图3图示了使用跨域深度图像到图像网络的用于自动跨域医学图像分析的方法。图3的方法包括训练阶段（步骤300）和推断阶段（步骤302-312）。离线执行训练阶段（步骤300）来训练用于特定医学图像分析任务的跨域DI2IN。推断阶段（步骤302-312）使用从训练阶段得到的经训练跨域DI2IN来在新接收的医学图像上执行医学图像分析任务。一旦在训练阶段中训练了用于特定医学图像分析任务的跨域DI2IN，就可以针对每个新接收的（一个或多个）医学图像重复推断阶段，以使用经训练跨域DI2IN来在每个新接收的（一个或多个）输入医学图像上执行医学图像分析任务。

在步骤300处，在训练阶段中，针对医学图像分析任务训练跨域深度图像到图像网络（DI2IN）和对抗网络。图4图示了根据本发明的实施例的具有对抗网络的跨域DI2IN。训练图4的跨域DI2IN 400以针对医学图像的两个域（A和B）执行目标医学图像分析任务。域A和B可以是医学图像的任何两个域，诸如不同的医学成像模态（例如，CT和MRI）或相同医学成像模态内的不同图像域（例如，T1加权MRI和T2加权MRI）。目标医学图像分析任务可以是诸如界标检测、解剖学对象分割等任何医学图像分析任务。例如，在可能的实现中，可以训练跨域DI2IN 400以在CT和MRI图像两者中执行器官（例如，肝脏）的分割。

假设对于两个感兴趣域A和B，两个域是独立的。在该情况下，分别由和给定用于域A和B的独立DI2IN。独立DI2IN中的编码器和解码器两者是单独的功能。根据本发明的有利实施例，由于针对两个域执行相同医学图像分析任务，因此我们施加跨域DI2IN 400针对两个域使用相同解码器功能（网络）的约束。如图4中示出的，跨域DI2IN 400包括用于第一域（域A）的第一编码器F^A 402、用于第二域（域B）的第二编码器F^B 404、以及解码器G 406。第一编码器F^A 402将来自域A的输入图像I^A转换为提供I^A的高级表示的特征图。第二编码器F^B 404将来自域B的输入图像I^B转换为提供I^B的高级表示的特征图。解码器G 406从由第一编码器F^A 402从I^A生成的特征图生成输出图像J^A，并从由第二编码器F^B 404从I^B生成的特征图生成输出图像J^B。跨域DI2IN 400的训练旨在最小化以下误差成本：

其中是计算地面真值（ground truth）输出图像和估计输出图像之间的误差的成本函数。在示例性实现中，成本函数C可以计算估计输出图像和地面真值输出图像之间的像素方面（或用于3D图像的体素方面）误差/距离。例如，可以使用回归或逻辑函数来实现成本函数C。在通过引用在其整体上并入本文的名称为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利No.9,760,807中描述了可以用于计算地面真值和估计输出图像之间的误差的成本函数的附加示例。

此外，如图4中示出的，将跨域DI2IN 400的编码器F^A 402和F^B 404以及解码器G 406与鉴别器（或D网络）D 408一起训练为对抗网络。鉴别器D 408是深度神经网络，所述深度神经网络在由第一编码器F^A 402从来自域A的输入图像I^A生成的特征图和由第二编码器F^B 404从来自域B的输入图像I^B生成的特征图之间进行区分。鉴别器D 408输入由第一编码器F^A 402和第二编码器F^B 404生成的特征图，并将每个特征图分类为来自域A（正）的特征或来自域B（负）的特征。在示例性实现中，鉴别器D 408可以针对每个特征图计算概率分数并基于概率分数将特征图分类为正（来自域A）或负（来自域B），所述概率分数对应于特征图来自域A的概率。对抗网络充当深度监督信号，并且通过添加以下最小最大游戏作为整体误差成本函数的部分来实现：

在训练期间，在该对抗网络中实现平衡，由两个域的编码器F^A 402和F^B 404从各组训练样本输出的特征图共享同一分布，使得它们对于鉴别器D 408而言变得不可区分。

图5图示了根据本发明的实施例的用于训练跨域DI2IN和对抗网络的方法。图5的方法可以用于训练图4的跨域DI2IN 400和对抗网络，以便实现图3的步骤300。在步骤502处，接收来自第一域A和第二域B的训练样本。特别地，来自域A的第一组M个训练对和来自域B的第二组N个训练对。对于每个域，每个训练对包括来自该域的训练输入图像I和对应的地面真值输出图像J，所述地面真值输出图像J为对应训练输入图像I提供目标医学图像分析任务的结果。在很多情况下，来自一个域的一组训练对将远大于来自另一个域的一组训练对（例如，M≫N）。在这类情况下，跨域DI2IN 400和对抗网络的训练是有益的，这是因为从训练用于具有较大组训练对的域的编码器学习的知识被自动集成到用于具有较小组训练对的另一域的编码器的训练中。

DI2IN框架可以用于制定很多不同医学图像分析问题。为了使用DI2IN框架来执行特定医学图像分析任务，必须限定提供该医学图像分析任务的结果的输出图像。对于界标检测的医学图像分析任务，（每个域中的）每个输出图像可以是具有围绕每个界标的高斯样斑点的图像。对于解剖学对象（例如，器官）检测，（每个域中的）每个输出图像可以是二元掩模，所述二元掩模具有在围绕目标解剖学对象的边界框内等于1并在所有其他像素位置处等于零的像素（或体素）。对于图像分割，（每个域中的）每个输出图像可以是掩模图像，所述掩模图像的值在分割对象边界内部为1并在分割对象边界外部为0。对于图像去噪，（每个域中的）每个输出图像是去噪图像。在通过引用在其整体上并入本文的名称为“Deep Image-to-Image Network Learning for Medical Image Analysis”的美国专利No.9,760,807中描述了针对输出图像的附加制定方式，所述输出图像可以用于为各种医学图像分析任务提供结果。

来自每个域的训练输入图像是使用对应于该域的医学成像模态而获取的医学图像，所述医学成像模态诸如计算机断层扫描（CT）、磁共振（MR）、DynaCT、超声、X射线、正电子发射断层扫描（PET）等。可以通过从医学图像数据库加载多个先前存储的医学图像来接收针对每个域的训练输入图像。在一些实施例中，对应于来自域的训练输入图像的输出图像可以是存储在数据库中的现有图像。在该情况下，通过加载对应于每个训练输入图像的先前存储的地面真值输出图像来接收地面真值输出图像。在其他实施例中，可以通过将目标医学图像分析任务的手动注释或现有结果转换为针对目标医学图像分析任务限定的输出图像，而从来自域的所接收训练输入图像自动地或半自动地生成地面真值输出图像。

图5的方法的步骤504-512迭代地更新鉴别器D 408、解码器G 406、第一编码器F^A 402和第二编码器F^B 404的参数（权重）以优化最小最大目标函数。可以使用随机化权重、来自针对其他医学图像分析任务训练的其他DI2IN和/或鉴别器网络的权重、或任何其他缺省初始值来初始化鉴别器D 408、解码器G 406、第一编码器F^A 402和第二编码器F^B 404的参数（权重）。在有利实施例中，给定来自域A的M个训练对和来自域B的N个训练对，训练中的任务是学习产出以下目标/成本函数的最优解的针对F^A 402、F^B 404、G 406和D 408的网络参数（权重），在所述目标/成本函数中由样本平均值取代期望值：

在等式（5）的成本函数中，第一项是与针对域A的地面真值输出图像和预测输出图像之间的误差相关的成本，所述预测输出图像由第一编码器F^A 402和解码器G 406从来自域A的训练输入图像生成。第二项是是与针对域B的地面真值输出图像和预测输出图像之间的误差相关的成本，所述预测输出图像由第二编码器F^B 404和解码器G 406从来自域B的训练输入图像生成。第三项是与鉴别器D 408对由第一编码器F^A 402从来自域A的训练输入图像生成的特征图的分类相关的成本。第四项是与鉴别器D 408对由第二编码器F^B 404从来自域B的训练输入图像生成的特征图的分类相关的成本。通过迭代步骤504-510来实现等式（5）的目标函数的优化。

在步骤504处，在第一编码器F^A 402和第二编码器F^B 404的参数固定的情况下，学习鉴别器D 408的参数以解决以下最大化任务：

在该步骤中，通过调整鉴别器D 408的参数来学习鉴别器D 408的参数，以在针对域A和B的相应训练组上最大化/增大鉴别器D 408对第一编码器F^A 402从来自域A的训练输入图像生成的特征图的正分类以及鉴别器D 408对第二编码器F^B 404从来自域B的训练输入图像生成的特征图的负分类。由于如上文描述的深度神经网络用于对鉴别器D 408建模，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。

在步骤506处，在第一编码器F^A 402和第二编码器F^B 404的参数固定的情况下，学习解码器G 406的参数以解决以下最小化任务：

在该步骤中，通过调整解码器G 406的参数来学习解码器G 406的参数，以在针对域A和B的相应训练组上最小化/减小针对域A的地面真值输出图像与第一编码器F^A 402和解码器G 406从来自域A的训练输入图像生成的预测输出图像之间的误差、以及针对域B的地面真值输出图像与由第二编码器F^B 404和解码器G 406从来自域B的训练输入图像生成的预测输出图像之间的误差。由于解码器G 406是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。在可能的实现中，可以并行执行步骤504和506。

在步骤508处，在解码器G 406和鉴别器D 408的参数固定的情况下，学习第一编码器F^A 402的参数以解决以下最小化任务：

在该步骤中，通过调整第一编码器F^A 402的参数来学习第一编码器F^A 402的参数，以在针对域A的训练组上最小化/减小针对域A的地面真值输出图像与由第一编码器F^A 402和解码器G 406从来自域A的训练输入图像生成的预测输出图像之间的误差，并最小化/减小鉴别器D 408对第一编码器F^A 402从来自域A的训练输入图像生成的特征图的正分类。该最小化问题的第二项迫使第一编码器F^A 402学习将导致第一编码器F^A 402针对域A生成的特征图的分布更接近于第二编码器F^B 404生成的特征图的分布的参数，以便减小鉴别器D 408在正分类第一编码器F^A 402生成的特征图方面的准确度。因此，来自域B的知识被集成到用于域A的第一编码器F^A 402的训练中。由于第一编码器F^A 402是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。

在步骤510处，在解码器G 406和鉴别器D 408的参数固定的情况下，学习第二编码器F^B404的参数以解决以下最小化任务：

实际上发现，最大化而不是最小化在学习的早期导致更好的梯度信号，但两个目标函数产出相同的固定点。因此，在有利实现中，可以在步骤510中使用以下最小化问题来学习第二编码器F^B 404的参数：

在该步骤中，通过调整第二编码器F^B 404的参数来学习第二编码器F^B 404的参数，以在针对域B的训练组上最小化/减小针对域B的地面真值输出图像与由第二编码器F^B 404和解码器G 406从来自域B的训练输入图像生成的预测输出图像之间的误差，并最大化/增大鉴别器D 408对第二编码器F^B 404从来自域B的训练输入图像生成的特征图的正分类(或最小化/减小负分类)。该最小化问题的第二项迫使第二编码器F^B 404学习将导致第二编码器F^B 404针对域B生成的特征图的分布更接近于第一编码器F^A 402生成的特征图的分布的参数，以便减小鉴别器D 408在负分类第二编码器F^B 404生成的特征图方面的准确度。因此，来自域A的知识被集成到用于域B的第二编码器F^B 404的训练中。由于第二编码器F^B 404是深度神经网络，所以可以使用基于小批训练对实现的反向传播步骤来执行该最小化任务。在可能的实现中，可以并行执行步骤508和510。

在步骤512处，确定是否已经达到停止条件。如果尚未达到停止条件，则所述方法返回到步骤504并执行步骤504-510的另一迭代。如果已经达到停止条件，则所述方法前进到步骤514。在有利实现中，停止条件是F^A 402、F^B404、G 406和D 408的网络参数（权重）的收敛。在该情况下，重复步骤504、506、508和510直到F^A 402、F^B 404、G 406和D 408的权重收敛。当已经达到迭代的预定最大次数时也可以满足停止条件。

在步骤514处，一旦达到停止条件，训练就结束。包括用于域A的第一编码器F^A 402、用于域B的第二编码器F^B 404以及解码器G 406的经训练的跨域DI2IN 400被存储在计算机系统的存储器或存储装置中并然后在推断阶段中被使用以生成输出图像，所述输出图像为输入到跨域DI2IN 400的新接收医学图像提供目标医学图像分析任务的结果。

返回到图3，在推断阶段中，在步骤302处，接收患者的来自域A或域B的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。

在步骤304处，确定所接收的医学图像来自域A还是域B。如果所接收的医学图像来自域A，则所述方法前进到步骤306。如果所接收的医学图像来自域B，则所述方法前进到步骤308。

在步骤306处，如果所接收的医学图像来自域A，则将所接收的医学图像输入到经训练的跨域DI2IN 400的第一编码器F^A 402，并且第一编码器F^A 402将所接收的医学图像转换为特征图。然后所述方法前进到步骤310。

在步骤308处，如果所接收的医学图像来自域B，则将所接收的医学图像输入到经训练的跨域DI2IN 400的第二编码器F^B 404，并且第二编码器F^B 404将所接收的医学图像转换为特征图。然后所述方法前进到步骤310。

在步骤310处，解码器G 406从针对所接收的医学图像生成（在步骤306或步骤308处）的特征图生成输出图像，所述输出图像为所接收的医学图像提供目标医学图像分析任务的结果。训练解码器G 406以从第一编码器F^A 402（从来自域A的医学图像）生成的特征图和第二编码器F^B 404（从来自域B的医学图像）生成的特征图来生成输出图像。因此，如果所接收医学图像来自域A，则通过调用由共享解码网络（解码器）G 406跟随的用于域A的编码网络（编码器）F^A 402来将输出图像生成为。如果所接收医学图像来自域B，则通过调用由共享解码网络（解码器）G 406跟随的用于域B的编码网络（编码器）F^B 404来将输出图像生成为。

在步骤312处，输出所生成的输出图像，其为所接收的医学图像提供目标医学图像分析任务的结果。例如，可以通过在计算机系统的显示设备上显示所生成的输出图像来输出所生成的输出图像。还可以通过将所生成的输出图像存储在计算机系统的存储器或存储装置上或者通过将所生成的输出图像传输到远程计算机系统来输出所生成的输出图像。

跨域医学图像合成是具有许多应用的重要医学图像分析任务。例如，对于具有对训练机器学习算法而言不充足的训练数据的医学成像模态，合成图像可以用作增强训练图像。对于多模型图像配准，从另一个模态的图像生成的一个模态的合成图像可以充当两个模态之间的桥梁，并且可以用于限定针对多模型图像配准的相似性度量。此外，跨域医学图像合成可以用于从获取自低端图像采集设备的医学图像渲染合成图像，所述合成图像表现得如同它是从高端图像采集设备获取的。

本发明的实施例提供用于基于深度学习的医学图像跨域合成的方法。本发明的实施例训练用于跨域医学图像合成的深度神经网络，所述深度神经网络可以用于从源域中的可用图像合成目标域中的医学图像而不用必须执行目标域中的图像采集。本发明的实施例可以用于合成目标域医学图像，以便针对解剖学对象检测、分割、追踪和分类创建用于训练基于机器学习的分类器的大的目标域医学图像训练组，而不用必须在大量主体上执行附加图像采集。此外，本发明的实施例可以用于合成用于其他应用的目标域医学图像，诸如以针对虚拟域创建可视化工具、执行跨模态配准、上采样图像数据的分辨率、或者用于图像分割。如本文所使用的，跨域合成指代跨医学成像模态的医学图像合成，诸如从MR图像合成CT图像，以及跨图像域的图像合成（诸如具有不同协议（例如， T1和T2）的MR图像、对比CT图像和非对比CT图像，以低kV捕获的CT图像和以高kV捕获的CT图像、或任何类型的低分辨率医学图像到对应的高分辨率医学图像）。即，“源域”和“目标域”可以是完全不同的医学成像模态或相同整体成像模态内的不同图像域或协议。

假设给定大小的输入图像I，我们旨在合成相同大小的输出图像J。应指出，我们使用2D作为工作示例，但是容易将这扩展到3D或甚至更高维度。在传统的基于补片（patch）的方法中，对于输入图像I中具有强度的每个像素x，剪裁以像素为中心的图像补片并学习输出输出图像J中的强度的非线性映射函数。可以使用很多机器学习方法，包括k-最近邻、支持向量回归、随机回归森林、增强回归等。最近，已经使用诸如卷积神经网络（CNN）的神经网络来学习用于基于补片的图像合成的这类映射函数。使用CNN的益处在于其强大的分层特征表示和高效计算。

深度DI2IN是CNN的通用变型，其具有不止图像合成的用于医学图像分析任务的应用，所述应用包括界标检测、图像分割、图像配准等。在可能的实现中，深度图像到图像网络（DI2IN）（诸如上文描述的图1的DI2IN 100）可以用于跨域医学图像合成。在该情况下，输入图像I是来自源域的医学图像并且输出图像J是目标域中的医学图像。

在上文描述并在图2中图示了生成性对抗网络（GAN）。可以将GAN扩展到跨域医学图像合成，在所述跨域医学图像合成中，从源域A中的输入医学图像I生成目标域B中的合成医学图像J。图6图示了根据本发明的实施例的用于跨域医学图像合成的生成性对抗网络（GAN）。如图6中示出的，GAN包括生成器网络G 600和鉴别器网络610。将源域中的输入图像I 602输入到生成器G 600。生成器G 600是从输入图像I 602生成目标域中的合成输出图像J'604的深度神经网络。在示例性实现中，可以使用DI2IN（诸如图1的DI2IN 100）来实现生成器G。将目标域中的合成输出图像J'604和真实图像J 606输入到鉴别器D 610。鉴别器D 610是在目标域中的合成输出图像J'604和真实图像J 606之间进行区分的另一个深度神经网络。特别地，鉴别器D 610将每个图像分类为真实（正）或合成（负）。在训练期间，生成器G 600和鉴别器D 610一起参与以下最小最大游戏：

通过迭代地调整鉴别器D 610和生成器G 600的参数（权重）来端到端地训练网络，以优化等式（1）中的最小最大目标函数。在等式（1）中，第一项是与鉴别器D 610对真实样本J606的分类相关的成本，并且第二项是与鉴别器D 610对合成样本J'604的分类相关的成本。鉴别器D 610最大化函数（即，尽其最大努力在真实和合成样本之间进行区分），并且生成器G 600最小化函数（即，合成真实样子的样本以欺骗鉴别器）。生成器G 600和鉴别器D 610在学习更好的网络参数的意义上动态地演进直到它们达到平衡，即，合成样本J'604通过鉴别器D 610来看变得与真实样本J 606不可区分（或尽可能接近不可区分）。应指出，使用图6的GAN的医学图像合成是单边的，这是因为它是从源域A到目标域B的。为了反转源域和目标域并执行从域B到域A的医学图像合成，以及需要独立的合成管道。

图7图示了根据本发明的实施例的用于跨域双边医学图像合成的方法。图7的方法包括训练阶段（步骤700）和推断阶段（步骤702-706）。执行训练阶段（步骤700）以一起训练用于跨域双边医学图像合成的第一和第二深度神经网络。推断阶段（步骤702-706）使用从训练阶段得到的至少一个经训练深度神经网络来执行医学图像合成。一旦在训练阶段中训练了用于跨域双边医学图像合成的第一和第二深度神经网络，就可以针对新接收的医学图像重复推断阶段，以从第一域中的所接收医学图像生成第二域中的合成医学图像并从第二域中的所接收医学图像生成第一域中的合成医学图像。

在步骤700处，在训练阶段中，使用双边GAN和一致性来训练用于双边医学图像合成的第一和第二深度神经网络。图8图示了根据本发明的实施例的用于训练用于跨域医学图像合成的深度神经网络的双边GAN 800。如图8中示出的，双边GAN 800包括用于从第一域（例如，域A）的输入图像生成第二域（例如，域B）的合成图像的第一生成器网络G1 802，和用于从第二域的输入图像生成第一域的合成图像的第二生成器网络G2 804。G1 802和G2 804是用于医学图像合成的第一和第二深度神经网络。例如，可以使用相应的DI2IN来实现G1 802和G2 804。G1 802执行从域A到域B的医学图像合成，并且G2 804执行从域B到域A的医学图像合成。在双边GAN 800 中一起训练G1 802和G2 804，从而导致用于双边医学图像合成的第一和第二深度神经网络。双边GAN 800还包括第一鉴别器网络D1 806和第二鉴别器网络D2808，第一鉴别器网络D1 806用于在第一域中的真实训练图像和第二生成器G2 804从第二域中的输入训练图像生成的第一域中的合成图像之间进行区分，第二鉴别器网络D2 808用于在第二域中的真实图像和第一生成器G1 802从第一域中的输入训练图像生成的第二域中的合成图像之间进行区分。

第一生成器G1 802从第一域的输入训练图像I生成第二域的合成图像J'。第二生成器G2 804从第二域的输入训练图像J生成第一域的合成图像I'。第一生成器G1 802还从第二生成器G2 804从第二域的输入训练图像J生成的第一域的合成图像I'来生成第二域的合成图像J''。第二生成器G2 804还从第一生成器G1 802从第一域的输入训练图像I生成的第二域的合成图像J'来生成第一域的合成图像I''。第一鉴别器D1 806输入第一域的真实训练图像I和G2 804从第二域的训练图像J生成的第一域的合成图像I'，并通过针对每个图像计算概率/分类分数来将真实训练图像I和合成图像I'分类为真实（正）或合成（负）。第二鉴别器D2 808输入第二域的真实训练图像J和G1 802从第一域的训练图像I生成的第二域的合成图像J'，并通过针对每个图像计算概率/分类分数来将真实训练图像J和合成图像J'分类为真实（正）或合成（负）。

根据有利实施例，图8的双边GAN 800通过向训练添加试图确保以下一致性成立的约束来在两个方向上一起训练图像合成管道：并且。即，从合成自图像I的图像J'合成的图像I''应当与原始图像I一致，并且从合成自图像J的图像I'合成的图像J''应当与原始图像J一致。如图8中示出的，第一成本函数C1 810将第一域中的训练图像I和第一域中的合成图像I''进行比较，并且第二成本函数C2 812将第二域中的训练图像J和第二域中的合成图像J''进行比较。在有利实现中，第一成本函数C1 810计算第一域中的每个训练图像I和从合成自该训练图像I的合成图像J'合成的相应合成图像I''之间的像素方面（或体素方面）误差。由于合成图像I''可以被追溯回原始图像I，所以可以使用像素方面的成本函数来直接比较它们，以测量图像之间的一致性。在有利实现中，第二成本函数C2 812计算第二域中的每个训练图像J和从合成自该训练图像J的合成图像I'合成的相应合成图像J''之间的像素方面（或体素方面）误差。由于合成图像J''可以被追溯回原始图像J，所以可以使用像素方面的成本函数来直接比较它们，以测量图像之间的一致性。

图8的双边GAN 800的训练旨在优化以下目标函数，所述目标函数包括两个最小最大游戏：

（12）

与成本函数C1 810和C2 812相关的项在训练期间奖励I和I''之间以及J和J''之间的一致性。具有一致性约束的图8的双边GAN 800的使用允许利用第一和第二域中的独立训练图像组来执行训练。即，对于训练用于跨域双边图像合成的深度学习网络，不要求两个域中的来自同一患者的成对训练数据。

图9图示了根据本发明的实施例的用于训练用于跨域双边医学图像合成的深度神经网络的方法。图9的方法可以用于训练图8的双边GAN 800，以便实现图7的步骤700。在步骤902处，接收来自第一域A和第二域B的训练图像。具体地，来自域A的第一组M个训练图像和来自域B的第二组N个训练图像。域A的第一组训练图像Im和域B的第二组训练图像Jn可以是独立的图像组，并且不需要具有来自相同患者的在域A和B中的对应训练图像。来自每个域的训练图像是使用对应于域的医学成像模态获取的医学图像，所述医学成像模态诸如计算机断层扫描（CT）、磁共振（MR）、DynaCT、超声、X射线、正电子发射断层扫描（PET）等。可以通过从医学图像数据库加载多个先前存储的医学图像来接收针对每个域的训练图像。

图9的方法的步骤904-912迭代地更新第一生成器G1 802、第二生成器G2 804、第一鉴别器D1 806和第二鉴别器D2 808的参数（权重）以优化最小最大目标函数。可以使用随机化权重、来自针对其他医学图像合成任务或其他医学图像分析任务训练的其他DI2IN和/或鉴别器网络的权重、或任何其他缺省初始值来初始化第一生成器G1 802、第二生成器G2 804、第一鉴别器D1 806和第二鉴别器D2 808的参数（权重）。在有利实施例中，给定来自域A的M个训练图像和来自域B的N个训练图像，训练中的任务是学习针对第一生成器G1 802、第二生成器G2 804、第一鉴别器D1 806和第二鉴别器D2 808的产出以下目标函数的最优解的网络参数（权重），在所述目标函数中由样本平均值取代期望值：

（13）

通过迭代步骤904-910来实现等式（13）的目标函数的优化。

在步骤904处，在第二生成器G2 804的参数固定的情况下，学习第一鉴别器D1806的参数以解决以下最大化任务：

在该步骤中，通过调整第一鉴别器D1 806的参数来学习第一鉴别器D1 806的参数，以在针对域A和B的相应训练组上最大化/增大第一鉴别器D1 806对域A的真实训练图像Im的正分类以及第一鉴别器D1 806对第二生成器G2 804从域B的训练图像Jn生成的合成图像的负分类。由于深度神经网络用于对第一鉴别器D1 806建模，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最大化任务。

在步骤906处，在第一生成器G1 802的参数固定的情况下，学习第二鉴别器D2 808的参数以解决以下最大化任务：

在该步骤中，通过调整第二鉴别器D2 808的参数来学习第二鉴别器D2 808的参数，以在针对域B和A的相应训练组上最大化/增大第二鉴别器D2 808对域B的真实训练图像Jn的正分类以及第二鉴别器D2 808对第一生成器G1 802从域A的训练图像Im生成的合成图像的负分类。由于深度神经网络用于对第二鉴别器D2 808建模，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最大化任务。在可能的实现中，可以并行执行步骤904和906。

在步骤908处，在第二生成器G2804、第一鉴别器D1 806和第二鉴别器D2 808的参数固定的情况下，学习第一生成器G1 802的参数以解决以下最小化任务：

在该步骤中，通过调整第一生成器G1 802的参数来学习第一生成器G1 802的参数，以在域A的训练组上最小化/减小域A的训练图像Im和第二生成器G2 804从第一生成器G1 802从域A的训练图像Im生成的域B的合成图像J'生成的合成输出图像之间的误差，在域B的训练组上最小化/减小域B的训练图像Jn和第一生成器G1 802从第二生成器G2 804从域B的训练图像Jn生成的域A的合成图像I'生成的合成输出图像之间的误差，并且在域A的训练组上最小化/减小第二鉴别器D2 808对第一生成器G1 802从域A的训练图像Im生成的合成图像的负分类(或最大化/增大正分类)。由于第一生成器G1 802是深度神经网络，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最小化任务。

在步骤910处，在第一生成器G1 802、第一鉴别器D1 806和第二鉴别器D2 808的参数固定的情况下，学习第二生成器G2 804的参数以解决以下最小化任务：

在该步骤中，通过调整第二生成器G2 804的参数来学习第二生成器G2 804的参数，以在域A的训练组上最小化/减小域A的训练图像Im和第二生成器G2 804从第一生成器G1 802从域A的训练图像Im生成的域B的合成图像J'生成的合成输出图像之间的误差，在域B的训练组上最小化/减小域B的训练图像Jn和第一生成器G1 802从第二生成器G2 804从域B的训练图像Jn生成的域A的合成图像I'生成的合成输出图像之间的误差，并且在域B的训练组上最小化/减小第一鉴别器D1 806对第二生成器G2 804从域B的训练图像Jn生成的合成图像的负分类(或最大化/增大正分类)。由于第二生成器G2 804是深度神经网络，所以可以使用基于两小批训练图像（一批来自域A并且另一批来自域B）实现的反向传播步骤来执行该最小化任务。

在步骤908和910中，实际上发现，最大化（最小化）而不是最小化在学习的早期导致更好的梯度信号，但两个目标函数产出相同的固定点。

在步骤912处，确定是否已经达到停止条件。如果尚未达到停止条件，则所述方法返回到步骤904并执行步骤904-910的另一迭代。如果已经达到停止条件，则所述方法前进到步骤914。在有利实现中，停止条件是第一生成器G1 802、第二生成器G2 804、第一鉴别器D1 806和第二鉴别器D2 808的网络参数（权重）的收敛。在该情况下，重复步骤904、906、908和910直到第一生成器G1 802、第二生成器G2 804、第一鉴别器D1 806和第二鉴别器D2 808的权重收敛。当已经达到迭代的预定最大次数时也可以满足停止条件。

在步骤914处，一旦达到停止条件，训练就结束。经训练的第一生成器G1 802和经训练的第二生成器G2 804被存储在计算机系统的存储器或存储装置中并然后在推断阶段中被使用以执行跨域双边医学图像合成。特别地，经训练的第一生成器G1 802用于从域A的输入医学图像生成域B的合成医学图像，并且经训练的第二生成器G2 用于从域B的输入医学图像生成域A的合成医学图像。

返回到图7，在推断阶段中，在步骤702处，接收患者的来自域A或域B的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）来接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。

在步骤704处，使用第一或第二经训练的深度神经网络从所接收的医学图像生成合成医学图像。第一和第二经训练的深度神经网络分别是经训练的第一生成器G1 802和经训练的第二生成器G2 804。如果所接收的医学图像来自域A，则经训练的第一生成器G1 802用于从所接收的医学图像生成域B的合成医学图像。如果所接收的医学图像来自域B，则经训练的第二生成器G2 804用于从所接收的医学图像生成域A的合成医学图像。

在步骤706处，输出合成医学图像。例如，可以通过在计算机系统的显示设备上显示合成医学图像来输出合成医学图像。还可以通过将合成医学图像存储在计算机系统的存储器或存储装置上或者通过将合成医学图像传输到远程计算机系统来输出合成医学图像。

如在图6中图示并在上文描述的，可以将GAN框架扩展到跨域医学图像合成。然而，GAN框架可能受到两个域中的可用训练数据组之间的差别的限制。为了理解这类限制，可以将CT到MR图像合成用作示例。可用的CT图像数量通常远大于可用的MR图像的数量。此外，从其获取CT扫描的患者可以在与从其获取MR扫描的患者不同的人口子群中。这可能导致来自两个域的训练图像中的统计上显著的偏移，并且可能引起GAN框架中的鉴别器基于属性之间的差异来在两个域之间进行区分，所述属性诸如在从其获取针对不同域的训练样本的人口子群中的解剖学属性。

在本发明的有利实施例中，在训练GAN框架中解决两个域中的训练样本之间的偏移。在本发明的该实施例中，在GAN的训练中补偿两个域中的训练样本之间的解剖学几何结构中的偏移。要理解，本文描述的训练框架也可以扩展到处置其他属性中的偏移。

图10图示了根据本发明的实施例的使用几何结构保持生成性对抗网络的用于跨域医学图像合成的方法。图10的方法包括训练阶段（步骤1000）和推断阶段（步骤1002-1006）。执行训练阶段（步骤1000）以训练几何结构保持GAN。推断阶段（步骤1002-1006）使用经训练的几何结构保持GAN的生成器网络执行医学图像合成，以从源域中的输入医学图像生成目标域中的合成医学图像。一旦在训练阶段中训练了几何结构保持GAN，就可以针对新接收的医学图像重复推断阶段，以从源域中的每个所接收医学图像生成目标域中的合成医学图像。

在步骤1000处，在训练阶段中，训练几何结构保持GAN以用于跨域医学图像合成。GAN包括：生成器，其是用于从源域中的输入医学图像生成目标域中的合成医学图像的深度神经网络；以及鉴别器，其是用于在由生成器生成的目标域中的合成医学图像和目标域中的真实医学图像之间进行区分的另一个深度神经网络。在图6中图示了用于跨域医学图像合成的GAN框架。在有利实施中，可以使用深度图像到图像网络（DI2IN）（诸如图1中图示的DI2IN）来实现几何结构保持GAN的生成器。

让我们假设在某个因子中存在分布偏移，即源和目标训练示例中的分布和是不同的，即源和目标训练域中的训练示例展现出不同的属性。 在该情况下，针对GAN的最小最大目标函数可以表达为：

（18）

给定两组独立训练示例——用于源域的和用于目标域的，在训练期间可以由样本平均值取代等式（18）中的期望值，并且最小最大目标函数可以表达为：

在有利实施例中，引入条件性GAN框架以补偿源和目标训练示例之间的解剖学几何结构中的偏移：

应指出，在等式（20）中的第二项中，，还取决于源域中的样本几何结构，所述第二项是基于鉴别器对目标域的训练示例的分类的误差项。样本几何结构是源域训练图像中的目标解剖学结构的几何结构，并且样本几何结构是目标域训练图像中的目标解剖学结构的几何结构。为了评估的值，使用和之间的（例如，使用薄板样条（TPS）模型）计算几何变换，并且使用变换来生成经变换的目标域图像。然后使用经变换的目标域来评估鉴别器，使得。这在训练期间严格保持解剖学几何结构。在训练期间，学习针对生成器和鉴别器的网络参数以优化最小最大目标函数：

通过迭代以下两个交替步骤来实现几何结构保持GAN的生成器和鉴别器的训练：

-步骤1-在生成器G的参数固定的情况下，学习鉴别器D的学习参数以解决以下最大化任务：

由于深度神经网络用于对鉴别器D建模，所以可以使用基于两小批训练图像（一批来自源域并且另一批来自目标域）实现的反向传播步骤来执行该最大化任务；

-步骤2-在鉴别器D的参数固定的情况下，学习生成器G的参数以解决以下最小化任务：

实际上发现，最大化（最小化）而不是最小化在训练早期导致更好的梯度信号，但两个目标函数产出相同的固定点。由于使用深度神经网络（诸如DI2IN）来对鉴别器G建模，所以可以使用基于两小批训练图像（一批来自源域并且另一批来自目标域）实现的反向传播步骤来执行该最大化任务。

返回到图10，在推断阶段中，在步骤1002处，接收患者的在源域中的医学图像。医学图像可以是使用诸如CT、MR、DynaCT、超声、PET等任何类型的医学成像模态获取的2D或3D医学图像。可以直接从用于获取输入医学图像的图像采集设备（诸如CT扫描仪、MR扫描仪等）来接收医学图像。可替换地，可以通过从计算机系统的存储装置或存储器加载先前获取的医学图像或接收已经从远程计算机系统传输的医学图像来接收医学图像。

在步骤1004处，使用经训练的几何结构保持GAN的生成器网络G从所接收的医学图像生成目标域中的合成医学图像。

在步骤1006处，输出目标域中的合成医学图像。例如，可以通过在计算机系统的显示设备上显示合成医学图像来输出合成医学图像。还可以通过将合成医学图像存储在计算机系统的存储器或存储装置上或者通过将合成医学图像传输到远程计算机系统来输出合成医学图像。

可以在计算机上使用熟知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件来实现上文描述的用于跨域医学图像分析、跨域医学图像合成、训练用于跨域医学图像分析的深度神经网络以及训练用于跨域医学图像合成的深度神经网络的方法。在图11中图示了这类计算机的高级框图。计算机1102包含处理器1104，处理器1104通过执行限定计算机1102的整体操作的计算机程序指令来控制这类操作。计算机程序指令可以存储在存储设备1112（例如，磁盘）中，并且在期望执行计算机程序指令时被加载到存储器1110中。因此，图3、5、7、9和10的方法步骤可以由存储在存储器1110和/或存储设备1112中的计算机程序指令限定并由执行计算机程序指令的处理器1104控制。诸如MRI扫描仪之类的图像采集设备1120可以连接到计算机1102以将图像数据输入到计算机1102。将图像采集设备1120和计算机1102实现为一个设备是可能的。图像采集设备1120和计算机1102通过网络无线通信也是可能的。在可能的实施例中，计算机1102可以相对于图像采集设备1120远程定位，并且本文描述的方法步骤可以作为服务器或基于云的服务的部分被执行。在该情况下，所述方法步骤可以在单个计算机上被执行或分布在多个联网计算机之间。计算机1102还包括用于经由网络与其他设备通信的一个或多个网络接口1106。计算机1102还包括使用户能够与计算机1102交互的其他输入/输出设备808（例如，显示器、键盘、鼠标、扬声器、按钮等）。这类输入/输出设备1108可以与一组计算机程序结合使用作为注释工具来注释从图像采集设备1120接收的图像/体积。本领域技术人员将认识到，实际计算机的实现也可以包含其他组件，并且图11是出于说明性目的的这类计算机的一些组件的高级表示。

前述具体实施方式要被理解为在每个方面都是说明性和示例性的而非限制性的，并且本文公开的本发明的范围并非要从具体实施方式中确定，而是从根据专利法允许的全部宽度所解释的权利要求中确定。要理解，本文示出和描述的实施例仅是本发明的原理的说明，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种其他特征组合。