训练方法、超分辨率方法、存储介质及电子设备

1.本技术属于人工智能技术领域，涉及一种训练方法，特别是涉及一种训练方法、超分辨率方法、存储介质及电子设备。


背景技术：

2.磁共振(magnetic resonance，mr)和计算机断层扫描(computed tomography，ct)广泛用于临床。然而，由于临床实践中扫描时间和硬件容量的限制，所获得的图像是各向异性的。具体来说，在临床实践中，为了提升扫描速度，即使感兴趣的解剖结构是三维结构，通常也只获取少量二维切片。此种方式获取的医学图像具有较高的平面内分辨率，但是平面间分辨率往往较低，也即，切片之间的间距较大。各向异性的图像会导致视觉体验较差，并对包括诊断和分割在内的医学图像分析算法产生不利影响。


技术实现要素：

3.本技术的目的在于提供一种训练方法、超分辨率方法、存储介质及电子设备，用于从平面间分辨率低的医学图像重建平面间分辨率高的医学图像。
4.第一方面，本技术提供一种训练方法，用于对医学影像超分辨率模型进行训练，所述医学影像超分辨率模型包括第一变换模型和第二变换模型，所述训练方法包括：根据低分辨率图像生成第一图像，所述第一图像与第二图像的尺寸相同，且所述第二图像的平面间分辨率高于所述低分辨率图像；利用所述第二变换模型将所述第二图像变换至低分辨率空间，以生成第一变换图像；利用所述第一变换模型将所述第一图像变换至高分辨率空间，以生成第二变换图像；利用所述第二变换模型将所述第二变换图像变换至低分辨率空间，以生成第一输出图像；利用所述第一变换模型将所述第一变换图像变换至高分辨率空间，以生成所述第二输出图像；根据所述第一图像、所述第二图像、所述第一变换图像和所述第二变换图像获取损失函数；基于所述损失函数对所述医学影像超分辨率模型进行训练。
5.于所述第一方面的一实施例中，所述第一变换模型包括第一内容编码器和第二生成器，利用所述第一变换模型将所述第一图像变换至高分辨率空间以生成第二变换图像包括：利用所述第一内容编码器将所述第一图像解耦至内容空间，以获取所述第一图像的内容空间特征；利用所述第二生成器，根据高分辨率空间的变换码本对所述第一图像的内容空间特征进行处理，以生成所述第二变换图像。
6.于所述第一方面的一实施例中，所述第二变换模型包括第二内容编码器和第一生成器，所述医学影像超分辨率模型还包括第一分辨率编码器，利用所述第二变换模型将所述第二变换图像变换至低分辨率空间以生成第一输出图像包括：利用所述第二内容编码器将所述第二变换图像解耦至内容空间，以获取所述第二变换图像的内容空间特征；利用所述第一分辨率编码器对所述第一图像进行处理，以获取第一分辨率空间的码本；利用所述第一生成器，根据所述第一分辨率空间的码本对所述第二变换图像的内容空间特征进行处理，以生成所述第一输出图像。
7.于所述第一方面的一实施例中，所述第二变换模型包括第二内容编码器和第一生成器，利用所述第二变换模型将第二图像变换至低分辨率空间以生成第一变换图像包括：利用所述第二内容编码器将所述第二图像解耦至内容空间，以获取所述第二图像的内容空间特征；利用所述第一生成器，根据低分辨率空间的变换码本对所述第二图像的内容空间特征进行处理，以生成第一变换图像。
8.于所述第一方面的一实施例中，所述损失函数包括重建损失、对抗训练损失和感知损失。
9.于所述第一方面的一实施例中，所述低分辨率图像和所述第二图像相互不配对。
10.第二方面，本技术提供一种医学影像超分辨率方法，所述医学影像超分辨率方法包括：利用医学影像超分辨率模型对原始图像进行超分辨率重建以获取目标图像，所述医学影像超分辨率模型采用本技术第一方面中任一项所述的训练方法训练得到。
11.于所述第二方面的一实施例中，利用医学影像超分辨率模型对原始图像进行超分辨率重建以获取目标图像包括：利用所述医学影像超分辨率模型，对原始图像的冠状面和横截面进行超分辨率重建以获取冠状面三维体和横截面三维体；对所述冠状面三维体和所述横截面三维体进行平均处理，以获取所述目标图像。
12.本技术的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面任一实施例中所述的训练方法，和/或本技术第二方面任一实施例所述的医学影像超分辨率方法。
13.本技术的第四方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本技术第一方面任一实施例中所述的训练方法，和/或本技术第二方面任一实施例所述的医学影像超分辨率方法。
14.本技术以上实现方式中提供的训练方法用于训练医学影像超分辨率模型。基于该训练方法得到的医学影像超分辨率模型能够对平面间分辨率低的医学图像进行超分辨率重建，以获取平面间分辨率高的医学图像。
15.在一些实现方式中，医学影像超分辨率模型可以为无监督的深度学习模型，无需训练大量的网络来执行任意尺度的超分辨率，有利于降低计算复杂度并缩短计算时间。此外，无监督的医学影像超分辨率模型不需要大量配对的低分辨率图像和高分辨率图像进行训练。
附图说明
16.图1显示为本技术实施例提供的一种电子设备的结构示意图。
17.图2显示为本技术实施例提供的训练方法的流程图。
18.图3显示为本技术实施例中生成第二变换图像的流程图。
19.图4显示为本技术实施例中生成第一输出图像的流程图。
20.图5显示为本技术实施例中生成第一变换图像的流程图。
21.图6显示为本技术实施例中生成第二输出图像的流程图。
22.图7a、图7b和图7c显示为本技术实施例中图像的变换方法示意图。
23.图7d显示为本技术实施例提供的训练方法的流程图。
24.图8显示为本技术实施例提供的一种电子设备的结构示意图。
25.元件标号说明
26.800电子设备
27.810存储器
28.820处理器
29.830显示器
30.s21～s27步骤
31.s31～s32步骤
32.s41～s43步骤
33.s51～s52步骤
34.s61～s63步骤
35.s71～s76步骤
具体实施方式
36.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
37.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，遂图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
38.在临床实践中，为了提升扫描速度，即使感兴趣的解剖结构是三维结构，通常也只获取少量二维切片。此种方式获取的医学图像具有较高的平面内分辨率，但是平面间分辨率往往较低，也即，切片之间的间距较大。各向异性的图像会导致视觉体验较差，并对包括诊断和分割在内的医学图像分析算法产生不利影响。
39.至少针对上述问题，本技术实施例中提供一种训练方法，用于训练医学影像超分辨率模型。训练好的医学超分辨率模型能够对平面间分辨率低的医学图像进行超分辨率重建，以获取平面间分辨率高的医学图像。
40.图1显示为本技术实施例提供的训练方法的一种应用场景示例图。如图1所示，本技术实施例提供的训练方法应用于一种电子设备，该电子设备包括主cpu(centralprocessingunit，中央处理器)、外部存储器和深度学习处理器(deeplearningprocessingunit，dpu)。
41.主cpu的功能主要是解析计算机指令以及处理计算机软件中的数据，实现对电子设备整体上的控制，对电子设备的所有硬件资源(如存储资源、通信资源、i/0接口等)进行控制调配。
42.深度学习处理器是基于深度学习算法与加速的新型处理器总称，专门为人工智能而设计，用于加速深度学习模型的运算，解决传统芯片在深度学习运算时效率低下的问题。
需要说明的是，深度学习处理器的名称并不构成对本技术的限定，例如在其他应用场景中，深度学习处理器也可以变形、替换为其他类似功能的处理器，例如张量处理器(tensor processing unit，tpu)，神经网络处理器(neural-network processing unit，npu)，等等。本技术实施例中，深度学习处理器可承担与深度学习计算相关的任务。
43.外部存储器可以包括易失性存储器，例如随机存取存储器、高速缓存cache，也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘等。
44.本技术实施例中，训练方法用于对医学影像超分辨率模型进行训练，该医学影像超分辨率模型包括第一变换模型和第二变换模型。图2显示为本技术实施例提供的训练方法的流程图，该训练方法例如可以通过图1所示的深度学习处理器实现，也可以通过主cpu实现。如图2所示，本技术实施例提供的训练方法包括以下步骤s21至步骤s27。
45.s21，根据低分辨率图像lr生成第一图像l，第一图像l与第二图像h的尺寸相同，且第二图像h的平面间分辨率高于低分辨率图像lr。具体地，本技术实施例中低分辨率图像lr可以为具有任意下采样比例的图像，该低分辨率图像可以通过插值等方法得到第一图像l。尽管第一图像l的尺寸与第二图像h的尺寸相同，第一图像l的分辨率并不能满足高分辨率要求，其本质仍然为低分辨率空间的图像，可视为伪高分辨率图像。第二图像h可以满足高分辨率要求，其属于高分辨率空间的图像。
46.s22，利用第二变换模型将第二图像h变换至低分辨率空间，以生成第一变换图像l'。其中，第二变换模型用于将高分辨率空间的图像变换至低分辨率空间。
47.s23，利用第一变换模型将第一图像l变换至高分辨率空间，以生成第二变换图像h'。其中，第二变换模型用于将低分辨率空间的图像变换至高分辨率空间。
48.s24，利用第二变换模型将第二变换图像h'变换至低分辨率空间，以生成第一输出图像
49.s25，利用第一变换模型将第一变换图像l'变换至高分辨率空间，以生成第二输出图像
50.s26，根据第一图像l、第二图像h、第一变换图像l'和第二变换图像h'获取损失函数。
51.s27，基于步骤s26中得到的损失函数对医学影像超分辨率模型进行训练。
52.根据以上描述可知，本技术实施例提供的训练方法可用于训练医学影像超分辨率模型。训练好的超分辨率模型能够对平面间分辨率低的医学图像进行超分辨率重建，以获取平面间分辨率高的医学图像。
53.此外，本技术实施例中可以将低分辨率图像lr插值为与高分辨率图像具有相同尺寸的第一图像l，通过此种方式可以将超分辨率问题转换为从低分辨率域到高分辨率域的图像转换。基于此，即便本技术实施例中用于训练的低分辨率图像lr和高分辨率图像h并不配对，本技术实施例中也可以根据不配对的低分辨率图像lr和高分辨率图像h来学习低分辨率域到高分辨率域之间的非线性映射。
54.根据本技术的一实施例中，第一变换模型包括第一内容编码器和第二生成器gh。请参阅图3，本技术实施例中利用第一变换模型将第一图像l变换至高分辨率空间以生成第二变换图像h'包括以下步骤s31和步骤s32。
55.s31，利用第一内容编码器将第一图像l解耦至内容空间，以获取第一图像的内容空间特征c
l
。其中，第一内容编码器用于对低分辨率空间中的图像进行内容解耦。具体地，对于一幅图像而言，内容空间和分辨率空间相互耦合在一起，将这两个空间从图像中分离出来的过程即为解耦。内容空间代表图像的结构内容，分辨率空间代表图像的外表细节，也即图像分辨率。
56.s32，利用第二生成器gh，根据高分辨率空间的变换码本ah'对第一图像的内容空间特征c
l
进行处理，以生成第二变换图像p(ah')～n(0,1)，也即ah'服从标准正态分布。其中，第二生成器gh可以采用生成对抗网络(generative adversarial networks，gan)中的生成器实现。高分辨率空间的变换码本ah'可以通过对第二图像h进行高斯采样得到，但本技术并不限于此。
57.可选地，本技术实施例中，第二变换模型包括第二内容编码器和第一生成器g
l
，医学影像超分辨率模型还包括第一分辨率编码器请参阅图4，本技术实施例中利用第二变换模型将第二变换图像h'变换至低分辨率空间以生成第一输出图像包括以下步骤s41至步骤s43。
58.s41，利用第二内容编码器将第二变换图像h'解耦至内容空间，以获取第二变换图像的内容空间特征其中，第二内容编码器用于对高分辨率空间中的图像进行内容解耦。
59.s42，利用第一分辨率编码器对第一图像l进行处理，以获取第一分辨率空间的码本a
l
。其中，第一分辨率编码器用于对低分辨率空间中的图像进行分辨率解耦。
60.s43，利用第一生成器g
l
，根据第一分辨率空间的码本a
l
对第二变换图像的内容空间特征进行处理，以生成第一输出图像其中，第一生成器g
l
可以采用生成对抗网络中的生成器实现。
61.根据本技术的一实施例中，第二变换模型包括第二内容编码器和第一生成器g
l
。如图5所示，利用第二变换模型将第二图像h变换至低分辨率空间以生成第一变换图像l'包括以下步骤s51和步骤s52。
62.s51，利用第二内容编码器将第二图像h解耦至内容空间，以获取第二图像的内容空间特征ch。其中，第二内容编码器用于对高分辨率空间中的图像进行内容解耦。
63.s52，利用第一生成器g
l
，根据低分辨率空间的变换码本a
l
'对第二图像的内容空间特征ch进行处理，以生成第一变换图像p(a
l
')～n(0,1)，也即a
l
'服从标准正态分布。其中，低分辨率空间的变换码本a
l
'可以通过对第一图像l进行高斯采样得到。
64.可选地，本技术实施例中，第一变换模型包括第一内容编码器和第二生成器gh，医学影像超分辨率模型还可以包括第二分辨率编码器请参阅图6，本技术实施例中利用第一变换模型将第一变换图像l'变换至高分辨率空间以生成第二输出图像
包括以下步骤s61至步骤s63。
65.s61，利用第一内容编码器将第一变换图像l'解耦至内容空间，以获取第一变换图像的内容空间特征
66.s62，利用第二分辨率编码器对第二图像h进行处理，以获取第二分辨率空间的码本ah。其中，第二分辨率编码器用于对高分辨率空间中的图像进行分辨率解耦。
67.s63，利用第二生成器gh，根据第二分辨率空间的码本ah对第一变换图像的内容空间特征进行处理，以生成第二输出图像
68.在一些医学影像超分辨率模型的训练方法中，需要使用相互配对的低分辨率图像和高分辨率图像进行训练。然而，实际临床中，获取相互配对的低分辨率图像和高分辨率图像通常比较困难，这就导致这些训练方法很难应用到实际中。针对该问题，根据本技术的一实施例中，低分辨率图像和第二图像相互不配对。本技术实施例中，通过将超分辨率问题转换为从低分辨率域到高分辨率域的图像转换，使得本技术实施例中可以采用相互不配对的图像实现对医学影像超分辨率模型的训练。通过此种方式，使得本技术实施例中提供的训练方法能够很好地应用到实际中。
69.根据本技术的一实施例中，损失函数包括重建损失、对抗训练损失和感知损失。
70.图7a、7b和7c显示为本技术的一实施例中对低分辨率图像lr和第二图像h进行变换处理的示意图。本技术实施例中，医学影像超分辨率模型包括两个内容编码器两个分辨率编码器以及两个生成器{g
l
,gh}。图7d显示为本技术实施例中训练方法的流程图。如图7d所示，本技术实施例中训练方法包括以下步骤。
71.s71，对于具有任意下采样比例的低分辨率图像lr进行插值，以生成第一图像l。第一图像l与第二图像h具有相同的分辨率。
72.s72，利用医学影像超分辨率模型将第一图像l和第二图像h解耦到内容空间和分辨率空间，以生成第一图像的内容空间特征第二图像的内容空间特征第一分辨率空间的码本以及第二分辨率空间的码本
73.s73，根据步骤s72的解耦结果生成第一变换图像以及第二变换图像并利用重建损失函数进行网络的反向传播训练。
74.可选地，重建损失函数可以包括自重建损失和循环重建损失。当内容和分辨率码本来自同一输入图像时，可以采用式1的自重建损失约束训练。当内容和分辨率码本来自不同输入图像时，可以采用式2的循环重建损失约束训练。
[0075][0076][0077]
s74，根据第一变换图像l'和第二变换图像h'，通过生成对抗训练损失对训练进行约束。具体地，对于生成器{g
l
,gh}生成的图像，通过判别器d
l
来判断生成的第二变换图像h'是否属于低分辨率空间，通过判别器dh来判断生成的第一变换图像l'是否属于高分辨率空间。其中，生成器{g
l
,gh}尝试生成目标空间的图像来欺骗判别器，以便使得生成图像的分布
可以匹配目标空间的图像。本技术实施例中，对抗训练损失如以下式3和式4所示：
[0078][0079][0080]
其中，e表示期望函数，l～p
l
(l)表示l服从低分辨率数据域分布p
l
(l)，h～ph(h)表示h服从高分辨率数据域分布ph(h)。
[0081]
s75，提取图像的高级特征并计算感知损失来约束训练，以在循环转换和过程中保持图像内容和整体结构的不变性，其中l和h分别为低分辨率图像集合和高分辨率图像集合，l∈l,l'∈l,h∈h,h'∈h。例如，可以使用预训练的vgg16网络提取图像的高级特征来计算感知损失，具体方式如以下式5所示。
[0082][0083]
其中，c、h1和w分别为图像的通道数、高度和宽度，φ表示vgg16特征提取网络。
[0084]
此外，为了保证图像和隐空间之间的可逆映射，本技术实施例中可以通过式6计算隐空间的重建损失对训练进行约束：
[0085][0086]
其中，表示对循环变换生成的图像，例如第一变换图像l'和第二变换图像h'，解耦得到的内容空间特征和码本。c
l
,ch,a
l
',ah'表示对输入图像，例如第一图像l和第二图像h，解耦得到的内容空间特征以及高斯采样得到的码本。
[0087]
s76，通过上述步骤s73、s74和s75进行联合训练，每一轮训练完成后在测试集上进行评估，将评估最优的模型作为医学影像超分辨率模型。
[0088]
本技术实施例还提供一种医学影像超分辨率方法，该医学影像超分辨率方法包括：利用医学影像超分辨率模型对原始图像进行超分辨率重建以获取目标图像。其中，该医学影像超分辨率模型采用本技术任一实施例提供的训练方法训练得到。
[0089]
可选地，本技术实施例中利用医学影像超分辨率模型对原始图像进行超分辨率重建以获取目标图像包括：利用医学影像超分辨率模型，对原始图像的冠状面和横截面进行超分辨率重建以获取冠状面三维体和横截面三维体；对冠状面三维体和横截面三维体进行平均处理，以获取目标图像。通过此种方式可以消除而为预测的方向伪影，进一步提升医学影像三维体的超分辨率的效果。
[0090]
本技术实施例提供的训练方法和/或医学影像超分辨率方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本技术的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本技术的保护范围内。
[0091]
本技术实施例还提供了一种计算机可读存储介质。该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本技术任一实施例所述的训练方法和/或医学影像超分辨率方法。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，的程序可以存储于计算机可读存储介质中，存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储
器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0092]
本技术还提供一种电子设备。图8显示为本技术一实施例中电子设备800的结构示意图。如图8所示，本实施例中电子设备800包括存储器810和处理器820。
[0093]
存储器810用于存储计算机程序；优选地，存储器810包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
[0094]
具体地，存储器810可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器810可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本技术各实施例的功能。
[0095]
处理器820与存储器810相连，用于执行存储器810存储的计算机程序，以使电子设备800执行本技术任一实施例所述的训练方法和/或医学影像超分辨率方法。
[0096]
可选地，处理器820可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0097]
可选地，本实施例中电子设备800还可以包括显示器830。显示器830与存储器810和处理器820通信相连，用于显示训练方法和/或医学影像超分辨率的相关gui交互界面。
[0098]
综上所述，本技术实施例提供的训练方法用于训练医学影像超分辨率模型。训练好的超分辨率模型能够对平面间分辨率低的医学图像进行超分辨率重建，以获取平面间分辨率高的医学图像。
[0099]
此外，在一些实施例中，医学影像超分辨率模型可以为无监督的深度学习模型，无需训练大量的网络来执行任意尺度的超分辨率，有利于降低计算复杂度并缩短计算时间。此外，无监督的医学影像超分辨率模型不需要大量配对的低分辨率图像和高分辨率图像进行训练。
[0100]
因此，本技术有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0101]
上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。