一种基于生成对抗网络的双能CT图像融合方法与流程

一种基于生成对抗网络的双能ct图像融合方法
技术领域
1.本发明涉及ct技术领域，更具体地，涉及一种基于生成对抗网络的双能ct 图像融合方法。


背景技术：

2.计算机断层扫描(computed tomography，ct)作为一种重要的无损成像技术广泛应用于安全检查、工业检测、航空航天和临床诊断等领域。ct通过x射线在不同角度下扫描得到投影数据，利用数字图像化处理手段重建出被测物体内部的形状结构及材质组成，在工业检测和逆向工程中起到了重要作用。然而，传统的ct探测器是在全光谱下集成所有光子的能量，利用x射线在物体内的平均衰减效应进行成像，无法获得不同能量下的物质衰减信息，对原子序数低的物质的区分效果无法满足实际应用需求。同时，由于宽谱的x射线中低能光子更容易被物质吸收，射线穿过物体时平均能量会增加，造成重建图像中金属等高衰减物质影响而产生射束硬化伪影。这些非理想因素都会在ct图像中表现出病态信息，严重干扰图像内部缺陷的判断。
3.近年来，双能ct的出现对工业缺陷检测成像技术的发展起到了至关重要的推动作用。它能够区分连续能量的x射线光子，获得不同能量下的物质衰减特性，可准确得到被测物质的电子密度、原子序数、单能衰减系数分布等，并且可利用物质在等效原子序数—电子密度坐标系中的区域位置来实现对物质类别的判断和筛选。由于利用了射线的能谱信息，能够产生一系列虚拟单一能量的ct图像，有效抑制或消除射束硬化伪影。此外，结合双能ct图像还能够避免单一能量下图像的细节损失问题，从而提供更多的图像信息。
4.随着x射线检测及数字图像处理技术的发展，图像融合技术成为现在ct领域的研究热点问题，图像融合的重点是从不同成像条件采集的源图像中提取最重要的特征信息，并融合成融合ct图像。融合后的图像可以在减少冗余信息的同时提供更为复杂和详细的信息表示。在过去的几十年中，人们提出了许多融合方法。根据融合方式的不同，这些融合方法可以分为不同的类别，包括基于稀疏表示的方法、基于子空间的方法、基于显著性的方法、基于多尺度变换的方法、混合方法等其他融合方法。这些方法致力于手工设计特征提取和融合规则，以获得更好的融合性能。然而，由于特征提取和融合规则设计的多样性，使得融合方法变得越来越复杂。
5.近年来，深度学习方法在图像融合中得到了广泛的应用，并取得了良好的效果。生成对抗网络也被应用于融合方法中，基于深度学习的方法利用神经网络强大的非线性拟合能力，避免了复杂的融合规则设计，使融合后的图像具有理想的分布，但目前的图像融合方法中仍有许多需要改进之处，比如：融合的规则过于复杂、融合过程中会造成一定的信息损失等，这些技术缺陷都有待改进。


技术实现要素：

6.为了解决上述技术问题，本发明根据不同物质在不同的射线能量下具有不同的吸
收系数，获得高能ct图像和低能ct图像，提出一种基于生成对抗网络的双能ct融合方法对高能ct图像和低能ct图像进行融合，以丰富图像的细节信息，以便进一步获得待检测物质的构成成分。本发明所提出的技术方案如下：
7.一种基于生成对抗网络的双能ct图像融合方法，该生成对抗网络包括生成器g，以及两个对抗性判别器dh和判别器d
l
。包括以下步骤：
8.采集不同射线照射条件下的源图像：高能ct图像和低能ct图像，将高能 ct图像和低能ct图像输入生成器g，生成器g提取高能ct图像和低能ct图像的细节信息，基于预设损失生成类似于真实样本的融合ct图像随机样本，以欺骗两个判别器，融合ct图像分别输入判别器dh和判别器d
l
，输入判别器dh和判别器d
l
的目的是区分融合ct图像与两个源图像高能ct图像和低能ct图像之间的结构差异，判断是真实数据还是虚假数据。采用端到端模型的训练，通过生成器g与判别器dh和判别器d
l
之间不断的对抗训练，完成融合模型的构建，最后生成包含高能ct图像信息和低能ct图像信息的融合ct图像。
9.所述生成器的结构：生成器g由反卷积层、编码器和相应的解码器组成。由于高能ct图像和低能ct图像具有不同的图像信息，首先在编码器前引入反卷积层，来学习从低分辨率到高分辨率的映射，将输入的信息量扩增，以便后期进行更好的特征提取。这种映射不同于传统的上采样，它不需要定义上采样算子，而是通过训练自动获取映射参数。高能ct图像和低能ct图像通过该反卷积层生成具有相同分辨率的特征图，从反卷积层获得的结果被合并作为编码器的输入。特征提取和融合过程均在编码器中执行，并生成融合后的融合特征图并输出。然后将这些融合特征图映射传送到解码器进行重建生成融合ct图像，生成的融合ct 图像与输入图像具有相同的分辨率。
10.所述判别器dh和d
l
的结构：判别器dh和d
l
的设计目的是与生成器形成对抗关系。本技术设置两个判别器dh和d
l
，可以分别将生成的融合ct图像与高能 ct图像和低能ct图像区分开来。考虑生成器g与判别器dh和d
l
对抗关系的同时还要考虑两个判别器之间的平衡，因此两个判别器dh和d
l
被设置为相同的结构，判别器dh和d
l
由卷积层和全连接层组成。
11.本发明的有益效果：
12.1、采用端到端的深度学习图像融合模型，避免了传统的图像融合算法中复杂的融合规则设计；
13.2、为了区分高能ct图像和低能ct图像之间的差异，采用了两个判别器dh和d
l
，使得融合ct图像能够同时保留源图像的纹理和亮度等特征，避免了由于生成-判别的单一对抗形式造成的信息损失，进而使得生成的融合结果更加准确可靠。
附图说明
14.图1是本发明实施例的生成对抗网络的模型架构及图像融合流程示意图；
15.图2是本发明实施例的生成器的总体架构示意图；
16.图3是本发明实施例的判别器的总体架构示意图；
17.图4-1是本发明实施例的一组复合材料的高能ct图像的示意图；
18.图4-2是本发明实施例的一组复合材料的低能ct图像的示意图；
19.图5是本发明实施例的一组复合材料的融合ct图像的示意图。
20.图中，3
×
3：滤波器大小，conv：卷积层，bn：批量归一化，relu：非线性激活函数，
fc：全连接层，tanh：非线性激活函数。
具体实施方式
21.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
22.如图1所示，是本发明实施例的生成对抗网络的模型架构及图像融合流程示意图。生成对抗网络输入高能ct图像和低能ct图像，最终目标是通过高能ct 图像和低能ct图像训练生成器g，使生成的融合ct图像g(h,l)具有足够的真实性和信息性，得到的融合ct图像的质量不断提高。在本发明中，采用了两个对抗性判别器dh和d
l
，判别器的目标就是能够分辨出某一张图像是不是由生成器 g生成的，图像的生成演化成了一个互相博弈的过程。同时，生成器g和判别器的能力也在训练的过程中逐渐提高，直到完成融合ct图像模型的构建。
23.如图2所示，是本发明实施例的生成器的总体架构示意图。生成器g由反卷积层、编码器和相应的解码器组成，高能ct图像和低能ct图像经反卷积层处理生成高能ct图像和低能ct图像的聚合图，然后经编码器生成整体特征图，最后经解码器生成融合ct图像。编码器由4个3
×
3的卷积层组成，各卷积层后设置 bn批量归一化和relu激活函数，每层通过卷积可获得48个特征图。为了缓解梯度消失、减少卷积后特征丢失问题，利用先前计算的各层图像特征，采用 densenet结构并以前馈方式在所有层之间建立短连接，每一层的输入都来自之前的各个层。解码器是由5层卷积层构成，前四层每层后接bn批量归一化和relu 激活函数，最后一层接bn批量归一化及tanh激活函数，所有卷积层的步长都设置为1。为了避免网络训练过程中出现梯度爆炸/消失情况并加快训练速度，采用了bn批量归一化，relu激活函数可以加速网络收敛。
24.如图3所示，是本发明实施例的判别器的总体架构示意图。本技术实施例设置两个判别器dh和d
l
，每个判别器包含四层，前三层为卷积层，每层提取的特征图数量分别为16、32、64，第四层为全连接层，所有卷积层的步长设置为2。在最后一层，使用tanh激活函数代替relu函数生成一个根据源图像估计输入图像的概率。
25.具体而言，dh用于区分生成的融合ct图像和高能ct图像，而d
l
用于区分低能ct图像和生成的融合ct图像。为了保持生成器和判别器之间的平衡，除了将生成器结果输入判别器，不将源高能ct图像h和源低能ct图像l的附加图像信息提供给dh和d
l
。因此，每个判别器的输入层是包含采样数据的单通道层，而不是包含采样数据和相应源图像附加图像信息的双通道层。因为当待判别的输入图像和样本相同时，判别任务被简化为判断输入图像是否相同，这对于神经网络来说是一个足够简单的任务。当生成器无法欺骗判别器时，对抗关系将无法建立，生成器将倾向于随机生成，该模型也将失去其原有的意义。
26.生成对抗网络训练过程如下：
27.步骤1、随机选取若干个已经配对好的高能ct图像和低能ct图像的像素块对，将每一对像素块在图像通道维度上拼接起来作为生成器g的输入，经过生成器g后，得到对应像素块对的融合ct图像，计算生成器g的损失函数，并利用优化器对网络参数进行更新，得到生成器g的网络参数；优化器是现有技术，优化器用于优化目标函数；
28.步骤2、将步骤1中所得像素块对的融合ct图像和对应的高能像素块输入到第一判
别器dh中进行分类，将步骤1中所得像素块对的融合ct图像和对应的低能像素块输入到第二判别器d
l
中进行分类，并计算第一判别器dh和第二判别器d
l
的判别器损失函数，并利用优化器对网络参数进行更新，得到判别器(判别器dh和判别器d
l
)的网络参数；
29.步骤3、判别迭代结束条件，包括：当迭代次数达到预设的最大迭代次数i 时终止迭代，最后一次迭代过程求得的生成器g和判别器dh和判别器d
l
的网络参数作为最终的网络参数；否则返回执行步骤1。训练时循环更新k次判别器之后，更新一次生成器g。经过多次更新迭代后，理想状态下，最终判别器无法区分图像来自真实的训练样本集合还是来自生成器g生成的样本，也就是判别的概率为0.5时达到均衡判别结束，此时的i值即为最大迭代次数。
30.生成对抗网络的训练目标表达式为公知技术，本发明中的生成器g的训练目标可以表述为以下的最小化表达式：
[0031][0032]
其中φ为下采样算子，通过平均池化实现。与之相反，判别器的目标是使上述表达式(1)最大化。
[0033]
生成器g和两个判别器(dh和d
l
)的对抗过程中，生成器g的γg和判别器两个真实分布γh和γ
l
之间的差异将同时变小，其中γg是生成样本的概率分布，γh是高能ct图像的真实分布，γ
l
是低能ct图像的真实分布。
[0034]
损失函数：
[0035]
众所周知，gan网络的训练过程不稳定，可能会产生伪像或不可控的结果。该问题的一个解决方案就是在网络中引入一组约束，从而避免生成伪像和不可控结果。因此，在本技术中，生成器g不仅被训练试图骗过判别器，而且还用来约束生成的图像和源图像之间的相似性。因此，生成器g的损失函数由对抗损失函数和内容损失函数loss
con
组成，λ表示权重：
[0036][0037]
其中，生成器g的对抗损失函数定义为：
[0038][0039]
本技术使用f-范数约束下采样的融合ct图像，使其具有相似的像素强度作为数据保真度项，表示为|| ||
2f
。f-范数通过约束下采样融合ct图像和低能ct 图像像素强度之间的关系，可以显著防止压缩或模糊导致的纹理信息丢失以及强制上采样导致的图像信息不准确。在正则化项中应用tv范数，表示为|| ||
tv
，以约束高能ct图像与低能ct图像中相似的梯度变化，保持图像的光滑性，同时消除图像复原带来的伪影。其中η为权重，用来权衡像素强度和梯度变化的差异。内容损失可以表示为：
[0040][0041]
本技术所用的两个判别器dh和d
l
的作用是来区分源图像和生成的融合ct图像。判别器的对抗性损失可以计算不同分布之间的js散度，从而确定纹理信息是否符合实际，并通过网络不断训练生成真实分布。对抗性损失的定义如下：
[0042][0043][0044]
如图4-1所示，是本发明实施例的一组复合材料的高能ct图像的示意图；如图4-2所示，是本发明实施例的一组复合材料的低能ct图像的示意图。高能 ct图像和低能ct图像分别在260kv以及160kv条件下获取，生成对抗网络每次输入成对的高能ct图像和低能ct图像，本技术实施例所用数据由30对这样的图像组成。
[0045]
如图5所示，是本发明实施例的一组复合材料的融合ct图像的示意图。从实验结果看出，融合后的融合ct图像细节更加丰富，利于融合ct图像进行下一步的处理。