基于卷积神经网络的图像融合方法

本发明属于图像处理领域，具体涉及一种基于卷积神经网络的图像融合方法。

背景技术：

随着经济技术的发展，图像处理技术已经得到了广泛应用。而在进行图像处理时，经常涉及到图像的融合过程。图像融合后，融合后的图像既能够保持原图像中的重要信息，又能够反映出新增加的图像的信息的变换；因此，融合后的图像往往结合了来自多个图像的互补信息和冗余信息，能够提供更为丰富的数据信息。

目前随着人工智能算法的普及，人工智能算法(比如卷积神经网络算法)也已经广泛应用于图像融合领域。但是，目前的基于人工智能算法的图像融合技术，一般是先训练图像配准网络并用于图像配准，然后再将配准后的图像进行图像融合网络训练，再进行图像融合。但是，明显的，现有的基于人工智能算法的图像融合技术，其训练过程较为繁琐，而且可靠性和精确性都不高。

技术实现要素：

本发明的目的在于提供一种可靠性高、实用性好且精确性较好的基于卷积神经网络的图像融合方法。

本发明提供的这种基于卷积神经网络的图像融合方法，包括如下步骤：

s1.获取训练数据集；

s2.构建基于卷积神经网络的图像融合模型；

s3.采用步骤s1获取的训练数据集，对步骤s2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；

s4.将待融合的两张图像输入到步骤s3得到的图像融合模型中，完成图像的融合。

步骤s1所述的训练数据集，具体包括浮动图像和参考图像。

步骤s2所述的构建基于卷积神经网络的图像融合模型，具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：

a.将浮动图像和参考图像输入到编码器网络中进行编码和特征提取；

b.将步骤a提取到的特征进行串接，并将串接后的特征输入到配准解码器网络，从而得到配准参数；

c.利用步骤b得到的配准参数，对浮动图像进行变换；

d.将变换后的浮动图像输入到编码器网络进行编码；

e.将步骤d得到的编码后的变换浮动图像与步骤a得到的编码后的参考图像输入到融合层进行融合；

f.将步骤e得到的融合后的数据输入到重构解码器网络中，从而得到最终的融合后的图像。

步骤a所述的编码器网络中，具体为采用denseblock结构作为编码器网络。

所述的denseblock结构包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；上述卷积核的参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的denseblock结构的输出数据。

步骤b所述的将步骤a提取到的特征进行串接，具体为将步骤a提取到的特征直接进行串接，从而实现特征的融合。

步骤b所述的配准解码器网络，具体为采用类似u-net的结构作为配准解码器网络。

所述的配准解码器网络，具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出。

所述的配准解码器网络，具体为下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为leakyrelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上leakyrelu的池化操作。

步骤e所述的将步骤d得到的编码后的变换浮动图像与步骤a得到的编码后的参考图像输入到融合层进行融合，具体为采用如下算式进行融合：

式中ffused(x,y)为融合后的数据；ef(x,y)为步骤a得到的编码后的参考图像；为步骤d得到的编码后的变换浮动图像。

步骤f所述的重构解码器网络，具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高。

步骤s3所述的训练，具体为将图像配准和图像融合进行联合训练，同时在训练时，采用如下损失函数进行训练：

式中loss为损失函数；α、β和γ均为超参数；lsim(.)为相似性度量函数，其中相似性度量函数采用ncc；lsmo(.)为正则化项；f为输入的参考图像；为采用配准参数对浮动图像进行变换的结果；fd为重构编码器输出的图像；φ为配准参数，也即变形场。

本发明提供的这种基于卷积神经网络的图像融合方法，将图像配准和图像融合过程在一个网络中进行训练，并共享编码器，从而减少了网络参数，加速了网络的训练过程；同时设计了一种denseblock结构，使得特征提取过程更为精确和可靠；最后采用配准解码器网络和跳跃连接的方式，使得网络的最后输出的变形场能够捕获到浅层网络的特征信息，并且能够和深层网络特征进行融合；因此，本发明方法的可靠性高、实用性好且精确性较好。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法的配准及融合流程示意图。

图3为本发明方法的denseblock结构的结构示意图。

图4为本发明方法的配准解码器网络的结构示意图。

图5为本发明方法的重构解码器网络的结构示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图，图2则为本发明方法的配准及融合流程示意图：本发明提供的这种基于卷积神经网络的图像融合方法，包括如下步骤：

s1.获取训练数据集；具体包括浮动图像和参考图像；

在具体实施时，如果针对肝脏图像进行融合，则采用的训练数据集包括ct图像和mri图像，ct图像包括sliver数据集、lits数据集和lspig数据集；mri图像则包括adni数据集、abide数据集、adhd数据集和lpba数据集；

s2.构建基于卷积神经网络的图像融合模型；具体为基于卷积神经网络的图像融合模型采用如下步骤进行图像融合：

a.将浮动图像和参考图像输入到编码器(图2中标示sharedencoder)网络中进行编码和特征提取；具体为采用denseblock结构作为编码器网络；

在具体实施时，denseblock结构(如图3所示)包括第一卷积核、第二卷积核和第三卷积核；第一卷积核、第二卷积核和第三卷积核依次串接；第一卷积核的大小为16*16*3*3*3；第二卷积核的大小为32*16*3*3*3；第三卷积核的大小为48*16*3*3*3；卷积核参数定义为输入通道数*输出通道数*长*宽*高；第一卷积核的输入数据同时输入到第二卷积核的输入端、第三卷积核的输入端和第三卷积核的输出端；第一卷积核的输出数据同时输入到第三卷积核的输入端和第三卷积核的输出端；第二卷积核的输出数据输入到第三卷积核的输出端；第三卷积核的输出数据与第一卷积核的输入数据、第一卷积核的输出数据和第二卷积核的输出数据融合后，作为最终的denseblock结构的输出数据；

b.将步骤a提取到的特征进行融合(可以直接进行串接)，并将融合后的特征输入到配准解码器网络，从而得到配准参数；

在具体实施时，配准解码器(图2中标示registrationdecoder)网络采用l类似u-net网络结构作为配准解码器网络；具体包括上采样模块和下采样模块；下采样模块包括第一下采样层、第二下采样层、第三下采样层和第四下采样层；上采样模块包括第一上采样层、第二上采样层、第三上采样层和第四上采样层；下采样模块的输入数据通过第一下采样层进行下采样后缩小1/2，第一下采样层的输出数据输入到第二下采样层，同时第一下采样层的输出数据也和第三上采样层的输出数据进行串接；第二下采样层将接收到的数据进行下采样后缩小1/2，第二下采样层的输出数据输入到第三下采样层，同时第二下采样层的输出数据也和第二上采样层的输出数据进行串接；第三下采样层将接收到的数据进行下采样后缩小1/2，第三下采样层的输出数据输入到第四下采样层，同时第三下采样层的输出数据也和第一上采样层的输出数据进行串接；第四下采样层将接收到的数据进行下采样后缩小1/2，并将数据输出到第一上采样层；第一上采样层将第四下采样层的输出数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第三下采样的数据进行上采样后放大两倍；第二上采样层将第一上采样层的输出数据和第二下采样层得到的数据进行上采样后放大两倍；第三上采样层将第二上采样层的输出数据和第一下采样层得到的数据进行上采样后放大两倍；第四上采样层将第三上采样层的输出数据进行上采样后放大两倍；最后经过卷积层操作，从而得到最终的配准解码器网络的输出；

同时，在下采样过程中，每个卷积核的大小为3*3*3，每次卷积操作后，均进行池化操作，具体为leakyrelu；然后在上采样过程中，采用反卷积操作，并且每次反卷积之后，加上leakyrelu的池化操作；

c.利用步骤b得到的配准参数，对浮动图像进行变换；

d.将变换后的浮动图像输入到编码器网络进行编码；

e.将步骤d得到的编码后的变换浮动图像与步骤a得到的编码后的参考图像输入到融合层进行融合(图2中标示fusionlayer)；具体为采用如下算式进行融合：

式中ffused(x,y)为融合后的数据；ef(x,y)为步骤a得到的编码后的参考图像；为步骤d得到的编码后的变换浮动图像；

f.将步骤e得到的融合后的数据输入到重构解码器网络(图2中标示reconstructdecoder)中，从而的得到最终的融合后的图像；

在具体实施时，重构解码器网络具体包括第一卷积核、第二卷积核、第三卷积核和第四卷积核；第一卷积核、第二卷积核、第三卷积核和第四卷积核依次串联；第一卷积核的大小为64*64*3*3*3；第二卷积核的大小为64*32*3*3*3；第三卷积核的大小为32*16*3*3*3；第三卷积核的大小为16*1*3*3*3；参数定义为卷积核的输入通道数*输出通道数*长*宽*高；

s3.采用步骤s1获取的训练数据集，对步骤s2构建的基于卷积神经网络的图像融合模型进行训练，从而得到图像融合模型；具体为将图像配准和图像融合进行联合训练，同时在训练时，采用如下损失函数进行训练：

式中loss为损失函数；α、β和γ均为超参数；lsim(.)为相似性度量函数；lsmo(.)为正则化项；f为输入的参考图像；为采用配准参数对浮动图像进行变换的结果；fd为重构编码器重构后得图像；φ为配准参数；

s4.将待融合的两张图像输入到步骤s3得到的图像融合模型中，完成图像的融合。