本发明属于图像处理技术领域，涉及一种图像融合方法，具体涉及一种基于反卷积神经网络的图像融合方法，可用于多聚焦、医学领域中图像的分析与处理。
背景技术：
反卷积神经网络是深度学习中的一种网络模型，它通过无监督的训练，能够用训练好的网络来推断输入图像的多个特征图，并且利用这些推断出的特征图和反卷积神经网络的滤波器可以实现对原图像的复原重构。
图像融合是将来自多个传感器的包含不同信息的多幅图像按一定的融合规则进行综合，以得到一幅同时包含融合前多幅源图像的优点、内容更为丰富的融合图像的过程。图像融合技术可以综合多幅源图像的互补信息和冗余信息，克服单一传感器的缺点，降低对单一传感器的性能要求，降低了对原始图像质量和信息量的要求，增加了图像的信息量，在很大程度上提高了图像质量，目前在测绘、医学、工业产品检测等领域的应用十分广泛。
目前实际应用中，对图像进行融合时使用的最多的方法是像素级图像融合方法。像素级图像融合方法分为空间域和变换域的两种融合方法，但空间域的融合方法只是在空间域对图像的像素进行简单运算，效果不及变换域的融合方法，变换域图像融合方法主要有基于多尺度变换的融合方法和基于稀疏表示的融合方法。
基于多尺度变换的融合方法是将待融合图像和多尺度函数进行卷积，通过不断改变多尺度函数的参数，将待融合图像在不同尺度层次进行分解，得到不同层次的子图像，然后根据不同子图像的特征，采用相应的融合规则将子图像进行融合，最后再将这些融合后的子图像通过多尺度反变换，得到最终的融合图像。由于多尺度变换方法得到子图像的信息和原始图像相比逐渐减少，细节信息逐渐被平滑掉，使得融合得到的图像不能完全反映原始图像的全部内容，因此融合后的图像包含的信息较少，融合结果信息熵较低。
基于稀疏表示的融合方法是通过一个给定的过完备字典得到原图像变换后的稀疏系数，然后将这些稀疏系数融合得到融合系数，再用融合系数与过完字典进行重构，得到最后的融合图像。这种方法是建立在图像空间足够大的条件下，同时要求选择一个过完备字典，使得任意一幅同类的图像都可以通过此类的图像子空间进行线性表示，并且要求图像要大致中心一致对齐。在实际应用中，通常难以选择一个合适的过完备字典，使得融合得到的图像缺失了部分有效的信息，融合结果的信息熵较低。
技术实现要素：
本发明的目的是针对上述现有技术的不足，提出了一种基于反卷积神经网络的图像融合方法，用于解决现有变换域图像融合方法中存在的融合图像信息熵较低的技术问题。
本发明的技术思路是，首先用训练样本集对反卷积神经网络进行训练，得到包含一组滤波器的训练好的反卷积神经网络，然后用训练好的反卷积神经网络对两幅待融合图像进行推断，得到两幅待融合图像各自对应的特征图，接着将待融合图像的特征图进行融合，得到融合后的特征图，最后用融合后的特征图和反卷积神经网络中的滤波器进行卷积，将卷积结果求和，得到融合图像。具体包括有如下步骤：
(1)设置反卷积神经网络：
设置反卷积神经网络中的特征图个数和滤波器个数均为k，并将k个滤波器标记为{f1,f2,...,fk}，k≥1；
(2)获取训练样本集：
选择与待融合图像类型和大小相同的m幅图像作为训练样本集，m≥2；
(3)对反卷积神经网络进行训练：
设置反卷积神经网络的训练总循环轮数为e，并通过训练样本集对反卷积神经网络进行e轮训练，得到训练好的反卷积神经网络；
(4)推断待融合图像的特征图：
将待融合图像a和待融合图像b分别输入到训练好的反卷积神经网络，并采用ista方法，分别推断待融合图像a和待融合图像b的特征图，得到待融合图像a的k个特征图{a1,a2,...,ak}和待融合图像b的k个特征图{b1,b2,...,bk}；
(5)对特征图{a1,a2,...,ak}和特征图{b1,b2,...,bk}进行融合：
对特征图{a1,a2,...,ak}中的特征图ak与特征图{b1,b2,...,bk}中对应标号的特征图bk进行融合，得到k个融合特征图{f1,f2,...,fk}，其中，k＝1,2,...,k；
(6)获取融合图像：
将融合特征图{f1,f2,...,fk}中的特征图ft与反卷积神经网络的滤波器{f1,f2,...,fk}中对应标号的滤波器ft进行卷积，并对k个卷积结果进行相加，得到融合图像f，其中t＝1,2,...,k。
本发明与现有的技术相比，具有以下优点：
本发明在获取待融合图像的特征图时，是通过训练好的反卷积神经网络推断实现的，可以灵活设置特征图的个数，得到多个反映待融合图像信息的特征图，避免了现有的变换域图像方法在对待融合图像变换后，得到的子图像难以全面反映待融合图像特征的缺点，能够实现对待融合图像更好的融合，得到包含更丰富的信息的融合图像，提高融合图像的信息熵，可用于多聚焦和医学图像的融合。
附图说明
图1是本发明的实现流程图；
图2是本发明实施例中的训练好的反卷积神经网络中的滤波器；
图3是本发明实施例中的两幅待融合图像。
图4是本发明实施例中的两幅待融合图像的特征图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，基于反卷积神经网络的图像融合方法，包括如下步骤：
步骤1，设置反卷积神经网络：
设置反卷积神经网络中的特征图个数和滤波器个数均为6，并将6个滤波器标记为{f1,f2,...,f6}；
步骤2，获取训练样本集：
选择与待融合图像类型和大小相同的20幅图像作为训练样本集，m≥2；
步骤3，对反卷积神经网络进行训练：
步骤3a，设置训练反卷积神经网络的训练总循环轮数为5；
步骤3b，对反卷积神经网络的6个滤波器的每个像素赋一个随机值，实现对反卷积神经网络的初始化；
步骤3c，从训练样本集中每次随机选取一幅图像y，将y输入到反卷积神经网络中，采用ista方法推断y对应的特征图，具体方法是，先对y的6个特征图{z1,z2,...,z6}进行随机初始化，然后将以下过程进行5次迭代循环：
用y的特征图zk和反卷积神经网络中的滤波器fk进行卷积，其中，k＝1,2,...,6，得到6个卷积结果，然后将这6个卷积结果相加，得到输入图像y的近似重构图像
当训练集中的20幅图像都选择完，并对各幅图像推断它们各自对应的特征图后，执行步骤3d。
步骤3d，采用梯度下降法对反卷积神经网络中的6个滤波器进行更新，并循环重复步骤3c～3d，直到循环轮数达到步骤3a中设置的总循环轮数5，得到训练好的反卷积神经网络。参照图2，训练好的反卷积神经网络中包含6个滤波器{f1,f2,...,f6}，这6个滤波器的内容各不相同，因此对于输入到训练好的反卷积神经网络中的图像，推断它的特征图时，可以得到反映输入图像不同方面的信息的特征图。
步骤4，推断待融合图像的特征图：
参照图3，是本实施例中的两幅待融合图像，其中图3(a)是一幅左聚焦图像，记为待融合图像a，图3(b)是一幅右聚焦图像，记为待融合图像b，将它们分别输入到训练好的反卷积神经网络中，并采用ista方法推断输入的待融合图像对应的特征图，具体过程是，先对输入的待融合图像随机初始化6个特征图{z1,z2,...,z6}，然后将以下过程进行5次迭代循环：
用待融合图像的特征图zk和反卷积神经网络中的滤波器fk进行卷积，其中，k＝1,2,...,6，得到6个卷积结果，然后将这6个卷积结果相加，得到输入到反卷积神经网络中的待融合图像的近似重构图像，用近似重构图像和输入的待融合图像构造误差函数，接着对误差函数关于特征图求梯度g，再根据zk＝zk-λβg的计算方法更新输入的待融合图像的特征图zk,其中λ是一个权重系数，本实施例中λ取100，β是ista方法的迭代步长，本实施例中β取10。
对两幅待融合图像按以上方法分别推断出它们的特征图，参照图4，其中图4(a)是待融合图像a的6个特征图{a1,a2,...,a6}，图4(b)是待融合图像b的6个特征图{b1,b2,...,b6}，由于待融合图像的6个特征图各不相同，它们分别反映了待融合图像不同方面的特征信息，因此将它们融合后可以得到能够全面反映两幅待融合图像信息的融合特征图，在融合特征图的基础上得到的融合图像包含更丰富的信息，信息熵得以提升。
步骤5，对特征图{a1,a2,...,a6}和特征图{b1,b2,...,b6}进行融合：
将待融合图像a的特征图{a1,a2,...,a6}中的每个特征图ak，与待融合图像a的特征图{b1,b2,...,b6}中对应标号的特征图bk进行融合，得到融合特征图fk。融合的方法是比较两幅特征图中相同位置的像素值的绝对值的大小，将绝对值较大的那个像素值作为融合特征图相应位置的像素值，具体方法为：首先求取特征图ak中每个点(i,j)处的像素值ak(i,j)的绝对值|ak(i,j)|，然后求取特征图bk中与特征图ak对应位置处像素值bk(i,j)的绝对值|bk(i,j)|，其中i和j分别是特征图ak的行坐标和列坐标，最后计算融合特征图fk在每个点(i,j)处的像素值fk(i,j)，得到融合特征图fk，其中，像素值fk(i,j)的计算公式为：
将待融合图像a的6个特征图{a1,a2,...,a6}和待融合图像b的6个特征图{b1,b2,...,b6}都融合后，最终得到6个融合特征图{f1,f2,...,f6}。
步骤6，获取融合图像：
用融合特征图和反卷积神经网络的滤波器进行卷积求和，得到融合图像。具体方法为：将融合特征图{f1,f2,...,f6}中的特征图ft与反卷积神经网络的滤波器{f1,f2,...,f6}中对应标号的滤波器ft进行卷积，得到6个卷积结果，然后将这6个卷积结果相加，得到融合图像f，其中t＝1,2,...,6。
以下结合仿真实验，对本发明的技术效果作一说明。
1.仿真条件和内容：
硬件平台为：intelcore5cpu，主频2.40ghz，内存10.0gb，软件平台为：windows10操作系统、matlab2015b，实验中所用的两幅待融合图像是一幅左聚焦图像和一幅右聚焦图像。
分别用本发明方法、基于多尺度分析方法中的小波变换方法以及基于稀疏表示的方法对两幅待融合图像进行融合仿真实验。
2.仿真结果分析：
对三种方法得到融合图像分别计算信息熵，本发明方法得到的融合图像的信息熵是7.4221，基于多尺度分析方法中的小波变换方法得到的融合图像的信息熵是7.2985，基于稀疏表示的方法得到融合图像的信息熵是7.3197，对比可以看到本发明方法提升了融合图像的信息熵。