本发明涉及图像识别技术领域，尤其涉及一种基于混合神经网络的可见光图像和红外光图像的融合方法。
背景技术：
现有技术的图像融合还不能实现完全的无监督学习提取特征进行分类实现图像融合，现实生活中监督学习中常常会有这样的问题：缺乏足够的先验知识，因此难以辨认进行人工标注类别或者进行人工类别标注成本太高。为了达到目前全智能(AI)的技术需求，需要解决现有技术的以下问题：利用单一的图像数据从场景中提取信息，以至于很难甚至无法独立获得对一幅场景的全面描述，并且可见光图像是反射图像，高频成分多，在一定照度下能反映场景的细节，但照度不佳时的可见光(即微光图像)的对比度较低；红外光图像是辐射图像，灰度由目标与背景的温差决定，不能反映真实的场景。
技术实现要素：
针对现有技术的不足，本发明所解决的问题是图像融合算法不需要监督学习提取特征进行分类从而实现图像融合。
为解决上述技术问题，本发明采用的技术方案是一种基于混合神经网络的可见光图像和红外光图像的融合方法，包括如下步骤：
(1)建立由基本单元堆叠而成的混合神经网络结构，其具体分步骤如下：
1)选择参数合适的卷积层，作为混合神经网络的第一层；
2)选择合适的下采样层，作为混合神经网络的第二层；
3)选择全连接层重新组合下采样层中得到特征；
4)采用深度信念网络作为分类层，将特征进行特征分类匹配；
5)深度信念网络的激活函数为sigmoid或者ReLU函数，类别层为线性节点，它们的激活函数为soft-max函数；
6)将混合神经网络之间的特征层和类别层之间作全连接，组合成联合层，自动生成对应的图像块，网络中通过正向传播计算网络中所有节点的状态值；
7)混合卷积神经网络中初始化权值，隐藏层和可见层之间为全连接，使用能量函数来保持参数稳定性；
8)通过使用损失函数调节网络连接参数，其中使用的是反向传播损失函数；
9)采用随机梯度下降方法最小化损失函数。
(2)对训练和测试图像进行预处理，其具体分步骤如下：
1)将图片进行预处理，使图像拉伸、旋转、尺度、对比度变换，首先对图像进行随机旋转，每一次旋转角度为10度，然后对图像的整理强度进行随机拉伸，拉伸的幅度为20％，再对图像进行切错变换，变换的幅度为10％，最后改变整体亮度；
2)对多幅大小不一致的图像，采取归一化处理为256×256的图像，得到“新”数据。
(3)使用可见光和红外光图像训练混合神经网络模型，其具体分步骤如下：
1)将预处理好的基本单元堆叠起来构建混合神经网络；
2)将原始可见光图像和红外光图像进行预处理；
3)将预处理得到的图像输入到分步骤1)中，采用反向传播算法训练基本单元；
4)将训练好的基本单元堆叠起来构成混合神经网络，利用end-to-end的方式微调整个网络的参数。
(4)测试混合神经网络模型，得到最后的融合图像，其具体分步骤如下：
1)将原始可见图像和红外光图像大部分为训练集，小部分为测试集，随机抽取10张；
2)将抽取图片采用增强图像的方法进行预处理；
3)将预处理后的图像放入构造的混合神经网络中训练；
4)把构造好的混合神经网络中特征图像通过这个混合网络之后按图像融合规则进行融合；图像融合规则优选像素融合规则；
5)将融合结果放入混合神经网络模型中重构，得到最终的融合图像。采用本发明的技术方案有益效果：
(1)混合神经网络中初始化卷积核有助于提到网络的稳定性和泛化能力，解决实现融合的时间和效率，便于图像特征提取和分类；
(2)将多个基本单元采用栈式自编码神经网络(SAE)思想堆叠起来训练得到集成卷积神经网络；
(3)利用该神经网络分别处理输入图像得到各自的特征分类图像，再根据融合规则将其放入最后一层网络，可以对图像进行自适应分解和重构，得到最终的融合图像。融合时只需红外图像和可见图像各一幅，不需要人工自定义滤波器个数和类型也不需要选择图像的分解层数和滤波方向数，可以极大改善融合算法对先验知识的依赖性。
附图说明
图1为本发明的工作流程图；
图2为本发明的混合神经网络的结构图；
图3为选取的卷积神经网络的结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。
图1示出了一种基于混合神经网络的可见光图像和红外光图像的融合方法，包括如下步骤：
(1)建立由基本单元堆叠而成的混合神经网络结构，如图2所示，包括步骤如下：
1)选择参数合适的卷积层，作为混合神经网络的第一层，具体如下；
Step1：图3展示了本模型中使用的卷积神经网络结构，选择六个卷积层和三个下采样层；
Step2：调整卷积层，使用32个卷积核，卷积核大小为32×32，选择ReLU函数为激活函数，设置输入图像大小为预处理后的图像的长和宽；
2)选择合适的下采样层，作为混合神经网络的第二层，具体如下；
Step1：调整图3中卷积神经网络结构中的下采样层，选择最大值池化；
Step2：长为2的整数tuple，代表在竖直、水平两个方向上的下采样因子，此模型中采用下采样块的大小为(2，2)，将图片维度变为原来的一半；
3)选择全连接层重新组合下采样层中得到特征信息；
4)采用深度信念网络作为分类层，将特征进行特征分类匹配，具体如下：
Step1：将红外和可见光图像的联合表示作为输入，其计算公式为：
Smatch＝Ws(δ(Wh(VJR)+bh)+bs
Step2:step1中的公式δ(.)是非线性激活函数sigmoid或者ReLU函数；
Step3：Wh和bs用于映射VJR到隐藏层的表示；
Step4：Ws和bs用于计算可见和红外图像之间的匹配分数；
5)深度信念网络的激活函数为sigmoid或者ReLU函数,类别层为线性节点，它们的激活函数为soft-max函数；
6)将混合神经网络之间的特征层和类别层之间作全连接，组合成联合层，自动生成对应的图像块，网络中通过正向传播计算网络中所有节点的状态值,具体做法如下：
Step1：包括假设损失函数Γ(P)：
Step2：式中Xijc表示类别层输出的图像类别，q为联合层网络输出值，其中余弦值即通过向量之间的角度反应向量的相似性。
Step3：式中β为相关率，通常取一个很小的常数，通常为0.001。
7)混合卷积神经网络中初始化权值，隐藏层和可见层之间为全连接，使用能量函数来保持参数稳定性，具体如下：
Step1：可见层节点之间没有连接，可见层节点v∈{0，1}D，隐藏层节点，h∈{0，1}P，隐藏层与可见层节点之间的联合组态{v，h}具有联合能量；
Step2：使用的联合能量公式如下：
E(v，h；θ)＝-∑bivi-∑bjvj-∑bjvjwij
Step3：设置式中模型参数为θ＝{w，b}，vi和hj分别是可见层节点i与隐藏层节点j的二值状态，bi以及bj分别对应可见层与隐藏层之间的偏置，wij是他们之间的连接权值；
8)通过使用损失函数调节网络连接参数，其中使用的是反向传播损失函数，其实施过程如下；
Step1：使用反向传播损失函数，如下：
Step2：式中Xijc表示类别层输出的图像类别，q为联合层网络输出值；
Step3：余弦值即通过向量之间的角度反映向量的相似性；
Step4：β为相关率，取一个很小的常数，取0-1；
9)采用随机梯度下降方法最小化损失函数，具体如下：
Step1:选择一个参数的组合(00，01，…，0n)；
Step2：使参数组合计算代价函数；
Step3：寻找下一个能让代价函数下降最多的参数组合；
Step4：循环Step 1，Step 2，Step 3步，直到得到一个局部最小值。
(2)对训练和测试图像进行预处理，其具体分步骤如下：
1)将图片进行增强处理，使图像拉伸、旋转、尺度、对比度变换，其实施过程如下：
Step1：对图像进行随机旋转，每一次旋转角度为10度；
Step2：对图像的整理强度进行随机拉伸，拉伸的幅度为20％；
Step3：再对图像进行切错变换，变换的幅度为10％，最后改变整体亮度；
2)对多幅大小不一致的图像，采取归一化处理为256×256的图像，得到“新”数据。
(3)使用可见光和红外光图像训练混合神经网络模型，具体分步骤如下：
1)将预处理好的基本单元采用栈式自编码神经网络(SAE)思想堆叠起来构建混合神经网络，其实施方式为：
Step1：在第一层选择参数合适的卷积层，对混合神经网络第一层输入信息进行提取信息；
Step2：在第二层选择合适的下采样层，对混合神经网络第二层信息进行限制；
Step3：对混合神经网络第三层通过使用全连接层将前两层获取的信息进行重新组合；
Step4：采用深度信念网络将特征进行特征分类匹配，采用公式为：
Smatch＝Ws(δ(Wh(VJR)+bh)+bs
Step5：将红外和可见光图像的联合表示输入到step4的公式中；
Step6：step4公式中，δ(·)是非线性激活函数sigmoid或者ReLU函数，Wh和bs用于映射VJR到隐藏层的表示，Ws和bs用于计算可见和红外图像之间的匹配分数；
Step7：类别层为线性节点，它们的激活函数为soft-max函数；
Step8：混合神经网络中除类别层外的任意两层结构组成一个可见层与隐藏层，隐藏层和可见层之间为全连接；
Step9：可见层节点之间没有连接可见层节点v∈{0，1}D，隐藏层节点，h∈{0，1}P，隐藏层与可见层节点之间的联合组态{v，h}具有联合能量：
E(v,h；θ)＝-∑bivi-∑bjvj-∑bjvjwij
Step10：step10公式中，模型参数为θ＝{w，b}，vi和hj分别是可见层节点i与隐藏层节点j的二值状态，bi以及bj分别对应可见层与隐藏层之间的偏置，wij是他们之间的连接权值；
Step11：将混合神经网络之间的特征层和类别层之间作全连接，组合成联合层，自动生成对应的图像块，网络中通过正向传播计算网络中所有节点的状态值；
Step12：通过正向传播计算网络中所有节点的状态值，包括假设损失函数Γ(P)：
Step13：step13公式中，Xijc表示类别层输出的图像类别，q为联合层网络输出值，其中余弦值即通过向量之间的角度反应向量的相似性。β为相关率，通常取一个很小的常数，通常为0.001。
Step14：训练好的基本单元采用栈式自编码神经网络(SAE)思想堆叠起来构建混合神经网络。
2)将原始可见光图像和红外光图像数据集进行预处理，其实施方式为；
Step1：对图像进行随机旋转，每一次旋转角度为10度；
Step2：对图像的整理强度进行随机拉伸，拉伸的幅度为20％；
Step3：再对图像进行切错变换，变换的幅度为10％；最后改变整体亮度；
3)将预处理得到的图像输入到分步骤1)中，采用反向传播算法训练基本单元，通过使用损失函数调节网络连接参数，反向传播损失函数如下：
式中，Xijc表示类别层输出的图像类别，q为联合层网络输出值；余弦值即通过向量之间的角度反映向量的相似，β为相关率，取一个很小的常数，取0-1；
4)将训练好的基本单元堆叠起来构成混合神经网络，利用end-to-end的方式微调整个网络的参数。
(4)测试混合神经网络模型，得到最后的融合图像，其具体分步骤如下：
1)将原始可见图像和红外光图像大部分为训练集，小部分为测试集，随机抽取10张；
2)将抽取图片采用增强图像的方法进行预处理；
3)将预处理后的图像放入构造的混合神经网络中训练；
4)把构造好的混合神经网络中特征图像通过这个混合网络之后按图像融合规则进行融合；图像融合规则优选像素融合规则；
5)将融合结果放入混合神经网络模型中重构，得到最终的融合图像。
以上结合附图对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。