基于混合神经网络的可见光图像和红外光图像的融合方法与流程

技术特征：

1.一种基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，包括如下步骤：

（1）建立由基本单元堆叠而成的混合神经网络结构；

（2）对训练和测试图像进行预处理；

（3）使用可见光和红外光图像训练混合神经网络模型；

（4）测试混合神经网络模型，得到最后的融合图像。

2.根据权利要求1所述的基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，所述步骤（1）具体分步骤如下：

1）选择参数合适的卷积层，作为混合神经网络的第一层；

2）选择合适的下采样层，作为混合神经网络的第二层；

3）选择全连接层重新组合下采样层中得到特征；

4）采用深度信念网络作为分类层，将特征进行特征分类匹配；

5）深度信念网络的激活函数为sigmoid或者ReLU函数，类别层为线性节点，它们的激活函数为soft-max函数；

6）将混合神经网络之间的特征层和类别层之间作全连接，组合成联合层，自动生成对应的图像块，网络中通过正向传播计算网络中所有节点的状态值；

7）混合卷积神经网络中初始化权值，隐藏层和可见层之间为全连接，使用能量函数来保持参数稳定性；

8）通过使用损失函数调节网络连接参数，其中使用的是反向传播损失函数；

9）采用随机梯度下降方法最小化损失函数。

3.根据权利要求1或2所述的基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，所述步骤（2）具体分步骤如下：

1）将图片进行预处理，使图像拉伸、旋转、尺度、对比度变换，首先对图像进行随机旋转，每一次旋转角度为10度，然后对图像的整理强度进行随机拉伸，拉伸的幅度为20%，再对图像进行切错变换，变换的幅度为10%，最后改变整体亮度；

2）对多幅大小不一致的图像，采取归一化处理为256256的图像，得到“新”数据。

4.根据权利要求1或2所述的基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，所述步骤（3）具体分步骤如下：

1）将预处理好的基本单元堆叠起来构建混合神经网络；

2）将原始可见光图像和红外光图像进行预处理；

3)将预处理得到的图像输入到分步骤1）中，采用反向传播算法训练基本单元；

4)将训练好的基本单元堆叠起来构成混合神经网络，利用end-to-end的方式微调整个网络的参数。

5.根据权利要求1或2所述的基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，所述步骤（4）具体分步骤如下：

1）将原始可见图像和红外光图像大部分为训练集，小部分为测试集，随机抽取10张；

2）将抽取图片采用增强图像的方法进行预处理；

3）将预处理后的图像放入构造的混合神经网络中训练；

4）把构造好的混合神经网络中特征图像通过这个混合网络之后按图像融合规则进行融合；

5）将融合结果放入混合神经网络模型中重构，得到最终的融合图像。

6.根据权利要求5所述的基于混合神经网络的可见光图像和红外光图像的融合方法，其特征在于，分步骤4）中，所述图像融合规则为像素融合规则。