一种红外和可见光图像的融合方法与流程

文档序号:22557656发布日期:2020-10-17 03:09阅读:来源:国知局

技术特征:

1.一种红外和可见光图像的融合方法,其特征在于,包括以下步骤:

s1、获取训练数据集:采用混合l1-l0分解模型将网络输入图像s分解为基础层b和细节层s-b,作为训练数据集:

其中p表示像素点,n表示像素总数,表示沿i方向的偏导运算,λ1、λ2表示l1范数和l0范数的权值系数,第一项(sp-bp)2使得基础层在像素级别上趋近于源图像,第二项对基础层使用l1约束使得基础层可以保留较大梯度,因此基础层是分段光滑的,第三项对细节层使用l0范数约束强制细节层的小纹理梯度为零,同时保持主要结构梯度不变;

s2、构建自编码融合网络模型,具体为:

s11、自编码融合网络模型包括两个独立且结构相同的自编码器,分别定义为basenet和detailnet,自编码器的编码器由4层卷积层构成,卷积核大小都为(3,3),卷积核个数都为16,第一层卷积层后添加relu激活层,每层卷积层都和后面所有卷积层作级联;自编码器的解码器由4层卷积层构成,卷积核大小都为(3,3),卷积核个数依次为64、32、16和1,前三层卷积层后添加relu激活层;

s12、构建损失函数,将图像s分别送入basenet和detailnet,得到对应的输出利用步骤s11得到的b和s-b作为标签,计算网络输出与标签之间的像素损失:

其中分别代表自编码器的编码器和解码器,base和detail分别表示basenet和detailnet,mse表示均方误差;

相加重构得到并计算与源图像s之间的结构损失:

其中ssim表示结构相似度;利用像素损失和结构损失构建最终损失函数:

loss=losspixel+λlossssim

其中λ为结构损失的权值参数;

s3、采用训练数据集对构建的自编码融合网络模型进行训练,训练方法为通过反向传播算法最小化损失函数进行,获得训练好的自编码融合网络模型;

s4、将需要融合的红外和可见光图像送入训练好的自编码融合网络模型,即basenet和detailnet编码器,分别对basenet和detailnet提取的特征做特征融合,具体为:

s41、基础层特征融合,引入显著性检测得到红外图像的显著图sm,得到basenet的初步特征融合策略:

φm(x,y)=sm×φirm(x,y)+(1-sm)×φvism(x,y)

式中vis表示可见光图像,ir表示红外图像,其中即编码器输出特征图,m表示第m张特征图;

利用l1范数策略弥补显著性检测忽略的热辐射信息,修正basenet的特征融合策略;

l1范数融合策略:

其中表示图像i的特征权值,ci(x,y)=||φi1:m(x,y)||1、分别表示为表示图像各点的l1范数和各点l1范数的邻域均值,r为邻域半径;

修正后的融合策略:

s42、细节层特征融合,采用加权平均融合策略融合detailnet特征:

其中分别表示红外图像和可见光图像经detailnet编码器输出的特征图,m表示第m张特征图;

s5、将步骤s4得到的两层网络特征融合结果经各自的解码器解码后相加得到最终融合图像:


技术总结
本发明属于图像处理技术领域,具体涉及一种红外和可见光图像的融合方法。本发明提供的基于混合l1‑l0分解模型与自编码器的红外和可见光图像融合方法,使用混合l1‑l0分解模型将图像分解结果作为双层自编码网络的输出,使得双层自编码网络自备层分解能力。将图像特征分解到基础层特征和细节层特征,对不同层次定制不同的融合策略能够保有更多的纹理信息和热辐射信息。利用l1范数策略补偿显著性检测忽略的热辐射信息,提高了基础层融合的鲁棒性。网络采用端到端的方式简化训练过程,降低了模型复杂度。通过矩阵运算,降低了特征融合处理时耗,进而提升融合框架的响应速度。

技术研发人员:张萍;杨晓迪;张灵怡;豆亚萍;季晓天;费春
受保护的技术使用者:电子科技大学
技术研发日:2020.07.03
技术公布日:2020.10.16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1