一种针对弱光图像增强的结构-纹理感知方法

文档序号:24824554发布日期:2021-04-27 15:37阅读:来源:国知局

技术特征:
1.一种针对弱光图像增强的结构

纹理感知方法,其特征在于,包括如下步骤:步骤s1:准备训练数据集,从lol数据集和dped数据集中提取弱光/正常图像对作为训练集,其中弱光图像作为输入图像,与之对应的正常图像作为标签图像;步骤s2:建立网络模型,利用轮廓图引导滤波器得到输入图像的结构图,再将输入图像减去结构图得到纹理图,将得到的结构图和纹理图分别输入结构关注子网和纹理关注子网,得到对应的结构特征矩阵和纹理特征矩阵,二者进行级联操作得到既包含结构特征又包含纹理特征的级联矩阵,将级联矩阵输入空间关注模块和通道关注模块得到经过模块处理后的总的特征矩阵,最后对总的特征矩阵进行四层卷积操作再与输入的原始弱光图像进行残差操作得到增强后的图像;步骤s3:训练网络模型,将步骤s1中得到的数据集按照批量尺寸组合一起作为输入,设置网络模型的初始学习率,学习率衰减率,训练次数,设置权值初始化方式,设置网络模型的损失函数,利用混和损失函数采用adam优化器对网络参数进行优化;步骤s4:图像增强,将弱光场景下拍摄的图像输入构建好的网络模型,加载预训练好的网络参数,进行图像增强处理,得到增强后的图像。2.根据权利要求1所述的一种针对弱光图像增强的结构

纹理感知方法,其特征在于,所述步骤2中网络模型包括特征分解模块和结构

纹理关注模块;所述特征分解模块的输入是弱光图像和对应的轮廓图,输出是利用导向滤波器得到弱光图像的全局结构特征图和局部纹理图,其中轮廓图利用指数局部均方差(emlv)求得;所述结构

纹理关注模块利用结构子网、纹理子网和融合网络先分别提取全局结构和局部纹理的特征矩阵再通过融合网络利用全局结构和局部纹理的内在联系得到增强的图像。3.根据权利要求2所述的一种针对弱光图像增强的结构—纹理感知方法,其特征在于:所述特征分解模块:先利用局部均方差得到弱光图像的轮廓图,指数局部均方差公式如式1所示,其中ω表示r的每个像素点周围3
×
3的窗口,表示r的梯度,γ表示指数参数,将弱光图像和得到的轮廓图输入导向滤波器,得到全局结构图,弱光图像减去结构图得到对应的纹理图,模块的处理过程用式2和式3表示,其中g表示导向滤波器,r表示弱光图像,c表示对应的轮廓图,s表示对应的结构图,t表示对应的纹理图:s=g(r,c)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)t=r

s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3) 。4.根据权利要求2所述的一种针对弱光图像增强的结构

纹理感知方法,其特征在于:所述结构

纹理关注模块:先采用两个并行的结构关注子网和纹理关注子网分别从结构图和纹理图中提取结构信息和纹理信息,其中结构图将首先通过一个1
×
1的卷积来挑选通道特征再经过一个20层的卷积网络提取特征信息,每层卷积的通道数都为64,而纹理图将通过一个不含下采样操作的7层卷积网络提取纹理特征信息,每层的通道数都为64,最后将得到的结构特征和纹理特征输入融合网络。5.根据权利要求4所述的一种针对弱光图像增强的结构

纹理感知方法,其特征在于:
在融合网络中包含空间关注模块和通道关注模块两个部分,其中空间关注模块利用全局平均池化和最大池化来提取两张空间层面的表示图,对两张表示图进行一层7
×
7的卷积运算得到一张包含总的空间信息的特征图,通道关注模块则利用压缩操作和激励操作来提取空间特征和纹理特征的内在联系,最后通过一个级联卷积层将得到的空间标签和通道标签合并再利用一个残差网络得到增强后的图像。6.根据权利要求4所述的一种针对弱光图像增强的结构

纹理感知方法,其特征在于:所述结构—纹理关注模块的处理流程为式4,其中e
n
表示结构关注子网,x
n
表示纹理关注子网,f表示融合网络,o表示增强后的图像:o=f(e
n
(s),x
n
(t))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4) 。7.根据权利要求4所述的一种针对弱光图像增强的结构

纹理感知方法,其特征在于:所述步骤3利用混和损失函数采用adam优化器对网络参数进行优化具体包括:损失函数:使用混合损失函数,该函数结合了均方差损失、梯度损失、结构相似性损失和颜色损失,网络的混合损失量计算如下:l
total
=λ1l
mse
+λ2l
tv
+λ3l
ssim
+λ4l
color
ꢀꢀꢀꢀꢀ
(5)其中l
mse
、l
tv
、l
ssim
和l
color
分别表示均方差损失、梯度损失、结构相似性损失和颜色损失;λ1、λ2、λ3和λ4分别是四类损失的权重;均方差损失用来衡量增强后的图像和标签图像之间的总体内容相似性,给定n个训练图像,均方差损失写成如下形式,其中h(r)表示增强后的图像,i表示与之相对应的标签图像:梯度损失用来衡量增强后的图像和标签图像之间的梯度相似性,给定n个训练图像,梯度损失写成如下形式,其中表示梯度算子:结构相似性损失用来衡量增强后的图像与标签图像视觉效果差异,给定n个训练图像,结构相似性损失写成如下形式,其中ssim表示图像结构相似性计算:结构相似性计算公式写成如下形式:其中μ
h(r)
和μ
i
分别代表图像h(r)和i的均值,σ
h(r)2
和σ
i2
分别代表图像h(r)和i的方差,σ
h(r)i
代表图像h(r)和i之间的协方差,c1和c2为常数;颜色损失解决图像增强后的色彩失真问题,给定n个训练图像。颜色损失写成如下形式,其中max(.)表示从rgb三个通道中取最大值,min(.)表示从rgb三个通道中取最小值:

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1