基于多级对偶反馈的单张图片重构HDR方法

文档序号:26496350发布日期:2021-09-04 00:09阅读:来源:国知局

技术特征:
1.基于多级对偶反馈的单张图片重构hdr方法,其特征在于,包括以下步骤:s1、输入ldr图像;s2、利用反量化网络对输入ldr图像进行特征提取,并重构出反量化图像;对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;s3、使用残差网络提取出反量化图像的icrf映射曲线,对反量化图像进行icrf映射处理得到线性图像,同时使用相同的网络学习crf映射作为对偶反馈结构;s4、利用掩码将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络,获得hdr图像,对hdr图像进行分层截断获得截断图像,利用截断图像计算截断损失,反馈给截断信息恢复网络;s5、使用多尺度感受野特征提取模块和注意力机制对hdr图像进行整体调整,得到调优hdr图像。2.根据权利要求1所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述步骤s2具体实现方法为:采用反量化网络的下采样模块对输入ldr图像进行特征提取,并上采样重构出反量化图像,对反量化图像进行量化操作获得对偶量化图像,利用对偶量化图像计算量化损失,反馈给反量化网络;所述反量化网络为自编码器;所述量化操作用于检查反量化网络带来的噪声,以此来约束反量化网络的恢复过程,操作公式如下:其中,x表示反量化图像;y表示对偶量化图像。3.根据权利要求1所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述步骤s3具体实现方法为:计算反量化图像的边缘信息和直方图信息,将边缘信息和直方图信息一起输入至icrf映射曲线提取网络,获得icrf映射曲线;然后使用icrf映射曲线对反量化图像进行映射操作获得线性图像,对线性图像使用crf映射曲线提取网络进行映射获得对偶非线性图像,利用非线性图像计算映射损失,反馈给icrf映射曲线提取网络;所述边缘信息通过sobel滤波器进行计算;所述icrf映射曲线提取网络包括多个残差模块和一个全连接层,用于提取k个基向量系数,再将k个基向量系数带入emor模型获得icrf映射曲线;emor模型使用基向量系数计算出icrf映射曲线,计算公式如下:其中,g
icrf
表示icrf映射曲线;g0表示icrf均值曲线,来自于icrf曲线库;h=[h1,h2,...,h
k
]表示icrf映射曲线的k个基向量;表示k个基向量系数;所述crf映射曲线提取网络的作用是为了根据图像内容计算crf映射曲线,对线性图像进行映射来辅助icrf映射曲线提取网络的求解,网络结构与icrf映射曲线提取网络完全相同。4.根据权利要求1所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述步骤s4具体实现方法为:将图像像素值超过判别阈值的区域判定为过曝区域,否则为其他区域;并以掩码的方式对图像进行处理,掩码计算公式如下:
mask=max(0,x

α)/(1

α)其中,mask表示掩码;x表示输入图像像素值;α=0.95表示过曝区域的判别阈值;所述截断信息恢复网络为由多个下采样和上采样组成的自编码器,用于恢复图像丢失的信息;所述分层截断操作通过引导滤波器对hdr图像进行分层,将图像分为基础层和细节层;然后对基础层进行截断操作获得截断的基础层,再使用截断的基础层和细节层重构得到截断图像,具体计算公式为:x
base
=filter(x)x
detail
=x/x
base
x
clip_base
=min(1,x
base
)y=x
clip_base
×
x
detail
其中,x表示hdr图像,filter表示引导滤波器,x
base
表示基础层,x
detail
表示细节层,x
clip_base
表示截断的基础层,y表示截断图像。5.根据权利要求1所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述步骤s5包括以下子步骤:s51、对输入网络的图像使用卷积操作进行初步特征提取,获得16通道的初步特征图,随后输入到连续4个多尺度感受野特征提取模块中进行特征提取,获得多尺度特征图;s52、将多尺度特征图输入至多尺度通道注意力模块,获得调整后的特征图;s53、将调整后的特征图经过4层上采样进行图像的重建,最后经过一个3x3的卷积层完成图像的重建,获得调整后的hdr图像。6.根据权利要求5所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层和三个尺度的特征提取通道,输入的特征图先经过平均池化层减小尺寸,然后分别输入基础卷积层1和三个尺度的特征提取通道,经过基础卷积层1获得原始特征图,经过三个尺度的特征提取通道获得三个尺度的特征图;再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图;最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图;其中,两个基础卷积层为1x1的卷积层,并包含激活函数,激活函数为relu;三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道;尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层,每个卷积层均包含激活函数,激活函数为relu;尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层,每个卷积层均包含激活函数,激活函数为relu;尺度为5的特征提取通道包含一个1x1的卷积层、三个3x3的卷积层,每个卷积层均包含激活函数,激活函数为relu。7.根据权利要求5所述的基于多级对偶反馈的单张图片重构hdr方法,其特征在于,所述步骤s52具体实现方法为:将输入特征图先使用3x3的卷积层进行初步特征提取,激活函数为relu;然后经过1x1的卷积层,步长为2,进一步获取特征图;将得到的特征图分别输入至三个不同尺度的卷积层进行多尺度的特征提取,三个尺度分别为3x3、5x5和7x7;将多尺度的特征提取获得的特征图相加,输入至全局池化层,利用全局池化层将全局信息压缩成一个通道描述符,生成通道统计信息,实现通道描述;紧接着使用两个全连接层获得各通道
权重系数,用两个全连接层来判别各通道的重要性,实现通道注意力,第一个全连接层使用relu激活,第二个全连接层使用sigmoid激活;将各通道权重系数与多尺度特征图相乘,输入至1x1的卷积层,再通过一个双线性插值法实现上采样操作还原特征图尺寸,获得通道调整过的特征图;最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中,激活函数为relu,获得调整后的特征图。

技术总结
本发明公开了一种基于多级对偶反馈的单张图片重构HDR方法,包括以下步骤:S1、输入LDR图像;S2、利用反量化网络重构出反量化图像;对反量化图像进行量化操作获得对偶量化图像;S3、对反量化图像进行ICRF映射处理得到线性图像,使用相同的网络学习CRF映射作为对偶反馈结构;S4、将线性图像分为过曝区域和其它区域,将过曝区域输入至截断信息恢复网络获得HDR图像,对HDR图像进行分层截断获,利用截断图像计算截断损失,反馈给截断信息恢复网络;S5、使用多尺度感受野特征提取模块和注意力机制对HDR图像进行整体调整。本发明为每个过程增加一个对偶网络形成反馈,能够约束重构方向,提升重构效果,提高模型学习能力,增强重构图像的真实性。实性。实性。


技术研发人员:叶茂 佘蕾 朱策
受保护的技术使用者:电子科技大学
技术研发日:2021.06.02
技术公布日:2021/9/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1