基于多级对偶反馈的单张图片重构HDR方法

基于多级对偶反馈的单张图片重构hdr方法
技术领域
1.本发明属于图像处理技术领域，特别涉及一种基于多级对偶反馈的单张图片重构hdr方法。


背景技术：

2.自然场景中光照亮度是十分宽广的，明暗跨度很大，呈现出了许多视觉细节。而目前受限于硬件设备的不足，导致人们只能获取部分范围亮度的照片，也就是常见的ldr图像，ldr图像虽然基本反映了真实场景中的大部分信息和细节，但是仍然存在不少的损失。近年来，随着通信与显示设备软硬件的发展，人们对于更加真实的hdr影像资料需求日益增加。在电影拍照方面，可以hdr影像可以表现更加真实的场景；在医学诊断方面，hdr影像可以提供更多的细节，让医生判断疾病更加精准；在计算机视觉研究方面，hdr影像可以提供更多细节信息，提高各种任务精度。因此，重构hdr技术作为一种底层的图像处理方法，可以为后续各种高层的研究提供支持帮助。
3.目前有许多关于重构hdr的网络，在处理各种各样的场景、物体方面都有了明显的提升，但是这些网络大多都是根据图像内容来进行恢复，而没有考虑图像形成的实际过程中各种损失变换，同时还默认ldr图像与hdr图像的对应关系以一一对应的关系来处理，而实际过程中是一种多对多的关系，导致了目前单张图像重构hdr技术效果不是很好，不稳定。除此之外，现在方法都受限于成对数据集的不足，学习样本不足，导致学习能力受限。
4.公开号为cn106603941a的发明专利申请公开了一种计算复杂度自适应的hdr图像转换方法及其系统，计算复杂度自适应的hdr图像转换方法主要包含以下步骤：(1)获取输入ldr图像；(2)在hdr图像数据库中，选择一个或多个与所述输入ldr图像匹配的hdr图像作为备选图像；(3)根据所述备选图像与所述输入ldr图像之间的空间一致性变换所述备选图像；(4)将输入ldr图像分解成亮度分量和纹理分量；(5)根据所述已变换的备选图像，分别重构所述亮度分量和所述纹理分量；(6)整合所述重构的亮度分量和所述重构纹理分量用于生成输出hdr图像。该专利申请通过匹配hdr图片后，再进行变换拓展，恢复过曝区域的亮度信息，将输入图片转换为hdr图片。然而在实际的场景中，场景中的亮度范围特别的大，而且拍摄得到的ldr图片可能是欠曝、过曝或者正常曝光，与hdr图片的对应关系是一种多对多的关系，导致需要十分巨大的hdr数据库和泛化性足够强的匹配算法，会使得对于不同的图片恢复效果差异巨大，恢复结果不稳定。
5.公开号为cn107895350a的专利申请公开了一种基于自适应双伽玛变换的hdr图像生成方法，包含以下步骤：步骤1、基于图像统计特性双伽玛变换值的获取，计算输入的ldr原始图像双伽玛变换值；步骤2、对输入图像进行伽玛变换；步骤3、将两幅生成的图像进行曝光融合。与现有技术相比，本发明可以在很小的线路电流情况下快速重新闭锁换流器，有效避免了重合闸对系统造成的二次过流冲击，具有低电流危害的积极效果。与现有技术相比，本发明提出了一个简化的由输入ldr图像转化为具有hdr效果的图像算法，实现过程简单，复杂度低；并且摆脱了对人为调试参数的依赖，可以自适应的针对不同输入图像进行计
算得出相应的变换参数，使这一过程更为智能化。
6.该申请通过分析图片计算两个伽马变换值，然后进行变化得到两幅图，最后融合两幅图得到hdr图像。在实际拍摄生成ldr图像的过程中，是有动态范围信息缺失的，该专利只是单纯地调整了已有信息的权重，以此来改变视觉效果，而没有恢复出丢失信息，导致重构的hdr图像信息有限，真实度不高。


技术实现要素：

7.本发明的目的在于克服现有技术的不足，提供一种在模拟相机成像的各个过程中，引入多级对偶反馈技术，为每个过程增加一个对偶网络形成反馈，能够约束重构方向，提升重构效果的基于多级对偶反馈的单张图片重构hdr方法。
8.本发明的目的是通过以下技术方案来实现的：基于多级对偶反馈的单张图片重构hdr方法，包括以下步骤：
9.s1、输入ldr图像；
10.s2、利用反量化网络对输入ldr图像进行特征提取，并重构出反量化图像；对反量化图像进行量化操作获得对偶量化图像，利用对偶量化图像计算量化损失，反馈给反量化网络；
11.s3、使用残差网络提取出反量化图像的icrf映射曲线，对反量化图像进行icrf映射处理得到线性图像，同时使用相同的网络学习crf映射作为对偶反馈结构；
12.s4、利用掩码将线性图像分为过曝区域和其它区域，将过曝区域输入至截断信息恢复网络，获得hdr图像，对hdr图像进行分层截断获得截断图像，利用截断图像计算截断损失，反馈给截断信息恢复网络；
13.s5、使用多尺度感受野特征提取模块和注意力机制对hdr图像进行整体调整，得到调优hdr图像。
14.进一步地，所述步骤s2具体实现方法为：采用反量化网络的下采样模块对输入ldr图像进行特征提取，并上采样重构出反量化图像，对反量化图像进行量化操作获得对偶量化图像，利用对偶量化图像计算量化损失，反馈给反量化网络；所述反量化网络为自编码器；所述量化操作用于检查反量化网络带来的噪声，以此来约束反量化网络的恢复过程，操作公式如下：
[0015][0016]
其中，x表示反量化图像；y表示对偶量化图像。
[0017]
进一步地，所述步骤s3具体实现方法为：计算反量化图像的边缘信息和直方图信息，将边缘信息和直方图信息一起输入至icrf映射曲线提取网络，获得icrf映射曲线；然后使用icrf映射曲线对反量化图像进行映射操作获得线性图像，对线性图像使用crf映射曲线提取网络进行映射获得对偶非线性图像，利用非线性图像计算映射损失，反馈给icrf映射曲线提取网络；
[0018]
所述边缘信息通过sobel滤波器进行计算；
[0019]
所述icrf映射曲线提取网络包括多个残差模块和一个全连接层，用于提取k个基向量系数，再将k个基向量系数带入emor模型获得icrf映射曲线；emor模型用k个基向量表示icrf曲线空间，emor模型使用基向量系数计算出icrf映射曲线，计算公式如下：
[0020][0021]
其中，g
icrf
表示icrf映射曲线；g0表示icrf均值曲线，来自于icrf曲线库；h＝[h1,h2,...,h
k
]表示icrf映射曲线的k个基向量；表示k个基向量系数；
[0022]
所述crf映射曲线提取网络的作用是为了根据图像内容计算crf映射曲线，对线性图像进行映射来辅助icrf映射曲线提取网络的求解，网络结构与icrf映射曲线提取网络完全相同。
[0023]
进一步地，所述步骤s4具体实现方法为：将图像像素值超过判别阈值的区域判定为过曝区域，否则为其他区域；并以掩码的方式对图像进行处理，掩码计算公式如下：
[0024]
mask＝max(0,x
‑
α)/(1
‑
α)
[0025]
其中，mask表示掩码；x表示输入图像像素值；α＝0.95表示过曝区域的判别阈值；
[0026]
所述截断信息恢复网络为由多个下采样和上采样组成的自编码器，用于恢复图像丢失的信息；
[0027]
所述分层截断操作通过引导滤波器对hdr图像进行分层，将图像分为基础层和细节层；然后对基础层进行截断操作获得截断的基础层，再使用截断的基础层和细节层重构得到截断图像，具体计算公式为：
[0028]
x
base
＝filter(x)
[0029]
x
detail
＝x/x
base
[0030]
x
clip_base
＝min(1,x
base
)
[0031]
y＝x
clip_base
×
x
detail
[0032]
其中，x表示hdr图像，filter表示引导滤波器，x
base
表示基础层，x
detail
表示细节层，x
clip_base
表示截断的基础层，y表示截断图像。
[0033]
进一步地，所述步骤s5包括以下子步骤：
[0034]
s51、对输入网络的图像使用卷积操作进行初步特征提取，获得16通道的初步特征图，随后输入到连续4个多尺度感受野特征提取模块中进行特征提取，获得多尺度特征图；
[0035]
s52、将多尺度特征图输入至多尺度通道注意力模块，获得调整后的特征图；
[0036]
s53、将调整后的特征图经过4层上采样进行图像的重建，最后经过一个3x3的卷积层完成图像的重建，获得调整后的hdr图像。
[0037]
进一步地，所述多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层和三个尺度的特征提取通道，输入的特征图先经过平均池化层减小尺寸，然后分别输入基础卷积层1和三个尺度的特征提取通道，经过基础卷积层1获得原始特征图，经过三个尺度的特征提取通道获得三个尺度的特征图；再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图；最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图；
[0038]
其中，两个基础卷积层为1x1的卷积层，并包含激活函数，激活函数为relu；
[0039]
三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道；尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层，每个卷积层均包含激活函数，激活函数为relu；尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层，每个卷积层均包含激活函数，激活函数为relu；尺度为5的特
征提取通道包含一个1x1的卷积层、三个3x3的卷积层，每个卷积层均包含激活函数，激活函数为relu。
[0040]
进一步地，所述步骤s52具体实现方法为：将输入特征图先使用3x3的卷积层进行初步特征提取，激活函数为relu；然后经过1x1的卷积层，步长为2，进一步获取特征图；将得到的特征图分别输入至三个不同尺度的卷积层进行多尺度的特征提取，三个尺度分别为3x3、5x5和7x7；将多尺度的特征提取获得的特征图相加，输入至全局池化层，利用全局池化层将全局信息压缩成一个通道描述符，生成通道统计信息，实现通道描述；紧接着使用两个全连接层获得各通道权重系数，用两个全连接层来判别各通道的重要性，实现通道注意力，第一个全连接层使用relu激活，第二个全连接层使用sigmoid激活；将各通道权重系数与多尺度特征图相乘，输入至1x1的卷积层，再通过一个双线性插值法实现上采样操作还原特征图尺寸，获得通道调整过的特征图；最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中，激活函数为relu，获得调整后的特征图。
[0041]
本发明的有益效果是：本发明在模拟相机成像的各个过程中，引入多级对偶反馈技术，为每个过程增加一个对偶网络形成反馈，即构建网络模拟反量化、icrf映射、截断信息恢复等操作，能够约束重构方向，提升重构效果。突破了以往学习样本的限制，提高了模型学习能力，增强了重构图像的真实性。
附图说明
[0042]
图1为本发明的单张图片重构hdr方法的流程图；
[0043]
图2为本发明的反量化网络结构示意图；
[0044]
图3为反量化网络中下采样模块和上采样模块结构图；
[0045]
图4为本发明icrf映射曲线提取网络结构示意图；
[0046]
图5为icrf映射曲线提取网络中残差模块结构示意图；
[0047]
图6为分层截断操作示意图；
[0048]
图7为本发明的整体调优网络；
[0049]
图8为多尺度感受野特征提取模块的结构图；
[0050]
图9为多尺度通道注意力模块的结构图；
[0051]
图10～图12为利用本发明的方法进行重构的结果图。
具体实施方式
[0052]
在相机拍摄照片，逐步生成ldr图像的过程中，依次经过了截断、非线性映射(crf映射，crf原本是指相机相应函数，指的是相机成像过程中会使用该函数将图像的像素值进行一次非线性的映射，以此来获得更加的观感质量，因此该过程可称为crf映射，而crf映射过程是一种非线性映射通常又被称为成像过程中的一次非线性映射。icrf映射是指对于crf映射的一种逆过程)和量化等操作，导致ldr图像与hdr图像的对应关系是多对多的关系。因此通过模拟学习相机成像的逆过程，就能获得hdr图像。本发明便是基于以上思路，采用多级对偶反馈技术，即构建网络模拟反量化、icrf映射、截断信息恢复等操作，同时为每个操作增加对偶结构，构成多级反馈网络。下面结合附图进一步说明本发明的技术方案。
[0053]
如图1所示，本发明的一种基于多级对偶反馈的单张图片重构hdr方法，包括以下
步骤：
[0054]
s1、输入ldr图像；
[0055]
s2、利用反量化网络对输入ldr图像进行特征提取，并重构出反量化图像，过滤掉量化操作带来的噪声，恢复出丢失的信息得到反量化图像；同时对反量化图像进行量化操作获得对偶量化图像，利用对偶量化图像计算量化损失，反馈给反量化网络，检查反量化图像是否产生新的噪声；
[0056]
具体实现方法为：采用反量化网络的下采样模块对输入ldr图像进行特征提取，并上采样重构出反量化图像，对反量化图像进行量化操作获得对偶量化图像，利用对偶量化图像计算量化损失，反馈给反量化网络；所述反量化网络为包括多个下采样模块和上采样模块的自编码器，其结构如图2所示，下采样模块的结构如图3(a)所示，上采样模块的结构如图3(b)所示，pool表示池化层，upsample表示上采样；所述量化操作用于检查反量化网络带来的噪声，以此来约束反量化网络的恢复过程，操作公式如下：
[0057][0058]
其中，x表示反量化图像；y表示对偶量化图像。
[0059]
s3、使用残差网络提取出反量化图像的icrf映射曲线，对反量化图像进行icrf映射处理得到线性图像，同时使用相同的网络学习crf映射作为对偶反馈结构；
[0060]
具体实现方法为：计算反量化图像的边缘信息和直方图信息，将边缘信息和直方图信息一起输入至icrf映射曲线提取网络，获得icrf映射曲线；然后使用icrf映射曲线对反量化图像进行映射操作获得线性图像，对线性图像使用crf映射曲线提取网络进行映射获得对偶非线性图像，利用非线性图像计算映射损失，反馈给icrf映射曲线提取网络；
[0061]
所述边缘信息通过sobel滤波器进行计算；
[0062]
所述icrf映射曲线提取网络包括多个残差模块和一个全连接层，如图4所示，残差模块的结构如图5所示；用于提取k个基向量系数，再将k个基向量系数带入emor模型获得icrf映射曲线；
[0063]
emor模型是一种已知的可用于计算分析icrf映射曲线的模型，emor模型用k个基向量表示icrf曲线空间，emor模型使用基向量系数计算出icrf映射曲线，计算公式如下：
[0064][0065]
其中，g
icrf
表示icrf映射曲线；g0表示icrf均值曲线，来自于icrf曲线库；h＝[h1,h2,...,h
k
]表示icrf映射曲线的k个基向量；表示k个基向量系数；
[0066]
所述crf映射曲线提取网络的作用是为了根据图像内容计算crf映射曲线，对线性图像进行映射来辅助icrf映射曲线提取网络的求解，网络结构与icrf映射曲线提取网络完全相同。
[0067]
s4、利用掩码将线性图像分为过曝区域和其它区域，将过曝区域输入至截断信息恢复网络，获得hdr图像，对hdr图像进行分层截断获得截断图像，利用截断图像计算截断损失，反馈给截断信息恢复网络；
[0068]
具体实现方法为：将图像像素值超过判别阈值的区域判定为过曝区域，否则为其他区域；并以掩码的方式对图像进行处理，掩码计算公式如下：
[0069]
mask＝max(0,x
‑
α)/(1
‑
α)
[0070]
其中，mask表示掩码；x表示输入图像像素值；α＝0.95表示过曝区域的判别阈值；
[0071]
所述截断信息恢复网络为由多个下采样和上采样组成的自编码器，用于恢复图像丢失的信息；
[0072]
所述分层截断操作通过引导滤波器对hdr图像进行分层，将图像分为基础层和细节层，如图6所示；然后对基础层进行截断操作获得截断的基础层，再使用截断的基础层和细节层重构得到截断图像，具体计算公式为：
[0073]
x
base
＝filter(x)
[0074]
x
detail
＝x/x
base
[0075]
x
clip_base
＝min(1,x
base
)
[0076]
y＝x
clip_base
×
x
detail
[0077]
其中，x表示hdr图像，filter表示引导滤波器，x
base
表示基础层，x
detail
表示细节层，x
clip_base
表示截断的基础层，y表示截断图像。
[0078]
s5、使用多尺度感受野特征提取模块和注意力机制对hdr图像进行整体调整，得到调优hdr图像，所述整体调优网络使用自编码器作为基础结构，在特征提取过程中引入多尺度感受野特征提取模块进行空间范围上的信息恢复；在特征提取完成之后，引入通道注意力机制，改变各通道之前的权重，完成对图像色域上的恢复。最后通过编码器的上采样重建出更加逼真的hdr图像，作为最终输出结果。整体调优网络如图7所示。
[0079]
包括以下子步骤：
[0080]
s51、对输入网络的图像使用卷积操作进行初步特征提取，获得16通道的初步特征图，随后输入到连续4个多尺度感受野特征提取模块中进行特征提取，获得多尺度特征图；
[0081]
多尺度感受野特征提取模块从空间上解决由于过曝区域动态范围拓展对周围区域带来的辐射式影响，如图8所示。多尺度感受野特征提取模块包含一个平均池化层、两个基础卷积层(分别为基础卷积层1和基础卷积层2)和三个尺度的特征提取通道，输入的特征图先经过平均池化层减小尺寸，然后分别输入基础卷积层1和三个尺度的特征提取通道，经过基础卷积层1获得原始特征图，经过三个尺度的特征提取通道获得三个尺度的特征图；再将三个尺度的特征图输入至基础卷积层2获得三尺度特征图；最后将三尺度特征图与原始特征图按像素相加获得了模块输出的多尺度特征图；
[0082]
其中，两个基础卷积层为1x1的卷积层，并包含激活函数，激活函数为relu；
[0083]
三个尺度的特征提取通道分为尺度为1的特征提取通道、尺度为3的特征提取通道和尺度为5的特征提取通道；尺度为1的特征提取通道包含一个1x1的卷积层和一个3x3的卷积层，每个卷积层均包含激活函数，激活函数为relu；尺度为3的特征提取通道包含一个1x1的卷积层和两个3x3的卷积层，每个卷积层均包含激活函数，激活函数为relu；尺度为5的特征提取通道包含一个1x1的卷积层、一个5x5的卷积层和一个3x3的卷积层，其中为了获得更大的感受野，本发明将5x5的卷积层用两个3x3的卷积层代替(即采用一个1x1的卷积层和三个3x3的卷积层)，每个卷积层均包含激活函数，激活函数为relu。
[0084]
s52、将多尺度特征图输入至多尺度通道注意力模块，获得调整后的特征图，多尺度通道注意力模块用于解决由于动态范围拓展，引起的色差问题，结构如图9所示；具体实现方法为：将输入特征图先使用3x3的卷积层进行初步特征提取，激活函数为relu；然后经过1x1的卷积层，步长为2，进一步获取特征图；将得到的特征图分别输入至三个不同尺度的
卷积层进行多尺度的特征提取，三个尺度分别为3x3、5x5和7x7；将多尺度的特征提取获得的特征图相加，输入至全局池化层，利用全局池化层将全局信息压缩成一个通道描述符，生成通道统计信息，实现通道描述；紧接着使用两个全连接层获得各通道权重系数，用两个全连接层来判别各通道的重要性，实现通道注意力，第一个全连接层使用relu激活，第二个全连接层使用sigmoid激活；将各通道权重系数与多尺度特征图相乘，输入至1x1的卷积层，再通过一个双线性插值法实现上采样操作还原特征图尺寸，获得通道调整过的特征图；最后将通道调整过的特征图与初步特征图按通道连接输入至1x1的卷积层中，激活函数为relu，获得调整后的特征图。
[0085]
s53、将调整后的特征图经过4层上采样进行图像的重建，每个上采样如图3(b)所示，包含一个双线性插值法实现上采样操作和两个3x3的卷积层，卷积层的激活函数为leakyrelu；最后经过一个3x3的卷积层完成图像的重建，获得调整后的hdr图像。
[0086]
图10～图12为利用本发明的方法进行重构的结果图，其中，图10(a)、图11(a)和图12(a)为输入图像，图10(b)、图11(b)和图12(b)为输入图像经过色调映射之后的图像。
[0087]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。