一种基于深度学习的HDR图像重建方法

一种基于深度学习的hdr图像重建方法
技术领域
1.本发明属于hdr图像重建领域，尤其是涉及一种基于深度学习的hdr图像重建方法。


背景技术：

2.随着超高清视频业务的逐渐开展，hdr 图像的需求逐渐增多，所以对hdr图像的获取也更加迫切。常规的 hdr 图像获取方法是利用 hdr 相机来捕捉 hdr 图像，而这种相机对普通用户来说还是比较昂贵，在日常生活中还无法实现普遍的使用。另一种常见的方法是使用某种算法将大量的 ldr 图像重建为 hdr 图像，这个过程大致有两种方法，可以直接由单张ldr图像重建hdr图像，也可以使用多张不同曝光的ldr图像进行hdr图像的重建。
3.多张不同曝光的ldr图像重建为hdr图像的实现方法一般是首先使用低动态范围图像采集设备，在目标场景使用不同的曝光参数进行拍摄，然后将不同曝光参数下获得的图像按照一定的方法进行融合，其中每一张低动态范围图像记录的信息对应着真实场景中不同动态范围区间的内容，这样可以用尽可能多的细节信息来重建hdr图像，这种hdr图像重建方式的首要问题是需要多张图像的对齐，而在实际拍摄过程中，相机的轻微抖动或是各种运动对象在拍摄过程中的位移，都会使得多曝光图像中景物的位置无法对齐，如果使用未对齐或对齐不佳的图像进行融合就会导致重建的hdr图像会出现伪影的问题。
4.而基于单帧图像的hdr图像生成也可以通过深度学习的方法来实现，一般使用深度学习方法对 ldr 图像饱和区域的细节信息进行增强或恢复，能够极大的还原出 ldr 图像对应的原始场景的光照，而现有的基于深度学习的hdr图像生成方法，存在以下问题：一是当ldr图像饱和区域的细节丢失较多时，基于深度学习的方法利用ldr图像直接重建hdr图像存在训练困难问题，不易恢复丢失的细节信息。二是普遍无法实现端到端的hdr 图像生成，hdr 图像重建效果不好。


技术实现要素：

5.有鉴于此，本发明旨在提出一种基于深度学习的hdr图像重建方法，具有强大的特征提取能力，实现了包含细节信息丰富的高质量hdr图像重建，并且实现了端到端的hdr 图像生成。
6.为达到上述目的，本发明的技术方案是这样实现的：一种基于深度学习的hdr图像重建方法，包括：步骤1：建立不同曝光时间ldr 图像生成网络：不同曝光时间ldr 图像生成网络包括并行排列的多个相同全卷积神经网络，对应生成不同曝光时间的ldr图像，使用损失函数分别优化多个全卷积神经网络后，保存优化后的不同曝光时间ldr 图像生成网络；步骤2：建立多曝光ldr 图像融合网络：多曝光ldr 图像融合网络包括多个按照曝光时间从低到高顺序并行排列的子网络，依次在每个子网络输入相邻曝光时间的两张ldr图像，两张ldr图像分别在这个子网络的两条相同分支上，先进行卷积处理，然后多次编码
器处理，随后多次解码器处理，最后输出相邻曝光时间的两张ldr图像融合后结果；所有子网络输出结果拼接在一起，经过卷积处理，得到重建的 hdr图像；使用损失函数对多曝光ldr 图像融合网络进行优化，保存优化后的多曝光ldr 图像融合网络；步骤3：把优化后的不同曝光时间ldr 图像生成网络与优化后的多曝光ldr 图像融合网络连接，不同曝光时间ldr 图像生成网络的输出是多曝光ldr 图像融合网络的输入，再使用联合训练损失函数微调整个网络，得到最终用于hdr图像重建的网络模型。
7.相对于现有技术，本发明所述的一种基于深度学习的hdr图像重建方法，具有以下优势：第一，本发明公开的一种基于深度学习的hdr图像重建方法，通过建立不同曝光时间ldr 图像生成网络以及多曝光ldr 图像融合网络，可以实现基于深度学习的高质量hdr图像重建，具有特征提取能力强、包含细节信息丰富的特点。
8.第二，本发明公开的一种基于深度学习的hdr图像重建方法，把优化后的不同曝光时间ldr 图像生成网络与优化后的多曝光ldr 图像融合网络连接，不同曝光时间ldr 图像生成网络的输出是多曝光ldr 图像融合网络的输入，使整个网络具有端到端的特点。
附图说明
9.构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
10.在附图中：图1为本发明实施例所述的一种基于深度学习的hdr图像重建方法建立不同曝光时间ldr 图像生成网络示意图；图2为本发明实施例所述的一种基于深度学习的hdr图像重建方法建立多曝光ldr 图像融合网络示意图。
具体实施方式
11.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
12.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
13.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
14.下面将参考附图并结合实施例来详细说明本发明。
15.如图1-2所示，一种基于深度学习的hdr图像重建方法，包括：步骤1：建立不同曝光时间ldr 图像生成网络：不同曝光时间ldr 图像生成网络包括并行排列的多个相同全卷积神经网络，对应生成不同曝光时间的ldr图像，使用损失函数分别优化多个全卷积神经网络后，保存优化后的不同曝光时间ldr 图像生成网络；在本实施例中，不同曝光时间ldr 图像生成网络包括四个并行排列的相同全卷积神经网络，输入正常曝光的ldr图像，分别生成曝光时间更长和曝光时间更短的ldr图像，包括输入图像在内，总共输出五个不同曝光的 ldr 图像，形成一组多曝光ldr图像。
16.步骤2：建立多曝光ldr 图像融合网络：多曝光ldr 图像融合网络包括多个按照曝光时间从低到高顺序并行排列的子网络，依次在每个子网络输入相邻曝光时间的两张ldr图像，两张ldr图像分别在这个子网络的两条相同分支上，先进行卷积处理，然后多次编码器处理，随后多次解码器处理，最后输出相邻曝光时间的两张ldr图像融合后结果；所有子网络输出结果拼接在一起，经过卷积处理，得到重建的 hdr图像；使用损失函数对多曝光ldr 图像融合网络进行优化，保存优化后的多曝光ldr 图像融合网络；在本实施例中，子网络的数量是四个。
17.步骤3：把优化后的不同曝光时间ldr 图像生成网络与优化后的多曝光ldr 图像融合网络连接，不同曝光时间ldr 图像生成网络的输出是多曝光ldr 图像融合网络的输入，再使用联合训练损失函数微调整个网络，得到最终用于hdr图像重建的网络模型。
18.如图1所示，在步骤1中，每个全卷积神经网络包括特征提取部分和重建部分；特征提取部分包括卷积神经网络，将每个卷积层的输出在最后一层进行拼接，用下式表示：其中，，i为输入的原始ldr图像，和分别为第1个卷积层的权重和偏置， 为第1个卷积层的输出，为第个卷积层的输出，和为第层卷积层的权重和偏置，为激活函数prelu，f为拼接后的特征图；如图1所示，在本实施例中，特征提取部分每个卷积层的参数为3*3*64。
19.重建部分由n个卷积层组成，将特征提取部分拼接后的特征图f作为重建部分的输入，经过n-1个卷积层的运算后与输入ldr图像i逐像素相加，再经过卷积计算，生成特定曝
光时间的ldr图像，具体过程表示如下：其中，，为从特征图f中提取的特征，表示和输入ldr图像i逐像素相加，、以及是权重，、以及是偏置。
20.如图1所示，在本实施例中，重建部分由四个卷积层组成，前两个卷积层的参数为3*3*64，后两个卷积层的参数为3*3*3。
21.如图2所示，在步骤2中，编码器处理包括：其中，，表示使用maxpooling方法对拼接后的进行下采样，表示第个交叉融合特征图，和表示编码器的进行下采样后的两个卷积层输出特征图，为激活函数prelu，以及， 以及分别表述权重和偏置；表示上一个编码器的最后卷积层输出特征图，如果没有上一个编码器，则是输入ldr图像进行卷积处理后的输出特征图；交叉融合特征图是对以及拼接后再卷积输出的特征图，包括：，是在子网络两条分支上的两个对应的
最大特征图；如果没有上一个编码器，则是子网络两条分支上的输入ldr图像进行卷积处理后的两个对应输出特征图的最大特征图；是子网络两条分支上的两个对应的平均特征输出图，如果没有上一个编码器，则是子网络两条分支上的输入ldr图像进行卷积处理后的两个对应输出特征图的平均特征输出图；是权重，是偏置。
22.如图2所示，在步骤2中，解码器处理包括：第一个解码器：其中，是相邻的编码器最后卷积层输出特征图；是由子网络两条分支上的两个对应的最大特征图以及平均特征输出图拼接后卷积输出的交叉融合特征图；其余解码器：其中，，表示使用bilinear方法对拼接后的进行上采样，是第个交叉融合特征图，表示上一个解码器的最后卷积层输出特征图；表示步骤2中对应的编码器的最后卷积层输出特征图；以及是解码器经过上采样后的两个卷积层输出特征图；以及、以及分别表述权重和偏置；在本实施例中，采用双线性插值的方法进行上采样。
23.交叉融合特征图是对以及拼接后再卷积输出的特征图，包括：
，是在子网络两条分支上的两个对应的最大特征图； 是子网络两条分支上的两个对应的平均特征输出图，是权重，是偏置；在步骤2中，是当j=15时，与子网络两条分支上的两个对应分别拼接后，在把两个拼接结果连接，最后再进行卷积后的输出。
24.如图2所示，在本实施例中，子网络两条分支上均是设有四个编码器和四个解码器。
25.在步骤1中，使用的损失函数如下：其中，m,n分别表示图像的宽和高，i,j表示像素点，表示由imagenet训练好的vgg19网络参数；是采用网络预测的ldr图像，是对应的参考ldr图像。
26.在步骤2，使用的损失函数如下：如下：如下：如下：是感知损失映射函数；是用于压缩图片的映射函数，在本实施例中，压缩量设置为5000；是使用网络预测的hdr图像，对应真实的hdr图像。
27.在步骤3中，联合训练损失函数如下：其中，，，是步骤1中第i个的全卷积神经网络的损失函数
。
28.在本实施例的实际应用中，使用最终得到的用于hdr图像重建的网络模型过程如下，首先输入原始的ldr 图像进入建立不同曝光时间ldr 图像生成网络，并行排列的四个相同全卷积神经网络，生产不同曝光时间的四张ldr图像，加上原始ldr 图像，得到五张不同曝光时间的ldr 图像组，进一步这五张不同曝光时间的ldr 图像组，按曝光时间从低到高的顺序，按第一张配合第二张、第二张配合第三张、第三张配合第四张以及第四张配合第五张的形式分别输入多曝光ldr 图像融合网络的四个子网络中，在每个子网中，两张相邻曝光时间ldr图像，分别经过交叉融合、多次编码器以及多次解码器，输出两张相邻曝光时间ldr图像的融合后结果，进一步把所有子网络输出结果拼接在一起，经过卷积处理，得到最终重建的 hdr图像。
29.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。