基于金字塔结构空间特征变换的高动态范围成像网络方法

本发明属于hdr(高动态范围)成像领域，涉及基于金字塔结构空间特征变换和共享偏移量可形变卷积对齐的高动态范围图像成像网络(称psftdnet)的方法，尤其是使用多张不同曝光度的ldr(低动态范围)图像生成单张hdr图像的方向。

背景技术：

1、市面上大部分相机由于传感器能够感知的动态范围受限，无法拍摄hdr图像，进一步难以反映图像的全部细节。hdr图像技术的诞生便是为了解决ldr图像(ldr表示低动态范围图像，hdr表示高动态范围图像，ldr常见的格式有png，jpg等，比如一张8位图，rgb三个通道灰度值变化范围0-255，即8位图能表示256^3种颜色，看似很多，但实际上远不够来描述我们身处真实世界中的色彩。因此就需要hdr来描述，存储图像，能有更丰富的色彩细节，但hdr并不是一个固定的标准有的是12位，有的是16位等，常见的格式有hdr/exr/raw/tif等。一般我们会把ldr图像通道的值映射到0-1之间，最亮为1，而hdr最亮是可以超过1的)的局限，以达到更接近人眼观察到的成像效果。目前，最有效的生成hdr图像的方法是通过多张不同曝光度ldr图像合成一张hdr图像。在这个过程中，需要从输入的ldr图像中选定一张参考图像作为生成hdr图像的几何特征的参考。

2、这种方法在处理静态场景时有显著的效果，但在处理输入图像之间存在由于相机或物体运动而造成的不对齐(吻合)之处时，生成的结果中往往会出现类似鬼影的不自然的区块，俗称“鬼影”。解决“鬼影”问题的关键在于处理由于运动而造成的图片中未对齐的部分。一个普遍的想法是在图片输入之前进行对齐，目前已经提出了许多的对齐方法，但他们在处理复杂场景时仍存在缺陷。

技术实现思路

1、本发明目的及主要解决的问题：提出了一种更有效避免生成“鬼影”的hdr图像生成方法：基于金字塔结构空间特征变换和共享偏移量可形变卷积对齐的高动态范围图像成像网络(pyramid spatial feature transform and shared-offsets deformableconvolutional network，以下简称psftdnet)。其目的还在于解决大部分相机能捕捉的动态范围较小，导致图片中某些位置过度曝光或者欠缺曝光，细节损失的问题。克服普通相机传感器的局限，获得更加接近人眼观察到结果的图像。本发明主要是一种对输入的多张ldr图像进行处理生成hdr图像的方法。其包含的主要子网络是：1、共享偏移量的可形变卷积对齐网络(shared-offsets deformable alignment network)；2、基于psft的条件网络(psftbased condition network)；3、融合网络(merging network)。

2、本发明的技术方案是：基于金字塔结构空间特征变换的高动态范围成像网络(称psftdnet)方法，其特征是，基于如下三个子网络：1)共享偏移量的可形变卷积对齐网络(shared-offsets deformable alignment network)；2)基于金字塔结构空间特征变换psft的条件网络(psft based condition network，记为基于psft的条件网络)；3)基于可形变卷积残差密集块的融合网络(derdb based merging network，记为基于derdb的融合网络)；成像网络方法的流程是：1)利用gamma矫正(矫正参数为2.2)将输入图像的曝光度对齐(exposure-alignment)，即将不同曝光度的图像的曝光度调整到相同水平，再将曝光度对齐和曝光度未对齐的所有图像输入共享偏移量的可形变卷积对齐网络的两个卷积层得到初步图像特征；2)曝光度对齐的图像特征在共享偏移量的可形变卷积对齐网络中进行几何对齐，即对多个图像的几何特征做对齐处理，将在几何对齐过程中得到的偏移量同样应用于未曝光度对齐的ldr图像特征进行几何对齐；只通过gamma矫正对齐曝光度，并不检查对齐情况，实施例中仅由对齐网络进行处理，无对齐条件。3)将几何对齐后的曝光未对齐ldr图像特征输入基于psft的条件网络，得到优化特征；4)将所有得到的特征输入基于derdb的融合网络，得到最终hdr图像即高动态范围图像。

3、简要的，psftdnet的过程可以被表示为：

4、

5、其中,p表示对齐网络，s表示基于psft的条件网络，f(·)表示pfstdnet所代表的映射函数，θ表示网络中的参数。

6、进一步：对图像输入所述网络并在此网络中提取特征并进行特征层面对齐，所述网络为可形变卷积对齐网络的共享偏移量的可形变卷积对齐网络即对齐网络；对特征进行精化以充分利用图像之间补充信息的基于金字塔结构空间特征变换的条件网络、基于可形变卷积残差密集块的融合网络、对特征进行融合之前对齐特征后再精化特征的处理流程。

7、进一步，处理步骤为：

8、1-1)多张不同曝光ldr图像生成hdr图像的步骤如下：

9、由输入的不同曝光度ldr图像(记为l1,l2,l3)经过gamma矫正得到相应的曝光度对齐的图像(记为h1,h2,h3),其中gamma矫正的过程表示为：

10、

11、其中ti表示li的曝光时间，γ为gamma矫正中的参数，设定为2.2；

12、1-2)将图像输入共享偏移量的可形变卷积对齐网络(shared-offsetsdeformable alignment network)中提取特征并对齐；

13、将曝光未对齐但几何对齐的图像特征输入基于psft的条件网络(psft basedcondition network)得到精化后的特征；

14、1-3)将以上步骤得到的所有特征输入基于derdb的融合网络(derdb basedmerging network)得到最终生成的hdr图像；

15、1-4)由可形变卷积对齐网络中提取特征并对齐的步骤如下：

16、1-4-1)在对齐网络中，输入的{l1,l2,l3,h1,h2,h3}经过两层卷积得到相应的初步特征其中和分别表示从li和hi中提取的特征。

17、1-4-2)将输入金字塔结构的可形变卷积对齐网络得到对齐后的特征，并将在此过程中学习到的偏移量应用于对的对齐；

18、该过程表示为：

19、

20、

21、

22、其中δp表示学习到的偏移量，g(·)表示数个卷积层的映射，[·,·]表示连接操作，dconv表示可变形卷积操作，表示对齐后的特征；

23、1＝5)对特征进行精化，以充分利用图像之间补充信息的基于金字塔结构空间特征变换的条件网络、即基于psft的条件网络进行特征精化的步骤如下：

24、1-5-1)基于金字塔结构空间特征变换模块(psft模块)对特征下采样得到不同空间规模的图像特征；

25、1-5-2)对得到的不同规模的图像特征进行空间特征变换(sft)过程，sft过程表示为：

26、

27、

28、其中，(α,β)表示学习得到的仿射变换参数，表示卷积层的映射，⊙表示阿达玛乘积；

29、1-5-3)由各层的结果通过上采样得到最终精化的图像特征，该过程表示为：

30、

31、

32、

33、其中，cl表示在第l层的中间条件网络，(·)↑2表示以2为基数的上采样，h和p表示数个卷积层的映射，表示通过sft过程精化的第l层特征。

34、基于psft的条件网络是psftdnet的主要子网络，psftdnet由此得名，“曝光对齐即“曝光度对齐”，实施例中的对齐方式为gamma矫正，矫正参数2.2。只通过gamma矫正对齐曝光度，并不检查对齐情况，无对齐条件。

35、有益效果：通过不同曝光度的ldr图像生成更高质量的hdr图像，有效减少“鬼影”的生成。本发明的特点还在于：1、共享偏移量的可形变卷积对齐，对图像特征进行更好的对齐；2、利用于金字塔结构的空间特征变换，充分利用多尺度的图像信息；3、利用可形变卷积残差密集块(deformable residual dense block，记为derdb)，提升最终融合效果。