一种基于贝叶斯神经网络的HDR成像方法

本发明属于图像处理，具体涉及一种hdr成像方法。

背景技术：

1、高动态范围(hdr)成像的目标是从多次曝光的低动态范围(ldr)输入中估计潜在的高质量图像。直观上，存在对应于给定ldr输入的各种可能的hdr图像，这导致估计结果的不确定性。然而，大多数现有的hdr成像方法仅使用l1或l2损失来从各种可能的解决方案中提供一种可能的估计，无法对不确定性进行建模，因此缺乏高频细节。文献“一种改进金字塔的多曝光hdr图像生成方法，现代计算机，2020，vol 27(15)，pp 130-136”公开了一种基于改进金字塔的多曝光hdr图像生成方法。该方法针对当前rgb空间生成高动态图像出现色彩偏移和细节模糊等存在的成像问题，设计一种新的hdr成像系统。通过提取去噪多曝光ldr图像序列的显著特征，并根据图像的显著特征赋予不同的权重参数，将对比度、色彩饱和度、曝光亮度三个特征因子融合到改进金字塔模型中来完成hdr图像生成。文献所述方法是根据多曝光的ldr生成一种hdr图像，没有涉及生成不同hdr图像的不确定性，无法提供生成的hdr图像的可靠性。此外，无法对不确定性进行建模，缺乏高频细节信息。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于贝叶斯神经网络的hdr成像方法，首先将输入的不同曝光的ldr图像映射到线性域中；再连接不同曝光的ldr图像与线性域中的图像，并输入特征提取器，得到特征；然后经过卷积注意力模块与卷积层得到新的特征；最后经过特征融合模块得到hdr图像。本发明能够减少网络参数，扩大感受野，使网络计算更快，性能更好。

2、本发明解决其技术问题所采用的技术方案包括如下步骤：

3、步骤1：将输入的不同曝光的ldr图像l1、l2、l3映射到线性域中，得到h1、h2、h3；

4、步骤2：连接不同曝光的ldr图像l1、l2、l3与线性域中的h1、h2、h3得到x1、x2、x3；

5、步骤3：将xi输入特征提取器，得到特征fi；

6、步骤4：特征fi经过卷积注意力模块与卷积层得到特征f′i；

7、步骤5：特征f′i经过特征融合模块得到hdr图像

8、优选地，所述步骤1具体为：

9、将伽马校正用作映射函数，映射过程如下所示：

10、

11、式中，ti表示第i个图像l1的曝光时间，γ是伽马校正参数。

12、优选地，所述步骤2具体为：

13、沿着通道维度将不同曝光的ldr图像和映射到线性域中图像连接成一个6通道输入，如下所示：

14、xi＝{li,hi},i＝1,2,3  (2)

15、优选地，所述步骤3的特征提取器为：

16、在特征提取器中，使用卷积层和变分贝叶斯层来捕获固定和可变特征；

17、引入变分贝叶斯层wv学习从输入xi，i＝1,2,3到目标的一对多能力；使用具有零均值高斯分布的分层先验，并服从均匀超先验即u(a,b)中采样方差σ，如下所示：

18、p(wv)＝n(0,σ)，p(σ)＝u(a,b)  (3)

19、学习中间特征的可变性，过程如下：

20、

21、式中，wv是网络参数，是变分贝叶斯层的输入，⊙表示hadamard乘积。

22、优选地，所述步骤4具体为：

23、将中间曝光图像l2作为参考图像，分别将非参考图像的特征f1和f3与参考图像特征图f2一起输入卷积注意力模块aj(·),j＝1,3，然后获得注意力图aj，操作如下：

24、aj＝aj(fj,f2)  (5)

25、然后预测的注意力图通过逐点乘法关注非参考图像的特征，得到新的非参考图像特征如下所示：

26、

27、新的非参考图像特征与参考图像特征f2经过卷积层得到新的特征f′i。

28、优选地，所述步骤5具体为：

29、首先将特征f′i叠加起来进行合并，得到特征f″；

30、所述特征融合网络由多个卷积层、动态感受野层和变分贝叶斯层组成，f″首先经过三个卷积层，然后经过三个动态感受野层和变分贝叶斯层，最后由一个卷积层生成最终的hdr图像

31、由于变分贝叶斯层需要更多的参数并且不能增加网络的感受野，本发明设计了一个参数更少的动态感受野层，并且为了降低复杂度，将动态感受野层中参数的后验定义为均匀分布。

32、所述动态感受野层由三个分支组成，第一个分支由一个1×1的动态卷积和一个大小为3×3、扩张率为1的空洞卷积组成；第二个分支由一个1×1和一个3×3的动态卷积以及一个大小为3×3、扩张率为2的空洞卷积组成；第三个分支由一个1×1和两个3×3的动态卷积以及一个大小为3×3、扩张率为3的空洞卷积组成；将这三个分支的输出进行拼接操作并经过一个1×1动态卷积，然后与经过1×1动态卷积的输入相加得到动态感受野层的输出。

33、所述动态卷积首先通过注意力模块得到4个卷积核的系数，然后将得到的系数与输入卷积相乘，最后与输入卷积相加；

34、以b0作为动态卷积模块的输入，b1作为输出，其中注意力模块的计算如下：

35、bt＝relu(fc1(avgpool(b0)))  (7)

36、

37、式中avgpool(·)是平均池化操作，fc1与fc2表示全连接网络，通过注意力模块得到四个系数

38、最终动态卷积模块的输出b1由式(9)计算得到：

39、

40、式中conv(·)表示1×1的卷积层。

41、本发明的有益效果如下：

42、本发明使用卷积层和变分贝叶斯层来捕获固定和可变特征，变分贝叶斯层可以对一对多关系进行建模并提供各种可能的解决方案。利用贝叶斯框架，可以提供各种潜在的高质量估计，尤其是在高频细节方面。然后通过特征融合模块进行hdr重建，为了减小复杂度，并扩大感受野，本发明在特征融合模块使用了动态感受野层，减少网络参数，扩大感受野，使网络计算更快，性能更好。

技术特征：

1.一种基于贝叶斯神经网络的hdr成像方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于贝叶斯神经网络的hdr成像方法，其特征在于，所述步骤1具体为：

3.根据权利要求2所述的一种基于贝叶斯神经网络的hdr成像方法，其特征在于，所述步骤2具体为：

4.根据权利要求3所述的一种基于贝叶斯神经网络的hdr成像方法，其特征在于，所述步骤3的特征提取器为：

5.根据权利要求4所述的一种基于贝叶斯神经网络的hdr成像方法，其特征在于，所述步骤4具体为：

6.根据权利要求5所述的一种基于贝叶斯神经网络的hdr成像方法，其特征在于，所述步骤5具体为：

技术总结
本发明公开了一种基于贝叶斯神经网络的HDR成像方法，首先将输入的不同曝光的LDR图像映射到线性域中；再连接不同曝光的LDR图像与线性域中的图像，并输入特征提取器，得到特征；然后经过卷积注意力模块与卷积层得到新的特征；最后经过特征融合模块得到HDR图像。本发明能够减少网络参数，扩大感受野，使网络计算更快，性能更好。

技术研发人员：张艳宁,孙瑾秋,朱宇,刘胜强,闫庆森
受保护的技术使用者：西北工业大学
技术研发日：
技术公布日：2024/1/14