一种低照度bayer图像压缩、重建方法与流程

本发明涉及一种低照度bayer图像压缩、重建方法，属于图像压缩。

背景技术：

1、随着大数据时代的到来，人们对数字图像的质量要求愈发提高，数字图像也朝着更清晰，分辨率更高的方向发展。一方面，由于图像数据量的增长速度远超于存储设备以及传输技术的发展，因此，寻找更加合理的图像压缩与重建方法具有很重要的应用意义；另一方面，目前的图像压缩与重建方法(传统方法、深度学习压缩方法)的应用主体大多是如jpg，png，bmp格式等传统rgb域图像，但是近年来，bayer格式图像由于其能够保证完整的图像信息的特点，被广泛应用在内窥镜检测，深空探测等光线照度不足的领域，这对图像压缩性能、图像压缩算力需求都有着很高的标准。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种低照度bayer图像压缩、重建方法，具有提高低照度bayer图像压缩细节，改善重建图像质量的效果，解决了当前低照度bayer格式图像压缩易丢失细节，重建图像质量不好的问题。

2、为达到上述目的/为解决上述技术问题，本发明是采用下述技术方案实现的：

3、一方面提供一种低照度bayer图像压缩方法，包括：

4、预处理目标图像，获取亮度增强的低照度bayer图像a；

5、通过具有trasformer×cnn模块的编码网络对低照度bayer图像a进行网络编码处理，获取编码后的图像特征图；

6、对编码后的图像特征图进行熵编码处理，获取对应的压缩码流。

7、进一步地，所述预处理目标图像，获取亮度增强的低照度bayer图像a，包括：

8、对目标图像进行彩色滤镜阵列，得到低照度bayer图像；

9、对低照度bayer图像进行归一化处理，获取低照度bayer图像的矫正像素值：

10、

11、其中：

12、imagein表示低照度bayer图像的像素值；imaginout表示归一化处理后低照度bayer图像的矫正像素值；512表示黑电平矫正的参数值；16383表示14bit位深的bayer图像能取到的像素值上限；

13、对低照度bayer图像的矫正像素值进行比例系数放大处理，得到亮度增强的低照度bayer图像a：

14、pixel＝imageout×ratio；

15、其中：ratio表示比例系数。

16、进一步地，所述编码网络包括第一编码网络和第二编码网络，所述第二编码网络与第一编码网络相连；

17、所述第一编码网络包括至少三个依次相连的下处理层、与最末端下处理层相连的步长为2的3×3卷积层；所述下处理层包括下采样层和trasformer×cnn模块；

18、所述第二编码网络包括下处理层、与下处理层相连的步长为2的3×3卷积层。

19、更进一步地，所述通过具有trasformer×cnn模块的编码网络对低照度bayer图像a进行网络编码处理，获取编码后的图像特征图，包括：

20、将低照度bayer图像a作为输入图像输入第一编码网络中的下处理层进行第一下采样处理，获取第一下采样特征图；

21、判断第一下采样处理次数是否满足阈值，若否，则将第一下采样特征图作为输入图像继续进行第一下采样处理；

22、将第一下采样特征图输入第一编码网络中的步长为2的3×3卷积层获取融合特征图像；

23、将融合特征图像输入第二编码网络进行第二下采样处理，获取编码后的图像特征图。

24、更进一步地，所述第一下采样处理包括：

25、获取输入图像的残差块和对应的统计特性；

26、将残差块与统计特性叠加，获取下采样输出特征图；

27、对下采样输出特征图进行分离处理，获取第一维度分离特征图和第二维度分离特征图；

28、将第一维度分离特征图和第二维度分离特征图输入trasformer×cnn模块，获取第一下采样特征图。

29、更进一步地，所述获取输入图像对应的统计特性，包括：

30、

31、其中：h表示输入图像的高；w表示输入图像的宽；c1表示卷积前输入图像的维度；c2表示卷积后输入图像的维度；h/2表示表示卷积后输入图像的高；w/2表示表示卷积后输入图像的宽；

32、

33、其中：xi表示输入图像的第i个输入；βi、γi表示可训练参数；yi表示输出的统计特性。

34、更进一步地，所述对下采样输出特征图进行分离处理，获取第一维度分离特征图和第二维度分离特征图包括：

35、

36、其中：

37、g表示输入图像的高；y表示输入图像的宽；

38、t表示输入图像的维度，分离后第一维度特征图与第二维度特征图维度均为t/2。

39、更进一步地，所述对编码后的图像特征图进行熵编码处理，获取对应的压缩码流，包括：

40、streamfeature＝ebenc(q{enc2[enc1(xbayer)]})；

41、其中：xbayer表示亮度增强的低照度bayer图像a；enc1表示第一编码网络；enc2表示第二编码网络；ebenc表示熵编码；

42、q表示量化过程：

43、

44、q表示量化因子，用于确定量化后的像素值区间范围；sign表示符号因子。

45、另一方面提供一种低照度bayer图像重建方法，包括:

46、获取低照度bayer图像a经压缩后对应的特征码流；

47、对特征码流进行熵解码，并将解码结果输入二阶段解码网络获取还原特征图；

48、将还原特征图和融合特征图像输入解码模型中，获取第一重建特征图，包括：

49、mapfeature＝g{dec2[ebdec(streamfeature)],q[enc1(xbayer)]}；

50、其中：streamfeature表示特征码流；

51、xbayer表示亮度增强后的低照度bayer图像a；

52、enc1为第一编码网络；ebdec为熵解码；dec2表示二阶段解码网络；

53、g表示高斯分布建模函数；mapfeature表示第一重建特征图；

54、将第一重建特征图输入一阶段解码网络中，获取重建图像。

55、进一步地，所述一阶段解码网络包括至少三个依次相连的上处理层、与最末端上处理层相连的步长为2的3×3上卷积层；所述上处理层包括上采样层和trasformer×cnn模块；

56、所述二阶段解码网络包括上处理层、与上处理层相连的步长为2的3×3上卷积层。

57、与现有技术相比，本发明所达到的有益效果：

58、1、本发明通过具有具有trasformer×cnn模块的编码网络对低照度bayer图像a进行网络编码处理，通过cnn卷积提取图像的局部特征，再通过trasformer模块提取图片的全局特征，通过trasformer和cnn分离通道降低了模型复杂度，且局部和全局特征可以独立并行处理，提高了低照度bayer图像的压缩细节，改善重建图像质量的效果，解决了当前低照度bayer格式图像压缩易丢失细节，重建图像质量不好的问题。

59、2、本发明通过对低照度bayer图像进行归一化处理，得到低照度bayer图像的矫正像素值，再对低照度bayer图像的矫正像素值进行比例系数放大处理，得到亮度增强的低照度bayer图像a，避免由于光照不足导致压缩过程图像细节完全丢失的情况。