一种自回归熵建模的渐进图像编码、解码、压缩方法

本发明涉及图像处理，具体涉及一种自回归熵建模的渐进图像编码、解码、压缩方法。

背景技术：

1、随着深度学习的快速发展，端到端图像压缩也逐渐变得火热，其利用深度神经网络，对图像压缩各个模块进行联合优化，从而实现优越的压缩性能。而在现实生活中，不同终端，异构网络，或者不同用户对码率的要求是不一样的，这就要求模型具有适应不同码率的能力。而后，研究者们又进行了可变码率模型的研究，单个模型可实现多个码率，但是他们的码流是不可伸缩的，仍然对存储造成了一定负担。

2、渐进压缩可编码一个图像为单个码流，码流又可分为一个基本层与若干个增强层。基本层被用来恢复一个较粗粒度图像，增强层被用来逐步细化图像质量。经过对现有技术的文献检索发现，lu等人在2021年《ieee international conference on imageprocessing》(icip)会议上发表的“progressive neural image compression withnested quantization and latent ordering”和lee等人在2022年的《ieee conferenceon computer vision and pattern recognition》(cvpr)会议上发表的“dpict:deepprogressive image compression using trit-planes”被认为是最早的两篇以卷积神经网络(cnn)为基础的，通过调整量化步长并采取超先验模型进行熵建模实现的渐进图像压缩编码方案。lee等人在2023年的《ieee conference on computer vision and patternrecognition》(cvpr)会议上发表的“context-based trit-plane coding forprogressive image compression”是第一个利用超先验模型和已经编码的信息作为上下文进行熵建模的方案。

3、然而上述单独使用超先验模型进行熵建模的模型性能较差，同时利用上下文的模型虽然性能提升，但是由于其利用上下文的方式导致其编解码速度较慢，因此基于自回归模型的渐进编码方案必须被进一步提升。

技术实现思路

1、本发明针对目前渐近编码方案中的不足：超先验模型性能较差，同时利用上下文信息的渐进编码方法复杂度太高，提供一种自回归熵建模的渐进图像编码、解码、压缩方法。

2、本发明的第一方面，提供一种自回归熵建模的渐进图像编码方法，包括：

3、获取待编码图像的多通道特征图；

4、基于所述多通道特征图得到超先验特征、超先验二进制码流以及超先验信息；

5、将所述多通道特征图按照每个通道划分为k个空间分组，k为正整数；

6、对所述多通道特征图的每个空间分组的每个特征，根据超先验信息和该通道已量化特征进行预测，给定死区和其它量化区间大小进行死区量化，得到最高质量增强层的量化特征；

7、以固定尺度因子依次放缩死区量化的量化区间，通过死区量化获得初始码字和初始量化特征，对齐码字得到量化特征作为当前质量层的量化特征，依次获得l个低质量的质量层的量化特征，其中：l为正整数，具有最大量化区间的最低质量的质量层为基本层，其余l-1个质量层按量化区间从大到小依次为第1到第l-1个增强层；

8、根据基本层的量化特征计算基本层的码字，根据量化区间估计概率，编码基本层的码字获得基本层二进制码流；

9、按照第1到第l个增强层的顺序，逐层根据对应增强层的量化特征计算码字，计算估计概率，编码码字获得l个增强层二进制码流；

10、合并上述超先验二进制码流、基本层二进制码流、l个增强层二进制码流形成二进制码流。

11、可选地，对所述多通道特征图的每个空间分组的每个特征，根据超先验信息和该通道已量化特征进行预测，给定死区和其它量化区间大小进行死区量化，得到最高质量增强层的码字和量化特征，包括：

12、根据当前通道的已量化空间分组和当前空间分组的已量化特征提取上下文信息，与超先验信息融合，获得当前特征y在最高质量增强层的预测值μl；

13、计算当前特征y在最高质量增强层的预测残差

14、对预测残差进行死区量化，根据码字映射函数得到最高质量增强层的初始码字具体地：

15、

16、这里，死区量化的死区大小pl＝1，其它量化区间大小ql＝1，sign(·)返回输入的符号，max(·,·)返回两个输入间的较大值；

17、对所述初始码字根据重建函数得到最高质量增强层的量化特征

18、

19、这里，重建函数为

20、

21、其中，|·|返回输入的绝对值。

22、可选地，所述以固定尺度因子依次放缩死区量化的量化区间，通过死区量化获得初始码字和初始量化特征，对齐码字得到量化特征作为当前质量层的量化特征，依次获得l个较低质量的质量层的量化特征，包括：

23、按照质量从高到低的顺序，从第l个质量层开始，依次获得码字和量化特征，其中对于第l(l＝l,…,1)个质量层，具体步骤为：

24、根据第l+1个质量层的预测μl+1，以死区大小pl、其它量化区间大小ql进行死区量化，通过码字映射函数获得初始码字

25、

26、对所述初始码字根据重建函数得到初始量化特征

27、

28、根据当前通道的已量化空间分组和当前空间分组的已量化特征提取上下文信息，与超先验信息融合，获得当前特征y在第l个增强层的预测值μl；

29、将初始量化特征转换到量化区间ql的均匀量化，根据第l+1个质量层的预测μl+1得到均匀量化特征ξl：

30、

31、其中，均匀量化的码字映射函数β(·)为死区量化与均匀量化转换的正向转换函数；

32、对齐码字获得第l个质量层的量化特征

33、

34、其中β-1(·)为死区量化与均匀量化转换的反向转换函数。

35、可选地，所述根据基本层的量化特征计算基本层的码字，根据量化区间估计概率，编码基本层的码字获得基本层二进制码流，包括：

36、根据基本层的量化特征计算基本层码字c0：

37、

38、计算基本层码字的量化区间[a0,b0]，其中

39、

40、

41、基于高斯概率密度函数对基本层码字c0进行概率估计

42、

43、其中

44、根据概率p(c0)进行算术编码，得到基本层二进制码流。

45、可选地，所述按照第1到第l个增强层的顺序，逐层根据获得对应增强层的量化特征计算码字，计算估计概率，编码码字获得增强层二进制码流，包括：

46、对于任意第l(l＝1,…,l)个增强层，根据第l-1层的量化特征计算增强层码字cl：

47、

48、计算增强层码字的量化区间[a0,b0]，其中

49、

50、

51、基于高斯概率密度函数对增强层码字cl进行概率估计

52、

53、其中

54、

55、

56、根据概率p(cl)进行算术编码，得到第l个增强层二进制码流。

57、优选地，任意第l个和第l+1个质量层的其它量化区间大小以固定尺度因子s缩放：

58、ql＝s·ql+1

59、第l个质量层的死区大小pl和其它量化区间大小ql分别为：

60、pl＝2sl-l-1

61、ql＝sl-l

62、优选地，采用正向转换函数β(x)将死区量化的量化特征转换为对应的均匀量化的量化特征：

63、

64、采用反向转换函数β-1(x)将均匀量化的码字重建为死区量化的量化特征：

65、

66、本发明的第二方面，提供一种自回归熵建模的图像渐进解码方法，用于对应解码上述方法得到的编码进行解码，包括：

67、将所获的码流分解为超先验二进制码流、基本层二进制码流、l个增强层二进制码流；

68、通过超先验解码神经网络解码超先验二进制码流重构获得超先验信息；

69、根据当前通道的已量化空间分组和当前空间分组的已解码量化特征提取上下文信息，与超先验信息融合，获得当前特征y在基本层的预测值μ0，结合基本层死区及其他量化区间估计概率对基本层二进制码流进行解码得到基本层码字c0，根据重建函数得到基本层的量化特征

70、

71、按质量层从低到高的顺序，从第1个增强层开始，依次解码码字和获得量化特征重建，其中对于第l个增强层，l＝1,…,l，从第l个增强层二进制码流解码获得，具体步骤为：

72、根据第l-1个增强层解码的量化表示预测的高斯均值μl-1，以及量化区间长度ql-1，获得第l-1个增强层量化特征在量化区间长度ql-1下的均匀量化表示ηl：

73、

74、当l＝1时，第1个增强层基于基本层的量化特征、高斯均值和量化区间长度获得，即上标0指代基本层。

75、根据所获得的ηl，预测的高斯均值μl，以及量化区间长度ql-1，获得第l个增强层量化特征在量化区间长度ql-1下的均匀量化表示：

76、

77、获得第l个增强层量化特征在死区大小为pl-1、其它量化区间大小ql-1的死区量化表示：

78、

79、利用预测的第l个增强层高斯分布参数，结合第l个增强层死区及其他量化区间估计条件概率对第l个增强层码流进行解码，得到第l个增强层码字cl；

80、根据所获得的第l个增强层码字cl，所获得的预测的高斯均值μl，以及死区大小pl、其它量化区间大小ql，获得第l个增强层量化特征在死区量化下的表示：

81、

82、将解码得到的量化特征输入解码神经网络得到多个质量由低到高的重建图像。

83、本发明的第三发明，提供一种自回归熵建模的渐进图像压缩方法，包括：

84、获取待压缩图像；

85、基于上述的自回归熵建模的渐进图像编码方法获得压缩图像二进制码流；

86、基于上述的自回归熵建模的渐进图像解码方法对所述压缩图像二进制码流进行解压缩，获得重构图像。

87、本发明的第四方面，提供一种渐进图像压缩系统，所述渐进图像压缩系统包括编码器和解码器，包括：

88、所述编码器采用上述的自回归熵建模的渐进图像编码方法对待压缩图像进行编码获得压缩图像二进制码流；

89、所述解码器采用上述的自回归熵建模的渐进图像解码方法对所述压缩图像二进制码流进行解码，获得重构图像。

90、本发明的第五方面，提供一种渐进图像压缩装置，所述渐进图像压缩装置包括存储器和处理器，所述存储器存储一段可由所述处理器执行的程序，所述处理器在执行所述程序时可以执行以下任一种方法：

91、-上述的自回归熵建模的渐进图像编码方法，或，

92、-上述的自回归熵建模的渐进图像解码方法，或，

93、-上述的自回归熵建模的渐进图像压缩方法。

94、与现有技术相比，本发明实施例具有以下至少一种有益效果：

95、本发明上述的自回归熵建模的渐进图像编码、解码以及压缩方法，能够生成任意截断的单个二进制码流，对应不同码率下不同质量的解码图像，适用图像传输时网络带宽动态变化场景下的无缝切换，保证图像传输的连续性，提升用户体验。进一步的，能够提供任意截断的单个二进制码流适配不同分辨率的接入终端，无需切换多个不同质量的码流版本，降低网络传输的整体带宽需求。

96、本发明上述的自回归熵建模的渐进图像编码、解码以及压缩方法，相比目前现行渐进编码标准hevc，在重构图像质量相同的前提下，可以节约8.05％的码流开销，提升了率失真性能。

97、本发明可以无缝适用目前已有的深度学习图像压缩模型，支持基于上下文的自回归熵建模，无需重新训练，即可通过尺度因子改变量化区间快速实现不同质量层的量化，保证不同尺度因子下各个质量层间的一对一映射，不引入冗余，相比现有方法进一步降低编码码率，提升率失真性能。

98、本发明实施例自回归熵建模的渐进图像压缩方法，该方法是建立在现有深度学习图像压缩模型(神经网络)上的，其对于率失真性能的有益效果在于上一条所述能够在渐进编码的过程中不引入冗余，降低编码码率，因而能够在不同场景下、不同分辨率的自然图像上提升渐进图像压缩的率失真性能。因此，本发明具有极强的实际应用价值，尤其是在实际的图像通信场景中，能够适配带宽动态变化、接入终端异构的真实场景，降低总体带宽需求，提升用户体验。