基于条件扩散的概率熵建模图像编码、解码、压缩方法

本发明属于图像压缩领域，具体地说，涉及的是一种端到端图像压缩方法中基于条件扩散的概率熵模型建模方法，以及采用基于条件扩散的概率熵建模的图像编码、解码以及压缩方法。

背景技术：

1、近年来，深度学习极大地促进了图像压缩的发展。相比于传统的图像压缩方法，基于深度学习的图像压缩方法以端到端的方式优化变换、量化和熵编码三个部分。一些最新的端到端图像压缩方法的率失真性能已经超过了最新的传统压缩标准h.266。在端到端图像压缩方法中，原始图像首先通过一个非线性深度神经网络变换为三维特征，然后采用一个基于深度神经网络的熵模型来估计特征的分布，并用此分布对特征进行编码。因此，为了降低编码后的码率，熵模型成为端到端图像压缩中的一个重要课题。

2、为了实现精确的熵建模，超先验模型和上下文模型先后被提出。经过对现有技术的文献检索发现，minnen等人在2018年的conference and workshop on neuralinformation processing systems会议上发表的“joint autoregressive andhierarchical priors for learned image compression”一文中首次同时采用了这两个互补的模型进行熵建模。其中，超先验模型使用一个自编码器对特征进行全局信息提取，但是需要用额外的码字来存储自编码器的瓶颈层特征，而上下文模型只能利用已经解码的局部特征信息，但不需要额外的码字开销。

3、在三维的特征中，主要有空间上下文和通道上下文可以使用。在早期使用局部空间上下文的方法中，空间上下文通常以自回归的方式使用，因此编解码的复杂度很高。

4、然而，现有的基于超先验模型和上下文模型的熵模型都预设参数化的分布来估计特征的分布，存在特征分布估计不精确的问题。

技术实现思路

1、本发明针对上述问题，提出了一种基于条件扩散的概率熵建模图像编码、解码、压缩方法，用条件扩散的采样值估计混合高斯模型中的均值和方差，可以更精确地建模特征的分布，从而减小压缩图像的码率，提升图像压缩的率失真性能。

2、本发明的第一方面，提出一种基于条件扩散的概率熵建模图像编码方法，包括：

3、获取待编码图像的第一特征图和第二特征图，其中，所述第一特征图为所述待编码图像通过编码网络获得的三维特征图，维度包括特征通道、特征高度和特征宽度；所述第二特征图为将所述第一特征图中的每个特征值量化为整数得到；

4、获取所述第二特征图的超先验特征二进制码流以及对应的超先验信息；

5、将所述第二特征图划分为多个通道分组，将每个所述通道分组划分为两个空间分组；

6、将每个所述空间分组的分布参数化建模为混合高斯分布，采用条件扩散从高斯噪声逐次采样预测所述混合高斯分布的均值、方差和权重，其中，每次采样的采样条件通过组合所述超先验信息和通道上下文模型、空间上下文模型基于前次采样提取的上下文信息获得；

7、根据预测的所述混合高斯分布的均值、方差和权重对每个所述空间分组进行概率估计，根据估计概率进行算术编码，获得每个所述空间分组的特征二进制码流；

8、将每个所述空间分组特征二进制码流合并为特征二进制码流，并进一步与所述超先验特征二进制码流合并，得到压缩图像二进制码流。

9、可选地，将所述第二特征图划分为多个通道分组，将每个所述通道分组划分为两个空间分组，包括：

10、将所述第二特征图沿通道维度非均匀地划分为k个通道分组，其中：前k-1个通道分组中的通道数是2的幂次方，且第k个通道分组的通道数不少于第k-1个通道分组，k＝2,…,k-1；第k个通道分组包括剩余的通道；

11、将所述第二特征图每个通道分组在空间上按照棋盘形式划分为两个空间分组，第一个空间分组中的特征高度维度和特征宽度维度坐标之和为奇数，第二个空间分组中的特征高度维度和特征宽度维度坐标之和为偶数。

12、可选地，所述将第二特征图依次通过超编码神经网络得到超先验特征二进制码流，将超先验特征二进制码流通过超解码神经网络得到超先验信息，包括：

13、对第二特征图采用超编码神经网络得到第一超先验特征图；

14、将所述第一超先验特征图中的每个特征量化为整数，得到第二超先验特征图；

15、对所述第二超先验特征图建立一个各特征之间相互独立的分布估计，并利用此分布估计对第二超先验特征图进行算术编码，获得超先验特征二进制码流；

16、利用所述各特征之间相互独立的分布估计对所述超先验特征二进制码流进行算术解码得到恢复的第二超先验特征图；

17、对所述恢复的第二超先验特征图采用超解码神经网络得到超先验信息。

18、本发明的第二方面，提供一种基于条件扩散的概率熵建模图像解码方法，用于对应解码上述方法得到的编码，包括：

19、获得压缩图像二进制码流，分解获得特征二进制码流和超先验特征二进制码流；

20、利用超解码神经网络从所述超先验特征二进制码流中获得超先验信息；

21、通过条件扩散从高斯噪声逐次采样预测用于解码第二特征图每个通道分组中的每个空间分组的高斯混合模型的均值、方差和权重，每次采样的采样条件通过组合超先验信息和通道上下文模型、空间上下文模型基于前次采样提取的上下文信息获得；

22、根据所述高斯混合模型的均值、方差和权重对特征二进制码流进行算术解码，按照通道分组和空间分组的顺序逐空间分组、逐通道分组获得所述第二特征图；

23、将所述第二特征图通过解码神经网络，获得重构图像。

24、本发明的第三方面，提供一种基于条件扩散的概率熵建模图像压缩方法，包括：

25、获取待压缩图像；

26、基于上述的基于条件扩散的图像编码方法获得压缩图像二进制码流；

27、基于上述的基于条件扩散的图像解码方法对所述压缩图像二进制码流进行解压缩，获得重构图像。

28、本发明的第四方面，提供一种图像压缩系统，所述图像压缩系统包括编码器和解码器，包括：

29、获取待压缩图像；

30、所述编码器采用上述基于条件扩散的概率熵建模图像编码方法对所述待压缩图像进行压缩，获得压缩图像二进制码流；

31、所述解码器采用上述基于条件扩散的概率熵建模图像解码方法对所述压缩图像二进制码流进行解压缩，获得重构图像；

32、本发明的第五方面，提供一种图像压缩装置，所述图像压缩装置包括存储器和处理器，所述存储器存储一段可由所述处理器执行的程序，所述处理器在执行所述程序时可以执行以下任一种方法：

33、-上述的基于条件扩散的概率熵建模图像编码方法，或，

34、-上述的基于条件扩散的概率熵建模图像解码方法，或，

35、-上述的基于条件扩散的概率熵建模图像压缩方法。

36、与现有技术相比，本发明实施例具有以下至少一种有益效果：

37、本发明上述的基于条件扩散的概率熵建模图像编码、解码以及压缩方法，利用条件扩散的采样值估计混合高斯模型的均值和方差，能够通过生成不同数量的采样，形成对于具有不同混合分布的图像特征图的准确估计，不产生过拟合/欠拟合问题；

38、本发明在采样足够充分时，能够在理论上保证拟合任意分布，表示特征图的连续分布密度函数，实现精确的特征图编码码率估计。

39、本发明能够通过改变采样次数控制和平衡概率估计的计算复杂度和准确性，在不同计算复杂度限制实现对于特征图的概率估计和编码的码率估计。

40、本发明上述的基于条件扩散的概率熵建模图像编码、解码以及压缩方法，相比目前最新方法，在重构图像质量相同的前提下，可以节约3.12％的码流开销，提升了率失真性能。

41、本发明实施例基于上述条件扩散的概率熵建模图像压缩方法，在不同场景下采集的不同分辨率的自然图像上均能提升码率估计的准确度，提升图像压缩率失真性能。本发明具有极强的实际应用价值，尤其是在实际的图像压缩中，能够根据不同的图像内容、不同的计算复杂度限制灵活估计特征图分布，实现码率估计，提升率失真性能。