图像编解码框架及图像的编解码方法

本申请涉及计算机，特别涉及一种图像编解码框架及图像的编解码方法。

背景技术：

1、目前，端到端图像编码方法的编解码时间大致可以分为三个部分：

2、(1)编码变换和解码变换，其将图像变换为需要无损编码的隐变量，以及将隐变量变换为重建图像。

3、(2)使用熵模型估计每个隐变量元素的概率分布。

4、(3)使用算术编码等熵编码方法利用得到的概率分布编解码隐变量。

5、因为部分(1)可以充分利用gpu的并行性，其所用时间很少，只占编解码时间的一小部分。由于部分(2)需要根据之前解码的隐变量估计概率分布，无法充分利用gpu的并行性，其时间占解码时间的大部分，而在实际应用中解码时间相对于编码时间重要得多，所以此部分严重阻碍了其实用化。因为部分(3)无法实现并行，只能在cpu上运行，而隐变量元素数量很大，所以这部分时间也无法忽略。目前绝大部分加速端到端图像编码方面的工作都在加速部分(1)与部分(2)，鲜有考虑部分(3)的加速，这使得端到端图像编解码时间复杂度遇到瓶颈，严重阻碍了其实用化。除了时间复杂度问题，端到端图像编码还面临不同平台不兼容的问题。这是因为在估计概率分布时，不同平台的浮点操作会有不同的舍入误差，使编解码不匹配。这在实际应用中也是很重要的问题。

技术实现思路

1、有鉴于此，本申请提供一种图像编解码框架及图像的编解码方法，有效降低端到端图像编码熵编码的复杂度，又解决了端到端图像编码不同平台不兼容的问题。

2、本申请第一方面提供了一种图像编解码框架，包括：

3、变换模块和基于块的编解码模块；其中，所述变换模块包括编码变换模块和解码变换模块；

4、所述编码变换模块，用于在接收图像后，对所述图像进行处理，得到所述图像对应的隐变量；

5、所述基于块的编解码模块，用于对所述图像对应的隐变量进行处理，得到所述图像对应的编码；

6、所述基于块的编解码模块，还用于对所述图像对应的编码进行处理，得到所述图像对应的隐变量；

7、所述解码变换模块，用于对所述图像对应的隐变量进行处理，得到所述图像的重建图像。

8、可选的，所述变换模块的训练单元，包括：

9、下载单元，用于从互联网上下载图像，作为训练样本图像；

10、裁剪单元，用于针对每一个训练样本图像，将所述训练样本图像裁剪成大小相等的块；

11、处理单元，用于利用所述基于块的编解码模块对所述块进行处理，得到所述块的码率；

12、第一训练单元，用于利用所述块的码率对第一神经网络进行训练，将训练好的第一神经网络作为码率估计模块；

13、第二训练单元，用于利用所述码率估计模块估计的码率、调节码率的超参数以及衡量重建图像误差的损失函数对第二神经网络进行训练，将训练好的第二神经网络作为变换模块；其中，在对第二神经网络进行训练的过程中采用加噪声的方式模拟量化。

14、可选的，所述基于块的编解码模块的编解码方法为基于四叉树划分的语义分割图编解码方法。

15、可选的，所述块的大小为256×256。

16、可选的，所述第一神经网络和所述第二神经网络为基于卷积神经网络和全连接层的神经网络。

17、本申请第二方面提供了一种图像的编解码方法，应用于图像编解码框架，所述图像编解码框架包括变换模块和基于块的编解码模块，所述变换模块包括编码变换模块和解码变换模块，所述图像的编解码方法，包括：

18、在接收图像后，编码变换模块对所述图像进行处理，得到所述图像对应的隐变量；

19、基于块的编解码模块对所述图像对应的隐变量进行处理，得到所述图像对应的编码。

20、可选的，基于块的编解码模块对所述图像对应的编码进行处理，得到所述图像对应的隐变量；

21、解码变换模块对所述图像对应的隐变量进行处理，得到所述图像的重建图像。

22、可选的，所述变换模块的训练方法，包括：

23、从互联网上下载图像，作为训练样本图像；

24、针对每一个训练样本图像，将所述训练样本图像裁剪成大小相等的块；

25、利用所述基于块的编解码模块对所述块进行处理，得到所述块的码率；

26、利用所述块的码率对第一神经网络进行训练，将训练好的第一神经网络作为码率估计模块；

27、利用所述码率估计模块估计的码率、调节码率的超参数以及衡量重建图像误差的损失函数对第二神经网络进行训练，将训练好的第二神经网络作为变换模块；其中，在对第二神经网络进行训练的过程中采用加噪声的方式模拟量化。

28、可选的，所述基于块的编解码模块的编解码方法为基于四叉树划分的语义分割图编解码方法。

29、可选的，所述块的大小为256×256。

30、可选的，所述第一神经网络和所述第二神经网络为基于卷积神经网络和全连接层的神经网络。

31、本申请第三方面提供了一种电子设备，包括：

32、一个或多个处理器；

33、存储装置，其上存储有一个或多个程序；

34、当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第二方面任意一项所述的图像的编解码方法。

35、本申请第四方面提供了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第二方面任意一项所述的图像的编解码方法。

36、由以上方案可知，本申请提供一种图像编解码框架及图像的编解码方法，所述图像编解码框架包括变换模块和基于块的编解码模块，所述变换模块包括编码变换模块和解码变换模块，所述图像的编解码方法通过在接收图像后，编码变换模块对所述图像进行处理，得到所述图像对应的隐变量；基于块的编解码模块对所述图像对应的隐变量进行处理，得到所述图像对应的编码，以方便传输与存储，并且，还可以基于块的编解码模块对所述图像对应的编码进行处理，得到所述图像对应的隐变量；解码变换模块对所述图像对应的隐变量进行处理，得到所述图像的重建图像，用于人眼观看或其他下游任务。从而有效降低端到端图像编码熵编码的复杂度，又解决了端到端图像编码不同平台不兼容的问题。

技术特征：

1.一种图像编解码框架，其特征在于，包括：

2.根据权利要求1所述的图像编解码框架，其特征在于，所述变换模块的训练单元，包括：

3.根据权利要求1所述的图像编解码框架，其特征在于，所述基于块的编解码模块的编解码方法为基于四叉树划分的语义分割图编解码方法。

4.根据权利要求2所述的图像编解码框架，其特征在于，所述块的大小为256×256。

5.根据权利要求2所述的图像编解码框架，其特征在于，所述第一神经网络和所述第二神经网络为基于卷积神经网络和全连接层的神经网络。

6.一种图像的编解码方法，其特征在于，应用于图像编解码框架，所述图像编解码框架包括变换模块和基于块的编解码模块，所述变换模块包括编码变换模块和解码变换模块，所述图像的编解码方法，包括：

7.根据权利要求6所述的图像的编解码方法，其特征在于，还包括：

8.根据权利要求6所述的图像的编解码方法，其特征在于，所述变换模块的训练方法，包括：

9.根据权利要求6所述的图像的编解码方法，其特征在于，所述基于块的编解码模块的编解码方法为基于四叉树划分的语义分割图编解码方法。

10.根据权利要求8所述的图像的编解码方法，其特征在于，所述块的大小为256×256。

技术总结
本申请提供一种图像编解码框架及图像的编解码方法，所述图像编解码框架包括变换模块和基于块的编解码模块，所述变换模块包括编码变换模块和解码变换模块，所述图像的编解码方法通过在接收图像后，编码变换模块对所述图像进行处理，得到所述图像对应的隐变量；基于块的编解码模块对所述图像对应的隐变量进行处理，得到所述图像对应的编码，以方便传输与存储，并且，还可以基于块的编解码模块对所述图像对应的编码进行处理，得到所述图像对应的隐变量；解码变换模块对所述图像对应的隐变量进行处理，得到所述图像的重建图像，用于人眼观看或其他下游任务。从而有效降低端到端图像编码熵编码的复杂度，又解决了端到端图像编码不同平台不兼容的问题。

技术研发人员：刘东,杨闰宇,武祥吉
受保护的技术使用者：中国科学技术大学先进技术研究院
技术研发日：
技术公布日：2024/3/31