编解码方法、装置、电子设备和计算机可读存储介质与流程

本公开涉及图像处理，尤其涉及一种编解码方法及装置、电子设备和计算机可读存储介质。

背景技术：

1、相关技术中的视频编解码技术面向人类视觉，以均方差(mean squared error)，峰值信噪比(peak sigal to noise ratio)，结构相似性(structural similarity)作为衡量保真度的评价指标来优化编解码算法。在二十余年的发展中，传统视频编解码框架算法已经趋于成熟，并被广泛应用于各种领域(例如直播、短视频或者视频监控等)。随着深度学习的普及，越来越多的视频图像被机器接收而非人类。然而图像视频的保真度与机器视觉的任务性能之间虽然有一定相关性，却并不完全贴合。所以传统以保真度为评价指标优化的编解码算法并不是机器视觉应用场景下的最优解。

2、因此，本申请提出一种针对机器视觉的图像特征进行编解码的方法。

3、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

技术实现思路

1、本公开的目的在于提供一种编解码方法、装置、电子设备以及计算机可读存储介质，能够针对图像特征进行高效率和高准确率的编解码。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、本公开实施例提供了一种编解码方法，包括：获取目标图像的n个图像特征，其中所述n个图像特征是所述目标图像经过特征提取网络提取的尺度不同的特征，n为大于1的整数；通过神经网络结构的特征融合结构将所述n个图像特征进行特征融合，获得融合特征图；通过所述神经网络结构的第一编码结构对所述融合特征图进行编码，获得所述目标图像的编码特征。

4、在一些实施例中，包括：通过所述神经网络结构的第一编码结构对所述融合特征图进行编码，获得所述目标图像的编码特征，包括：通过所述神经网络的第一特征变换结构对所述融合特征进行特征变换处理，获得先验特征；通过所述第一编码结构对所述先验特征进行编码处理，以获得所述编码特征。

5、在一些实施例中，通过所述第一编码结构对所述先验特征进行编码处理，以获得所述编码特征，包括：通过所述神经网络的第二特征变换结构对所述先验特征进行特征变换处理，以获得超先验特征；通过所述神经网络的第二编码结构对所述超先验特征进行编码处理，以获得第二编码流；通过所述第一编码结构对所述先验特征进行编码处理，以获得所述第一编码流；根据所述第一编码流和所述第二编码流获得所述编码特征。

6、在一些实施例中，通过所述第一编码结构对所述先验特征进行编码处理，以获得所述第一编码流，包括：通过所述神经网络的第二解码结构对所述第二编码流进行解码处理，以获得超先验解码特征，所述第二编码结构和所述第二解码结构对应；通过所述第一编码结构对所述先验特征和所述超先验解码特征进行处理，以获得所述第一编码流。

7、在一些实施例中，所述方法还包括：通过所述神经网络结构的第一解码结构对所述目标图像的编码特征进行解码处理，获得还原图像特征图，所述第一解码结构和所述第一编码结构对应；根据所述还原图像特征图生成n个还原图像特征，以便根据所述n个还原图像特征进行图像任务。

8、在一些实施例中，根据所述还原图像特征图生成n个还原图像特征，以便根据所述n个还原图像特征进行图像任务，包括：对所述还原图像特征图进行拆分，以获得n个尺度相同的拆分特征图；对所述n个尺度相同的拆分特征图进行尺度调整，以获得所述n个还原图像特征。

9、在一些实施例中，所述目标图像的编码特征包括第一编码流；其中，通过所述神经网络结构的第一解码结构对所述目标图像的编码特征进行解码处理，获得还原图像特征图，包括：通过所述第一解码结构对所述第一编码流进行解码处理，以获得先验解码特征；通过所述神经网络结构的第三特征变换结构对所述先验解码特征进行处理，以获得所述还原图像特征图。

10、在一些实施例中，所述目标图像的编码特征还包括第二编码流；其中，通过所述第一解码结构对所述第一编码流进行解码处理，以获得先验解码特征，包括：通过所述神经网络结构的第二解码结构对所述第二编码流进行解码处理，以获得超先验解码特征；通过所述第一解码结构对所述第一编码流和所述超先验解码特征进行解码处理，以获得所述先验解码特征。

11、在一些实施例中，所述方法还包括：将所述n个图像特征和所述n个还原图像特征一一对应，以分别确定各个图像特征对应的特征编码误差；根据所述先验解码特征确定所述先验解码特征的熵估计损失；根据所述超先验解码特征确定所述超先验解码特征的熵估计损失；根据所述各个图像特征对应的特征编码误差、所述先验解码特征的熵估计损失和所述超先验解码特征的熵估计损失确定目标损失；根据所述目标损失训练所述神经网络。

12、本公开实施例提供了一种编解码装置，包括：图像特征获取模块、特征融合模块和编码模块。

13、其中，所述图像特征获取模块用于获取目标图像的n个图像特征，其中所述n个图像特征是所述目标图像经过特征提取网络提取的尺度不同的特征，n为大于1的整数；所述特征融合模块可以用于通过神经网络结构的特征融合结构将所述n个图像特征进行特征融合，获得融合特征图；所述编码模块可以用于通过所述神经网络结构的第一编码结构对所述融合特征图进行编码，获得所述目标图像的编码特征。

14、本公开实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器调用所述存储器存储的所述程序指令，用于实现上述任一项所述的编解码方法。

15、本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一项所述的编解码方法。

16、本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述编解码方法。

17、本公开实施例提供的编解码方法、装置及电子设备和计算机可读存储介质，能够通过特征融合将不同尺度大小的图像特征进行融合，然后对融合后的图像特征图进行编码，既解决了多尺度图像特征编解码的问题，使得多尺度图像特征可以统一进行编解码，节约编解码资源，提高编解码效率又通过统一编码使得编码结果中不包括各个图像特征之间的冗余特征，提高了编解码的压缩效果。

18、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

技术特征：

1.一种编解码方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，通过所述神经网络结构的第一编码结构对所述融合特征图进行编码，获得所述目标图像的编码特征，包括：

3.根据权利要求2所述方法，其特征在于，通过所述第一编码结构对所述先验特征进行编码处理，以获得所述编码特征，包括：

4.根据权利要求3所述方法，其特征在于，通过所述第一编码结构对所述先验特征进行编码处理，以获得所述第一编码流，包括：

5.根据权利要求1所述方法，其特征在于，所述方法还包括：

6.根据权利要求5所述方法，其特征在于，根据所述还原图像特征图生成n个还原图像特征，以便根据所述n个还原图像特征进行图像任务，包括：

7.根据权利要求5所述方法，其特征在于，所述目标图像的编码特征包括第一编码流；其中，通过所述神经网络结构的第一解码结构对所述目标图像的编码特征进行解码处理，获得还原图像特征图，包括：

8.根据权利要求7所述方法，其特征在于，所述目标图像的编码特征还包括第二编码流；其中，通过所述第一解码结构对所述第一编码流进行解码处理，以获得先验解码特征，包括：

9.根据权利要求8所述方法，其特征在于，所述方法还包括：

10.一种编解码装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有程序指令，该程序指令被处理器执行时实现如权利要求1-9任一项所述的编解码方法。

技术总结
本公开提供一种编解码方法、装置以及电子设备和计算机可读存储介质，涉及图像处理技术领域。该编解码方法包括：获取目标图像的N个图像特征，其中N个图像特征是目标图像经过特征提取网络提取的尺度不同的特征，N为大于1的整数；通过神经网络结构的特征融合结构将N个图像特征进行特征融合，获得融合特征图；通过神经网络结构的第一编码结构对融合特征图进行编码，获得目标图像的编码特征。本公开为多尺度图像特征的压缩提供了一种编解码方法。

技术研发人员：王翰铭,韩韬,吴子君,张园,杨明川
受保护的技术使用者：中国电信股份有限公司
技术研发日：
技术公布日：2024/4/29