图像特征处理方法、图像特征补偿方法、编码、解码方法与流程

本申请涉及特征处理，特别是涉及一种图像特征处理方法、图像特征补偿方法、图像编码方法、图像解码方法、装置以及计算机存储介质。

背景技术：

1、传统的图像编解码技术是针对人类视觉特性设计的，而随着深度神经网络在各项机器视觉任务中展现出的优越性能，例如图像分类、目标检测、语义分割等，涌现出大量基于机器视觉的人工智能应用。为了保证机器视觉任务的性能不因图像编码过程而受损，采取先分析后编码的模式应对机器视觉需求，即在图像获取端直接将无损的图像通过神经网络进行特征提取，然后对所提取的特征进行编码传输，解码端直接利用解码后的特征输入到后续网络结构中完成不同的机器视觉任务。因此，为了节省传输带宽资源，需要研究针对机器视觉的图像编码方法。

2、然而，目前的图像编解码过程中特征处理算法上存在一定的缺陷，导致无法提取最优的特征表示，例如，当处理大分辨率图像时，子块后每个子块分别经过整个压缩重建过程再拼接，重建图片仍会存在块效应。

技术实现思路

1、本申请提供一种图像特征处理方法、图像特征补偿方法、图像编码方法、图像解码方法、装置以及计算机存储介质。

2、本申请采用的一个技术方案是提供一种图像特征处理方法，所述图像特征处理方法包括：

3、获取待处理的原始图像特征；

4、将所述原始图像特征划分为若干第一特征重叠子块，其中，相邻第一特征重叠子块包括相同的重叠区域；

5、将所述若干第一特征重叠子块分别输入卷积网络，获取处理后的第二特征重叠子块；

6、将若干第二特征重叠子块进行拼接，得到目标图像特征。

7、其中，所述将若干第二特征重叠子块进行拼接，得到目标图像特征，包括：

8、按照所述原始图像特征的均分区域对每一第二特征重叠子块进行裁剪，获取第三特征重叠子块；

9、将所述第三特征重叠子块按照所述原始图像特征的均分区域进行拼接，得到所述目标图像特征。

10、其中，所述将若干第二特征重叠子块进行拼接，得到目标图像特征，包括：

11、获取所有第二特征重叠子块对，其中，所述第二特征重叠子块对包括相邻的两个第二特征重叠子块；

12、获取所述相邻的两个第二特征重叠子块在所述原始图像特征上的重合区域；

13、分别获取所述相邻的两个第二特征重叠子块对应重合区域的第一重叠区域和第二重叠区域；

14、获取所述第一重叠区域和所述第二重叠区域的平均值区域；

15、基于所述第二特征重叠子块对中的非重合区域和平均值区域，得到所述第二特征重叠子块对的拼接结果；

16、将所有第二特征重叠子块对的拼接结果进行拼接，得到所述目标图像特征。

17、其中，图像编码或图像解码中的变换、反变换、辅变换、辅反变换、编解码模块、概率模型、上下文预测器、预测器中的至少一种包括所述卷积网络，以实现图像特征处理功能。

18、其中，图像编码或图像解码中的变换、反变换、辅变换、辅反变换中的至少一种的非局部注意力模块包括所述卷积网络，以实现图像特征处理功能；

19、所述将若干第一特征重叠子块分别输入卷积网络，获取处理后的第二特征重叠子块，包括：

20、对所述第一特征重叠子块中的每一特征点执行：

21、利用所述非局部注意力模块提取目标特征点及其预设范围内的局部特征点；

22、利用所述局部特征点的归一化权重对所述目标特征点进行加权，得到目标注意力特征点。

23、本申请采用的另一个技术方案是提供一种图像特征补偿方法，所述图像特征补偿方法包括：

24、获取解码特征；

25、基于所述解码特征以及上下文预测器或者预测器输出的预测结果，获取待重建特征；

26、利用所述解码特征的已有特征生成补偿值；

27、利用所述补偿值补偿所述待重建特征，并将补偿后的特征输入反变换或者辅反变换，输出所述解码特征的解码图像；

28、其中，所述反变换或者辅反变换通过上述的图像特征处理方法处理所述补偿后的特征。

29、其中，所述利用所述解码特征的已有特征生成补偿值，包括：

30、获取所述解码特征的特征精度损失范围；

31、将所述已有特征通过预设函数变换到所述特征精度损失范围，生成所述补偿值；

32、其中，所述已有特征包括所述预测结果，和/或所述上下文预测器或者预测器向概率模型输出的预测值。

33、本申请采用的另一个技术方案是提供一种图像编码方法，所述图像编码方法包括：

34、通过上述的图像特征处理方法，获取待编码图像的图像特征；

35、通过主编码网络的编码模块对所述图像特征进行编码，得到所述待编码图像编码的特征码流。

36、本申请采用的另一个技术方案是提供一种图像解码方法，所述图像解码方法包括：

37、通过主解码网络的解码模块对特征码流进行解码，得到所述特征码流的解码图像特征；

38、通过上述的图像特征处理方法，和/或上述的图像特征补偿方法，获取解码图像特征的变换图像特征；

39、根据所述变换图像特征得到所述特征码流对应的解码图像。

40、本申请采用的另一个技术方案是提供一种图像编码装置，所述图像编码装置包括存储器以及与所述存储器耦接的处理器；

41、其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像特征处理方法，和/或图像编码方法。

42、本申请采用的另一个技术方案是提供一种图像解码装置，所述图像解码装置包括存储器以及与所述存储器耦接的处理器；

43、其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像特征处理方法、图像特征补偿方法，和/或图像解码方法。

44、本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像特征处理方法、图像特征补偿方法、图像编码方法，和/或图像解码方法。

45、本申请的有益效果是：图像编码装置和/或图像解码装置获取待处理的原始图像特征；将所述原始图像特征划分为若干第一特征重叠子块，其中，相邻第一特征重叠子块包括相同的重叠区域；将所述若干第一特征重叠子块分别输入卷积网络，获取处理后的第二特征重叠子块；将若干第二特征重叠子块进行拼接，得到目标图像特征。本申请通过重叠分块策略，减轻重建图像的块效应问题，减轻装置显存压力。

技术特征：

1.一种图像特征处理方法，其特征在于，所述图像特征处理方法包括：

2.根据权利要求1所述的图像特征处理方法，其特征在于，

3.根据权利要求1所述的图像特征处理方法，其特征在于，

4.根据权利要求1所述的图像特征处理方法，其特征在于，

5.根据权利要求4所述的图像特征处理方法，其特征在于，

6.一种图像特征补偿方法，其特征在于，所述图像特征补偿方法包括：

7.根据权利要求6所述的图像特征补偿方法，其特征在于，

8.一种图像编码方法，其特征在于，所述图像编码方法包括：

9.一种图像解码方法，其特征在于，所述图像解码方法包括：

10.一种图像编码装置，其特征在于，所述图像编码装置包括存储器以及与所述存储器耦接的处理器；

11.一种图像解码装置，其特征在于，所述图像解码装置包括存储器以及与所述存储器耦接的处理器；

12.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至5任一项所述的图像特征处理方法、权利要求6至7任一项所述的图像特征补偿方法、权利要求8所述的图像编码方法，和/或权利要求9所述的图像解码方法。

技术总结
本申请公开了一种图像特征处理方法、图像特征补偿方法、图像编码方法、图像解码方法、装置以及计算机存储介质，该方法包括：获取待处理的原始图像特征；将所述原始图像特征划分为若干第一特征重叠子块，其中，相邻第一特征重叠子块包括相同的重叠区域；将所述若干第一特征重叠子块分别输入卷积网络，获取处理后的第二特征重叠子块；将若干第二特征重叠子块进行拼接，得到目标图像特征。本申请通过重叠分块策略，减轻重建图像的块效应问题，减轻装置显存压力。

技术研发人员：施晓迪,粘春湄,江东,林聚财,殷俊
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：
技术公布日：2024/3/27