运动图像编码装置、运动图像解码装置的制作方法

本发明的实施方式涉及运动图像编码装置、运动图像解码装置。本申请基于2021年9月22在日本提出申请的日本专利申请2021-153957号主张优先权，并将其内容援引于此。

背景技术：

1、为了高效地传输或记录运动图像，使用通过对运动图像进行编码来生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。

2、作为具体的运动图像编码方式，例如可以列举出h.264/avc、h.265/hevc(high-efficiency video coding：高效运动图像编码)方式等。

3、在这样的运动图像编码方式中，构成运动图像的图像(图片)通过分级结构来管理，并按每个cu进行编码/解码，所述分级结构包括：通过分割图像而得到的切片、通过分割切片而得到的编码树单元(ctu：coding tree unit)、通过分割编码树单元而得到的编码单位(有时也称为编码单元(coding unit：cu))以及通过分割编码单位而得到的转换单元(tu：transform unit)。

4、此外，在这样的运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而得到的局部解码图像而生成预测图像，对从输入图像(原图像)中减去该预测图像而得到的预测误差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举出画面间预测(帧间预测)和画面内预测(帧内预测)。

5、此外，作为近年来的运动图像编码和解码的技术，可列举出非专利文献1。

6、在非专利文献1中，规定了作为为了对重构图像降低块边界失真而应用的滤波处理的去块滤波技术。

7、在非专利文献2中，公开了跳过去块滤波而实施神经网络滤波，通过尺度值控制神经网络滤波的强度的方法。

8、现有技术文献

9、非专利文献

10、非专利文献1：itu-t recommendation h.266(08/20)2020-08-29

11、非专利文献2：h.wang，j.chen，k.reuze，“a.m.kotra and m.karczewicz，ee1-related：neural network-based in-loop filter with constrained computationalcomplexity，”jvet-w0131，july.2021.

技术实现思路

1、发明要解决的问题

2、在非专利文献1中，若使用表示去块滤波的强度的bs值来实施去块滤波，则存在由于图像被平滑化而丢失边缘信息的问题。

3、在非专利文献2中，公开了利用表示非专利文献1的块噪声的强度的bs值，具有去块滤波的效果的神经网络滤波。然而，在将神经网络滤波强度的尺度值设为0的情况下，输出去块滤波前的解码图像，存在看得见块噪声的问题。此外，图像的性质根据传递函数、颜色空间而变化，不能适当地进行对这些多个传递函数、颜色空间的图像的处理。

4、技术方案

5、本发明的一个方案的运动图像解码装置具备：参数解码部，对滤波参数进行解码；bs推导部，推导去块滤波强度bs；df部，进行去块滤波；nn滤波部，通过神经网络进行滤波处理；以及图像合成部，上述参数解码部以规定的块单位对表示nn滤波的应用程度的nn_area_weight参数进行解码，上述nn部从上述df部的处理前的图像输出第一图像，上述df部从上述nn滤波部的处理前的图像输出第二图像，上述图像合成部从上述第一图像、上述第二图像以及上述nn_area_weight推导出输出图像。

6、此外，具备：参数解码部，对与传递函数有关的亮度参数进行解码；以及nn滤波部，通过神经网络进行滤波处理，上述nn滤波部具备：亮度nn滤波部，对亮度图像进行滤波；以及色差nn滤波部，对色差图像进行滤波，上述亮度nn滤波部基于上述亮度参数来切换滤波处理。

7、而且，具备：参数解码部，对与颜色空间有关的色差参数进行解码；以及nn滤波部，通过神经网络进行滤波处理，上述nn滤波部具备：亮度nn滤波部，对亮度图像进行滤波；以及色差nn滤波部，对色差图像进行滤波，上述色差nn滤波部基于上述色差参数来切换滤波处理。

8、有益效果

9、通过设为这样的构成，无论神经网络滤波的强度如何，都能获得降低解码图像的块噪声的效果。此外，能获得对多个传递函数、色差参数的图像进行优选的处理的效果。

技术特征：

1.一种运动图像解码装置，具备：参数解码部，从编码数据解码滤波参数；df部，包括推导去块滤波强度bs的bs推导部，对解码图像应用去块滤波；nn滤波部，通过神经网络对所述解码图像应用滤波处理；以及图像合成部，所述运动图像解码装置的特征在于，

2.根据权利要求1所述的运动图像解码装置，其特征在于，

3.根据权利要求1所述的运动图像解码装置，其特征在于，

4.根据权利要求1所述的运动图像解码装置，其特征在于，

5.一种运动图像编码装置，具备：参数编码部，生成滤波参数；df部，包括推导去块滤波强度bs的bs推导部，进行去块滤波；nn滤波部，通过神经网络进行滤波处理；以及图像合成部，所述运动图像编码装置的特征在于，

6.根据权利要求5所述的运动图像编码装置，其特征在于，

7.根据权利要求5所述的运动图像编码装置，其特征在于，

8.根据权利要求5所述的运动图像编码装置，其特征在于，

9.一种运动图像解码装置，其特征在于，

10.根据权利要求9所述的运动图像解码装置，其特征在于，

11.根据权利要求9所述的运动图像解码装置，其特征在于，

12.一种运动图像解码装置，其特征在于，

13.根据权利要求12所述的运动图像解码装置，其特征在于，

技术总结
在将神经网络滤波强度的尺度值设为0的情况下，由于输出去块滤波前的解码图像，因此会出现块噪声。此外，在不考虑亮度/色差参数的情况下，无法适当地进行对多个传递函数、色差参数的图像的处理。以规定的块单位，使用表示NN滤波的应用程度的参数，改变比率来将去块滤波后的图像和NN滤波后的图像合成。此外，基于亮度参数来切换亮度图像的滤波处理，基于色差参数来切换色差图像的滤波处理。

技术研发人员：高田圭一郎,八杉将伸,猪饲知宏,青野友子,中条健,桥本知典
受保护的技术使用者：夏普株式会社
技术研发日：
技术公布日：2024/5/12