一种编码单元处理方法与流程

本发明涉及图像编码，特别是涉及一种编码单元处理方法。

背景技术：

1、实际成像系统(如ccd、cmos图像传感器、红外成像仪等)采集的数字图像，一方面受传感器排列密度等硬件实现条件和成本的限制，采集的图像分辨率较低，另一方面在成像过程受诸多因素影响(如光学系统相差、大气扰动、运动、离焦、系统噪音等[3])还会使图像发生模糊、变形等质量退化现象。传统的图像复原技术可从一定程度改善退化图像的质量，但并不改变复原图像的分辨率，另外，高分辨率图像在诸多领域有着重要应用，超分辨率复原技术(super－resolution，sr)即是在此背景下提出来的。所谓超分辨率复原，即是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。而传统的大多数超分辨率方法在视频编解码器中的环内操作，但是操作的过程过于复杂，使这些操作在计算上不易于处理。

技术实现思路

1、本发明要解决的技术问题是：现有技术中的超分辨率方法需在视频编解码器中的环内进行操作而不便于处理的问题。

2、为了解决上述技术问题，本发明提供了一种编码单元处理方法，包括：

3、步骤s100：对视频中的图像帧按非规范过程进行缩小，并以较低的空间分辨率对缩小的图像帧进行编码得到编码帧；

4、步骤s200：使用解块滤波器以及约束方向增强滤波器去除编码帧的噪声；

5、步骤s300：通过线性放大过程用作规范过程将编码帧恢复到原始空间分辨率；

6、步骤s400：采用环路恢复以更高的空间分辨率来增强编码帧的高频信息。

7、进一步的，在所述步骤s100中，对视频中的图像帧按非规范过程进行缩小，并以较低的空间分辨率对缩小的图像帧进行编码得到编码帧，包括：

8、步骤s110：对视频中的图像帧按非规范过程进行缩小；

9、步骤s120：通过使用帧内预测和帧间预测的方法降低图像帧的空间冗余和时间冗余；

10、步骤s130：通过对图像帧从时域到频域的变换方法来去除图像帧的帧内和帧间相邻数据之间的相关性；

11、步骤s140：对图像帧通过使用更粗糙的数据表示精细的数据来降低图像帧的数据量；

12、步骤s150：根据图像帧的数据的概率特性来减少图像帧的数据冗余以降低图像帧的空间分辨率；

13、步骤s160：对图像帧进行编码得到编码帧。

14、进一步的，在步骤s120，通过使用帧内预测和帧间预测的方法降低图像帧的空间冗余和时间冗余中；

15、帧内预测方法是指通过利用当前图像帧内编码块同一图像帧的已经编码的块信息对当前像素块进行编码预测；

16、帧间预测方法是指通过利用当前图像帧前已经编码的图像帧的信息对当前像素块进行编码预测。

17、进一步的，在步骤s130中，通过对图像帧从时域到频域的变换方法来去除图像帧的帧内和帧间相邻数据之间的相关性，包括：

18、步骤s131：将图像帧内的图像进行分块；

19、步骤s132：在每一块图像中对图像进行离散余弦变换和离散余弦反变换将空域的信号转换到频域上，再将图像块进行合并；

20、步骤s133：将图像进行分块，然后在每一块中对图像进行dct变换和反变换。

21、进一步的，在所述步骤s300中，通过线性放大过程用作规范过程将编码帧恢复到原始空间分辨率，包括：

22、步骤s310：基于插值法，根据编码帧的已知像素点的位置和待插值点的位置以及插值函数来计算各个已知像素点的权重；

23、步骤s320：根据这些已知像素点的取值和对应的权重来估计待插值点的像素值；

24、步骤s330：通过线性放大过程将待插像素点插入到已知像素点之间得到原始空间分辨率的编码帧。

25、进一步的，在所述步骤s400中，采用环路恢复以更高的空间分辨率来增强编码帧的高频信息，包括：

26、步骤s410：基于插值法，根据编码帧的已知像素点的位置和待插值点的位置以及插值函数来计算各个已知像素点的权重；

27、步骤s420：根据这些已知像素点的取值和对应的权重来估计待插值点的像素值；

28、步骤s430：采用环路恢复将待插像素点插入到已知像素点之间得到更高空间分辨率的编码帧，增强编码帧的部分高频。

29、进一步的，对图像帧的缩小和对编码帧的线性放大为仅限于水平方向上的缩小和放大。

30、进一步的，在采用环路恢复以更高的空间分辨率来增强编码帧的高频信息之后，

31、将每次得到的更高空间分辨率的编码帧更新到参考缓冲区进行存储，以对后续的编码帧进行编码。

32、本发明实施例一种编码单元处理方法与现有技术相比，其有益效果在于：

33、本发明通过在视频编码中使用帧超分辨率编码模式，能以较低的空间分辨率对帧进行编码，并将超分辨过程分解为线性放大，以更高的空间分辨率应用循环恢复工具来增强编码帧的高频信息，使该方法有较低的比特率可感知优势，极大的降低了操作的复杂程度，解决了超分辨率方法需在视频编解码器中的环内进行操作的问题。

技术特征：

1.一种编码单元处理方法，其特征在于，包括：

2.根据权利要求1所述的一种编码单元处理方法，其特征在于，在所述步骤s100中，对视频中的图像帧按非规范过程进行缩小，并以较低的空间分辨率对缩小的图像帧进行编码得到编码帧，包括：

3.根据权利要求2所述的一种编码单元处理方法，其特征在于，在步骤s120，通过使用帧内预测和帧间预测的方法降低图像帧的空间冗余和时间冗余中；

4.根据权利要求1所述的一种编码单元处理方法，其特征在于，在步骤s130中，通过对图像帧从时域到频域的变换方法来去除图像帧的帧内和帧间相邻数据之间的相关性，包括：

5.根据权利要求1所述的一种编码单元处理方法，其特征在于，在所述步骤s300中，通过线性放大过程用作规范过程将编码帧恢复到原始空间分辨率，包括：

6.根据权利要求1所述的一种编码单元处理方法，其特征在于，在所述步骤s400中，采用环路恢复以更高的空间分辨率来增强编码帧的高频信息，包括：

7.根据权利要求1所述的一种编码单元处理方法，其特征在于，

8.根据权利要求1所述的一种编码单元处理方法，其特征在于，在采用环路恢复以更高的空间分辨率来增强编码帧的高频信息之后，

技术总结
本发明公开了一种编码单元处理方法，其包括：对视频中的图像帧按非规范过程进行缩小，并以较低的空间分辨率对缩小的图像帧进行编码得到编码帧；使用解块滤波器以及约束方向增强滤波器去除编码帧的噪声；通过线性放大过程用作规范过程将编码帧恢复到原始空间分辨率；采用环路恢复以更高的空间分辨率来增强编码帧的高频信息。本发明通过在视频编码中使用帧超分辨率编码模式，能以较低的空间分辨率对帧进行编码，并将超分辨过程分解为线性放大，以更高的空间分辨率应用循环恢复工具来增强编码帧的高频信息，使该方法拥有较低的比特率可感知优势，极大的降低了操作的复杂程度，解决了超分辨率方法需在视频编解码器中的环内进行操作的问题。

技术研发人员：范伟宁,王晓莉,邓澍,徐丛丛,邱娜,于亮,张凡锐,董瑶瑶
受保护的技术使用者：华能信息技术有限公司
技术研发日：
技术公布日：2024/1/12