使用预处理的视频编码的制作方法

本发明涉及用于处理信号的方法，例如作为非限制性实例的视频、图像、超光谱图像、音频、点云、3dof/6dof和体积信号。处理数据可以包含但不限于在分级(基于层)编码格式的环境中获取、导出、编码、输出、接收并重构信号(其中信号以随后较高的质量层级分层解码)，利用并组合重构数据的后续层(“梯级”)。信号的不同层可以用不同的编码格式进行编码(例如作为非限制性实例的传统的基于单层dct的编解码器、iso/iec mpeg-5第2部分低复杂性增强视频编码smpte vc-6 2117等)，通过可以或可不在单个比特流中复用的不同基本流。

背景技术：

1、在基于层的编码格式中，诸如iso/iec mpeg-5第2部分lcevc(以下简称“lcevc”)或smpte vc-6 2117(以下简称“vc-6”)，信号被分解为多个数据“梯级”(也称为“分级层”)，从具有原始信号的采样率的最高梯级到通常具有低于原始信号的采样率的最低梯级，每个梯级对应于信号的“质量层级”(“loq”)。在非限制性实例中，当信号是视频流的帧时，最低梯级可以是原始帧的缩略图，或者甚至只是单个图片元素。其他梯级含有有关应用于重构再现以便产生最终输出的校正的信息。梯级可以基于残差信息，例如特定质量等级的原始信号的版本和相同质量等级的信号的重构版本之间的差异。最低梯级可不包括残差信息，但可包括原始信号的最低采样。给定质量层级的解码信号通过以下方式进行重构：首先对最低梯级(因此以第一最低质量层级重构该信号)进行解码，然后预测第二质量层级——下一较高质量层级信号的再现，然后对相应的第二梯级重构数据(也称为第二质量层级“残差数据”)进行解码，然后将预测数据与重构数据组合，以便重构第二较高质量层级信号的再现，等等，直到重构给定质量层级。重构该信号可以包含对残差数据进行解码，并使用该残差数据来校正特定质量等级的版本，该版本导出自较低质量等级的信号版本。不同梯级的数据可以使用不同的编码格式进行编码，并且不同的质量层级可以具有不同的采样率(例如，针对图像或视频信号的情况的分辨率)。后续梯级可以指信号的相同信号分辨率(即，采样率)，或指越来越高的信号分辨率。

2、当生成分级信号编码时，期望能够控制不同编码层的内容。举例来说，在诸如lcevc和vc-6等方案中，可能期望控制生成的一个或多个残差流的内容，例如以全局方式。在一种情况下，可能期望减少残差流的信息内容，例如减少需要传输的残差数据量，和/或生成具有更易于压缩形式的残差数据，例如当应用游程编码和霍夫曼编码中的一者或多者时。

3、在对信号(诸如音频和/或视频信号)进行编码时，通常还需要应用信号处理操作来适应实时帧率，例如在30或60赫兹的频率下——即每帧33毫秒或16毫秒。处理通常还需要在资源有限的装置上执行，诸如在电池供电的移动装置上进行视频会议和/或从边缘捕获装置发送监控视频期间。

技术实现思路

1、本发明的各个方面和变型在所附权利要求中阐述。

2、在下面的详细描述中进一步阐述了某些未要求保护的方面。

技术特征：

1.一种用于视频编码的方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述预处理和所述下采样实现对所述输入视频流的非线性修改。

3.根据任一前述权利要求所述的方法，其中在所述预处理阶段的所述预处理被可控地启用或禁用。

4.根据任一前述权利要求所述的方法，其中所述模糊滤波器和所述锐化滤波器按该次序级联。

5.根据任一前述权利要求所述的方法，其中所述模糊滤波器是高斯滤波器。

6.根据任一前述权利要求所述的方法，其中所述锐化滤波器包括反锐化掩模。

7.根据任一前述权利要求所述的方法，其中所述锐化滤波器是2d n×n滤波器，其中n是整数值。

8.根据任一前述权利要求所述的方法，其中所述锐化滤波器使用可调系数值。

9.根据任一前述权利要求所述的方法，其中所述一组编码器实现比特率阶梯。

10.根据任一前述权利要求所述的方法，其中在所述一组编码器处的所述编码包括使用第一编码方法以所述第一空间分辨率对从所述输入视频流导出的所述信号进行编码，并且使用第二编码方法以所述第二空间分辨率对从经下采样的输入视频流导出的所述信号进行编码，其中所述第一编码方法和所述第二编码方法不同。

11.根据权利要求10所述的方法，其中来自所述第一方法和所述第二方法的编码信号被输出为lcevc编码数据流。

12.根据权利要求1至9中任一项所述的方法，其中在所述一组编码器处的所述编码包括使用第一编码方法以所述第一空间分辨率对从所述输入视频流导出的所述信号进行编码，并且使用第二编码方法以所述第二空间分辨率对从经下采样的输入视频流导出的所述信号进行编码，其中所述第一编码方法和所述第二编码方法相同。

13.根据权利要求12所述的方法，其中所述第一编码方法和所述第二编码方法生成vc-6编码数据流的至少一部分。

14.根据任一前述权利要求所述的方法，其中在所述一组编码器处的所述编码包括对残差流进行编码，所述残差流是基于所述第一空间分辨率下的所述输入视频流的重构与所述第一空间分辨率下的所述输入视频流的比较而生成的，所述第一空间分辨率下的所述视频流的所述重构是从所述第二空间分辨率下的所述视频流的重构导出的。

15.根据任一前述权利要求所述的方法，其中在所述一组编码器处的所述编码包括以所述第二空间分辨率或更低的空间分辨率对所述输入视频流进行编码，并且其中在所述一组编码器处的所述编码进一步包括对第二残差流进行编码，所述第二残差流是基于所述第二空间分辨率下的所述输入视频流的重构与所述第二空间分辨率下的所述输入视频流的比较而生成的，所述第二空间分辨率下的所述输入视频流的所述重构是从所述第二空间分辨率或更低的空间分辨率下的所述编码输入视频流的解码导出的。

16.根据任一前述权利要求所述的方法，其中所述方法进一步包括在第二下采样器处进行第二下采样以将所述输入视频流从所述第二空间分辨率转换为第三空间分辨率，所述第三空间分辨率低于所述第二空间分辨率，并且在所述第二下采样器之前的第二预处理阶段应用所述预处理。

17.根据权利要求16所述的方法，其中在所述预处理阶段和在所述第二预处理阶段的所述预处理以不同的组合被启用或禁用。

18.根据任一前述权利要求所述的方法，其中当所述预处理被启用时，由所述一组编码器中的一个或多个编码器使用的一个或多个图像度量被禁用，所述一个或多个图像度量任选地包括psnr或ssim图像度量。

19.一种用于视频编码的系统或设备，其被配置为执行根据任一前述权利要求所述的方法。

20.一种计算机可读介质，其包括指令，所述指令当被执行时使处理器执行根据权利要求1至18中任一项所述的方法。

技术总结
本发明提供了一种用于视频编码的技术。该技术包括在下采样器(820)处将第一分辨率(805)下的输入视频流下采样到第二分辨率(825)。该第二分辨率低于该第一分辨率。该技术使用一组编码器以第一空间分辨率和第二空间分辨率对从该输入视频流导出的信号进行编码。还提供了预处理阶段(830)，以在下采样器(820)处的该下采样之前对该第一分辨率(805)下的该输入视频流进行预处理。该预处理包括应用模糊滤波器(810)和锐化滤波器(815)。

技术研发人员：圭多·梅尔迪
受保护的技术使用者：V-诺瓦国际有限公司
技术研发日：
技术公布日：2024/1/15