一种基于私有化语法的色度残差编码优化方法及系统与流程

本发明属于图像和视频处理领域，具体涉及一种基于私有化语法的色度残差编码优化方法及系统。

背景技术：

1、在高品质图像和视频的处理过程中，yuv格式是常用的将亮度分量和色度分量分开表示的像素格式，常见的有yuv420，yuv422和yuv444等，其中yuv420的限制开始变得显而易见。由于yuv420在色彩采样上的限制，难以满足对色彩深度、色彩饱和度和细节保真度要求更高的应用需求。为了解决这些局限，当前在视频编码领域会选择采样率更高的视频格式，例如yuv422和yuv444。相比yuv420，yuv422和yuv444具有更高的色度采样率，这意味着，在yuv444中每个亮度样本都伴随着一个相应的色度样本，能更准确地捕捉图像和视频中的原始色彩信息，提升了图像和视频的质量和保真度。

2、但是，采用yuv444时，编码的色度信息复杂度是yuv420的4倍，在色度信息量成倍增加的情况下，编码复杂度也会提升，因此如果使用常用的h264/h265标准语法对色度进行压缩，编码复杂度会显著提高，并且编码压缩率偏低，导致高品质的视频和图像的网络传输效率变低。

技术实现思路

1、本发明提出了一种基于私有化语法的色度残差编码优化方法及系统，提升了编码压缩率和降低了编码复杂度，使高品质的视频和图像的网络传输效率更高。

2、本发明的第一方面提供了一种基于私有化语法的色度残差编码优化方法，所述方法包括：

3、获取第一图像，并将所述第一图像从第一yuv格式转换为第二yuv格式，获得第二yuv格式数据；其中，所述第一yuv格式的色度信息大于所述第二yuv格式的色度信息；

4、将第二yuv格式数据通过单通道的编码器进行编码传输，得到uv残差图像；其中，单通道包括u分量通道和v分量通道；

5、将uv残差图像传输至色度私有编码器，通过预设的帧级语法识别uv残差图像的帧的类型，并对满足预设类型的帧进行编码，得到优化处理的残差图像；

6、根据优化处理的残差图像，通过预设的宏块语法识别所述优化处理的残差图像内宏块的类型，并对满足预设类型的宏块进行编码，得到优化的色度码流；

7、将优化的色度码流向网络传输。

8、上述方案通过将高品质图像的数据进行转化，以兼容yuv420的编码器，然后通过预设的帧级语法删除部分无用语法并增加图像特征语法，增加了图像压缩率，通过预设的宏块语法提升特殊宏块的优先级，得到优化的色度码流，在不影响图像质量下减少了色度码流的编码复杂度，使高品质图像的传输效率更高。

9、在第一方面的一种可能的实现方法中，将所述第一图像从第一yuv格式转换为第二yuv格式，获得第二yuv格式数据，具体为：

10、将所述第一图像的yuv444格式数据，通过重新采样，转换为yuv420格式数据。

11、上述方案通过转换第一图像的数据为yuv420格式数据，使图像数据的格式能应用于大部分编码器进行编码。

12、在第一方面的一种可能的实现方法中，将第二yuv格式数据通过单通道的编码器进行编码传输，得到uv残差图像，具体为：

13、将第二yuv格式数据通过含有u分量通道和v分量通道的编码器进行编码，得到第三yuv格式数据；其中，第三yuv格式数据为第二yuv格式数据通过编码而受到损失的第二yuv格式数据；

14、将第三yuv格式数据采样至yuv444格式，得到第四yuv格式数据；

15、通过预设的处理函数对第四yuv格式数据的像素进行处理，得到uv残差图像。

16、上述方案通过预设的处理函数对第二yuv格式数据的像素进行处理，得到符合标准的uv残差图像，为下面的优化处理提供数据支撑。

17、在第一方面的一种可能的实现方法中，预设的处理函数，具体为：

18、根据预设的处理函数得到uv残差图像对应的像素值u'，具体公式为：

19、

20、其中，u1为第四yuv格式数据的像素值，uori为第一图像的像素值。

21、在第一方面的一种可能的实现方法中，将uv残差图像传输至色度私有编码器，通过预设的帧级语法识别uv残差图像的帧的类型，并对满足预设类型的帧进行编码，得到优化处理的残差图像，具体为：

22、将uv残差图像传输至色度私有编码器，通过预设的帧级语法的图像特征语法，对uv残差图像的帧的类型进行识别，然后对uv残差图像进行编码，得到优化处理的残差图像；

23、其中，如果uv残差图像的当前帧是zero帧或skip帧，跳过uv残差图像的当前帧，不进行编码；否则，对uv残差图像的当前帧进行编码。

24、上述方案通过预设的帧级语法对uv残差图像的帧进行判断，对于zero帧或skip帧不进行编码，其他类型的帧则进行编码，这样减小了编码的复杂度，有助于提升编码效率。

25、在第一方面的一种可能的实现方法中，根据优化处理的残差图像，通过预设的宏块语法识别所述优化处理的残差图像内宏块的类型，并对满足预设类型的宏块进行编码，得到优化的色度码流，具体为：

26、根据优化处理的残差图像，通过预设的宏块语法，提升zero宏块和skip宏块的优先级并识别优化处理的残差图像的宏块的类型，然后对优化处理的残差图像进行编码，得到优化的色度码流；

27、其中，如果优化处理的残差图像的当前宏块为zero类型或skip类型，跳过优化处理的残差图像的当前宏块，不进行编码；否则，对优化处理的残差图像的当前宏块进行编码。

28、上述方案通过预设的宏块语法，提升zero宏块和skip宏块的优先级，不对优化处理的残差图像的zero宏块和skip宏块进行编码，减少了编码的复杂度，还能减少色度码流的大小，便于色度码流的传输，提升了高品质图像的传输效率。

29、本发明第二方面提供了一种基于私有化语法的色度残差编码优化系统，所述系统包括：数据转化模块，数据传输模块，帧级优化模块，宏块优化模块和色度码流传输模块；

30、其中，所述数据转化模块用于获取第一图像，并将所述第一图像从第一yuv格式转换为第二yuv格式，获得第二yuv格式数据；其中，所述第一yuv格式的色度信息大于所述第二yuv格式的色度信息；

31、所述数据传输模块用于将第二yuv格式数据通过单通道的编码器进行编码传输，得到uv残差图像；其中，单通道包括u分量通道和v分量通道；

32、所述帧级优化模块用于将uv残差图像传输至色度私有编码器，通过预设的帧级语法识别uv残差图像的帧的类型，并对满足预设类型的帧进行编码，得到优化处理的残差图像；

33、所述宏块优化模块用于根据优化处理的残差图像，通过预设的宏块语法识别所述优化处理的残差图像内宏块的类型，并对满足预设类型的宏块进行编码，得到优化的色度码流；

34、所述色度码流传输模块用于将优化的色度码流向网络传输。

35、在第二方面的一种可能的实现方式中，数据转化模块包括：格式转化单元；

36、所述格式转化单元用于将所述第一图像的yuv444格式数据，通过重新采样，转换为yuv420格式数据。

37、在第二方面的一种可能的实现方式中，数据传输模块包括：残差图像处理单元；

38、所述残差图像处理单元用于将第二yuv格式数据通过含有u分量通道和v分量通道的编码器进行编码，得到第三yuv格式数据；其中，第三yuv格式数据为第二yuv格式数据通过编码而受到损失的第二yuv格式数据；将第三yuv格式数据采样至yuv444格式，得到第四yuv格式数据；通过预设的处理函数对第四yuv格式数据的像素进行处理，得到uv残差图像。

39、在第二方面的一种可能的实现方式中，帧级优化模块包括：帧级编码单元；

40、所述帧级编码单元用于将uv残差图像传输至色度私有编码器，通过预设的帧级语法的图像特征语法，对uv残差图像的帧的类型进行识别，然后对uv残差图像进行编码，得到优化处理的残差图像；

41、其中，如果uv残差图像的当前帧是zero帧或skip帧，跳过uv残差图像的当前帧，不进行编码；否则，对uv残差图像的当前帧进行编码。

42、在第二方面的一种可能的实现方式中，宏块优化模块包括：宏块编码单元；

43、所述宏块编码单元用于根据优化处理的残差图像，通过预设的宏块语法，提升zero宏块和skip宏块的优先级并识别优化处理的残差图像的宏块的类型，然后对优化处理的残差图像进行编码，得到优化的色度码流；

44、其中，如果优化处理的残差图像的当前宏块为zero类型或skip类型，跳过优化处理的残差图像的当前宏块，不进行编码；否则，对优化处理的残差图像的当前宏块进行编码。