一种无人机8K视频中目标增强的编码方法及装置与流程

本发明属于视频编码，特别是涉及一种无人机8k视频中目标增强的编码方法及装置。

背景技术：

1、随着无人机行业的发展，大场景下对高分辨率视频特别是8k视频的需求不断增加。然而，目前的8k视频编解码仍存在一些挑战和问题，限制了其应用范围和实际效果。

2、8k视频所包含的数据量远远超过传统高清分辨率视频，导致编码后的码流大小大幅增加，进而需要更高的传输带宽。然而，在无人机领域，传输带宽通常十分有限，若一味的降低码率，又会导致视频中需要关注的区域模糊不清，失去监控意义，这使得直接将现有的8k视频编码方法应用于无人机领域变得困难。因此，如何在低码率编码条件下实现无人机8k大场景视频的小目标监控成为当前亟需解决的行业难题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种无人机8k视频中目标增强的编码方法及装置。

2、本发明的目的是通过以下技术方案来实现的：

3、本发明的第一方面提供了一种无人机8k视频中目标增强的编码方法，包括：

4、将无人机采集的原始8k视频序列下采样为第一分辨率的第一视频序列；

5、对第一视频序列进行编码，得到第一重建帧和第一码流；

6、对第一重建帧进行超分辨率重建，得到8k分辨率的第二重建帧；

7、根据原始8k视频序列和第二重建帧生成目标的第一增强信息；

8、对第一增强信息进行编码得到第二码流；

9、将第一码流和第二码流分别传输至解码端，以使得解码端根据第一码流和第二码流生成最终视频序列。

10、进一步地，所述第一分辨率为1080p或4k。

11、进一步地，根据原始8k视频序列和第二重建帧确定目标的第一增强信息，包括：

12、检测原始8k视频序列的各帧原始图像中目标的位置信息；

13、将第二ctu块与对应的第一ctu块逐像素相减，得到目标的第一增强信息；

14、其中，第一ctu块为原始图像中包含目标信息的ctu块，第二ctu块为第二重建帧中包含目标信息的ctu块。

15、进一步地，解码端根据第一码流和第二码流生成最终视频序列，包括：

16、解码端解析出第一码流，并对第一码流进行超分辨率重建，得到8k分辨率的重建序列；

17、解码端解析第二码流得到第二增强信息；

18、解码端将重建序列和第二增强信息叠加得到最终视频序列。

19、进一步地，对第一增强信息进行编码得到第二码流时，根据预设的码流大小和预设的编码质量调整量化步长，或者，根据预设的码流大小和预设的编码质量关闭量化。

20、进一步地，在编码时，将不包括目标信息的ctu块设置为skip模式。

21、本发明的第二方面提供了一种无人机8k视频中目标增强的编码装置，包括：

22、下采样模块，用于将无人机采集的原始8k视频序列下采样为第一分辨率的第一视频序列；

23、第一编码模块，用于对第一视频序列进行编码，得到第一重建帧和第一码流；

24、超分模块，用于对第一重建帧进行超分辨率重建，得到8k分辨率的第二重建帧；

25、增强信息生成模块，用于根据原始8k视频序列和第二重建帧生成目标的第一增强信息；

26、第二编码模块，用于对第一增强信息进行编码得到第二码流；

27、传输模块，用于将第一码流和第二码流分别传输至解码端，以使得解码端根据第一码流和第二码流生成最终视频序列。

28、进一步地，所述第一分辨率为1080p或4k。

29、进一步地，所述增强信息生成模块具体用于：

30、检测原始8k视频序列的各帧原始图像中目标的位置信息；

31、将第二ctu块与对应的第一ctu块逐像素相减，得到目标的第一增强信息；

32、其中，第一ctu块为原始图像中包含目标信息的ctu块，第二ctu块为第二重建帧中包含目标信息的ctu块。

33、进一步地，所述解码端具体用于：

34、解码端解析出第一码流，并对第一码流进行超分辨率重建，得到8k分辨率的重建序列；

35、解码端解析第二码流得到第二增强信息；

36、解码端将重建序列和第二增强信息叠加得到最终视频序列。

37、进一步地，所述第二编码模块还用于：根据预设的码流大小和预设的编码质量调整量化步长，或者，根据预设的码流大小和预设的编码质量关闭量化。

38、本发明的有益效果是：本发明的方法解决了传统编码方法对无人机拍摄8k视频编码后码流过大及监控目标清晰度的问题，现有方法在解决码流大小时，通常使用降低编码冗余的方法来提高压缩率，如对视频内容进行前背景分离，然后对背景进行更高压缩率的编码等，但这种方法依赖于视频内容的冗余度，因此压缩效率不稳定，对于复杂场景下的8k视频无法有效控制码流大小。本发明提出的基于帧级下采样的无人机8k低码率视频编码方法，可以在低分辨率下进行编码，编码后的码流大小远远小于8k下编码的码流，重建后又可超分至8k分辨率，对于监控目标的视频质量可由增强层的残差量化程度调节，该方法不依赖视频内容特性，实现了低码率传输超高清视频并实现小目标增强的目的。

技术特征：

1.一种无人机8k视频中目标增强的编码方法，其特征在于，包括：

2.根据权利要求1所述的一种无人机8k视频中目标增强的编码方法，其特征在于，所述第一分辨率为1080p或4k。

3.根据权利要求1所述的一种无人机8k视频中目标增强的编码方法，其特征在于，根据原始8k视频序列和第二重建帧确定目标的第一增强信息，包括：

4.根据权利要求1所述的一种无人机8k视频中目标增强的编码方法，其特征在于，解码端根据第一码流和第二码流生成最终视频序列，包括：

5.根据权利要求1所述的一种无人机8k视频中目标增强的编码方法，其特征在于，对第一增强信息进行编码得到第二码流时，根据预设的码流大小和预设的编码质量调整量化步长，或者，根据预设的码流大小和预设的编码质量关闭量化。

6.根据权利要求1所述的一种无人机8k视频中目标增强的编码方法，其特征在于，在编码时，将不包括目标信息的ctu块设置为skip模式。

7.一种无人机8k视频中目标增强的编码装置，其特征在于，包括：

8.根据权利要求7所述的一种无人机8k视频中目标增强的编码装置，其特征在于，所述增强信息生成模块具体用于：

9.根据权利要求7所述的一种无人机8k视频中目标增强的编码装置，其特征在于，所述解码端具体用于：

10.根据权利要求7所述的一种无人机8k视频中目标增强的编码装置，其特征在于，所述第二编码模块还用于：根据预设的码流大小和预设的编码质量调整量化步长，或者，根据预设的码流大小和预设的编码质量关闭量化。

技术总结
本发明公开了一种无人机8K视频中目标增强的编码方法及装置，属于视频编码技术领域。所述编码方法包括：将无人机采集的原始8K视频序列下采样为第一分辨率的第一视频序列；对第一视频序列进行编码，得到第一重建帧和第一码流；对第一重建帧进行超分辨率重建，得到8K分辨率的第二重建帧；根据原始8K视频序列和第二重建帧生成目标的第一增强信息；对第一增强信息进行编码得到第二码流；将第一码流和第二码流分别传输至解码端，以使得解码端根据第一码流和第二码流生成最终视频序列。本发明不依赖视频内容特性，实现了低码率传输超高清视频并实现小目标增强的目的。

技术研发人员：刘征,李子清,王友全,宋小民,李怡,周廷开,黄亚霏,李新宇,郑慧明,赵周丽
受保护的技术使用者：四川新视创伟超高清科技有限公司
技术研发日：
技术公布日：2024/2/19