用于实时指导编码的方法及设备与流程

本公开涉及对视频内容进行编码。具体来说，本公开涉及在具有实时预算的嵌入式装置上对视频内容进行编码。

背景技术：

1、现存视频编码技术利用所谓的内部帧(i帧)、预测帧(p帧)及双向帧(b帧)。所述3种不同帧类型可在特定情况下用来改进视频压缩效率。如本文中更详细地描述，大多数编解码器基于图像分析及度量对视频进行编码。图像分析在计算上是复杂的且通常需要帧之间的前瞻/后顾比较。

2、嵌入式装置是含有专用计算系统的计算装置。在许多情况下，嵌入式装置必须在严格的处理及/或存储器约束内操作以确保满足实时预算。例如，动作相机(例如goproherotm系列装置)必须以特定捕获速率(例如，每秒30帧(fps))捕获每一帧视频。实际上，视频压缩质量在嵌入式装置中可明显受限。

3、理想地，改进的解决方案会在具有实时预算的嵌入式装置上实现视频编码。

技术实现思路

技术特征：

1.一种用于实时指导编码器的方法，其包括：

2.根据权利要求1所述的方法，其进一步包括经由所述第一处理元件确定自动曝光设置，且所述实时信息包括所述自动曝光设置。

3.根据权利要求1所述的方法，其进一步包括经由所述第一处理元件确定颜色空间转换统计，且所述实时信息包括所述颜色空间转换统计。

4.根据权利要求1所述的方法，其进一步包括经由所述第一处理元件稳定图像，且所述实时信息包括运动向量。

5.根据权利要求4所述的方法，其进一步包括经由所述第二处理单元基于所述运动向量估计运动。

6.根据权利要求1所述的方法，其进一步包括经由所述第一处理元件降低时间噪声，且所述实时信息包括时间滤波器参数。

7.根据权利要求1所述的方法，其进一步包括经由所述第一处理元件检测面部的存在，且所述实时信息包括面部检测参数。

8.一种编码装置，其包括：

9.根据权利要求8所述的编码装置，其中所述第一处理元件包括图像信号处理器且所述第一校正包括以下至少一者：自动曝光、颜色校正或白平衡。

10.根据权利要求9所述的编码装置，其进一步包括：

11.根据权利要求8所述的编码装置，其中所述相机经配置以捕捉第二图像且对所述第一图像的所述第一校正进一步基于所述第二图像。

12.根据权利要求8所述的编码装置，其进一步包括存储器缓冲器且其中所述第一处理元件将所述第一编码参数写入到所述存储器缓冲器，且所述编码元件从所述存储器缓冲器原位读取所述第一编码参数。

13.根据权利要求12所述的编码装置，其中所述存储器缓冲器由单倍数据速率模式及双倍数据速率模式来表征，且其中所述第一处理元件在所述单倍数据速率模式下将所述第一编码参数写入到所述存储器缓冲器。

14.根据权利要求12所述的编码装置，其中所述存储器缓冲器由单倍数据速率模式及双倍数据速率模式来表征，且其中所述编码元件在所述单倍数据速率模式下从所述存储器缓冲器读取所述第一编码参数。

15.一种编码装置，其包括：

16.根据权利要求15所述的编码装置，其中所述主要数据流根据第一实时约束来捕捉且所述主要数据流根据第二实时约束来编码。

17.根据权利要求16所述的编码装置，其中所述第一实时约束包括帧速率且所述第二实时约束包括延时。

18.根据权利要求15所述的编码装置，其中所述第一参数包括量化参数、压缩参数、位率参数或图片群组(gop)大小中的至少一者。

19.根据权利要求15所述的编码装置，其中所述第一校正包括图像稳定或时间降噪中的至少一者。

20.根据权利要求15所述的编码装置，其中所述补充数据流是实时更新的。

技术总结
本公开提供用于实时指导编码的系统、设备及方法。在一个实例性实施例中，图像处理管线(IPP)在包含多个级的单片系统(SoC)内实施，结束于编解码器。所述编解码器将从先前级获得的视频压缩成位流以用于存储在可卸除媒体(例如，SD卡)内或用于输送(例如，通过Wi‑Fi、以太网或类似网络)。虽然实时编码的大多数硬件实施方案基于当前管线级中数据的受限前瞻(或后顾)分配位率，但所述实例性IPP利用在所述管线的所述先前级期间收集的实时指南。

技术研发人员：V·瓦克里,A·勒菲弗
受保护的技术使用者：高途乐公司
技术研发日：
技术公布日：2024/3/11