一种支持多源数据融合的视频分级编码方法及架构与流程

本发明涉及数据处理方法和处理装置，具体涉及一种显示数据的处理方法及处理装置。

背景技术：

视频传输需要消耗大量带宽，在视频监控领域，实时的高清码流消耗带宽和系统处理资源最大。因此在现有技术中，通常采用对源视频编码压缩处理分别形成适合实时传输的低速率码流和适合延时传输的高速率码流来解决带宽问题。但是仅利用码流速率适配带宽并不能保证视频中信息的实时可靠传输。当码流降低时视频中携带的信息质量也相应降低甚至无法使用。采用不同的编码方式将视频中的信息与相应的视频进行分别编码，并形成源视频的分级码流是可行的。现有技术中，视频编码器，没有抽象层子码流，不能接收外部传感器的多源信息，即无法根据外部传感器的信息对视频进行相应的编码处理。

外部传感器提供的多源信息能够使视频对象的描述更加准确，但在现有技术中，多源数据无法应用到视频对象的描述中，从而导致视频对象的描述不够准确、全面。

传统的视频编码器与运动分析模块相互独立，编码器计算出的运动向量仅供编码器内部使用，运动分析模块如需运动向量数据只能在其模块内部重新计算，通过运动搜索获得运动向量需耗费大量资源。传统的运动分析模块即为本发明实施例中的智能分析模块。

视频分级码流的处理方法有利于降低网络延时、带宽变化以及信道丢包对视频传输的影响，提高视频的重建质量。

技术实现要素：

有鉴于此，本发明实施例提供了一种支持多源数据融合的视频分级编码方法，解决了现有视频编码器不具备接收外部多源传感器信息功能的问题，同时解决了现有视频编码器和运动分析模块相互独立导致运动向量不能共用的问题。

本发明实施例提供了一种支持多源数据融合的视频分级编码架构，适用于视频处理系统，解决了现有视频编码器装置不能接收外部传感器信息且工作效率低下、不能有效突出重点信息等问题。

本发明的支持多源数据融合的视频分级编码方法，适用于视频处理系统，所述方法包括：

步骤10，获取外部传感器多源信息和同步视频,根据预置分析模型，形成同步视频中的视频对象，将多源信息与相应的视频对象相结合，形成对象描述信息；

步骤20，获取分配的同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；

步骤40，对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。

还包括：

步骤12，将视频对象在同步视频中的范围形成对象坐标信息；

步骤22，根据对象坐标信息，对同步视频中的图像范围进行重点优化。

还包括：

步骤12，将视频对象在同步视频中的范围形成对象坐标信息；

步骤42，根据对象坐标信息，对优化视频相应范围进行视频优化编码。

所述优化与重点优化采用并行进行和/或串行进行，所述视频优化编码与视频编码采用并行进行和/或串行进行。

本发明的支持多源数据融合的视频分级码流编码架构，包括智能分析处理器、图像信号处理器和视频分级码流编码器，其中：

智能分析处理器，用于获取外部传感器多源信息和同步视频，根据预置分析模型，形成同步视频中的视频对象，将多源信息与相应的视频对象相结合，形成对象描述信息；

图像信号处理器，用于获取分配的同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；

视频分级码流编码器，用于对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。

所述智能分析处理器还包括：

获取多源信息装置，用于获取外部传感器多源信息；

形成视频对象装置，用于根据预置分析模型，形成同步视频中的视频对象，并将视频对象在同步视频中的范围形成对象坐标信息；

对象描述信息装置，用于将多源信息与相应的视频对象相结合，形成对象描述信息。

所述图像信号处理器还包括图像重点优化装置，用于根据对象坐标信息，对同步视频中的图像范围进行重点优化。

所述视频分级码流编码器还包括视频优化编码装置，用于根据对象坐标信息，对优化视频相应范围进行视频优化编码。

本发明实施例的支持多源数据融合的视频分级编码方法，将外部传感器接收的多源数据信息与优化的视频通过编码进行同步结合，使源视频形成包含视频内容和多源数据信息相关信息的分级码流。使得可以按需分发分级码流的部分或全部，在传输带宽和视频信息量上取得均衡。将视频优化过程和视频分析过程有机结合，在视频分析过程中将视频对象分析过程和视频对象处理过程分布处理，充分兼顾了分析、处理负荷的均衡。

本发明实施例的支持多源数据融合的视频分级编码架构，形成了合理的编码分布式架构，将对象智能分析，对象处理和编码功能分布设置，避免了数据处理负荷无法分担的缺陷。

附图说明

图1为本发明支持多源数据融合的视频分级编码方法实施例的流程图；

图2位本发明支持多源数据融合的视频分级编码架构实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

如图1所示，本发明实施例的支持多源数据融合的视频分级编码方法，包括：

步骤05，将源视频形成多路同步视频；

步骤10，获取外部传感器多源信息和同步视频,根据预置分析模型，形成同步视频中的视频对象，将多源信息与相应的视频对象相结合，形成对象描述信息；

步骤20，获取分配的同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；

步骤40，对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流；

步骤45，分级码流按需输出。

本实施例的支持多源数据融合的视频分级编码方法，还包括：

步骤12，将视频对象在同步视频中的范围形成对象坐标信息；

步骤22，根据对象坐标信息，对同步视频中的图像范围进行重点优化；

步骤42，根据对象坐标信息，对优化视频相应范围进行视频优化编码。

获取外部传感器的多源信息，多源信息包含外部传感器给出的光线信息、报警信息、文字信息、特殊图像信息等，具体包括ETC卡口信息、电子车牌卡口信息、公交/地铁刷卡信息、红外/激光探测仪信息等信息。

获取外部传感器的多源信息，当多源信息经过智能分析后发现信息中包含报警信息时，视频编码装置既可以将报警信息按照普通信息方式处理，也可对报警信息采用特殊编码方式，形成分级码流输出。

获取视频数据信息，同时对外部传感器的多源信息进行智能分析，并形成抽象描述的过程中，智能分析过程根据外部传感器给出的多源信息，对视频数据采取重点突出处理，如车辆区域、车牌区域、人脸区域等，进一步包括但不限于具有移动、运动状态的上述对象。

经过智能分析模块重点突出的视频区域，采用图像信息处理装置对重点视频区域进行图像增强、去噪、坏点修补等优化手段，使得重点区域优化后的视频图像更加有利于智能分析过程中对视频图像的处理。

对视频进行优化处理包括但不限于进行影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等，提高视频质量。

本实施例的支持多源数据融合的视频分级编码方法，将视频优化过程和视频分析过程有机结合，在视频分析过程中将视频对象分析过程和多源信息获取过程分布处理，充分兼顾了分析、处理负荷的平衡。并将优化的视频与外部传感器获取的多源信息通过编码形式同步结合，使源视频形成包含视频内容和外部传感器获取的多源信息有关的分级码流。使得可以按需分发分级码流的部分或全部，在传输带宽和视频信息量上取得均衡。

上述实施例的支持多源数据融合的视频分级编码方法中，将源视频形成多路同步视频，可以采用视频同步分配的方式，也可以采用视频缓存后，按需获取的方式。

上述实施例的支持多源数据融合的视频分级编码方法中，同步视频中的图像可以是视频中的(图像)帧，或形成帧的(部分图像)场。

上述实施例的支持多源数据融合的视频分级编码方法中，优化与重点优化采用并行进行和/或串行进行。同步可以加快优化速度，异步可以提高优化质量，两者结合可以平衡优化效果与运算负荷。

优化包括将完整的帧或场的图像特征进行包括但不限于AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma校正、祛除坏点、影像坏点修补、白平衡、锐利度调整、颜色插值、Auto Black Level、Auto White Level等优化处理，以及优化处理的组合。

重点优化包括将该(指定)范围内的图像特征突出或弱化的处理(例如包括优化的处理)。使得既可以通过突出视频对象的方式进行优化，也可以通过弱化背景对象的方式进行优化。

上述实施例的支持多源数据融合的视频分级编码方法中，视频优化编码与视频编码采用并行进行和/或串行进行。同步可以加快优化速度，异步可以提高优化质量，两者结合可以平衡优化效果与运算负荷。

视频编码包括根据预置的编码策略对完整视频进行编码压缩、编码优化、码流分级等过程，必然也包括编码压缩中的块在帧间的矢量运动计算等计算过程。

视频优化编码包括将该(指定)范围内的视频压缩变弱或变强的编码策略。使得既可以通过提高视频对象质量的方式进行优化，也可以通过弱化背景对象质量的方式进行优化。

上述的形成的视频对象，为预置分析模型中可以识别的视频场景中的界限、符号、范围、物体等，进一步包括但不限于车辆区域、车牌区域、人脸区域等，进一步包括但不限于具有移动、运动状态的上述对象。

形成的对象描述信息包括但不限于如车型、车牌、名字、尺寸、体积、报警等信息。

上述对象坐标信息，包括至少一个视频对象的对象坐标信息。

如图2所示，本发明实施例的支持多源数据融合的视频分级编码架构，包括智能分析处理器70、图像信号处理器80和视频分级码流编码器90，其中：

智能分析处理器70，用于获取外部传感器多源信息和同步视频，根据预置分析模型，形成同步视频中的视频对象，将多源信息与相应的视频对象相结合，形成对象描述信息；

图像信号处理器80，用于获取分配的同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；

视频分级码流编码器90，用于对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。

本发明实施例的支持多源数据融合的视频分级编码架构，还包括视频分配器50，将源视频形成多路同步视频。

本发明实施例的支持多源数据融合的视频分级编码架构中，智能分析处理器70还包括：

获取多源信息装置(71)，用于获取外部传感器多源信息；

形成视频对象装置(72)，用于根据预置分析模型，形成同步视频中的视频对象，并将视频对象在同步视频中的范围形成对象坐标信息；

对象描述信息装置(73)，用于将多源信息与相应的视频对象相结合，形成对象描述信息。

图像信号处理器80还包括图像重点优化装置82，用于根据对象坐标信息，对同步视频中的图像范围进行重点优化；

视频分级码流编码器90还包括视频优化编码装置92，用于根据对象坐标信息，对优化视频相应范围进行视频优化编码。

本实施例的支持多源数据融合的视频分级编码方法和装置，将视频优化过程和视频分析过程有机结合，充分兼顾了分析、处理负荷的平衡。并将优化的视频与外部传感器接收的多源信息通过编码形式同步结合，使源视频形成包含视频内容和各视频对象相关信息的分级码流。并且可以按需分发分级码流的部分或全部，在传输带宽和视频信息量上取得均衡。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。