一种联合装置的视频编码方法及架构与流程

本发明涉及视频编码技术领域，具体涉及一种视频编码方法及架构。

背景技术：

视频信号携带的数据量很大，对其进行传输需要消耗大量的流量与带宽，尤其在视频监控领域，实时的高清码流消耗的带宽和系统处理资源最大。因此在现有技术中，通常采用动态编码的方式对源视频进行压缩处理，即根据视频图像的状况实时调整码流速率的高低，例如，当视频图像中没有物体移动时，编码器自动将码流速率调整到一个较低的值，当视频图像中开始有物体移动时，编码器又自动将码流速率调整到一个较高的值，并且实时根据运动的剧烈程度进行调整，这样可以形成一个适合实时传输的低速率码流范围和一个适合延时传输的高速率码流范围，从而解决了带宽问题。然而仅利用码流速率适配带宽并不能保证视频中有用信息的实时可靠传输，当码流降低时视频中携带的信息质量也相应降低甚至无法使用，这很可能会错过用户所需要的信息，当码流提高时视频中所呈现的高质量画面也可能并不是用户所需求的信息，即这种仅根据视频图像的运动剧烈程度进行低码流与高码流设置的编码技术，并不能保证满足用户对有用视频信息的需求。

技术实现要素：

有鉴于此，本发明实施例提供了一种联合装置的视频编码方法，在克服了编码速率的同时，解决了现有编码技术无法实时满足用户需求的技术问题；本发明实施例还提供了一种联合装置的视频编码架构，解决了现有视频编码架构不合理，造成视频中所携带的有用信息无法实时可靠传输的技术问题。

本发明实施例提供的一种联合装置的视频编码方法，包括：

步骤10：获取源视频，根据预置优化模型，对源视频中的图像进行优化，形成优化视频；

步骤20：获取优化视频，根据预置分析模型，形成优化视频中的视频对象；

步骤30：将视频对象在优化视频中的范围形成对象坐标信息；

步骤40：获取优化视频、视频对象及其对应的对象坐标信息，根据预置重点优化模型，对视频对象在优化视频中相应的坐标区域内进行重点优化，形成重点优化视频；

步骤50：获取优化视频或重点优化视频，进行视频编码，形成编码视频；

其中，所述联合装置的视频编码方法，进一步包括：

步骤60：获取编码视频或重点优化视频、视频对象及其对应的对象坐标信息，根据预置优化编码模型，对视频对象在编码视频或重点优化视频中相应的坐标区域内进行视频优化编码；

其中，针对步骤40，进一步包括：

步骤41：为视频对象分配对应的重点优化模型；

步骤42：将相应视频对象的重点优化过程，以及相应的优化视频内容，根据预置的重点优化分配模型形成适配的并行重点优化序列，分配至相应的重点优化处理模块；

步骤43：形成图像重点优化模块的动态连接结构，适配获取的相应视频对象的重点优化序列，处理相应的优化视频内容，形成相应的重点优化视频；

其中，根据视频对象的性质和重要程度为其分配对应的重点优化模型，不同的重点优化模型对应不同的重点优化处理模块和相应的重点优化处理方法；

其中，一个重点优化处理模块对应多个视频对象时，其选择不同的处理参数对所述多个视频对象分别进行重点优化处理；

其中，所述预置优化编码模型根据视频对象的性质和重要程度对其采用相应的视频优化编码策略；

本发明实施例提供的一种联合装置的视频编码架构，包括图像信号处理器、智能分析处理器、视频区域捕捉装置、图像重点优化装置和视频编码器，其中：

图像信号处理器，用于获取源视频，根据预置优化模型，对源视频中的图像进行优化，形成优化视频；

智能分析处理器，用于获取优化视频，根据预置分析模型，形成优化视频中的视频对象；

视频区域捕捉装置，用于将视频对象在优化视频中的范围形成对象坐标信息；

图像重点优化装置，用于获取优化视频、视频对象及其对应的对象坐标信息，根据预置重点优化模型，对视频对象在优化视频中相应的坐标区域内进行重点优化，形成重点优化视频；

视频编码器，用于获取优化视频或重点优化视频，进行视频编码，形成编码视频；

其中，所述联合装置的视频编码架构，进一步包括：

视频优化编码装置，用于获取编码视频或重点优化视频、视频对象及其对应的对象坐标信息，根据预置优化编码模型，对视频对象在编码视频或重点优化视频中相应的坐标区域内进行视频优化编码；

其中，所述图像重点优化装置还包括重点优化模型分配单元、重点优化模块控制单元和重点优化处理模块，其中：

重点优化模型分配单元，用于为视频对象分配对应的重点优化模型；

重点优化模块控制单元，用于将相应视频对象的重点优化过程，以及相应的优化视频内容，根据预置的重点优化分配模型形成适配的并行重点优化序列，分配至相应的重点优化处理模块；

重点优化处理模块，用于形成图像重点优化模块的动态连接结构，适配获取的相应视频对象的重点优化序列，处理相应的优化视频内容，形成相应的重点优化视频。

本发明实施例提供的联合装置的视频编码方法，将智能分析过程和图像重点优化过程和/或视频优化编码过程有机结合，根据智能分析输出的结果，对不同视频对象采用不同的重点优化方法和/或优化编码策略，克服了编码速率的同时，满足了用户对视频中所携带信息的实时需求；本发明实施例提供的联合装置的视频编码架构，保证了视频中有用信息的实时可靠传输。

附图说明

图1所示为本发明一实施例提供的一种联合装置的视频编码方法的流程图。

图2所示为本发明另一实施例提供的一种联合装置的视频编码方法的流程图。

图3所示为本发明一实施例提供的一种联合装置的视频编码架构的结构示意图。

图4所示为本发明另一实施例提供的一种联合装置的视频编码架构的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

如图1所示，本发明实施例提供的联合装置的视频编码方法，包括：

步骤10：获取源视频，根据预置优化模型，对源视频中的图像进行优化，形成优化视频；

步骤20：获取优化视频，根据预置分析模型，形成优化视频中的视频对象；

步骤30：将视频对象在优化视频中的范围形成对象坐标信息；

步骤40：获取优化视频、视频对象及其对应的对象坐标信息，根据预置重点优化模型，对视频对象在优化视频中相应的坐标区域内进行重点优化，形成重点优化视频；

步骤50：获取优化视频或重点优化视频，进行视频编码，形成编码视频；

步骤70：压缩码流按需输出。

本发明一实施例提供的联合装置的视频编码方法，针对步骤40，进一步包括：

步骤41：为视频对象分配对应的重点优化模型；

步骤42：将相应视频对象的重点优化过程，以及相应的优化视频内容，根据预置的重点优化分配模型形成适配的并行重点优化序列，分配至相应的重点优化处理模块；

步骤43：形成图像重点优化模块的动态连接结构，适配获取的相应视频对象的重点优化序列，处理相应的优化视频内容，形成相应的重点优化视频。

上述的视频对象，为预置分析模型中可以识别的视频场景中的物体、范围、界限、符号等，包括但不限于人流区域、人脸区域、车流区域、车牌区域等，进一步包括但不限于具有移动或运动状态的上述对象。上述的对象坐标信息，包括至少一个视频对象的对象坐标信息。

上述并行重点优化序列，包括但不限于单一视频对象的一个或多个重点优化处理的序列，多个视频对象的一个或多个重点优化处理的序列，多个视频对象的同一个重点优化处理的序列等。

在上述步骤41中，根据视频对象性质和重要程度的不同为其分配对应不同的重点优化模型，而不同的重点优化模型即对应不同的重点优化处理模块和相应的重点优化处理方法，其中，该重点优化处理方法包括但不限于影像坏点修补、白平衡、gamma校正、锐利度、颜色插值等，这样一个视频对象可能会被分配至一个或多个重点优化处理模块进行重点优化处理，一个重点优化处理模块也可能对应一个或多个视频对象，当一个重点优化处理模块对应多个视频对象时，可选择不同的处理参数对该多个视频对象分别进行重点优化处理。

本实施例的联合装置的视频编码方法，将智能分析过程和图像优化过程有机结合，根据预置分析模型反馈的分析结果，对优化视频中的视频对象相应区域进行图像重点优化处理，并根据视频对象性质和重要程度的不同分别采用不同的优化处理方法，使用户感兴趣的区域可视效果显著增强，更利于后续的观察和分析，不感兴趣的区域所占带宽更小，更适合码流的传输。

如图2所示，本发明另一实施例提供的联合装置的视频编码方法，进一步包括：

步骤60：获取编码视频或重点优化视频、视频对象及其对应的对象坐标信息，根据预置优化编码模型，对视频对象在编码视频或重点优化视频中相应的坐标区域内进行视频优化编码。

其中，上述的预置优化编码模型也是根据视频对象性质和重要程度的不同对其采用相应不同的优化编码策略。视频优化编码与视频编码采用同步进行和/或异步进行的方式。同步可以加快优化速度，异步可以提高优化质量，两者结合可以平衡优化效果与运算负荷。

本实施例提供的联合装置的视频编码方法，将智能分析过程、图像优化过程和优化编码过程三者结合，根据预置分析模型反馈的分析结果，对编码视频或重点优化视频中的视频对象相应区域做进一步的优化编码处理，并根据视频对象性质和重要程度的不同分别采用不同的优化编码策略，克服了编码速率的同时，进一步满足了用户对视频中所携带信息的实时需求。

如图3所示，本发明实施例提供的联合装置的视频编码架构，包括图像信号处理器80、智能分析处理器90、视频区域捕捉装置91、图像重点优化装置81和视频编码器100，其中：

图像信号处理器80，用于获取源视频，根据预置优化模型，对源视频中的图像进行优化，形成优化视频；

智能分析处理器90，用于获取优化视频，根据预置分析模型，形成优化视频中的视频对象；

视频区域捕捉装置91，用于将视频对象在优化视频中的范围形成对象坐标信息；

图像重点优化装置81，用于获取优化视频、视频对象及其对应的对象坐标信息，根据预置重点优化模型，对视频对象在优化视频中相应的坐标区域内进行重点优化，形成重点优化视频；

视频编码器100，用于获取优化视频或重点优化视频，进行视频编码，形成编码视频。

本发明一实施例提供的联合装置的视频编码架构，图像重点优化装置81还包括重点优化模型分配单元82、重点优化模块控制单元83和重点优化处理模块84，其中：

重点优化模型分配单元82，用于为视频对象分配对应的重点优化模型；

重点优化模块控制单元83，用于将相应视频对象的重点优化过程，以及相应的优化视频内容，根据预置的重点优化分配模型形成适配的并行重点优化序列，分配至相应的重点优化处理模块84；

重点优化处理模块84，用于形成图像重点优化模块的动态连接结构，适配获取的相应视频对象的重点优化序列，处理相应的优化视频内容，形成相应的重点优化视频。

在本发明一实施例中，重点优化模型分配单元82根据视频对象性质和重要程度的不同为其分配对应不同的重点优化模型，不同的重点优化模型即对应不同的重点优化处理模块84和相应的重点优化处理方法，这样，一个视频对象可能会被分配至一个或多个重点优化处理模块84，一个重点优化处理模块84也可能对应一个或多个视频对象，当一个重点优化处理模块84对应多个视频对象时，可选择不同的处理参数对该多个视频对象分别进行重点优化处理。

在本发明一实施例中，智能分析处理器90的功能通过神经网络处理单元(或神经网络处理器)实现，其功能配置伸缩性强，可改善功能模块的并行处理数量和处理性能，在另一实施例中，也可通过图像分析或者机器视觉来实现，本发明对此不做具体限定。

如图4所示，本发明另一实施例提供的联合装置的视频编码架构，进一步包括视频优化编码装置101，用于获取编码视频或重点优化视频、视频对象及其对应的对象坐标信息，根据预置优化编码模型，对视频对象在编码视频或重点优化视频中相应的坐标区域内进行视频优化编码。

其中，预置优化编码模型也是根据视频对象性质和重要程度的不同对其采用相应不同的优化编码策略。

本发明实施例所提供的联合装置的视频编码装置，将智能分析处理器与图像信号处理器以及编码器有机结合起来，根据智能分析处理器输出的分析结果，针对不同视频对象采用不同的重点优化处理方法和/或优化编码策略，既解决了编码速率的传输问题，又保证了视频中有用信息的实时可靠传输。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。