一种视频图像压缩和读取的方法、装置及系统与流程

本发明涉及图像处理领域，尤其涉及一种视频图像压缩和读取的方法、装置及系统。

背景技术：

数字视频压缩标准开始于20世纪80年代，经过30多年的发展，现有的标准有ITU-T系列的H.261、H.263，ISO的MPEG-1、MPEG-4，以及两个组织共同制定的MPEG-2/H.262、H.264/AVC，HEVC(2013年最新发布)。还有其他组织的标准，比如国内的AVS、微软的VC-1、谷歌的VP8等。相同的是，这些标准都采用基于块的混合编码框架，融合预测编码、变换编码、以及熵编码3大编码技术。

基于块的混合编码框架编码流程如图1所示，将要编码的图像先进行分块处理，分成16x16的块，称作宏块(Macroblock)(HEVC的块大小可以变化，从8x8到64x64，叫做最大编码单元LCU)。如图3所示，宏块按照从左至右、从上至下的扫描顺序进行编码。每个宏块首先进行预测编码，利用前面一帧重建图像或者宏块周围已经编码部分做参考，获得预测后的残差数据；残差数据进行空间的变换编码，采用DCT或者ICT按不同大小块对参数数据进行变换，得到频域中的变换系数；变换系数经过量化后，送到熵编码中，获得最终的码流。为了有效对下一帧图像进行编码，当前量化后的数据需要经过反向处理，也就是反量化、反变换，再与预测数据相加获得解码出来的图像，也就是重建图像，重建图像放在参考缓存中，作为下一帧图像编码的参考图像。基于块的混合编码框架的解码流程如图2所示，编码码流经过熵解码、反量化、反变换后，再与预测的图像进行相加就得到了解码的图像(视频信号)。解码出来的图像需要存储起来，以做下帧解码的参考图像使用。

预测编码是视频压缩的重要编码技术，根据预测数据来源不同，可以把 编码图像分成I帧(帧内预测帧、Intra)、P帧(帧间预测帧、Prediction)、B帧(双向预测帧、Bi-Prediction)。如图4所示，I帧进行预测编码时，只采用本帧的数据进行预测，解码的时候可以独立解码，不依赖其他帧。P帧进行预测编码时，采用前面一帧已编码图像的重建图像作为参考，P帧解码的时候，必须等参考帧的图像解码完成才能解码。B帧进行预测编码时，可以同时采用前面帧和后面帧做参考，成为双向参考帧，B帧解码是需要前面参考帧和后面参考帧都解码成功后才能解码。P帧、B帧在编码时除了用其他帧做参考，也可以像I帧样用本帧数据做参考，选择两者最优情况就行。I帧可以独立解码，通常用作随机插入使用，比如数字电视要求1～1.5秒插入I帧，保证用户切换频道时，能够尽快看到图像。但是I帧压缩效率低，码率比较大，通常是P帧的4～10倍，甚至几十倍。就压缩效率来说，通常情况下I帧<P帧<B帧，就运算复杂度来说，通常情况下I帧<P帧<B帧。

在进行帧间预测时，可以采用前面多个重建图像做参考帧，如图5所示，其是P帧多帧参考情况，在编码第2个P帧时，采用前面两帧图像做参考；如图6所示，其是B帧多帧参考情况，B帧的前向参考帧有两帧，后向参考帧为一帧。多帧参考可以提高压缩效率，同时也会增加运算的复杂度。

在实际应用中，特别是视频监控应用中，用户往往对画面中特定的目标感兴趣，比如画面中的人、车、出入口区域等，希望这些区域画面质量清晰，也就是感兴趣编码，图7所示图像存在3个感兴趣区域。另外，由于监控视频点位多、时间长，导致数据量大，用户希望通过检索的方式快速定位目标，而不是查看整个视频。

在现有的视频中处理感兴趣编码采用对感兴趣区域类的编码块分配不同的量化系数来实现，通常量化系数比其他区域小，画面质量高。但是，码流的顺序、块与相邻块之间的依赖关系、以及块与参考图像块的依赖关系并没有变。这时，用户如果需要对视频进行检索，需要解码所有的画面，才能获得感兴趣区域的画面。通常情况，监控画面的运动物体并不多，而且含有运动物体的时段也是少数，完全解出所有的图像再检索，计算资源的浪费严重。

技术实现要素：

本发明的目的是提供一种视频图像压缩和读取的方法、装置和系统，其通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。

为实现上述目的，具体采用以下技术方案：

第一方面采用一种视频图像压缩方法，包括：

从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分；

分别对目标图层和背景图层编码各自生成码流；

将目标图层的码流和背景图层的码流进行复合。

其中，所述将目标图层的码流和背景图层的码流进行复合，具体为：

为待编码图像对应的码流添加头信息，在头信息后记录目标图层的码流和背景图层的码流。

其中，所述分别对目标图层和背景图层编码各自生成码流，包括：

将所述目标图层中目标之外的区域用固定值填充；

将所述背景图层中对应所述目标图层中目标所在的区域用固定值填充；

分别对填充后的目标图层和背景图层编码各自生成码流。

其中，所述头信息中记录有目标图层中的目标的位置信息。

其中，当待编码图像中提取目标图层失败时，所述头信息中目标图层中的目标的位置信息记录为空。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。

第二方面采用一种视频图像压缩装置，包括：

图层提取单元，用于从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分；

图层编码单元，用于分别对目标图层和背景图层编码各自生成码流；

码流复合单元，用于将目标图层的码流和背景图层的码流进行复合。

其中，所述码流复合单元，具体用于：

为待编码图像对应的码流添加头信息，在头信息后记录目标图层的码流和背景图层的码流。

其中，所述图层编码单元，包括：

第一填充模块，用于将所述目标图层中目标之外的区域用固定值填充；

第二填充模块，用于将所述背景图层中对应所述目标图层中目标所在的区域用固定值填充；

图层编码模块，用于分别对填充后的目标图层和背景图层编码各自生成码流。

其中，所述头信息中记录有目标图层中的目标的位置信息。

其中，当待编码图像中提取目标图层失败时，所述头信息中目标图层中的目标的位置信息记录为空。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。

第三方面采用一种视频图像读取方法，包括：

获取视频码流，所述视频码流由目标图层的码流和背景图层的码流复合而成；其中，所述目标图层中的目标为图像中的兴趣区域部分；

确认解码目标所在的目标视频帧；

从所述目标视频帧开始对相关视频码流解码。

其中，所述视频码流添加有头信息，所述头信息记录有目标图层中的目标的位置信息；

从所述目标视频帧开始对相关视频码流解码，具体为：

从所述目标视频帧中解码出兴趣区域部分，将所述兴趣区域部分根据所述位置信息复合到所述背景图层。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。

第四方面采用一种视频图像读取装置，包括：

码流获取单元，用于获取视频码流，所述视频码流由目标图层的码流和背景图层的码流复合而成；其中，所述目标图层中的目标为图像中的兴趣区域部分；

目标确认单元，用于确认解码目标所在的目标视频帧；

码流解码单元，用于从所述目标视频帧开始对相关视频码流解码。

其中，所述视频码流添加有头信息，所述头信息记录有目标图层中的目标的位置信息；

所述码流解码单元，具体用于：

从所述目标视频帧中解码出兴趣区域部分，将所述兴趣区域部分根据所述位置信息复合到所述背景图层。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。

第五方面采用一种视频图像处理系统，包括上述任意一项所述的视频图像压缩装置和上述任意一项所述的视频图像读取装置。

本发明的有益效果在于：通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。

附图说明

图1是现有技术中基于块的混合编码框架编码的流程示意图；

图2是现有技术中基于块的混合编码框架解码的流程示意图；

图3是现有技术中基于块的混合编码中宏块的扫描顺序示意图；

图4是现有技术中基于块的混合编码中帧间参考关系的示意图；

图5是现有技术中基于块的混合编码中P帧多帧参考的参考关系的示意图；

图6是现有技术中基于块的混合编码中B帧多帧参考的参考关系的示意图；

图7是现有技术中图像中的感兴趣区域的示意图；

图8是本发明具体实施方式中提供的一种视频图像压缩的方法的第一实施例的方法流程图；

图9是本发明具体实施方式中提供的一种视频图像压缩的方法的第二实施例的方法流程图；

图10是本发明具体实施方式中提供的一种视频图像压缩的方法的第二实施例中图像层和背景层的示意图；

图11是本发明具体实施方式中提供的一种视频图像压缩的方法的第二实施例中码流的组织方式的示意图；

图12是本发明具体实施方式中提供的一种视频图像压缩的装置的第一实施例的结构示意图

图13是本发明具体实施方式中提供的一种视频图像压缩的装置的第二实施例的结构方框图。

图14是本发明具体实施方式中提供的一种视频图像读取的方法的第一实施例的方法流程图。

图15是本发明具体实施方式中提供的一种视频图像读取的装置的第一实施例的结构方框图。

图16是本发明具体实施方式中提供的一种视频图像处理的系统的第一实施例的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

请参考图8，其是本发明具体实施方式中提供的一种视频图像压缩的方法的第一实施例的方法流程图。本实施例中的方法，主要用于各种视频，特别是监控视频的存储。如图所示，该方法，包括：

步骤S101：从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分。

在本方案中，特别针对于监控视频而言，画面中特定的目标，例如人、车、出入口等位置和区域，由于监控视频点位多，时间长，通常希望这些区域能够快速定位，无需对整个视频进行全面观察。所以将待编码图像区分为背景图层和目标图层，将视频中的目标区分到目标图层中，在查看视频时，直接对目标图层进行检索，实现对需要检索的目标的快速检索，提高运算效率。

步骤S102：分别对目标图层和背景图层编码各自生成码流。

为使得解码时能够针对性地分别解码，在编码时对目标图层和背景图层分别编码形成各自码流，具体可以针对采用的编码标准完成编码。

步骤S103：将目标图层的码流和背景图层的码流进行复合。

目标图层的码流和背景图层的码流进行复合，与现有技术的方案相比，复合后的码流能够进行更加精确的定位，直接访问确定的目标所在的图像。解码效率提高。

综上所述，通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。

请参考图9，其是发明具体实施方式中提供的一种视频图像压缩的方法的第二实施例的方法流程图，如图所示，该方法包括：

步骤S201：从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分。

背景图层和目标图层的提取通过图像识别或图像分析实现，还可通过对摄像设备的设置完成目标图层的范围选定。具体的技术方案在现有技术中已有实现，在此不做进一步说明。

步骤S202：将所述目标图层中目标之外的区域用固定值填充。

步骤S203：将所述背景图层中对应所述目标图层中目标所在的区域用固定值填充。

为了使得解码时目标图层处于图像中的原始的位置，将目标层中目标之外的区域用固定值填充，将背景图层中对应所述目标图层中目标所在的区域 也用固定值填充，在编码时目标图层和背景图层具备相同的图像大小和分辨率，后续的复合操作更加精确。具体的填充方式如图10所示，两个从图像中提取出两个图层，在各自图层中对另一图层对应的位置进行填充，相当于得到两个具有相同的分辨率的子图像帧，再对两个图层分别编码。

步骤S204：分别对填充后的目标图层和背景图层编码各自生成码流。

对目标图层和背景图层进行编码时，依然按照从左至右、从上之下的扫描方式，对每个分块进行编码，只有在遇到填充部分时，直接跳过不用处理，每个图层产生的码流复合在一起。

步骤S205：为待编码图像对应的码流添加头信息，在头信息后记录目标图层的码流和背景图层的码流。

所述头信息中记录有目标图层中的目标的位置信息。所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符；具体地分隔标识符可以为能起分隔作用的起始码标识，即每个图层的码流都设置有起始码标识，以便解码时对码流的起始位置进行区分。具体的码流的组织方式如图11所示，在视频流之前加入头信息，记录目标图层中的目标的的位置，在视频进行检索时，直接通过头信息进行精确定位，提高了数据的处理效率，具体的目标图层的码流和背景图层的码流的位置关系不作限制，图11中的图层1码流和图层2码流各自对应一个即可。

综上所述，通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。同时还设置了头信息，在头信息后记录目标图层的码流和背景图层的码流，在头信息 中记录目标图层中的目标的位置信息，在目标图层的码流和背景图层的码流之间插入分隔标识符对二者进行区分，实现了两个码流的有序存储和快速检索。

以下是本发明具体实施方式中提供的一种视频图像压缩的装置的实施例，视频图像压缩的装置的实施例基于上述的视频图像压缩的方法的实施例实现，在数视频图像压缩的装置的实施例中未尽的阐述，请参考上述的视频图像压缩的方法的实施例。

请参考图12，其是本发明具体实施方式中提供的一种视频图像压缩的装置的第一实施例的结构方框图，如图所示，该装置，包括：

图层提取单元310，用于从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分；

通过将待编码图像区分为背景图层和目标图层，将视频中的目标区分到目标图层中，在查看视频时，直接对目标图层进行检索，实现对需要检索的目标的快速检索，提高运算效率。

图层编码单元320，用于分别对目标图层和背景图层编码各自生成码流；

码流复合单元330，用于将目标图层的码流和背景图层的码流进行复合。

综上所述，上述各单元的协同工作，通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。

请参考图13，其是本发明具体实施方式中提供的一种视频图像压缩的装置的第二实施例的结构方框图，如图所示，该装置，包括：

图层提取单元310，用于从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分；

图层编码单元320，用于分别对目标图层和背景图层编码各自生成码流；

码流复合单元330，用于将目标图层的码流和背景图层的码流进行复合。

其中，所述码流复合单元330，具体用于：

为待编码图像对应的码流添加头信息，在头信息后记录目标图层的码流和背景图层的码流。

其中，所述图层编码单元320，包括：

第一填充模块321，用于将所述目标图层中目标之外的区域用固定值填充；

第二填充模块322，用于将所述背景图层中对应所述目标图层中目标所在的区域用固定值填充；

图层编码模块323，用于分别对填充后的目标图层和背景图层编码各自生成码流。

对目标图层和背景图层进行编码时，依然按照从左至右、从上之下的扫描方式，对每个分块进行编码，只有在遇到填充部分时，直接跳过不用处理，每个图层产生的码流复合在一起。

其中，所述头信息中记录有目标图层中的目标的位置信息。

其中，当待编码图像中提取目标图层失败时，所述头信息中目标图层中的目标的位置信息记录为空。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符，具体地，每个图层的码流都设置有起始码标识，以便解码时对码 流的起始位置进行区分。。

综上所述，上述功能模块的协同合作，通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。同时还设置了头信息，在头信息后记录目标图层的码流和背景图层的码流，在头信息中记录目标图层中的目标的位置信息，在目标图层的码流和背景图层的码流之间插入分隔标识符对二者进行区分，实现了两个码流的有序存储和快速检索。

以下是本发明具体实施方式中提供的一种视频图像读取的方法的实施例，本实施例中的方案用于对前述实施例中得到的视频码流进行读取。请参考图14，其是本发明具体实施方式中提供的一种视频图像读取的方法的第一实施例的方法流程图，如图所示，该方法包括：

步骤S401：获取视频码流，所述视频码流由目标图层的码流和背景图层的码流复合而成；其中，所述目标图层中的目标为图像中的兴趣区域部分。

视频码流是有目标图层的码流和背景图层的码流复合而成，在读取时，有针对性地对想要读取的目标信息进行定位。

步骤S402：确认头信息中记录有解码目标的位置信息的帧为目标视频帧。

所述视频码流添加有头信息，所述头信息记录有目标图层中的目标的位置信息。可以直接通过头信息记录的位置进行访问。

确认解码目标所在的目标视频帧还可根据其他的方案实现，例如不设置头信息，直接对视频进行逐帧访问。

步骤S403：从所述目标视频帧中解码出兴趣区域部分，将所述兴趣区域部分根据所述位置信息复合到所述背景图层。

所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。当对视频图像进行访问时，直接根据分隔标识符的分界，对目标图层所在码流进行访问即可。

综上所述，通过对复合生成的视频码流的读取，实现对目标图层的快速访问，提高了解码的效率，降低了运算的复杂度。

以下是本发明具体实施方式中提供的一种视频图像读取的装置的实施例，视频图像读取的装置的实施例基于上述的视频图像读取的方法的实施例实现，在数视频图像读取的装置的实施例中未尽的阐述，请参考上述的视频图像读取的方法的实施例。

请参考图15，其是第本发明具体实施方式中提供的一种视频图像读取的装置的结构方框图，如图所示，该装置包括：

码流获取单元510，用于获取视频码流，所述视频码流由目标图层的码流和背景图层的码流复合而成；其中，所述目标图层中的目标为图像中的兴趣区域部分；

目标确认单元520，用于确认解码目标所在的目标视频帧；

码流解码单元530，用于从所述目标视频帧开始对相关视频码流解码。

其中，所述视频码流添加有头信息，所述头信息记录有目标图层中的目标的位置信息；

所述码流解码单元530，具体用于：

从所述目标视频帧中解码出兴趣区域部分，将所述兴趣区域部分根据所 述位置信息复合到所述背景图层。

其中，所述头信息后的目标图层的码流和背景图层的码流之间插入有分隔标识符。

综上所述，上述各单元的协同工作，通过对复合生成的视频码流的读取，实现对目标图层的快速访问，提高了解码的效率，降低了运算的复杂度。

最后本发明具体实施方式中还提供了一种视频图像处理系统的实施例，视频图像处理系统包含上述的视频图像压缩的装置30和视频图像读取的装置50两部分。具体如图16所示，视频图像压缩的装置30包括：

图层提取单元310，用于从待编码图像提取出背景图层和目标图层，所述目标图层中的目标为待编码图像中的兴趣区域部分；

图层编码单元320，用于分别对目标图层和背景图层编码各自生成码流；

码流复合单元330，用于将目标图层的码流和背景图层的码流进行复合。

视频图像读取的装置50包括：

码流获取单元510，用于获取视频码流，所述视频码流由目标图层的码流和背景图层的码流复合而成；其中，所述目标图层中的目标为图像中的兴趣区域部分；

目标确认单元520，用于确认解码目标所在的目标视频帧；

码流解码单元530，用于从所述目标视频帧开始对相关视频码流解码。

综上所述，上述各单元的协同工作，通过从待编码图像提取出背景图层和目标图层，将背景图层和目标图层分别进行编码各自生成码流，再将码流复合，解码时将复合码流解码，直接检索含有目标对象的图像，提高了计算资源的利用率。通过对复合生成的视频码流的读取，实现对目标图层的快速 访问，提高了解码的效率，降低了运算的复杂度。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

尽管已经详细描述了本发明的实施方式，但是应该理解的是，在不偏离本发明的精神和范围的情况下，可以对本发明的实施方式做出各种改变、替换和变更。