一种监控视频的可伸缩浓缩编码方法和装置的制造方法
【技术领域】
[0001] 本发明涉及监控视频编码领域，特别是涉及一种监控视频的可伸缩浓缩编码方法 和装置。
【背景技术】
[0002] 随着科技的发展，监控视频的应用越来越普遍，监控视频的相关技术也越来越丰 富，例如可伸缩浓缩浏览技术、基于R〇I(R〇I，即regionofinterest，感兴趣区域））的时 域可伸缩编码技术等。
[0003] 在监控视频的可伸缩编码领域，传统的可伸缩编码技术包括时域可伸缩编码技 术、空域可伸缩编码技术和质量可伸缩编码技术。具体的，借由时域可伸缩编码技术，用户 可以根据网络带宽的大小、终端解码器的计算能力等来获得不同帧率的视频流。通常，时域 可伸缩编码技术中包含两个类别的码流：时域基本层码流和时域增强层码流，前者包含基 本帧率，后者包含增强层与基本层视频的残差。解码端收到基本层码流后，可以解码出一个 低帧率的视频序列，而当网络带宽大于某个阈值的时候，用户可以收到增强层码流，和基本 层码流一起解码，获得更高帧率的视频序列。另外，基本层的编码采用基本层的帧来预测参 考，采用I帧或P帧编码类型；增强层由B帧构成，最高层B帧不作其它帧的参考帧。当带 宽减小时，可以任意对时域增强层B帧进行丢弃，并不会影响基本层的正确解码，且一个增 强层由于使用前一个基本层作为参考帧，不会因为前面增强层的丢失而影响解码。但是，这 种时域可伸缩编码技术没有打破帧的框架，只能针对整帧进行时域增强，不能针对感兴趣 区域优化帧率调整。
[0004] R0I是指某一帧或某一序列中最为观看者所关注的区域。不同于传统的帧级时域 可伸缩编码技术，基于R0I的时域可伸缩编码技术不再以整帧作为时域可伸缩编码的最小 单位，而是以R0I前景以及非R0I背景作为时域可伸缩的编码单位。以两层码流结构为例， 基本层标记为第〇层，增强层标记为第1层。传统的帧级时域可伸缩编码技术，会在增强层 中对中间插入的帧进行整帧编码，而在基于R0I的时域可伸缩编码技术中，只在增强层中 对R0I区域进行编码，背景部分都可以跳过；而在解码端，基本层可以解码出背景信息，增 强层的背景信息直接用基本层的背景信息所替代。在这种编解码结构中，由于在时域层次 上降低了背景部分的资源占用，所以在同等码率限制下，可以传输更多的R0I时域增强层， 提高解码序列的视觉连贯性。
[0005] 此外，实现R0I的标记是进行基于R0I的视频编码的基础，为了能够既实现R0I 的灵活标记又能够和现有的视频编码框架与标准兼容，研究人员常采用基于灵活宏块顺序 FM0(FM0,即FlexibleMacroblockOrdering)的R0I标记方法。FM0最初是作为一种容错方 法在H. 264视频编码标准提案中提出（参考文献'AdvancedVideoCodingForGeneric AudiovisualServices, "ITU_TRecommendationH. 264/AVC(2005))，FM0 通过定义 6 种固 定的模板和1种自定义模板，实现了将一帧中不同位置的宏块按空间位置关系划分到不同 的片组中去，每个片组独立解码，不同片的宏块不能用于自身片中做预测参考，不同的片组 被包含在不同的NAL(Network Abstract Layer)单元中，从而减弱了相同片宏块之间的空 间相关性，增强了不同片宏块之间的空间相关性，增加了解码端错误掩盖时可以使用的信 息量，提高了错误隐藏的有效性。具体的，利用FMO的功能，对于给定的视频序列，将感兴趣 区域作为前景部分，划分为独立的片组，而背景作为剩下的片组。由于各个片组相互独立， 所以能够方便的丢弃背景区域信息并实现ROI区域的重点编码，这在面向安防监控的视频 编码应用中尤为方便、有效。
[0006] 为了满足监控视频快速浏览的需求，A.Rav-Acha等人提出了视频浓缩的处理方案 (参看A.Rav-Acha,Y.Pritch,andS.Peleg,"MakingaLongVideoShort:DynamicVideo Synopsis"，CVPR，2006)，通过视频分析将运动对象序列提取到数据库，需要观看时再根据 用户需要生成相应长度的浓缩视频。这种方法虽然在一定程度上满足了监控视频快速浏览 的需求，但是这种将原始监控视频和浓缩视频分别存储的方式存储效率较低，会加大存储 负担，增加监控系统的运营成本，且用户只能浏览固定需求的浓缩视频。
[0007] 针对现有的监控视频可伸缩编码与快速浏览方法的分析可知，其存在以下的缺 点：一方面，因为没有灵活、有效的监控视频存储和浏览方法做支持，用户基于原有的浓缩 视频浏览方案，每次只能浏览几个固定内容的浓缩视频；另一方面，现有的可伸缩编码方法 无法直接兼容于视频浓缩方法，使得原始监控视频和浓缩视频只能使用独立的方式分别进 行存储，而同时存储原始监控视频和浓缩视频的存储效率较低。
[0008] 所以，亟需一种新的监控视频的可伸缩浓缩编码方法来对上述问题进行改善。
【发明内容】
[0009] 本发明的目的在于提供一种监控视频的可伸缩浓缩编码方法和装置，不仅能够实 现对监控视频的灵活、有效的编码，还能够提高原始监控视频和浓缩视频的存储效率。
[0010] 本发明的目的是采用以下技术方案来实现的。本发明提供一种监控视频的可伸缩 浓缩编码方法，其包括以下步骤：S1，对待编码的监控视频进行分析，获得待编码的监控视 频的每帧中运动对象的区域信息和映射信息；S2,确定待编码的监控视频中各帧的不同区 域所对应的编码优先级，将需要在浓缩视频中显示的区域作为编码优先级高的区域，将不 需要在浓缩视频中显示的区域作为编码优先级低的区域；S3,对各帧中优先级高的区域进 行基本层编码，获得基本层码流；S4,基于R0I的时域可伸缩编码，对各帧中优先级低的区 域进行增强层编码，获得增强层码流；以及S5,复合编码后的基本层码流和增强层码流，生 成可伸缩码流，完成编码。
[0011] 本发明的目的还可采用以下技术措施进一步实现。
[0012] 前述的监控视频的可伸缩浓缩编码方法，其中在步骤S3和S4中，采用IBBP编码 方案中的I-slice、P-slice和B-slice条带类型，将映射到浓缩视频中的运动对象及其背 景编码为I-slice条带类型或P-slice条带类型，同时将不需要映射到浓缩视频中的运动 对象及其背景编码为B-slice条带类型。
[0013] 前述的监控视频的可伸缩浓缩编码方法，其中在增强层编码时，将不需要映射到 浓缩视频中的运动对象和背景编码为不同的条带。
[0014] 前述的监控视频的可伸缩浓缩编码方法，其中在编码帧间编码帧的时候，针对一 帧中不同区域的内容优先级不同的情况，使用一种帧类型P/B帧，对该帧视频进行编码，即 当一帧中的前景和背景有的映射有的不映射时，映射的前景和背景用P-slice条带类型进 行编码，不映射的前景和背景用B-slice条带类型进行编码。
[0015] 前述的监控视频的可伸缩浓缩编码方法，其在编码中，I帧、P帧和P/B帧中的 I-slice和P-slice的编码信息放入基本层码流，而B帧和P/B帧中的B-slice的编码信息 放入增强层码流。
[0016] 前述的监控视频的可伸缩浓缩编码方法，其中该基于R0I的时域可伸缩编码采用 基于灵活宏块顺序的R0I标记方法，标记感兴趣区域的块划分信息。
[0017] 前述的监控视频的可伸缩浓缩编码方法，其中在步骤S2,S3和S4中，还包括生 成对象标志位的过程，并将对象标志位写入相应的基本层码流或增强层码流对应的参数集 中，以完成编码。
[0018] 前述的监控视频的可伸缩浓缩编码方法，其中上述待编码的监控视频是已存储的 待重新编码的监控视频，或是在线缓存的待编码监控视频。
[0019] 前述的监控视频的可伸缩浓缩编码方法，其中在带宽或存储条件有限的情况下， 该基本层码流独立进行传输、存储和解码，从而获得浓缩视频；而当同时传输、存储和解码 增强层码流后，才能获得原始监控视频。
[0020] 本发明的目的是采用以下技术方案来实现的。本发明还提供一种监控视频的可伸 缩浓缩编码装置，其包括视频分析模块、优先级设置模块、基本层编码模块、增强层编码模 块、对象标志位模块和码流复合模块；其中，该视频分析模块与优先级设置模块和对象标志 位模块连接，该优先级设置模块分别与基本层编码模块和增强层编码模块连接，该基本层 编码模块和增强层编码模块同时与对象标志位模块和码流复合模块连接，该对象标志位模 块还与码流复合模块连接。
[0021 ] 本发明的目的还可采用以下技术措施进一步实现。
[0022] 前述的监控视频的可伸缩浓缩编码装置，其中在编码帧间编码帧的时候，针对一 帧中不同区域的内容优先级不同的情况，即当一帧中的前景和背景有的映射有的不映射 时，该基本层编码模块和增强层编码模块采用P/B帧的编码方法。
[0023] 前述的监控视频的可伸缩浓缩编码装置，其中该视频分析模块包括在线浓缩分析 模块，该在线浓缩分析模块可对监控视频进行实时在线分析和缓存。
[0024] 前述的监控视频的可伸缩浓缩编码装置，其中在带宽或存储条件有限的情况下， 该基本层编码模块中的基本层码流独立进行传输、存