城市交通监控视频全局编码方法及系统的制作方法
【专利摘要】本发明公开了一种城市交通监控视频全局编码方法及系统，包括步骤：步骤1，将原始监控视频分割成车辆视频和去除车辆的视频；步骤2，采用可选差分编码方式对去除车辆的视频进行编码；步骤3，提取车辆视频中全局运动车辆的全局特征参数集；步骤4，基于全局特征参数对车辆视频进行全局编码。本发明在去除场景冗余的基础上进一步去除了监控视频中的全局冗余，有效提高了城市交通监控视频编码压缩效率。
【专利说明】城市交通监控视频全局编码方法及系统
【技术领域】
[0001] 本发明属于城市交通监控视频编码【技术领域】，尤其涉及一种城市交通监控视频全 局编码方法及系统。
【背景技术】
[0002] 视频信号压缩编码技术的目标是在保证一定重构质量的前提下，以尽量少的比特 数来表征视频信息。传统基于香农信息论的视频编码方法从信号处理层面入手，以像素、块 为表示基础，采用变换、预测、熵编码融合的混合编码框架，通过挖掘图像视频信号自身的 时空冗余来提高压缩性能。然而目前大多数视频压缩技术都面向非特定的应用，近年来，针 对专门应用（例如监控视频）的特点和需求而开发的视频压缩技术成为备受关注的研究方 向，例如城市交通环境下的监控视频编码和传输技术。AVS-S2针对监控视频场景长期不变 的特点，通过对监控背景和前景进行建模，选择性地使用原始模式和差分模式对各块进行 编码，去除了大量存在的"场景冗余"，编码效率是H. 264/AVC的两倍，是首个面向视频监控 的国际标准。然而AVS-S2无法去除因全局对象运动产生的"全局冗余"，压缩效率提升有 限，数据量和存储容量之间的矛盾依然十分突出
[0003] 监控视频中不同款型的车辆具有视频纹理特性的相似性，同一款型的车辆具有3D 对象的同一性，同一台车则具有外观特征的长时稳定性。具有相似、同一、长时稳定性的各 类城市运行车辆被遍布城市各地的监控摄像镜头反复捕获，从而产生了大量的城市监控数 据冗余。城市监控点设置大多处于欠覆盖状态，车辆和人员移动产生的数据构成了城市监 控数据的主要来源。同一台运动车辆在城域海量监控摄像头下被反复摄录产生的视频监控 数据冗余称为全局冗余。不同运动对象间存在纹理相似性、同一类语义对象间存在形体一 致性、特定对象间存在长时相似性，产生了大量的运动对象全局冗余。传统的视频编码和场 景冗余去除技术去除的是局部时空冗余，而监控视频中由于车辆被摄像头重复长时摄录产 生的全局冗余为视频压缩效率的进一步提升提供了巨大空间。
【发明内容】
[0004] 针对现有技术存在的不足，本发明提供了一种考虑了全局冗余的城市交通监控视 频全局编码方法及系统，该方法可进一步提高城市交通监控视频的编码效率。
[0005] 为解决上述技术问题，本发明采用如下的技术方案：
[0006] (一）一种城市交通监控视频全局编码方法，包括步骤：
[0007] 步骤1，将原始监控视频分割成车辆视频和去除车辆的视频；
[0008] 步骤2,采用可选差分编码方式对去除车辆的视频进行编码；
[0009] 步骤3,提取车辆视频中全局运动车辆的全局特征参数集，进一步包括：
[0010] S31提取全局运动车辆的2D外观特征；
[0011] S32构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精 细3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得；
[0012] S33采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：
[0013]
【权利要求】
1. 一种城市交通监控视频全局编码方法，其特征在于，包括步骤： 步骤1，将原始监控视频分割成车辆视频和去除车辆的视频； 步骤2,采用可选差分编码方式对去除车辆的视频进行编码； 步骤3,提取车辆视频中全局运动车辆的全局特征参数集，进一步包括： S31提取全局运动车辆的2D外观特征； S32构建车辆3D模型数据库，车辆3D模型数据库包括各类车辆的通用3D模型、精细 3D模型及模型关键描述参数集，模型关键描述参数由模型描述参数集降维获得； S33采用稀疏编码方式构建全局运动车辆的全局车辆纹理字典，进一步包括：
以largmh II? + --_ 1为代价函数，基于全局运动车辆的纹理信息，获 ￡>] .g1 得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典； 获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r。， 以(1?，气J = argmi丨
||< -￡)?. ||〗+
< II,为代价函数，基于差异信息r。，获得第二层知识 字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典； 获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局 运动车辆的差异信息r。m，以，?.》，) = atE mil
I - °2?3,c,m II" +
Kx.? Ili为代价函数，基 于差异信息，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字 血. 上述，Di表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类 型编号；y。表示所有类型全局运动车辆纹理信息；ai表示编码系数；τ为平衡因子，根据实 际情况和经验设定，τ越大编码系数越稀疏；1?表示第二层知识字典，Μ表示某类全局运 动车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a2,。表示编码系数；1>厂 表示第三层知识字典，N表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运 动车辆下的个体车辆编号毋^^表示编码系数； S34将全局运动车辆的2D外观特征与车辆3D模型数据库中模型进行特征匹配，获得全 局运动车辆的纹理及模型关键描述参数信息； S35根据全局运动车辆的2D外观特征提取全局运动车辆位置信息，并结合对应的模型 关键描述参数信息中的姿态信息构成全局运动车辆的位置及姿态参数； S36对全局特征参数集和三级知识字典对应的编码系数进行无损压缩，所述的全局特 征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获得的位置及姿态参 数构成； 步骤4,基于全局特征参数对车辆视频进行全局编码。
2. 如权利要求1所述的城市交通监控视频全局编码方法，其特征在于： 步骤1中采用背景建模和车辆检测技术将原始监控视频分割成车辆视频和去除车辆 的视频，具体包括： S11将原始监控视频图像转换至YUV空间，基于背景差分法建立自动更新的背景模型； S12利用车辆检测法检测原始监控视频图像中车辆，获得车辆视频图像； S13将原始监控视频图像减去车辆视频图像，获得包含背景空洞的去除车辆的视频图 像； S14采用背景模型对S13获得的视频图像中背景空洞进行叠加填补，获得去除车辆的 视频图像。
3. 如权利要求1所述的城市交通监控视频全局编码方法，其特征在于： 步骤2进一步包括子步骤： S21根据去除车辆的视频图像生成背景图像，经编码后重构背景图像； S22对去除车辆的视频图像进行全局运动估计，获得全局运动矢量； S23基于重构背景图像和全局运动矢量，选择性地使用原始编码模式或差分编码模式 对各视频块进行编码。
4. 如权利要求1所述的城市交通监控视频全局编码方法，其特征在于： 子步骤S32进一步包括： (1) 构建基于网格结构的车辆通用3D模型； (2) 获得车辆精细3D模型； (3) 根据车辆通用3D模型获得3D模型描述参数集； (4) 对3D模型描述参数集中参数进行降维，获得关键描述参数。
5. 如权利要求1所述的城市交通监控视频全局编码方法，其特征在于： 子步骤S35进一步包括： (1) 确定全局运动车辆的位置与角度参数P = [x，y，θ]τ，x、y为全局运动车辆中心 在世界坐标系的垂直投影坐标，Θ为全局运动车辆主运动方向与〇χ轴的夹角； (2) 通过背景建模提取车辆视频中的运动区域； (3) 利用稀疏光流法获得全局运动车辆的二维运动矢量； (4) 获得全局运动车辆在世界坐标系的主运动方向Θ与速度v; (5) 将全局运动车辆匹配的通用3D模型的二维投影与运动区域的大小与形状迭代匹 配，得到全局运动车辆在世界坐标系下的位置参数（X，y)。
6. 如权利要求1所述的城市交通监控视频全局编码方法，其特征在于： 步骤4进一步包括子步骤： S41基于全局车辆特征参数对全局运动车辆进行运动估计和运动补偿，得到残差参数 信息； S42获取全局运动车辆的光照补偿参数； S43融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿参数进行无损编 码。
7. -种城市交通监控视频全局编码系统，其特征在于，包括： (1) 视频分割模块，用来将原始监控视频分割成车辆视频和去除车辆的视频； (2) 可选差分编码模块，用来采用可选差分编码方式对去除车辆的视频进行编码； (3) 全局特征参数提取模块，用来提取车辆视频中全局运动车辆的全局特征参数集，本 模块进一步包括子模块： 2D外观特征提取模块，用来提取全局运动车辆的2D外观特征； 车辆3D模型数据库构建模块，用来构建车辆3D模型数据库，车辆3D模型数据库包括 各类车辆的通用3D模型、精细3D模型及模型关键描述参数集，模型关键描述参数由模型描 述参数集降维获得； 全局车辆纹理字典构建模块，用来米用稀疏编码方式构建全局运动车辆的全局车辆纹 理字典，进一步包括： 以(1),4) = argml·
I ?ΠΙ,为代价函数，基于全局运动车辆的纹理信息，获 得第一层知识字典，即所有类全局运动车辆的共性视觉纹理信息知识字典； 获得各类全局运动车辆经第一层知识字典重建后与原始全局运算车辆的差异信息r。， 以(尽，心)=argmir
r：-Dl〇；lt+
为代价函数，基于差异信息r。，获得第二层知识 字典，即各类全局运动车辆的三维结构及纹理个性信息知识字典； 获得各类全局运动车辆下各个体全局运动车辆经第二层知识字典重建后与原始全局 运动车辆的差异信息r。m，以网'U irgmh
丨丨:为代价函数，基 于差异信息&m，获得第三层知识字典，即个体全局运动车辆的个性长时更新信息知识字 血. 上述，Di表示第一层知识字典；C表示全局运动车辆的类型数，c表示全局运动车辆类 型编号；y。表示所有类型全局运动车辆纹理信息；ai表示编码系数；τ为平衡因子，根据实 际情况和经验设定，τ越大编码系数越稀疏；R表示第二层知识字典，Μ表示某类全局运动 车辆下个体车辆数量，m表示某类全局运动车辆下个体车辆编号，a2,。表示编码系数；D; 表 示第三层知识字典，Ν表示该类型全局运动车辆下的个体车辆数量，i表示该类型全局运动 车辆下的个体车辆编号；a^m表示编码系数； 纹理及模型关键描述参数信息获取模块，用来将全局运动车辆的2D外观特征与车辆 3D模型数据库中模型进行特征匹配，获得全局运动车辆的纹理及模型关键描述参数信息； 位置及姿态参数获取模块，用来根据全局运动车辆的2D外观特征提取全局运动车辆 位置信息，并结合对应的模型关键描述参数信息中的姿态信息构成全局运动车辆的位置及 姿态参数； 无损压缩模块，用来对全局特征参数集和三级知识字典对应的编码系数进行无损压 缩，所述的全局特征参数集由步骤S34获得的纹理及模型关键描述参数信息和步骤S35获 得的位置及姿态参数构成； (4)全局编码模块，用来基于全局特征参数对车辆视频进行全局编码。
8.如权利要求7所述的城市交通监控视频全局编码系统，其特征在于： 所述的位置及姿态参数获取模块进一步包括： 位置与角度参数确定模块，用来确定全局运动车辆的位置与角度参数P =[x，y，Θ]Τ， x、y为全局运动车辆中心在世界坐标系的垂直投影坐标，Θ为全局运动车辆主运动方向与 0Χ轴的夹角； 运动区域提取模块，用来通过背景建模提取车辆视频中的运动区域； 二维运动矢量获得模块，用来利用稀疏光流法获得全局运动车辆的二维运动矢量； 主运动方向与速度获得模块，用来获得全局运动车辆在世界坐标系的主运动方向Θ 与速度V ; 位置参数获得模块，用来将全局运动车辆匹配的通用3D模型的二维投影与运动区域 的大小与形状迭代匹配，得到全局运动车辆在世界坐标系下的位置参数（X，y)。
9.如权利要求7所述的城市交通监控视频全局编码系统，其特征在于： 全局编码模块进一步包括： 残差参数信息获得模块，用来基于全局车辆特征参数对全局运动车辆进行运动估计和 运动补偿，得到残差参数信息； 光照补偿参数获取模块，用来获取全局运动车辆的光照补偿参数； 无损编码模块，用来融合残差参数信息和光照补偿参数，并对残参数信息和光照补偿 参数进行无损编码。
【文档编号】H04N7/18GK104301735SQ201410616965
【公开日】2015年1月21日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】胡瑞敏, 马民生, 肖晶, 胡金晖, 尹黎明 申请人:武汉大学