专利名称：基于视频压缩码流的运动分析方法、码流转换方法及其装置的制作方法
技术领域：
本发明涉及安防视频监控，特别涉及一种视频处理技术。
背景技术：
随着视频监控技术的飞速发展，用户对监控系统的要求也越来越高，很显著的一点就是希望监控系统能够提供更多的智能化的功能。在众多的智能化功能中，视频运动分析功能是很基本也是很重要的一项智能化功能。所谓视频运动分析，就是指在特定的视频场景，检测视频画面中特定区域的画面变化和移动的物体，并且排除正常光线变化和噪声带来的干扰，为后续的报警，目标分类和目标跟踪提供有用的信息。现有的视频码流运动分析技术中，如中国专利号为031035 . 4的专利公开了一种基于帧间编码图像平均大小的方法，该专利采用计算帧间编码帧的平均大小，以及帧的平均大小的变化率来检测运动信息。本发明的发明人发现，首先，由于在编码码流中，由于码率控制模块的影响，即使是静止的前后两帧码流，所采用的量化系数差别有可能较大，从而引起前后两帧码流大小差别较大，而该方法只能对于所有帧采用同一个量化系数编码且存在大量运动物体的视频进行有效检测，对于上述情况，该方法会造成错误的运动判断。其次，在视频中如果存在缓慢的运动物体，且运动物体大小占整个画面大小的比重较小，采用同样的量化系数编码这个序列，每一帧的码流大小不会发生明显变化，所以该方法也无法对这种情况进行有效检测。最后，该方法是基于整幅图像的码流大小进行判断的，虽然可以检测出视频中是否有运动，但是无法检测出发生运动的区域，也无法检测物体运动的方向。 总之该方法只能做为简单的运动检测，不能适应各种编码码流和各种场景。本发明的发明人还发现，现有技术中基于编码端的信息来进行视频运动分析的方法，编码端所能够提供的信息和所能承受的计算量有限，准确度不高，因此这类方法的对视频场景要求比较苛刻，大多只能应用于简单的室内场景，不能应用于复杂的室外场景。同样，基于解码图像来进行视频运动分析的方法，这类方法通过解码压缩码流，计算出解码图像，然后统计解码图像像素的一些特征，根据这些特征进行运动分析。这类方法的缺点是计算解码图像和对解码图像进行运动分析需要大量的计算和需要较多的存储空间，很难达到实时处理的效果，另外一方面，由于解码图像大多已经失真，所以，处理的准确度也不高。本发明的发明人还发现，对于现有实现码流转换的方法及其不足，目前有以下几种其一，双码流方法，这类方法的编码端除了编码一路正常分辨率、帧率的码流之外，还编码一路较低分辨率或帧率的码流，所编码的两路码流分别用来存储和网络转发。由于需要编码两路码流，增加了编码端负荷，也增加了编码端到接收端的传输负荷，而且较低分辨率或帧率的码流可能导致关键信息缺失。其二，转码存储方法，这类方法将接收到的码流通过特定算法转换到更低分辨率或帧率的码流，以减少码流存储时所需的存储空间。这种方法在接收设备端增加了转码环节，需要消耗较大运算量，同时转码后的码流由于帧率和分辨率低，不可避免地造成图像信息的丢失。其三，码流抽取方法，这类方法从视频码流中抽取出一些做为参考的帧或场对应的编码码流，丢弃不做参考的其他帧或场对应的编码码流。 这种方法相对上面两种方法运算量较小，但仍然存在信息缺失的问题，因为所丢弃的帧可能含有关键的运动信息。另外，在监控领域，IP摄像机能够提供越来越大分辨率和高帧率的图像用于提供更多信息，但视频码流也随之更高，为网络带宽及存储带来很大压力。所以，如何做到更有效适应性更强且宽泛的视频运动分析，同时能够减少网络带宽及其存储所带来的压力，是亟待解决的问题。
发明内容
本发明的目的在于提供一种基于视频压缩码流的运动分析方法、码流转换方法及其装置，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。为解决上述技术问题，本发明的实施方式公开了一种基于视频压缩码流的运动分析方法，包括以下步骤从视频压缩码流中提取帧中宏块的总比特数或残差比特数；对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均， 计算得到背景值，其中M为自然数；计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。本发明的实施方式还公开了一种基于视频压缩码流的码流转换方法，包括以下步骤根据上文所述的运动分析方法对视频压缩码流进行运动分析；如果运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流， 否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。本发明的实施方式还公开了一种基于视频压缩码流的运动分析装置，包括以下单元第一提取单元，用于从视频压缩码流中提取帧中宏块的总比特数或残差比特数；加权单元，用于对当前宏块在最近M帧中对应位置宏块的第一提取单元提取的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；计算单元，用于计算当前宏块的总比特数或残差比特数与加权单元计算得到的背景值的差值；第一判断单元，用于判断所述计算单元计算得到的差值是否大于预先设定的第一阈值，若是，则判定为检测到运动物体。本发明的实施方式还公开了一种基于视频压缩码流的码流转换装置，包括以下部分上文所述的运动分析装置；运动码流输出单元，用于如果运动分析单元运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。本发明实施方式与现有技术相比，主要区别及其效果在于
对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。根据I帧宏块信息重建I帧图像，以及根据P和/或B帧宏块信息归一化处理、背景建模和模型匹配，无需计算帧间宏块的编码图像且基于压缩码流宏块信息的背景建模方法对编码码流和场景适应性强，能够检测图像中发生运动的区域和方向，计算量小，且可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得运动区域和运动方向。仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。码流转换结合运动分析结果对视频压缩码流进行筛选或转码，以减轻视频压缩码流日益增加带来的网络带宽压力和存储压力。码流转换直接利用运动分析的结果进行码流转换，无需耗费大量计算，且能保持原有的图像信息，缓解码流日益增长带来的存储和网络带宽压力。进一步地，在视频码流压缩过程中对残差信息进行重映射，可以消除因不同量化算法量化系数的差别而带来的影响，进一步提高运动分析的准确率。进一步地，将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。进一步地，使用运动矢量作为补充的判断标准，可以进一步提高运动分析的准确率。进一步地，通过对不同类型宏块的运动矢量的加权平均筛选，获取当前宏块的运动矢量，形成运动矢量的统一表达形式，便于后续的运动分析处理。进一步地，在基于视频压缩码流运动分析方法增加指定区域的宏块判断，可以在视频数据自动快速定位指定区域的宏块，如果不是指定区域的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销。进一步地，在基于视频压缩码流运动分析方法增加指定方向运动矢量判断，可以在视频数据自动快速定位指定方向的宏块，如果不是指定方向的宏块，就不进行后续背景值的计算，这样节省了不必要的系统开销，在视频压缩运动分析实际应用中节省时间和精力。进一步地，仅对P帧或B帧进行宏块信息归一化处理、背景建模和通过背景模型进行运动物体检测，能够检测图像中发生运动的区域和方向，计算量小，可以简单有效地排除各种场景中的噪声和光线影响，应对各种复杂室内外场景，快速获得指定运动区域和运动方向，节省计算量。
图1是本发明第一实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；图2是本发明第二实施方式中一种基于视频压缩码流的运动分析方法的流程示意图3是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；图4是本发明第三实施方式中步骤305提取当前宏块的运动矢量的子步骤流程示意图；图5是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的宏块信息示意图；图6是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的宏块信息示意图；图7是本发明第三实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；图8是本发明第四实施方式中一种基于视频压缩码流的运动分析方法的流程示意图；图9是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；图10是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；图11是本发明第五实施方式中一种基于视频压缩码流的码流转换方法的流程示意图；图12是本发明第六实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；图13是本发明第七实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；图14是本发明第八实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；图15是本发明第八实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；图16是本发明第九实施方式中一种基于视频压缩码流的运动分析装置的结构示意图；图17是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图；图18是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。图19是本发明第十实施方式中一种基于视频压缩码流的码流转换装置的结构示意图。
具体实施例方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
9
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。本发明第一实施方式涉及一种基于视频压缩码流的运动分析方法。图1是该基于视频压缩码流的运动分析方法的流程示意图。如图1所示，该基于视频压缩码流的运动分析方法包括以下步骤在步骤101中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数，帧 (Frame)是在视频压缩码流中逐行扫描视频的基本单位，场(Field)是隔行扫描视频的所有奇数行或所有偶数行组成的基本单位，一幅视频图像(Picture)可以是一帧也可以是一场。以帧为单位处理视频的速率称为帧率。像素是数字图像的基本单位，一个像素是图像上的一个采样点，表征这个位置图像的光强等信息。一幅黑白图像由横向χ纵向y呈二维排列的(X，Y)个亮度采样点组成，X称为水平分辨率，Y称为垂直分辨率，或统称分辨率。一幅彩色图像由表征亮度、色度等信息的若干个二维平面组成，一般是亮度Y、蓝色差Cb和红色差Cr三个平面。视频压缩算法中，由于邻近时刻的图像可能存在大量相似的区域，其中一幅图像能够以另一幅(或几幅)图像作为参考，压缩前者时只需要处理其与后者之间的差异部分， 以减少数据量。这种编码方式称为帧间编码。而对于一幅图像的全部或局部，不使用如上所述的帧间编码方式，则称为帧内编码。帧内编码的数据不采用时间维度上的其它数据进行参考。如H. 264/AVC所定义视频压缩标准的算法，为目前国际上安防视频监控应用的主流视频压缩算法。在视频编码时，每幅图像被划分成互不重叠的16X16个亮度像素及其对应区域色度像素的宏块(Macro Block)，作为视频编码处理时的基本单元。一般来说，亮度块为 16X16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如对于YUV420采样图像，色度块为8X8大小的像素块。每个图象中，若干宏块被排列成片的形式，逐个宏块进行编码，组织成连续的视频码流。其中宏块信息包括宏块类型，编码总比特数，运动矢量、宏块量化系数等等，也可以将该宏块划分为子宏块作为视频编码的基本单元，比如16\8、8\16、8\8，4父4，本发明不限制处理单元为16X16的块，可以以子划分为单位应用本方法，其中，帧内antra)宏块为通过帧内编码方式形成的宏块，帧间Qnter) 宏块为使用帧间编码方式形成的宏块。。在视频编码时为了去除时间冗余，使用帧间编码方式编码宏块，使用该宏块与之前(或前后)图像中差异最小位置的运动偏移来表示运动矢量(Motion Vecotor，简称 “MV”)。在二维图像平面上，这种偏移即运动矢量，表示为(MVx，MVy)两个方向的分量，可以包括运动方向等信息参数。由于并不是每一个宏块都能够在之前(或前后)图像中找到完全相同的位置，因此除了运动偏移外，往往还存在一个反映每个像素具体差异值的信息，即残差或者残差比特数。为滤除部分人眼不敏感的信息和减少数据量，在编码中对残差信息存在一个使用量化系数(Quantization Parameter，简称“QP”)进行量化的一个步骤。但是量化会带来失真，一般量化系数即用于量化的参数，该参数越大，引起图像的失真也越大。只使用帧内编码的一幅图像的码流称为I帧码流，该码流能够不依赖于之前的码流解码获得图像。视频压缩码流解码时必须要从某个I图像开始。在视频监控应用时，I图像一般在码流中以一定间隔出现，如1秒或数秒，以利于如播放视频时的滚动条拖动等随机访问和接入。图像的全部或部分区域会使用帧间编码的图像的码流，该码流称为P帧或B帧，解码时需要依赖之前码流才能解码获得图像。由于使用了之前数据作为参考，P帧或B帧压缩效率高于I帧。一个I图像及其后直到下一个I图像之前的所有P帧或B帧图像组成的视频码流称为一个图像组(Group of Picture，简称“GOP”)。类似上面所提到的I图像和P图像或者B图像，在P/B图像中的每个宏块可以分类为帧内antra)宏块和帧间Qnter)宏块。I图像中只有帧内(htra)宏块，其中，帧内 (Intra)宏块为通过帧内编码方式形成的宏块，帧间Qnter)宏块为使用帧间编码方式形成的宏块。此后进入步骤102，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。 仅对I帧图像进行重建而不对P或B帧进行重建，节省计算量，可以省略一些不严重影响I图像质量的过程，例如环路滤波。此后进入步骤103，计算当前宏块的总比特数或残差比特数与背景值的差值。计算当前宏块的总比特数或残差比特数block_rSd与背景值bg_aVg_rSd的差值 rSd_dif，其残差比特数与背景值的差值衡量方法可以采用两者的当前宏块的残差比特数 block_rsd 与背景值 bg_avg_rsd 的绝对差值 rsd_dif = | block_rsd-bg_avg_rsd | ,但不限于此绝对值衡量方法，也可以是其差值的平方根值等。此后进入步骤104，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于预先设定的第一阈值。若当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第一阈值， 则进入步骤105 ；否则结束本流程。在步骤105中，判定总比特数或残差比特数与背景值的差值大于预先设定的第一阈值的当前宏块为检测到运动物体，此后结束本流程。本发明第二实施方式涉及一种基于视频压缩码流的运动分析方法。第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于在视频码流压缩过程中对残差信息进行量化，在视频图像失真对运动分析影响不明显的情况下， 可以滤除部分人眼不敏感的信息以及减少数据量，提高压缩效果。将宏块的类型归并为帧内宏块和帧间宏块的归一化处理，以及重映射处理为宏块信息预处理过程，使得宏块信息形成统一的表达形式，便于后续运动分析。在上述步骤101从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之后，还包括以下步骤根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。且在重映射的步骤之前，还包括以下步骤根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。在重映射的步骤中，根据视频压缩码流的压缩标准定义的量化算法和宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。作为本发明的一个优选实施例，图2是该基于视频压缩码流的运动分析方法的流程示意图。如图2所示的基于视频压缩码流的运动分析方法，具体地说在步骤201中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数；此后进入步骤202，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。在本发明的某些实施方式中，对M帧中宏块的帧内宏块和帧间宏块进行合并，也可以称为对M帧中宏块的帧内宏块和帧间宏块进行宏块类型归一化处理。此后进入步骤203，根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。此后进入步骤204，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行 bg — avg — rsd(k) =-i) x block — rsd(k - i)
1其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，《(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足=
ω (k-i) ^ 0。对P帧或B帧中的当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。此后进入步骤205，计算当前宏块的总比特数或残差比特数与背景值的差值。计算当前宏块的总比特数或残差比特数block_rSd与背景值bg_aVg_rSd的差值 rSd_dif，其残差比特数与背景值的差值衡量方法可以采用两者的当前宏块的残差比特数 block_rsd 与背景值 bg_avg_rsd 的绝对差值 rsd_dif = | block_rsd-bg_avg_rsd | ,但不限于此绝对值衡量方法，也可以是其差值的平方根值等。此后进入步骤206，判断当前宏块的总比特数或残差比特数与背景值的差值是否大于预先设定的第一阈值。若当前宏块的总比特数或残差比特数与背景值的差值大于预先设定的第一阈值， 则进入步骤207 ；否则结束本流程。在步骤207中，判定总比特数或残差比特数与背景值的差值大于预先设定的第一阈值的当前宏块为检测到运动物体，此后结束本流程。
本发明第三实施方式涉及一种基于视频压缩码流的运动分析方法。第三实施方式在第一实施方式的基础上进行了改进，主要改进之处在于在计算当前宏块的总比特数或残差比特数与背景值的差值之后对该差值进行三重阈值判断，进一步提高运动分析准确率。通过对不同类型宏块的运动矢量的加权平均筛选，获取当前宏块的运动矢量，形成运动矢量的统一表达形式，便于后续的运动分析处理。具体地说在上述步骤103计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之前，还包括以下步骤从视频压缩码流中提取帧中宏块的运动矢量。在上述步骤103计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之后，还包括以下步骤如果差值大于预先设定的第三阈值且当前宏块运动矢量大于预先设定的第二阈值，则判定为检测到运动物体，第一阈值大于或等于第三阈值。在本发明的其他某些实施方式中，运动矢量大小衡量方法也可以是其绝对值，如采用水平分量和处置分量的绝对值和或者平方和开根号。在本发明的其他某些实施方式中，上述阈值在具体实施时，可以预先设定，也可以根据场景类型、噪声强度和用户输入的灵敏度参数进行动态生成或者调整，一般地，噪声强度越大阈值越大，灵敏度参数越高，阈值越小。从视频压缩码流中提取帧中宏块的运动矢量的步骤之前，还包括以下步骤根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。从视频压缩码流中提取帧中宏块的运动矢量的步骤中，还包括以下子步骤当前宏块为帧间宏块且被划分为多个子宏块时，则对各个子宏块的运动矢量加权平均，获取当前宏块的运动矢量。当前宏块为帧内宏块时，则对帧内宏块周围帧间宏块的运动矢量加权平均，获取当前宏块的运动矢量。作为本发明的一个优选实施例，图3是该基于视频压缩码流的运动分析方法的流程示意图。如图3所示的基于视频压缩码流的运动分析方法，具体地说在步骤301中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数。此后进入步骤302，根据视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块。在本发明的某些实施方式中，对M帧中宏块的帧内宏块和帧间宏块进行合并，也可以称为对M帧中宏块的帧内宏块和帧间宏块进行宏块类型归一化处理。此后进入步骤303，根据视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。此后进入步骤304，对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数。对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行
权利要求
1.一种基于视频压缩码流的运动分析方法，其特征在于，包括以下步骤从视频压缩码流中提取帧中宏块的总比特数或残差比特数；对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。
2.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，在所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之后，还包括以下步骤根据所述视频压缩码流的压缩标准定义的量化算法，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。
3.根据权利要求2所述的基于视频压缩码流的运动分析方法，其特征在于，在所述重映射的步骤之前，还包括以下步骤根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；在所述重映射的步骤中，根据所述视频压缩码流的压缩标准定义的量化算法和宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。
4.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，所述对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行Σ州—1
5.根据权利要求1所述的基于视频压缩码流的运动分析方法，其特征在于，在所述计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之前，还包括以下步骤从视频压缩码流中提取帧中宏块的运动矢量；在所述计算当前宏块的总比特数或残差比特数与背景值的差值的步骤之后，还包括以下步骤如果所述差值大于预先设定的第三阈值且当前宏块运动矢量大于预先设定的第二阈值，则判定为检测到运动物体，所述第一阈值大于或等于所述第三阈值；
6.根据权利要求5所述的基于视频压缩码流的运动分析方法，其特征在于，所述从视频压缩码流中提取帧中宏块的运动矢量的步骤之前，还包括以下步骤根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；所述从视频压缩码流中提取帧中宏块的运动矢量的步骤中，还包括以下子步骤当所述当前宏块为帧间宏块且被划分为多个子宏块时，则对各个子宏块的运动矢量加权平均，获取所述当前宏块的运动矢量；当所述当前宏块为帧内宏块时，则对所述帧内宏块周围帧间宏块的运动矢量加权平均，获取所述当前宏块的运动矢量。
7.根据权利要求1至6中任一项所述的基于视频压缩码流的运动分析方法，其特征在于，所述计算得到背景值的步骤之前还包括以下步骤判断当前宏块是否为指定的区域中的宏块，如果是则进入所述计算得到背景值的步骤，否则结束对当前宏块的检测。
8.根据权利要求6所述的基于视频压缩码流的运动分析方法，其特征在于，所述计算得到背景值的步骤之前还包括以下步骤判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入所述计算得到背景值的步骤，否则结束对当前宏块的检测。
9.根据权利要求1至6中任一项所述的基于视频压缩码流的运动分析方法，其特征在于，在所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤之前，还包括以下步骤判断当前帧的类型；如果是B帧或P帧，则进入所述从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤；如果是I帧，则重建该I帧的图像，并根据重建的I帧图像进行运动分析。
10.一种基于视频压缩码流的码流转换方法，其特征在于，包括以下步骤 根据权利要求1至9中任一条所述的运动分析方法对视频压缩码流进行运动分析； 如果所述运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。
11.一种基于视频压缩码流的运动分析装置，其特征在于，包括以下单元 第一提取单元，用于从视频压缩码流中提取帧中宏块的总比特数或残差比特数； 加权单元，用于对当前宏块在最近M帧中对应位置宏块的所述第一提取单元提取的总比特数或残差比特数进行加权平均，计算得到背景值，其中M为自然数；计算单元，用于计算当前宏块的总比特数或残差比特数与所述加权单元计算得到的背景值的差值；第一判断单元，用于判断所述计算单元计算得到的差值是否大于预先设定的第一阈值，若是，则判定为检测到运动物体。
12.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元重映射单元，用于根据所述视频压缩码流的压缩标准定义的量化算法，将所述第一提取单元提取的宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。
13.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元第一归并单元，用于根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；所述重映射单元，还用于根据所述视频压缩码流的压缩标准定义的量化算法和所述第一归并单元归并的宏块的类型，将宏块的总比特数或残差比特数重映射为与量化系数无关的总比特数或残差比特数。
14.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，所述加权单元对当前宏块在最近M帧中对应位置宏块的残差比特数进行加权平均可以通过以下方式进行bg _ avg _ rsd(k) =- i) χ block _ rsd(k - i) 其中，bg_avg_rsd(k)表示当前宏块在最近M帧中对应位置宏块的残差比特数为加权平均后的残差比特数，k表示时域的当前时刻，block_rsd(k-i)表示时域的前i时刻同一位置宏块的残差比特数，m为一个正整数，表示对M帧中对应位置宏块的残差比特数进行加权平均，《(k-i)为M帧中对应位置宏块的残差比特数权重，且需要满足=ω (k-i) ^ 0。
15.根据权利要求11所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元所述第二提取单元，用于从视频压缩码流中提取帧中宏块的运动矢量；第二判断单元，用于判断所述第二提取单元提取的当前宏块运动矢量是否大于预先设定的第二阈值；第三判断单元，用于在所述第二判断单元判定当前宏块运动矢量大于预先设定的第二阈值时，判断所述计算单元计算得到的差值是否大于预先设定的第三阈值，若是，则判定为检测到运动物体，所述第一阈值大于或等于所述第三阈值。
16.根据权利要求15所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元第二归并单元，用于在所述第二提取单元从视频压缩码流中提取帧中宏块的运动矢量之前，根据所述视频压缩码流的压缩标准，将宏块的类型归并为帧内宏块和帧间宏块；所述第二提取单元，包括以下子模块宏块类型判断子模块，用于判断当前宏块是所述第一或第二归并单元归并的帧间宏块还是帧内宏块；子宏块类型判断子模块，用于当所述宏块类型判断子模块判定当前宏块为帧间宏块时，判断该帧间宏块是否被划分为多个子宏块；第一矢量加权子模块，用于当所述宏块类型判断子模块判定当前宏块为帧间宏块且所述子宏块类型判断子模块判定该帧间宏块被划分为多个子宏块时，对各个子宏块的运动矢量加权平均，获取所述当前宏块的运动矢量；第二矢量加权子模块，用于当所述宏块类型判断子模块判定当前宏块为帧内宏块时， 则对所述帧内宏块周围帧间宏块的运动矢量加权平均，获取所述当前宏块的运动矢量。
17.根据权利要求11至16中任一项所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元区域判断单元，用于在所述加权单元计算得到的背景值之前，判断当前宏块是否为指定的区域中的宏块，如果是则进入所述加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。
18.根据权利要求16所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元方向判断单元，用于在所述加权单元计算得到的背景值之前，判断当前宏块运动矢量的方向与指定方向的夹角是否小于预定门限，如果是则进入所述加权单元计算得到背景值的步骤，否则结束对当前宏块的检测。
19.根据权利要求11至16中任一项所述的基于视频压缩码流的运动分析装置，其特征在于，还包括以下单元帧类型判断单元，用于判断当前帧的类型，如果所述帧类型判断单元判定当前帧为B 帧或P帧，则进入所述第一提取单元从视频压缩码流中提取帧中宏块的总比特数或残差比特数的步骤；重建单元，用于如果所述帧类型判断单元判定当前帧为I帧，则重建该I帧的图像；I帧运动分析单元，用于根据所述重建单元重建的I帧图像进行运动分析。
20.一种基于视频压缩码流的码流转换装置，其特征在于，包括以下部分如权利要求11至19中任一项所述的运动分析装置；运动码流输出单元，用于如果所述运动分析单元运动分析判定为检测到运动物体，则输出检测到运动物体的图像组的码流，否则仅输出未检测到运动物体的图像组中代表I帧图像的码流。
全文摘要
本发明涉及安防视频监控，公开了一种基于视频压缩码流的运动分析方法、码流转换方法及其装置。本发明中，从视频压缩码流中提取帧中宏块的总比特数或残差比特数；对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数进行加权平均，计算得到背景值；计算当前宏块的总比特数或残差比特数与背景值的差值，如果差值大于预先设定的第一阈值，则判定为检测到运动物体。对当前宏块在最近M帧中对应位置宏块的总比特数或残差比特数等宏块信息加权平均背景建模和对背景差值匹配结果阈值判断，进行运动分析，无需计算帧间宏块的编码图像，计算量小且对编码码流和场景适应性强。
文档编号H04N7/50GK102395030SQ20111036932
公开日2012年3月28日 申请日期2011年11月18日 优先权日2011年11月18日
发明者俞海, 苏辉, 贾永华, 黄崇基 申请人:杭州海康威视数字技术股份有限公司