专利名称：视频编码中特征运动区域的检测方法
技术领域：
本发明涉及到一种视频编码中特征运动区域的检测方法，将反映视觉感知特征的运动宏 块有效的检测出来，特别是能够在背景剧烈运动以及背景纹理很复杂的情况下依然能够检测 出人眼感兴趣的特征运动宏块。本方法首先对视频帧进行低通滤波处理，然后建立特征运动 方程，利用运动矢量和矩阵的特征值来找出特征运动宏块；再建立8方向运动模型利用宏块 运动方向性来找出局部运动宏块；最后利用特征运动区域以及局部运动区域的相关性得到最 终的特征运动区域。
背景技术：
视频序列的运动是非常复杂的，最基本的运动是指摄像机固定，运动物体相对于背景移 动，由于摄像机是固定的，这些背景相对于相邻帧序列而言是静止不变的，这些运动物体所 表现出来的运动称之为局部运动。然而在图像处理中，通常是通过摄像机获得原始的视频序 列图像，很多情况下摄像机安装在运动平台上，为了更好地捕捉图像，摄像机本身也要在全 空间范围内做扫描运动，如縮放、水平运动、竖直运动、旋转运动等，这样一来，固定的背 景物体会在图像平面上显示出一种全局的二维运动，称之为全局运动。
运动物体检测是近年来计算机视觉领域中备受关注的前沿方向。他在安全监控,视频会 议，人体运动分析和图像压縮以及基于内容的图像存储与检索等方面有广泛的应用前景和潜 在经济价值。在视频图像处理中，运动物体检测的首要任务就是要将前景目标从背景图像中分 割出来。 一般有以下三种实现方法背景减除法、帧间运动分析法和光流法。背景减除是目 前最常用的一种方法。它利用当前图像与背景图像的差分检测出运动区域。这种方法一般能 提供最完全的特征数据，但是在动态场景的运用效果不佳；帧间运动分析法，即帧间差分法， 是在连续的图像序列中相邻两个或三个相邻帧间采用给予像素时间差分，并且阈值化来提取 图像中的运动区域。这种方法对于动态环境具有较强的自适应性，但容易产生空洞现象；光 流法采用运动目标随时间变化的光流特性,有效地提取和跟踪运动目标,这种方法虽然适用于 在运动摄像机存在的前提下检测出目标，然而，大多数光流算法复杂，抗噪性能差。
而如何从运动序列中寻找到我们主观或者人眼所感兴趣的运动区域则是一个比较大的难 题。现在一般的做法都是利用时间掩盖效应来寻找到这些运动区域。时间掩盖效应是由于亮 度的变化在时间上的不连续而造成视觉阈值的提升或下降。这就说明在视频帧中，当有场景 突变或者快速运动的目标时，视觉阈值将会有所提升，此时人眼的感知度将会大大的降低。
发明内容
本发明的目的是利用巳有技术的缺陷，提供一种视频编码中特征运动区域的检测方法， 利用宏块的运动矢量以及方向来寻找人眼所感兴趣的特征运动宏块，如果对这些特征运动宏 块进行感知编码则可以大幅提升主观视觉质量。
为达到上述目的，本发明的构思是-
如图1所示，首先对视频帧进行低通滤波处理，然后建立特征运动方程，利用运动矢量 和矩阵的特征值来找出特征运动宏块；再建立8方向运动模型利用宏块运动的方向性来找 出局部运动宏块；最后利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区 域。
根据上述构思，本发明的技术方案是
一种视频编码中特征运动区域的检测方法，能将视频序列中的特征运动区域通过快速检 测出来，特别是能够有效的将一帧视频图像中的人眼感兴趣的特征运动区域有效的检测出来， 其特征在于首先对视频帧进行滤波预处理，然后运用特征运动方程计算帧中的特征运动区域， 再利用8方向运动模型来得到局部运动区域，最后综合特征运动区域和局部运动区域的宏块 后得到最终的特征运动区域。具体的步骤如下
(1) 对视频帧进行预处理对未编码的原始序列进行低通滤波处理；
(2) 建立特征运动方程利用运动矢量和矩阵的特征值来找出特征运动宏块；
(3) 建立8方向运动模型利用宏块运动方向性来找出局部运动宏块；
(4) 利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区域。 上述四个步骤进一步说明如下
(1)对当前帧利用5X5的高斯模板进行低通滤波，模板如下所示
<formula>formula see original document page 5</formula>
(2)建立特征运动方程
①定义一个2X2的矩阵，公式如下:<formula>formula see original document page 6</formula>(1)
上式中co表示希望获得特征区域的大小，本方法中取"=16; 1<， Iy表示图像P在x 与y方向上的一阶偏导数，在计算时用中心差分来代替一阶偏导数的计算，公式如下
j = 3尸(jc,少)=尸cwO + l,少)—尸,eO + mv一工一l,y + mv —j;) ② ^ 5x 2
,=5户(:c,^) = AwO,y + I) — iVc(x + mv一x，;y + wv —y —1) y 一 ~^
上式中Kx,y)表示当前图像P的坐标(x,y)上的亮度值，P^(x,y)表示前一帧图像 的坐标(x，y)上的亮度值，mv—x， mv—y表示当前宏块的水平与垂直方向的运动矢量。
② 矩阵Z计算出来之后，利用数学方法计算出Z的两个特征值，其中较大的值定义为 入u较小的值为^2，保留特征值入2。
③ 根据上述的方法计算当前帧中每一个宏块的矩阵Z以及它的最小特征值，然后对每 一个宏块的最小特征值从大到小排序，前20%的特征值所对应的宏块即为特征运动宏块。
7
(3)建立8方向运动模型
① 统计前一编码帧中的所有宏块的运动矢量，根据运动矢量的方向分为8个方向，如图 2所示，按逆时针方向对8个方向分别编号为方向l一方向8。
偏离方向1左右15度角以内的所有运动矢量都归化为方向1的运动矢量，以此类推， 偏离各个方向15度以内的运动矢量都归化为该方向的运动矢量。并且统计该方向的运动 宏块的个数，然后计算该方向所有宏块水平与垂直运动大小的平均值为ave一mv—x， ave—mv一y。如果宏块的运动矢量为0，即该宏块为静止宏块，则标记该宏块为方向0宏 块。
② 统计8方向运动宏块以及静止宏块的个数，此时哪个方向的运动宏块最多，则我们假 定该方向为全局运动方向，该方向的平均运动矢量为全局运动矢量。
③ 令mv—Xi, mv—yi为第i个宏块的水平与垂直方向的运动矢量，利用公式(4)、 (5)重新 计算宏块的运动矢量，其中avejiiv—x， ave—mv—y为水平与垂直的全局运动矢量。
rv —= wv —&—ove_， —x (4)
mv —乂. 二mv — 乂. _ave —mv一少 (5) 根据步骤3得到新的宏块运动矢量之后，重新计算全局运动方向，即跳转到步骤1 与步骤2，得到最终的全局运动方向。
⑤假定方向i为全局运动方向，对于每一个宏块来说，如果该宏块的运动方向为方向 i或者是与i相邻的两个方向，则标记该宏块为全局运动宏块，否则标记其为局部运动宏块。 (4)根据权利要求1所述的H.264视频编码中特征运动区域的快速定位方法，其特征在于所
述的利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区域的步骤如下-
① 以当前局部运动宏块为中心，如果该宏块周围3X3宏块存在-定数量的特征运动宏 块，则当前局部运动宏块为最终的特征运动宏块；
② 以当前非特征宏块为中心，如果该宏块周围3X3宏块存在一定数量的局部运动宏块， 则当前局部运动宏块为最终的特征运动宏块。
本发明与现有的技术相比，具有如下显而易见的突出实质性特点和显著有点 本发明利用运动特征举证方程和8方向运动模型来联合检出运动序列中人眼感兴趣的物
体，自适应性比较好，算法比较简单，目标物体检测比较准确。
图l是本发明的基于时空掩盖效应的自适应码率控制方法流程框图。 图2是图1中八方向运动模型的示意图。
图3是采用CIF格式的football序列的特征运动区域的检测结果图。 图4是采用CIF格式的foreman序列的特征运动区域的检测结果图。 图5是采用CIF格式的coastguard序列的特征运动区域的检测结果图。 图6是采用CIF格式的deadline序列的特征运动区域的检测结果图。 图7是采用CIF格式的hall序列的特征运动区域的检测结果图。 图8是采用CIF格式的children序列的特征运动区域的检测结果图。
具体实施例方式
本发明的一个实施例子结合附图详述如下 本视频编码中特征运动区域的检测方法
是按图1所示程序框图，在CPU为Athlon x2 2. 0GHz、内存1024M的PC测试平台上编程实 现。参见图1，本发明视频编码中特征运动区域的检测方法，首先对视频帧进行低通滤波处 理，然后建立特征运动方程，利用运动矢量和矩阵的特征值来找出特征运动宏块；再建立8 方向运动模型利用宏块运动方向性来找出局部运动宏块；最后利用特征运动区域以及局部 运动区域的相关性得到最终的特征运动区域。其步骤是-
(1)对视频帧进行预处理对未编码的原始序列进行低通滤波处理；(2) 建立特征运动方程利用运动矢量和矩阵的特征值來找出特征运动宏块;
(3) 建立8方向运动模型利用宏块运动方向性来找出局部运动宏块；
(4) 利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区域。 上述步骤(1)的视频帧预处理的过程如下
①对当前帧利用5X5的高斯模板进行高斯滤波，模板如下所示。
<formula>formula see original document page 8</formula>上述步骤(2)的感知模型的过程如下
①定义一个2X2的矩阵，公式如下
<formula>formula see original document page 8</formula>
(i)
上式中CO表示希望获得特征区域的大小，本方法中取"=16; I,, Iy表示图像P在X
与y方向上的一阶偏导数，在计算时用中心差分来代替一阶偏导数的计算，公式如下
<formula>formula see original document page 8</formula>
(2)
<formula>formula see original document page 8</formula>(3)
上式中P。『U,y)表示当前图像P的坐标(x，y)上的亮度值，P^(x，y)表示前一帧图像 的坐标(x，y)上的亮度值，mv—x， mv一y表示当前宏块的水平与垂直方向的运动矢量。
② 矩阵Z计算出来之后，利用数学方法计算出Z的两个特征值，其中较大的值定义为 X"较小的值为、，保留特征值"。
③ 根据上述的方法计算当前帧中每一个宏块的矩阵Z以及它的最小特征值，然后对每 一个宏块的最小特征值从大到小排序，前20%的特征值所对应的宏块即为特征运动宏块。 上述步骤(3)的自适应码率控制方法的过程如下
①统计前一编码帧中的所有宏块的运动矢量，根据运动矢量的方向分为8个方向，如图 2所示，按逆时针方向对8个方向分别编号为方向l一方向8。偏离方向l左右15度角以内的所有运动矢量都归化为方向1的运动矢量，以此类推， 偏离各个方向15度以内的运动矢量都归化为该方向的运动矢量。并且统计该方向的运动 宏块的个数，然后计算该方向所有宏块水平与垂直运动大小的平均值为ave—mv—x， ave—mv—y。如果宏块的运动矢量为0，即该宏块为静止宏块，则标记该宏块为方向0宏 块。
② 统计8方向运动宏块以及静止宏块的个数，此时哪个方向的运动宏块最多，则我们假 定该方向为全局运动方向，该方向的平均运动矢量为全局运动矢量。
③ 令mv—Xi， mv—y,为第i个宏块的水平与垂直方向的运动矢量，利用公式(4)、 (5)重新 计算宏块的运动矢量，其中ave—mv一x， avejnv一y为水平与垂直的全局运动矢量。
mv — A^ = mv —&-flrve一,—x (4) ,j; = ,_乂 一flve —， j (5)
根据步骤3得到新的宏块运动矢量之后，重新计算全局运动方向，即跳转到步骤1 与步骤2，得到最终的全局运动方向。
假定方向i为全局运动方向，对于每一个宏块来说，如果该宏块的运动方向为方向i 或者是与i相邻的两个方向，则标记该宏块为全局运动宏块，否则标记其为局部运动宏块。
上述步骤(4)的自适应码率控制方法的过程如下
① 以当前局部运动宏块为中心，如果该宏块周围3X3宏块存在一定数量的特征运动宏 块，则当前局部运动宏块为最终的特征运动宏块；
② 以当前非特征区域为中心，如果该宏块周围3X3宏块存在一定数量的局部运动宏块， 则当前局部运动宏块为最终的特征运动宏块。
以下给出输入视频格式为352x288的CIF时的实例，采用JM10. 2版本的H. 264编码器 对标准测试序列进行编码。H.264编码器的配置如下Baseline Profile, IPPP，每15帧插 入1个I帧，1个参考帧，带宽设置为256k bps，帧率设置为30fps，初始量化参数设置为 32。
采用典型的标准测试序列352x288的CIF作为输入视频进行测试，这些序列既有背景复 杂的，也有背景静止的。由图3至图8这些检测结果可以看出，本方法对背景静止和具有较 大全局运动的序列都有较好的检测结果。
权利要求
1. 一种视频编码中特征运动区域的检测方法，能将视频序列中的特征运动区域通过快速检测出来，特别是能够有效的将一帧视频图像中的人眼感兴趣的特征运动区域有效的检测出来，其特征在于首先对视频帧进行滤波预处理，然后运用特征运动方程计算帧中的特征运动区域，再利用8方向运动模型来得到局部运动区域，最后综合特征运动区域和局部运动区域的宏块后得到最终的特征运动区域。具体的步骤如下(1)对视频帧进行预处理对未编码的原始序列进行低通滤波处理；(2)建立特征运动方程利用运动矢量和矩阵的特征值来找出特征运动宏块；(3)建立8方向运动模型利用宏块运动方向性来找出局部运动宏块；(4)利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区域。
2. 根据权利要求1所述的视频编码中特征运动区域的检测方法，其特征在于所述步骤(l)的 对视频帧进行预处理的方法是对当前帧利用5X5的高斯模板进行低通滤波，模板如下所 示2 454 2' 4 9 12 9 4 -5 12 15 12 5>。 4 9 12 9 4 2 454 2
3. 根据权利要求1所述的视频编码中特征运动区域的检测方法，其特征在于所述步骤(2)的 建立特征运动方程的步骤是①定义一个2X2的矩阵，公式如下(1)上式中"表示希望获得特征区域的大小，取"=16; Ix， Iy表示图像P在x与y方向上 的一阶偏导数，在计算时用中心差分来代替一阶偏导数的计算，公式如下-& 2(2)(3)y * 2上式中P。Jx, y)表示当前图像P的坐标(x， y)上的亮度值，PPrs(x， y)表示前一帧图像的坐 标(x，y)上的亮度值，mv_x， mv—y表示当前宏块的水平与垂直方向的运动矢量；② 矩阵Z计算出来之后，利用数学方法计算出Z的两个特征值，其中较大的值定义为 入h较小的值为人2，保留特征值入2;③ 根据上述的方法计算当前帧中每一个宏块的矩阵Z以及它的最小特征值，然后对每 一个宏块的最小特征值从大到小排序，前20%的特征值所对应的宏块即为特征运动宏块。
4. 根据权利要求1所述的视频编码中特征运动区域的检测方法，其特征在于所述步骤(3)的 建立8方向运动模型的步骤如下① 统计前一编码帧中的所有宏块的运动矢量，根据运动矢量的方向分为8个方向，按逆 时针方向对8个方向分别编号为方向l一方向8;偏离方向1左右15度角以内的所有运动矢量都归化为方向1的运动矢量，以此类推， 偏离各个方向15度以内的运动矢量都归化为该方向的运动矢量；并且统计该方向的运动宏块的个数，然后计算该方向所有宏块水平与垂直运动大小的平均值为ave一mv一x， ave一mv—y;如 果宏块的运动矢量为0，即该宏块为静止宏块，则标记该宏块为方向0宏块；② 统计8方向运动宏块以及静止宏块的个数，此时哪个方向的运动宏块最多，则我们假 定该方向为全局运动方向，该方向的平均运动矢量为全局运动矢量；③ 令mv一&， mv—yi为第i个宏块的水平与垂直方向的运动矢量，利用公式(4)、 (5)重新 计算宏块的运动矢量，其中ave—mv—x， ave一mv—y为水平与垂直的全局运动矢量。<formula>formula see original document page 3</formula> (5) 根据步骤③得到新的宏块运动矢量之后，重新计算全局运动方向，即跳转到步骤① 与步骤②，得到最终的全局运动方向； 假定方向i为全局运动方向，对于每一个宏块来说，如果该宏块的运动方向为方向i 或者是与i相邻的两个方向，则标记该宏块为全局运动宏块，否则标记其为局部运动宏 块。
5. 根据权利要求1所述的视频编码中特征运动区域的检测方法，其特征在于所述步骤(3)的 利用特征运动区域以及局部运动区域的相关性得到最终的特征运动区域的歩骤如下① 以当前局部运动宏块为中心，如果该宏块周围3X3宏块存在一定数量的特征运动宏 块，则当前局部运动宏块为最终的特征运动宏块；② 以当前非特征宏块为中心，如果该宏块周围3X3宏块存在一定数量的局部运动宏块， 则当前局部运动宏块为最终的特征运动宏块。
全文摘要
本发明涉及到一种视频编码中特征运动区域的检测方法，本方法能将视频序列中的特征运动区域快速的检测出来，特别是能够在背景剧烈运动以及背景纹理复杂的情况下有效的将一帧视频图像中的人眼感兴趣的特征运动区域有效的检测出来。它首先对视频帧进行滤波预处理，然后运用特征运动方程计算帧中的特征运动区域，再利用8方向运动模型来得到局部运动区域，最后综合特征运动区域和局部运动区域的宏块得到最终的特征运动区域。本方法自适应性较好，算法较简单，目标物体的检测比较准确。
文档编号G06T7/20GK101436301SQ200810203979
公开日2009年5月20日 申请日期2008年12月4日 优先权日2008年12月4日
发明者张兆扬, 张锦辉, 沈礼权, 石旭利, 健 郭 申请人:上海大学