专利名称：静止物体检测方法和运动补偿装置的制作方法
技术领域：
本发明属于一种视频图像处理技术，特别是在视频序列中对图像进行运动检测的技术。
背景技术：
为了更清晰地显示视频以及为了适应播放视频序列装置的帧率要求，常常对原始视频序列的帧率进行变换，如帧率上变换技术(FRUC)。电影是一种重要的视频源，常见电影的帧率通常是每秒M帧。为了适应电视机等装置播放的帧率要求，电影通常会做一些预处理。例如，为了能在NTSC制式的电视上播放 24帧的电影，通常采用32-pulldown方法。以下简单介绍一下32-pulldown的具体实现方法。对于一个电影序列F(O)， F(l)，...，F(n)，....，首先将序列中的每一帧F(i)分成两场，顶场记为TF (i)，底场记为 BF(i)0则经过32-pulldown的电影序列(发射端的操作，同时也是接收端接收到的序列) 为 TF (0)，BF (0)，TF (0)，BF(I)，TF(I)，BF (2)，TF (2)，BF (2)，TF (3)，BF ⑶，· · ·相邻两帧， 一帧拆成3场，一帧拆成2场，从而实现了 M帧到60场的转化(32-pulldown名字的由来)。常见的电影模式有32-pulldown电影，22-pulldown电影。也存在其他的电影模式，例如22 ，2332，55等pulldown电影。他们具体的实现方法和32-pulldown类似，名字表明相邻的帧被拆分的场数。与非电影视频源不同的，电影是帧数据，同一帧的两个场是同一时刻成像的，而非电影视频源是场数据，相邻两场一定是在两个不同时刻成像的。在上述视频序列需要进行运动补偿插帧时，存在一个尚未很好解决的问题当视频序列图像中存在小的静止的物体影像时(如纸上印制的文字)，如果该物体周围的图像区域或所在背景是运动的，那么该物体运动估计错误的可能性较大，使得插帧后该物体出现“破碎”现象，严重影响视觉效果。由于这类小的静止物体本身细小，以纸上印制的文字为例，为了消除上述“破碎”现象，在进行该类物体的检测时需要考虑笔划、细节、区域特征等，硬件实现非常困难。
发明内容
为了能够在运动补偿过程中消除小的静止物体“破碎”现象，同时硬件实现容易， 本发明提供了一种静止物体检测方法。本发明的另一个目的是提供一种运动补偿装置。本发明的技术方案如下静止物体检测方法，包括如下步骤A、当前处理原始帧图像中像素边缘检测及分类，，将像素归类为第一类像素点或第二类像素点，第一类像素点为静止像素，第二类像素点为非静止像素；B、根据步骤A的结果计算当前处理原始帧图像中块的第一级静止概率；
C、对当前处理原始帧图像中的每个块，对其KXL邻域内所有块的由步骤B得到的静止概率进行中值滤波；D、根据步骤A、B和C的结果计算插值帧图像中块的静止概率。步骤A由以下方法实现在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；当前述得到的第一类像素χ符合如下条件X的邻域内大于预定比例的像素满足 该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素X属于第一类像素点，否则像素X属于第二类像素点；第二类像素点的边缘强度置为零。步骤B由以下方法实现将当前处理原始帧图像以块为单位进行分割；条件1 当前处理块的MXN邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；条件2 当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d， 所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e ；条件3 当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值dl， 所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值el ；如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率。步骤C由以下方法实现对当前处理原始帧图像中的每个块，对其KX L邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的 SAD记为当前处理块的中值SAD ；当前处理块的MXN邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值 SAD小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；步骤D由以下方法实现对于插值帧图像中的块S，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为hi ；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为il和i2，hi、il、i2中最大值为块s的静止概率。所述静止物体检测方法还包括如下插值帧图像中像素运动补偿步骤运动矢量为ν = (vx, vy)，插值相位在
之间，插值相位为phase，归一化插值相位α为
权利要求
1.静止物体检测方法，其特征在于包括如下步骤A、当前处理原始帧图像中像素边缘检测及分类，，将像素归类为第一类像素点或第二类像素点，第一类像素点为静止像素，第二类像素点为非静止像素；B、根据步骤A的结果计算当前处理原始帧图像中块的第一级静止概率；C、对当前处理原始帧图像中的每个块，对其KXL邻域内所有块的由步骤B得到的静止概率进行中值滤波；D、根据步骤A、B和C的结果计算插值帧图像中块的静止概率。
2.根据权利要求1所述静止物体检测方法，其特征在于步骤A由以下方法实现 在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度；在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；当前述得到的第一类像素χ符合如下条件x的邻域内大于预定比例的像素满足该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素χ属于第一类像素点，否则像素χ属于第二类像素点；第二类像素点的边缘强度置为零。
3.根据权利要求1或2所述静止物体检测方法，其特征在于步骤B由以下方法实现 将当前处理原始帧图像以块为单位进行分割；条件1 当前处理块的MXN邻域内所有块的SAD的加权均值小于阈值c，所述邻域内离当前处理块越近的块的权重越大；条件2 当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e ；条件3 当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值dl，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值el ；如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率。
4.根据权利要求3所述静止物体检测方法，其特征在于步骤C由以下方法实现 对当前处理原始帧图像中的每个块，对其KXL邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的SAD 记为当前处理块的中值SAD;当前处理块的MXN邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD 小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；
5.根据权利要求4所述静止物体检测方法，其特征在于步骤D由以下方法实现对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为hi ；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为il和i2，hi、il、i2中最大值为块s的静止概率。
6.根据权利要求5所述静止物体检测方法，其特征在于还包括如下插值帧图像中像素运动补偿步骤运动矢量为V = (vx, vy)，插值相位在
之间，插值相位为phase，归一化插值
7.根据权利要求6所述静止物体检测方法，其特征在于运动矢量ν= (vx, vy)由运动估计得到，如果判断出当前处理原始帧图像发生场景切换，则用于生成插值帧图像的运动矢量为零；所述判断当前处理帧图像发生场景切换的方法将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于η倍的邻接的前若干连续原始帧图像的SAD 均值，则判断发生场景切换，η为预定的大于1的数。
8.根据权利要求7所述静止物体检测方法，其特征在于插值相位由电影模式检测方法得到。
9.根据权利要求8所述静止物体检测方法，其特征在于还包括如下步骤对运动补偿步骤得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
10.运动补偿装置，其特征在于包括静止物体检测模块和相连接的运动补偿模块，其中静止物体检测模块实现Α、当前处理原始帧图像中像素边缘检测及分类在当前处理原始帧图像和其前一原始帧图像中分别计算每个像素的边缘强度； 在当前处理原始帧图像中的像素，如果其边缘强度与前一原始帧图像中相同位置像素的边缘强度均大于阈值a，且该像素在两个所述原始帧图像中的两个边缘方向的夹角小于阈值b，则当前处理原始帧图像中的该像素为第一类像素，否则属于第二类像素点；当前述得到的第一类像素X符合如下条件x的邻域内大于预定比例的像素满足该像素与前一原始帧图像中相同位置像素均属于第一类像素；则像素X属于第一类像素点，否则像素X属于第二类像素点；第二类像素点的边缘强度置为零；B、计算当前处理原始帧图像中块的第一级静止概率 将当前处理原始帧图像以块为单位进行分割；条件1 当前处理块的MXN邻域内所有块的SAD的加权均值小于阈值C，所述邻域内离当前处理块越近的块的权重越大；条件2 当前处理块的所述邻域内所有块的水平运动矢量绝对值均值大于阈值d，所述邻域内相邻块的水平运动矢量差的绝对值的和小于阈值e ；条件3 当前处理块的该邻域内所有块的垂直运动矢量绝对值均值大于阈值dl，所述邻域内相邻块的垂直运动矢量差的绝对值的和小于阈值el ；如果当前处理块满足条件1且满足条件2或条件3中至少一个，则当前处理块为非静止块，当前处理块的第一级静止概率为零；除所述非静止块外的块，将该块内所有像素的边缘强度相加，相加的结果作为该块的第一级静止概率；C、对当前处理原始帧图像中的每个块，对其KXL邻域内所有块的由步骤B得到的第一级静止概率进行中值滤波，其结果记为当前处理块的中值静止概率；该中值对应的块的 SAD记为当前处理块的中值SAD ；当前处理块的MXN邻域内所有块的中值静止概率加权平均值为当前处理块的第二级静止概率，所述邻域内离当前处理块越近的块的权重越大；如果邻域内某个块的中值SAD 小于阈值g，则使用当前处理块的中值静止概率替代该块的中值静止概率进行上述加权操作；D、对于插值帧图像中的块s，以零矢量查找块s在其后原始帧图像中对应的块的第二级静止概率为hi ；以运动矢量查找块s在前、后两原始帧图像中对应的块的第二级静止概率为il和i2，hi、il、 2中最大值为块s的静止概率；运动补偿模块实现运动矢量为ν = (vx, vy)，插值相位在
之间，插值相位为phase，归一化插值,,、 fphase相位α为:α = ^ρ·’当插值帧图像中像素所处块的静止概率为零时，该像素运动补偿公式为fn+a (X，y)i = (1-a )fn(x-a Vx, y- a Vy) + a fn+1 (x+(l-a )vx, y+(l-a )Vy)其中f(x，y)代表坐标位于(x，y)处像素的亮度值，下标n，n+1代表相邻两原始帧图像，n+a代表插值相位为α的内插帧；当插值帧图像中像素所处块的静止概率大于阈值j时，该像素运动补偿公式为fn+a (X，y)2 = (l-a )fn(x，y) + a fn+1 (x, y)当插值帧图像中像素所处块的静止概率小于等于阈值j且大于零时，该像素运动补偿公式为fn+a (x, y) = (ι-β)*4+α(χ;γ)1+β*4+α(χ;γ)2插值帧图像中像素所处块的静止概率的取值范围为
，待插值块的静止概txi — prob率为 txt.prob,^=^^^。
11.根据权利要求10所述运动补偿装置，其特征在于还包括运动估计模块与场景切换检测模块，场景切换检测模块与运动估计模块连接，运动估计模块与运动补偿模块连接，运动估计模块还与静止物体检测模块连接，运动估计模块输出用于生成插值帧图像的运动矢量，如果场景切换检测模块判断出当前处理原始帧图像发生场景切换，则运动估计模块输出的所述运动矢量为零；场景切换检测模块实现将当前处理原始帧图像以块为单位进行分割，该图像中所有块的SAD值的均值为该图像的SAD值，若当前处理原始帧图像SAD值大于η倍的邻接的前若干连续原始帧图像的SAD 均值，则判断发生场景切换，η为预定的大于1的数。
12.根据权利要求10或11所述运动补偿装置，其特征在于还包括电影模式检测模块， 电影模式检测模块与运动补偿模块连接；电影模式检测模块根据电影模式检测结果输出视频图像的插值相位。
13.根据权利要求12所述运动补偿装置，其特征在于还包括后处理模块，后处理模块与运动补偿模块、静止物体检测模块连接；后处理模块实现对运动补偿模块得到的插值帧图像所有像素进行低通滤波；最终得到的插值帧图像的像素值由经过低通滤波前的像素值与低通滤波处理后该像素的值进行加权平均得到；对于当前处理块，当运动矢量与周围块运动矢量差值的绝对值大于预定值，且静止概率小于预定值时，当前处理块的邻域内所有块的SAD加权平均值越大，低通滤波处理后所述像素的值在加权平均时的加权系数越大，而经过低通滤波前的像素值在加权平均时的加权系数越小。
全文摘要
本发明属于视频图像处理中运动检测领域。为了能够在运动补偿过程中消除小的静止物体“破碎”现象，同时硬件实现容易，本发明提供了一种静止物体检测方法，首先对像素进行边缘检测与分类，然后对图像以块为单位结合块的运动矢量、SAD得到块的静止概率，从而检测出静止物体。通过静止物体检测方法，检测出小的静止物体，进而可以排除周围或背景运动等对小的静止物体的干扰，很好地改善了含有静止小物体的视频经过帧率变换后图像的质量。本发明的技术方案复杂度较低、硬件实现成本低。
文档编号H04N7/01GK102447870SQ20101029800
公开日2012年5月9日 申请日期2010年9月30日 优先权日2010年9月30日
发明者石广建, 韩睿 申请人:宝利微电子系统控股公司