专利名称：基于运动目标的反交错方法
技术领域：
本发明属于图像/视频处理领域，涉及电视图像增强和视频格式转换，应用于视频压缩编码，滤波，计算机视觉，图像恢复的处理。
背景技术：
目前，隔行扫描标准还广泛地应用于电视系统，它是压缩电视信号带宽的简便方法。但是在高分辨率显示器上，这种隔行扫描方式存在着行闪烁、行爬行、边缘羽化或交错等缺点，并且在视频产业由模拟向数字转化的过程中，越来越多的视频设备已从模拟转为数字。现在的模拟电视标准是基于隔行扫描的，而一些数字设备，如图像打印机、计算机、等离子显示器等，需要逐行扫描的素材，因此就需要一种将隔行扫描视频转化为逐行扫描视频的技术，即所谓的反交错技术。该技术是一种通过对没有信息的行进行插值而将一场隔行扫描的视频图像变为逐行扫描形式的方法。
目前的反交错方法按照插值方式的不同可以分为场内插值和场间插值。
场内插值包括行重复法和线性滤波法。这类方法是利用同一场中采样点和插值点之间的相关性进行插值的，所需要的存储成本低，而且易于硬件实现，但不能提高画面的垂直分辨率，而且由于抑制了高频分量，使得画面边缘模糊。
场间插值法则至少需要存储一场图像，方法自由度的增加提高了反交错的效果。场复制法(Weave)是简单的场间插值方法，对于图像中的静止部分的反交错效果良好，但对于运动部分，则会产生伪影。因此，人们又提出了各种针对运动自适应的方法，例如基于中值滤波的方法(MF)、利用运动检测的方法等，其中运动补偿方法(motioncompensation，MC)是一种对运动自适应的先进方法。
与上述基于统计观点的方法相比，运动补偿方法有其物理背景物体具有惯性，它完全消失或改变形状都需要一定的时间，因此相邻图像间具有很强的相关性。运动补偿方法就是试图在具有最高相关性的方向上插值，即沿运动轨迹插值。要进行运动补偿首先要进行运动矢量估计，L.Vandendorpe等认为块匹配法是一种常用且易于实现的运动估计方法“L.Vandendorpe，L.Cuvelier，B.Maison，P.Queluz and P.Delogne，“Motion-compensated conversion from interlaced to progressive formats，”SignalProcessingImage Communication.vol.6，pp.193-211，Jun.1994.”，它假设块内各象素只作相同的平移运动。在很多视频序列中，平移是最常见的运动形式，因此该方法取得了较好的效果。但是这个假设的局限性限制了方法性能的进一步提高首先，块的划分是硬性的，在物体的边缘处，块的划分与物体本身的自然变化是不适应的，从而在运动目标的边缘容易产生块状锯齿，即使在物体内部，同一块内象素做同样运动的假设也可能不成立，即存在块内象素运动不相同的混合块；其次，块匹配法仅适用于平移的情况，无法处理旋转、尺度变换等复杂运动；最后，匹配准则中一般仅能使用亮度信息，这又影响了运动估计的精度。所以如何克服块匹配存在的固有缺陷成为提高反交错方法性能的关键。
发明内容
本发明的目的在于克服上述已有技术的不足，提出了一种基于运动目标的反交错方法，以解决块匹配方法存在的固有缺陷，从而达到运算量和运动估计性能上的较好平衡。
技术方案 为实现上述目的，本发明基于运动目标的反交错方法包括如下步骤 (1)对输入视频序列，使用高阶统计模型检测出待处理场和参考场的运动区域和静止部分； (2)对待处理场和参考场的运动区域，通过同性场的区域相与得到它们的运动物体，并用待处理场的运动区域减去它的运动物体得到显露背景； (3)使用分水岭算法对待处理场和参考场的运动物体进行初始空间分割，根据空间分割结果中目标具有运动像素的百分比，得到它们的运动目标； (4)在参考场中选择待处理场的运动目标的候选匹配目标集，并在选择的候选匹配目标集中使用免疫克隆选择算法进行搜索，得到该目标的匹配目标和运动矢量场； (5)使用运动矢量场对搜索到的匹配目标的运动目标，进行基于时域中值滤波的运动补偿； (6)通过线性滤波法对没有搜索到匹配目标的部分以及背景显露部分进行处理，使用场复制法对静止部分进行处理。
本发明具有如下优点 1)由于基于运动目标的反交错方法是对目标操作，而一个目标通常包括很多块，所以解决了混合块的问题，并且该方法的运行时间一般少于运动补偿的全搜索方法。
2)由于使用了多个特征来进行匹配目标的判定，提高了匹配运动目标的精度，其显著错误率要低于现有其它方法。
3)由于在定义的目标匹配亲合度函数中引入了旋转因子和尺度变换因子，所以该方法可以同时处理平移、旋转、尺度等变换的运动目标。
4)由于在该方法中融合了运动补偿、中值滤波、场复制、线性滤波等反交错方法，更适应于复杂多变的视频序列。
图1是发明模型中，基于运动目标的反交错方法的流程图； 图2是发明模型中，运动预检测和后处理示意图； 图3是发明模型中，运动物体检测示意图； 图4是发明模型中，运动物体检测结果示意图； 图5是发明模型中，运动目标提取示意图； 图6是发明模型中，4个序列全图的PSNR曲线图； 图7是发明模型中，4个序列运动域的PSNR曲线图。
具体实施例方式 本发明的核心思想是对运动目标进行反交错操作，先按照视频空间分割方法对待处理的图像进行区域分割，之后再结合运动物体检测的结果获得运动目标，最后，对运动估计和运动补偿。
参照图1，本发明的具体步骤如下 步骤一，运动物体检测。
1.用高阶统计模型进行运动预测。
本发明利用噪声一般为高斯分布状态的特点，在同性场间提取出非高斯信号，达到运动物体检测的目的。
(1a)定义图像场的光流亮度矩阵ik ik＝sk，n+mk+μk，n+nk 其中sk，n表示第k场相对于第n场的静止背景部分，mk表示第k场的运动物体部分，μk，n表示第k场相对于第n场的背景显露部分，nk表示第k场的摄像机噪声和背景噪声； (1b)根据光流亮度矩阵ik，计算同性场k＝n和k＝n-2时的绝对光流亮度矩阵差ddn，n-2 (1c)根据绝对光流亮度矩阵差ddn，n-2，计算图像当前区域的4阶距
其中W为以
为中心的滑动窗口，Nw为此滑动窗口中的象素总数，
为ddn，n-2此窗口内的抽样均值； (1d)计算运动区域的比较门限γ1 γ1＝c(σn2)2 其中c为常数，σn2为噪声方差； (1e)将四阶距
与门限γ1进行比较，判定运动区域和静止区域，得到运动标记图
“1”代表(x，y)位置处为运动区域，否则为静止区域。
2.运动预检测的后处理。
光流场并不总是对应于运动场。在实际应用中，它存在两个局限一是外部照明每帧都在变化时，即使没有运动，光流也能被观测到；二是对于纹理信息不足且两场间有重叠的运动部分检测不足，如图2(a)所示，为运动预检测图，“golf”序列中人的腿部。数学形态学滤波可以降低过检测运动标记图的背景噪声，弥补由于纹理不足造成的运动检测的“漏警”。如图2(b)所示，为基于数学形态学的运动检测的后处理结果。
3.运动物体检测。
运动预检测后，得到的运动部分包括运动物体和显露的背景。要是对显露背景也进行目标分割及检测，将会大大增加不必要的运算量，因此要将真正的运动物体提取出来。运动物体提取的示意图如图3所示。其中，3(a)为第1场的运动物体；3(b)为第2场的运动物体；3(c)为第3场的运动物体；3(d)为第4场的运动物体；3(e)为第5场的运动物体；3(f)为第3场与第1场的运动检测；3(g)为第3场与第1场的运动检测；3(h)为第3场的运动物体；在待处理场与其它场进行运动预检测时，运动物体具有很高的相关性，理想情况下待处理场的运动物体会在每次的检测结果中出现，而显露的背景部分则具随着物体的运动而不断变化，如果两次检测的结果中显露的背景部分不同，将它们相“与”运算就可得到待处理场的运动物体。
物体运动后显露出的背景部分在参考场是找不到相匹配的部分的，因此对于显露背景用线性滤波法进行反交错处理。待处理场的显露背景是由在参考场中处于运动物体部分而在待处理场中不是运动物体的象素组成。图4是“golf”序列的第5场和第6场的实验结果。其中，4(a)为第5场原图像；4(b)为第6场原图像；4(c)为第5场的运动物体；4(e)为第6场的运动物体；4(f)为背景显露部分。
步骤二运动目标提取。
在进行运动估计以前，无法获得象素的运动矢量，因此空间相邻的运动象素是否具有相同的运动矢量是无法判断的。这里假设同一个运动目标满足匀质性，这样就可以先对待处理的图像进行空间分割，之后再结合运动物体检测的结果得到运动目标。
1.基于分水岭方法的空域图像分割。
用分水岭变换方法进行目标的初始分割。图5(a)显示的就是用分水岭方法对“golf”序列的第5场进行初始分割的结果。
2.运动目标提取。
(2a)定义空间分割的目标集OS OS＝{O1，O2，O3，......，OM} 其中Oj为空间分割结果的第j个目标，(1≤j≤M)； (2b)计算Oj具有运动像素的百分比r(Oj) 其中mj为Oj目标中的运动像素，Mj为Oj目标中的总像素； (2c)判断Oj属于运动目标的条件为 其中t1为一个比较门限，MO(j)＝1表示Oj为运动目标，否则不是运动目标。
3后处理。
由于分水岭方法常造成过分割，如图5(b)的运动部分被分割为320个目标。为了降低过分割的影响，对目标面积占整幅图面积的百分比小于某一阈值t2的目标进行合并或去除，即首先判断该目标是否有邻接目标，若没有邻接目标，则认为是孤立噪声而直接去除，若有邻接目标，则将其归入平均亮度最相近的目标。图5(c)为按照该合并准则进行后处理的结果，运动部分被分割为82个目标。
步骤三，运动估计。
当视频中的运动目标很多时，在运动估计前要先根据待处理场中目标的一些特征在参考场选取该目标的候选匹配目标集。这样就仅在该目标的候选匹配目标集中搜索该目标的匹配目标。当候选目标较多，尤其是目标存在旋转时，搜索匹配目标需要大量的计算，为此，引入了免疫克隆选择方法来加速匹配目标的搜索过程。该过程包括两个步骤 1.选择候选匹配目标集。
(1a)定义待处理场的第i个目标相对参考场的第j个目标的综合指标di，j di，j＝w×yi，j+(1-w)×ai，j 其中，yi，j，ai，j分别表示待处理场的第i个目标与参考场的第j个目标的相对平均亮度差和相对面积差，w为权系数； (1b)若di，j小于给定的阈值t3，则认为参考场的第j个目标属于待处理场第i个目标的候选匹配目标集，否则不属于匹配目标集。
2.匹配目标搜索。
先将选择的候选匹配目标集的每一个目标作为进一步搜索的基准点，使用免疫克隆选择算法进行搜索，得到相对于该基准点的最优解和运动矢量场；然后将所有基准点的最优解进行比较，得到最优解的匹配目标，若该最优匹配目标的匹配误差小于某一个给定的阈值t4，则认为找到了匹配目标，否则认为没有找到匹配目标。显然这种方法是很耗时的，为此，本发明引入免疫克隆选择方法来加速匹配区域的搜索过程。
利用免疫克隆方法进行匹配目标搜索需要解决2个问题，一是构造合适的抗体-抗原亲合度函数，二是将运动矢量的解编码到抗体中。
(2a)构造合适的亲合度函数f(x，y，a，s) 其中，A、βB分别为待处理场的某一目标、相应候选匹配目标集中以目标B为基准点的某一待匹配目标，D(A，βB)为A、βB的一种匹配距离误差，(x，y，a，s)构成了解空间中待寻找的四个参数，(x，y)表示目标βB的中心偏移基准点B的位移，a为旋转因子，s为尺度变换因子，M(βB)为运动因子 其中，m(A)表示待处理场的某一目标中运动象素的个数，m(βB)表示候选匹配目标集中以目标B为基准点的某一待匹配目标中运动像素的个数； (2b)将运动矢量的解编码到抗体串中。
设定解参数编码串为ga＝{x，y，a，s}，对该编码串中的每个参数采用二进制编码，参数(x，y)的搜索范围分别为[-H，H]，[-W，W]，a与s为固定的常数。
步骤四，运动补偿。
基于运动目标的反交错方法的最后一步为运动补偿。对不同的部分采用不同的处理方法对静止部分用场复制法进行反交错处理；对于搜索到匹配目标的运动目标进行基于时域中值滤波的运动补偿处理；没有搜索到匹配目标的部分以及背景显露部分用线性滤波法进行处理。
本发明的效果通过以下仿真进一步说明 实验中采用了背景噪声较小并以水平运动为主要运动的“man”序列(URLhttp://www.cim.mcgill.ca/～mlamarre/particle_filter.html)，背景不光滑并以垂直运动为主要运动的“tennisl”序列(URL:http://sampl.eng.ohio-state.edu/～sampl/database.htm)，背景上存在草晃动且运动情况较复杂的“golf”序列，以及背景不光滑且运动复杂的“tennis2”序列(URL:http://sampl.eng.ohio-state.edu/～sampl/database.htm)分别作为测试信号，每个测试序列的一幅代表图象如图6所示。
a)性能评价准则 在比较各种反交错方法的性能时有主观和客观两种评价方法，这里我们引入以逐行扫描视频作为测试信号的客观评价方法。首先从逐行扫描的帧序列中依次提取出奇场、偶场图像，一帧提取一场，然后用反交错方法对场图像进行处理，最后把处理结果与原逐行扫描的帧图像进行比较，以评价反交错效果；若只有隔行扫描视频，则只取隔行扫描视频中的同性场，把它看作是逐行扫描的图像，再按照逐行扫描视频的方法进行评价。
具体评价准则采用峰值信噪比PSNR和显著错误率。PSNR表征了图像质量的整体性能，而显著错误率表示的是对视觉形成明显影响的误差。PSNR定义为 其中Gmax为最大灰度值，σ为噪声图的标准差。我们将计算图像RGB三色分量的PSNR的平均值。而显著错误率定义如下将原逐行扫描图像A和被测试方法反交错处理后的图像B相比较，对应像素差的绝对值大于某一给定的容忍阈值t的所有象素占图像总像素数的百分比定义为显著错误率 b)实验结果与分析 表1列出了实验中各阈值的取值。
表2列出了实验结果的统计量，其中运行时间相对于全搜索法时间进行了归一化。
图6为4个序列全图的PSNR的曲线图。其中，图6(a)为人序列；图6(b)为乒乓球序列1；图6(c)为高尔夫序列；图6(d)为乒乓球序列2。
图7为4个序列运动域的PSNR的曲线图。其中，图7(a)为人序列的运动部分；图7(b)为乒乓球序列1的运动部分；图7(c)为高尔夫序列的运动部分；图7(d)为乒乓球序列2的运动部分。由图6、图7、表2可得到如下几条结论 对于以水平运动为主要运动的“man”序列，运动自适应的三种方法要优于Weave法或Bob法，DA-MO的平均PSNR高于BM-FS或MF，但是DA-MO稳定性要差些； 对于以垂直运动为主要运动的“tennisl”序列，DA-MO的平均PSNR要远大于BM-FS或MF，此外，Weave法的性能也较好。这是因为“tennisl”序列的背景不光滑，并且运动区域较小，静止部分所占的比例很大，这种情况下场重复操作的优越性得以体现。而在运动区域，运动自适应的方法则优于Weave法； 对于运动比较复杂的室外“golf”序列，在原逐行扫描的视频中，它的大部分草地背景上就存在轻微的变化，因此就整体的PSNR而言MF的性能最好，Weave法的性能在运动区域很小的15-20场较好，而在运动区域，DA-MO方法还是优于其它方法的；对于“tennis2”序列，序列中的主要运动物体的运动比较复杂，且存在较多的变形运动，并且它的背景与“tennisl”序列一样，也不光滑，因此DA-MO和Weave法的整体性能较优，在运动区域，DA-MO方法优于其它运动自适应方法。
表1 实验中阈值的取值
表2 测试实验结果统计表
权利要求
1.一种基于运动目标的反交错方法，包括如下步骤
(1)对输入视频序列，使用高阶统计模型检测出待处理场和参考场的运动区域和静止部分；
(2)对待处理场和参考场的运动区域，通过同性场的区域相与得到它们的运动物体，并用待处理场的运动区域减去它的运动物体得到显露背景；
(3)使用分水岭算法对待处理场和参考场的运动物体进行初始空间分割，根据空间分割结果中目标具有运动像素的百分比，得到它们的运动目标；
(4)在参考场中选择待处理场的运动目标的候选匹配目标集，并在选择的候选匹配目标集中使用免疫克隆选择算法进行搜索，得到该目标的匹配目标和运动矢量场；
(5)使用运动矢量场对搜索到的匹配目标的运动目标，进行基于时域中值滤波的运动补偿；
(6)通过线性滤波法对没有搜索到匹配目标的部分以及背景显露部分进行处理，使用场复制法对静止部分进行处理。
2.按权利要求1所述的方法，其中步骤(1)所述的“使用高阶统计模型检测出待处理场和参考场的运动区域和静止部分”，按如下步骤进行
(2a)定义图像场的光流亮度矩阵ik
ik＝sk，n+mk+μk，n+nk
其中sk，n表示第k场相对于第n场的静止背景部分，mk表示第k场的运动物体部分，μk，n表示第k场相对于第n场的背景显露部分，nk表示第k场的摄像机噪声和背景噪声；
(2b)根据光流亮度矩阵ik，计算同性场k＝n和k＝n-2时的绝对光流亮度矩阵差ddn，n-2
(2c)根据绝对光流亮度矩阵差ddn，n-2，计算图像当前区域的4阶距
其中W为以
为中心的滑动窗口，NW为此滑动窗口中的象素总数，
为ddn，n-2在此窗口内的抽样均值；
(2d)计算运动区域的比较门限γ1
γ1＝c(σn2)2
其中c为常数，σn2为噪声方差；
(2e)将四阶距
与门限γ1进行比较，判定运动区域和静止区域，得到运动标记图
“1”代表(x，y)位置处为运动区域，否则为静止区域。
3.按权利要求1所述的方法，其中步骤(3)所述的“根据空间分割结果中目标具有运动像素的百分比，得到它们的运动目标”，按如下步骤进行
(3a)定义空间分割的目标集OS
OS＝{O1，O2，O3，.......，OM}
其中Oj为空间分割结果的第j个目标，(1≤j≤M)；
(3b)计算Oj具有运动像素的百分比r(Oj)
其中mj为Oj目标中的运动像素，Mj为Oj目标中的总像素；
(3c)判断Oj属于运动目标的条件为
其中t1为一个比较门限，MO(j)＝1表示Oj为运动目标，否则不是运动目标。
4.按权利要求1所述的方法，其中步骤(4)所述的“在参考场中选择待处理场的运动目标的候选匹配目标集”，按如下步骤进行
(4a)定义待处理场的第i个目标相对参考场的第j个目标的综合指标di，j
di，j＝w×yi，j+(1-w)×ai，j
其中，yi，j，ai，j分别表示待处理场的第i个目标与参考场的第j个目标的相对平均亮度差和相对面积差，w为权系数；
(4b)若di，j小于给定的阈值t3，则认为参考场的第j个目标属于待处理场第i个目标的候选匹配目标集，否则不属于。
5.按权利要求1所述的方法，其中步骤(5)所述的“在选择的候选匹配目标集中使用免疫克隆选择算法进行搜索，得到该目标的匹配目标和运动矢量场”，是先将选择的候选匹配目标集的每一个目标作为进一步搜索的基准点，使用免疫克隆选择算法进行搜索，得到相对于该基准点的最优解和运动矢量场；然后将所有基准点的最优解进行比较，得到最优解的匹配目标，若该最优匹配目标的匹配误差小于某一个给定的阈值t4，则认为找到了匹配目标，否则认为没有找到匹配目标。
6.按权利要求5所述的方法，其中步骤(5)所述的“使用免疫克隆选择算法进行搜索”，按如下步骤进行
(6a)构造合适的亲合度函数f(x，y，a，s)
其中，A、βB分别为待处理场的某一目标、相应候选匹配目标集中以目标B为基准点的某一待匹配目标，D(A，βB)为A、βB的一种匹配距离误差，(x，y，a，s)构成了解空间中待寻找的四个参数，(x，y)表示目标βB的中心偏移基准点B的位移，a为旋转因子，s为尺度变换因子，M(βB)为运动因子
其中，m(A)表示待处理场的某一目标中运动象素的个数，m(βB)表示候选匹配目标集中以目标B为基准点的某一待匹配目标中运动像素的个数；
(6b)将运动矢量的解编码到抗体串中
设定解参数编码串为ga＝{x，y，a，s}，对该编码串中的每个参数采用二进制编码，参数(x，y)的搜索范围分别为[-H，H]，[-W，W]，a与s为固定的常数。
全文摘要
本发明公开了一种基于运动目标的反交错方法。其步骤为对输入视频序列，通过运动物体检测得到待处理场的运动物体、显露背景、静止区域以及参考场的运动物体；对待处理场和参考场的运动物体进行初始空间分割，并将运动物体和空间分割相结合，提取它们的运动目标；在参考场中选择待处理场的运动目标的候选匹配目标集，使用免疫克隆选择算法进行搜索，得到该目标的匹配目标和运动矢量场；对搜索到的匹配目标的运动目标，进行基于时域中值滤波的运动补偿，对没有搜索到匹配目标的部分以及背景显露部分用线性滤波法进行处理，静止部分用场复制法处理。本发明具有运动估计准确，时间复杂度低的优点，用于压缩编码，滤波，计算机视觉和图像恢复领域。
文档编号H04N5/14GK101483713SQ20091002094
公开日2009年7月15日 申请日期2009年1月16日 优先权日2009年1月16日
发明者高新波, 文 路, 王旭宇, 何力火, 妮 刘 申请人:西安电子科技大学