基于块匹配在不同分辨率下视频序列的运动估计方法

基于块匹配在不同分辨率下视频序列的运动估计方法
【专利摘要】本发明是一种基于块匹配在不同分辨率下视频序列的运动估计方法,针对以往单一分辨率下的比较，该方法基于全搜索，三步搜索，新三步搜索三种经典算法和传统匹配法则SAD，对快，中，慢三种速度的国际标准视频序列在两种分辨率下进行运动估计性能的比较，即搜索块数，搜索时间，PSNR，重构图像。本发明的重要结论在于，中低速度的视频序列在低分辨率下表现较好，反之，快速视频序列在高分辨率下的运动估计效果较好。该方法所得结论弥补了不同分辨率下运动估计的不足，解决了不同特征的视频序列在不同的分辨率下更适合的搜索方法，其结果还可应用于目标识别，运动跟踪，视频压缩等方面。
【专利说明】基于块匹配在不同分辨率下视频序列的运动估计方法

【技术领域】
[0001] 本发明涉及图像处理【技术领域】，是一种基于块匹配在不同分辨率下视频序列的运 动估计方法。

【背景技术】
[0002] 随着社会的快速发展，多媒体技术丰富了人们的生活。视频影像在人们生活中飞 快的发展，例如：网络可视电话，数字电视等等。然而，视频影像中包含的大量信息导致传输 需要很高的带宽。为了解决这个问题，"视频压缩技术"能够在有限的带宽下提高传播效率， 因此，减少视频时间上的冗余是很必要的。在视频压缩中，块匹配运动估计是一种常用来用 来降低视频冗余的方法。实际上，运动估计的计算量要超过整个压缩计算量的50%，这意 味着运动估计的质量直接决定运动补偿的质量和视频编码。常见的运动估计方法有"光流 法"、"块匹配算法（BMA) "、"像素递归法"和"贝叶斯算法"。BMA常用于不同的视频压缩标准。 除此之外，块匹配算法广泛的被MPEG，H261，H263和其他不同种类的视频所接受。尽管块匹 配算法已得到了广泛的应用，但是，现有的运动估计方法通常是为实现以节省搜索时间，提 高搜索精度为目的，此外，现有运动估计方法只对单一分辨率进行了比较，缺少不同分辨率 下运动估计精度的比较，因此，不同分辨率下所表现出运动估计特性的不同并未被认知。
[0003] 迄今为止，未见有关针：对经典算法的实验及其结论作出补充，提出"三种不同视 频序列"在"不同分辨率"下性能比较，即将高、中、低三种国际标准视频序列在两种常用分 辨率（640X480,176X144)下运动估计方法的文献报道和实际应用。


【发明内容】

[0004] 本发明目的是，对现有的单一分辨率下运动估计方法进行实质性改进，提出一种 基于块匹配在不同分辨率下视频序列的运动估计方法，此方法可针对不同分辨率和视频序 列特征，更加清晰准确的确定搜索算法，为块搜索原理作出补充。
[0005] 实现本发明目的所采用的技术方案为：一种基于块匹配在不同分辨率下视频序列 的运动估计方法，它包括的内容有：
[0006] (a)块运动补偿：是将图片分成若干块，运用匹配法则，找到上一帧的块在这一帧 位置；
[0007] (b)搜索窗口：是确定搜索的范围，每一个帧都有MXN的宏块，每个宏块都需要在 搜索区域中都要找到最佳匹配块，运动目标决定搜索窗口的尺寸，搜索窗口的大小应该略 大于有最大可能性的运动物体；
[0008] (C)全搜索：即为FS，通过在相邻帧中搜索所有候选块来得到最佳搜索点，FS的搜 索系数为P= 7,因此，每一个块需要搜索225个点；
[0009] (d)三步搜索：即为TSS，就是用"三步"找到最佳匹配点，此外，这是一个从粗糙到 精细的搜索方法，很容易陷入局部最小，适用于对运动幅度较大的视频序列估计；
[0010] (e)新三步搜索：即为NTSS，是在TSS的基础上提出的，并且引入了中心偏置的方 法，因此，比TSS效率更高，适用于在运动幅度小或者静止的视频序列中的搜索；
[0011] (f)匹配准则：就是用"价值函数"找到最佳匹配块，这个过程可以通过计算价值 函数来计算匹配误差，其中最小误差匹配块就是最佳匹配块，匹配准则不仅对精度有影响， 而且对运动估计的速度也有影响，运动估计的计算量由搜索点数和匹配准则的复杂度决 定，为了权衡精度和速度这两者，匹配准则是一个必须考虑的重要因素；
[0012] (g)用PSNR来评价运动估计的精度：峰值信噪比用于图像质量的客观估计，特别 用来估计重构图像的质量，常用于视频压缩，通常，视频压缩之后，输出视频和原始视频会 有一些不同，为了测量处理后的视频质量，PSNR的值可以反应出是否这个过程满足人类的 视觉效果；其特征是，还包括：
[0013] (h)选择三种国际标准视频序列：选择三种特征的不同分辨率的视频序列，分 别为，Girl视频序列，传统的Talk-heading视频序列，背景不动，前景只有少量的运动， Caltrain是画质细腻的中等视频序列，而Football则是快速剧烈的视频序列；
[0014] (i)预处理：是将视频序列转换成帧，把每一帧的彩色图片通过Matlab程序批量 处理成灰度图片；
[0015] (j)不同分辨率下运动估计性能的比较：选用两种常用分辨率，对三种速度标准 视频序列在不同分辨率和三种不同经典算法下的搜索时间，搜索块数，PSNR，与以往不同的 比较项目如下：
[0016] 1)比较同一视频序列在不同分辨率下平均PSNR得出结果；
[0017] 2)观察高低分辨率下的最差帧，即PSNR最低点；
[0018] 3)QCIF视频序列下三种经典算法平均PSNR的比较；
[0019] 4)观察Caltrain高分辨率下最差帧的重构图像和低分辨率下最差帧的重构图 像；
[0020] (k)运动估计性能指标取平均值：每一组运动估计都会产生一组搜索块和PSNR， 为了权衡整个视频的估计效果，需要对搜索块和PSNR取均值。
[0021] 本发明的基于块匹配在不同分辨率下视频序列的运动估计方法，其运动估计质量 由PSNR，CPU时间和搜索块数决定；块运动估计选择16X16的块在P= 7的搜索窗口内进 行搜索，SAD计算出的最小值所在的块则是最佳匹配块，匹配块和参考帧块之间产生矢量位 移，重构图像是根据参考图像和矢量位移得到的，会与原始图像有差别，而重构图像与原 始图片的相似程度用PSNR来计算，PSNR越大证明越相似，即估计效果越好，时间越短证明 匹配估计越快；在两组分辨率下的比较，其实验结果为当今有局限性的经典算法，即TSS、 NTSS和FS算法作出了补充，其补充结论为图像识别，压缩等方面带来了便利。

【专利附图】

【附图说明】
[0022] 图1为块运动补偿图；
[0023] 图2为搜索区域图；
[0024] 图3为全搜索螺旋扫描示意图；
[0025] 图4为三步搜索示意图；
[0026] 图5为新三步搜索示意图；
[0027] 图6为Football高分辨率下平均搜索块数示意图；
[0028] 图7为Footbal1高分辨率下PSNR示意图；
[0029] 图8为Football低分辨率下的搜索块数示意图；
[0030] 图9为Football低分辨率下的PSNR示意图；
[0031] 图10为Caltrain高分辨率下平均搜索块数；
[0032] 图11为Caltrain高分辨率下PSNR示意图；
[0033] 图12为Caltrain低分辨率下的搜索块数示意图；
[0034] 图13为Caltrain低分辨率下的PSNR示意图；
[0035] 图14为Girl高分辨率下平均搜索块数示意图；
[0036] 图15为Girl高分辨率下PSNR示意图；
[0037] 图16为Girl低分辨率下的搜索块数示意图；
[0038] 图17为Girl低分辨率下的PSNR示意图；
[0039] 图18为Caltrain序列高分辨率下在25帧的重构示意图；
[0040] 图19为Caltrain序列低分辨率下在25帧的重构示意图。

【具体实施方式】
[0041] 本发明的基于块匹配在不同分辨率下视频序列的运动估计方法，包括以下内容：
[0042] (a)块运动补偿：块运动补偿先要将每一帧分成若干块，然后对每一个块做运动 补偿。
[0043] 参照图1，运动估计需在参考帧中搜索当前块的匹配快。当前块需在参考帧的搜索 区域里（通常用当前块作为搜索中心），然后，比较区域中的所有块，找到最小残差块（最 佳匹配块），块大小为16X16。
[0044] (b)搜索窗口：搜索窗口）的大小应略大于有最大可能性的运动物体。在参考帧 内会给予搜索窗口的步长。为了找到最佳运动矢量，最佳的搜索窗口步长应为1个像素的 大小。
[0045] 参照图2,每一帧被分成MXN的宏块大小，每个宏块都需要在搜索区域S中都要找 到最佳匹配块。其中，搜索区域为S，搜索窗口系数为S= (2P+16+1)2。
[0046](c)全搜索：全搜索有两种扫描方法，一种是"螺旋扫描"，另一种是"光栅扫描"， 本实验采用全搜索的螺旋扫描。
[0047] 参照图3,为螺旋扫描，这是一个典型的从远到近的扫描方法。它从搜索窗口的 中心（0,0)开始，按照螺旋扫描的顺序去搜索所有的候选块，计算价值函数，找到最佳匹配 点，但这种方法对于低频运动的物体表现较好。运动矢量通常分布在运动物体及其周围，因 此，中心偏离的特征是这种方法发挥到最佳，因此加速了程序的运行。
[0048] (d)三步搜索：即为TSS，参照图4,为三步搜索的步骤。
[0049]1)计算价值函数，找到最佳匹配点（选择一个适合的价值函数对当前块和参考块 做匹配计算，计算出的最小价值就是最佳匹配块，也就是图中"点1"）。
[0050] 2)用最佳匹配点1作为中心，重复之前的步骤，减小步长尺寸到2,并且搜索8个 候选块，得到最小匹配误差点，找到最佳匹配块，如"点2"所示。
[0051] 3)在这个过程中，以"点2"为中心，步长减小到1，搜索周围的8个点，计算最小匹 配误差点后找到目标点一"点3"。评价：TSS的搜索点数为9+8+8,也就是25步。和FS的 255个点相比，这种方法对加速是十分有效的，另一方面，TSS第一步模型的一成不变，使得 它在小运动估计下表现较差，易陷入局部最小。
[0052] (e)新三步搜索：即为NTSS，参照图5,为新三步搜索的步骤。
[0053] 第一步：NTSS搜索从搜索窗的中心（0, 0)开始。第一步搜索17个点，分别是：中 心点，外八点（步长为4)和中间8个点（步长为1)。
[0054] ①如果最小匹配误差是中心点，则停止搜索。
[0055] ②如果最小误差点是搜索中心周围内8点中的一点，以这一点为中心，搜索它周 围的点。
[0056] 如图所示，如果第一步在拐角处，则搜索周围的5个点（图上的5个三角就是要搜 索的点。这里不必搜索8个点，因为其中的三个已经在第一步完成了搜索）。如果这个点是 横纵上的一点，则搜索它周围的三个点，如三个小正方形所示。同时，最小误差匹配点就是 要搜索的最优点。
[0057] ③如果最小误差匹配是外8个点的其中之一，则按照TSS的方法去搜索，然后按照 进行第二步。
[0058] 第二步：把最小误差匹配点作为中心，步长减小到一半，用更新的步长搜索8个 点，用价值函数计算最小误差。
[0059] 第三步：重复第二步，把步长减小到1，计算8个点的价值，之后，找到最小匹配点。 这个点就是整个搜索的最佳匹配点。
[0060] 评价：通常，TSS需要25个搜索点，NTSS在最好的情况下只需要17个搜索点，但 是在最坏的情况下需要33个搜索点（概率低）。中心偏置的NTSS不止是提高了块搜索的 速度，而且减小了陷入局部最小的可能性。此外，中止技术的采用很大程度上减小了搜索复 杂度，并且提高了搜索效率。大量研宄证明NTSS可以减少更多的补偿错误，并且鲁棒性比 TSS更好。
[0061] (f)匹配准则：匹配准则是衡量两个子块相似程度的标准。SAD是常用的匹配准 贝1J，最佳匹配点是SAD的最小值，如公式（1)所示。通过计算当前帧和参考帧的最小价值， 可以找到最佳匹配块。

【权利要求】
1. 一种基于块匹配在不同分辨率下视频序列的运动估计方法，它包括的内容有： (a) 块运动补偿：是将图片分成若干块，运用匹配法则，找到上一帧的块在这一帧位 置； (b) 搜索窗口：是确定搜索的范围，每一个帧都有MXN的宏块，每个宏块都需要在搜索 区域中都要找到最佳匹配块，运动目标决定搜索窗口的尺寸，搜索窗口的大小应该略大于 有最大可能性的运动物体； (c) 全搜索：即为FS，通过在相邻帧中搜索所有候选块来得到最佳搜索点，FS的搜索系 数为P = 7,因此，每一个块需要搜索225个点； (d) 三步搜索：即为TSS，就是用"三步"找到最佳匹配点，此外，这是一个从粗糙到精细 的搜索方法，很容易陷入局部最小，适用于对运动幅度较大的视频序列估计； (e) 新三步搜索：即为NTSS，是在TSS的基础上提出的，并且引入了中心偏置的方法，因 此，比TSS效率更高，适用于在运动幅度小或者静止的视频序列中的搜索； (f) 匹配准则：就是用"价值函数"找到最佳匹配块，这个过程可以通过计算价值函数 来计算匹配误差，其中最小误差匹配块就是最佳匹配块，匹配准则不仅对精度有影响，而且 对运动估计的速度也有影响，运动估计的计算量由搜索点数和匹配准则的复杂度决定，为 了权衡精度和速度这两者，匹配准则是一个必须考虑的重要因素； (g) 用PSNR来评价运动估计的精度：峰值信噪比用于图像质量的客观估计，特别用来 估计重构图像的质量，常用于视频压缩，通常，视频压缩之后，输出视频和原始视频会有一 些不同，为了测量处理后的视频质量，PSNR的值可以反应出是否这个过程满足人类的视觉 效果；其特征是，还包括： (h) 选择三种国际标准视频序列：选择三种特征的不同分辨率的视频序列，分别为， Girl视频序列，传统的Talk-heading视频序列，背景不动，前景只有少量的运动，Caltrain 是画质细腻的中等视频序列，而Football则是快速剧烈的视频序列； (i) 预处理：是将视频序列转换成帧，把每一帧的彩色图片通过Matlab程序批量处理 成灰度图片； (j) 不同分辨率下运动估计性能的比较：选用两种常用分辨率，对三种速度标准视频 序列在不同分辨率和三种不同经典算法下的搜索时间，搜索块数，PSNR，与以往不同的比较 项目如下： 1) 比较同一视频序列在不同分辨率下平均PSNR得出结果； 2) 观察高低分辨率下的最差帧，即PSNR最低点； 3. QCIF视频序列下三种经典算法平均PSNR的比较； 4) 观察Caltrain高分辨率下最差帧的重构图像和低分辨率下最差帧的重构图像； (k) 运动估计性能指标取平均值：每一组运动估计都会产生一组搜索块和PSNR，为了 权衡整个视频的估计效果，需要对搜索块和PSNR取均值。
【文档编号】H04N19/57GK104506869SQ201510013100
【公开日】2015年4月8日 申请日期:2015年1月12日 优先权日:2015年1月12日
【发明者】王乙童, 徐泰 申请人:深圳市江机实业有限公司