专利名称：多模式搜索的运动估计方法
技术领域：
本发明涉及多模式搜索的运动估计方法，属于视频编码的技术领域。
背景技术：
多媒体技术给当今社会人类生活和生产带来了极大的方便，人们希望通过一种更直观的方式获取信息，据统计，人类在日常生活中获取信息的60%通过视觉感知，视频系统的核心在于视频数据的处理，视频数据不同于简单的数据，其特点是信息量大，如果对视频信息不作任何处理，将会给视频传输和存储造成很大的压力，采用视频压缩技术可节省存储空间，同时视频编码时间直接影响视频处理的效率。视频压缩编码耗时主要集中在运动估计部分，运动估计的计算量占整个编码计算的很大比重，更高效、更快速是研究运动估计方法的目标。目前运动估计搜索方法主要有以下几种:块匹配法、像素递归估计法、亚像素运动估计法、贝叶斯估计法、基于光流方程的算法、多分辨率运动估计法等。其中，块匹配法(Block Match Algorithm,BMA)因算法实现简单和便于硬件实现等优点，应用比较广泛。运动估计的目标在于获得最佳匹配，得到相对应的运动矢量MV，MV质量的好坏直接影响编码效果和图像质量。在现有的块匹配运动估计算法中，全搜索算法是最直接的运动搜索方法，在此基础上研究的改进快速方法如三步搜索法及新三步搜索法、四步搜索法、菱形搜索算法、基于块的梯度下降算法等，还有一些利用运动矢量特性提出的十字菱形法、十字交叉六边形法、非对称十字型多层次六边形格点搜索算法等。全搜索算法搜索精度最高，但是运算量大、复杂度高、耗时；三步搜索法是一种比较典型的快速搜索法，与全搜索方法相比，大大降低了复杂度和计算量，但起始搜索点和搜索步长的选择容易导致搜索结果取得局部最优，当运动量较小时，运动性能不佳；钻石搜索法对搜索步数不限制，搜索·时考虑各个方向，使用LDSP进行粗定位，最后使用SDSP进行精确定位，该方法可避免搜索陷入局部最优，性能较优，且下一步搜索时无需计算模板的所有点的匹配值，搜索速度提高，但对于运动相对较大的视频序列，在搜索的过程中会产生大量的冗余点；六边形搜索法具有菱形搜索法的优点，但比菱形搜索需要更少的检测点，提高了搜索效率，充分考虑了搜索精度和速度。综上，运动估计的研究一方面降低方法的复杂度，获得运动矢量，另一方面尽量保证图像质量，不影响主观视觉效果。
发明内容
本发明所要解决的技术问题是，提供一种多模式搜索来进行运动估计的方法，采用基于块匹配方法与多种搜索模式相结合，利用运动矢量分布特性，综合应用多种搜索模式，改善运动搜索策略，同时考虑方向的自适应性，根据运动的方向性划分搜索区域，减少搜索点数。本发明是通过以下技术方案实现的，本发明的多模式搜索的运动估计方法，其特征在于，该方法包括以下步骤:步骤一:静止块判断:计算当前块零矢量位置(0，0)的SAD值，与预先设定的阈值进行比较，若小于该阈值，则停止搜索，无需进行起始点的预测，转至步骤七，零矢量位置对应的运动矢量记为最优匹配；若大于该阈值，则转至步骤二 ；步骤二:搜索起始点预测:利用相邻块的相关性预测起始搜索点，计算各点的SAD值并进行比较，选取SAD值最小对应的点记为最优匹配点，在此利用现有的提前终止准则计算判决阈值TH，TH = (1+调节因子)X预测的SAD值，其中，调节因子分别为根据当前块大小设定的两个常数数组，分别为较小的第一调节因子和较大的第二调节因子，根据第一调节因子和第二调节因子分别计算出阈值TH、TH2 ;若SAD值小于TH1，转至步骤六(b);若SAD值小于TH2，转至步骤六(a);否则转至步骤三；步骤三:非对称十字搜索:以步骤二得到的搜索结果为中心，采用非对称十字搜索，计算处理方法同上一步，若SAD值小于TH1，转至步骤六(b);若SAD值小于TH2，转至步骤六(a);否则转至步骤四；步骤四:方向性扩展菱形搜索:以步骤三得到的SAD最小值的点为中心，在5X5正方形区域内先进行对称十字搜索，计算9个点的SAD值，根据最小SAD值的点所在半轴确定方向，若该点在水平方向，米用水平扩展菱形搜索；若在垂直方向，米用垂直扩展菱形搜索，得到最优运动矢量；步骤五:自适应方向的多层八边形搜索:采用多层八边形模板搜索，该模板考虑方向性，根据上一步得到的运动矢量确定运动方向趋势，在各自的划分区域进行搜索，同时考虑搜索空点的加入，得到最优点；步骤六:(a)小六边形模板搜索:以上一步得到的最优点为中心进行小六边形模板反复搜索，直至最优 点位于六边形中心，转至步骤(b) ;(b)小菱形模板搜索:以转入该步骤之前得到的最优点为中心进行小菱形反复搜索，直至最优点位于菱形中心；步骤七:得到最佳匹配点，获得最佳运动矢量，停止搜索。步骤五中，根据步骤四中得到的最优运动矢量的方向，将后续搜索范围在360度范围内沿轴向均匀分成四个区域，分别记为Al、A2、A3及A4，根据运动矢量的方向性特征，将下一步的搜索范围确定在各自区域中，忽略其它区域的点，直接在该区域进行搜索，减少搜索点数。所述最优运动矢量记为iBest,水平方向和垂直方向的坐标分别记为iBest.mv_x和 iBest.mv_y,令 m=abs (iBest.mv_y/iBest.mv_x)，(I)若m>l且iBest.mv_y>0,运动矢量方向处于Al区域；(2)若m〈l且iBest.mv_x〈0,运动矢量方向处于A2区域；(3)若m>l且iBest.mv_y〈0,运动矢量方向处于A3区域；(4)若m〈l且iBest.mv_x>0,运动矢量方向处于A4区域；根据上述判断的结果确定出一区域，在该区域中进行搜索。每个区域进行多层搜索，且在每层中增加多个空点进行搜索，得到最优点。现有的提前终止准则计算判决阈值TH及对调节因子的设定，在文献ZhiboChen, Peng Zhou, Yun He, “Fast Motion Estimation for JVT”，JVT-G016.doc, Joint VideoTeam(JVT)Of IS0/IEC MPEG and ITU-T VECG, 7th meeting, Pattaya II, Thailand, 7-14March, 2003中进行了更详细的阐述，本方案仅利用其研究的结果，将提前终止准则计算判决阈值TH应用到本方案中，对现有的提前终止准则计算判决阈值TH的公式及对调节因子的设定理论及过程不做进一步探讨。本发明所产生的有益效果:采用该方法保持了原有的率失真特性，节省了时间开销，缩短了运动估计时间，提高了编码效率，有效提高了视频系统的压缩性能。
图1a为水平扩展菱形搜索示意图；图1b为垂直扩展菱形搜索示意图；图2a为扩展六边形模板示意图；图2b为八边形模板示意图；图3a为划分区域示意图；图3b为自适应方向的八边形搜索示意图；图4a-图4d为仿真结果示意图。
具体实施例方式下面结合附图对本发明作进一步描述。
实施例1如图la、图1b所示，在进行非对称十字搜索和对称十字搜索后，若得到的最优点在搜索中心，则停止搜索；否则需继续搜索。若最优点不在中心位置，则必定在四个方向的半轴上，在各自对应的半轴附近区域进行下一步的搜索，一般菱形搜索(Diamond Search,DS)是搜索中心的上下左右点，为扩大搜索范围，将菱形进行扩展，水平方向或垂直方向扩大一倍，采用扩展菱形搜索(Expand Diamond Search,EDS)模型每次只需增加两个搜索点，根据搜索点所在的方向和半轴分为以下两种情况:(I)若对称十字搜索后，获到的最优点落于水平方向，则将该最优点作为中心，下一步使用水平扩展菱形搜索模型(如图la)，增加的两个搜索点是与中心点相邻的上下两个点，图1a中白色点不列入搜索范围；(2)若对称十字搜索后，获到的最优点落于垂直方向，则将该最优点作为中心，下一步使用垂直扩展菱形搜索模型(如图lb)，增加的两个搜索点是与中心点相邻的左右两个点，图1b中白色点不列入搜索范围。虽然该实施例仅增加两个搜索点，但是在该5X5范围内，应用此模板搜索的点都需进行SAD值的比较，计算出的最小SAD值所对应的即为获得的最优运动矢量。实施例2在实施例1之后，仍不能确定最佳匹配点所处位置，有关文献提出了非均匀多层六边形网格搜索方法，每层搜索过程中都会进行是否提前终止的判断，其中扩展六边形(Expand Hexagon Search, E:HS)模板如图2a所示,该模型每次搜索16个点，搜索四层，总共64个点。运动矢量的分布一般在圆形区域内，虽然16格点六边形的网格已趋于圆形，但是八边形更趋于圆形，本方案中采用八边形与六边形搜索相比，搜索模型更优，八边形模板如图2b所示。图2a与图2b表明八边形的外轮廓比六边形更加接近圆形，搜索点数为12，每层虽然减少4个搜索点，但是若继续进行与非均匀多层六边形网格类似的搜索，总的搜索点数也是相当可观的，其中不可避免存在大量的冗余搜索。考虑到运动矢量的方向性问题，运动矢量通常集中在搜索范围内某个位置附近，将后续搜索范围分成如图3a所示的四个区域，分别记为Al、A2、A3及A4，根据运动矢量的方向性特征，将下一步的搜索范围确定在各自区域中，即可忽略其它区域的点，直接在该区域进行搜索，无需进行整个360度范围内的全方向搜索，此方法可大大减少搜索点数。其中判断视频序列的运动方向趋于哪一区域的方法如下:将上一步方向性扩展菱形搜索得到的最优运动矢量记为iBest，水平方向和垂直方向的坐标分别记为 iBest.mv_x 和 iBest.mv_y,令 m=abs (iBest.mv_y/iBest.mv_x)(假设中心点为零矢量(0，O)位置)。(I)若m>l且iBest.mv_y>0,运动矢量方向处于Al区域；(2) 若m〈l且iBest.mv_x〈0,运动矢量方向处于A2区域；(3)若m>l且iBest.mv_y〈0,运动矢量方向处于A3区域；(4)若m〈l且iBest.mv_x>0,运动矢量方向处于A4区域。各区域搜索模板如图3b所示，每个区域同样进行四层搜索，搜索长度为搜索范围的1/4，图3b所示的八边形模板12个搜索点被平均分在四个区域，每个区域为3个点，从图3b可观察出，在Al区域(其它三个区域采用相同的方法)，ml、m2、m3及m4这四个点是未被搜索到的点(图中正方形的点)，为了使搜索结果更为准确，得到更为精确的运动矢量，考虑将空点(图3b中正方形点)加入搜索，且每层仅增加了四个空点，在每个搜索区域搜索点数总共为7X4=28，较之非均匀多层六边形网格方法搜索的64个点，搜索点数大大减少。实施例3为了进一步说明本发明的方法，以一仿真实例对本发明的方法进行性能分析。仿真选用H.264官方测试JM参考模型，选取三种运动剧烈程序不同的标准测试序列，分别为:运动相对平缓的akiyo序列,运动一般的foreman序列和运动较为激烈的mobile序列,视频格式为QCIF (176X144)，实现基本档次的编码器，主要参数设置如下:采用CAVLC熵编码，编码序列为IPPPP，参考帧为一帧，量化参数QP分别为16、20、24、28，取前100帧进行编码测试。不同搜索策略及量化参数QP下，对各序列编码时间、运动估计时间、PSNR值、帧率及码率进行统计比较，统计与比较结果分别如表I和表2所示，表I中搜索方法I为非均匀多层六边形法，搜索方法2为本发明方法。表I编码统计数据表
权利要求
1.多模式搜索的运动估计方法，其特征在于，该方法包括以下步骤: 步骤一:静止块判断:计算当前块零矢量位置(O，O)的SAD值，与预先设定的阈值进行比较，若小于该阈值，则停止搜索，无需进行起始点的预测，转至步骤七，零矢量位置对应的运动矢量记为最优匹配；若大于该阈值，则转至步骤二 ； 步骤二:搜索起始点预测:利用相邻块的相关性预测起始搜索点，计算各点的SAD值并进行比较，选取SAD值最小对应的点记为最优匹配点，在此利用现有的提前终止准则计算判决阈值TH，TH = (1+调节因子)X预测的SAD值，其中，调节因子分别为根据当前块大小设定的两个常数数组，分别为较小的第一调节因子和较大的第二调节因子，根据第一调节因子和第二调节因子分别计算出阈值TH1、TH2 ;若SAD值小于TH1，转至步骤六(b );若SAD值小于TH2，转至步骤六(a);否则转至步骤三； 步骤三:非对称十字搜索:以步骤二得到的搜索结果为中心，采用非对称十字搜索，计算处理方法同上一步，若SAD值小于TH1，转至步骤六(b);若SAD值小于TH2,转至步骤六Ca);否则转至步骤四； 步骤四:方向性扩展菱形搜索:以步骤三得到的SAD最小值的点为中心，在5X5正方形区域内先进行对称十字搜索，计算9个点的SAD值，根据最小SAD值的点所在半轴确定方向，若该点在水平方向，采用水平扩展菱形搜索；若在垂直方向，采用垂直扩展菱形搜索，得到最优运动矢量； 步骤五:自适应方向的多层八边形搜索:采用多层八边形模板搜索，该模板考虑方向性，根据上一步得到的运动 矢量确定运动方向趋势，在各自的划分区域进行搜索，同时考虑搜索空点的加入，得到最优点； 步骤六:(a)小六边形模板搜索:以上一步得到的最优点为中心进行小六边形模板反复搜索，直至最优点位于六边形中心，转至步骤(b) ;(b)小菱形模板搜索:以转入该步骤之前得到的最优点为中心进行小菱形反复搜索，直至最优点位于菱形中心； 步骤七:得到最佳匹配点，获得最佳运动矢量，停止搜索。
2.如权利要求1所述的多模式搜索的运动估计方法，其特征在于，步骤五中，根据步骤四中得到的最优运动矢量的方向，将后续搜索范围在360度范围内沿轴向均匀分成四个区域，分别记为Al、A2、A3及A4，根据运动矢量的方向性特征，将下一步的搜索范围确定在各自区域中，忽略其它区域的点，直接在该区域进行搜索，减少搜索点数。
3.如权利要求2所述的多模式搜索的运动估计方法，其特征在于，所述最优运动矢量记为iBest,水平方向和垂直方向的坐标分别记为iBest.mv_x和iBest.mv_y,令m=abs(iBest.mv_y/iBest.mv_x)， (1)若m>l且iBest.mv_y>0,运动矢量方向处于Al区域； (2)若m〈l且iBest.mv_x〈0,运动矢量方向处于A2区域； (3)若m>l且iBest.mv_y〈0,运动矢量方向处于A3区域； (4)若m〈l且iBest.mv_x>0,运动矢量方向处于A4区域； 根据上述判断的结果确定出一区域，在该区域中进行搜索。
4.如权利要求3所述的多模式搜索的运动估计方法，其特征在于，每个区域进行多层搜索，且在每层中增加多个空点进行搜索，得到最优点。
全文摘要
本发明公开了一种多模式搜索的运动估计方法，采用基于块匹配方法与多种搜索模式相结合，利用运动矢量分布特性，综合应用多种搜索模式，改善运动搜索策略，充分利用搜索范围和搜索点，获得最佳运动矢量，本发明的运动估计方法考虑方向的自适应性，根据运动的方向性划分搜索区域，减少搜索点数。本发明的方法保持了原有的率失真特性，节省了时间开销，缩短了运动估计时间，提高了视频系统的压缩性能。本发明应用于视频图像处理领域。
文档编号H04N7/32GK103237222SQ20131016608
公开日2013年8月7日 申请日期2013年5月7日 优先权日2013年5月7日
发明者胡钢, 王烨华, 江冰, 马国玉 申请人:河海大学常州校区