专利名称：用于数字输入视频信号的运动估计方法
技术领域：
本发明涉及利用块匹配和二次抽样法的用于数字输入视频信号的运动估计方法。
可以把块匹配法用于运动估计。要被编码的图像被分割为块，并且这些参考块中的每一个与在前或后续图像中的搜索窗内的相同尺寸的候选块相比较。对每个候选矢量位置计算在参考块的像素值与候选块的相应像素值之间的差的绝对值的总和。其结果称为“成本函数”。然后，与最低总和值(即，成本函数的最小值)有关的候选运动矢量被取作为当前参考块的运动矢量。一些运动估计方法利用在参考块和在搜索区域中的所有像素(全像素全搜索)，以查找最佳运动矢量。但是，这些方法要求非常快而且昂贵的硬件。
为了减小所要求的计算能力，在块匹配方法中引入对角像素二次抽样方法。
对于预定的下采样级别，通过利用五点梅花形下采样取代正交下采样可以明显减小错误确定的运动矢量的数目。在五点梅花形下采样中，分别在先前行或列中省略的位置处的像素分别用于每个如下行或列中。固定五点梅花形二次抽样可以应用于参考块或存储区域。欧洲专利EP-A-0732670中公开使用这种五点梅花形二次抽样的块匹配。
利用分级块匹配可以减小计算要求，但是仍然保持高矢量精度。M．Bierling，“利用分级块匹配估计的位移估计”，汉诺威大学，第三届关于视频通信和图像处理的SPIE(摄影光学仪器工程师学会)学术讨论会，1988年11月9-11日，剑桥，美国，该文中描述了以低通滤波和二次抽样搜索窗为开始，基于在具有不同空间分辨率的搜索窗中的运动矢量搜索的分级运动估计方法。
欧洲专利EP-A-0661667公开了仅仅利用像素值的MSB(最高有效位)的块匹配方法。
如上文所述，可以执行参考块和搜索窗区域的二次抽样，以减小计算和存储要求。但是，由于如果具有实际最小成本函数值的正确候选运动矢量位于省略的行或列中，则有可能找不到该运动矢量，因此列和／或行(正交下采样)的省略可能导致不理想的结果。由于在一些需要运动矢量的精度甚至要大于±1像素的情况下(例如，要求±1／2像素)，这是个严重的缺点。
上述情况对于逐行和隔行视频信号来说基本上正确。但是，隔行视频信号需要特别的考虑，因为它们已经被垂直二次抽样，并且在运动估计方法中进一步应用垂直二次抽样可能严重地降低运动矢量的质量。
本发明的一个目的是提供一种块匹配运动估计方法，其减小计算和存储要求，但是具有高矢量精度，其特别适合于隔行视频信号。该目的是通过在权利要求1中所公开的方法而实现的。
按照因子2对输入信号进行水平和垂直低通滤波和垂直二次抽样。利用2像素的水平搜索步长或分辨率以及利用1像素的垂直搜索步长或分辨率(这两个都用原始信号像素图案间距表达)对所得视频信号进行运动矢量搜索，从而仅仅估算每两个像素和线(这两者都用原始信号像素图案间距来表达)，以对参考块中的成本函数或块匹配误差进行计算。
在可选的第二块匹配阶段，根据水平和垂直半像素间距插值的五点梅花形像素图案执行精细运动估计，最终导致半像素分辨率的运动矢量(以原始信号像素图案来表达)。
原则上，本发明方法关于数字输入视频信号的运动估计，并且利用参考像素块与在搜索窗中的相应像素块的块匹配以及二次抽样，其包括如下步骤-对输入视频信号进行水平和垂直低通滤波，以及对该滤波的视频信号进行水平1∶2二次抽样；-利用2像素的水平搜索步长或分辨率以及1像素的垂直搜索步长或分辨率对当前参考块执行运动矢量搜索，该搜索对滤波和水平二次抽样后的视频信号进行，其中为了计算当前块匹配误差或成本函数值，仅仅对每两个像素和每两条线进行估算，其中用于所述估算的所述搜索步长和像素间距是用原始视频信号像素图案间距来表达的。
有利的是随后根据水平和垂直半像素间距插值的五点梅花形图案执行精确运动估计，这最终导致用原始信号像素图案间距表达的半像素分辨率运动矢量。
本发明方法的优选附加实施例公开在各个从属权利要求中。
下面将参照附图具体描述本发明的实施例，其中
图1为二次抽样处理方法；图2为在第一运动估计阶段中涉及的像素；图3为在矢量指向点附近的具有中间像素位置的帧；图4为第二运动估计阶段中涉及的像素；图5为隔行扫描信号所需的运动矢量。
实施例如图1所示，运动估计处理以每帧具有原始有效像素(例如720×576)的输入图像IP的水平垂直低通滤波HVF为开始。在水平或在水平垂直低通滤波之后，以因子2执行水平二次抽样HSUB。输出图像例如具有360×576有效像素／帧，其中参考宏块可以具有8像素×16线的大小。
图2示出参考宏块的8像素和16线。用于块匹配中的搜索窗可以具有水平±32(二次抽样的)像素和垂直±32线的大小。根据这些附图，相应的参考块与在搜索窗中的相应像素在65像素×65线=4225个候选块位置相比较。候选块搜索步长和在第一运动估计阶段(即，粗略运动估计阶段)计算所得的矢量精度是水平±2(原始)像素和垂直±1(原始)线。为了减小计算量，以如下方式执行粗略运动估计 其中，i=水平下标，j=垂直下标，4p=例如在参考块中的像素值的四个最高有效位，4p=例如在预测帧的块中的像素值的四个最高有效位。
用于成本函数累计的像素在图2中示出为黑点，而白点像素被忽略。例如在八位每像素值中低四位是忽略位DCB。
计算的成本函数的最小值的空间位置通常仍然与正确的运动矢量位置具有偏差。该偏差可以利用后续阶段的精确运动估计来最小化。
在精确运动估计阶段中的运算也基于在参考帧中的原始像素之间附加像素的内插值。这些内插值可以利用[1，2，1]滤波器从原始像素值中推导出。图3示出在粗略矢量CVEC的指向点附近中的具有中间像素位置的参考帧。该附近(暗区域)包括相邻原始像素FP、水平插值半像素IHPH、垂直插值半像素IHPV、以及对角插值半像素IHPD，总共34个像素位置。一般，对于在预测帧中的每个宏块，在参考帧内的参考宏块附近进行搜索，这意味着在34个块位置中搜索最小匹配误差。
还可以在预测帧中搜索相应块位置的参考图像参考块的位置，这意味着对预测图像计算插值像素值。
在精确运动估计阶段，块尺寸例如是16(原始)像素×16(原始)线，如图4中所示。QPAT表示在计算中涉及的黑点像素值的五点梅花形图案。搜索步长是水平1／2(原始)像素以及垂直1／2(原始)线。再次，例如对于八位每像素值仅仅有四个最高有效位可以用于成本函数累计，而剩余位是忽略位DCB。
精确运动估计是以如下方式执行的成本函数mae=Σi=015Σj=015|4P2i+mod(j,2),j-4p2i+mod(j,2),j|]]>mae=绝对平均误差，i=在半像素光栅中的水平下标，i=在半像素光栅中的垂直下标，如果j是偶数，则mod(j，2)=0；如果j是奇数，则mod(j，2)=1。
本发明的运动估计提高了主观图像质量，特别是对于隔行扫描图像。图5示出来自一个隔行扫描图像序列的顶部参考区域TREFF、顶部参考区域BREFF、顶部预测区域TPDF、以及顶部预测区域BPDF。图5示出从预测区域到参考区域的精确运动估计矢量。在每个区域中的块可以利用来自两个随后区域中的每一个的矢量来预测。
在粗略运动估计和在精确运动估计中的搜索方向是可以随意掉换的。
权利要求
1．一种用于数字输入视频信号(IP)的运动估计的方法，其利用参考像素块与在搜索窗口中的相应像素块之间的块匹配，从而利用二次抽样，其特征在于如下步骤-对输入视频信号(IP)进行水平和垂直低通滤波(HVF)，以及对该滤波的视频信号进行水平1∶2二次抽样(HSUB)；-利用2像素的水平搜索步长或分辨率以及1像素的垂直搜索步长或分辨率对当前参考块执行运动矢量(CVEC)搜索，该搜索对滤波和水平二次抽样后的视频信号(OP)进行，其中为了计算当前块匹配误差或成本函数值，仅仅对每两个像素和每两条线进行估算，其中用于所述估算的所述搜索步长和像素间距是用原始视频信号像素图案间距来表达的。
2．根据权利要求1所述的方法，其特征在于，随后根据水平和垂直半像素间距插值的五点梅花形图案(QPAT)执行精确运动估计，这最终导致用原始信号像素图案间距表达的半像素分辨率运动矢量。
3．根据权利要求1或2所述的方法，其特征在于，所述输入视频信号(IP)是隔行视频信号。
4．根据权利要求3所述的方法，其特征在于，利用相应相邻帧的顶部和底部区域块(TPDF、BPDF)，计算用于顶部区域块(TREFF)和／或底部区域块(BREFF)的运动矢量。
5．根据权利要求1至4中的任何一项所述的方法，其特征在于，在粗略和／或精确运动估计阶段中，在匹配误差中或成本函数值计算中涉及的像素值的一些最低有效位(DCB)不被考虑。
6．根据权利要求1至5所述的方法，其特征在于，利用如下成本函数的平均绝对误差执行粗略运动估计 其中，i=水平下标，j=垂直下标，4p=例如在参考块中的像素值的四个最高有效位，4p=例如在预测帧的块中的像素值的四个最高有效位。
7．根据权利要求2至5所述的方法，其特征在于，利用如下成本函数的平均绝对误差执行粗略运动估计 其中，i=水平下标，j=垂直下标，4p=例如在参考块中的像素值的四个最高有效位，4p=例如在预测帧的块中的像素值的四个最高有效位。
8．根据权利要求7所述的方法，其特征在于，利用如下成本函数的平均绝对误差MAE执行精确运动估计MAE=Σi=015Σj=015|4p2i+mod(j,2),j-4P2i+mod(j,2),j|]]>其中，i=在半像素光栅中的水平下标，j=在半像素光栅中的垂直下标，如果j是偶数，则mod(j，2)=0；如果j是奇数，则mod(j，2)=1。
全文摘要
与最低匹配误差相关的候选运动矢量被选择作为运动矢量。列和/或行的二次抽样可以用于减小计算的储存要求。但是,隔行信号需要特别的考虑,因为这会严重地损害运动矢量的质量。因此,输入信号(IP)被水平和垂直低通滤波(HVF)并且以因子2执行水平二次抽样(HSUB)。利用2像素的水平搜索步长以及利用1像素的垂直搜索步长对所得视频信号进行运动矢量搜索,从而仅仅估算每两个像素和线来对参考块中的成本函数或块匹配误差进行计算。
文档编号H04N7/32GK1293518SQ0012971
公开日2001年5月2日 申请日期2000年10月9日 优先权日1999年10月19日
发明者迈诺尔夫·布拉瓦, 马尔科·温特 申请人:德国汤姆森-布兰特有限公司