专利名称：分层运动估计的方法与系统的制作方法
技术领域：
本发明有关图像处理，特别是关于一种分层运动估计(hierarchicalmotion estimation)。
背景技术：
^iAifis^Ji^if (motion estimative, ME) 1 /^^ ]^ (motionvector, MV) 时，需要从外部存储器装置撷取参考帧(例如前一帧)的像素数据。然而，受限于存储器装置的传输带宽，像素数据并无法即时由存储器装置(例如双倍数据速率同步动态随机存取存储器(double data ratesynchronous dynamic random access memory,DDR SDRAM))直接提取。为了解决上述问题，可使用集成电路的内部存储器(例如高速缓存)，以暂时储存参考帧的一部份(例如搜寻范围)。然而，对于高解析(high-definition，以下简称HD)影像(其分辨率可为1920x1080)而言，内部存储器的容量则又产生不足。例如，以HD影像的 1/10大小作为搜寻范围时，需要108(也即，1080*(1/10))条扫描线的存储器容量，或相当于1658880(也即，108*1920*8)位的容量。鉴于传统的运动估计系统或方法并无法有效地适用于较高分辨率的影像，因此， 亟需提出一种新颖的机制，以适用于解析较高的影像，例如HD影像。
发明内容
鉴于上述，本发明实施例的目的之一在于提供一种分层运动估计系统与方法，其可在外部存储器的限制带宽下，减少对内部存储器的需求且不会影响运动估计的精密度。根据本发明实施例，第一降低取样单元降低取样参考帧，且第二降低取样单元降低取样目前帧，其中降低取样参考帧储存于粗略线缓冲器。粗略运动向量(MV)估计器根据降低取样参考帧与降低取样目前帧，以产生粗略运动向量图。精细线缓冲器撷取且储存相邻于中央扫描线的扫描线，其中该中央扫描线对应于降低取样参考帧的降低取样扫描线。 精细运动向量估计器根据粗略运动向量(MV)图、目前帧与相邻于中央扫描线的储存扫描线，以产生精细运动估计(MV)图。
图1的方块图显示本发明实施例的分层运动估计(ME)系统。图2的流程图显示本发明实施例的分层运动估计方法。图3显示降低取样帧的一部分。图4例示本发明实施例的群组运动估计。主要元件符号说明10第一降低取样单元11第二降低取样单元
12粗略线缓冲器13粗略运动向量(MV)估计器14精细线缓冲器15精细运动向量(MV)估计器21-25 步骤
具体实施例方式图1的方块图显示本发明实施例的分层运动估计(ME)系统。图2的流程图显示本发明实施例的分层运动估计方法。本发明实施例可适用于高解析影像(例如分辨率为 1920x1080)的编码，但并不受限于此。虽然本实施例显示二阶段的分层运动估计(ME)方法，但是本发明实施例也可适用于二阶段以上的分层运动估计(ME)。在本实施例的分层运动估计(ME)的第一阶段，在步骤21，以第一降低取样单元10 对前一帧(一般为参考帧)进行降低取样(或次取样)。一般而言，使用降低取样因子N对帧的高度作降低取样，且使用降低取样因子M对帧的宽度作降低取样。本实施例则是采用相同降低取样因子N来取样帧的高度与宽度。在一特定实施例中，选择前一帧的搜寻范围作降低取样。此搜寻范围为原始帧的一部分(例如占原始帧的1/10)。图3显示使用降低取样因子4对帧的一部分作降低取样。在此例子中，在帧的搜寻范围的水平与垂直方向上，每4 个像素选取一像素。因此，数据的容量将减少为原始搜寻范围的1/16(也即，(1/4)*(1/4), 或一般为(1/N)*(1/M))。在同一步骤中，对于即将进行编码的目前帧则使用第二降低取样单元11以进行降低取样。接下来，在步骤22，将已降低取样的前一帧储存于粗略线缓冲器 (coarse linebuffer) 12。举例来说，如果高解析帧的搜寻范围包含108条扫描线，则可将已降低取样的前一帧储存在具有108*(1/4)*(1/4)容量的粗略线缓冲器12。需注意的是， 虽然本实施例所采用的向前(forward)运动估计使用前一帧作为参考帧，但是本实施例也可应用于向后(backward)运动估计，其使用后一帧作为参考帧。接下来，在步骤23，粗略(coarse)运动向量(MV)估计器13根据已降低取样的前一帧与已降低取样的目前帧产生粗略运动向量图(MV map)。所产生的粗略运动向量图显示目前帧对应于前一帧(或参考帧)的运动或位移。其中，对于以区块为基础的运动估计而言，在运动向量图内的每个宏区块包含一运动向量(MV)(包含有运动向量的水平分量， 运动向量的垂直分量)，以表示目前帧内的宏区块相应于前一帧内的宏区块的运动或位移。 可使用传统的度量，例如(但不限定为)绝对差和(sum of absolute differences，SAD)， 以产生粗略运动向量。关于本实施例的分层运动估计(ME)的第二阶段，在步骤M，撷取前一帧内与已降低取样扫描线相邻的扫描线(可由外部存储器撷取，例如双倍数据速率同步动态随机存取存储器(DDR SDRAM))，并且将撷取出的扫描线储存在精细线缓冲器(refine line buffer) 14。在本实施例中，如果高度的降低取样因子为N，则撷取已降低取样扫描线(也称为中央扫描线)向上与向下各N条扫描线，并连同中央扫描线。换句话说，总共储存(2*N+1) 条扫描线于精细线缓冲器14中。图3显示当N = 4时的0*4+1)条相邻扫描线。接下来，在步骤25，精细(refine)运动向量(MV)估计器15根据粗略运动向量 (MV)图、目前帧与储存在精细线缓冲器14的扫描线，以产生精细运动向量(MV)图。藉此，可将粗略运动向量(MV)估计器13所产生的运动向量(MV)的精确度由N像素精细为1像素。可使用传统的度量，例如(但不限定为)绝对差和(SAD)，以产生精细运动向量(MV)。鉴于目前帧中，相邻宏区块的运动向量(MV)的垂直分量通常是相异的，使得对应于不同垂直分量的各组相邻扫描线必须重新载入至精细线缓冲器14，因而造成外部存储器装置带宽的负担。因此，本实施例对于相邻宏区块并非重新载入各组相邻扫描线，而是采用群组(group)运动估计方式，使得目前帧中，对应至精细线缓冲器14的同一中央扫描线 (也即，对应至前一帧的相同垂直位置)的一群宏区块得以同时处理。换句话说，群组内每一宏区块的决定相关于宏区块的垂直MV分量。图4例示群组的运动估计。如图4所示，目前帧的三个宏区块相关于前一帧的相同垂直分量(如个别箭头所指)，因此将这三个宏区块归于同一群组，根据精细线缓冲器14的同一扫描线组，以同时进行运动估计。当同一群组的所有宏区块都已处理完成，则撷取另一扫描线组并储存于精细线缓冲器14。在一特定实施例中，仅目前帧的搜寻范围(如图4所示的搜寻范围)内的宏区块才进行处理，因此得以加速运动的估计。值得注意的是，搜寻范围的中央位置由中央扫描线所决定。换句话说， 不同的中央扫描线将对应至不同搜寻范围的中央位置。根据上述实施例，线缓冲器(12与14)的容量将减少为3财(1/吣*(1/^) + (2_+1)， 其中SR为搜寻范围，N为高度的降低取样因子，M为宽度的降低取样因子。上述实施例可使用硬件、软件或其组合来实施。再者，实施例也可使用管线(pipelining)来实施。例如，第 η个帧的分层运动估计的第二阶段可以和第(η+1)个帧的分层运动估计的第一阶段同时进行。以上所述仅为本发明的优选实施例，并非用以限定本发明的权利要求；凡其它未脱离发明所公开的精神下所完成的等效改变或修饰，均应包含在所附权利要求内。
权利要求
1.一种分层运动估计的方法，包含 降低取样一参考帧与一目前帧；储存该降低取样参考帧；根据该降低取样参考帧与该降低取样目前帧，以产生一粗略运动向量图(MV map)； 撷取且储存相邻于一中央扫描线的扫描线，该中央扫描线对应于该降低取样参考帧的一降低取样扫描线；及根据该粗略运动向量(MV)图、该目前帧与相邻于该中央扫描线的该储存扫描线，以产生一精细运动向量(MV)图。
2.如权利要求1所述的分层运动估计的方法，其中该参考帧与该目前帧的一搜寻范围受到降低取样。
3.如权利要求1所述的分层运动估计的方法，其中该参考帧为领先该目前帧的前一帧。
4.如权利要求1所述的分层运动估计的方法，使用一降低取样因子N对该参考/目前帧的高度作降低取样，使用一降低取样因子M对该参考/目前帧的宽度作降低取样，藉此， 在垂直方向上每N个像素选取一像素，在水平方向上每M个像素选取一像素，因此，该参考帧的大小减少为(1/NM1/M)。
5.如权利要求4所述的分层运动估计的方法，其中相邻于该中央扫描线的储存扫描线包含位于该中央扫描线之上的N条扫描线；及位于该中央扫描线之下的N条扫描线； 藉此，共储存(2*N+1)条扫描线。
6.如权利要求1所述的分层运动估计的方法，在产生该精细运动向量(MV)图的步骤中，目前帧中，根据该粗略运动向量(MV)图以同时处理对应至该中央扫描线的宏区块。
7.如权利要求6所述的分层运动估计的方法，其中该目前帧中，处理位于一预设搜寻范围内的宏区块。
8.如权利要求1所述的分层运动估计的方法，第η个目前帧的精细运动向量(MV)图产生步骤和第(η+1)个目前帧的粗略运动向量(MV)图产生步骤同时执行。
9.一种分层运动估计的系统，包含一第一降低取样单元，用以降低取样一参考帧； 一第二降低取样单元，用以降低取样一目前帧； 一粗略线缓冲器，用于储存该降低取样参考帧；一粗略运动向量(MV)估计器，根据该降低取样参考帧与该降低取样目前帧以产生一粗略运动向量图；一精细线缓冲器，撷取且储存相邻于一中央扫描线的扫描线，该中央扫描线对应于该降低取样参考帧的一降低取样扫描线；及一精细运动向量估计器，根据该粗略运动向量(MV)图、该目前帧与相邻于该中央扫描线的该储存扫描线，以产生一精细运动估计(MV)图。
10.如权利要求9所述的分层运动估计的系统，其中该参考帧的一搜寻范围受到该第一降低取样单元的降低取样，且该目前帧的一搜寻范围受到该第二降低取样单元的降低取样。
11.如权利要求9所述的分层运动估计的系统，其中该参考帧为领先该目前帧的前一帧。
12.如权利要求9所述的分层运动估计的系统，使用一降低取样因子N对该参考/目前帧的高度作降低取样，使用一降低取样因子M对该参考/目前帧的宽度作降低取样，藉此， 在垂直方向上每N个像素选取一像素，在水平方向上每M个像素选取一像素，因此，该参考帧的大小减少为(1/N)*(1/M)。
13.如权利要求12所述的分层运动估计的系统，其中相邻于该中央扫描线的储存扫描线包含位于该中央扫描线之上的N条扫描线；及位于该中央扫描线之下的N条扫描线； 藉此，共储存(2*N+1)条扫描线。
14.如权利要求9所述的分层运动估计的系统，其中该精细运动向量估计器在目前帧中，根据该粗略运动向量(MV)图以同时处理对应至该中央扫描线的宏区块。
15.如权利要求14所述的分层运动估计的系统，其中该精细运动向量估计器在目前帧中，处理位于一预设搜寻范围内的宏区块。
16.如权利要求9所述的分层运动估计的系统，其中该精细运动向量估计器所产生的第η个目前帧的精细运动向量(MV)图和该粗略运动向量估计器所产生的第(η+1)个目前帧的粗略运动向量(MV)图两者同时执行。
全文摘要
一种分层运动估计的方法与系统。降低取样参考帧与目前帧，并储存该降低取样参考帧。根据降低取样参考帧与降低取样目前帧，以产生粗略运动向量图(MV map)。撷取且储存相邻于中央扫描线的扫描线，该中央扫描线对应于降低取样参考帧的降低取样扫描线。根据粗略运动向量(MV)图、目前帧与相邻于中央扫描线的储存扫描线，以产生精细运动向量(MV)图。
文档编号H04N7/26GK102238380SQ20101016822
公开日2011年11月9日 申请日期2010年4月22日 优先权日2010年4月22日
发明者陈滢如 申请人:奇景光电股份有限公司