专利名称：区块方式的动作估算方法及图框速率提高方法
技术领域：
本发明涉及一种动作估算(motion estimation)，特别是涉及一种区块方式 (block-based)的动作估算方法，其可适用于图框速率提高(framerate up conversion, FRUC)。
背景技术：
图框速率提高(FRUC)技术经常用于数字影像显示器，例如数字电视，用以在两相邻图框之间产生一或多张内插图框，因而提高图框速率，例如，从60Hz增至120Hz甚至 240Hz0内插图框的产生一般是使用动作补偿(motioncompensation)的内插技术。如图1 所示，是根据前一图框及目前图框以产生内插图框的例子。首先，决定出目前图框的巨集区块(macroblock，MB)相对于前一图框的相应巨集区块的移动。根据此动作估算以得到内插图框。然而，内插图框的内插区块的产生却是随机没有规律的。由于图框的显示一般是规律地从左至右且由上而下，前述的随机情形造成内插图框于显示时的困难或复杂。再者， 内插区块一般并未对齐于视讯图框的巨集区块的分割。因此，为了处理内插区块所进行的存储器数据存取也将变为随机且为像素方式(Pixel-based)，此将造成时间的延迟。此外， 内插区块会彼此重叠。此重叠情形使得内插图框的显示变得更复杂。像素方式的动作补偿 (motion compensation)还会影响其他处理(例如遮蔽(occlusion)处理)的速度与精确性，使得该些处理也必须为像素方式。鉴于上述传统图框速率提高(FRUC)会产生延迟、复杂及不精确，因此亟需提出一种新颖机制，以加速并简化产生内插图框(例如进行图框速率提高)时的动作补偿。因此如何能创设一种新的区块方式的动作估算方法及图框速率提高方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。
发明内容
本发明的主要目的在于，克服现有的传统图框速率提高方法存在的延迟、复杂及不精确的缺陷，而提供一种新的区块方式(block-based)的动作估算方法，使得内插图框的动作补偿成为区块方式的处理，借此使得存储器装置的数据存取变为规律的区块方式的依序存取，因而大量地提高处理速度。本发明的另一目的在于，提供一种新的图框速率提高(frame rate upconversion, FRUC)方法，从而更加适于实用。本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种区块方式的动作估算方法，包含提供一参考图框和一目前图框，该目前图框被分割为互不重叠的多个巨集区块(MB)；相对于该参考图框，得到该目前图框的每一该巨集区块的动作向量(MV)，用以得到一动作向量图(MV map)；及根据该动作向量图，在该参考图框和该目前图框之间的内插图框，决定该内插图框中每一巨集区块的动作向量。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
前述的区块方式的动作估算方法，其中所述的参考图框为前一图框。前述的区块方式的动作估算方法，其中所述的内插图框的巨集区块，是从左至右且由上而下依序处理以决定该动作向量。前述的区块方式的动作估算方法，其中所述的动作向量图的每一动作向量的产生，是借由该目前图框和该参考图框之间进行区块匹配(blockmatching)，其中该动作向量代表该目前图框的巨集区块相对于该参考图框的相应巨集区块的移动。前述的区块方式的动作估算方法，其中所述的决定该内插图框中每一巨集区块的动作向量的步骤包含根据该动作向量图，将该目前图框的巨集区块反向映射至该内插图框，用以在该内插图框中产生多个反向映射巨集区块；分别决定该内插图框中该多个反向映射巨集区块和一待处理巨集区块之间的距离；及根据该距离，自该动作向量图选择一动作向量，用以决定该待处理巨集区块的动作向量。前述的区块方式的动作估算方法，还包含一步骤，在该目前图框中决定一搜寻范围，其与该待处理巨集区块相关，用以在该搜寻范围中，将该巨集区块反向映射至该内插图框。前述的区块方式的动作估算方法，其中所述的反向映射巨集区块和该待处理巨集区块的距离是为该反向映射巨集区块的角落和该待处理巨集区块的相应角落之间的距离。本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种图框速率提高方法，包含提供一参考图框和一目前图框，该目前图框被分割为互不重叠的多个巨集区块(MB)；相对于该参考图框，得到该目前图框的每一该巨集区块的动作向量(MV)，用以得到一动作向量图(MV map)；根据该动作向量图，在该参考图框和该目前图框之间的内插图框，决定该内插图框中每一巨集区块的动作向量；及根据该内插图框中每一巨集区块的动作向量，以产生该内插图框。本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。前述的图框速率提高方法，其中所述的内插图框的巨集区块，是从左至右且由上而下依序处理以决定该动作向量。前述的图框速率提高方法，其中所述的决定该内插图框中每一巨集区块的动作向量的步骤包含根据该动作向量图，将该目前图框的巨集区块反向映射至该内插图框，用以在该内插图框中产生多个反向映射巨集区块；分别决定该内插图框中该多个反向映射巨集区块和一待处理巨集区块之间的距离；及根据该距离，自该动作向量图选择一动作向量，用以决定该待处理巨集区块的动作向量。前述的图框速率提高方法，还包含一步骤，在该目前图框中决定一搜寻范围，其相关于该待处理巨集区块，用以在该搜寻范围中，将该巨集区块反向映射至该内插图框。前述的图框速率提高方法，其中所述的反向映射巨集区块和该待处理巨集区块的距离是为该反向映射巨集区块的角落和该待处理巨集区块的相应角落之间的距离。本发明与现有技术相比具有明显的优点和有益效果。由以上技术方案可知，本发明的主要技术内容如下首先提供参考图框和目前图框。目前图框被分割为互不重叠的多个巨集区块(MB)。接着，相对于参考图框，得到目前图框的每一巨集区块的动作向量(MV)， 用以得到一动作向量图(MVmap)。根据动作向量图，在参考图框和目前图框之间的内插图框，决定内插图框中每一巨集区块的动作向量。
为达到上述目的，本发明提供了一种区块方式(block-based)的动作估算方法。另外，为达到上述目的，本发明还提供了一种图框速率提高方法。借由上述技术方案，本发明至少具有下列优点及有益效果由于内插图框的动作补偿是为区块方式，因此存储器装置的数据存取可为区块方式(block-based)的规律循序存取，而非传统方法中像素方式(pixel-based)的随机存取，因而可以大大加快处理速度。综上所述，本发明的区块方式的动作估算方法和图框速率提高方法，可以大大加快存储器装置的数据存取处理速度。本发明在技术上有显著的进步，具有明显的积极效果， 诚为一新颖、进步、实用的新设计。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
图1是根据前一图框及目前图框以产生内插图框的示意图。图2是本发明实施例区块方式(block-based)的动作估算(motionestimation) 方法的流程图。图3是图2步骤23的详细流程图。图4是图3流程的相关示意图。
具体实施例方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的区块方式的动作估算方法和图框速率提高方法， 其具体实施方式
、方法(制造方法、加工方法)、步骤、特征及其功效，详细说明如后。 图2所示是本发明实施例的区块方式(block-based)的动作估算(motion estimation)方法，其可适用于图框速率提高(FRUC)。在步骤21，首先提供前一图框(一般称为参考图框)及目前图框，借由内插技术而在前一图框和目前图框之间产生出新图框。一般来说，提供时间N的图框及时间N+2的图框，而在时间N+1产生内插图框。在本实施例中，每一图框被分割为互不重叠的矩形区域， 称为巨集区块(macroblock，MB)。例如，每一巨集区块的尺寸可为4x4或16x16像素。接着，在步骤22，得到动作向量图(MV map)。其中，动作向量图也同上述分割为互不重叠的巨集区块。动作向量图中的每一巨集区块包含一动作向量，其代表目前图框的巨集区块相对于前一图框的相应巨集区块的移动或位移。详而言之，借由目前图框和前一图框之间的每一区块进行区块匹配(block matching)，以产生动作向量图的巨集区块的动作向量。对于目前图框中的每一巨集区块，区块匹配的动作估算自前一图框中找到最佳匹配区块(例如当其达到最小绝对差之和(sum of absolute difference, SAD))，因而得到目前图框的巨集区块的动作向量。动作向量图包含目前图框的各个巨集区块的动作向量。因此，本实施例的动作向量图一般又称为正向(forward)动作向量图。接下来，在步骤23，根据步骤22得到的正向动作向量图，以决定内插图框中每一巨集区块的动作向量。在本实施例中，内插图框的动作向量的决定是一个区块接着一个区块地执行，或者为区块方式(block-based)。例如，巨集区块是从左至右且由上而下依序处理。图3所示是步骤23的详细流程图，而图4所示是图3流程的相关示意图。在步骤231，首先在目前图框中决定出搜寻范围40 (如图4所示)，其与内插图框中的待处理巨集区块42有关。接着，在步骤232，根据动作向量图(例如，巨集区块40A、 40B和40C的动作向量)，将搜寻范围内的巨集区块(亦即，40A、40B和40C)反向映射至内插图框(如实线箭头所示)，因而分别产生反向映射巨集区块42A、42B和42C。接着，在步骤233，分别决定反向映射巨集区块42A/42B/42C和待处理巨集区块42的距离。在本实施例中，巨集区块之间的距离是定义为各巨集区块的左上角间的距离(如虚线箭头所示)。最后，在步骤234，因为相应于巨集区块40C的反向映射巨集区块42C最接近待处理巨集区块 42，因此巨集区块40C的动作向量被选择作为待处理巨集区块42的动作向量。详而言之， 待处理巨集区块42的动作向量为巨集区块40C的动作向量的一半。为便于说明，巨集区块 40A、40B和40C代表本实施例搜寻范围内的所有巨集区块。接下来，在步骤24 (如图2所示)，根据步骤234所选择的动作向量，一区块一区块地产生内插图框。根据步骤23和对，依序处理并显示内插图框中的所有巨集区块。根据上述实施例，由于内插图框的动作补偿是为区块方式，因此存储器装置的数据存取可为区块方式(block-based)的规律循序存取，而非传统方法中像素方式 (pixel-based)的随机存取，因而可以大大加快处理速度。再者，区块方式的动作补偿可使得其他处理，例如遮蔽处理，也能以区块方式来处理。上述实施例以正向动作向量图作为基础，以执行反向映射。然而，在其他实施例中，还可使用反向动作向量图。换句话说，同时使用正向和反向动作向量图，用以得到内插图框的待处理巨集区块的二或更多个候选动作向量。反向动作向量图也同上述被分割为互不重叠的巨集区块。反向动作向量图的每一巨集区块包含一动作向量，其代表时间N的图框(例如前一图框)的巨集区块相对于时间N+2的图框(例如目前图框)的相应巨集区块的移动或位移。换句话说，反向动作向量图的动作估算的方向是相反于正向动作向量图的动作估算的方向。类似于第二图的步骤23，根据反向动作向量图以决定内插图框中每一巨集区块的反向动作向量，其细节类似于第三图的步骤231-234。相较于仅使用正向动作向量图，如果同时使用正向及反向动作向量图以进行区块方式的动作补偿，可以得到较佳效能， 但须使用较多资源及时间延迟。以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
权利要求
1.一种区块方式的动作估算方法，其特征在于，包含提供一参考图框和一目前图框，该目前图框被分割为互不重叠的多个巨集区块；相对于该参考图框，得到该目前图框的每一该巨集区块的动作向量，用以得到一动作向量图；及根据该动作向量图，在该参考图框和该目前图框之间的一内插图框，决定该内插图框中每一巨集区块的动作向量。
2.根据权利要求1所述的区块方式的动作估算方法，其特征在于，其中所述的参考图框为前一图框。
3.根据权利要求1所述的区块方式的动作估算方法，其特征在于，其中所述的内插图框的巨集区块，是从左至右且由上而下依序处理以决定该动作向量。
4.根据权利要求1所述的区块方式的动作估算方法，其特征在于，其中所述的动作向量图的每一动作向量的产生，是借由该目前图框和该参考图框之间进行区块匹配，其中该动作向量代表该目前图框的巨集区块相对于该参考图框的相应巨集区块的移动。
5.根据权利要求1所述的区块方式的动作估算方法，其特征在于，其中所述的决定该内插图框中每一巨集区块的动作向量的步骤包含根据该动作向量图，将该目前图框的巨集区块反向映射至该内插图框，用以在该内插图框中产生多个反向映射巨集区块；分别决定该内插图框中该多个反向映射巨集区块和一待处理巨集区块之间的距离；及根据该距离，自该动作向量图选择一动作向量，用以决定该待处理巨集区块的动作向量。
6.根据权利要求5所述的区块方式的动作估算方法，其特征在于，还包含一步骤，在该目前图框中决定一搜寻范围，其与该待处理巨集区块相关，用以在该搜寻范围中，将该巨集区块反向映射至该内插图框。
7.根据权利要求5所述的区块方式的动作估算方法，其特征在于，其中所述的反向映射巨集区块和该待处理巨集区块的距离是为该反向映射巨集区块的角落和该待处理巨集区块的相应角落之间的距离。
8.一种采用如权利要求1区块方式的动作估算方法的图框速率提高方法，包含提供一参考图框和一目前图框，该目前图框被分割为互不重叠的多个巨集区块；相对于该参考图框，得到该目前图框的每一该巨集区块的动作向量，用以得到一动作向量图；根据该动作向量图，在该参考图框和该目前图框之间的一内插图框，决定该内插图框中每一巨集区块的动作向量；及根据该内插图框中每一巨集区块的动作向量，以产生该内插图框。
9.根据权利要求8所述的图框速率提高方法，其特征在于，其中所述的内插图框的巨集区块，是从左至右且由上而下依序处理以决定该动作向量。
10.根据权利要求8所述的图框速率提高方法，其特征在于，其中所述的决定该内插图框中每一巨集区块的动作向量的步骤包含 根据该动作向量图，将该目前图框的巨集区块反向映射至该内插图框，用以在该内插图框中产生多个反向映射巨集区块；分别决定该内插图框中该多个反向映射巨集区块和一待处理巨集区块之间的距离；及根据该距离，自该动作向量图选择一动作向量，用以决定该待处理巨集区块的动作向量。
11.根据权利要求10所述的图框速率提高方法，其特征在于，还包含一步骤，在该目前图框中决定一搜寻范围，其相关于该待处理巨集区块，用以在该搜寻范围中，将该巨集区块反向映射至该内插图框。
12.根据权利要求10所述的图框速率提高方法，其特征在于，其中所述的反向映射巨集区块和该待处理巨集区块的距离是为该反向映射巨集区块的角落和该待处理巨集区块的相应角落之间的距离。
全文摘要
本发明是有关于一种区块方式的动作估算方法。该区块方式的动作估算方法包括相对于参考图框，得到目前图框的每一巨集区块的动作向量(MV)，用以得到一动作向量图(MV map)；根据动作向量图，在内插图框中决定每一巨集区块的动作向量；根据该动作向量图，在该参考图框和该目前图框之间的内插图框，决定该内插图框中每一巨集区块的动作向量。一种采用图框速率提高方法，根据该内插图框中每一巨集区块的动作向量，以产生该内插图框。本发明使得内插图框的动作补偿成为区块方式的处理，借此使得存储器装置的数据存取变为规律的区块方式的依序存取，因而大量地提高处理速度。
文档编号H04N7/46GK102215394SQ20101021520
公开日2011年10月12日 申请日期2010年6月25日 优先权日2010年4月8日
发明者赖彦杰, 郑朝钟, 钮圣君, 陈滢如 申请人:奇景光电股份有限公司, 承景科技股份有限公司, 郑朝钟