专利名称：预测移动向量的估测方法
技术领域：
本发明涉及一种预测移动向量的估测方法，尤其涉及一种藉由两画面间的差异信息来估测出预测移动向量的方法。
背景技术：
移动估测(Motion Estimation)是视讯影像压缩处理中一项重要的技术，其目的在于判断前后画面的关连性，以决定出一移动向量(Motion Vector)，并据以得到后续的影像，而能减少不同时间中的各影像画面间的多余信息(Redundancy Information)。由于视讯影像是一连串影像画面连续播放的结果，而其主要原理是藉由相邻影像画面的细微变化，使人们有视觉暂留的反应而产生动画的效果。一般来说，相邻的画面在空间上和时间上通常会有较强的关连性，彼此间应该皆存在有一部分完全没有变化。因此，当储存或传输影 像画面时，没有变化的部份就不需要储存，只需记录先前画面的信息而后续画面将可藉由移动过程中所记录下的信息来进行重建。换言之，在视讯影像编译码过程中，便不需处理所有画面的信息，而能达到有效地减少传输的信息量，并符合影像压缩的效果。目前区块比对(BlockMatching)方法是计算移动向量常被应用的方法的一，区块比对方法透过将影像画面切割成多个不重迭的区块，并寻找不同时间中各区块间最相似的部分，来取得各区块的移动向量信息。在背景技术中，已有许多搜寻算法被提出来寻找移动向量的相关信息，举例来说，利用全域搜寻法(Full Search)、三步骤搜寻法(Three StepSearch)、四步骤搜寻法(Four Step Search)、钻石搜寻法(Diamond Search)、3D递归搜寻法(Three Dimensional Recursive Search)或十字搜寻法(Cross Search)等等各种不同的搜寻方式来得到移动向量的相关信息，接着，再透过比对运算(match estimation),例如绝对误差和(sum of absolute difference, SAD)运算,来取得预测移动向量，以实现最佳化的区块比对，然而，区块比对方法虽可得到较精准的移动向量信息，却因具较长的搜寻时间及较大的运算复杂度而不适合于实时的应用。在此情况下,背景技术另提出一种相位平面相关性(phase plane correlation)方式，来实现快速移动向量的预测，其主要是将视讯影像由空间域转换至频率域，并直接于频率域比较两张影像画面的相位差异来进行移动向量的预测。然而，采用相位平面相关性的方式必须执行快速富利叶转换(FFT)的程序始能完成转换，如此一来，亦会耗费过多的系统资源及转换运算时间，因此，仍然不适于实时的应用中。
发明内容
因此，本发明的目的在于提供一种藉由两画面间的差异信息而能简单且迅速地估测出预测移动向量的方法，以解决上述的问题。依据本发明的实施例，其是公开一种预测移动向量的估测方法，用于具有多个像素的一影像区块，该估测方法包括有对该影像区块中的每一个像素，计算出对应于一目前画面与一参考画面的一像素差异值；根据该像素差异值，决定出一像素差异区域；以及根据该像素差异区域，决定出一预测移动向量。
图1为本发明实施例一流程的示意图。图2A及2B分别为视讯影像中的物体移动运作时的示意图。图3为视讯影像中的一物体移动后的像素差异值分布的示意图。图4为图3中的一影像区块的示意图。图5为视讯影像中的另一物体移动后的像素差异值分布的示意图。图6为图5中的一影像区块的示意图。 其中，附图标记说明如下10流程100,102,104,106,108步骤A、A_SUB像素差异区域B、B_SUB空白区域F(n_l)、F(n)影像画面ΜΒ_0影像区块Ob j_A、0bj_B物体ED、ED’、P、P’、P1、P1’ 位置
具体实施例方式请参考图1，图1为本发明实施例一流程10的示意图。为了方便说明起见，假设一视讯影像可被切成多个影像区块，每一影像区块包括有多个像素。流程10可用来估测每一影像区块的一预测移动向量，流程10包括以下步骤步骤100 :开始。步骤102 :对影像区块中的每一个像素，计算出对应于一目前画面与一参考画面
的一像素差异值。步骤104 :根据像素差异值，决定出一像素差异区域。步骤106 :根据像素差异区域，决定出一预测移动向量。步骤108 :结束。根据流程10，本发明可根据参考画面的信息，估测出对应于目前画面的影像区块的预测移动向量。首先，在步骤102中，针对影像区块中的每一个像素，计算出对应于目前画面与参考画面的像素差异值。详细来说，对每一个像素而言，可先侦测出其对应于目前画面的一目前像素值及对应于参考画面的一参考像素值。接着，将所侦测出的目前像素值与参考像素值进行相减运算，以计算出目前像素值与参考像素值的差值，在此情况下，所计算出的结果即为该相对应像素的像素差异值。所述的目前像素值与参考像素值可分别为一亮度值或一彩度值，相对地，像素差异值则为一亮度差异值或一彩度差异值。如此一来，各像素的像素差异值即可代表其目前画面与参考画面间的变化程度。较佳地，所述的参考画面是为一先前画面，也就是说，该参考画面可为视讯影像在目前画面的前的单一影像画面或是多个影像画面的集合，例如，若目前画面为时间T(n)时的影像画面，参考画面为前一张画面(即时间T(n-l)时的影像画面)，如此一来，在步骤102中即计算每一个像素对应于目前画面与前一张画面的像素差异值，当然，参考画面并非仅限于前一张画面，例如参考画面亦可为目前画面的数个显示周期前的影像画面，例如参考画面可为时间T(n-3)时的影像画面，本领域技术人员应可理解，在此不再赘述。除此之夕卜，参考画面亦可为前数张画面的集合，例如前三张画面(时间T(n-l)至时间T(n-3)时的影像画面)的集合，则在步骤102中，对每一个像素而言，可计算其对应于目前画面的目前像素值与对应于前数张画面(例如前三张画面)的参考像素平均值的差值，也就是说，当分别侦测出目前画面的目前像素值及对应于前数张画面的相对应参考像素值的后，再计算出对应于前数张画面的相对应参考像素值的平均值。接着，将目前像素值与参考像素的平均值进行相减运算的结果即为目前画面与前数张画面的像素差异值。进一步地，视讯影像是由一连串的影像画面所组成，对于连续的影像画面而言，因为时间点接近，所以彼此间有较强的空间相关性与时间相关性。在此情况下，若视讯影像中的一物体呈现静止时，通常相邻的画面之间差异不大，也就是说，目前画面的目前像素值与 参考像素值会是相同的或是非常接近的。同理，若视讯影像中的物体有移动的情况产生时，对于物体的边缘部份所经过的像素而言，其对应于目前画面的目前像素值与对应于参考画面的参考像素值将会有明显的差异情况发生，亦即物体移动时，其边缘部份所经过的相对应像素，将会存在较大的像素差异值。在此情况下，于影像区块中的所有像素的像素差异值被计算出后，经由执行步骤104，根据所计算出的像素差异值，来决定出一像素差异区域。详细来说，在步骤104中，可比较对应于各像素的像素差异值与一变化临限值，以产生一比较结果，并根据该比较结果，选取相对应该像素差异值大于该变化临限值的像素，以形成该像素差异区域，如此一来，该像素差异区域即表示物体的边缘部份于目前画面与参考画面间的所移动经过的区域。举例来说，请参考图2Α及2Β，图2Α及2Β分别为视讯影像中的物体移动运作时的示意图。假设影像画面F(n-l)与F(n)分别为是为视讯影像中前、后两张的影像画面，亦即影像画面F(n_l)为时间T(n_l)时的影像画面，而影像画面F(n)为时间T (η)时的影像画面。为方便说明，以视讯影像中仅有单一移动物体(即物体Obj_A)且影像画面F(n-l)为参考画面及影像画面F (η)为目前画面为例来说明，如图2Α及2Β所示,于影像画面F (η_1)中，物体Obj_A是位于位置P ;于影像画面F (η)中，物体Obj_A是位于位置P’。也就是说，物体0bj_A已自位置P移动至位置P’。一般来说，物体0bj_A的边缘所经过的像素通常会存在有较大的像素差异值，且在影像画面F (n-1)、F (η)中皆被用来显示物体0bj_A的像素或者是在影像画面F (n-1)、F (η)中皆非被用来显示物体Ob j_A的像素(即背景像素)，由于没有显示变化，因此其相对应的像素差异值通常为O或是很小。请参考图3与图4，图3为视讯影像中的物体01^_八移动后的像素差异值分布的示意图。图4为图3中的一影像区块ΜΒ_0的示意图。假设物体0bj_A的边缘所经过的像素具有大于一变化临限值的像素差异值，且关于影像画面F (n-1)、F (η)中皆被用来显示物体Ob j_A的像素或者是当成背景的像素，其所具有的像素差异值皆为O。换言之，对于视讯影像的各像素而言，当对影像画面F(η-1)的亮度值(或彩度值)与影像画面F(n)时的亮度值(或彩度值)进行相减运算后，各像素的像素差异值的分布将会如图3所示，其中，像素差异区域A(网格区域)表示由像素差异值大于变化临限值的像素所形成的区域，空白区域B表示像素差异值为O的区域。因此，如图4所示，当欲估测单一影像区块(例如影像区块ΜΒ_0)的一预测移动向量时，可透过执行步骤102来取得影像区块ΜΒ_0中各像素的像素差异值的后，再执行步骤104来决出像素差异区域A_SUB与空白区域B_SUB，以提供作为后续估测程序的依据。接着，在步骤106中，根据上述步骤所选出的像素差异区域的信息，来决定出相对应影像区块的预测移动向量。例如，可依据像素差异区域的水平方向或垂直方向的长度来预测该影像区块的移动向量。也就是说，根据像素差异区域的水平方向的长度来决定预测移动向量的水平分量，或是根据像素差异区域的垂直方向的长度来决定预测移动向量的垂直分量。举例而言，请继续参考图4，若像素差异区域八_3 的高度为ΛΧ，则影像区块MB_O的预测移动向量V的水平分量可设定为八乂；若像素差异区域4_3服的高度为ΛΥ，则影像区块ΜΒ_0的预测移动向量V的垂直分量设定为八￥，或者是影像区块| _0的预测移动向量V可设定为V = (ΔΧ, ΔΥ)或是V = (ΔΧ,Ο)或是V = (O, ΛΥ)。值得注意的是，在此虽以高度来作说明，然实际上像素差异区域A_SUB可以分成正区域与负区域，所以垂直分量或水平分量可以有正负性。另外，在画面过于复杂无法辨别的情况下，也可能是正号与负号两者皆使用。另外，在决定像素差异区域八_5服时，也可以更滤除面积较小或杂乱的区域。此外，由于像素差异区域是视讯影像中的物体在移动时所经过的像素所组成，因此，像素差异区域的形状通常会与物体在空间上会有很大的关连性，在此情况下，在步骤106中亦可依据像素差异区域的形状与物体间的相关性来预测影像区块的移动向量。举例来说，若物体的移动幅度不大时，像素差异区域的形状与物体的边缘部份的形状会有相似的地方，因此，可根据像素差异区域形状与物体的边缘部份的关连性，来决定出预测移动向量。请参考图5与图6，图5为视讯影像中的一物体Obj_B移动后的像素差异值分布的示意图。图6为图5中的一影像区块ΜΒ_0的示意图。假设图5为两影像画面的相对应像素值进行相减运算后所产生的结果的分布情况，且视讯影像中仅有单一移动物体(即物体0bj_
B)。为方便说明，像素差异区域A(网格区域)与空白区域B的选取条件，皆与图3所示的条件类似或相同，故不再另行赘述。如图5与图6所示，当物体0bj_B由位置Pl移动至位置ΡΓ后，由像素差异区域A_SUB的形状与物体01^__8的外观形状很明显地可以区别出移动的趋势，即可预测物体是由位置ED朝向位置ED’的方向移动，因此可估测预测移动向量的方向是由位置ED朝向位置ED’的方向，或者是亦可将位置ED与位置ED’所形成的向量设定为影像区块ΜΒ_0的预测移动向量V。换言之，藉由侦测两物体间移动分布(Transitiondistribution)的变化,可以估测物体移动的趋势或方向。另一方面，前述所估测出的预测移动向量亦可应用于一移动估测程序中，用来提供作为各种移动向量搜寻法运作时的搜寻参考，以进一步提高正确搜寻的精准度，并降低移动向量的搜寻时间。举例来说，若将本发明所估测出的预测移动向量作为3D递归搜寻法的搜寻参考，将可以大幅地降低搜寻的数量而快速地搜寻到更精确的移动向量。以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种预测移动向量的估测方法，用于具有多个像素的一影像区块，其特征在于，该估测方法包括有 对该影像区块中的每一个像素，计算出对应于一目前画面与一参考画面的一像素差异值； 根据该像素差异值，决定出一像素差异区域；以及 根据该像素差异区域，决定出一预测移动向量。
2.如权利要求1所述的估测方法，其特征在于，对该影像区块中的每一个像素，计算出对应于该目前画面与该参考画面的该像素差异值的步骤包括有 对该影像区块中的每一个像素，侦测出对应于该目前画面的一目前像素值与对应于该参考画面的一参考像素值；以及 计算出该目前像素值与该参考像素值的差值，以作为该像素差异值。
3.如权利要求2所述的估测方法，其特征在于，该目前像素值与该参考像素值分别为一売度值，该像素差异值是为一売度差异值。
4.如权利要求2所述的估测方法，其特征在于，该目前像素值与该参考像素值分别为一彩度值，该像素差异值是为一彩度差异值。
5.如权利要求1所述的估测方法，其特征在于，根据该像素差异值，决定出该像素差异区域的步骤包括有 比较每一个像素的该像素差异值与一变化临限值，以产生一比较结果；以及 根据该比较结果，选取该像素差异值大于该变化临限值的像素，以形成该像素差异区域。
6.如权利要求1所述的估测方法，其特征在于，根据该像素差异区域，决定出该预测移动向量的步骤是根据该像素差异区域的水平方向的长度，决定出该预测移动向量的水平分量。
7.如权利要求1所述的估测方法，其特征在于，根据该像素差异区域，决定出该预测移动向量的步骤是根据该像素差异区域的垂直方向的长度，决定出该预测移动向量的垂直分量。
8.如权利要求1所述的估测方法，其特征在于，根据该像素差异区域，决定出该预测移动向量的步骤是根据该像素差异区域形状与一物体的相关性，决定出该预测移动向量的方向。
9.如权利要求8所述的估测方法，其特征在于，根据该像素差异区域，决定出该预测移动向量的步骤是根据该像素差异区域形状与该物体的边缘部份的关连性，决定出该预测移动向量的方向。
10.如权利要求1所述的估测方法，其特征在于，该参考画面为一先前画面。
全文摘要
本发明涉及一种预测移动向量的估测方法，用于具有多个像素的一影像区块，该估测方法包括有对影像区块中的每一个像素，计算出对应于一目前画面与一参考画面的一像素差异值；根据该像素差异值，决定出一像素差异区域；以及根据该像素差异区域，决定出一预测移动向量。
文档编号H04N5/14GK103002196SQ20111026818
公开日2013年3月27日 申请日期2011年9月9日 优先权日2011年9月9日
发明者陈翠琴, 刘玉书, 谢万熹, 胡毓宗 申请人:联咏科技股份有限公司