专利名称：修正摄影机平移所对应的错误移动向量的方法
技术领域：
本发明涉及一种修正移动向量(motion vector)的方法，特别是涉及一种可修正在影像画面(video frame)中对应摄影机平移(camera panning)的错误移动向量的方法。
背景技术：
影像画面是由很多的区块(block)组合而成。在某些电影和影片中，常用平移摄影机的技巧来拍摄全景画面或产生特殊的画面效果，举例来说，MPEG-4编码标准已成为常用的影像画面格式，在这种影像画面格式中，影像画面被分割成好几个区块，因为多个影像画面在播放时可能会有重复的影像信息，所以在目前影像画面中的区块与前一影像画面中的某部分雷同。移动向量(motion vector)用来表示目前影像画面与前一影像画面中各区块的位置偏移量(position offset)。
但是，当传输影像信号时，有可能会发生错误并造成移动向量的漏失，使影像画面中产生错误的区块(error block)，此外，错误区块会降低影像品质并造成画面不清晰。
发明内容
因此本发明的目的之一在于提供一种可修正摄影机平移所对应的错误移动向量的方法，以解决上述问题。
依据本发明实施例，其披露了一种修正摄影机平移所对应的错误移动向量的方法。该方法包含有在一目前影像画面的多个区块中找出具有一错误移动向量的一错误区块，在该目前影像画面中的每一区块皆包含有相对应的一移动向量；在该目前影像画面中算出除了错误区块的外的所有区块的一第一平均移动向量值；经由计数该目前影像画面中具有移动向量值位于一第一区间的区块来找出一组有效移动向量，该第一区间的上下限对应该第一平均移动向量值加上一第一临界值与该第一平均移动向量值减去该第一临界值；计算一平移向量值，其值等于该组有效移动向量的平均值；以及设定该错误区块的移动向量为该平移向量值来修正该错误区块。
本发明的优点是错误区块的移动向量可以根据影像画面中其它区块的移动向量值作进一步修正，由于同一影像画面的所有区块会有相似的移动特性，所以错误区块被修正后的可信赖度很高。
图1为一具有错误区块的影像画面的示意图。
图2为本发明第一实施例中修正错误区块的方法的流程图。
图3为另一具有错误区块的影像画面的示意图。
图4为本发明第二实施例中修正错误区块的方法的流程图。
附图符号说明10、40影像画面12、52、62、72有效移动向量14、54、64、74无效移动向量16、56、66、76错误区块50、60、70、80区段具体实施方式
本发明的目的是修正摄影机移动所对应的错误移动向量，而本发明修正错误移动向量的方式是用目前影像画面中算出的平移向量值(panning vectorvalue)来取代错误区块中的移动向量，因摄影机平移时，影像画面中的像素和区块会有相同或相似的移动特性，所以，本发明便是利用此一特性来修正错误区块里的移动向量。
请参考图1和图2，图1为一具有错误区块16的影像画面10的示意图，而图2则为本发明第一实施例中修正错误区块16的方法的流程图。在一影像画面中，其包含了许多区块，而每一区块都有各自的移动向量。以下说明流程图的各个步骤。
步骤100找出内含错误移动向量的错误区块16；步骤102计算影像画面10中所有已译码的移动向量的平均移动向量值AVG，也就是说，对影像画面10中不是错误区块16的所有区块，计算其移动向量的平均值；步骤104找出一组有效(effective)移动向量12，其中有效移动向量12是定义为数值落于区间〔AVG-THRESHOLD1，AVG+THRESHOLD1〕内的任一移动向量，而未位于上述区间内的其它移动向量则标记为无效(non-effective)移动向量14；步骤106计算在影像画面10中有效移动向量12对所有移动向量所占的百分比；步骤108判断有效移动向量12的百分比是否大于一参考值；若是，则继续步骤110；否则，跳至步骤116；步骤110设定平移向量值PANNING等于所有有效移动向量12的平均值；步骤112判断平移向量值PANNING是否适合用来修正错误区块16，此一步骤可以藉由计算围绕错误区块16的四个或八个区块的平均移动向量值(average motion vector value)或中位移动向量值(median motion vectorvalue)来实现，若那些围绕错误区块16的平均移动向量值或中位移动向量值落在区间〔PANNING-THRESHOLD2，PANNING+THRESHOLD2〕内，则平移向量值PANNING便适合用来修正错误区块16的移动向量，并继续执行步骤114；否则，跳至步骤116；步骤114将错误区块16的移动向量修正为平移向量值PANNING；以及步骤116使用其它方法来修正错误区块16的移动向量。
如图1所示，假设有效移动向量12的百分比大于一参考值，并且围绕每个错误区块16的四个或八个区块的移动向量值皆落在平移向量值PANNING加减第二临界值THRESHOLD2的范围里，则三个错误区块16的移动向量可以全部修正为平移向量值PANNING。有效移动向量12的百分比最好设为70％-90％，另外第一及第二临界值THRESHOLD1及THRESHOLD2的值则设在0.5-3之间，当然，这些数值仅是为了举例说明之用，而实际上，本发明并不限定只适用于这些数值。
在上述的本发明第一实施例中，影像画面10被视为一个整体，并没有针对个别错误区块16做修正而切割成不同区段(section)，因此错误区块16的修正后的移动向量会等于平移向量值PANNING。
请参考图3和图4，图3为另一具有错误区块56、66、76的影像画面40的示意图，而图4为本发明第二实施例中修正错误区块56、66、76的方法的流程图。与第一实施例不同的是第二实施例在每次递归(iteration)时会更新平移向量值。以下说明流程图的各个步骤。
步骤150找出内含错误移动向量的第一错误区块56；另外，将位于第一错误区块56之前的所有区块定义为一第一区段50，亦即，第一区段50是由位于第一错误区块56上方的列(row)上的所有区块以及与第一错误区块56位于同一列但位于第一错误区块56左侧的所有区块所组成；步骤152计算第一区段50中所有移动向量的平均移动向量值AVG1；步骤154找出第一组的有效移动向量52，其中有效移动向量52为第一区段50中数值落于区间〔AVG1-THRESHOLD1，AVG1+THRESHOLD1〕内的任一移动向量，而第一区段50中没有位于上述区间内的其它移动向量则标记为无效移动向量54；步骤156计算在影像画面40的第一区段50中等效移动向量52对于第一区段50中所有移动向量的百分比；步骤158判断等效移动向量52的百分比是否大于一参考值；若是，则跳至步骤160；否则，跳至步骤178；步骤160设定第一平移向量值PANNING(1)为第一区段50中所有等效移动向量52的平均值；步骤162判断第一平移向量值PANNING(1)是否适合用来修正第一错误区块56，此一步骤可藉由计算围绕第一错误区块56的四个或八个区块的平均移动向量值或中位移动向量值来实现，若那些围绕第一错误区块56的平均或中位移动向量值落在区间〔PANNING(1)-THRESHOLD2，PANNING(1)+THRESHOLD2〕内，则第一平移向量值PANNING(1)便适合用来修正第一错误区块56的移动向量，接着跳至步骤164；否则，跳至步骤178；步骤164将第一错误区块56的移动向量修正为第一平移向量值PANNING(1)；步骤166判断在影像画面40中是否有其它的错误区块；若有，则跳至步骤168；否则，结束本流程；
步骤168找出内含错误移动向量的第N错误区块66、76，因为第一错误区块56已经被修正了，所以变量N为一大于或等于2的整数，此外，定义第N区段60、70，其所包含的区块分别位于第N错误区块66、76之前，以图3为例，既然图3中的影像画面40只包含了第二区段60和第三区段70，所以N便为2或3；步骤170找出第N组有效移动向量62、72，其中有效移动向量62、72定义为第N区段60、70中数值落于区间〔PANNING(N-1)-THRESHOLD2，PANNING(N-1)+THRESHOLD2〕内的移动向量，第N区段60、70中未位于上述区间内的其它移动向量则标记为无效移动向量64、74；步骤172设定第N平移向量值PANNING(N)为第N区段60、70中所有等效移动向量62、72的平均值；步骤174判断第N平移向量值PANNING(N)是否适合用来修正第N错误区块66、76，此一步骤可以藉由计算围绕第N错误区块66、76的四个或八个区块的平均移动向量值或中位移动向量值来实现，若那些围绕第N错误区块66、76的平均或中位移动向量值落在区间〔PANNING(N)-THRESHOLD2，PANNING(N)+THRESHOLD2〕内，则第N平移向量值PANNING(N)便适合用来修正第N错误区块66、76的移动向量，并继续执行步骤176；否则，跳至步骤178；步骤176将第N错误区块66、76的移动向量修正为第N平移向量值PANNING(N)，并回到步骤166；步骤178使用其它方法来修正目前错误区块的移动向量。
如图3所示，影像画面40中三个区段50、60、70分别位于三个错误区块56、66、76之前，因为影像画面40中只有三个错误区块56、66、76，所以位于第三错误区块76之后的部分区块80并没有用来修正错误区块56、66、76的移动向量，而藉由将影像画面40分割为多个区段，影像画面40中不同错误区块中的移动向量便能够个别地进行修正。而方便的是，在本发明第一实施例中作为范例的临界值和百分比的设定也能用于第二实施例上，请注意，上述设定并非用来作为本发明的限制。
在上述步骤112、162、174中，围绕错误宏区块(macro block)的四或八个宏区块的移动向量决定平移向量值是否适合用来修正该误差宏区块，在前述影像规格里，其仅设定Y通道中每个区块的移动向量，在U信道和V信道中的区块并不设定移动向量，所以必须由Y信道计算出U信道和V信道中区块的移动向量信息。因为Y信道中一个宏区块包含有四个区块，这是移动向量编码(coding)的最小单位，亦即，一个宏区块编码出四个移动向量。当宏区块发生错误并造成移动向量信息漏失时，由于影像位串流(bitstream)传送错误，宏区块中的四个移动向量会全部漏失，所以，在本发明应用邻近误差宏区块的四个区块的实施例中，四个区块中总共有16个移动向量用来决定平移向量值是否适合用来修正移动向量；同样地，若使用邻近的八个区块而非四个区块，则共有32个移动向量会被使用。
总而言之，本发明利用影像画面其它区块的移动向量值来修正错误区块的移动向量，既然同一影像画面中所有区块会有相似的移动特性，因此修正后的错误区块便具有高度可靠性，当摄影机平移所产生的移动向量在影像画面中发生错误时，本发明方法可以改善影像品质而且容易实作。
以上所述仅为本发明的较佳实施例，凡依本发明的权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种修正摄影机平移所对应的错误移动向量的方法，其包含有(a)在一目前影像画面的多个区块中找出具有一错误移动向量的一错误区块，在该目前影像画面中的每一区块皆包含有相对应的一移动向量；(b)在该目前影像画面中算出除了错误区块的外的所有区块的一第一平均移动向量值；(c)经由计数该目前影像画面中具有移动向量值位于一第一区间的区块来找出一组有效移动向量，该第一区间的上下限对应该第一平均移动向量值加上一第一临界值与该第一平均移动向量值减去该第一临界值；(d)计算一平移向量值，其值等于该组有效移动向量的平均值；以及(e)设定该错误区块的移动向量为该平移向量值来修正该错误区块。
2.如权利要求1所述的方法，其还包含有(c1)计算该目前影像画面中该组等效移动向量相对于所有移动向量的百分比；以及(c2)只有当该百分比大于一预设百分比时才执行步骤(d)和步骤(e)。
3.如权利要求2所述的方法，其中该预设百分比介于70％～90％。
4.如权利要求1所述的方法，其还包含有(d1)平均该错误区块周围的多个邻近区块所对应的移动向量来计算一第二平均移动向量值；(d2)判断该第二平均移动向量值是否位于一第二区间内，该第二区间的上下限对应于该平移向量值加上一第二临界值与该平移向量值减去该第二临界值；以及(d3)只有当该第二平均移动向量值位于该第二区间内时才执行步骤(e)。
5.如权利要求4所述的方法，其中四个邻近区块用来计算该第二平均移动向量值。
6.如权利要求4所述的方法，其中八个邻近区块用来计算该第二平均移动向量值。
7.如权利要求1所述的方法，其还包含有(d1)依据该错误区块周围的多个邻近区块所对应的移动向量的中位数来产生一中位移动向量值；(d2)判断该中位移动向量值是否位于一第二区间中，该第二区间的上下限对应该平移向量值加上一第二临界值与该平移向量值减去该第二临界值；以及(d3)只有当该中位移动向量值位于该第二区间内时才执行步骤(e)。
8.如权利要求4、7所述的方法，其中该第一、第二临界值均介于0.5～3。
9.一种修正摄影机平移所对应的错误移动向量的方法，其包含有(a)在一目前影像画面的多个区块中找出具有一错误移动向量的一第一错误区块，在该目前影像画面中的每一区块皆包含有相对应的一移动向量；(b)在该目前影像画面中计算出一第一区段中所有区块的一第一平均移动向量值，该第一区段包含有该目前影像画面中位于该第一错误区块之前的所有区块；(c)经由计数该目前影像画面的该第一区段中具有移动向量值位于一第一区间的区块来找出一第一组有效移动向量，该第一区间的上下限对应该第一平均移动向量值加上一第一临界值与该第一平均移动向量值减去该第一临界值；(d)计算一第一平移向量值，其值等于该第一组等效移动向量的平均值；以及(e)设定该第一错误区块的移动向量为该第一平移向量值来修正该第一错误区块。
10.如权利要求9所述的方法，其还包含有(c1)计算该目前影像画面的该第一区段中该第一组有效移动向量相对于该第一区段中所有移动向量的百分比；以及(c2)只有当该百分比大于一预设百分比时才执行步骤(d)和步骤(e)。
11.如权利要求10所述的方法，其中该预设百分比介于70％～90％
12.如权利要求9所述的方法，其还包含有(d1)平均该第一错误区块周围的多个邻近区块所对应的移动向量来计算一第二平均移动向量值；(d2)判断该第二平均移动向量值是否位于一第二区间内，该第二区间的上下限对应该第一平移向量值加上一第二临界值与该第一平移向量值减去该第二临界值；以及(d3)只有当该第二平均移动向量值位于该第二区间内时才执行步骤(e)。
13.如权利要求12所述的方法，其中四个邻近区块用来计算该第二平均移动向量值。
14.如权利要求12所述的方法，其中八个邻近区块用来计算该第二平均移动向量值。
15.如权利要求9所述的方法，其还包含有(d1)依据该第一错误区块周围的多个邻近区块所对应的移动向量的中位数来产生一中位移动向量值；(d2)判断该中位移动向量值是否位于一第二区间内，该第二区间的上下限对应该第一平移向量值加上一第二临界值与该第一平移向量值减去该第二临界值；以及(d3)只有当该中位移动向量值位于该第二区间内时才执行步骤(e)。
16.如权利要求12、15所述的方法，其中该第一、第二临界值均介于0.5～3。
17.如权利要求9所述的方法，其还包含有(f)在该目前影像画面中找出一第N错误区块和一第N区段，该第N区段介于一第(N-1)错误区块和该第N错误区块之间，N为大于或等于2的整数；(g) 经由计数该目前影像画面的该第N区段中具有移动向量值位于一第N区间的区块来找出一第N组有效移动向量，该第N区间的上下限对应一第(N-1)平移向量值加上一第二临界值与该第(N-1)平移向量值减去该第二临界值；(h)计算一第N平移向量值，其值等于该第N组有效移动向量的平均值；(i)设定该第N错误区块的移动向量为该第N平移向量值来修正该第N错误区块；以及(j)重复步骤(f)至步骤(i)直到该目前影像画面中没有错误区块为止。
18.如权利要求9所述的方法，其中该第一区段包含有位于该第一错误区块上方的至少一列上的区块以及与该第一错误区块位于同一列但位于该第一错误区块左侧的区块。
全文摘要
一种修正摄影机平移所对应的错误移动向量的方法。该方法包含在目前影像画面的多个区块中找出具有错误移动向量的错误区块，其中该目前影像画面中每一区块皆包含一移动向量。该方法还包含在该目前影像画面中算出除了错误区块的外的所有区块的平均移动向量值；经由计数该目前影像画面中具有移动向量值位于该平均移动向量值的临界值内的区块来找出有效移动向量；计算平移向量值，其值等于该有效移动向量的平均值；以及设定该错误区块的移动向量为该平移向量值来修正该错误区块。
文档编号G06T7/20GK1758712SQ20051010862
公开日2006年4月12日 申请日期2005年10月10日 优先权日2004年10月10日
发明者段东璞 申请人:明基电通股份有限公司