适应性调整估计搜寻范围的运动估计方法及视差估计方法

专利名称：适应性调整估计搜寻范围的运动估计方法及视差估计方法
技术领域：
本发明涉及一种多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法(adaptive search range method for motion/disparityestimation)。
背景技术：
多视点(Multiview)视频是以多台摄像机对相同拍摄的目标物与背景进行摄像而得的多个图像。多视点(Multiview)视频可提供使用者同时捕捉目标物不同角度的图像，而能让其感受现场真实的场景。通过同时传送两个图帧到使用者的双眼，也能让其产生三维(3-D)立体的效果。多视点视频已经被广泛地运用在多种产品，例如3-D蓝光播放器(Blu-ray Disc Player)、3_D 摄像机(Camcorder)、网络协议电视(Internet ProtocolTelevision, IPTV)等等。由于多视点视频是以多台摄像机对相同拍摄的目标物与背景进行摄像，因此，目标物在不同的移动状态下，从多台摄像机所产生的大量视频数据，如何有效率的编码与传送，将是重要的课题。因此，多视点视频编码(Multiview video coding,底下称为MVC)技术，已逐渐发展并且也被广泛的使用，并且制定为业界的标转，例如国际编码标准的H.264/AVC(“Advanced Vide o Coding for Generic Audiovisual Services,^Joint Video Teamof IS0/IEC MPEG and ITU-T VCEG，March 2010)，并且已经被广泛地运用在多种产品。多视点视频与时间方向有着很大的相关性，而通过利用此相关性来提升编码效率。另一方面，在多视点视频的动态图像中，当各摄像机为同步时，由于对应于相同时间的各摄像机的图像为从不同位置对状态完全相同的目标物与背影进行摄像而得的图像，所以在摄像机间有着很大的相关性。在多视点视频的编码中，可通过此相关性而能够提升编码效率。

发明内容
本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法。在多个实施例其中之一，提出一种适应性调整估计搜寻范围的运动估计方法，适用于多视点视频编码(MVC)。此运动估计方法包括以一初始搜寻范围做为第一搜寻范围，对从第一视点取得的第一图帧(first frame)的多个第一区块进行运动估计流程，取得一运动向量分布，根据运动向量分布取得第一候选搜寻范围。选择第一候选搜寻范围或初始搜寻范围，作为第二图帧的第二搜寻视窗内的多个第二区块进行运动估计流程的第二搜寻范围，得到这些第二区块的运动向量，提供给第二图帧进行视频编码，其中第二图帧是来自第二视点。上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，此第一候选搜寻范围的取得的方法包括对初始搜寻范围区分为多个区域，每一该区域对应的一计数值。对所述第一区块的每一第一区块的运动向量判断落在哪一该区域，则增加此区域对应的计数值。完成所有第一区块的运动向量落入区域判断后，根据运动向量分布中，以最大的计数值对应的区域取得一最佳搜寻范围(SRbest)。依据最佳搜寻范围(SRbest)、初始搜寻范围与这些区域的数量，计算该第一候选搜寻范围。例如，在实施例中是以最佳搜寻范围(SRbest)加上初始搜寻范围除以这些区域的数量的和，作为第一候选搜寻范围。上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，第二搜寻范围从第一候选搜寻范围与初始搜寻范围两者其中之一进行选择，其中选择初始搜寻范围作为第二搜寻范围的方法，包括根据第二区块的多个邻近区块取得一邻近区块信息。根据邻近区块信息判断第二区块是否符合一运动特性判断方法，如果是，则第二搜寻范围选择初始搜寻范围作为第二搜寻范围，如果不是，则第二搜寻范围选择第一候选搜寻范围。在多个实施例其中之一，提出一种适应性调整估计搜寻范围的视差估计方法，适用于多视点视频编码(MVC)。此视差估计方法包括以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行视差估计流程，取得一视差向量分布。根据此视差向量分布，取得第一候选搜寻范围及第二候选搜寻范围，其中第一图帧是在一第一时间取得。从第一候选搜寻范围或第二候选搜寻范围其中之一，作为对第二图帧的第二搜寻视窗内的多个第二区块进行视差估计流程的第二搜寻范围，得到视差估计流程对应的视差向量，提供做为视频编码，其中第二图帧是在第二时间取得，而第一时间早于该第二时间。上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，第二搜寻范围从第一候选搜寻范围、第二候选搜寻范围与初始搜寻范围三者其中之一进行选择，其中选择方法包括根据第二区块的多个邻近区块取得一邻近区块信息。根据此邻近区块信息判断第二区块是否符合一视差特性判断方法，如果是，则第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择第一候选搜寻范围或第二候选搜寻范围其中之一。上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，邻近区块信息判断第二区块是否符合视差特性判断方法包括判断所有邻近区块的视差向量是否都没有被选择，如果是，则第二搜寻范围选择第二候选搜寻范围。判断邻近区块的视差向量是否落在最佳搜寻范围(SRbest)之外，而且所有邻近区块的视差向量是否都没有被选择，如果两者皆是，则第二搜寻范围选择初始搜寻范围，如果两者任一条件为否，则第二搜寻范围选择第一候选搜寻范围。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。


图1是说明符合H.264/AVC标准的多视点视频编码(MVC)技术的架构与编码流程示意图。图2是说明在连续的时间对于不同图帧进行运动估计(ME)，以及在连续的视点之间连续的视点进行视差估计(DE)的示意图。图3A是说明根据先前的参考图帧或是其它视点的图帧的检索视窗中，以搜寻范围(SR)进行估计的示意图。图3B是说明宏区块切割模式与子宏区块(Sub-MacixAlock)的切割模式。图4A 图4E是说明本公开内容多个实施例其中之一，动态适应性调整运动估计(ME)的搜寻范围方法的详细说明示意图。图5是说明本公开内容实施例所提出动态适应性调整运动估计(ME)的搜寻范围方法的范例说明示意图。图6A 图6D是说明本公开内容所提出多视点视频编码(MVC)技术中，在一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。图7是说明本公开内容实施例所提出动态适应性调整视差估计(DE)的搜寻范围方法的范例说明示意图。主要元件符号说明
100A:对第一视点取得的视频图像数据进行编码的流程100B:对第二视点取得的视频图像数据进行编码的流程102:图帧数据104:转换(Transform) / 量化(Quantization)程序106:熵编码(Entropy Coding)程序108:反转换(Inverse Transform) / 反量化(Inverse Quantization)程序110:Intra-Picture 预测程序112:Inter-Picture 预测程序114:多工器116:去区块效应过滤器(Deblocking Filter)118:图帧缓冲器120:运动估计(Motion Estimation)程序121:运动向量130:运动估计程序132:Inter-Picture 预测程序310、320:图帧312:检索视窗(Search Window)322:宏区块MV_X:水平运动向量MV_Y:垂直运动向量502、504:图帧512、522、524、526:宏区块Cur:目前处理中的宏区块A、B、C、D:邻近宏区块702、704:图帧712、722、724、726、728:宏区块
具体实施方式
本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计(Motion Estimation)和/或视差估计(Disparity Estimation)的搜寻范围(SearchRange)的方法。首先，在此以H.264/AVC标准的架构说明多视点视频编码(MVC)技术的编码流程。H.264标准的编码流程，是针对输入的图像数据，利用所谓运动补偿(MotionCompensation)、转换(Transform)、量化(Quantization)、熵编码(Entropy Coding)的技术来进行闻效率编码。在H.264的运动补偿中，是将编码对象图帧分割成各种大小的宏区块(Macroblock)，例如 16 X 16 (像素)、16 X 8、8 X 16、8 X 8、8 X 4、4X 8、4X 4 的 7 种，而能够以细小单位对应被摄像的目标物的动作的方向与程度的差异来预测估计图像，以达成高编码效率。上述的预测估计图像技术，Intra-Picture预测(Intra-Picture Estimation,在同一画像内)与 Inter-Picture 预测(Inter-Picture,在多个画像之间)。Intra-Picture预测是考虑到空间的因素，也就是与同一画像(Picture)内的邻近区块的关联性来进行预测。Inter-Picture预测以时间轴为准,根据前后的画像作为参考画像。以Inter-Picture预测为例，对每一宏区块挑选一称为参考图帧的已编码完成的图帧，使用称为运动向量(Motion Vector)或是表示对应点的向量信息来预测图像。但对于多视点视频的编码而言，除了考虑摄像机间的相关性，还同时存在有时间方向的相关性。因此可采用通过将运动补偿应用于相同时刻的相异摄像机所摄得的画像的视差补偿(Disparity Compensation)而高效率地将多视点动态图像进行编码的方式。此处，视差(Disparity)是指被摄体上的相同位置，在配置于相异位置的摄像机的画像平面上所投影的位置的差。视差补偿根据该对应关系，从参考图帧来预测编码对象图帧的各像素值，将该预测残值与表示对应关系的视差信息进行编码。请参照图1，是说明符合H.264/AVC标准的多视点视频编码(MVC)技术的架构与编码流程示意图。在此示意图中，标号IOOA是指对第一视点(View)取得的视频图像数据进行编码的流程，而标号IOOB是指对第二视点(View)取得的视频图像数据进行编码的流程。先以针对第一视点进行编码的流程100A进行说明。对于第一视点取得的图像数据，将欲编码的图帧分割成各种大小的宏区块(Macroblock)的图帧数据102输入。而后针对此图巾贞数据102利用运动补偿(Motion Compensation)得到的残值进行转换(Transform) / 量化(Quantization)程序 104,得到量化转换系数(Quantized TransformCoefficients)后，经由熵编码(Entropy Coding)程序106进行高效率编码。底下将说明上述运动补偿的计算流程。上述量化转换系数同时也进行反转换(Inverse Transform)/反量化(InverseQuantization)程序108后,进行Intra-Picture预测程序110。另外，量化转换系数进行反转换/反量化程序108后,得到的结果经由去区块效应过滤器(Deblocking Filter) 116的去区块效应程序后，以减缓区块效应的影响，并传送到图帧缓冲器(Frame Buffer) 118暂存。运动估计(Motion Estimation)程序120是根据图巾贞缓冲器118所存储的之前经过编码的参考图帧，以及输入的图帧数据102进行运动估计。而根据运动估计程序120估计得到的结果，进行 Inter-Picture 预测程序 112。从 Intra-Picture 预测程序 110 与 Inter-Picture预测程序112中，经由多工器114进行选择，而做为输入的图帧数据102中，后续的宏区块进行运动补偿的依据。同时，运动估计程序120产生的运动向量121，也提供给熵编码程序106进行编码。对于第二视点进行编码的流程100B，与第一视点进行编码的流程类似，差异点在于程序130是根据输入的图帧数据122以及图帧缓冲器128所存储的前一个经过编码的参考图帧外，进一步从第一视点的图帧缓冲器118取得所存储的参考图帧，从这些取得的数据进行运动估计。而Inter-Picture预测程序132，进行采用同一视点取得的图帧之间，更进一步取得其他视点的图帧信息进行预测。上述符合H.264/AVC标准的多视点视频编码(MVC)基本技术，不仅能利用单一的视点取得并降低图巾贞之间的累赘或多余(Temporal Redundancy)信息以增加编码的效率，更能利用其他视点取得的图帧类似的特性(Similarities)来改善编码。通过这样的技术，相较于各个视点之间独立进行编码的程序，此架构可以大约降低20% 30%的比特率(Bit rate)，而没有牺牲重建时的视频质量。一般而言，运动估计(Motion Estimation,底下称为ME)是用以发现在连续的图中贞之间最符合条件的区块(Best Matching block)信息，以降低画面间累赘或多余(Temporal Redundancy)信息。而视差估计(Disparity Estimation,底下称为 DE)可用以发现在连续的视点(View)之间最符合条件的宏区块，以降低视点间的累赘或多余信息。请参照图2，是说明在连续的时间对于不同图帧进行运动估计(ME)，以及在连续的视点之间连续的视点进行视差估计(DE)的不意图。在时间t_l、t、t+1时,第η_1、η、η+1视点分别取得的图帧之间，可以进行运动估计(ME)程序，以降低画面间累赘或多余信息。而在时间t时，分别根据第η-1个视点、第η个视点、第η+1个视点同时取得的图帧之间，进行视差估计(DE)程序，以降低画面间累赘或多余信息。但相对于单一视点的编码程序，此引用的视差估计(DE)程序，将使多视点视频编码(MVC)装置耗费更多的运算资源。底下将以图3Α与3Β进行说明。首先，如图3Α所示，分别根据先前的参考图帧或是其它视点的图帧310的检索视窗(Search Window) 312中，以搜寻范围(Search Range，以下称为SR)进行估计的一实施例。而图帧320则是包括多个宏区块(Macroblock，底下称为MB)，并且以宏区块，例如标号322，进行运动估计(ME)与视差估计(DE)。此运动估计(ME)与视差估计(DE)是对每一个区块进行，以分别找出最佳的运动向量(Best Motion Vector)与最佳的视差向量(Best Disparity Vector)。而上述区块的大小，在一实施例中，如图3B所示的宏区块切割模式的16X16、16X8、8X16、8X8，或是子宏区块(Sub-Macroblock)切割模式的 8X8、8X4、4X8、4X4。在对于每一个切割的区块执行完运动估计(ME)与视差估计(DE)程序后，根据速率-失真(Rate-Distortion)成本法则选择运动向量(Motion Vector)或是视差向量(Disparity Vector)两者其中之一。此速率-失真(Rate-Distortion)成本法则为λ X Rate (mvd) +SAD (式 I)或λ X Rate (mvd) +SATD (式 2)其中，λ为 Lagrange 参数，SAD代表绝对差值合(Sum of Absolute Differences,SAD), SATD 代表绝对转换差值和(Sum of Absolute Transformed Difference),而Rate (mvd)代表运动向量差值(Motion Vector Difference, mvd)的比特率(Bit rate)。在进行运动估计(ME)与视差估计(DE)程序时，并非搜寻在参考画面的所有点，而是仅搜寻在一限制的搜寻视窗(Search Window)内的搜寻点(Search points)。而搜寻视窗的大小是决定于(2XSR+1)2，如图3A所示，在此SR代表搜寻范围(Search Range)。从上述的内容可知，执行运动估计(ME)与视差估计(DE)程序，如果采用全范围搜寻法则(Ful 1-search algorithm)所需要的时间，由搜寻范围(SR)所主宰，并且与搜寻范围(SR)的平方大小成正比。但今日，高解析度视频(High-resolution Video, HD Video)已经越来越普遍,也越来越受欢迎，例如HD1080p。此高解析度视频需要更大的搜寻范围(SR)来执行运动估计(ME)与视差估计(DE)程序，以取得更好的编码质量。然而，更大的搜寻范围(SR)也就代表需要更多的执行的时间。因此，例如若是将搜寻范围(SR)设定为例如64，则执行运动估计(ME)与视差估计(DE)占据编码的时间将近60% 80%。因此，本实施例提出一种有效降低运动估计(ME)与视差估计(DE)时间的复杂因素，来达到多视点视频数据的即时(Real-time)编码需求。本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计(ME)和/或视差估计(DE)的搜寻范围的方法，以及使用该方法的视频编码装置。在多个实施例其中之一，提出一种适应性调整运动估计(ME)的搜寻范围大小的方法，是采用在所选择的基础视点(Base View)得到的运动向量分布(MV Distribution),据以判断动态适应性调整的搜寻范围大小。此运动向量分布在一实施例中，是采用多级距范围计算MV数量的方法。除此之外，在多个实施例其中的又一实施例，提出一种适应性调整视差估计(DE)的搜寻范围大小的方法,是采用之前的数个图巾贞(previous frames)的视差向量分布(DVDistribution)，据以判断动态适应性调整的搜寻范围大小。上述动态适应性调整运动估计(ME)及视差估计(DE)的搜寻范围大小的方法，可有效地节省运动估计(ME)与视差估计(DE)的时间。以符合H.264/AVCMultiview HighProfile的多视点视频编码(MVC)为例，如果对两个视点的HD1080p每秒30个图帧(Framesper second, fps)视频，在操作频率为250百万赫兹(MHz)条件下进行无牺牲编码质量的编码操作，将可达到即时(Real-time)编码的要求。动态适应性调整运动估计(ME)的搜寻范围实施例图4A 4D，为本公开内容多个实施例其中之一，动态适应性调整运动估计(ME)的搜寻范围方法的详细说明。请参照图4A，在此实施例中，先对基础视点(Base View)，例如选择第一视点为基础视点，对每一个宏区块(MacixAlock，底下简称MB)，以初始搜寻范围(SRinitial)进行运动估计(ME)。当每完成一个宏区块的运动估计(ME)后，就将得到的运动向量(MV)的绝对值落入做为运动向量分布的级距范围做一记录，在此实施例中，采用四个区域做分布的记录，但并非以数量此为限制，可根据例如速率-失真(Rate-Distortion)成本法则调整区域的数量。在完成对基础视点所有宏区块(MB)的运动估计(ME)后，找出分布最多运动向量(MV)的搜寻范围(SR)做为最佳搜寻范围(SRbest)。此最佳搜寻范围(SRbest)将会被选择非基础视点(non-Base View)的开始进行运动估计(ME)的搜寻范围，也就是候选的搜寻范围。对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图帧P而言，将依据最佳搜寻范围SRbest、初始搜寻范围SRintial与这些区域的数量，计算候选搜寻范围SR。例如，采用最佳搜寻范围(SRbest)加上级距SRintial/4做为候选搜寻范围，也就是SR = SRbest+SRintial/4。但在特定条件下，非基础视点(non-Base View)的图巾贞也会选择扩大搜寻范围到初始搜寻范围(SRinitial)。上述条件是根据例如邻近的宏区块(NeighborMacroblock,以下简称NMB)的信息进行判断。当根据NMB的信息判断得知若处理中的宏区块(MB)是属于高运动(High-Motion)特性，则此搜寻范围将扩大到初始搜寻范围(SRinitiai) °如图4B右上方显示，对运动向量分布的记录与统计，必须分为垂直运动向量与水平运动向量的分布，也就是垂直方向与水平方向必须分开处理，而且两者可以互相独立进行调整垂直运动向量或水平运动向量的搜寻范围。在此实施例中，采用四个区域做分布的记录分为水平方向的水平运动向量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布，而四个区域分别为区域(I)、区域(2)、区域
(3)、区域(4)。而根据此四个区域，作为选择对应的搜寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。如果以初始搜寻范围(SRinitial)为32为例进行说明。区域(I)、区域(2)、区域(3)、区域(4)来统计运动向量分布，则对水平运动向量(MV_X)绝对值或是对垂直运动向量(MV_Y)绝对值的落点分布级距，分别为O 7、8 15、16 23、24 31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、计数值4。请参照图4C，为说明本实施例对基础视点的所有宏区块(MB)经过估计取得的运动向量(MV)进行分布计算的流程示意图。首先，在步骤S410中，对基础视点以初始搜寻范围(SRinitial)进行所有宏区块的运动向量估计，而得到所有宏区块的运动向量。而后，根据步骤S412，如果是运动向量小于初始搜寻范围(SRinitial)的四分之一，则如步骤S414，直接将此计数值I加一，并且结束此分布计算流程。如果不是，则进行下一步骤。步骤S416，如果是运动向量小于初始搜寻范围(SRinitial)的四分的二，则如步骤S418，直接将此计数值2加一，并且结束此分布计算流程，如果不是，则进行下一步骤。步骤S420，如果是运动向量小于初始搜寻范围(SRinitial)的四分的三，则直接将此计数值3加一，并且结束此分布计算流程，如果不是，则直接将此计数值4加一，并且结束此分布计算流程。请参照图4D与4E，为说明在一实施例中，对非基础视点(non-Base View)的宏区块(MB)进行运动估计(ME)时所采用的搜寻范围判断流程示意图。对非基础视点的宏区块进行运动估计(ME)时，采用的搜寻范围例如可以包括两个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围(SRinitial)，其判断流程请参照图4D的实施例示意图说明。基本上，一般采用的搜寻范围是以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR = SRbest+SRinitial/4)。但是，如果是根据NMB的信息判断得知若处理中的宏区块(MB)是属于高运动(High-Motion)特性，则在高运动特性下，为避免因为错过正确的运动向量而使比特率(bit rate)增加，则此搜寻范围的选择必须加上根据邻近的宏区块(NMB)信息判断处理中的宏区块是否具有高运动特性。本公开内容多个实施例其中之一，提出底下三种规则下，对非基础视点的宏区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SRinitial),但并非以此为限制。请参照图4D，步骤S430，先以分布区域中最多运动向量(MV)的对应的搜寻范围做为最佳搜寻范围(SRbest)。第一规则:步骤S432，判断在目前正在进行运动估计(ME)的宏区块(MB)的任一邻近宏区块(NMB)的速率-失真成本值(底下以rd_Costbest表示)是否比基础视点的每一宏区块(MB)的平均速率-失真成本值(底下以rd_costb㈣_viOT表示)高α倍，也就是如下式:rd_costbest > a Xrd_costbase_view (式 3)在一些实施例中，α建议值为1.75。第二规则:步骤S434，判断任一邻近宏区块(NMB)的最大运动向量是否落在SRbest与(SRbest+SRinitial/4)之间，且无任一邻近宏区块(NMB)选择视差向量(Disparity Vector,DV)。第三规则:步骤S436，判断任一邻近宏区块(NMB)的最大运动向量是否超出
(SRbest+SRinitial/4)。在步骤S432 S436的任一条件符合，则如步骤S438，对非基础视点的宏区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SRinitial)。但若步骤S432 S436的所有条件都不符合，则维持以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR =SRbest+SRinitiai/4)做搜寻范围。而对于目前处理中的宏区块(MB)的邻近宏区块(NMB)，在一实施例中，请参照图4E，标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、“D”的宏区块则可定义为邻近宏区块。请参照图5，为本公开内容实施例所提出动态适应性调整运动估计(ME)的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SRinitial)为32进行说明。根据基础视点(Base View)取得的图帧，例如选择第一视点为基础视点取得的图帧P (502)，对在搜寻视窗内的宏区块(MB)，以初始搜寻范围(SRinitial)进行运动估计(ME)。因此，所有的宏区块(MB)都采用SR = 32进行，而取得水平运动向量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布。对每一个宏区块，以初始搜寻范围(SRinitial)进行运动估计。当每完成一个宏区块的运动估计后，就将得到的运动向量(MV)的绝对值落入做为运动向量分布的级距范围做一记录。例如对宏区块512完成运动估计后取得的(MV_X，MV_Y) = (9，3)，则由于靈_乂 =9是大于7但小于15，因此落在第二区域，则将对应的计数值加一。从图示中可知，经由第一视点(基础视点)取得的图帧P(502)以初始搜寻范围(SR = 32)进行运动估计后，取得SRbest (MV_X)在 8 15 之间，而 SRbest (MV_Y)在 O 7 之间。对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图帧P(504)而言，将采用经由第一视点(基础视点)取得的图帧P(502)的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围(SR)，也就是SR = SRbest+SRinitial/4。但在特定条件下，也会选择扩大搜寻范围到初始搜寻范围(SRinitial),例如标号522、524、526的宏区块，因为符合例如图4D的三个规则其中之一，这些宏区块522、524、526属于高运动特性，则此搜寻范围将扩大到初始搜寻范围(SR = 32)。动态适应性调整视差估计(DE)搜寻范围的实施例请参照图6A 6D，是说明本公开内容所提出多视点视频编码(MVC)技术中，在一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。在此弹性动态调整视差估计(DE)的搜寻范围大小的方法，是采用之前的数个图帧(previous frames)的视差向量分布(DV Distribution),据以判断动态适应性调整的搜寻范围大小。请参照图6A，在此实施例中，例如在时间轴上，先对第一个图帧P(例如图6A中图帧602)在搜寻视窗内的每一个宏区块(MB)，以初始搜寻范围(SRinitial)进行视差估计(DE)。当每完成一个宏区块的视差估计(DE)后，就将得到的视差向量(DV)的绝对值落入做为视差向量分布的级距范围做一记录，在此实施例中，采用四个区域做分布的记录，但并非以数量此为限制，可根据例如速率-失真(Rate-Distortion)成本法则调整区域的数量。在完成对第一个图帧P在搜寻视窗内的所有宏区块(MB)完成视差估计(DE)后，找出分布最多的视差向量(DV)的搜寻范围(SR)做为最佳搜寻范围(SRbest)。此最佳搜寻范围(SRbest)将会被选择做为下一个图帧的开始进行视差估计(DE)的搜寻范围，例如图示中的第二个图帧P (例如图6A中图帧604)。对于第二个图帧P (图6A中图帧604)而言，将采用最佳搜寻范围(SRbest)加或减级距 SRinitial/4 做为搜寻范围(SR)，也就是 SR = SRbest+SRinitial/4 或 SR = SRbest_SRinitial/4。但在特定条件下，第二个图帧P(图6A中图帧604)也会选择扩大搜寻范围到初始搜寻范围(SRinitial)。上述扩大搜寻范围的条件是根据例如邻近的宏区块(NMB)的信息进行判断。如图6B右上方显示，对视差向量分布的记录与统计，必须分为垂直视差向量与水平视差向量的分布，也就是垂直方向与水平方向必须分开处理，而且两者可以互相独立进行调整垂直视差向量或水平视差向量的搜寻范围。在此实施例中，采用四个区域做分布的记录分为水平方向的水平视差向量(DV_X)分布与垂直方向的视差向量向量(DV_Y)分布，而四个区域分别为区域(I)、区域(2)、区域
(3)、区域(4)。而根据此四个区域，作为选择对应的搜寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。如果以初始搜寻范围(SRinitial)为32为例进行说明。区域(I)、区域(2)、区域(3)、区域(4)来统计视差向量分布，则对水平视差向量(DV_X)绝对值或是对垂直视差向量(DV_Y)绝对值的落点分布级距，分别为O 7、8 15、16 23、24 31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、计数值4。请参照图6C，为说明本实施例对第一个图帧P(图6A中图帧602)在搜寻视窗内的所有宏区块(MB)完成视差估计(DE)后进行分布计算的流程示意图。首先，在步骤S610中，对基础视点以初始搜寻范围(SRinitial)进行所有宏区块的视差估计程序，而得到所有宏区块的视差向量。而后，根据步骤S612，如果是视差向量小于初始搜寻范围(SRinitial)的四分之一，则如步骤S614，直接将此计数值I加一，并且结束此分布计算流程。如果不是，则进行下一步骤。步骤S616，如果是视差向量小于初始搜寻范围(SRinitial)的四分的二，则如步骤S618，直接将此计数值2加一，并且结束此分布计算流程，如果不是，则进行下一步骤。步骤S620，如果是视差向量小于初始搜寻范围(SRinitial)的四分的三，则直接将此计数值3加一，并且结束此分布计算流程，如果不是，则直接将此计数值4加一，并且结束此分布计
算流程。请参照图6D，为说明在一实施例中，对非第一个图帧的宏区块(MB)进行视差估计(DE)时所采用的搜寻范围判断流程示意图。底下对于目前处理中的宏区块(MB)的邻近宏区块(NMB),在一实施例中,请参照图6D右上方的一实施例的示意图,标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、“D”的宏区块则可定义为邻近宏区块。对非第一个图帧的宏区块进行视差估计(DE)时，采用的搜寻范围例如可以包括三个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SRbest)加或减SRinitial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围(SRinitial)，其判断流程请参照图6D的实施例示意图说明。基本上，一般采用的搜寻范围是以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR = SRbest+SRinitial/4)。但是，如果是根据NMB的信息判断得知若处理中的宏区块(MB)是属于高视差(High-Disparity)特性，则在高视差特性下，为避免因为错过正确的视差向量而使比特率(bit rate)增加，则此搜寻范围的选择必须加上根据邻近的宏区块(NMB)信息判断处理中的宏区块是否具有高视差特性。除此之外，一般选择DV的宏区块数量，根据实验得知，占所有图帧的宏区块数量约小于10%，因此，在选择搜寻范围时也列入考虑。本公开内容多个 实施例其中之一，提出底下两个判断式，用以选择(SR =SRbest+SRinitial/4)、(SR =
SRbest SRinitial/
4)或初始搜寻范围(SRinitial)对宏区块进行视差估计(DE)的搜寻范围，但并非以此为限制。请参照图6D，步骤S630，判断所有邻近的宏区块(NMB)的视差向量(DV)是否都没有被选择，如果是，则如步骤S636，选择(SR = SRbest-SRinitial/4)对宏区块进行视差估计(DE)的搜寻范围，如果否，则进行步骤S632。步骤S632，最大的视差向量(DV)落在(SR = SRbest)之外，而且是否所有邻近的宏区块(NMB)都未挑选运动向量(MV)，如果是，则如步骤S638，选择初始搜寻范围(SRinitial)对宏区块进行视差估计(DE)的搜寻范围，如果否，则进行步骤S634，选择(SR =SRbest+SRinitial/4)对宏区块进行视差估计(DE)的搜寻范围请参照图7，为本公开内容实施例所提出动态适应性调整视差估计(DE)的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SRinitial)为32进行说明。根据第一个图帧P(702)为参考，对在搜寻视窗内的宏区块(MB)，以初始搜寻范围(SRinitial)进行视差估计(DE)。因此，所有的宏区块(MB)都采用SR = 32进行，而取得水平视差向量(DV_X)分布与垂直方向的垂直视差向量(DV_Y)分布。对每一个宏区块，以初始搜寻范围(SRinitial)进行视差估计。当每完成一个宏区块的视差估计后，就将得到的视差向量的绝对值落入做为视差向量分布的级距范围做一记录。例如对宏区块712完成视差估计后取得的(DV_X，DV_Y) = (9，3)，则由于0￥_乂 = 9是大于7但小于15，因此落在第二区域，则将对应的计数值加一。从图示中可知，经由第一个图帧以初始搜寻范围(SR = 32)进行视差估计后，取得SRbest(DV_X)在8 15之间，而SRbest (DV_Y)在 O 7 之间。对于后续的图帧而言，例如图示的第二个图帧P(704)而言，将采用经由第一个图帧P(702)的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围(SR)，也就是SR =
SRbest+SRinitial/4。但在特定条件下，也会选择SR = SRbest_SRinitial/4，例如标号722、724的宏区块，或选择扩大搜寻范围到初始搜寻范围(SRinitial),例如标号726、728的宏区块，这些宏区块726,728属于高视差，则此搜寻范围将扩大到初始搜寻范围(SR = 32)。虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书所界定者为准。
权利要求
1.一种适应性调整估计搜寻范围的运动估计方法，适用于多视点视频编码，其中该运动估计方法包括: 以一初始搜寻范围做为第一搜寻范围，对从第一视点取得的第一图帧的多个第一区块进行运动估计流程，取得一运动向量分布，根据该运动向量分布取得第一候选搜寻范围；以及 选择该第一候选搜寻范围或该初始搜寻范围，作为第二图帧的第二搜寻视窗内的多个第二区块进行该运动估计流程的第二搜寻范围，得到这些第二区块的一运动向量，提供给该第二图帧进行视频编码，其中该第二图帧是来自第二视点。
2.按权利要求1所述的一种适应性调整估计搜寻范围的运动估计方法，其中该第一候选搜寻范围的取得的方法包括: 对该初始搜寻范围区分为多个区域，每一该区域对应的一计数值: 对这些第一区块的每一该 第一区块的运动向量判断落在这些区域的哪一该区域，则增加该区域对应的该计数值； 完成所有这些第一区块的这些运动向量落入这些区域判断后，根据该运动向量分布中，以最大的该计数值对应的该区域取得一最佳搜寻范围；以及 依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量，计算该第一候选搜寻范围。
3.按权利要求2所述的适应性调整估计搜寻范围的运动估计方法，其中计算该第一候选搜寻范围的步骤包括: 以该最佳搜寻范围加上该初始搜寻范围除以这些区域的数量的和，作为该第一候选搜寻范围。
4.按权利要求2所述的适应性调整估计搜寻范围的运动估计方法，其中该第二搜寻范围从该第一候选搜寻范围与该初始搜寻范围两者其中之一进行选择，其中选择该初始搜寻范围作为该第二搜寻范围的方法，包括: 根据该第二区块的多个邻近区块取得一邻近区块信息； 根据该邻近区块信息判断该第二区块是否符合一运动特性判断方法，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
5.按权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合该运动特性判断方法包括 判断该第二区块的这些邻近区块的每一该邻近区块的速率-失真成本值是否比该第一图帧这些第一区块的速率-失真成本值的平均值高过一倍数，其中该倍数大于1，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
6.按权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合运动特性判断方法包括 判断这些邻近区块的这些运动向量的最大值是否落在该最佳搜寻范围与该第一候选搜寻范围之间，而无任一该邻近区块选择视差向量，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
7.按权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合运动特性判断方法包括 判断这些邻近区块的这些运动向量的最大值是否超出该第一候选搜寻范围，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
8.一种适应性调整估计搜寻范围的视差估计方法，适用于多视点视频编码，其中该视差估计方法包括: 以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行视差估计流程，取得一视差向量分布，根据该视差向量分布，取得第一候选搜寻范围及第二候选搜寻范围，其中该第一图帧是在一第一时间取得；以及 从该第一候选搜寻范围或该第二候选搜寻范围其中之一，作为对第二图帧的第二搜寻视窗内的多个第二区块进行该视差估计流程的第二搜寻范围，得到该视差估计流程对应的一视差向量，提供做为视频编码，其中该第二图帧是在第二时间取得，而该第一时间早于该第二时间。
9.按权利要求8所述的适应性调整估计搜寻范围的视差估计方法，其中取得该第一候选搜寻范围与该第二候选搜寻范围的方法包括: 对该初始搜寻范围区分为多个区域，每一该区域对应一计数值: 对这些第一区块的每一该第一区块的该视差向量判断落在这些区域的哪一该区域，则增加该区域对应的该计数值； 完成所有这些第一区块的这些视差向量落入这些区域判断后，根据该视差向量分布中，以最大的该计数值对应的该区域取得一最佳搜寻范围；以及 依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量的和，计算该第一候选搜寻范围，以及依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量的差，计算该第二候选搜寻范围。
10.按权利要求9所述的适应性调整估计搜寻范围的视差估计方法，其中计算该第一候选搜寻范围以及该第二候选搜寻范围的步骤包括: 以该最佳搜寻范围加上该初始搜寻范围除以这些区域的数量的和，作为该第一候选搜寻范围；以及 以该最佳搜寻范围减去该初始搜寻范围除以这些区域的数量的差，作为该第二候选搜寻范围。
11.按权利要求8所述的适应性调整估计搜寻范围的视差估计方法，其中该第二搜寻范围从该第一候选搜寻范围、该第二候选搜寻范围与该初始搜寻范围三者其中之一进行选择，其中选择方法包括: 根据该第二区块的多个邻近区块取得一邻近区块信息；以及 根据该邻近区块信息判断该第二区块是否符合一视差特性判断方法，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围或该第二候选搜寻范围其中之一。
12.按权利要求11所述的适应性调整估计搜寻范围的视差估计方法，其中该邻近区块信息判断该第二区块是否符合该视差特性判断方法包括: 判断所有这些邻近区块的这些视差向量是否都没有被选择，如果是，则该第二搜寻范围选择该第二候选搜寻范围；以及 判断这些邻近区块的这些视差向量是否落在一最佳搜寻范围之外，而且所有这些邻近区块的这些视差向量是否都没有被选择，如果两者皆是，则该第二搜寻范围选择该初始搜寻范围，如果为否，则该第 二搜寻范围选择该第一候选搜寻范围。
全文摘要
适应性调整估计搜寻范围的运动估计方法及视差估计方法。在多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法，以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行估计流程，取得一向量分布，根据此向量分布，取得至少一第一候选搜寻范围。选择第一候选搜寻范围，作为对第二图帧的第二搜寻视窗内的多个第二区块进行估计流程的第二搜寻范围，得到估计流程对应的一估计向量，提供做为视频编码。
文档编号H04N7/26GK103096063SQ20111041418
公开日2013年5月8日 申请日期2011年12月13日 优先权日2011年11月3日
发明者张元腾 申请人:财团法人工业技术研究院