时间运动矢量预测的方法与装置的制作方法

文档序号:7850095阅读:254来源:国知局
专利名称:时间运动矢量预测的方法与装置的制作方法
时间运动矢量预测的方法与装置
相关串请的交叉引用
本申请的权利要求依35U. S. C. § 119要求如下申请的优先权2010年7月12日递交的申请号为 61/363,557,标题为 “Video coding methods for B-framereferencing co-located motion vector”的美国临时案以及2011年I月11日递交的申请号为 61/431,454,标题为“Improved advanced motion vector prediction”的美国临时案。在此合并参考该申请案的全部内容。技术领域
本发明有关于视频解码,更具体地,有关于与运动矢量预测相应的解码技术。
背景技术
在视频解码系统中,使用空间与时间预测来针对空间与时间冗余(spatialand temporal redundancy)减少信息传输。空间与时间预测分别利用同一图像和参考图像的解码像素以形成对当前像素的解码预测。在传统的解码系统中,可能必须传输对应于空间与时间预测的边界信息(side information),这将占用压缩视频数据的一些带宽。用于时间预测的运动矢量的传输可能需要压缩视频数据的显著部分(noticeable portion),在低比特率(low-bitrate)应用中尤为如此。在近些年的视频解码领域,为了更加减少运动矢量的相应比特率,必须使用运动矢量预测(Motion Vector Prediction, MVP)技术。MVP在空间和时间上在相邻运动矢量之间利用统计冗余(statistic redundancy)ο
当使用MVP时,选择用于当前运动矢量的预测项(predictor)且传输该运动矢量残差(residue)以代替运动矢量自身从而节省了运动矢量传输所对应的比特率。在闭环 (closed-loop)架构中可应用MVP机制,其中,预测项可根据已解码信息从解码器中提取, 无需传送边界信息。或者,可在比特流(bitstream)中直接传输边界信息以通知解码器所选择的运动矢量预测项类型。MVP在可用于外部编码(inter-coded)区块以节省带宽的同时,也可用于跳过(SKIP)和直接(DIRECT)编码区块以减少下层区块(underlying)的比特率。在传统的时间MVP中,预测项通常基于先前巾贞(frame)/图像(picture)中的单一候选项(例如共存运动矢量(co-located motion vector))。如果先前巾贞/图像中的共存运动矢量并不存在,则无法取得当前区块的预测项。因此,需要改进MVP的性能以减少解码系统的比特率。通过设计更佳的MVP以提供更精确预测并改进预测项的可用性可实现上述进步。 因此,希望MVP可以闭环形式进行操作,以实现无需边界信息或仅需最少的边界信息。发明内容
本发明揭示一种图像中当前区块的运动矢量预测的装置与方法。根据本发明的一个实施例,运动矢量预测的装置与方法包括从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量,其中,该群组由一或多个列表O参考图像和一或多个列表I参考图像组成;根据该两个或多于两个的运动矢量确定候选项集合,其中,该候选项集合由至少两5个元素组成;以优先级顺序排列该候选项集合;以及根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的多个步骤。根据本发明的一个实施例,该优先级顺序为预定义优先级顺序,且根据本发明的另一个实施例,根据自适应机制确定该优先级顺序。根据本发明的又一个实施例, 该确定该候选项集合的步骤包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量。在根据本发明的多个实施例中,可从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。根据本发明,在多个实施例中,该自适应机制是根据从一个群组中选择的标准,其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。根据本发明的另一个实施例,当使用扩展运动矢量时,该自适应机制可根据该多个扩展运动矢量的方向为向内或向外。
在根据本发明的另一个实施例中,运动矢量预测的装置与方法包括从第一参考图像列表中接收相应于至少一个时间区块的两个或多于两个的运动矢量;根据该两个或多于两个的运动矢量确定候选项集合,其中,该候选项集合由至少两个元素组成;以优先级顺序排列该候选项集合;以及根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项;相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。该第一参考图像列表可为列表O参考图像或列表I参考图像。


图I为根据现有技术B片编码中直接模式预测的运动矢量扩展。
图2为根据现有技术基于第一先前B图像的共存运动矢量,B片编码的运动矢量扩展。
图3为根据预定义规则使用列表O和列表I参考图像的运动矢量,共存区块的运动矢量预测示意图。
图4为图3的四个运动矢量的预定义优先级顺序示意图。
图5为图3的四个运动矢量的另一个预定义优先级顺序示意图。
图6为图3的四个运动矢量的预定义优先级顺序示意图,其中,仅使用四个运动矢量的其中三个作为运动矢量预测的候选项。
图7为图3的四个运动矢量的另一个预定义优先级顺序示意图,其中,仅使用四个运动矢量的其中三个作为运动矢量预测的候选项。
图8为图3的四个运动矢量的预定义优先级顺序示意图,其中,仅使用四个运动矢量的其中两个作为运动矢量预测的候选项。
图9为图3的四个运动矢量的另一个预定义优先级顺序示意图,其中,仅使用四个运动矢量的其中两个作为运动矢量预测的候选项。
图IOA为当前列表为列表O且RefldxLO=O时,使用当前区块的扩展运动矢量的运动矢量预测示意图。
图IOB为当前列表为列表I且RefldxLl=O时,使用当前区块的扩展运动矢量的运说明书3/13页动矢量预测示意图。
图11为图IOA的扩展的四个运动矢量的预定义优先级顺序示意图。
图12为图IOB的扩展的四个运动矢量的预定义优先级顺序示意图。
图13为图IOA的扩展运动矢量IiivLO1和IiivLl1的预定义优先级顺序示意图。
图14为图IOA的扩展运动矢量mvLlj and mvLOj的预定义优先级顺序示意图。
图15A为当前列表为列表O且RefldxLO=O时,使用当前区块的扩展运动矢量,与列表O和列表I参考图像的共存区块的非缩放运动矢量进行运动矢量预测的示意图。
图15B为当前列表为列表I且RefldxLl=O时,使用当前区块的扩展运动矢量,与列表O和列表I参考图像的共存区块的非缩放运动矢量进行运动矢量预测的示意图。
图16为图15A的扩展和非扩展运动矢量的预定义优先级顺序示意图。
图17为图15B的扩展和非扩展运动矢量的预定义优先级顺序示意图。
具体实施方式
在视频解码系统中,使用空间与时间预测来针对空间与时间冗余减少信息传输。 时间预测使用同一图像中的解码像素以形成对当前像素的解码预测。空间预测通常逐块地进行,例如(以H. 264/AVC内部解码的亮度信号(luminance signal)的)16X16或4X4的区块。在视频序列中,相邻图像通常具有很大的相似性,且简单地使用图像差异(difference) 可有效地减少所传输的对应于静态背景区域的信息。然而,视频序列中的移动物体会产生大量的残差,且需要更高比特率以对残差进行解码。运动补偿预测(MotionCompensated Prediction, MCP)是利用视频序列中时间相关性(correlation)的常用技术。
在前向预测方式中可使用MCP,其中,使用已解码图像或在显示顺序上先于当前图像的图像来预测当前图像区块。除前向预测以外,也可使用后向预测以改进MCP的性能。 后向预测使用的是已解码图像或在显示顺序上后于当前图像的图像。由于H. 264/AVC的初版已在2003年完成,前向预测和后向预测已分别扩展至列表O预测(list O prediction) 和列表I预测(list lprediction),两者皆可包括在显示顺序上先于或后于当前图像的多个参考图像。下面描述默认参考图像列表重建(list reconstruction)。对于列表O,先于当前图像的参考图像比后于当前图像的参考图像的参考图像指数(indice)更低。而对于列表1,后于当前图像的参考图像比先于当前图像的参考图像的参考图像指数更低。对于列表O和列表I两者,在应用上述的规则之后,还要在确定参考图像索引(index)时考虑时间距离(temporal distance)。一般而言,更靠近当前图像的参考图像具有较低的参考图像索弓I。例如,假设当前图像为图5,且图像0,2,4,6,和8为参考图像,其中,数字表示播放顺序。从指数零开始,以升序排列参考图像(ascending reference picture)指数的列表O 的参考图像为4,2,0,6,和8。从指数零开始,以升序排列参考图像指数的列表I的参考图像为6,8,4,2,和O。索引值等于O的参考图像称为共存图像(co-located picture),且在此实例中,以图像5作为当前图像,图像6为列表I共存图像,而图像4为列表O共存图像。 当列表O或列表I共存图像中的区块具有和当前图像中当前区块相同的区块位置时,该区块称为列表O或列表I共存区块,或称为列表O或列表I中的共存区块。在早期视频标准 (例如,MPEG-1, MPEG-2 and MPEG-4)中,用于运动估计模式(motion estimationmode)的单元主要基于宏区块(macroblock)。在H. 264/AVC中,16X 16的宏区块可分割(segment)为16X16,16X8,8X16以及8X8区块以用于运动估计(motion estimation)。此外,8X8 区块可分割为16X16,16X8,8X16以及8X8,8X4,4X8及4X4区块以用于运动估计。 对于发展中的高性能视频编码(HighEfficiency Video Coding, HEVC)标准,将用于运动估计/补偿的单元称为预测单元(Prediction Unit, PU),其中,从最大区块尺寸开始进行分层分区而得到PU。为H. 264/AVC标准中的每一片(slice)选择MCP类型。其中,MCP限制在列表O预测的片称为P片。而MCP除列表O预测以外也包括列表I预测和双向预测 (bidirectional prediction)的片称为 B 片。
在视频编码系统中,将运动矢量和编码的残差传送至解码器以用于在解码器端重建视频。此外,在具有弹性参考图片结构(flexible reference picturestructure)的系统中,可能也必须传送相应于所选择参考图片的信息。运动矢量的传送可能需要显著一部分的传送比特流,在低比特率应用或运动矢量对应于更小区块或高运动精确度(motion accuracy)的系统中尤其如此。为了更减少相应于运动矢量的比特流,近年来已在视频编码领域运用MVP技术。MVP技术在空间和时间上在相邻运动矢量之间利用统计冗余。在闭环架构中可应用MVP机制,其中,可根据已解码信息从解码器提取预测项,且无需传送边界信息。或者,可在比特流中直接传输边界信息以通知解码器所选择的运动矢量预测项类型。
在H. 264/AVC标准中,对于P片中的宏区块,除传统的内部和外部模式以外,还存在一种跳过模式(SKIP mode)O由于跳过模式不传送量化误差信号(quantized error signal)、运动矢量和参考索引参数,跳过模式是一种实现更高压缩率的有效方法。对于 16X16宏区块,在跳过模式中,其仅需要指示正在使用SKIP模式的信号,从而实现大幅减少比特率。用于重建SKIP宏区块的运动矢量类似于用于宏块的运动矢量预测项。在H. 264/ AVC标准中,对于B片,支持四种不同的外部预测模式一列表O、列表I、双向预测以及直接预测(DIRECT prediction),其中,列表O和列表I代表分别使用参考图片组O和组I的预测模式。而对于双向预测模式,预测信号是由运动补偿列表O和列表I预测信号的加权平均值形成。直接预测模式是从先前传送的语法元素(syntax element)进行推断(infer),且直接预测模式可为列表O、列表I或双向预测模式的任意一种。因此,在直接预测模式中无需传送运动矢量的信息。在不传送量化误差信号情况下,直接宏块模式表示B跳过模式,且可对该区块进行有效编码。
不断发展的HEVC正在考虑针对H. 264/AVC的运动矢量预测做一些改进。在本发明中,揭露了根据过去(past)和/或未来(future)参考图像中的时间区块,对B帧/图像 /片的运动矢量预测系统和方法。通过由过去和/或未来参考图像中的时间区块的运动矢量对当前区块的运动矢量进行有效预测以改进运动矢量的编码效率。将多个时间运动矢量看作当前区块的预测项的多个候选项(candidate),且以优先级顺序排列候选项。具有高优先级顺序的候选项为具有低优先级顺序候选项之前的预测项。基于MVP获取的优先级的优势在于增加当前区块的时间MVP候选项存在的机会。例如,传统的视频编码系统仅将先前帧/图像中的共存运动矢量看作候选项。如果此候选项不存在,则编码系统将认为无法获取共存区块的MVP候选项。因此,需要增加MVP候选项的存在几率以改进编码系统的效率。
在H. 264/AVC标准中,B片使用时间直接模式(temporal DIRECT mode),其中,如图I所示,从第一列表I参考图像中的共存区块120的运动矢量中获取B片中当前区块110 的运动矢量。时间直接模式的运动矢量获取在Tourapis发表的“H. 264标准中双向预测片的直接模式编码”(IEEE Trans,视频技术电路与系统,第15期,第119-126页,2005年I 月)中有所描述。
将第一列表I参考的共存区块的运动矢量标记为MP。而对于列表O参考图像和列表I参考图像,将当前区块的运动矢量标记为及匕郝涵匕廣当前图像与列表O参考图像之间的时间距离标记为tdb,而将列表O参考图像与列表I参考图像之间的时间距离标记为 TDd。据此可获取当前区块的运动矢量
权利要求
1.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的方法,该方法包括 从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量,其中,该群组由一或多个列表O参考图像和一或多个列表I参考图像组成; 根据该两个或多于两个的运动矢量确定候选项集合,其中,该候选项集合由至少两个元素组成; 以优先级顺序排列该候选项集合;以及 根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项。
2.如权利要求I所述的方法,其特征在于,该优先级顺序为预定义优先级顺序。
3.如权利要求2所述的方法,其特征在于,相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。
4.如权利要求I所述的方法,其特征在于,根据自适应机制确定该优先级顺序。
5.如权利要求4所述的方法,其特征在于,该自适应机制是根据从一个群组中选择的标准,其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。
6.如权利要求I所述的方法,其特征在于,从该两个或多于两个的运动矢量中选择该候选项集合。
7.如权利要求I所述的方法,其特征在于,该确定该候选项集合包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量,且其中,该候选项集合是从该多个扩展运动矢量或从该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择的。
8.如权利要求7所述的方法,其特征在于,从该多个扩展运动矢量中选择该候选项集入口 ο
9.如权利要求7所述的方法,其特征在于,从该两个或多于两个的运动矢量或该多个扩展运动矢量中选择该候选项集合。
10.如权利要求7所述的方法,其特征在于,该优先级顺序是根据一个基于该多个扩展运动矢量的方向为向内或向外的自适应机制。
11.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的装置,该装置包括 接收单元,用于从群组中接收相应于至少一个时间区块的两个或多于两个的运动矢量,其中,该群组由一或多个列表O参考图像和一或多个列表I参考图像组成; 确定单元,用于根据该两个或多于两个的运动矢量确定候选项集合,其中,该候选项集合由至少两个元素组成; 排列单元,用于以优先级顺序排列该候选项集合;以及 获取单元,用于根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项。
12.如权利要求11所述的装置,其特征在于,该优先级顺序为预定义优先级顺序。
13.如权利要求12所述的装置,其特征在于,相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。
14.如权利要求11所述的装置,其特征在于,根据自适应机制确定该优先级顺序。
15.如权利要求14所述的装置,其特征在于,该自适应机制是根据从一个群组中选择的标准,其中该群组由多个先前区块的重构运动矢量的统计值、该当前区块的分区类型、该多个运动矢量的相关性、该多个运动矢量的方向、该多个运动矢量的距离以及在时间运动矢量的情形中该多个运动矢量是否经过该当前区块组成。
16.如权利要求11所述的装置,其特征在于,从该两个或多于两个的运动矢量中选择该候选项集合。
17.如权利要求11所述的装置,其特征在于,该确定该候选项集合的该确定单元包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量的装置,且其中,该候选项集合是从该多个扩展运动矢量或从该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择的。
18.如权利要求17所述的装置,其特征在于,从该多个扩展运动矢量中选择该候选项 口 O
19.如权利要求17所述的装置,其特征在于,从该两个或多于两个的运动矢量或该多个扩展运动矢量中选择该候选项集合。
20.如权利要求17所述的装置,其特征在于,该优先级顺序是根据一个基于该多个扩展运动矢量的方向为向内或向外的自适应机制。
21.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的方法,该方法包括 从第一参考图像列表中接收相应于至少一个时间区块的两个或多于两个的运动矢量; 根据该两个或多于两个的运动矢量确定候选项集合,其中,该候选项集合由至少两个元素组成; 以优先级顺序排列该候选项集合;以及 根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项; 其中,相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。
22.如权利要求21所述的方法,其特征在于,从该两个或多于两个的运动矢量中选择该候选项集合。
23.如权利要求21所述的方法,其特征在于,该确定该候选项集合包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量,其中,从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。
24.如权利要求23所述的方法,其特征在于,从该多个扩展运动矢量中选择该候选项 口 O
25.如权利要求21所述的方法,其特征在于,该第一参考图像列表为列表O参考图像或列表I参考图像。
26.一种获取图像中当前区块的运动矢量预测项、运动矢量预测项的候选项、运动矢量或者运动矢量候选项的装置,该装置包括接收单元,用于从第一参考图像列表中接收相应于至少一个时间区块的两个或多个运动矢量; 确定单元,用于根据该两个或多个运动矢量确定候选项集合,其中,该候选项集合由至少两个元素组成; 排列单元,用于以优先级顺序排列该候选项集合;以及 获取单元,用于根据该优先级顺序从该候选项集合中确定该当前区块的该运动矢量预测项或运动矢量预测项的候选项或运动矢量或运动矢量候选项; 其中,相应于该优先级顺序的信息是结合于序列头部、图像头部或片头部。
27.如权利要求26所述的装置,其特征在于,从该两个或多于两个的运动矢量中选择该候选项集合。
28.如权利要求26所述的装置,其特征在于,该确定该候选项集合的该确定单元包括提取对应于该两个或多于两个的运动矢量的多个扩展运动矢量的装置,其中,从该多个扩展运动矢量或该两个或多于两个的运动矢量与该多个扩展运动矢量的组合中选择该候选项集合。
29.如权利要求28所述的装置,其特征在于,从该多个扩展运动矢量中选择该候选项
全文摘要
本发明揭示一种图像中当前区块的运动矢量预测的装置与方法。在视频解码系统中,使用空间与时间预测来针对空间与时间冗余减少信息传输。运动矢量预测(Motion Vector Prediction,MVP)已用于保存相应于运动矢量的比特率。在传统的时间MVP中,预测项通常基于先前帧/图像中的单一候选项(例如共存运动矢量。如果先前帧/图像中的共存运动矢量并不存在,则无法取得当前区块的预测项。本发明揭示改进的MVP技术,其中,MVP根据来自未来和/或过去参考图像的共存运动矢量,使用多个候选项。根据优先级顺序排列候选项以提供更佳的MVP可用性,并提供更精确的预测。此外,本发明揭示的MVP技术可以闭环形式进行操作,以实现无需边界信息或仅需最少的边界信息。
文档编号H04N7/26GK102934434SQ201180027827
公开日2013年2月13日 申请日期2011年4月22日 优先权日2010年7月12日
发明者蔡玉宝, 林建良, 黄毓文, 雷少民 申请人:联发科技股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1