增加有效缩放比的运动向量缩放方法与装置制造方法
【专利摘要】本发明揭露一种基于与候选块相关的候选运动向量来推导当前块的缩放运动向量的方法和装置。依据本发明的实施例能够增加运动向量缩放的有效缩放因子。在一个实施例中，先计算出第一图像距离和第二图像距离之间的距离比，其中第一图像距离为当前图像与当前块的当前运动向量指向的目标参考图像之间的距离，第二图像距离为对应于候选块的候选图像与候选运动向量指向的候选参考图像之间的距离。随后，依据所述距离比并基于候选运动向量生成缩放运动向量，其中此缩放运动向量具有介于-m与n之间的有效缩放比，且m和n皆为大于4的正整数。所述m和n的值可以是8、16或者32。
【专利说明】增加有效缩放比的运动向量缩放方法与装置
[0001]相关申请的交叉引用
[0002]本申请要求如下申请的优先权:2011年11月7日递交的申请号为61/556，480，标题为“Division-Free MV Scaling”的美国临时案。在此合并参考上述申请案的全部内容。
【技术领域】
[0003]本发明是有关于视频编码，且特别地，本发明是有关于高效视频编码(High-Efficiency Video coding,以下简称HEVC)中以增加的有效缩放比来缩放候选运动向量以推导运动向量预测子(Motion Vector Predictor,以下简称MVP)。
【背景技术】
[0004]高效视频编码(High-Efficiency Video coding, HEVC)是由视频编码联合组(Joint Collaborative Team on Video Coding,以下简称 JCT-VC)开发的一种新的国际编码标准。HEVC是基于混合型分块运动补偿的类余弦变换的变换编码架构(hybridblock-based motion-compensated DCT-1ike transform coding architecture)。其用于压缩的基本单元是一个2NX2N的方块，被称为编码单元(Coding Unit，以下简称⑶)，且每一个⑶皆可被递归地分割为4个更小的⑶，直到产生预设的最小尺寸。每一个⑶可包含一个或多个预测单元(Prediction Units，以下简称PU)。PU的尺寸可以是2NX 2N、2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N、或者NXN，其中 2NXN、2NXnU、2NXnD 以及NX2N、nLX2N、nRX2N分别对应于具有对称或不对称I3U尺寸分割的2NX2N尺寸PU的水平和垂直划分。
[0005]为进一步增强HEVC中运动向量编码的编码效率，基于运动向量竞争的机制被用于从既定运动向量预测子(Motion Vector Predictor,以下简称MVP)候选项集合中选择一个运动向量预测子(MVP)，所述MVP集合包含空间及时间MVP。在HEVC测试模型版本
3.0 (HEVC test model version3.0,以下简称 ΗΜ_3.0)中，包含巾贞间(Inter)JliS(Skip)以及合并(Merge)三种帧间预测模式。所述帧间模式是利用可与MVP—起使用的传输的运动向量差(Motion Vector Difference,以下简称MVD)来执行运动补偿预测，以推导运动向量(Motion Vectors,以下简称MV)。而跳过及合并模式则利用运动推理方法(MV =MVP+MVD，其中MVD为0)以从空间相邻块(空间候选项)或位于同位图像(co_locatedpicture)中的时间块(时间候选项)来获取运动信息。上述同位图像为列表O (IistO)或列表I (Iistl)中的第一参考图像,并于条带头(slice header)中表示。
[0006]当PU在跳过或者合并模式下编码时，除了所选候选项的索引之外，并不传输任何运动信息。至于跳过的PU(skip HJ),则连残差信号(residual signal)也可以省略。对于HM-3.0中的巾贞间模式来说,先进运动向量预测(Advanced Motion Vector Prediction,以下简称AMVP)机制被用于从包含两个空间MVP以及一个时间MVP的AMVP候选项集合中选择一个MVP。此处的MVP是指运动向量预测子(Motion Vector Predictor)或者运动向量预测(Motion Vector Prediction)。而对于HM-3.0中的合并和跳过模式来说,合并机制则被用于从包含四个空间MVP及一个时间MVP的合并候选项集合中选择一个MVP。
[0007]对于帧间模式来说，参考图像索引被明确地传输到解码器。随后，可从用于既定参考图像索引的候选项集合中选择MVP。图1是依据HM-3.0用于帧间模式的MVP候选项集合的示意图，其中MVP候选项集合包含两个空间MVP和一个时间MVP:
[0008]1、左侧预测子(来自Atl及A1的第一可用MV)；
[0009]2、顶部预测子(来自B。、B1及Bn+1的第一可用MV)；以及
[0010]3、时间预测子(来自Tbk及Tctk的第一可用MV)。
[0011]上述时间预测子是从同位图像中的块(TBK*TCTK)中推导出来的，而所述的同位图像则是列表O或列表I中的第一参考图像。与所述时间预测子(MVP)相关的块可具有两个MV:—个MV来自列表0，一个MV来自列表I。所述时间MVP则依据下述规则从来自列表O或列表I的MV推导出来:
[0012]1、穿过(cross)当前图像的MV首先被选中；以及
[0013]2、若两个MV皆穿过或皆不穿过当前图像，则具有与当前列表相同的参考列表的MV被选中。
[0014]在HM-3.0中，若特定块是在合并模式下被编码，则MVP索引会被传送以表明MVP候选项集合中的哪一 MVP被用于此欲被合并的块。为遵循运动信息共享的精神，每一合并的PU(merged PU)可重用被选候选项的MV、预测方向以及参考图像索引。请注意，若被选的MVP为时间MVP，则参考图形索引总是被设定为第一参考图像。图2是依据HM-3.0用于合并模式的MVP候选项集合的示意图，其中MVP候选项集合包含四个空间MVP和一个时间MVP:
[0015]1、左侧预测子(Ani)；
[0016]2、顶部预测子(Bn)；
[0017]3、时间预测子(来自Tbk及Tctk的第一可用MV)；
[0018]4、右上方预测子(B。)；以及
[0019]5、左下方预测子(A0)。
[0020]在HM-3.0中，为了避免出现空的候选项集合，帧间模式和合并模式都采用了一种程序(process)。当在帧间、跳过或合并模式下未推测出候选项时，此程序可以将具有O值的MV作为候选项添加至候选项集合。
[0021]基于率失真优化(Rate-Distortion Optimization,以下简称RD0)决策，编码器可从用于帧间、跳过、或合并模式的既定MVP列表中选择一个最终MVP，并在移除列表中的冗余MVP之后将所选MVP的索引传输至解码器。然而，由于时间MVP包含在MVP列表中，因此任何传输错误都可能导致解码器端的解析错误(parsing error)，同时这种错误可能会传播(propagate)。当先前图像的MV未被正确解码时,将会出现编码器端的MVP列表与解码器端的MVP列表失配的状况。从而，后续MV的解码也可能受到影响，且此状况可能会在后续的多个图像中存在。
[0022]在HM-4.0中，为了解决与HM-3.0中合并/AMVP相关的解析问题，其使用了固定的MVP列表尺寸(fixed MVP list size)以解f禹(decouple)MVP列表架构与MVP索引解析。此外，为了补偿因固定的MVP列表尺寸导致的编码性能损失，额外的MVP被分配给MVP列表中的空位。在此程序中，合并索引是利用截断的一元码来编码，其具有等于或者小于5的固定长度，而AMVP索引则是利用等于或者小于2的固定长度来编码。
[0023]HM-4.0的另一个变化是MVP位置的统一。如图3所示，合并及跳过皆使用相同的位置。对于HM-4.0中的合并模式来说，多达四个空间MVP可从ApApBci和B1中推导出来，且一个时间MVP可从Tbk或Tctk中推导出来。对于时间MVP来说，Tbk首先被使用。若Tbk不可用，则使用Tctk来替代。若四个空间MVP中有任何一个不可用，则块位置B2被使用以推导MVP来作为替代。在四个空间MVP和一个时间MVP推导程序之后，执行移除冗余MVP的程序。在冗余MVP移除之后，若可用的MVP数量小于5，则三种类型的额外MVP被推导出来并添加至MVP列表中。
[0024]在用于空间及时间MVP的推导中，MVP可与指向作为目标参考图像的相同参考图像的MV—并推导。另一方面，MVP可从指向不同参考图像的候选MV中推导出来。图4是基于与空间相邻候选块相关的各种类型的运动向量来推导空间MVP的范例的示意图，其中所述候选块包含空间相邻块VApBc^B1和B2,以及时间同位块Tbk或TCTK。圆圈中的数字代表用于从各自的候选项中决定MVP的搜寻顺序。所述搜寻的最高优先级对应于指向既定参考列表中目标参考图像的MV。所述搜寻的第二高优先级对应于指向另一参考列表中目标参考图像的MV。所述搜寻的第三和第四优先级则分别对应于既定参考列表和其他参考列表中其他参考图像。在图4的特定范例中,运动向量I和2的可用性可以一并检查,而运动向量3和4的可用性可一并检查。运动向量I和2的可用性先从候选块Atl到A1检查，再从Btl到B2检查。若不存在任何MV，则所述搜寻在所有块中检查运动向量3和4的可用性。当MVP是从指向不同参考图像的MV或者用于同位图像的MV中推导出时，所述MV需要被缩放以考虑不同的图像距离。图4所示的用于MVP推导的搜寻类型范例并非本发明的限制。举例来说，每一个块中运动向量I至4的可用性可一并检查。在另一范例中，运动向量I可按顺序先从Atl到A1、再从Btl 到B2检查。若没有任何MV存在，则此搜寻可先从Atl到A1、再从Btl到B2检查运动向量2。若仍未得出MVP，则此程序会继续对运动向量3和运动向量4执行。
[0025]在空间和时间MVP的推导过程中，需要除法运算来缩放运动向量。缩放因子可基
于图像距离比(picture distance ratio)而计算出来。举例来说,MVP可基于同位块的MV
推导出来。图像距离缩放因子DistScaleFactor可根据下式计算:
【权利要求】
1.一种推导缩放的运动向量的方法，用于基于与候选块相关的候选运动向量来推导当前块的缩放的运动向量，该方法包含: 决定对应于该当前块的当前图像与该当前块的当前运动向量指向的目标参考图像之间的第一图像距离； 决定对应于该候选块的候选图像与该候选块的该候选运动向量指向的候选参考图像之间的第二图像距离； 决定对应于第一距离值与第二距离值之比的距离比，其中该第一距离值与该第一图像距离有关，且该第二距离值与该第二图像距离有关；以及 依据该距离比并基于该候选运动向量产生该缩放的运动向量，其中该缩放的运动向量具有介于-m与η之间的有效缩放比，且m和η皆为大于4的正整数。
2.如权利要求1所述的方法，其特征在于，m和η对应于8、16、或者32。
3.如权利要求1所述的方法，其特征在于，该候选块对应于空间相邻块或时间同位块。
4.如权利要求1所述的方法，其特征在于: 该距离比与第一缩放因子和第二缩放因子有关，该第一缩放因子与该第一距离值有关，且该第二缩放因子与该第二距离值有关； 该第一缩放因子是通过将一乘积值截断至介于-P与(P-1)之间的范围来产生，其中该乘积值有关于通过将该第一距离值与该第二缩放因子相乘得到的第一组分以及将该第一组分右移位8位，且P大于1024 ；以及 该缩放的运动向量有关于通过将该候选运动向量与该第一缩放因子相乘得到的第二组分以及将该第二组分右移位6位。
5.如权利要求4所述的方法，其特征在于，P对应于2048、4096、或者8192。
6.一种推导缩放的运动向量的方法，用于基于与候选块相关的候选运动向量来推导当前块的缩放的运动向量，该方法包含: 决定对应于该当前块的当前图像与该当前块的当前运动向量指向的目标参考图像之间的第一图像距离tb ； 决定对应于该候选块的候选图像与该候选块的该候选运动向量指向的候选参考图像之间的第二图像距离td ； 依据 ix = (2k+|td/2|)/td 决定第一值 ix ;依据 DistScalefactor = clip (-p, (p-1), (tb*ix+(1〈〈 (q_l))) >>q)决定距离缩放因子DistScalefactor,其中clip (u, v, w)代表将w限制为介于u与V之间范围的截断函数；基于该候选运动向量的候选运动向量组分MV_xy,依据scaled_MV_xy =(DistScaleFactor*MV_xy+(1〈〈(m-1)) - 1+(((DistScaleFactor*MV_xy)〈O) ? 1: O))>>m来计算缩放的运动向量组分；以及 其中k、p、q为正整数，P大于1024,且k = q+m。
7.如权利要求6所述的方法，其特征在于，P对应于2048、4096、或者8192，且q和m分别对应于6和8。
8.如权利要求6所述的方法，其特征在于，P对应于1024、2048、或者4096，且q和m分别对应于7和7。
9.如权利要求6所述的方法，其特征在于，P对应于(l〈〈(m+3))、(l〈〈(m+4))、或者(1<<(m+5))。
10.如权利要求6所述的方法，其特征在于，该候选块对应于空间相邻块或时间同位块。
11.一种推导缩放的运动向量的装置，用于基于与候选块相关的候选运动向量来推导当前块的缩放的运动向量，该装置包含: 决定第一图像距离的模块，用于决定对应于该当前块的当前图像与该当前块的当前运动向量指向的目标参考图像之间的该第一图像距离； 决定第二图像距离的模块，用于决定对应于该候选块的候选图像与该候选块的该候选运动向量指向的候选参考图像之间的该第二图像距离； 决定距离比的模块，用于决定对应于第一距离值与第二距离值之比的该距离比，其中该第一距离值与该第一图像距离有关，且该第二距离值与该第二图像距离有关；以及 产生该缩放的运动向量的模块，用于依据该距离比并基于该候选运动向量产生该缩放的运动向量，其中该缩放的运动向量具有介于-rn与η之间的有效缩放比，且m和η皆为大于4的正整数。
12.如权利要求11所述的装置，其特征在于，m和η对应于8、16、或者32。
13.如权利要求11所述的装置，其特征在于，该候选块对应于空间相邻块或时间同位块。
14.如权利要求11所述的装置，其特征在于: 该距离比与第一缩放因子和第二缩放因子有关，该第一缩放因子与该第一距离值有关，且该第二缩放因子与该第二距离值有关； 该第一缩放因子是通过将一乘积值截断至介于-P与(P-1)之间的范围来产生，其中该乘积值有关于通过将该第一距离值与该第二缩放因子相乘得到的第一组分以及将该第一组分右移位8位，且P大于1024 ；以及 该缩放的运动向量有关于通过将该候选运动向量与该第一缩放因子相乘得到的第二组分以及将该第二组分右移位6位。。
15.如权利要求14所述的装置，其特征在于，P对应于2048、4096、或者8192。
16.—种推导缩放的运动向量的装置,用于基于与候选块相关的候选运动向量来推导当前块的缩放的运动向量，该装置包含: 决定第一图像距离tb的模块，用于决定对应于该当前块的当前图像与该当前块的当前运动向量指向的目标参考图像之间的该第一图像距离tb ； 决定第二图像距离td的模块，用于决定对应于该候选块的候选图像与该候选块的该候选运动向量指向的候选参考图像之间的该第二图像距离td ； 决定第一值ix的模块，用于依据ix = (2k+|td/2|)/td决定该第一值ix ； 决定距离缩放因子DistScalefactor的模块,用于依据DistScalefactor = clip (-p,(p-1), (tb*ix+(l〈〈(q-l)))?q)决定该距离缩放因子 DistScalefactor,其中 clip (u, v, w)代表将w限制为介于u与V之间范围的截断函数； 计算缩放的运动向量组分的模块，用于基于该候选运动向量的候选运动向量组分 MV_xy,依据 scaled_MV_xy = (DistScaleFactor*MV_xy+(1〈〈(m_l))-1+ (((DistScaleFactor*MV_xy) <0) ? 1: O)) >>m来计算该缩放的运动向量组分；以及其中k、p、q为正整数，p大于1024,且k = q+m。
17.如权利要求16所述的装置，其特征在于，P对应于2048、4096、或者8192，且q和m分别对应于6和8。
18.如权利要求16所述的装置，其特征在于，P对应于1024、2048、或者4096，且q和m分别对应于7和7。
19.如权利要求16所述的装置，其特征在于，P对应于(l〈〈(m+3))、(l〈〈(m+4))、或者(1<<(m+5))。
20.如权利要 求16所述的装置，其特征在于，该候选块对应于空间相邻块或时间同位块。
【文档编号】H04N19/56GK103918267SQ201280054067
【公开日】2014年7月9日 申请日期:2012年11月7日 优先权日:2011年11月7日
【发明者】庄子德, 林建良, 陈庆晔, 陈渏纹, 黄毓文 申请人:联发科技股份有限公司