运动矢量处理的制作方法
【专利摘要】实施例涉及针对来自多个摄像机视图(10，20)的多视图视频内容的运动矢量预测和解码。针对要编码的当前运动矢量(34)，提供至少一个候选运动矢量预测值(44，54)。然后，根据至少一个候选运动矢量预测值(44，54)来确定运动矢量预测值(44)。相应地，在解码期间，基于针对当前像素块(30)确定的运动矢量预测值(44)，针对当前像素块(30)确定运动矢量(34)。
【专利说明】运动矢量处理
【技术领域】
[0001]本实施例一般涉及运动矢量的处理，并且尤其涉及这种运动矢量的预测和解码。【背景技术】
[0002]H.264，也称运动图像专家组-4 (MPEG-4)高级视频编码(AVC)，是现有视频编码标准。它是一种混合编解码器，利用消除帧间和一帧内的冗余，并使用若干提供良好的压缩效率的压缩技术。编码过程的输出是视频编码层(VCL)数据，该数据进一步封装成网络抽像层(NAL)单元，然后进行传输或存储。
[0003]H.264是基于块的，也就是以宏块(MB)为单位处理视频帧，MB是16 X 16像素块，可被进一步划分为子宏块(sMB)。为了最小化要编码的数据量，对每个非帧内像素块执行称为运动补偿(MC)的技术，MC在相邻帧中使用先前重构的像素值来尽力而为地预测当前像素块的像素值。为了得到当前像素块的预测，在比特流中信号通知参考帧中与当前像素块相似的区域。最终重建可以通过将预测像素值与残差像素值加在一起来进行。为了找到参考帧中的当前像素块的最佳匹配，通常在编码器侧进行运动搜索。它试图找到当前像素块和可能的参考像素块之间的最小平方差之和(SSD)或绝对差和(SAD)。运动搜索的结果是信号通知其参考哪个参考帧的参考索引以及指向参考区域的偏移矢量，称为运动矢量(MV)。MV是视频比特流中的重要和开销成分。对于以高量化参数(QP)编码的视频，它可能占用超过50%的比特率。
[0004]运动矢量编码
[0005]MV不直接编码成比特流，因为可以利用MV之间的冗余。相邻MV往往具有较高的相关性，具有类似长度和方向的MV往往集群在一起。这些集群的MV可以对应于局部运动(其中对象移动)或全局运动(其中存在摇拍)。对于要编码的每个MV，首先做MV预测，以减少数据量，使得只有MV和MV预测值(predictor)之间的差值被编码。在H.264中，通过取来自左边、上方和右上方的像素块的MV的中值，来产生中值预测值。该处理针对水平和垂直MV分量分别进行。
[0006]多视图视频编码(MVC)
[0007]尽管“传统”的视频服务在单一表示中提供视频(也就是固定摄像机位置)，然而多视图视频表示最近获得重要性。多视图表示表示来自不同摄像机视图或视图的内容，一种特殊情况是“立体视频”的情况，其中场景是从具有与人眼相同或相似的距离的两个摄像机捕捉的。使用合适的显示技术来呈现“立体”内容给观众，可以提供给观众深度感。
[0008]MVC是一种可用于压缩多视图视频表示的视频编码标准。通过消除不同层之间的冗余信息来实现高压缩效率。MVC基于AVC标准，因此MVC共享大部分AVC结构。
[0009]MVC参考画面列表
[0010]MVC和AVC之间的主要区别在于参考画面列表处理过程。参考画面列表是可用于预测的画面的集合。它们通常以基于其与当前帧的接近程度的顺序来进行排序。在AVC中，列表中的所有参考画面均来自相同的视图。在MVC中，除了来自同一个视图的参考画面，也有来自其他视图的参考画面。因此，MVC参考画面列表构造过程的第一步骤与AVC中完全相同，不同之处在于然后附加视图间参考画面。由于复杂性的考虑，MVC中只允许将同一个时刻来自其他视图的帧添加到列表。
[0011]高效视频编码(HEVC)
[0012]HEVC是下一代视频编码标准，目前正在标准化过程中。HEVC旨在相比于AVC在实质上改进编码，尤其是针对高分辨率视频序列。HEVC发展的最初焦点是单视频，即单一视图。
[0013]运动矢量竞争
[0014]H.264中的中值MV预测值在许多情况下不那么有效率。VCEG贡献[I]描述了称为运动矢量竞争的新技术。这种技术的关键概念是从常常与当前MV高度相关的相邻像素块中取MV，以形成候选MV的列表，其中相邻像素块可以是空间邻居，即同一帧，或时间邻居，即不同帧。这些候选MV根据其与其各自参考帧的时间距离被缩放。基于率失真(RD)准则，只有一个候选MV从列表中被选择为预测值，在比特流发送对列表的对应索引条目。与中值MV预测值相比，一般运动矢量竞争提高了视频编码性能，因此建议用于HEVC。
[0015]在运动矢量竞争中，所选择的候选MV通常需要在被放入候选列表之前进行缩放，因为它不一定具有与MV预测所针对的当前像素块的参考距离相同的参考距离。术语“参考距离”指的是具有MV的帧与MV所指向的帧之间的画面顺序计数(POC)的差异。在图1中，有标记为P0C0-6的7个帧，P0C0-6是视频序列的显示顺序。在该示例中，POC等于0，1，3，4，5，6的帧是已编码帧。具有POC = 2的帧是要被编码的当前帧，帧2的中间的像素块是当前像素块，其上方的像素块已被编码。当前像素块是测试帧间预测模式，使用来自帧O的参考区域作为参考。3个候选MV预测值示于该图中，它们是来自当前帧中的空间相邻像素块的MB B，以及分别来自当前帧之前和之后的时间相关块的MV A和C。在这些候选MV预测值被采纳进入候选列表前，缩放因子被用在这些候选MV预测值。缩放因子公式为:`
【权利要求】
1.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的方法，所述方法包括: 针对运动矢量(34)，从多个预定义运动矢量类型中确定(S2)运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述运动矢量类型是基于以下至少一项来确定的:i)所述多个摄像机视图(10.20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点； 标识(S3)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及 基于所述至少一个候选运动矢量预测值(44，54，64)，确定(S4)针对所述运动矢量(34)的运动矢量预测值。
2.根据权利要求1所述的方法，其中 确定(S2)所述运动矢量类型包括:如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及 标识(S3)所述至少一个候选运动矢量预测器(44，54，64)包括:标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测器(44，54)。
3.根据权利要求1所述的方法 ，其中 确定(S2)所述运动矢量类型包括:如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及 标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括:标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10.20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(54，64)。
4.根据权利要求1至3中任一项所述的方法，其中，标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括:从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
5.根据权利要求1至4中任一项所述的方法，还包括:基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。
6.根据权利要求1至5中任一项所述的方法，还包括:针对所述当前像素块(30)，估计(SI)标识所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)。
7.根据权利要求6所述的方法，其中，估计(SI)所述运动矢量(34)包括:针对所述当前像素块(30)，估计(SI)标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前帧(24)具有当前画面顺序计数CurrPOC,所述参考帧(22)具有参考画面顺序计数CurrRfPOC,所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)，所述方法还包括:针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(Sll)缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S12)为基于
8.根据权利要求6或7所述的方法，其中，估计(SI)所述运动矢量(34)包括:针对所述当前像素块(30)，估计(SI)标识所述多个摄像机视图(10，20)中的参考摄像机视图的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述方法还包括: 针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定(S20)缩放因子；以及 针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，确定(S4)所述运动矢量预测值包括:基于所述至少一个缩放的候选运动矢量预测值，确定(S4)针对所述运动矢量(34)的所述运动矢量预测值。
9.根据权利要求8所述的方法，其中，确定(S20)所述缩放因子包括:针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。
10.一种预测用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量(34)的计算机程序(78)，所述计算机程序(78)包括代码装置(110，120，130，140)，当在计算机(70)上运行时，使计算机(70):针对运动矢量(34)，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述运动矢量类型是基于以下至少一项来确定的:i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；标识所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及基于所述至少一个候选运动矢量预测值(44，54，64)，确定针对所述运动矢量(34)的运动矢量预测值。
11.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的设备(100)，所述设备(100)包括: 类型确定器(120)，被配置为针对运动矢量(34)，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述类型确定器(120)被配置为基于以下至少一项来确定所述运动矢量类型:i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点； 预测值标识器(130)，被配置为标识所述类型确定器(120)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及 预测值确定器(140)，被配置为基于所述预测值标识器(130)所标识的所述至少一个候选运动矢量预测值(44，54，64)，确定针对所述运动矢量(34)的运动矢量预测值。
12.根据权利要求11所述的设备，其中 所述类型确定器(120)被配置为:如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及 所述预测值标识器(130)被配置为:标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)`的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测器(44，54)。
13.根据权利要求11所述的设备，其中 所述类型确定器(120)被配置为:如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及 所述预测值标识器(130)被配置为:标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
14.根据权利要求11至13中任一项所述的设备，其中，所述预测值标识器(130)被配置为:从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
15.根据权利要求11至14中任一项所述的设备，还包括:矢量计算器(170)，被配置为基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。
16.根据权利要求11至15中任一项所述的设备，还包括:运动矢量MV估计器(110)，被配置为针对所述当前像素块(30)，估计标识所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)。
17.根据权利要求16所述的设备，其中，所述MV估计器被配置为:针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前帧(24)具有当前画面顺序计数CurrPOC,所述参考帧(22)具有参考画面顺序计数CurrRfPOC,所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)，所述设备(100)还包括: 缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定缩放因子为等于固定的预定义值，否则将所
18.根据权利要求16或17所述的设备，其中，所述MV估计器(110)被配置为:针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述设备(100)还包括: 缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定缩放因子；以及 缩放预测值确定器(190)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，所述预测值确定器(140)被配置为:基于所述至少一个缩放的候选运动矢量预测值，确定针对所述运动矢量(34)的所述运动矢量预测值。
19.根据权利要求18所述的设备，其中，所述缩放因子确定器(180)被配置为:针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。
20.一种针对来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量解码的方法，所述方法包括: 针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供(S40)参考帧索引，所述参考帧索引标识参考帧(22)；针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定(S41)运动矢量类型:i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点； 产生(S42)候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及 基于所述候选列表的候选运动矢量预测值，确定(S44)所述当前像素块(30)的运动矢量(34)。
21.根据权利要求20所述的方法，其中 确定(S41)所述运动矢量类型包括:如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及 产生(S42)所述候选列表包括:产生(S42)所述候选列表,所述候选列表包括与第一中贞(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测值(44，54)。
22.根据权利要求20所述的方法，其中 确定(S41)所述运动矢量类型包括:如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定(S41)为视图间运动矢量类型；以及 产生(S42)所述候选列表包括:产生(S42)所述候选列表，所述候选列表包括与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
23.根据权利要求20至21中任一项所述的方法，其中，产生(S42)所述候选列表包括:从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
24.根据权利要求23所述的方法，还包括:基于以下至少一项来确定所述多个候选运动矢量预测值(44，54，64)的集合:i)与所述当前帧(24)中的空间相邻像素块(40)相关联的运动矢量(44) ；ii)与不同于所述当前帧(24)但属于所述当前摄像机视图(20)的帧(26)中的时间相邻像素块(60)相关联的运动矢量(64) ；iii)与属于所述多个摄像机视图(10，20)中不同于所述当前摄像机视图(20)的摄像机视图(10)但具有与所述当前帧(24)的所述时间点相等的相应时间点的帧(14)中的像素块(50)相关联的运动向量(54)。
25.根据权利要求20至24中任一项所述的方法，其中，提供(S40)所述参考帧索引包括:针对具有当前画面顺序计数CurrPOC并存在于所述当前摄像机视图(20)中的所述当前帧(24)中的所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识具有参考画面顺序计数CurrRfPOC 并存在于所述多个摄像机视图(10，20)中的参考摄像机视图 (20)中的所述参考帧(22)，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26，16)中的像素区域(42，52，62)，所述方法还包括: 针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S41)相应缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S42)为
('HirPOC CiirrRfPOC基于' υη>/ >/'’其中，产^ (S42)所述候选歹I」表包括:产4 (S42)所述候选歹I」
RfriK - RfRfiHX表，所述候选列表包括基于所述至少一个候选运动矢量预测值(44，54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
26.根据权利要求20至25中任一项所述的方法，其中，提供(S40)所述参考帧索引包括:针对所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述第一摄像机设图(10，20)不同于所述第一参考摄像机视图(20，10)，所述方法还包括: 针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定(S50)相应缩放因子；其中，产生(S42)所述候选列表包括:产生(S42)所述候选列`表，所述候选列表包括基于所述至少一个候选运动矢量预测值(54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
27.根据权利要求26所述的方法，其中，确定(S50)所述相应缩放因子包括:针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20,10)之间的基线距离之间的商，确定(S50)所述相应缩放因子。
28.根据权利要求20至27中任一项所述的方法，还包括:基于与所述当前像素块(30)相关联的预测值索引，从针对所述当前像素块(30)的所述候选列表中选择(S43)运动矢量预测值，其中，确定(S44)所述运动矢量(34)包括:基于所选择的运动矢量预测值和与所述当前像素块(30)相关联的残差运动矢量，确定(S44)所述当前像素块(30)的运动矢量(34)。
29.一种解码用于来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量(34)的计算机程序(780)，所述计算机程序(780)包括代码装置(410，420，430，440，450)，当在计算机(700)上运行时，使计算机(700): 针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供参考帧索引，所述参考帧索引标识参考帧(22)； 针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型:i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间占.产生候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及基于所述候选列表的候选运动矢量预测值，确定所述当前像素块(30)的运动矢量(34)。
30.一种计算机程序产品，包括计算机可读代码装置(72，720)以及存储在所述计算机可读装置(72，720)上的根据权利要求10或29的计算机程序(78，780)。
31.一种针对来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量解码的设备(400)，所述设备(400)包括: 索引提供器(410)，被配置为针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供参考帧索引，所述参考帧索引标识参考帧(22)； 类型确定器(420)，被配置为针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型:i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点； 列表产生器(430)，被配置为产生候选列表，所述候选列表包括所述类型确定器(420)确定的所述运动矢量类型的至少一个候选运动矢量预测值(44，54，64);以及 矢量确定器(450)，被配置为基于所述候选列表的候选运动矢量预测值，确定所述当前像素块(30)的运动矢量(34)。
32.根据权利要求31所述的设备，其中 所述类型确定器(420)被配置为:如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及 所述列表产生器(430)被配置为:产生所述候选列表，所述候选列表包括与第一帧(24，14)中的像素块(40，50)相关联并i)标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)或者ii)标识具有与所述第一帧(14)的时间点不同的时间点并属于所述多个摄像机视图(10，20)中与所述第一帧(14)的所述摄像机视图(10)不同的摄像机视图(20)的第一参考帧(26)中的像素区域(52)的至少一个候选运动矢量预测值(44，54)。
33.根据权利要求31所述的设备，其中 所述类型确定器(420)被配置为:如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及 所述列表产生器(430)被配置为:产生所述候选列表，所述候选列表包括与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
34.根据权利要求31至33中任一项所述的设备，其中，所述列表产生器(430)被配置为:从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44,54,64)。
35.根据权利要求31至34中任一项所述的设备，其中，所述索引提供器(410)被配置为:针对具有当前画面顺序计数CurrPOC的所述当前帧(24)中的所述当前像素块(30)，提供所述参考帧索引，所述参考帧索引标识具有参考画面顺序计数CurrRfPOC并存在于所述多个摄像机视图(10，20)中的参考摄像机视图(20)中的所述参考帧(22)，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26，16)中的像素区域(42，52，62)，所述设备(400)还包括: 缩放因子确定器(480)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S41)相应缩放因子为等于固定的预定义
值，否则将所述缩放因子确定(S42)为基于
36.根据权利要求31至35中任一项所述的设备，其中，所述索引提供器(410)被配置为:针对所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述第一摄像机设图(10，20)不同于所述第一参考摄像机视图(20，10)，所述设备(400)还包括: 缩放因子确定器(480)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定相应缩放因子；其中，所述列表产生器(430)被配置为:产生所述候选列表，所述候选列表包括基于所述至少一个候选运动矢量预测值(54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
37.根据权利要求36所述的设备，其中，所述缩放因子确定器(480)被配置为:针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述相应缩放因子。
38.根据权利要求31至37中任一项所述的设备，还包括:预测值选择器(440)，被配置为:基于与所述当前像素块(30)相关联的预测值索引，从针对所述当前像素块(30)的所述候选列表中选择运动矢量预测值，其中，所述矢量确定器(450)被配置为:基于所述预测值选择器(440)所选择的运动矢量预测值和与所述当前像素块(30)相关联的残差运动矢量，确定所述当前像素块(30)的运动矢量(34)。`
【文档编号】H04N19/105GK103891290SQ201280051363
【公开日】2014年6月25日 申请日期:2012年5月28日 优先权日:2011年8月19日
【发明者】巫壮飞, 托马斯·卢瑟 申请人:瑞典爱立信有限公司