一种多视点视频编解码系统以及预测向量的方法和装置的制作方法

专利名称：一种多视点视频编解码系统以及预测向量的方法和装置的制作方法
技术领域：
本发明涉及编码技术，特别是指一种多视点视频编解码系统，在多视频 编解码系统中预测向量的方法和装置。
背景技术：
随着多媒体通信技术的发展，人们不再满足于传统的固定视点视觉以及2D平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内，出现了 对于自由视点视频和3D视频的需求。例如能够由观看者选择视角的自由视 点电^L(FTV)，以及为处于不同位置观看者播放不同视角视频的立体视觉 电视(3DTV)。上述应用都要求使用多个摄像机，在不同的空间位置，以 不同的角度，同时获取同一场景的视频信号，并有效地对所获得的一组视频 信号，进行压缩编码和传输。所获得的这一组视频称为多视点视频，而对所 述多视点视频进行压缩编码的过程称为多视点视频编码。显然，多视点视频 编码是实现自由视点视频类和3D视频类应用的 一项关键技术。在现有的多视点视频编码中，对编码图像中的不同图像块，采用不同的 编码方式进行编码，例如，对部分图像块使用^L图内帧间预测编码方式编码， 对部分图^f象块利用4见图间帧间预测编码方式进行编码。而在不同的编码过程 中，都按照H.264/AVC标准中所规定的MV预测方式预测向量。由于，在多视点视频中，图像块的向量分为运动向量和视点差向量，而 运动向量与视点差向量之间通常是没有任何相关性的，所以，根据现有技术， 无法准确预测各图像块的向量，向量的预测精度不高，从而导致编码效率降 低。

发明内容
本发明实施例提供一种在多视点视频编码中预测向量的方法，提高向量 的预测精度。
本发明实施例提供一种在多视点视频编码中预测向量的装置，提高向量 的预测精度。
本发明实施例提供一种在多视点视频解码中预测向量的方法，提高向量 的预测精度。
本发明实施例提供一种多视点视频编解码系统，提高编码、解码过程中 向量的预测精度。
本发明实施例提供一种在多视点视图编码中预测向量的方法，该方法包
括确定当前图像块采用的编码方式；当确定当前图像块采用视图间帧间预 测编码方式时，预测当前图像块的视点差向量；当确定当前图像块采用视图 内帧间预测编码方式时，预测当前图像块的运动向量。
本发明实施例提供一种在多视点视图编码中预测向量的装置，该装置包 括当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动 向量预测单元；其中，所述当前图像块确定单元用于确定当前编码的图像块； 所述编码方式确定单元用于确定当前图像块采用的编码方式，将采用视图间 帧间预测编码方式的信息，发送给所述视点差向量预测单元，将采用视图内 帧间预测编码方式的信息，发送给所述运动向量预测单元；所述视点差向量 预测单元用于根据得到的编码方式信息，预测当前图像块的视点差向量；所 述运动向量预测单元用于根据得到的编码方式信息，预测当前图像块的运动 向量。
本发明实施例提供一种在多视点视图解码中预测向量的方法，该方法包 括确定当前图像块采用的解码方式；当确定当前图像块采用与视图间帧间 预测编码方式相对应的解码方式时，预测当前图像块的视点差向量；当确定 当前图^f象块采用与#见图内帧间预测编码方式相对应的解码方式时，预测当前图4象块的运动向量。
本发明实施例提供一种多视点视频编解码系统，包括编码端和解码端；其 特征在于，所述编码端包括编码中向量预测装置、编码单元，所述解码端包 括解码中向量预测装置、解码单元；所述编码中向量预测装置用于确定当前 编码图像块采用的编码方式，当确定当前图像块采用视图间帧间预测编码方式 时，预测当前图像块的视点差向量，当确定当前图像块采用视图内帧间预测编 码方式时，预测当前图像块的运动向量；所述编码单元用于利用所述编码中向 量预测装置预测的向量，编码当前编码图像块，并发送给解码端；所述解码中 向量预测装置用于接收编码端发送的编码码流，确定当前解码图像块采用的解 码方式，当确定当前解码图像块采用与视图间帧间预测编码方式相对应的解码 方式时，预测当前图像块的视点差向量，当确定当前图像块采用与视图内帧间 预测编码方式相对应的解码方式时，预测当前图像块的运动向量；所述解码单 元用于利用所述解码中向量预测装置预测的向量，解码当前解码图像块。
根据本发明实施例提供的编码过程中的向量预测方法和装置，在多视点 视频编码过程中，针对不同的编码方式，预测不同的向量，从而能够改善视 点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码效率。
根据本发明实施例提供的解码过程中的向量预测方法，在多视点视频解 码过程中，针对采用不同编码方式编码的图像块解码时，预测不同的向量， 从而能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视 频的解码效率。
根据本发明实施例提供的多视点视频编解码系统，在多视点视频编码过 程中，针对不同的编码方式，预测不同的向量，在多视点视频解码过程中， 针对采用不同编码方式编码的图像块解码时，预测不同的向量，从而能够改 善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码、 解码效率。


图1所示为本发明实施例中在多视点视频编码中预测向量的流程图； 图2所示为本发明实施例中预测视点差向量的流程图； 图3所示为本发明实施例中计算各图像块所属区域的区域视点差向量 的流程图4所示为本发明实施例中在同一时间点上，相邻视点图像的示意图； 图5所示为本发明实施例中编码图像的偏移示意图； 图6所示为本发明实施例中视图偏移-平均绝对差值曲线示意图； 图7所示为本发明实施例中编码图像中每一个图像块所属区域的区域 视点差向量示意图8所示为本发明实施例中预测运动向量的流程图9所示为本发明实施例中运动向量预测值推导示意图10所示为本发明实施例中点M所在相邻视点视图中的外极线示意
图11所示为在多视点视图编码中预测向量的装置结构图12所示为本发明实施例中在多视点视频解码中预测向量的流程图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚明白，下面举具体实施例， 对本发明作进一步详细的说明。
本发明实施例中，在多视点视频编码过程中，针对不同的编码方式，预 测不同的向量，从而提高向量的预测精度。
图l所示为本发明实施例中，在多视点视频编码中预测向量的流程图。 具体为
步骤101:确定当前图像块采用的编码方式，如果当前图像块采用视图 间帧间预测编码方式，则执行步骤102;如果当前图像块采用视图内帧间预 测编码方式，则执行步骤103。其中，图像块可以为16x 16的块，也可以为4x4的块，对图像块的大 小没有特别的限制。
在此，确定当前图像块的编码方式的具体步骤为首先对当前图像块搜 索参考图像，所述参考图像分为视图内帧间参考图像和视图间参考图像。 然后，根据搜索的不同类型的参考图像，分别采用相应的编码方式进行编码 后，比较各编码方式的编码效率，并将编码效率最好的编码方式，确定为当 前图像块的编码方式。在此，如果选择视图内帧间参考图像，则采用视图内 帧间预测编码方式，如果选择视图间参考图像，则采用视图间帧间预测编码 方式和视图内帧间预测编码方式。
步骤102:预测当前图像块的视点差向量(DV)。
由于在视图间帧间预测编码方式中，当前编码图像的参考图像为同 一时 间点上的不同视点上的图像，即为视图间参考图像，因此，用视点差向量描 述当前图像块较为准确。
步骤103:预测当前图像块的运动向量(MV)。
由于在^L图内帧间预测编码方式中，当前编码图像的参考图像为相同视 点上的不同时间点上的图像，即为视图内帧间参考图像，因此，用运动向量 描述当前图像块较为准确。
如上所述，根据各图像块采用的编码方式不同，预测适合各编码方式的 向量，提高向量的精度，提高编码效果。
通过以上步骤，对当前编码的图像块进行向量的预测，得到向量的预测 值后，将该预测值作为搜索匹配块的起始点，查找最佳匹配块，根据预测值 估计得到当前图像块，编码传输当前图像块的估计值。解码端则重复向量的 预测过程，得到当前解码的图像块的向量的预测值后，恢复当前图像块。
下面，分别给出确定编码方式后，预测DV的方法和预测MV的方法。
图2所示为预测;观点差向量的流程，如图2所示，通过以下步骤预测视点 差向量。
步骤201:判断当前图像块的相邻图像块中，是否仅含有MV信息，如果是，则执行步骤202;否则，执行步骤203。
其中，例如，当前图像块的左图像块、左上图像块、上图像块、右上图 像块，可以是当前图像块的相邻图像块。
在此，判断相邻图像块中是否仅含有MV信息的步骤为确定各相邻图 像块所采用的编码方式，判断所有相邻图像块是否都采用视图内帧间预测编 码方式，如果所有相邻图像块都采用视图内帧间预测编码方式，则说明所有 相邻图像块中仅含有MV信息；否则，如果有采用例如视图间帧间预测编码 方式的相邻图像块，则该相邻图像块中含有DV信息。
步骤202:获取当前图像块所属区域的区域视点差向量，将当前图像块 所属区域的区域视点差向量，作为当前图像块的视点差向量预测值。
本发明实施例中，当前图像块记为MBk,当前图像块的MBk的视点差向 量预测值记为￡>PTMBt 。
对所述使用区域视点差向量预测视点差向量的当前图像块进行编码时， 还需要进一步编码当前图像块所属区域的区域视点差向量，以解码端重复当 前图像块的视点差向量的预测过程。
图像块所属区域的区域视点差向量的计算方法，下面给出详细的介绍。 步骤203:使用R264/AVC标准中所规定的MV预测方法，计算得到当前 图像块MBk的视点差向量预测值OKP,。
在此，对H.264/AVC标准中所规定的MV预测方法不再详细描述。
以上所述的视点差向量的预测过程中，利用了区域视点差向量。下面， 介绍区域视点差估计方法。
图3所示为计算各图像块所属区域的区域视点差向量的流程图，如图3 所示，包括以下步骤
步骤301:对当前编码图像，计算针对参考图像的不同视图偏移情况下 的平均绝对差值(MAD)。
图4所示为在同一时间点上，相邻两个视点的视图，(a)为参考图像，(b)为编码图像。图5所示为编码图像的偏移示意图。如图5所示，首先将 参考图像和编码图像完全重叠，然后以参考图像为基准，逐象素地偏移编码 图像。在图5所示的偏移过程中，使用(1)式，计算参考图像和编码图像之 间的重叠区域的MAD ，从而得到图6所示的视图偏移和MAD之间的关系曲线。式(1)中，Ir和Ic分别表示参考图像和编码图像；w和h分别是图像的 宽度和高度；i和j分别表示图像中象素点的水平坐标和垂直坐标；x是编码图 像相对于参考图像的水平偏移量，取整象素值。以上是水平偏移时的MAD计算方法。当然，还可以计算包括水平和垂 直的二维偏移时的MAD，如(2)式所示。其中，y是编码图像相对于参考图像的垂直偏移量，取整象素值。 步骤302:根据所得到的MAD，确定编码图像的区域视点差向量(RDV )。 在图6所示的视图偏移和MAD之间的关系曲线中，获取MAD值中所有的局部极小值点，并将这些局部极小值点所对应的视图偏移量，确定为编码图像的区域视点差向量，记为RDV={RDV,， RDV2， ...， RDVN}。在此，如果计算了二维偏移时的MAD，则所得到的区域视点差向量包括水平分量DVx和垂直分量DVy。步骤303:根据编码图像的区域视点差向量，得到各图像块所属区域的区域视点差向量。对于当前编码图像中的每一个图像块，例如第k个图像块MBk,依据最 小平均绝对差值(MMAD )准则，从所有的区域视点差向量RDV,, RDV2，...， RDVn中，查找MBk的最佳匹配区域的区域视点差向量，具体为根据步骤 302中得到的编码图像的区域视点差向量，计算当前图像块MBk的MAD，并 选择使MAD最小的区域视点差向量为该图像块所属区域的视点差向量预测值，如式(3)所示。<formula>formula see original document page 16</formula>( 3 )通过以上步骤，对图4(b)的编码图像，计算得到各图像块所属区域 的区域视点差向量，如图7所示。如步骤202所述，各图像块所述区域的区域视点差向量值，可以作为相 应图像块的视点差向量预测值。这种基于区域视点差估计技术的视点差向量 预测，可以提高视点差估计精度，减小视图间预测得到的差值信号，提高多 视点视频的编码效率。图8所示为预测运动向量的流程图。如图8所示，运动向量的预测通过如 下步骤实现。步骤801:判断当前图像块的相邻图像块中，是否仅含有DV信息，如果 是，则执行步骤803;否则，执行步骤802。在此，判断相邻图像块中是否仅含有DV信息的方法为确定当前图像 块的相邻图像块所采用的编码方式，并判断当前图像块的所有相邻图像块是 否都采用视图间帧间预测编码方式，如果所有相邻图像块都采用视图间帧间 预测编码方式，则相邻图像块中仅含有DV信息；否则，如果有采用例如视 图内帧间预测编码方式的相邻图像块，则该相邻图像块中含有MV信息。步骤802:使用H.264/AVC标准中所规定的MV预测方法，计算得到当前 图像块MBk的运动向量预测值MW^ 。结束本流程。步骤803:得到当前图像块MBk的视点差向量预测值"W;。 在本步骤中，可以将相邻图像块的DV的中值滤波结果，作为当前图像 块MBk的视点差向量预测值DW^ 。其中，所述的中值滤波结果，可以是当前图像块的所有相邻图像块的视 点差向量的平均值，也可以是当前图像块的某一相邻图像块的视点差向量。 步骤804:判断当前图像块的视点差向量预测值Z)Fi^，在当前编码图像的视图间参考图像中所指向的图像块是否含有MV信息，如果DW;在当前编码图像的视图间参考图像中所指向的图像块不含有MV信息，则执行步骤805;如果Z)W^在当前编码图像的视图间参考图像中所指向的图像块含 有MV信息，则执行步骤806。判断图像块是否含有MV信息的方法为确定该图像块的编码方式，如 果编码块采用帧内预测编码方式，或采用视图间帧间预测编码方式，则该图 像块中不含有MV信息，如果编码块采用视图内帧间预测编码方式，则该图 像块中含有MV信息。步骤805:将当前图像块的运动向量预测值MW"置为O。结束本流程。步骤806:判断，所述Z)K/^在当前编码图像的视图间参考图像中所指向的图像块的MV在参考视点中所指向的视图内帧间参考图像:，与在编码视 点中当前编码图像的视图内帧间参考图像，是否在相同的时间点上，如果在 相同的时间点上，则执行步骤807;如果不在相同的时间点上，则执行步骤 808。步骤807:将当前图像块的视点差向量预测值OW^在当前编码图像的视图间参考图像中所指向的图像块的运动向量MFMS2 ，作为当前图像块MBk的运动向量预测值MFPMSt 。在此，结合图9所示的运动向量预测示意图，介绍各图像块之间的关系 以及各图像块的向量之间的关系。图9中，MBu表示编码视点中的第k个 图像块，为当前编码的图像块，MB2，k表示MB,，k在参考视点中的同位置图 像块，Z)KP^i为当前图像块MB!,k的视点差向量预测值，MB2，j表示由MB,，k的视点差向量预测值D W" t在参考视点的参考图像中所指向的图像块，MF^为MB2j的运动向量。本步骤807中，将MB2，j的运动向量MF^的值，作为当前编码的图像块MB^的运动向量预测值MPT,。步骤808:将当前图像块的视点差向量预测值Z)W^在当前编码图像的视图间参考图像中所指向的图像块的MV，按一定比例作为当前图像块的运动向量预浙J值，如式(4 )所示MPT碼=scalar ,碼， (4) 式(4)中，MFMB2为图9所示的MB2,j的运动向量，scalar是缩放系数。例如，scalar可以是在当前编码图像的视图间参考图像中所指向的图像块的MV所指向的参考视点中的视图内帧间参考图像的时间点，和当前图像 块的MV所指向的编码视点中的视图内帧间参考图像的时间点之间的比值。 在本步骤808中，也可以将当前图像块的运动向量预测值MK尸^置为0。以上步骤806- 808所述，使用当前图像块的视点差向量预测值在当前 编码图像的视图间参考图像中所指向的图像块的MV信息，预测当前图像块 的运动向量，因此，能够进一步利用运动向量的视图间相关性提高预测精度， 减小运动向量差值，从而提高多视点视频的编码效率。下面，介绍对使用区域视点差向量预测视点差向量的图像块进行编码 时，需要进一步编码该图像块所属区域的区域视点差向量的具体实现方法。考虑到编码图像中多个图像块使用区域视点差向量预测视点差向量，所 以，为了节省编码码率，可以将每一帧编码图像的所有区域视点差向量编码 传输，另外，还需要对使用区域视点差向量预测视点差向量的图像块，编码 传输该图像块所使用的RDV的索引值。图10所示为，客观世界中的点M所在相邻视点视图中的外极线。点M 的视点差受到外极线约束，换言之，点M的视点差向量方向与外极线平行， 或说重合。其中，视点差向量方向由相机相对位置决定。若相机平行排列， 则视图中所有外极线相互平行，此时，视图中所有象素点的视点差向量也相 互平行，且方向相同。若相机按照图IO所示汇聚排列，视图中所有象素点 的视点差向量就不再相互平行，但是这些视点差向量相位之间依然具有强相 关性。因此，当相机组平行排列或近似平行排列时，图像中所有区域视点差 向量的水平分量DVx与垂直分量DVy比例近似相等。依据这个特点，可以 按照下面两个步骤，为该编码图像的每一个视图间参考图像，压缩编码RDV。步骤l:按照RDV模值从小到大的顺序，排列所有RDV;步骤2:对所有RDV的水平分量RDVx与垂直分量RDVy,分别进行 一阶前向差分编码。若编码图像中某图像块使用RDV,则需要将该图像块的RDV在所有 RDV中的索引，编码传输到解码器。实验表明，使用RDV的图像块在编码 图像中稀疏排列，所以本发明对编码图像的RDV索引值，可以采用CABAC编石马传丰ir。以上所述的压缩编码RDV的过程中，4艮据不同^L点^L图间^L点差向量 的特点，对每一幅图像的所有视点差向量进行排序以及一阶差分编码，能够 节约传输区域视点差信息所需的比特开销。下面，给出在多视点视图编码中预测向量的装置。图ll所示为在多视 点视图编码中预测向量的装置结构图，如图11所示，该装置可以包括当 前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预 测单元。其中，所述当前图像块确定单元确定当前编码的图像块；所述编码 方式确定单元确定当前图像块采用的编码方式，将采用视图间帧间预测编码 方式的信息，发送给所述视点差向量预测单元，将采用视图内帧间预测编码 方式的信息，发送给所述运动向量预测单元；所述视点差向量预测单元根据 得到的编码方式信息，预测当前图像块的视点差向量；所述运动向量预测单 元根据得到的编码方式信息，预测当前图像块的运动向量。如图ll所示，所述装置还可以进一步包括相邻图像块确定单元、图像块 向量信息获取单元。所述相邻图像块确定单元确定当前图像块的相邻图像块； 所述图像块向量信息获取单元用于获取所述相邻图像块所含有的向量信息。如图ll所示，该装置还可以进一步包括区域视点差向量计算单元。所述 区域视点差向量计算单元用于计算当前图像块所属区域的区域视点差向量；这 时，所述^L点差向量预测单元用于根据所述图像块向量信息获取单元所获取的 相邻图像块所含有的向量信息，确定当前图像块的相邻图像块仅含有运动向量信息，则将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差 向量预测值。如图ll所示，所述运动向量预测单元可以包括视点差向量预测值计算单 元、运动向量信息判断单元、时间点判断单元、预测单元。所述视点差向量预 测值计算单元4艮据所述图像块向量信息获取单元所获取的相邻图像块所含有的 向量信息，确定当前图像块的相邻图像块中仅含视点差向量信息，则计算当前 图像块的視点差向量预测值；所述运动向量信息判断单元判断当前图像块的视 点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块是否含 有MV信息，并将判断结果送给所述时间点判断单元和所述预测单元；所述时 间点判断单元确定从所述运动向量信息判断单元所得到的判断结杲为是，则判 断，所述视图间参考图像中的图像块的MV在参考视点中所指向的视图内帧间 参考图像，与在编码视点中当前编码图像的视图内帧间参考图像，是否在相同 的时间点上，并将判断结果送给所述预测单元；所述预测单元确定从所述运动 向量信息判断单元所得到的判断结果为否，则将当前图像块的运动向量预测值 置为零；或者确定从所述时间点判断单元所得到的判断结果为是，则将所述视 图间参考图像中的图像块的MV,作为当前图像块的运动向量预测值；或者确 定从所述时间点判断单元所得到的判断结果为否，则将所述视图间参考图像中 的图像块的MV，按规定比例作为当前图像块的运动向量预测值，或者将当前 图像块的运动向量预测值置为零。如图ll所示，该装置还可以进一步包括标准预测单元。所述标准预测单 元用于根据所述图像块向量信息获取单元所获取的相邻图像块所含有的向量信 息，确定当前图像块的相邻图像块中分别含有不同的向量，则使用H.264/AVC 标准中所规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。以上给出多视点视频编码端的实现方案，下面，给出多视点视频解码端的 实现方案。图12所示为本发明实施例中，在多视点视频解码中预测向量的流程图。 在多视点视频解码中，预测向量的步骤具体为步骤1201:确定当前图像块采用的解码方式，如果当前图像块采用与 视图间帧间预测编码方式相对应的解码方式，则执行步骤1202;如果当前 图像块采用与视图内帧间预测编码方式相对应的解码方式，则执行步骤 1203。步骤1202:预测当前图像块的DV。解码过程中预测DV的过程，与在编码过程中预测DV的过程相同，在 此不再详细介绍。需要注意的是，当预测DV时，需要当前图像块的区域视 点差向量，可从编码码流中获取得到。步骤1203:预测当前图像块的MV。解码过程中预测MV的过程，与在编码过程中预测MV的过程相同，在 此不再详细介绍。下面，介绍多视点视频编解码系统的结构。在多^f见点;亂频编解码系统，编码端可以包括编码中向量预测装置、编码 单元，解码端可以包括解码中向量预测装置、解码单元。所述编码中向量预测装置确定当前编码图像块采用的编码方式，当确定当 前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量，当 确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量； 所述编码单元用于利用所述编码中向量预测装置预测的向量，编码当前编码图 像块，并发送给解码端。所述解码中向量预测装置接收编码端发送的编码码流，确定当前解码图 像块采用的解码方式，当确定当前解码图像块采用与视图间帧间预测编码方 式相对应的解码方式时，预测当前图像块的视点差向量，当确定当前图像块 采用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运 动向量；所述解码单元利用所述解码中向量预测装置预测的向量，解码当前 解码图像块。以上所迷仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1. 一种在多视点视图编码中预测向量的方法，其特征在于，该方法包括确定当前图像块采用的编码方式；当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量；当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量。
2、 根据权利要求1所述的方法，其特征在于，所述预测当前图像块的视点 差向量的步骤包括判断当前图像块的相邻图像块是否仅含有运动向量信息，如果是，则获取 当前图像块所属区域的区域视点差向量，将当前图像块所属区域的区域视点差 向量，作为当前图像块的视点差向量预测值，否则，使用H.264/AVC标准中所 规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。
3、 根据权利要求2所述的方法，其特征在于，所述判断当前图像块的相邻 图像块是否仅含有运动向量信息为确定当前图像块的相邻图像块所采用的编码方式，如果相邻图像块都采用 视图内帧间预测编码方式，则确定当前图像块的相邻图像块仅含有运动向量信 息。
4、 根据权利要求2所述的方法，其特征在于，所述获取当前图像块所属区 域的区域视点差向量为对当前编码图像，计算针对参考图像的不同视图偏移情况下的平均绝对差值；根据所得到的平均绝对差值，确定编码图像的区域视点差向量； 根据编码图像的区域视点差向量，得到当前图像块所属区域的区域视点差 向量。
5、 根据权利要求1所述的方法，其特征在于，所述预测当前图像块的运动向量的步骤包括判断当前图像块的相邻图像块是否仅含有视点差向量信息，如果是，得到 当前图像块的视点差向量预测值，利用所得到的视点差向量预测值，计算运动 向量预测值；否则，使用H,264/AVC标准中所规定的运动向量预测方法，计算 得到当前图像块的运动向量预测值。
6、 根据权利要求5所述的方法，其特征在于，所述得到当前图像块的视点 差向量预测值为将所有相邻图像块的视点差向量的平均值作为当前图像块的 视点差向量预测值，或者，将一相邻图像块的视点差向量作为当前图像块的视 点差向量预测值。
7、 根据权利要求5所述的方法，其特征在于，所述利用所得到的视点差向 量预测值，计算运动向量预测值的步骤包括判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像 中所指向的图像块是否含有运动向量信息，如果含有，则利用所述视图间参考 图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值，否则， 将当前图像块的运动向量预测值置为零。
8、 根据权利要求7所述的方法，其特征在于，所述利用所述视图间参考图 像中的图像块的运动向量信息，得到当前图像块的运动向量预测值的步骤包括判断，所述视图间参考图像中的图像块的运动向量在参考视点中所指向的 视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像， 是否在相同的时间点上，如果在相同的时间点上，则将所述视图间参考图像中 的图像块的运动向量，作为当前图像块的运动向量预测值；如果不在相同的时 间点，则将所述视图间参考图像中的图像块的运动向量，按规定比例作为当前 图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为0。
9、 根据权利要求8所述的方法，其特征在于，所述规定比例为当前图像 块的视点差向量预测值，在当前编码图像的视图间参考图像中所指向的图像块 的运动向量所指向的参考视点中的视图内帧间参考图像的时间点，和当前图像 块的运动向量所指向的编码视点中的视图内帧间参考图像的时间点之间的比值。
10、 根据权利要求2所述的方法，其特征在于，当编码所述当前图像块时， 进 一 步编码当前图像块所属区域的区域视点差向量。
11、 根据权利要求IO所述的方法，其特征在于，所述编码当前图像块所属 区域的区域^L点差向量为将编码图像的所有区域视点差向量编码；将所述当前图像块所使用的区域视点差向量的索引编码。
12、 根据权利要求ll所述的方法，其特征在于，所述将编码图像的所有区 域视点差向量编码为按照区域视点差向量的模值从小到大的顺序，排列所有的区域视点差向量；对所有区域视点差向量的水平分量与垂直分量，分别进行一阶前向差分 编码。
13、 一种在多视点视图编码中预测向量的装置，其特征在于，该装置包括 当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预 测单元；其中，所述当前图像块确定单元用亍确定当前编码的图像块；所述编码方式确定单元用于确定当前图像块采用的编码方式，将采用视图 间帧间预测编码方式的信息，发送给所述视点差向量预测单元，将采用视图内 帧间预测编码方式的信息，发送给所述运动向量预测单元；所述视点差向量预测单元用于根据得到的编码方式信息，预测当前图像块 的视点差向量；所述运动向量预测单元用于根据得到的编码方式信息，预测当前图像块的 运动向量。
14、 根据权利要求13所述的装置，其特征在于，所述装置进一步包括相 邻图像块确定单元、图像块向量信息获取单元；所述相邻图像块确定单元用于确定当前图像块的相邻图像块:；所述图像块向量信息获取单元用于获取所述相邻图像块所含有的向量信息。
15、 根据权利要求14所述的装置，其特征在于，该装置进一步包括区域 视点差向量计算单元；所述区域-f见点差向量计算单元用于计算当前图像块所属区域的区域视点差 向量；所述视点差向量预测单元用于根据所述图像块向量信息获取单元所获取的 相邻图像块所含有的向量信息，确定当前图像块的相邻图像块仅含有运动向量 信息，则将当前图像块所属区域的区域视点差向量，作为当前图像块的视点差 向量预测值。
16、 根据权利要求14所述的装置，其特征在于，所述运动向量预测单元包 括视点差向量预测值计算单元、运动向量信息判断单元、时间点判断单元、 预测单元；所述视点差向量预测值计算单元用于根据所述图像块向量信息获取单元所 获取的相邻图像块所含有的向量信息，确定当前图像块的相邻图像块中仅含视 点差向量信息，则计算当前图像块的视点差向量预测值；所述运动向量信息判断单元用于判断当前图像块的视点差向量预测值，在 当前编码图像的视图间参考图像中所指向的图像块是否含有运动向量信息，并 将判断结果送给所述时间点判断单元和所述预测单元；所述时间点判断单元用于确定从所述运动向量信息判断单元所得到的判断 结果为是，则判断，所述视图间参考图像中的图像块的运动向量在参考视点中 所指向的视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参 考图像，是否在相同的时间点上，并将判断结果送给所述预测单元；所述预测单元用于确定从所述运动向量信息判断单元所得到的判断结果为 否，则将当前图像块的运动向量预测值置为零；或者用于确定从所述时间点判 断单元所得到的判断结果为是，则将所述视图间参考图像中的图像块的运动向 量，作为当前图像块的运动向量预测值；或者用于确定从所述时间点判断单元所得到的判断结果为否，则将所述视图间参考图像中的图像块的运动向量，按 规定比例作为当前图像块的运动向量预测值，或者将当前图像块的运动向量预 测值置为零。
17、 根据权利要求14所述的装置，其特征在于，该装置进一步包括标准 预测单元；所述标准预测单元用于根据所述图像块向量信息获取单元所获取的相邻图 像块所含有的向量信息，确定当前图像块的相邻图像块中分别含有不同的向量， 则使用R264/AVC标准中所规定的运动向量预测方法，计算得到当前图像块的 视点差向量预测值。
18、 一种在多视点视图解码中预测向量的方法，其特征在于，该方法包括 确定当前图像块采用的解码方式；当确定当前图像块采用与视图间帧间预测编码方式相对应的解码方式时， 预测当前图像块的视点差向量；当确定当前图像块采用与视图内帧间预测编码方式相对应的解码方式时， 预测当前图像块的运动向量。
19、 根据权利要求18所述的方法，其特征在于，所述预测当前图像块的视 点差向量的步骤包括判断当前图像块的相邻图像块是否仅含有运动向量信息，如果是，则获取 当前图像块所属区域的区域视点差向量，将当前图像块所属区域的区域视点差 向量，作为当前图像块的视点差向量预测值，否则，使用H.264/AVC标准中所 规定的运动向量预测方法，计算得到当前图像块的视点差向量预测值。
20、 根据权利要求19所述的方法，其特征在于，所述获取当前图像块所属 区域的区域^L点差向量为从编码码流中获取当前图像块所属区域的区域视点 差向量。
21、 根据权利要求18所述的方法，其特征在于，所述预测当前图像块的运 动向量的步骤包括判断当前图像块的相邻图像块是否仅含有视点差向量信息，如果是，得到当前图像块的视点差向量预测值，利用所得到的视点差向量预测值，计算运动向量预测值；否则，使用H.264/AVC标准中所规定的运动向量预测方法，计算 得到当前图像块的运动向量预测值。
22、 根据权利要求21所述的方法，其特征在于，所述利用所得到的视点差 向量预测值，计算运动向量预测值的步骤包括判断当前图像块的视点差向量预测值，在当前编码图像的视图间参考图像 中所指向的图像块是否含有运动向量信息，如果含有，则利用所述视图间参考 图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值，否则， 将当前图像块的运动向量预测值置为零。
23、 根据权利要求22所述的方法，其特征在于，所述利用所述视图间参考 图像中的图像块的运动向量信息，得到当前图像块的运动向量预测值的步骤包 括判断，所述视图间参考图像中的图像块的运动向量在参考视点中所指向的 视图内帧间参考图像，与在编码视点中当前编码图像的视图内帧间参考图像， 是否在相同的时间点上，如果在相同的时间点上，则将所述视图间参考图像中 的图像块的运动向量，作为当前图像块的运动向量预测值；如果不在相同的时 间点，则将所述视图间参考图像中的图像块的运动向量，按规定比例作为当前 图像块的运动向量预测值，或者将当前图像块的运动向量预测值置为0。
24、 一种多#见点#见频编解码系统，包括编码端和解码端；其特征在于，所 述编码端包括编码中向量预测装置、编码单元，所述解码端包括解码中向 量预测装置、解码单元；所述编码中向量预测装置用于确定当前编码图像块采用的编码方式，当确 定当前图像块釆用视图间帧间预测编码方式时，预测当前图像块的视点差向量， 当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向 量；所述编码单元用于利用所述编码中向量预测装置预测的向量，编码当前编 码图像块，并发送给解码端；所述解码中向量预测装置用于"l妄收编码端发送的编码码流，确定当前解码 图像块采用的解码方式，当确定当前解码图像块采用与视图间帧间预测编码方 式相对应的解码方式时，预测当前图像块的视点差向量，当确定当前图像块采 用与视图内帧间预测编码方式相对应的解码方式时，预测当前图像块的运动向量；所述解码单元用于利用所述解码中向量预测装置预测的向量，解码当前解 码图像块。
全文摘要
本发明公开了一种在多视点视图编码中预测向量的方法，该方法包括确定当前图像块采用的编码方式；当确定当前图像块采用视图间帧间预测编码方式时，预测当前图像块的视点差向量；当确定当前图像块采用视图内帧间预测编码方式时，预测当前图像块的运动向量。本发明还公开了一种在多视点视图编码中预测向量的装置，其特征在于，该装置包括当前图像块确定单元、编码方式确定单元、视点差向量预测单元、运动向量预测单元。本发明还公开了在多视点视图解码中预测向量的方法，多视点视图编解码系统。根据本发明公开的方法、装置和系统，能够改善视点差向量的预测以及运动向量的预测的精度，提高多视点视频的编码效率。
文档编号H04N7/26GK101222627SQ20071000457
公开日2008年7月16日 申请日期2007年1月9日 优先权日2007年1月9日
发明者常义林, 杨海涛, 林四新, 熊联欢, 霍俊彦 申请人:华为技术有限公司