一种多视编码过程中获取视差矢量的方法及编解码方法

文档序号:7959217阅读:271来源:国知局
专利名称:一种多视编码过程中获取视差矢量的方法及编解码方法
技术领域
本发明涉及多媒体领域中的图像编码技术,尤其涉及一种确定视差矢量的技术。
背景技术
在多视图像编码技术领域中,业界一直希望能够有效地利用不同视图像之间的相关性对图像进行编码。为此,提出了视差(Disparity)的概念,所述的视差是指同一个空间点在不同图象平面上的两个投影点之间的位移。
为获得准确的视差则需要进行相应的视差估值操作,所述的视差估值(Disparity estimation)是在一定的准则下寻找参考帧中与当前帧对应的象素或块的视差矢量的过程,所述的视差矢量即为需要确定的视差值。
目前,由于确定所述视差矢量的过程与传统单视视频编码中的确定运动矢量的运动估值过程类似,因此,目前ITU/MPEG组织的多视编码标准制定中,建议使用传统单视视频编码工具进行多视编码。其中,视差估值算法和传统单视视频编码中的运动估值采用的同样是基于块的搜索的方法实现。
然而,由于运动矢量是因物体和摄像机的运动导致,而视差矢量则是因摄像机位置的偏移导致,因此,视差矢量和运动矢量之间存在诸多的不同之处,使得采用运动矢量的确定方式无法确定准确的视差矢量。
首先,如果用于获得图像的摄像机满足平行设置和校正,则视差矢量是一个标量,而运动估值获得的运动矢量是二维的矢量;而且,对于单视的运动序列,运动矢量域具有时域的相关性,而视差矢量的预测值则与时域无关;因而,由于运动矢量与视差矢量的不同,若采用运动矢量的确定方式确定视差矢量将无法获得满意的视差矢量值。
而且,通常视差矢量的动态范围比较大,以大小为640×480像素的图像为例,在立体对中,水平位移在30-50个象素的情况可能会经常出现,有时甚至可达100个象素以上,而运动矢量则不会有如此大的动态范围;因此,由于视差矢量的动态范围比较大,若采用传统单视视频编码中的运动估值方法,则需要将搜索范围设得非常大,而且,无法保证会获得很好的效果。

发明内容
本发明的目的是提供一种多视编码过程中获取视差矢量的方法及编解码方法,从而可以令不同视之间的视差矢量估计更加精确,以有效提高多视编码的性能。
本发明的目的是通过以下技术方案实现的本发明提供了一种多视编码过程中获取视差矢量的方法,该方法应用于对至少三个多视图像进行处理,包括步骤确定所述多视图像编码过程中任意两个视之间的第一视差矢量;根据所述的第一视差矢量,以及各个视之间的相对位置信息,计算获得编码需要的两个视之间的第二视差矢量。
所述的方法具体包括在多个视中确定三个视,三个视中包括一个待编码的编码视和两个参考视,并确定三个视中任意两个视之间的第一视差矢量;之后,根据所述的第一视差矢量,以及三个视之间的相对位置信息,通过计算获得编码视和另外任意一个参考视之间的第二视差矢量。
所述的任意两个视之间的第一视差矢量为编码视和两个参考视中任一个参考视之间的视差矢量,或者,两个参考视之间的视差矢量。
所述的方法还包括步骤将所述第二视差矢量指向的参考视位置作为起始位置,在预先设定的范围内在参考视上根据预定的方式做视差估计,得到编码视与参考视之间新的视差矢量值。
所述的多个视之间为规则排列或不规则排列。
所述的规则排列为一字型,十字型排列或方阵型排列。
本发明还提供了一种基于视差矢量的多视编码方法,该方法应用于对至少三个多视图像进行处理,包括确定多视图像编码过程中的任意两个视之间的第一视差矢量;根据所述的第一视差矢量,以及各个视之间的相对位置信息,计算获得编码需要的两个视之间的第二视差矢量;根据所述的第二视差矢量对编码视进行编码并输出编码结果;将所述编码结果、所述的第一视差矢量及各视之间的相对位置信息编码后写入码流中,或者,将所述编码结果,以及第一视差矢量和第二视差矢量编码并写入码流。
本发明所述的方法中所述至少三个多视图像中一个为编码视,其余的为参考视;所述的第一视差矢量为所述编码视和所述其中一个参考视之间的视差矢量;所述第二视差矢量为编码视和另外一个参考视之间的视差矢量。
本发明所述的方法中,所述的根据所述的第二视差矢量对编码视进行编码并输出编码结果具体为将所述的第一视差矢量指向的参考视的对应像素和所述第二视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;
将编码视的原始值减去所述编码视的预测值,得到编码视的残差值,并对该残差值进行编码获得针对编码视的编码结果。
本发明所述的方法中所述至少三个多视图像中一个为编码视,其余的为参考视;所述的第一视差矢量为其中两个参考视之间的视差矢量;所述第二视差矢量包括分矢量第四视差矢量和第五视差矢量,其中所述的第四视差矢量为编码视和一个参考视之间的视差矢量;所述的第五视差矢量为编码视和另一个参考视之间的视差矢量。
本发明所述的方法中所述的根据所述的第二视差矢量对编码视进行编码并输出编码结果具体为将所述的第四视差矢量指向的参考视的对应像素和所述第五视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将编码视的原始值减去所述编码视的预测值,得到编码视的残差值,并对该残差值进行编码获得针对编码视的编码结果。
本发明还提供了一种基于视差矢量的多视解码方法,该方法在解码端实现,该方法应用于对至少三个多视图像进行处理,包括步骤接收码流,解析获取确定的任意两个视之间的第一视差矢量及各视之间的相对位置信息,根据所述第一视差矢量及各视之间的相对位置信息计算确定与编码端对应的编码需要的两个视之间的第二视差矢量;或者,由所述解码端在接收码流过程直接获得所述的第二视差矢量;利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值。
本发明所述的方法中所述至少三个多视图像中一个为编码视,其余的为参考视;
所述的第一视差矢量为所述编码视和所述其中一个参考视之间的视差矢量;所述第二视差矢量为编码视和另外一个参考视之间的视差矢量;且所述的利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值具体为将所述的第一视差矢量指向的参考视的对应像素和所述的第二视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将解码获得的编码视的残差值加上所述的编码视的预测值,得到编码视的重建值。
本发明所述的方法中所述至少三个多视图像中一个为编码视,其余的为参考视;所述第二视差矢量包括分矢量第四视差矢量和第五视差矢量,其中所述的第四视差矢量为编码视和一个参考视之间的视差矢量;所述的第五视差矢量为编码视和另一个参考视之间的视差矢量。
所述的利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值具体为将所述的第四视差矢量指向的参考视的对应像素和所述的第五视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将解码获得的编码视的残差值加上所述的编码视的预测值,得到编码视的重建值。
本发明还提供了一种多视编码过程中获取视差矢量的方法,该方法应用于对至少三个多视图像进行处理,包括步骤确定空间物体的深度信息,以及所述各个视之间的相对位置信息;利用所述的空间物体的深度信息和各个视之间的相对位置信息计算获得编码需要的两个视之间的视差矢量。
所述的方法还包括步骤
以所述的视差矢量指向位置为起始位置,在预先设定的范围内在参考视上根据预定的方式做视差估计,得到编码视与参考视之间新的视差矢量值。
本发明还提供了一种基于视差矢量的多视编码方法,该方法应用于对至少三个多视图像进行处理,包括步骤确定空间物体的深度信息,以及所述各个视之间的相对位置信息;利用所述的空间物体的深度信息和所述各个视之间的相对位置信息计算获得编码需要的两个视之间的视差矢量;利用所述的视差矢量对编码视进行编码并写入码流;同时,还对空间物体的深度信息和所述各视之间的相对位置信息进行编码并写入码流,或者,直接将所述的视差矢量编码并写入码流。
由述描述可知,本发明的有益效果如下本发明中由于考虑了不同摄像头之间的位置关系,并基于所述的位置关系确定编码过程中应用的视差矢量,所以使得不同视之间的视差矢量估计更为准确;视差矢量估计准确度的提高,可以有效提高针对多视图像编码的效果;视差矢量估计准确度的提高,使得图象编码过程的实现更为简便。


图1为视差矢量和物体深度信息和摄像头位置之间关系的原理示意图;图2为编码视和参考视之间的关系示意图一;图3为编码视和参考视之间的关系示意图二。
具体实施例方式
本发明的核心是提供编码过程中获取视差矢量的方法,可以通过利用摄像头之间的位置信息,达到精确计算各个视之间视差矢量的目的。
即由于在摄像机的位置固定情况下,视差矢量只决定于物体的深度(空间物体和摄像机之间的距离)和摄像机之间的位置关系。因此,本发明的核心思想是充分利用不同摄像头之间的位置信息,对视差矢量进行精确的计算,从而可以使得视差矢量作为多视编码过程中的较佳的编码参数。
如图1所示,图中的A,B,C为多视中的任意3个摄像头(也可以称为三个视)的位置,c1,c2和c3分别为这3个摄像头两两之间的距离。O为3个摄像头所拍摄的同一个空间物体。X轴为成像面。d1,d2,d3分别表示物体O在A视,B视和C视两两之间的视差矢量。
从图1中不难看出,3个摄像头两两之间的距离与对应的两两之间针对物理O的视差矢量之间存在着比例关系d1c1=d2c2=d3c3=DD+F,]]>虽然,这只是最简单的一个比例关系,但是通过这种简单的比例关系可以看出位置确定的各个视之间的视差矢量之间存在着某种固定的计算关系,因此,通过部分计算确定的两视之间的视差矢量结合各个视之间的相对位置信息便可以确定其他任意两视之间的视差矢量,从而使得视差矢量的获得过程更为简便。
例如,仍如图1所示,本发明可以利用各个摄像头之间的位置关系,在已知其中一个视差矢量di(i=1,2,3)的情况下,通过所述比例关系便可以计算出另外2个视差矢量值。
需要说明的是,基于对图1的分析可以看出,视差矢量和摄像头位置之间的比例关系同样适用于摄像头不在一条直线上的情况。此时,x和cx代表了一个平面,d1,d2和d3表示的是视差矢量的绝对值,c1,c2和c3则表示摄像头之间的绝对距离,各个视差矢量的方向则和摄像头分布的方向一致,此时,d1,d2和d3以及c1,c2和c3之间仍然存在着相应的固定的计算关系。同时,前面仅以采用三个摄像头为例对这种固定的计算关系进行说明,当摄像头的个数并大于3个时仍将存在相应的固定的计算关系。
本发明在具体应用过程中,所述的多个视之间可以为规则排列或不规则排列,即无论是规则排列还是不规则排列的多个视的应用场景均适用本发明。如果采用的规则排列方式则建议采用一字型、十字型排列或方阵型排列,当然也可以采用其他的规则排列方式。
基于上述分析,下面将对本发明的实现方法进行说明。
本发明提供的多视编码过程中获取视差矢量的方法,是在确定多视图像编码过程中的两个视之间的视差矢量后,根据所述的两个视之间的视差矢量,以及已知的各个视之间的相对位置信息,计算获得另外两个视之间的视差矢量;而且,所述的多个视之间为规则排列或不规则排列均适用本发明。
以多个视为三个视为例,三个视中包括一个待编码的编码视和两个参考视,此时,首先,确定三个视中任意两个视之间的视差矢量,可以为编码视和两个参考视中任一个参考视之间的视差矢量,也可以为两个参考视之间的视差矢量;之后,根据确定的任意两个视之间的视差矢量,以及三个视之间的相对位置,对编码视和另外任意一个参考视之间的视差矢量进行计算。
或者,在上述处理过程中,也可以利用已知的两个视之间的视差矢量,以及各个视之间的相对位置对各个视之间的视差矢量的估计值进行计算,并以获得的估计值指向的位置作为起始点进一步确定相应的视差矢量。下面将举个例子对该实现方式进行描述在编码端,首先,确定多视图像编码过程中的两个视之间的视差矢量,并根据所述的两个视之间的视差矢量,以及已知的各个视之间的相对位置信息,计算获得编码视和参考视之间的视差矢量;然后,以所得视差矢量指向的参考视位置作为起始位置,即作为一个参考位置,在一定范围内在参考视上根据设定的方式做视差估计,例如,以根据本发明所获得的视差矢量估计值为搜索窗中心点,在预定大小的搜索窗内进行类似运动估计的搜索,便可能获得匹配误差更小的视差矢量,得到一个更为精确的视差矢量值作为确定的编码视和参考视之间的视差矢量,根据该视差矢量对编码视进行编码,并将编码结果、确定的编码视和参考视之间的视差矢量编码后写入码流中。
在解码端,接收码流,解析获取确定的编码视和参考视之间的视差矢量;利用确定的编码视和参考视之间的视差矢量对码流进行解码,获得编码端的编码视对应的重建值。
需要说明的是,在这种需要做进一步视差估计的情况下,不需要再传送各视之间的相对位置信息到解码端,这是因为直接把确定的编码视和参考视之间的视差矢量传给了解码端,所以不需要再根据位置信息去计算它。
由于多视中各视之间的视差矢量与各视的相对位置信息存在着某种特定的计算关系,因此,在本发明提供的多视编码过程中,还可以利用已知的空间物体的深度信息,以及各个摄像头之间的位置关系,对各个视之间的视差矢量进行计算;或者,利用已知的空间物体的深度信息,以及各个摄像头之间的位置关系,对各个视之间的视差矢量的估计值进行计算,并以得到的估计值指向位置为起始点,进行进一步的视差估计。下面将举个例子对这种部分描述的实现方式进行说明在编码端,首先,如图1所示,确定多视图像编码过程中物体的深度D,根据已知的各个视之间的相对位置信息,计算获得编码视和参考视之间的视差矢量,例如图1中,视差矢量d1=c1*DD+F;]]>然后,以所得视差矢量指向的参考视位置作为起始中心位置,在一定范围内在参考视上做视差估计,得到一个更为精确的视差矢量值作为确定的编码视和参考视之间的视差矢量,根据该视差矢量对编码视进行编码,将编码结果、确定的编码视和参考视之间的视差矢量编码后写入码流中。
在解码端,接收码流,解析获取确定的编码视和参考视之间的视差矢量;利用确定的编码视和参考视之间的视差矢量对码流进行解码,获得编码端的编码视对应的重建值。
需要说明的是,在上述应用举例中,如果不做进一步视差估计的话,则需要将已知的物体深度信息和摄像头位置信息传递到解码端,解码端收到深度信息和摄像头位置信息后,再对视差矢量进行计算,之后根据视差矢量进行进一步的解码工作;或者,在编码端也可以将编码过程中应用的视差矢量信息直接编码写入码流中,之后,在解码端直接可以解析获得相应的视差矢量信息,并利用其进行解码操作。
本发明基于上述视差矢量获得方式,还提供了一种基于视差矢量的多视编解码方法。
在编码端,首先,确定多视图像编码过程中的两个视之间的视差矢量,并根据所述的两个视之间的视差矢量,以及已知的各个视之间的相对位置信息,计算获得另外两个视之间的视差矢量;然后,根据所述的另外两个视之间的视差矢量对编码视进行编码,将编码结果、确定的两个视之间的视差矢量及各视之间的相对位置信息编码后写入码流中。
在解码端,接收码流,解析获取确定的两个视之间的视差矢量及各视之间的相对位置信息;并根据确定的视差矢量及各视之间的相对位置信息计算确定与编码端对应的另外两个视之间的视差矢量,再利用所述的另外两个视之间的视差矢量对码流进行解码,获得编码端的编码视对应的重建值。
前面对本发明的实现原理进行了分析,下面将结合附图对本发明所述的方法的一种具体实现进行详细说明。
仍参照图1所示,A,B,C为多视中的任意3个摄像头的位置,c1,c2和c3分别为这3个摄像头两两之间的距离。O为3个摄像头所拍摄的同一个空间物体。X轴为成像面。d1,d2,d3分别表示物体O在A视,B视和C视两两之间的视差矢量。
在本发明提供的这一具体实施例中,如图2所示,B视为当前要编码的视,称为编码视。A视和C视为B视的参考视。对B视的图像编码以块为单位进行,块的大小为M×N(M=16,8,4,N=16,8,4),B视图像共有R个块,编码顺序从左到右,从上到下。
利用本发明提供的获得视差矢量的方法进行多视编码的实现过程具体包括以下处理步骤步骤31对编码视和其中一个参考视1(即A视或C视)之间进行视差估值,得到这2个视之间的视差矢量1(即d1或d2);步骤32步骤31得出的视差矢量1,以及已经的各个摄像头之间的位置关系,对编码视和另外一个参考视2(C视或A视)之间的视差矢量2(即d2或d1)进行计算;步骤33将步骤31所得视差矢量1指向的参考视1中的对应像素和步骤32所得视差矢量2指向的参考视2中的对应像素加权相加得到编码视的预测值;步骤34将编码视的原始值减去步骤323得到的编码视的预测值,得到编码视的残差值,对残差值进行变换、编码,写入码流;对摄像头位置信息和视差矢量1进行编码并写入码流。
基于上述编码过程,对应的解码过程具体包括步骤35首先解析编码码流,得到编码视的残差值;步骤36解析编码码流,得到摄像头位置信息以及编码视和其中一个参考视1之间视差矢量1;步骤37利用步骤36得出的视差矢量1,以及各个摄像头之间的位置关系,对编码视和另外一个参考视2之间的视差矢量2进行计算;步骤38将步骤36所得视差矢量1指向的参考视1中的对应像素和步骤37所得视差矢量2指向的参考视2中的对应像素加权相加得到编码视的预测值;步骤39将编码视的残差值加上步骤38得到的编码视的预测值,得到编码视的重建值。
为便于对本发明有进一步的理解,下面将结合附图对本发明提供的方法的另一个具体实施方式
进行说明。
仍以图1为例,图中A,B,C为多视中的任意3个摄像头的位置,c1,c2和c3分别为这3个摄像头两两之间的距离。O为3个摄像头所拍摄的同一个空间物体。X轴为成像面。d1,d2,d3分别表示物体O在A视,B视和C视两两之间的视差矢量。
在该实施例中,如图3所示,B视为当前要编码的视,称为编码视。A视和C视为B视的参考视,C视以A视为参考,已经完成编码,且A视和C视间的视差矢量d3已经得出。对B视的图像编码以块为单位进行,块的大小为M×N(M=16,8,4,N=16,8,4),B视图像共有R个块。编码顺序从左到右,从上到下。
利用本发明提供的获得视差矢量的方法实现多视编码中的直接模式具体包括以下处理步骤步骤51利用已知的2个参考视A和C之间的视差矢量,以及各个摄像头之间的位置关系,对编码视和参考视A之间的视差矢量d1进行计算;步骤52利用已知的2个参考视之间的视差矢量,以及各个摄像头之间的位置关系,对编码视和参考视C之间的视差矢量d2进行计算;步骤53将步骤51得到的所述视差矢量d1指向的参考视A中的对应像素和步骤52所得视差矢量d2指向的参考视C中的对应像素加权相加得到编码视的预测值;步骤54将编码视的原始值减去步骤53中得到的编码视的预测值,得到编码视的残差值,对残差值进行变换、编码,写入码流;对摄像头位置信息和2个参考视之间的视差矢量d3进行编码并写入码流。
与上述编码处理过程对应的解码过程,具体包括步骤55首先解析接收到的编码码流,得到编码视的残差值;
步骤56解析所述的编码码流,得到摄像头位置信息以及编码视和2个参考视之间视差矢量;步骤57利用步骤56得出的2个参考视之间的视差矢量,以及各个摄像头之间的位置关系,对编码视和参考视A之间的视差矢量d1进行计算;步骤58利用步骤56得出的2个参考视之间的视差矢量,以及各个摄像头之间的位置关系,对编码视和参考视C之间的视差矢量d2进行计算;步骤59将步骤57中计算获得的视差矢量d1指向的参考视A中的对应像素和步骤58所得视差矢量d2指向的参考视C中的对应像素加权相加得到编码视的预测值;步骤510将编码视的残差值加上步骤59得到的编码视的预测值,得到编码视的重建值。
综上所述,本发明可以很好地利用用于获取图像的各个摄像头之间的相对位置信息计算获得多视编码过程中需要的视差矢量信息,从而提高多视编码的性能,并简化多视编码的处理过程。
以上所述,仅为本发明较佳的具体实施方式
,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
权利要求
1.一种多视编码过程中获取视差矢量的方法,该方法应用于对至少三个多视图像进行处理,其特征在于,包括步骤确定所述多视图像编码过程中任意两个视之间的第一视差矢量;根据所述的第一视差矢量,以及各个视之间的相对位置信息,计算获得编码需要的两个视之间的第二视差矢量。
2.根据权利要求1所述的方法,其特征在于,所述的方法具体包括在多个视中确定三个视,三个视中包括一个待编码的编码视和两个参考视,并确定三个视中任意两个视之间的第一视差矢量;之后,根据所述的第一视差矢量,以及三个视之间的相对位置信息,通过计算获得编码视和另外任意一个参考视之间的第二视差矢量。
3.根据权利要求2所述的方法,其特征在于,所述的任意两个视之间的第一视差矢量为编码视和两个参考视中任一个参考视之间的视差矢量,或者,两个参考视之间的视差矢量。
4.根据权利要求2所述的方法,其特征在于,所述的方法还包括步骤将所述第二视差矢量指向的参考视位置作为起始位置,在预先设定的范围内在参考视上根据预定的方式做视差估计,得到编码视与参考视之间新的视差矢量值。
5.根据权利要求1、2、3或4所述的方法,其特征在于,所述的多个视之间为规则排列或不规则排列。
6.根据权利要求5所述的方法,其特征在于,所述的规则排列为一字型,十字型排列或方阵型排列。
7.一种基于视差矢量的多视编码方法,该方法应用于对至少三个多视图像进行处理,其特征在于,包括确定多视图像编码过程中的任意两个视之间的第一视差矢量;根据所述的第一视差矢量,以及各个视之间的相对位置信息,计算获得编码需要的两个视之间的第二视差矢量;根据所述的第二视差矢量对编码视进行编码并输出编码结果;将所述编码结果、所述的第一视差矢量及各视之间的相对位置信息编码后写入码流中,或者,将所述编码结果,以及第一视差矢量和第二视差矢量编码并写入码流。
8.根据权利要求7所述的方法,其特征在于所述至少三个多视图像中一个为编码视,其余的为参考视;所述的第一视差矢量为所述编码视和所述其中一个参考视之间的视差矢量;所述第二视差矢量为编码视和另外一个参考视之间的视差矢量。
9.根据权利要求7或8所述的方法,其特征在于所述的根据所述的第二视差矢量对编码视进行编码并输出编码结果具体为将所述的第一视差矢量指向的参考视的对应像素和所述第二视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将编码视的原始值减去所述编码视的预测值,得到编码视的残差值,并对该残差值进行编码获得针对编码视的编码结果。
10.根据权利要求7所述的方法,其特征在于所述至少三个多视图像中一个为编码视,其余的为参考视;所述的第一视差矢量为其中两个参考视之间的视差矢量;所述第二视差矢量包括分矢量第四视差矢量和第五视差矢量,其中所述的第四视差矢量为编码视和一个参考视之间的视差矢量;所述的第五视差矢量为编码视和另一个参考视之间的视差矢量。
11.根据权利要求7或10所述的方法,其特征在于所述的根据所述的第二视差矢量对编码视进行编码并输出编码结果具体为将所述的第四视差矢量指向的参考视的对应像素和所述第五视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将编码视的原始值减去所述编码视的预测值,得到编码视的残差值,并对该残差值进行编码获得针对编码视的编码结果。
12.一种基于视差矢量的多视解码方法,该方法在解码端实现,该方法应用于对至少三个多视图像进行处理,其特征在于,包括步骤接收码流,解析获取确定的任意两个视之间的第一视差矢量及各视之间的相对位置信息,根据所述第一视差矢量及各视之间的相对位置信息计算确定与编码端对应的编码需要的两个视之间的第二视差矢量;或者,由所述解码端在接收码流过程直接获得所述的第二视差矢量;利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值。
13.根据权利要求12所述的方法,其特征在于所述至少三个多视图像中一个为编码视,其余的为参考视;所述的第一视差矢量为所述编码视和所述其中一个参考视之间的视差矢量;所述第二视差矢量为编码视和另外一个参考视之间的视差矢量;且所述的利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值具体为将所述的第一视差矢量指向的参考视的对应像素和所述的第二视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将解码获得的编码视的残差值加上所述的编码视的预测值,得到编码视的重建值。
14.根据权利要求12所述的方法,其特征在于所述至少三个多视图像中一个为编码视,其余的为参考视;所述第二视差矢量包括分矢量第四视差矢量和第五视差矢量,其中所述的第四视差矢量为编码视和一个参考视之间的视差矢量;所述的第五视差矢量为编码视和另一个参考视之间的视差矢量。
15.根据权利要求12或14所述的方法,其特征在于所述的利用所述的第二视差矢量对码流进行解码,获得编码端的编码视对应的重建值具体为将所述的第四视差矢量指向的参考视的对应像素和所述的第五视差矢量指向的参考视的对应像素加权相加得到编码视的预测值;将解码获得的编码视的残差值加上所述的编码视的预测值,得到编码视的重建值。
16.一种多视编码过程中获取视差矢量的方法,该方法应用于对至少三个多视图像进行处理,其特征在于,包括步骤确定空间物体的深度信息,以及所述各个视之间的相对位置信息;利用所述的空间物体的深度信息和各个视之间的相对位置信息计算获得编码需要的两个视之间的视差矢量。
17.根据权利要求16所述的方法,其特征在于,所述的方法还包括步骤以所述的视差矢量指向位置为起始位置,在预先设定的范围内在参考视上根据预定的方式做视差估计,得到编码视与参考视之间新的视差矢量值。
18.一种基于视差矢量的多视编码方法,该方法应用于对至少三个多视图像进行处理,其特征在于,包括步骤确定空间物体的深度信息,以及所述各个视之间的相对位置信息;利用所述的空间物体的深度信息和所述各个视之间的相对位置信息计算获得编码需要的两个视之间的视差矢量;利用所述的视差矢量对编码视进行编码并写入码流;同时,还对空间物体的深度信息和所述各视之间的相对位置信息进行编码并写入码流,或者,直接将所述的视差矢量编码并写入码流。
全文摘要
本发明涉及一种多视编码过程中获取视差矢量的方法及编解码方法。本发明主要包括确定多视图像编码过程中的两个视之间的视差矢量,并根据所述的两个视之间的视差矢量,以及已知的各个视之间的相对位置信息,计算获得另外两个视之间的视差矢量。之后,利用所述的视差矢量进行多视编解码操作。本发明所述的方法一方面很好地利用视差矢量和空间物体深度信息的相关性,另一方面很好地利用了视差矢量和各个摄像头之间位置的直接关系,实验证明在多视编码过程中可以精确地计算各个视之间的视差矢量,从而可以有效提高多视编码的性能。
文档编号H04N7/32GK101056398SQ20061007097
公开日2007年10月17日 申请日期2006年3月29日 优先权日2006年3月29日
发明者何芸, 朱刚, 杨平, 孟新建, 郑建铧 申请人:清华大学, 华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1