专利名称：一种多视编解码的方法及装置的制作方法
技术领域：
本发明涉及多媒体领域中的图像编码技术，尤其涉及一种多视编解码技术。
背景技术：
在多视图像编码技术领域中，业界一直希望能够有效地利用不同视图像
之间的相关性对图像进行编码。为此，提出了视差(Disparity)的概念，所 述的视差是指同一个空间点在不同图象平面上的两个投影点之间的位移。
为获得准确的视差则需要进行相应的视差估值操作，所述的视差估值 (Disparity estimation )是在一定的准则下寻找参考帧中与当前帧对应的象 素或块的视差矢量的过程，所述的视差矢量即为需要确定的视差值。
目前，不同视之间的视差矢量，与不同视之间的摄像头位置参数之间， 存在密切关系。有效的利用各个视摄像头的位置信息，可以更为准确的对视 差矢量进行估值操作，从而提高编解码效率。
然而，目前还没有一种技术方案可以使解码端能够准确获得相应的视差 矢量，以便于进行相应的解码操作，从而提高编解码效率。
发明内容
本发明的目的是提供一种多视编解码的方法及装置，从而可以令解码端 可以获得摄像头位置参数信息，进而有效提高多视编解码的效率。 本发明的目的是通过以下技术方案实现的
本发明提供了一种多视编解码的方法，包括
在编码端，根据各视之间的视差矢量对各个视进行编码，且还获取多个 视对应的用于表示各个摄像头位置信息的摄像头位置参数信息，并对所述的 摄像头位置参数信息进行编码，并写入码流中；
在解码端，接收编码端发来的码流，并进行解码操作，获得码流中的摄 像头位置参数信息，根据所述的摄像头位置参数信息确定各个视之间的视差 矢量信息，并利用所述的视差矢量进行解码处理。
所述的方法还包括在码流中写入标志信息，所述标志信息用于标识是 否在码流中写入了包括编码视和参考视的各个视对应的各个摄像头的位置参 数信息。
所述的方法还包括在码流中预定的位置写入的所述标志信息为1比特数据。
所述的方法还包括
在所述的码流中，写入标志信息之后，在码流中的预定位置写入各个摄 像头位置参数信息作为所述的各个视之间的相对位置信息。 所述的方法还包括
在码流中包含的各个视的编码图像对应的各个视的码流位置之前，分别 写入当前视的摄像头位置参数信息； 或者，
在码流中所有的各个视的编码图像对应的各个视的码流位置之前，集中 写入各个视的摄像头位置参数信息。 所述的方法还包括
将各个视摄像头的绝对位置坐标作为其对应的摄像头位置参数信息，并 对其进行熵编码，并写入码流； 或者，
将任一个摄像头的位置作为坐标原点，确定各个相邻视摄像头的相对位 置坐标作为各摄像头的位置参数信息，并对其进行熵编码，写入码流。
所述的获得码流中的摄像头位置参数信息的处理包括
在解码端，若解码获得用千标识是否在码流中写入了包括编码视和参考
视的各个视之间的相对位置信息的标志信息，则对码流中预定的位置的信息
进行解码获得相应的摄像头位置参数信息。 所述的方法还包括
根据解码获得的所述的摄像头位置参数信息计算确定各个视之间的视差 矢量，并根据所述的视差矢量对接收的码流继续进行解码操作。
本发明还提供了一种多视编码装置，设置于编码端，且包括
摄像头参数获取单元，用于获取多个视对应的用于表示各个摄像头位置 信息的摄像头位置参数信息；
摄像头参数编码单元，用于对所述的摄像头位置参数信息进行编码，并 写入码流中。
所述的装置还包括
标志信息写入单元，用于在码流中写入标志信息，所述标志信息用于标 识是否在码流中写入了包括编码视和参考视的各个视对应的各个摄像头的位 置参数信息。
所述的摄像头参数编码单元具体包括
将各个视摄像头的绝对位置坐标作为其对应的摄像头位置参数信息，并 对其进行熵编码，并写入码流；
将任一个摄像头的位置作为坐标原点，确定各个相邻视摄像头的相对位 置坐标作为各摄像头的位置参数信息，并对其进行熵编码，写入码流。 本发明还提供了一种多视解码装置，设置于解码端，且包括
摄像头参数解码单元，用于对接收编码端发来的码流进行解码操作，获 得码流中的摄像头位置参数信息。 所述的装置还包括
标志信息解码单元，用于在接收的码流中解码获得用于标识是否在码流 中写入了包括编码视和参考视的各个视之间的相对位置信息的标志信息，并 在获得所述标志信息后，触发所述的摄像头参数解码单元。
所述的装置还包括
视差矢量确定单元，用于根据解码获得的所述的摄像头位置参数信息计
算确定各个视之间的视差矢量，并传递给解码单元；
解码单元，用于根据所述的视差矢量对接收的码流进行后续解码操作。 由上述描述可知，本发明中还对多视编码的各个摄像头位置信息进行编
码并传输到解码端，使得在解码端可以利用各个摄像头相互位置关系(即摄
像头位置参数信息)确定不同视之间在编码时采用的视差矢量，以便进行解 码处理，故本发明还可以提高多视编码的性能，并简化多视编码的处理过 程。
图1为视差矢量和物体深度信息和摄像头位置之间关系的原理示意图； 图2为本发明提供的编解码装置的具体实现结构示意图； 图3为编码视和参考视之间的关系示意图一； 图4为编码视和参考视之间的关系示意图二 。
具体实施例方式
由于多视编码中，各个视摄像头之间的相互位置关系(即摄像头位置参 数信息)与各个视之间的视差矢量之间密切相关。因此，本发明的核心是提
供编解码过程中解码端获取各个视的相对位置信息，即获得相应的摄像头位 置参数信息的实现方案，从而使得解码端可以通过利用摄像头位置参数信息 精确计算各个视的视差矢量，从而提高编解码效率。
如图1所示，图中的A, B, C为多视中的任意3个摄像头(也可以称为三 个视)的位置，c1、 c2和c3分别为这3个摄像头两两之间的距离。0为3个摄 像头所拍摄的同一个空间物体。X轴为成像面。d1， d2, d3分别表示物体0 在A视，B视和C视两两之间的视差矢量。
从图1中不难看出，3个摄像头两两之间的距离与对应的两两之间针对物 体O的视差矢量之间存在着比例关系，虽然，这只是最简单的一个比例关 系，但是通过这种简单的比例关系可以看出位置确定的各个视之间的视差
矢量之间存在着固定的计算关系，如丑=^ = ^ = !等，当然还可以利用
clc2c3D + F
图1所示的各个视之间客观存在的其他数学计算关系，根据各摄像头位置参 数信息计算确定各个视之间的视差矢量，因此，通过部分计算确定的两视之 间的视差矢量，结合各个视之间的相对位置信息便可以确定其他任意两视之 间的视差矢量，从而使得视差矢量的获得过程更为简便。
视差矢量的相互关系和摄像头相互位置关系之间的联系使得在编码过程
中传输摄像头位置参数成为编码的一个必要操作。例如，图1中的c1, c2和 c3便可以作为相应的摄像头位置参数信息传递给解码端。
下面将对本发明的具体实现过程相应的编码端和解码端的具体实现进行 详细i兌明。
首先，对本发明在编码端的具体改进进行说明。
在编码端，获取多个视对应的用于表示各个摄像头位置信息的摄像头位 置参数信息，之后，对所述的摄像头位置参数信息进行编码，并写入码流 中。
本发明中，还可以通过在多^见编码的码流中写入特定的标志信息的方法
表示在码流中写入了所述的相对位置信息；即通过在码流中写入特定的标志 信息，用以区分是否在码流中写入了包括编码视和参考视的各个视对应的各 个摄像头的摄像位置参数信息，以便解码端识别码流中是否存在摄像头位置 参数信息，从而可以解码获得相应的摄像头位置参数信息；
所述的标志信息具体可以在编码时写入到码流中特定位置，例如，可以 写在起始码之后，当然，也可以写入其他特定位置，以便于解码端可以在对 应位置解出所述的标志信息；
所述的标志信息可以是用于标示码流中是否存在摄像头位置参数的1比特 数据，也可以是其他包含同样信息的不同表示形式的标志；
需要说明的是，在编码端，如果码流中存在用于表示是否在码流中写入 摄像头位置参数信息的标志信息，则在写入所述标志信息之后，在码流的特 定位置，写入相应的摄像头位置参数信息；所述的码流的特定位置可以为码 流中第一个编码图象之前，也可以是编码码流中的任意位置，只要满足在解 码器需要利用到摄像机参数之前能够解码完成即可。
在编码端，相应的编码码流包含有各个视的编码图像的相关信息。在各 个视所对应的码流位置之前，例如各个视第一个编码图象的图象头中，可以 分别写入当前视对应的摄像头位置参数信息。
本发明中，所述的摄像头位置参数信息包括摄像头的绝对位置信息和摄 像头的相对位置信息，即可以将对各个视摄像头的绝对位置坐标作为摄像头 位置信息进行熵编码(如一元码等)，并将相应的编码结果写入码流；或 者，取其中某个摄像头的位置为坐标原点，将各个相邻视摄像头的相对位置 坐标作为相应摄像头的位置参数信息进行熵编码(如一元码等)，并将相应 的编码结果写入码流。
写入码流的摄像头位置参数信息将随着码流一起发送给解码端。
基于上述多视编码方法，本发明还提供了一种多视编码装置，该装置设
置于编码端，其具体实现结构如图2所示，具体包括以下各处理单元
摄像头参数获取单元，用于获取多个视对应的用于表示各个摄像头位置 信息的摄像头位置参数信息；
摄像头参数编码单元，用于对所述的摄像头位置参数信息进行编码，并 写入码流中，且所述的摄像头参数编码单元具体包括以下两种编码单元
第一种编码单元，用于将各个视摄像头的绝对位置坐标作为其对应的摄 像头位置参数信息，并对其进行熵编码，并写入码流；
第一种编码单元，用于将任一个摄像头的位置作为坐标原点，确定各个 相邻视摄像头的相对位置坐标作为各摄像头的位置参数信息，并对其进行熵 编石马，写入石马;充。
本发明所述的装置还可以包括标志信息写入单元
所述的标志信息写入单元，用于在码流中写入用于标识是否在码流中写 入了包括编码视和参考视的各个视对应的各个摄像头的位置参数信息的标志 信息；通过该单元写入的标志信息，解码端可以获知码流中是否包含所述的 摄像头位置参数信息，以便于快速进行解码。
其次，再对本发明在解码端的具体改进进行说明。
在解码端，接收编码端发来的码流，解码获得相应的摄像头位置参数信
自
由于在编码端已经将所述的各视之间的相对位置信息写入码流中，故在 在解码端可以解码获得相应的信息，即如果解码获得所述的表示码流中存在 摄像头位置参数信息的标志信息，则在码流对应的特定位置便可以解码出摄 像头位置参数信息，以便于根据所述的摄像头位置参数信息作为各视之间的 相对位置信息计算确定解码过程中需要的相应视差矢量，例如可以但不限于
利用各个视之间的计算关系<formula>formula see original document page 12</formula>等计算确定相应的视差矢量。
本发明还提供的一种多视解码装置，该装置设置于解码端，其具体实现 结构仍如图2所示，具体包4舌以下处理单元
摄像头参数解码单元，用于对接收编码端发来的码流进行解码操作，获 得码流中的摄像头位置参数信息。
另外，由于在编码端还可能写入所述的标志信息，故该多视解码装置还 需要包括标志信息解码单元
所述的标志信息解码单元用于在接收的码流中解码获得用于标识是否在
息，并在获得所述标志信息后，触发所述的摄像头参数解码单元。
在解码端，获得所述的摄像头位置参数信息的主要目的是为了确定相应
的视差矢量，进而利用所述视差矢量进行解码操作，故本发明提供的多视解
码装置还包括以下两个处理单元
视差矢量确定单元，用于根据解码获得的所述的摄像头位置参数信息计
算确定各个视之间的视差矢量，并传递给解码单元；
解码单元，用于根据所述的视差矢量对接收的码流进行后续解码操作。
从上述本发明提供的实现方案可以看出，本发明实现的关键是将摄像头 位置参数信息编码后写入码流中。为便于对本发明的理解，下面将对该过程 的具体实现方式进行详细说明。
本发明中，以多视编码中各个视的摄像头在同一平面上分布为例，如图3 和图4所示，图中的A, B， C分别为多视中的任意3个摄像头(也可以称为三 个视)，对应的各个摄像头坐标分别为A: (XA， YA) ， B: ( XB, YB )和C: (Xc' Yc);
将所述的A， B, C各个摄像头位置参数信息编码并写入码流中具体可以
采用以下两种实现方式
(1 )分散在各个视进行摄像头参数编码
具体包括对各个摄像头的绝对坐标进行编码，或者，将所有位置坐标统 一减去某个视的位置坐标(相对坐标)，即采用摄像头的相对位置信息作为 摄像头位置参数信息；
以采用摄像头的相对位置信息作为摄像头位置参数信息为例，如图3所 示，具体的编码包括在摄像头A对应视的第一个编码图象的图象头中写入 摄像头A的位置坐标(XA, YA)(或者(0， 0));在摄像头B对应视的第一 个编码图象的图象头中写入B的位置坐标(XB， YB)(或者(XB-XA,YB-YA));在摄像头C对应视的第一个编码图象的图象头中写入C的位置坐标 (Xc， Yc )(或者(Xc-Xa,Yc-Ya ));
(2)所有摄像头位置参数集中在一处进行编码
同样，在该编码方式下仍然包括对各个摄像头的绝对坐标进行编码，或 者，将所有位置坐标统一减去某个视的位置坐标(相对坐标)，即采用摄像 头的相对位置信息作为摄像头位置参数信息；
仍以采用摄像头的相对位置信息作为摄像头位置参数信息为例，如图4所 示，在图4中对各个相邻摄像头的相对位置坐标进行编码包括写入摄像头A 的位置坐标(XA， YA);写入摄像头B的位置坐标(XB-XA，YB-YA );写入摄 像头C的位置坐标(Xc- XB, Yc- XB)。
综上所述，本发明还可以有效的对各个视摄像头的位置参数信息进行编 码和传输，从而提高多视编码的性能，并简化多视编码的处理过程。
以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可 轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明 的保护范围应该以权利要求的保护范围为准。
权利要求
1、一种多视编解码的方法，其特征在于，包括在编码端，根据各视之间的视差矢量对各个视进行编码，且还获取多个视对应的用于表示各个摄像头位置信息的摄像头位置参数信息，并对所述的摄像头位置参数信息进行编码，并写入码流中；在解码端，接收编码端发来的码流，并进行解码操作，获得码流中的摄像头位置参数信息，根据所述的摄像头位置参数信息确定各个视之间的视差矢量信息，并利用所述的视差矢量进行解码处理。
2、 根据权利要求1所述的方法，其特征在于，所述的方法还包括 在码流中写入标志信息，所述标志信息用于标识是否在码流中写入了包括编码视和参考视的各个视对应的各个摄像头的位置参数信息。
3、 根据权利要求2所述的方法，其特征在于，所述的方法还包括 在码流中预定的位置写入的所述标志信息为1比特数据。
4、 根据权利要求2所述的方法，其特征在于，所述的方法还包括 在所述的码流中，写入标志信息之后，在码流中的预定位置写入各个摄像头位置参数信息作为所述的各个视之间的相对位置信息。
5、 根据权利要求1所述的方法，其特征在于，所述的方法还包括 在码流中包含的各个视的编码图像对应的各个视的码流位置之前，分别写入当前视的摄像头位置参数信息；或者,在码流中所有的各个视的编码图像对应的各个视的码流位置之前，集中 写入各个视的摄像头位置参数信息。
6、 根据权利要求1至5任一项所述的方法，其特征在于，所述的方法还 包括 将各个视摄像头的绝对位置坐标作为其对应的摄像头位置参数信息，并对其进行熵编码，并写入码流； 或者，将任一个摄像头的位置作为坐标原点，确定各个相邻视摄像头的相对位 置坐标作为各摄像头的位置参数信息，并对其进行熵编码，写入码流。
7、 根据权利要求1至5任一项所述的方法，其特征在于，所述的获得码 流中的摄像头位置参数信息的处理包括在解码端，若解码获得用于标识是否在码流中写入了包括编码视和参考 视的各个视之间的相对位置信息的标志信息，则对码流中预定的位置的信息 进行解码获得相应的摄像头位置参数信息。
8、 根据权利要求7所述的方法，其特征在于，所述的方法还包括 根据解码获得的所述的摄像头位置参数信息计算确定各个视之间的视差矢量，并根据所述的视差矢量对接收的码流继续进行解码操作。
9、 一种多视编码装置，设置于编码端，其特征在于，包括 摄像头参数获取单元，用于获取多个视对应的用于表示各个摄像头位置信息的摄像头位置参数信息；摄像头参数编码单元，用于对所述的摄像头位置参数信息进行编码，并 写入码流中。
10、 根据权利要求9所述的装置，其特征在于，所述的装置还包括 标志信息写入单元，用于在码流中写入标志信息，所述标志信息用于标识是否在码流中写入了包括编码视和参考视的各个视对应的各个摄像头的位 置参数信息。
11、 根据权利要求9或10所述的装置，其特征在于，所述的摄像头参数 编码单元具体包括将各个视摄像头的绝对位置坐标作为其对应的摄像头位置参数信息，并 对其进行熵编码，并写入码流；将任一个摄像头的位置作为坐标原点，确定各个相邻视撮像头的相对位 置坐标作为各摄像头的位置参数信息，并对其进行熵编码，写入码流。
12、 一种多视解码装置，设置于解码端，其特征在于，包括 摄像头参数解码单元，用于对接收编码端发来的码流进行解码操作，获得码流中的摄像头位置参数信息。
13、 根据权利要求12所述的装置，其特征在于，所述的装置还包括 标志信息解码单元，用于在接收的码流中解码获得用于标识是否在码流中写入了包括编码视和参考视的各个视之间的相对位置信息的标志信息，并 在获得所述标志信息后，触发所述的摄像头参数解码单元。
14、 根据权利要求12或13所述的方法，其特征在于，所述的装置还包括视差矢量确定单元，用于根据解码获得的所述的摄像头位置参数信息计 算确定各个视之间的视差矢量，并传递给解码单元；解码单元，用于根据所述的视差矢量对接收的码流进行后续解码操作。
全文摘要
本发明涉及一种多视编解码的方法及装置。本发明主要包括通过在编码时，向码流中写入各个视对应的摄像头的相对位置关系参数，即摄像头位置参数信息，使得解码端在解码前能够获得所述的摄像头位置参数信息，以便编解码端利用摄像头的位置参数进行有效的编解码。因此，本发明在多视编码过程中可以在码流中写入摄像头位置参数，以达到提高多视编解码的性能，并可以使得图像的编解码过程的实现更为简便。
文档编号H04N7/24GK101106706SQ20061010087
公开日2008年1月16日 申请日期2006年7月11日 优先权日2006年7月11日
发明者芸 何, 史舒娟, 孟新建, 刚 朱, 许晓中, 郑建铧, 郑萧桢 申请人:清华大学;华为技术有限公司