专利名称：用于编码和解码多视角图像的方法和装置的制作方法
技术领域：
与本发明一致的装置和方法涉及处理多视角(multi-view)图像，且更具体地说，涉及编码和解码用于多视角显示装置的多视角图像。
背景技术：
多视角图像处理系统几何地校正通过多个照相机拍摄的图像并且执行空间合成和其他处理，由此向用户提供多个方向的各种视角。 多视角图像编码和解码标准一般利用H. 264，或者多视角编码(MVC)编解码器通常利用多视角图像编码和解码标准。 在多视角图像编码中，同时编码经多个照相机输入的提供多视角图像的图像。同样，通过使用时间相关性(d印endency)和照相机的视角间空间相关性来将多视角图像编码为压縮流。 根据解码器的性能和用户的选择在显示装置上显示压縮流。 显示装置考虑视角之间的相关性而适当地解码输入图像，并且在屏幕上显示解码图像。在这种情况下，显示装置能够通过使用所希望的单个视角来显示图像，或能够通过使用两个视角来显示立体图像。 同样，通常支持一个视角的显示装置通过在多个视角中从一个视角切换到另一视角来显示多个视角。 然而，支持多个视角的多视角显示装置应当形成立体对图像以便获得立体效果。
在示范实施例中，当通过选择两个视角形成立体图像时，对于多视角显示装置有效的是，选择一对图像，其中左视角和右视角彼此具有适当的距离以便获得立体效果。然而，多视角显示装置无法在两个垂直布置的视角之间获得立体效果。
发明内容
技术问题 可是，现有技术中的多视角显示装置无法指定一对图像，且为了利用多个视角顺
序形成对而造成延迟。 技术方案 本发明提供了一种用于编码多视角图像的方法和装置，其能够通过在H. 264或多视角编码(MVC)编解码器中定义立体对信息(stereo pairinformation)而形成有效的立体图像。 本发明也提供了一种用于解码多视角图像的方法和装置，其能够通过从H. 264或MVC编解码器中提取使能立体对信息而形成有效的立体图像。 本发明也提供了一种用于显示多视角图像的方法和装置，其能够通过提供和接收在H. 264或MVC编解码器中的立体对信息而形成有效的立体图像。
有益效果
根据前述的本发明，在诸如H. 264或MVC编解码器的视频压縮标准的SEI消息中 描述使能立体对信息，由此在显示装置中形成有效的立体图像。当解码器包括立体对设置 信息时，显示装置能够容易地设置立体显示。
通过参考附图详细描述本发明的示范实施例，本发明的上述和其它方面将更加明 了，其中 图IA是说明根据现有技术的在一维照相机阵列结构中的普通MVC标准的多视角 图像序列的图； 图IB是说明根据现有技术的在二维(2D)照相机阵列结构中的普通MVC标准的多 视角图像序列的图； 图IC是说明根据现有技术的在交叉类型照相机阵列结构中的普通MVC标准的多 视角图像序列的图； 图2A和图2B是说明根据现有技术的当由2D平行照相机视角形成立体图像时通 过选择两个视角获得的立体效果的图； 图3是根据本发明的示范实施例的用于编码多视角图像的装置的框图； 图4是根据本发明的示范实施例的用于解码多视角图像的装置的框图； 图5是说明根据本发明的示范实施例的编码多视角图像的方法的流程图； 图6是说明根据本发明的示范实施例的产生图5所示的补充增强信息(SEI)消息
的方法的流程图； 图7是说明根据本发明的示范实施例的普通网络抽象层(NAL)单元的句法的图；
图8是说明根据本发明的示范实施例的图7所示的NAL单元的类型的图；
图9是说明根据本发明的示范实施例的经常使用的SEI消息句法的图；
图10是说明根据本发明的示范实施例的由编码多视角图像的装置发送的比特流 的结构的图； 图IIA是说明根据本发明的示范实施例的用于设置立体对图像的SEI消息句法的 图； 图IIB是说明根据本发明的示范实施例的用于设置立体对图像的SEI消息语义信 息的图； 图12A是说明根据本发明的示范实施例的使能立体对图像表格的图；
图12B是说明4X2照相机阵列结构的示例的图； 图13是说明根据本发明的示范实施例的多视角显示器的概念图；以及 图14是说明根据本发明的示范实施例的解码和/或显示多视角图像的方法的流程图。
具体实施方式
最佳模式 根据本发明的一方面，提供了一种编码多视角图像的方法，包括基于与多个视角 相关的参考图像压縮多视角图像；产生与多视角图像相关的使能立体对信息；以及通过使用压縮后的多视角图像和使能立体对信息来产生预定发送单元的比特流。
根据本发明的另一方面，提供了一种解码多视角图像的方法，包括从比特流中提 取压縮数据和预定的用户定义的信息消息；从压縮数据中解码多视角图像，以及从预定的 用户定义的信息消息中提取使能立体对信息；以及选择与所提取的使能立体视角对对应的 视角图像，并且解码所选择的立体视角。 根据本发明的另一方面，提供了一种显示多视角图像的方法，包括确定显示模式 是否是立体视角显示模式；如果显示模式是立体视角模式，则从接收比特流中提取预定的 用户定义的消息；从用户定义的消息中检测关于使能立体对的对组合(pair-set)的信息； 根据关于使能立体对的对组合的信息设置立体图像；以及根据多视角解码算法解码所设置 的对组合的立体图像，并且显示解码的立体视角。 根据本发明的另一方面，提供了一种编码多视角图像的装置，该装置包括信号编 码(encoder)单元，其通过使用多视角压縮算法来压縮多视角图像，并且编码压縮后的多 视角图像信号；SEI消息产生单元，其产生多视角图像的使能立体对信息，并且产生SEI消 息的句法；和比特流产生单元，其利用在信号编码单元中编码的多视角图像和在SEI消息 产生单元中产生的使能立体对信息来产生预定发送单元的比特流。 根据本发明的另一方面，提供了一种解码多视角图像的装置，该装置包括比特流 诠释单元，其从比特流中分离NAL报头部分和数据部分；SEI提取单元，其从由比特流诠释 单元分离的NAL报头部分中提取SEI消息；信号解码(decoder)单元，其通过使用多视角信 号解码方法来解码与所选视角相关的多视角图像信号；和控制单元，其根据由SEI提取单 元提取的SEI消息检测关于与多视角图像相关的使能立体对的信息，并且向信号解码单元 提供与立体对信息对应的视角选择信号。
本发明的模式 现在将参照附图更加充分地说明本发明，在附图中示出本发明的示范实施例。
图IA是说明根据现有技术的在一维(ID)照相机阵列结构中的普通多视角图像序 列的图。 例如，在ID照相机阵列结构中，8个照相机可以产生8个视角。
参考图1A，水平轴是时间轴，而垂直轴是视角轴。在多视角编码中，相对于基本视 角的图像，周期性地产生帧内图片(intra picture) (I图片)，且基于所产生的帧内图片， 执行时间预测或视角间预测，由此预测编码其他图片。 时间预测使用同一行上的图像之间的时间相关性，而视角间预测使用同时、即同 一列上的图像之间的空间相关性。 参考图1A，每行表示随时间流逝的多视角图像的每个视角的图像序列。从最上行
开始，所述行依序地分别成为视角0(S0)、视角1(Sl)、视角2(S2)、等的图像序列。 这里，假定视角O(SO)为基本视角，并且因此，第一行的图像序列成为基本视角的
图像序列。通过仅执行时间预测而不是通过视角间预测来对在基本视角的图像序列中包括
的图片进行预测编码。 同样，每列表示在相同时间的多视角图像。在所示出的列中，在列中包括的包含帧
内图片的图片被称为锚(anchor)图片。通过仅执行视角间预测来编码锚图片。 参考图1A，用于编码多视角图像的装置参照预定图像单元(unit)来编码图像。首先，预测编码每个视角的第一图片。基于在参考时间产生的帧内图片，执行视角间预测，由 此产生每个视角的第一图片。 通过使用单向(one-way)视角间预测，产生关于视角2 (S2)、视角4 (S4)、视角 6(S6)和视角7(S7)的图像的P图片。通过使用双向(two-way)视角间预测，产生关于视角 1(Sl)、视角3(S3)和视角5(S5)的图像的B图片。基于与基本视角的图像相关而产生的帧 内图片来执行每个第一图片的预测。 图1B是说明根据现有技术的在二维(2D)照相机阵列结构中的普通多视角图像序 列的图。例如，在2D照相机阵列结构中，15部照相机可以产生15个视角。
通过使用单向视角间预测产生视角2(S2)、视角4(S4)、视角5(S5)、视角7 (S7)、 视角9(S9)、视角10(S10)、视角12(S12)和视角14(S14)的图像的P图片。通过使用双向 (bi-directional)视角间预测产生视角1(Sl)、视角3 (S3)、视角6 (S6)、视角8 (S8)、视角 ll(Sll)和视角13(S13)的图像的B图片。 图1C是说明根据现有技术的在交叉类型的照相机阵列结构中的普通多视角图像
序列的图。例如，在交叉类型的照相机阵列结构中，5部照相机可以产生交叉类型的视角。 这里，视角l(Sl)和视角2(S2)可以是立体对。然而，视角l(Sl)和视角6(S6)不
能是立体对。在这种情况下，视角l(Sl)和视角6(S6)是垂直对组合。 参考图1C，通过使用单向(uni-directional)视角间预测产生视角1(Sl)、视角
2(S2)、视角3(S3)、视角4(S4)和视角5 (S5)的图像的P图片。 基于关于基本视角的图像而产生的帧内图片来执行每个第一图像的预测。 图2A和2B图是说明根据现有技术的通过从2D平行照相机视角中选择两个视角
获得的立体效果的图。图2A和图2B说明使能/禁止(enabled/disabled)立体对组合的
实施例。 —般，其中左视角和右视角彼此具有适当距离的图像对对于立体图像是有效的。 也即，当通过使用如图2A所示的相邻的水平视角形成立体对210时，由于距离接近，所以显 示装置能够最大化立体效果。 然而，尽管存在关于相邻视角的信息，也无法在垂直布置的视角之间实现立体效 果。也即，如图2A所示，当通过使用垂直布置的视角形成立体对220时，由于顶部视角和底 部视角之间的差，所以显示装置不能最大化立体效果。 此外，为了获得立体效果，在图像对的左视角和右视角之间的距离不能太大。也 即，如图2B所示，当通过使用彼此位置太远的水平视角形成立体对240时，因为距离太大， 所以显示装置不能最大化立体效果。可从立体对组合中排除分开布置太远的立体对。
相应地，本发明的示范实施例提供了用于向解码器描述使能立体对信息的句法和 语义。 图3是根据本发明的示范实施例的用于编码多视角图像的装置的框图。 根据示范实施例的用于编码多视角图像的装置包括信号编码单元310、补充增强
信息(SEI)消息产生单元320和比特流产生单元330。 如图1A到图1C所示，信号编码单元310对通过使用多视角压縮算法由多个照相 机产生的多视角图像信号执行视角间预测，并且编码预测的多序列图像信号。信号编码单 元310使用在H. 264或MVC编解码器方法中经常使用的多视角信号压縮方法来压縮多视角
7图像信号，并且编码压縮后的多视角图像信号和视角信息。 SEI消息产生单元320产生在H. 264或MVC编解码器中经常使用的SEI句法和语
义消息。在这种情况下，SEI消息包括关于多视角图像的使能立体对信息。 比特流产生单元330通过使用在信号编码单元310中编码的视角信息和多视角图
像、以及在SEI消息产生单元320中产生的使能立体对信息来产生预定发送单元的比特流。
也即，产生编码的多视角图像和SEI消息作为一系列网络抽象层(NAL)单元。 图4是根据本发明的示范实施例的用于解码多视角图像的装置的框图。 根据示范实施例的用于解码多视角图像的装置包括比特流诠释单元410、信号解
码单元430、 SEI提取单元440、控制单元450和显示单元460。 比特流诠释单元410从用于编码多视角图像的装置接收的比特流中分离NAL报头 部分和数据部分。 SEI提取单元440从由比特流诠释单元410分离的NAL报头部分中提取SEI信息， 由此提取SEI消息句法和语义信息。在这种情况下，SEI消息句法和语义信息包括指示是 否形成立体对的用户表格信息。 信号解码单元430通过使用H. 264或MVC编解码器方法经常使用的多视角信号解 码方法来解码涉及所选视角的视角信息和多视角图像信号。在这种情况下，信号解码单元 430通过使用从NAL报头中提取的序列参数集(SPS)的编码信息和视角信息来解码涉及使 能立体对信息的视角图像。 控制单元450从由SEI提取单元440提取的SEI消息中检测关于多视角图像的使 能立体对信息，并且向信号解码单元430提供与立体对信息对应的视角选择信号。在这种 情况下，虽然没有示出，但是控制单元450向解码单元430提供包括在NAL报头的SPS中的
编码信息。 显示单元460在液晶显示器(LCD)上显示在信号解码单元430中恢复的视角的图
像信号。 图5是说明根据本发明的示范实施例的编码多视角图像的方法的流程图。 首先，在操作510中，输入多视角序列的图像信号且通过H. 264或MVC编解码器的
压縮算法进行压縮。 然后，在操作520中，指定用于每个多视角图像的使能立体对，且通过使用指定的 立体对来产生SEI消息。 通过编码压縮后的多视角图像和视角信息以及使能立体对设置消息，产生预定发 送单元的比特流。 然后，在操作530中，可以按照根据传统多视角传输方法的多种方式来分组多视
角图像流、视角信息流和使能立体对设置消息，随后，在操作540中进行发送。 在示范实施例中，可以按照NAL单元的形式产生分组，随后发送到解码器。 图6是说明根据本发明的示范实施例的产生图5所示的SEI消息的方法的流程图。 首先，在操作610中，根据照相机(视角)阵列，预先设置使能立体对的视角对组 合。例如，其中左视角和右视角彼此具有适当的距离的图像对对于立体图像有效。因此，一 对相邻的水平视角被设置为使能立体对。然而，其中视角彼此远离的视角对被设置为禁止(disabling)立体对。同样，不能从垂直布置的视角中获得立体效果。因此，垂直布置的视 角的视角对被设置为禁止立体对。 随后，在操作620中，产生基于所设置的视角对组合的使能立体对表。 在操作630中，基于使能立体对表，产生描述使能立体对信息的句法和语义信息。 图7是说明根据本发明的示范实施例的普通NAL单元的句法的图。 参考图7， NAL单元基本由NAL报头和原始字节序列载荷(RBSP)组成。NAL报头
包括标志信息(nal—ref」de)，指示是否包括成为NAL单元的参考图片的分片(slice);
以及标识符(nal_unit_type)，指示NAL单元的类型。 为了将RBSP的长度表示为8比特的倍数，在RBSP的结尾添加1_8比特的RBSP尾 比特。同样，NAL报头的长度为8比特，且NAL单元的长度也是8比特的倍数。
图8是说明根据本发明的示范实施例的图7所示的NAL单元的类型的图。
参考图8，由SPS、图片参数集(PPS)、SEI等形成NAL单元类型。这里，现在将仅解 释涉及本发明的SPS、 PPS和SEI 。 SPS是报头信息，包括涉及编码整个序列的信息，诸如简档和级别。 PPS是指示整个图片的编码模式(例如，熵编码模式、以图片为单位的量化参数的
初始值等)的报头信息。 SEI指示视频编码层(VCL)的解码过程并不必需的附加信息。例如，SEI包括涉及
假想参考解码器(hypothetical reference decoder,HRD)的每个图片的定时信息，关于摇
摄和/或扫描功能的信息、用于随机访问的信息和用户独立定义的信息(用户数据信息)。
在本发明中，在SEI中说明描述使能立体对信息的句法和语义信息。 图9是说明根据本发明的示范实施例的经常使用的SEI消息句法的图。 参考图9， SEI消息句法描述消息的类型和长度。因此，在SEI消息中定义描述使
能立体对信息的句法和语义信息。 图10是说明根据本发明的示范实施例的由编码多视角图像的装置发送的比特流 的结构的图。 参考图10，由NAL报头和SEI形成的NAL单元被发送到解码器装置。 图IIA是说明根据本发明的示范实施例的其中设置立体对图像的SEI消息句法的图。 参考图11A，"num—viewsjiii皿sj"指示在比特流中的全部编码视角的数量，而 "enable_Stereo_pair_f lag[i] [j]"指示左视角图像和右视角图像是否能够形成立体对。
图IIB是说明根据本发明的示范实施例的用于设置立体对图像的SEI消息语义信 息的图。 通过SEI消息发送的信息涉及访问单元。SEI消息出现在对应访问单元的编码分 片NAL单元或编码分片数据部分NAL单元之前。 参考图11B，当左图像是view」d[i]且右图像是view_id[j]时，"enable—stereo— pair_f lag[i] [j]"指示是否能够形成立体对。从SPS中获得view」d。在这种情况下，view_ id指示视角的视角标识符(ID)。 诸如"l"的"enable—stereo—pair—flag[i] [j]指示使能立体对。[i]表示左 view—id而[j]表示右view」d。 view_id与SPS中的view_id[i]相同。同样，诸如"O"的
9"enable_stereo_pair_flag[i] [j]，，指示禁止立体对。i者如"0"的"enable—stereo—pair— flag[i] [j]"包括垂直对、长距离对以及左视角和右视角情况，这与左视角和右视角错误一 样。 图12A是说明根据本发明的示范实施例的使能立体对图像表格的图。
图12B是说明4X2照相机阵列结构的示例的图。 图12A示出的立体对图像表利用4X2的2D照相机阵列形成使能立体对。
参考图12A，根据照相机的垂直和/或水平阵列，将使能立体对的视角对组合输入 到view」d[i]和view」d[j]。然后，根据view」d[i]和view」d[j]的值，产生指示是否 能够形成立体对的标志值。真(true)标志表示具有view」d(0，1)、 (0，2)、 (1，2)、 (1，3) 的使能立体对。参考图12，视角O(SO)和视角1 (Sl)、视角O(SO)和视角2(S2)、视角1 (Sl) 和视角2(S2)，以及视角1 (Sl)和视角3 (S3)能够为立体对。 例如，如果viewjd[i]是"0"且viewjd[j]是"1 "，则该对具有相邻的水平视角，
因此可以形成立体对。因此，对于view_id
和viewjd[1]的标志值是真(1)。 如果viewjd[i]是"0"且viewjd[j]是"2"，则该对具有距离较近的水平视角，
因此可以形成立体对。因此，对于viewjd
和viewjd[2]的标志值是真(1)。然而，如果viewjd[i]是"0"而viewjd[j]是"3"，则该对具有距离较远的水平
视角，因此不可能形成立体对。因此，对于view」d
和view」d[3]的标志值是假(false)
(0)。 同样，如果view」d[i]是"0"而view」d[j]是"4"，则该对具有垂直布置的视角， 因此可以形成立体对。因此，对于view」d
和view」d[3]的标志值是假(0)。
图13是说明根据本发明的示范实施例的多视角图像显示器的概念图。
参考图13，由8部照相机产生的多视角图像信号被编码，由此产生比特流。
显示装置可以根据显示装置所支持的视角模式显示一个视角或多个视角(n个视 角)。 图14是说明根据本发明的示范实施例的解码和/或显示多视角图像的方法的流 程图。 在操作1410中，从编码多视角图像的装置中接收以NAL为单位的比特流。
然后，在操作1420中，确定显示装置是否支持立体视角或多视角显示。在示范实 施例中，如果不支持立体或多视角显示，则在操作1430中，显示装置执行单视角显示。
然后，如果支持立体或多视角显示，则在操作1440中，显示装置确定操作模式是 立体视角模式还是多视角模式。 在示范实施例中，如果显示装置处于多视角模式，则在操作1450中显示多视角。
如果显示装置处于立体视角模式，则在操作1460中，从比特流中解析SEI消息并 且提取用户表。在示范实施例中，用户表存储使能立体对的对组合。 然后，通过使用用户表，在操作1470中设置使能的左和右视角图像。在示范实施 例中，显示装置可以以图形的形式在屏幕上显示存储立体对的用户表，从而用户能够选择 使能立体视角对，或者显示装置可以自动指定使能立体视角对。 然后，通过使用所设置的左和右视角图像，根据多视角图像解码标准来执行相关 视角图像的解码，并且在操作1480中显示解码的立体视角。
因此，显示装置能够通过仅显示使用使能立体对信息设置的使能视角来形成立体 图像。 例如，假设在ID照相机阵列结构中，存在用于8个视角的8部照相机。在这种情 况下，如果在SEI消息中的使能立体对信息指示左图像是第0视角且右图像是第1视角，则 解码仅涉及第0视角和第1视角的图像。
工业实用性 本发明也能够被具体化为计算机可读记录介质上的计算机可读代码。计算机可读 记录介质是能够存储随后能够由计算机系统读取的数据的任何数据存储设备。计算机可读 记录介质的例子包括只读存储器(ROM)，随机存取存储器(RAM)、 CD-R0M、磁带、软盘和光学 数据存储设备。计算机可读记录介质也能够经由网络耦接的计算机系统而分布，从而以分 布方式存储和执行计算机可读代码。 尽管已经参考其示范实施例部分示出和描述了本发明，但是本领域普通技术人员 将理解在不背离由以下权利要求限定的本发明的精神和范围的情况下，可以在其中进行 形式和细节上的各种改变。优选的实施例应该看作只是说明性的，而不是出于限制的目的。 因此，本发明的范围并不由本发明的具体说明所限定而是由所附的权利要求所限定，且在 该范围中的所有差别均看成包括在本发明中。
权利要求
一种编码多视角图像的方法，该方法包括基于与多个视角相关的参考图像压缩多视角图像；产生与所述多视角图像相关的使能立体对信息；以及使用压缩后的多视角图像和所述使能立体对信息来产生比特流。
2. 如权利要求1所述的方法，其中，产生使能立体对信息的步骤包括 根据视角阵列设置使能立体对的对组合； 基于所设置的对组合产生使能立体对表；基于所述使能立体对表产生描述所述使能立体对信息的句法；以及 在用户定义消息中记录描述所述使能立体对信息的句法。
3. 如权利要求2所述的方法，其中，描述所述使能立体对信息的句法包括在多视角图 像压縮标准的补充增强信息(SEI)消息中。
4. 如权利要求2所述的方法，其中，在设置所述对组合期间，设置指示是否能够形成所 述使能立体对的标志值。
5. 如权利要求2所述的方法，还包括产生描述所述使能立体对信息的语义信息。
6. —种解码多视角图像的方法，该方法包括 从比特流中提取压縮数据和用户定义的信息消息；从所述压縮数据中解码多视角图像，并且从所述用户定义的信息消息中提取使能立体 对信息；以及选择与所提取的使能立体视角对对应的视角图像，并解码所选择的立体视角。
7. 如权利要求6所述的方法，其中，所述用户定义的信息消息是补充增强信息(SEI)消息。
8. 如权利要求6所述的方法，其中，在提取使能立体对信息中，从所述SEI消息中提取 描述所述使能立体对信息的句法。
9. 如权利要求6所述的方法，其中，在选择视角图像中，参考预先产生的使能立体对表 选择视角对使能立体视角。
10. —种显示多视角图像的方法，该方法包括 确定显示模式是否是立体视角显示模式；如果所述显示模式是立体视角模式，则从接收比特流中提取用户定义的消息； 从所述用户定义的消息中检测关于使能立体对的对组合的信息； 根据所述关于使能立体对的对组合的信息设置立体图像；以及 根据多视角解码算法解码对组合的立体图像，并且显示解码的立体视角。
11. 如权利要求10所述的方法，还包括显示所述关于使能立体对的对组合的信息。
12. 如权利要求10所述的方法，其中，所述用户定义的消息是网络抽象层(NAL)报头中 的补充增强信息(SEI)消息。
13. 如权利要求IO所述的方法，其中，在解码立体图像期间，参考所述关于使能立体对 的对组合的信息、根据所述多视角解码算法来解码视角的图像。
14. 一种编码和解码多视角图像的方法，该方法包括 基于与多个视角相关的参考图像压縮多视角图像； 产生与所述多视角图像相关的使能立体对信息；通过编码压縮后的多视角图像和所述使能立体对信息来产生比特流； 从所述比特流中提取压縮数据和用户定义的信息消息；从所述压縮数据中解码所述多视角图像，并且从所述用户定义的信息消息中提取所述 使能立体对信息；以及选择与所提取的使能立体视角对信息对应的视角图像，并且显示所选择的视角图像。
15. 如权利要求14所述的方法，其中，所述立体对信息被包括在网络抽象层(NAL)单元 的补充增强信息(SEI)消息中。
16. —种用于编码多视角图像的装置，该装置包括信号编码单元，其通过使用多视角压縮算法来压縮多视角图像，并且编码压縮后的多 视角图像信号；补充增强信息(SEI)消息产生单元，其产生所述多视角图像的使能立体对信息，并且 产生描述所述使能立体对信息的SEI消息的句法；禾口比特流产生单元，其使用在所述信号编码单元中编码的所述多视角图像和在所述SEI 消息产生单元中产生的所述使能立体对信息来产生比特流。
17. 如权利要求16所述的装置，其中，所述SEI消息产生单元具有描述根据视角阵列的 使能立体对组合的使能立体对表。
18. 如权利要求16所述的装置，其中，所述使能立体对表具有指示是否能够形成使能 立体对的标志值。
19. 一种用于解码多视角图像的装置，该装置包括比特流诠释单元，其从比特流中分离网络抽象层(NAL)报头部分和数据部分； 补充增强信息(SEI)提取单元，其从由所述比特流诠释单元分离的所述NAL报头部分 中提取SEI消息；信号解码单元，其通过使用多视角信号解码方法来解码涉及所选视角的多视角图像信 号；和控制单元，其从由所述SEI提取单元提取的SEI消息中检测与多视角图像相关的使能 立体对信息，并且向所述信号解码单元提供与所述立体对信息对应的视角选择信号。
20. 如权利要求19所述的装置，其中，所述使能立体对信息是根据视角阵列描述使能 立体对组合的使能立体对表。
21. 如权利要求19所述的装置，还包括显示单元，其显示由所述信号解码单元解码 的、涉及所选视角的多视角图像信号。
22. —种计算机可读记录介质，其上具体化有用于执行编码多视角图像的方法的计算 机程序，其中，该方法包括基于与多个视角相关的参考图像来压縮多视角图像； 产生与所述多视角图像相关的使能立体对信息；以及 通过编码压縮后的多视角图像和所述使能立体对信息来产生比特流。
全文摘要
提供了一种编码和解码用于多视角显示装置的多视角图像的方法和装置。编码多视角图像的方法包括基于与多个视角相关的参考图像压缩多视角图像；产生与多视角图像相关的使能立体对信息；以及通过使用压缩后的多视角图像和所述使能立体对信息来产生比特流。
文档编号H04N7/24GK101743750SQ200880024729
公开日2010年6月16日 申请日期2008年4月10日 优先权日2007年5月14日
发明者宋学燮, 崔钟凡, 文荣豪, 沈优星 申请人:三星电子株式会社