解码多路复用的视频分组流的方法

专利名称：解码多路复用的视频分组流的方法
技术领域：
本发明涉及三维(3D)视频处理系统及其方法。更具体的，本发明涉及基 于MPEG-4(运动图像专家组-4)处理立体/多视图三维视频图像的设备和方 法。
背景技术：
MPEG是一种通过视频图像压缩和编码表示的信息传送方法，且继当前 的MPEG-1/2/4之后，^皮发展到下 一代压缩方法MPEG-7 。
MPEG-4，即在因特网上的数字存储介质中自由地存储包括视频图像的 多媒体数据的视频流标准，现在已普遍使用，且MPEG-4可应用于便携式 万维网广播MPEG-4播放器(PWMP),等。
更具体的，MPEG-4是一种通过增加现有视频和音频信号的压缩编码的 通用多媒体标准，所述通用多媒体包括静止图像、计算机图形(CG)、分解复 合系统的音频编码、基于乐器数据接口(MIDI)的复合音频、以及文本。
相应地，属性相互不同的对象间的同步技术，以及用于表示各个对象的 属性的对象描述符表示方法和用于表示对象之间的时间和空间相关性的场景 描述信息表示方法是极其重要的事情。
在MPEG-4系统中，i某体对象以基本流(elementary stream)的形式被编码 和传递，其由确定网络最大传输率、QoS(服务质量)因子和必需的解码器资源 的变量来表征。单个^某体对象由特定编码方法的一个基本流组成，且通过包 含压缩层、同步层和传输层的层次结构而被流化处理。
MPEG-4系统对从多个编码器的每个存取单元输出的数据流进行分组以 处理不同属性的对象，并使用对象描述符信息和场景描述信息自由地表示数 据流。
可是，现有MPEG-4系统只对二维(以下称"2D")多媒体数据进行标准 化，因此极少涉及用于处理立体/多视图3D视频数据的技术。

发明内容
本发明的一个目的是基于现有的MPEG-4标准处理立体/多视图三维视频 数据。
本发明的另 一个目的是通过将具有相同时间和空间信息的多通道的基于 场的基本流多路复用为单个基本流，来最小化重叠的分组首标信息。
本发明的再一个目的是选择适合于用户需求和用户系统环境的数据，从 而简化数据流。
根据本发明的一个方面，提供一种基于MPEG-4处理:枧频图像的立体/ 多视图三维视频处理系统，该系统包括压缩器，用于处理输入立体/多视图 三维视频数据，以生成多个通道的基于场的基本流，并将多通道基本流输出 到单个集成的基本流中；分组器，用于从压缩器的每个存取单元接收基本流，
且对所接收的基本流进行分组；以及传送器，用于处理分组的立体/多视图三 维视频数据，且传递或存储所处理的视频数据。
压缩器包括三维对象编码器，用于编码输入立体/多视图三维视频数据， 以输出多通道的基于场的基本流；以及三维基本流混合器，用于将多通道的 基于场的基本流集成到单个基本流中。
当输入数据是三维立体视频数据时，三维对象编码器以4通道场为单位 输出基本流，4通道场包括左图像的奇场和偶场以及右图像的奇场和偶场。 可选的，当输入数据是N-视图的多视图视频数据时，三维对象编码器将Nx2
个基于场的基本流输出到三维基本流混合器。
三维基本流混合器根据由用户选择的立体/多视图三维视频的显示模式， 通过选择性地使用经多个通道输入的多个基本流来生成单个基本流。显示模 式是从二维视频显示模式、用于通过基于场的模板来显示三维视频图像的三 维视频场模板显示模式、用于通过基于帧的模板来显示三维视频图像的三维 立体视频帧模板显示模式、以及用于以所要求的帧频顺序地显示图像的多视 图三维视频显示模式中选择的任意一种模式。
当显示模式是三维视频场模板显示模式时，所述三维基本流混合器以左 '图奇场基本流和右图偶场基本流的顺序使用2通道基本流，将从三维对象编
码器输出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取 单元流。
当显示模式是三维视频帧模板显示模式时，所述三维基本流混合器以左 图奇场基本流、左图偶场基本流、右图奇场基本流和右图偶场基本流的顺序
使用4通道基本流，将从三维对象编码器输出的立体三维视频的4通道的基 于场的基本流多路复用为单通道存取单元流。
当显示模式是二维视频显示模式时，所述三维基本流混合器以左图奇场 基本流和左图偶场基本流的顺序使用2通道基本流，将从三维对象编码器输 出的立体三维视频的4通道的基于场的基本流多路复用为单通道存取单元
当显示模式是三维多视图视频显示模式时，所述三维基本流混合器以视 点的奇场基本流和偶场基本流的顺序使用各个视点，将从三维对象编码器输 出的N-视图^L频的Nx2个基于场的基本流多路复用为单通道存取单元流。
在将基本流处理为单通道存取单元流并将它们发送到分组器时，压缩器 通过增加图像区分信息、显示区分信息和视点信息中的至少一个来将各个基 本流发送到分组器，所述图像区分信息表示基本流是否是二维或三维视频数 据，所述显示区分信息表示由用户所选择的立体/多视图三维视频的显示模式 的显示区分信息，所述视点信息表示作为多视图视频图像的相应视频图像的 视点数。
因此，分组器从压缩器每个存取单元接收单通道流，对接收的单通道流 进行分组，之后基于附加信息构造分组首标。优选地，分组首标包括存取单 元开始标志，其表示分组有效载荷的哪个字节是流的开始；存取单元结束标 志，其表示分组有效栽荷的哪个字节是流的结束；图像区分标志，其表示从 压缩器输出的基本流是二维还是三維视频数据；解码时间戳标志；合成时间 戳标志；视点信息标志，其表示视频图像的视点数；以及显示区分标志，其 表示显示模式。
根据本发明的另一个方面，提供一种立体/多视图三维视频处理方法，该 方法包括(a)接收三维视频数据，确定相应的视频图像是立体还是多视图视 频图像，以及根据确定结果处理相应视频数据以生成多通道的基于场的基本 流；(b)以由用户所选择的显示模式对多通道的基于场的基本流进行多路复 用，以输出单通道基本流；(c)对所接收的单通道基本流进行分组；以及(d)处
理分组的立体/多视图三维视频图像，并发送或存储所处理的视频图像。
生成基本流的步骤(a)包括当输入数据是三维立体视频数据时，以4通 道场为单位输出基本流，所述4通道场包括左三维立体图像的奇场和偶场以 及右三维立体图像的奇场和偶场；以及当输入数据是N-视图的多视图视频数 据时，输出Nx2个基于场的基本流。
多路复用步骤(b)进一步包括当显示模式是三维视频场模板显示模式时， 按照左图奇场基本流和右图偶场基本流的顺序使用2通道基本流，将立体三 维视频的4通道的基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)进一步包括当显示模式是三维视频帧模板显示模式时， 按照左图奇场基本流、左图偶场基本流、右图奇场基本流和右图偶场基本流 的顺序使用4通道基本流，将立体三维视频的4通道的基于场的基本流多路 复用为单通道存取单元流。
多路复用步骤(b)进一步包括当显示模式是二维视频显示模式时，按照 左图奇场基本流和左图偶场基本流的顺序使用2通道基本流，将立体三维视 频的4通道的基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)进一步包括当显示模式是三维多视图视频显示模式时， 按照视点的奇场基本流和偶场基本流的顺序使用各个视点，将N-视图视频的 Nx2个基于场的基本流多路复用为单通道存取单元流。
多路复用步骤(b)包括处理多视图三维视频图像以生成多通道基本流， 以及使用从多通道基本流中的一个通道的基本流获得的时间信息来获得和其 它视点的基本流的同步，从而获得三维视频图像间的同步。
根据本发明的又一个方面，提供一种解码多路复用的视频分组流的方法。 该方法包括(a)接收包括有视点信息标志和显示区分标志的多路复用的分 组流，所述视点信息标志用于表示运动画面的视点数，所述显示区分标志用 于表示运动画面的显示模式；(b)从多路复用的分组流中检测视点信息标志 和显示区分标志；(c)基于检测的视点信息标志和检测的显示区分标志确认 多路复用的分组流的流才各式并解码确认的分组流。


并入并且组成说明书的一部分的附解说明了本发明的实施例，并与 说明书 一起用来描述本发明的原理。
图1是根据本发明实施例的立体/多视图3D视频处理系统的示意图； 图2是ESI发送的关于传统2D多媒体的信息的图示； 图3是根据本发明实施例的立体3D视频编码器的输入/输出数据的图示; 图4是根据本发明实施例的3DN-视图视频编码器的输入/输出数据的图
示；
图5是根据本发明实施例的用于立体视频3D ES混合器的输入/输出数据 的图示；
图6是根据本发明实施例的多视图3DES混合器的输入/输出数据的图
示；
图7是根据本发明实施例用于场模板显示的立体3D视频图像的基于场 的ES多^^复用器的示意图8是根据本发明实施例用于帧模板显示的立体3D视频图像的基于场 的ES多路复用器的示意图9是^^艮据本发明实施例用于2D显示的立体3D ^L频图像的基于场的 ES多路复用器的示意图IO是根据本发明实施例用于3D显示的多视图3D视频图像的基于场 的ES多路复用器的示意图11是根据本发明实施例用于2D显示的多视图3D视频图像的基于场 的ES多路复用器的示意图12是根据本发明实施例的、用于处理立体/多视图3D视频图像的传统 ESI的附加传送信息的图示；
图13是根据本发明实施例的、用于处理立体/多视图3D视频图像的同步 分组首标的示意图14是由MPEG-4系统定义的流类型；以及
图15是通过解码器处理立体/多视图3D视频图像的3D视频图像流类型。
具体实施例方式
在下面的详细描述中，简单地通过图解说明由完成本发明的发明者预期 的最佳才莫式只显示和描述了本发明的优选实施例。正如将会认识到的那样， 能够在各个显而易见的方面对本发明作出修改，而都不会偏离本发明。因此， 附图和描述本质上应被看成是说明性的，而不是限制性的。
在本发明的实施例中，处理MPEG-4立体/多视图3D视频数据。特别地，
根据用户的系统环境和用户所选择的显示模式，将通过多个通道在同一时刻 输出的编码的、基于场的基本流集成到单通道基本流中，之后多路复用成单
个3D存取单元流(以下称为3D—AU流)。
更特别地，流式处理可支持所有4种显示模式二维视频显示模式；三 维视频场模板显示模式，用于通过基于场的模板来显示三维视频图像；三维 立体视频帧模板显示模式，用于通过基于帧的模板来显示三维视频图像；以 及多视图三维视频显示模式，用于通过使用小光学透镜(lenticula)镜头等以所 要求的帧频来顺序地显示图像。
为了使能上述用户定义的4种显示和立体/多视图3D视频图像的多路复 用，本发明的实施例生成同步分组首标的新的首标信息，并构造具有最小化 的重叠信息的首标。再者，本发明实施例通过使用从同一时刻的多视图视频 图像的多通道基本流中的一个通道基本流中获得的时间信息来获得和其它视 点的基本流同步，以简化3D视频图像间的同步。
图1是才艮据本发明实施例的立体/多视图3D视频处理系统(以下称为"视 频处理系统")的示意图。
如图l所示，根据本发明的实施例的、基于MPEG-4系统处理立体/多视 图3D视频数据的视频处理系统包含压缩层10，其支持多个编码器；同步 层20，其接收存取单元(AU)数据并生成适合于同步的分组；以及传输层30， 其包括为了多个流的同时发生的多路复用而可选地给出的FlexMux 31,和用 于构造与传输环境和存储介质的接口的传输多媒体集成框架(DMIF)32。
压缩层10包括用于静止图像、计算机图形(CG)、分解复合系统的音频编 码、乐器数据接口(MIDI)、文本、以及2D视频和音频的各种对象编码器。
更具体地，如图l所示，压缩层10包括3D对象编码器11、 2D对象编 码器12、场景描述流生成器13、对象描述符流生成器14以及3D基本流混 合器(以下称为3D—ES混合器)15和16。
2D对象编码器12对包括静止图像、计算机图形(CG)、分解复合系统的 音频编码、乐器数据接口 (MIDI)和文本、以及2D视频和音频的各种对象进行 编码。从2D对象编码器12中的各个编码器输出的基本流以AU流形式被输 出，并^皮传送到同步层20。
对象描述符流生成器14生成对象描述符流，用于表示多个对象的属性，
场景配置信息流生成器13生成场景描述流，用于表示对象间的时间和空间相 关性。
3D对象编码器11以及3D—ES混合器15和16用于处理立体/多视图3D 视频图像，同时保持和现有MPEG-4系统的兼容性。
3D对象编码器11是一个用于立体/多视图3D视频数据的基于对象的编 码器，且包括多个3D实像编码器，用于处理由相机等实际获取的图像； 以及3D计算机图形(CG)编码器，用于处理计算机生成的图像，即CG。
当输入数据是在不同方向上生成的立体3D视频图像时，3D对象编码器 11分别以左右图像的奇偶场为单位输出基本流。相比之下，当输入数据是N-视图3D视频图像时，3D对象编码器11将Nx2个基于场的基本流输出到 3D—ES混合器15和16。
3D—ES混合器15和16将从3D对象编码器11输出的各个基本流处理为 单个3D—AU流，并将所述单个3D_AU流发送到同步层20。
经由基本流接口 (ESI)将上述从压缩层10输出的单个3D一AU流传送到同 步层。ESI是将i某体数据流连接到同步层的接口，其不是由ISO/正C 14496-1 所规定的，而是为了易于实现而提供的，因此可以在需要的情况下作修改。 ESI传送同步层(SyncLayer, SL)分组首标信息。在图2中图解说明了在现 有MPEG-4系统中通过ESI传送的SL分组首标信息的一个例子。同步层20 使用SL分组首标信息生成SL分组首标。
为保持基本流之间或基本流中的时间同步，同步层20包括多个对象分组 器21，其接收从压缩层IO每个AU输出的各个基本流，将其分成多个SL分 组以生成各个SL分组的有效载荷，且参照经由ESI为每个AU接收的信息生 成每个单独SL分组的首标，从而完成由首标和有效载荷组成的SL分组。
SL分组首标用于在数据丟失的情况下检查连续性，且包括和时间戳相关 的4言息。
将从同步层20输出的分组流发送到传输层30,并在由FlexMux 31多路 复用之后经DIMF 32将其处理成适合于至传输环境和存储介质的接口的流。
同步层20和传输层30的基本处理和现有MPEG-4系统的基本处理是相 同的，并因此不详细描述。
现在描述基于上述构造的视频处理系统来多路复用立体/多视图3D视频 图像的方法。
作为例子，将2D图像和由至少两个相机获得的多通道3D图像(包括静 止或运动照片)，或计算机生成的3D图像即CG,分别送入压缩层10的2D 对象编码器12和3D对象编码器11。 2D图像的多路复用处理对本领域的技 术人员而言是众所周知的，因此不详细描述。
将作为由相机获取的实像的立体/多视图3D视频图像输入到3D对象编 码器11中的3D实像编码器111,且将作为计算机生成的3D立体/多视图视 频图像的CG输入到3D对象编码器11中的3DCG编码器112。
图3和图4分别图解说明了多个3D实像编码器和3D CG编码器的操作。
如图3所示，当输入数据是在左右方向上生成的立体3D视频图像时，3D 实像编码器111或3D CG编码器112以场为单位对左右图像或左右CG数据 进行编码，以便以4通道场为单位输出基本流。
更具体地，将立体3D实像或CG编码成左奇场的立体3D基本流 3DES—LO、左偶场的立体3D基本流3DES一LE、右奇场的立体3D基本流 3DES一RO以及右偶场的立体3D基本流3DES一RE。
当输入数据是N-视图视频图像时，3D实像编码器111或3D CG编码器 112以场为单位对N-视像或CG数据进行编码，以输出第1到第N个视 点的奇场基本流，以及第1到第N个视点的偶场基本流。
更具体地，如图4所示，将N-视图视频编码为Nx2个基本流，所述基本 流包括第1视点的奇场基本流3DES—#1 OddField、第2视点的奇场基本流 3DES_#2 OddField、...第N视点的奇场基本流3DES—#N OddField、第1视点 的偶场基本流3DES—#1 EvenField、第2 ^见点的偶场基本流3DESJ2 EvenField、...第N视点的偶场基本流3DES—#N EvenField。
如上面所描述的，将从立体/多视图3D对象编码器11输出的多通道的基 于场的基本流输入到3D—ES混合器15和16以进行多路复用。
图5和图6图解说明了 3D—ES混合器的多路复用处理。
3D一ES混合器15和16将多通道的基于场的基本流多路复用为3D—AU 流，以输出单通道的集成流。这里，取决于显示模式，将被传送的基本流数 据是可变的。因此，对各个显示模式而言，进行多路复用仅传送必要的基本
、、六 //亿0
有4种显示模式2D视频显示模式、3D视频场模板显示模式、3D视频 帧模板显示模式以及多视图3D视频显示模式。
图7到图11取决于所涉及的显示模式，图解说明多通道的基于场的基本
流的多路复用的例子。图7、图8和图9说明立体3D视频数据的多路复用方 法，图IO和图ll说明多视图3D视频数据的多路复用方法。
当用户为立体3D视频凄t据选择3D视频场模板显示冲莫式时，将从3D对 象编码器11输出的4通道基本流中的左奇场的立体3D基本流3DES一LO和 右偶场的立体3D基本流3DES—RE顺序地集成到单通道3D—AU流中，如图 7所示。
当用户为立体3D视频数据选择3D视频帧模板显示模式时，将4通道基 本流中的左奇场的立体3D基本流3DES—LO、左偶场的立体3D基本流 3DES一LE、右奇场的立体3D基本流3DES—RO和右偶场的立体3D基本流 3DES一RE顺序地集成到单通道3D一AU流中，如图8所示。
当用户为立体3D视频数据选择2D视频显示模式时，将左奇场的立体3D 基本流3DES一LO和左偶场的立体3D基本流3DES一LE顺序地集成到单通道 3D一AU流中，如图9所示。
当用户为多视图3D视频数据选择3D视频显示模式时，对于每个视点按 奇偶场的顺序，之后按视点顺序将基本流集成到单通道3D—AU流中，如图 IO所示。即按第1视点的奇场基本流3DES—#1 OddField、第1视点的偶场基 本流3DES—#1 EvenFidd、...第N视点的奇场基本流3DES—#N OddField、和 第N视点的偶场基本流3DES—存NEvenField的顺序，将多视图视频图像的基 本流集成到单通道3D一AU流中。
当用户为多视图3D视频数据选择2D视频显示模式时，只将一个视点的 奇偶场基本流顺序地集成到单通道3D—AU流中，如图11所示。因此，在多 视图3D视频图像的2D视频显示模式下，允许用户显示他/她所期望的视点 的图像。
如上面所描迷的，将从3D—ES混合器15和16输出的单通道3D—AU流 送入同步层20中。如图2所示，根据本发明的实施例，除从ESI传送的信息 之外，单通道3D—AU流包括立体/多视图3D视频流的可选信息。
图12中定义了增加到立体/多视图3D视频数据中的信息的语法和语义。
图12示出了对于立体/多视图3D视频图像而增加到单个3D一AU流中的 信息的语法和语义，其中只图解说明经由ESI传送的信息以外的可选信息。
更具体地，另外给出了3个信息集合，如显示区分标志2D_3DDispFlag 和^L点信息标志NumViewpoint,如图12所示。
显示区分标志2D—3DDispFlag表示由用户选择的立体/多视图3D视频的 显示模式。在该实施例中，如果不明确限定则显示区分标志是"00"用于 2D视频显示模式、"01"用于3D视频场模板显示模式、"10"用于3D视频 帧模板显示模式、"11"用于多视图3D视频显示模式。
视点信息标志NumViewpoint表示运动画面的视点数。即对于2视点的视 频图像的立体3D视频数据，将视点信息标志指定为"2"，对于N视点的视 频图像的3DN-视图视频数据，将视点信息标志指定为"N"。
同步层20接收每个AU的输入基本流，将它分为多个SL分组，以生成 各个SL分组的有效载荷，并且基于经ESI为每个AU传送的信息以及关于立 体/多视图3D视频图像的上述附加信息(即显示区分标志和视点信息标志)构 造同步分组首标。
图13图解说明了根据本发明的实施例的立体3D视频数据的同步分组首 标的结构，所述同步分组首标是增加到一个3D—AU流中的首标信息。
在图13所示的同步分组首标中，存取单元开始标志AccessUnitStartFlag 表示同步分组有效载荷的哪个字节是3D一AU流的开始。例如，标志位"1" 表示SL分组有效载荷的第一个字节是一个3D一AU流的开始。
存耳又单元结束标志AccessUnitEndFlag表示同步分组有效载荷的哪个字 节是3D一AU流的结束。例如，标志位1表示SL分组有效载荷的最后一个字 节是当前3D一AU流的结束字节。
对象时钟参照(OCR)标志表示跟随有多少个对象时钟参照。例如，标志 位"1"表示跟随有一个对象时钟参照。
空闲标志IdleFlag表示3D—AU流的输出状态。例如，标志位"1"表示 对于某个预先确定的时刻不输出3D—AU数据，标志位"0"表示输出3D一AU 数据。
填充标志PaddingFlag表示在SL分组中是否存在填充。例如，标志位"1" 表示在SL分组中存在填充。
填充位PaddingBits表示将用于SL分组的填充模式，且具有缺省值"0"。
分组序列号PacketSequenceNumber有一个对于各个SL分组连续增加的 模数值。解码器中的不连续说明至少一个SL分组丢失了。
对象时钟参照(OCR)包括OCR时间戳，且仅当设置了 OCR标志时，才
存在于SL分组首标中。
设置为"I"的存取单元开始标志AccessUnitStartFlag的标志位表示SL 分组有效载荷的第一个字节是一个3D—AU流的开始，在这种情况下传送可选 字段的信息。
具有设置为"1"的标志位的随机存取点标志RandomAccessPointFlag表 示允许随才几存取内容。
3D—AU序列号3D—AUS叫uenceNumber有一个对于各个3D一AU连续增 加的模数值。解码器中的不连续说明至少一个3D—AU丢失了 。
解码时间戳标志DecodingTimeStampFlag表示在SL分组中存在有解码时 间戳(D丁S)。
合成时间戳标志CompositionTimeStampFlag表示在SL分组中存在有合 成时间戳(CTS)。
即时(instant)比特率标志InstantBitRateFlag表示在SL分组中存在有即时 比特率。
解码时间戳(DTS)是在相关的SL配置描述符中存在的DTS,且仅当解码 时间不同于3D一AU的复合时间时存在。
合成时间戳(CTS)是在相关的SL配置描述符中存在的CTS。 3D一AU长度表示3D一AU的字节长度。
即时比特率表示当前3D一AU的比特率，并且是有效的，直到下一个即时 比特率字段出现为止。
降级优先级表示SL分组有效载荷的优先级。
浮见点信息标志NumViewpoint表示运动画面的浮见点H即对于2纟见点运动 画面的立体3D视频数据，将视点信息标志设置为"2"，或对于3DN-视图视 频数据，将视点信息标志设置为"N"。
显示区分标志2D_3DDispFlag以和立体3D ^见频lt据的情况相同的方式 来表示3D视频数据的显示模式。在该实施例中，显示区分标志对于2D视频 显示模式被设置为"00"，对于3D视频场才莫板显示模式被设置为"01",对 于3D视频帧模板显示模式被设置为"10",对于多视图视频显示模式被设置 为"11"。
在建造了上述构造的首标之后，同步层20将首标和有效载荷组合在一 起，以生成SL分组并发送该SL分组到传输层30。在FlexMux 31中被多路复用之后，将传送到传输层30的SL分组流处理 为适合于经DMIF 32至传输环境的接口的流，并将其发送到接收方。可选 的，将SL分组流处理为适合于至存储介质的接口的流，并将其存储在存储介 质中。
接收方解码来自视频处理系统的处理的分组流，以再现原始图像。
在这种情况下，接收方的3D对象解码器检测多路复用的3D一AU的流格 式类型，从而以每个多路复用的3D—AU的流格式类型来恢复3D视频数据。 因此，3D对象解码器在基于在接收的分组的首标中存储的信息中的视点信息 标志NumViewpoint和显示区分标志2D_3DDispFlag中存储的值，检测3D—AU 的流格式类型之后，进行解码。
例如，当所传送的分组流首标的视点信息标志NumViewpoint是"2"且 显示区分标志2D一3DDispFlag是"00"时，将以2D视频显示模式显示立体 3D视频数据，且按左奇场的3D基本流3DES—LO、左偶场的3D基本流 3DES—LE的顺序来多路复用3D—AU，如图10所示。
当视点信息标志NumViewpoint是"2"且显示区分标志2D_3DDispFlag 是"01"时，以3D视频场模板显示模式显示立体3D视频数据，且以左奇场 的3D基本流3DES—LO、右偶场的3D基本流3DES—RE的顺序多路复用 3D_AU,如图8所示。
最后，当视点信息标志NumViewpoint是"2 "且显示区分标志 2D一3DDispFlag是"10"时，将以3D视频帧才莫板显示才莫式显示立体3D视频 数据，且以左奇场的3D基本流3DES—L0、左偶场的3D基本流3DES—LE和 右偶场的3D基本流3DES一RE的顺序多路复用3D一AU，如图9所示。
另一方面，当视点信息标志NumViewpoint是"2"且显示区分标志 2D—3DDispFlag是"11"时，将以多视图3D 3见频显示才莫式来显示立体3D视 频凄t据，该情况不会出现。
当视点信息标志NumViewpoint是"N"且显示区分标志2D—3DDispFlag 是"00"时，将以2D视频显示模式显示多视图3D视频数据，并以第一视点 的奇场基本流3DES—#10、第一视点的偶场基本流3DES—#1E的顺序多路复 用3D一AU，如图12所示。
当视点信息标志NumViewpoint是"N"且显示区分标志2D—3DDispFlag 是"11"时，将以多视图3D视频显示模式显示多视图3D视频数据，且以第 一到第N视点的所有奇场基本流3DES—#10,...,3DES—#NO和第一到第N视 点的所有偶场基本流3DESJ1E,…,3DES—#NE的顺序多路复用3D—AU,如图 11所示。
当视点信息标志NumViewpoint是"N"且显示区分标志2D—3DDispFlag 是"10"或"01"时，将以3D视频帧/场模板显示模式显示多视图3D视频 数据，该情况不会出现。
如上所述，根据本发明的实施例，接收方基于在从^L频处理系统传送的 分组流首标的一见点信息标志NumViewpoint和显示区分标志2D—3DDispFlag 中存储的值，检查分组流中多路复用的3D一AU的流格式类型，之后执行解码 以再现3D碎见频图像。
图14 il明了由MPEG-4系统的DecoderConfigDescriptor所定义的流类 型，图15说明了一种新的流类型，其用于确定从压缩层输出的立体3D视频 图像的基本流是2D还是3D视频图像数据。
尽管关于目前认为是最实用和优选的实施例描述了本发明，但应当理解 本发明不限于所公开的实施例，相反，本发明试图覆盖在附加权利要求的精 神和范围内所包括的各种修改和等价结构。
如上所述，本发明使现有MPEG-4系统中的立体/多视图3D视频处理成 为可能。
特别地，将具有相同时间和空间信息的多通道的基于场的基本流多路复 用为单个基本流，从而最小化重叠的首标信息。
本发明还通过使用从同 一 时刻的多视图视频数据的多通道基本流中的一 个通道基本流中获得的时间信息来获得与其它视点的基本流同步，从而简化 3D一见频图像间的同步。
此外，本发明的多路复用结构和首标构造允许用户有选择性地以3D视 频场/帧模板显示模式、多视图3D视频显示模式或2D视频显示模式，来显 示立体/多视图3D视频数据，同时保持和现有2D视频处理系统的兼容性。 因此，本发明可对所选择的适合于用户需求和系统环境的数据进行流化处理。
权利要求
1.一种解码多路复用的视频分组流的方法，包括(a)接收包括有视点信息标志和显示区分标志的多路复用的分组流，所述视点信息标志用于表示运动画面的视点数，所述显示区分标志用于表示运动画面的显示模式；(b)从多路复用的分组流中检测视点信息标志和显示区分标志；(c)基于检测的视点信息标志和检测的显示区分标志确认多路复用的分组流的流格式并解码确认的分组流。
2. 如权利要求1所述的方法，其中所述视点信息标志和显示区分标志 包括在多路复用的分组流的首标中。
3. 如权利要求1或2所述的方法，其中当确认的流格式是三维视频场 模板显示模式时，在确认使用2通道基本流、按照左图的奇场基本流和右图 的偶场基本流的顺序将立体声三维视频的4通道的基于场的基本流多路复用 为 一或多个存取单元流之后，步骤(c )进行解码。
4. 如权利要求1或2所述的方法，其中当确认的流格式是三维视频帧 模板显示模式时，在确认使用4通道基本流，按照左图的奇场基本流、左图 的偶场基本流、右图的奇场基本流、右图的偶场基本流的顺序将立体声三维 视频的4通道的基于场的基本流多路复用为一或多个存取单元流之后，步骤(c)进行解码。
5. 如权利要求1或2所述的方法，其中当确认的流格式是二维视频显 示模式时，在确认使用2通道基本流、按照左图的奇场基本流和左图的偶场 基本流的顺序将立体声三维视频的4通道的基于场的基本流多路复用为 一或 多个存取单元流之后，步骤(c)进行解码。
6. 如权利要求1或2所述的方法，其中当确认的流格式是三维多视图 视频显示模式时，在确认使用各个视点、按照视点的奇场基本流和偶场基本 流的顺序将N视图视频的Nx2个基于场的基本流顺序地多路复用为一或多 个存取单元流之后，步骤(c)进行解码。
全文摘要
公开了一种解码多路复用的视频分组流的方法。该方法包括接收包括有用于表示运动画面的视点数的视点信息标志和用于表示运动画面的显示模式的显示区分标志的多路复用的分组流；从多路复用的分组流中检测视点信息标志和显示区分标志；基于检测的视点信息标志和检测的显示区分标志确认多路复用的分组流的流格式并解码确认的分组流。本发明对具有相同时间和空间信息的多通道基本流进行多路复用，从而最小化重叠的首标信息，且对适合于用户需求和用户系统环境的数据进行流化处理。
文档编号H03M7/30GK101188779SQ20071015985
公开日2008年5月28日 申请日期2002年11月21日 优先权日2001年11月21日
发明者安致得, 尹国镇, 崔润静, 曹叔嬉, 李珍焕 申请人:韩国电子通信研究院