专利名称：网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行 ...的制作方法
技术领域：
本发明涉及视频编解码器，更具体地说，本发明涉及构成用于每个MPEG 视频网络提取层单元(NALU)的分组的方法及其应用的视频便解码器、基于 IPv6标签交换的QoS控制、以及解码算法和装置。
背景技术：
目前在MPEG/JVT (联合4见频组)中进行标准化的可扩展视频编码(SVC， scalable video coding)和多碎见角一见频编码(MVC )是基于H. 264/AVC的。 H. 264/AVC的NALU才各式一皮用来对经编码的位流进行分组化。
图1示出了视频编码层(VCL)和网络提取层(NAL)的概念性结构。如 图1所示，H. 264/AVC由VCL和NAL构成，其中VCL对运动图像进行编码， 而NAL将VCL连接到下级系统以传输和存储经编码的信息。独立于VCL产生 的位流，存在序列参数集(SPS )、图像参数集(PPS )和补充增强信息(SEI ), 用于对每个图像的信息、随机存取的信息等进行定时。
图2是示出了在标准SVC中提出的NALU格式的框图。如图2所示，NALU 包括NAL头(NALH )和NAL载荷。NALH有3 - 5个字节长，并且包括关于NAL 类型的信息以及载荷中视频数据的层标识信息(优先级、空间可扩展级别、 时间可扩展级别、以及质量可扩展级别)。NAL类型字段包括F字段、指示 其是否是被引用图像的NRI (nal-ref-idc)、以及MLU类型的指示符。层 标识信息字段包括优先级字段(P)、用于空间可扩展级别的dependency-id 字段(D)、时间级别字段(T)、以及质量可扩展级别字段(Q)。
如图2所示在SVC中使用的相同NALU格式还被用于MVC。作为层标识信 息的替代，视角标识信息被包括在其中。
根据当前SVC和MVC的NALU格式，所有层标识信息和视角标识信息都应 当被解析以标识层数或视角数。具体地说，为了标识SVC中的层，2-4字节 长的层标识信息应当被解析为P、 D、 T和Q值，从而该处理给处理器施加了负担，并且增加了系统成本。
NALH具有层标识信息，而网络中包括IPv6路由器在内的路由器并不会 对其进行解析，因为NALH位于IP分组的载荷内，如图13所示。需要将该信 息放入由路由器读取的IP头部。如何提供标签的方法尚未被标准化。如果能 够标识出分组优先级、那么QoS (服务质量)控制将变得容易，从而在阻塞 时，可以丟弃更少的重要分组。
图3示出了根据传统SVC标准的NALU格式通过解析整个NALU来标识任 意NALU的层的过程，因此，图3是示出了 MANE (々某体意识网络元件)用于 决定是转发还是丢弃每个NALU的流程图。
图3中的MANE 乂人每个NALU (其由编码器生成或者经由有线或无线网络 传输)解析出P、 D、 T和Q值(S11),并且随后解析出的P、 D、 T和Q值与 预定义值(p、 d、 t、 q)相比较，以便MANE决定其是转发还是丢弃每个MLU (S12)。如果值中的任何一个不满足要求，则NALU被丟弃(S13)，而满足 所有要求的NALU被抽取出并被转发到解码器(S14)。
处理器在NALU的抽取过程期间的负担以同样的方式被施加到解码过程， 从而解码器从经由有线或无线网络传递或存储的每个NALU解析出P、 D、 T 和Q值。如果NALU的层被包括在解码器将要解码的层中，则这些值被评估。 只有当这些值满足所要求的设置点时，NALU才被解码，否则NALU被丢弃。
发明内容
本发明提供了下述的任务的解决方案，即，减少MANE和解码器通过解析 长的NALH来决定是否抽取/解码NALU的负担，以及提供构成MLU从而以更 小的复杂度进行抽取/解码的方法及其应用的解码算法、用于IPv6标签交换 的QoS控制算法、以及解码算法和装置。
本发明还提供了下述任务的解决方案，即，IPv6分组的构成方法以及用 于IPv6标签交换的路由和QoS控制算法，该方法使得能够有效地控制QoS 而无需在IPv6路由器中解析NALH。
为了解决上述任务，根据本发明的实施例，通过将在用于SVC和MVC中 的JVT中标准化的NALH缩短为特定尺寸的标签，编码、抽取和解码操作基于 SNALH (缩短的NALH )而祐:执行。如前所述，每个NALU传统上具有3 - 5个 字节长的NALH来标识层(优先级、空间可扩展级别、时间可扩展级别、和质量可扩展级别)和视角数。因此，在SVC中，NALH包括优先级字段(P)、 用于空间可扩展级别的dependency—id字段(D)、时间级别字段(T)、以 及质量可扩展级别字段(Q )。根据SVC的NALH格式，所有NALU在NALH中 具有P、 D、 T和Q值。
根据本发明的实施例，用于每个NALU的这个长NAUM皮SNALH取代，其 中SMLH包括预定义的用于标识层标识信息(例如P、 D、 T和Q值)的短标 签。用于层标识的短标签被定义用于特定服务或者特定视频序列。根据本发 明的实施例，如果SNALH是1字节长，那么可以标识出大约250种不同类型 的NALU流。
如果本发明的实施例#1应用于SVC,那么可以标识出每个NALU的层。例 如，如果SNALH是1字节长，那么可以标识出大约不同NALU流的P、 D、 T 和Q值的250种不同组成。以相同的方式，如果本发明的实施例被应用于MVC, 可以标识出每个NALU的视角数。
此外，4艮据用于传统NALH格式的NALU抽取过程，可以在解析相对长的 NALH以及比较4层标识信息字段之后处理每个NALU。然而，根据本发明的实 施例，位于编码器和解码器之间的路径上的MANE通过〗又解析来自短SNALH 的标签，可以决定是丢弃还是转发每个NALU。根据本发明的实施例，解码器 通过仅解析来自短SNALH的标签，还可以决定是丟弃还是解码每个NALU。因 此，根据本发明的实施例，SVC或MVC的NALU的抽取和解码过程变得更加简 单。具体地说，由于NALU是在网络中的MANE内被抽取的，因此可以尽可能 地简化过程。
此外，作为本发明实施例的NAL格式在应用于IPv6网络时有帮助。例如， 如果作为发明实施例的SNALH #皮插入IPv6分组头等之中，IPv6 ; 各由器可以 仅通过读取所插入的SNALH而不是通过读取NALU的NALH来控制QoS Ul务 质量)。作为本发明的实施例，SNALH可以被》欠置在IPv6分组头中的20位 的流标签(flow label)中。通过在流标签中使用SNALH， IPv6路由器能够 有效地执行MPEG JVT采用的MANE的功能。在此情形中，传统的NALH可以保 持不变以反向兼容当前的NALH标准。
为了解决上述任务，根据本发明的实施例，通过包括具有指示经编码数 据的优先级的标签的MLH以及包括经编码数据的NAL载荷，确定构成NALU 的方法。上述标签是基于经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量可扩展级别的组合而确定的。
作为上述实施例的另 一观点，SNALH可以用来包括指示NALU类型的字段。 SNALH还可以用来更详细地指示经编码数据的优先级、空间可扩展级别、时 间可扩展级别、以及质量可扩展级别。
为了解决上述任务，如上面提到的实施例所述的视频编码方法包括下述 步骤根据关于层结构的信息将输入序列编码为多层位流，根据关于层结构 的信息将标签映射到多个经编码位流中的每个，将标签插入NALH以作为 SNALH，通过合并SNALH和ML载荷生成NALU。对于每个位流，关于层结构 的信息指示经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量 可扩展级别的组合。
作为上述实施例的一个方面，在映射步骤期间可以使用映射表，以便将 标签映射到经编码数据的优先级、空间可扩展级别、时间可扩展级别和质量 可扩展级别的组合
为了解决上述任务，作为在包括多个解码模块的解码器中处理NALU的方 法，上述NALU被解析成具有标签的SNALH和NAL载荷，并且根据该标签，上 述解码器决定上述解码器模块中的哪个解码器模块处理NAL载荷。此时，上 述标签可以具有指示经编码数据的优先级、空间可扩展级别、时间可扩展级 别和质量可扩展级别的组合的信息。
为了解决上述任务，作为网络中间的节点用于根据经编码数据的层信息 决定是否转发NALU的分组的方法，NALU的分组由具有指示层信息的标签的 SNALH和NAL载荷构成，节点解析上述标签并且根据解析出的上述标签决定 是否转发分组，并且标签指示经编码数据的优先级、空间可扩展级别、时间 可扩展级别和质量可扩展级别的组合。
作为上述实施例的 一个方面，网络中间的节点可以是MPEG-JVT标准中采 取的MANE。节点根据抽取图决定是否转发NALU的每个分组，上述抽取图可 以包括关于以上述标签为条件的抽取策略的信息。是否转发的信息可以由1 位来表示。上面提到的条件包括网络条件、终端条件和用户偏好中的至少一 种，所述网络条件包括信道条件。抽取图可以在服务的开始或中间被传递。
作为上述实施例的另一方面，网络中间的节点可以是具有IPv6协议的 IPv6路由器，上述分组可以是IPv6分组，并且标签可以被插入到IPv6分组 头中的流标签内。本发明实施例的效果如下所述。
首先，在网络的中间，可以减少QoS控制的处理复杂度和处理时间。当 网络中间的节点(例如，MANE)根据网络条件将丟弃NALU时，根据本发明的 实施例，通过4吏用抽取图和从每个分组的SNAH解析出的标签而非解析长的 NALH以标识出MLU的层，可以决定是转发还是丟弃每个分组以适应网络条 件。抽取图可以在服务的开始被设置，或者可以根据多种抽取条件由MANE 生成。抽取图可以由服务器发送或者在MANE中生成。
其次，可以减少了解码器的复杂度。 一旦层或视角之间的引用关系在服 务开始时被构建，或者在关系改变时被重建，解码器不必解析具有2 - 4字节 的长NALH，其仅解析1字节长的SNALH。如果NAL中的载荷才艮据NALH ^皮存储 在任意层或视角的解码器緩存中，则下面的过程与常规操作相同。
再次，可以在较低的网络协议层中使用短标签。通过使用标签，网络可 以为流提供预定义的QoS级别。例如，被修改或未被修改的标签可以被插入 到IPv6头的流标签中。作为本发明实施例的SNALH中的标签还可以用于MPLS (多协议标签交换)。
第四，可以降低比特率。作为本发明的实施例，如果标签类型头(SNALH) 是1字节长，则每个NALU中的2 - 4个字节可以被减少。
图1是如在H. 264/AVC标准中的NAL(网络提取层)和VCL(视频编码层) 之间的关系的概念性示图。
图2是示出了在当前SVC标准中提出的NALU格式的框图。
图3是示出了决定是否在MANE中转发NALU (或者分组位流)的传统过程。
图4是作为本发明第一实施例的NALU格式的框图。 图5是作为本发明第二实施例的NALU格式的框图。 图6是作为本发明实施例的SVC解码器结构的框图。 图7是作为本发明实施例的MANE的框图。MANE决定是否转发NALU (分 组位流)。
图8是作为本发明实施例用于MANE决定是否在MANE中转发NALU (或者 分组位流)的过程的框图。图9是解码器解析在图4或5中定义的格式下的NALU的流程图。 图IO示出了将H. 264/AVC标准中的14个NALU类型映射到14个标签的 示例。
图ll示出了根据从图4或5中定义的格式解析出的标签进行解码的伪代码。
图12示出了如何在异质网络中多播视频流。 图13示出了使用IPv6协议应当读取多少数据用于分组交换。 图14示出了根据本发明实施例应当读取多少数据用于标签交换。 图15示出了作为本发明实施例的IPv6头中的流标签的示例。
具体实施例方式
本发明的实施例通过使用附图在下文被具体说明。
图4是作为本发明第一实施例的NALU格式的框图。在图4中，上部示出 了传统的NAL格式，而下部示出了作为本发明第一实施例的NALU格式。
根据图4,作为本发明实施例的NALU格式包括SNALH (标签类型NALH ) 和NAL载荷。其中，NAL载荷与传统格式相同。因此，作为本发明的实施例， 通过使用特定尺寸的标签，NALU中的传统NALH #皮SNALH取4戈。该SNALH可 以是l字节长，在此情形中，可能标签的数目为28 - 256等。
更为具体地，作为本发明的实施例，传统NALH包括的NAL类型、用于优 先级的Priority_id、用于空间可扩展纟及别的Dependency—id、用于时间可扩 展级别的Temporal-level、以及用于质量可扩展》及别的Quality —level的组 合代表有限数目的NALH组中的一组，并且被转换成标签以辨别组。即，作为 本发明的实施例，具有相同组合的一组NALH在一对一的基础上被映射到一个 标签。因此，唯一的一个标签^皮分配给NAL类型、用于优先级的Priority-id、 用于空间可扩展级别的Dependency-id 、用于时间可扩展级别的 Temporal-level、以及用于质量可扩展级别的Quality—level的^f壬意组合。
与此类似，作为本发明的实施例，NALU中的SNALH包括与传统NALH中 的多个值相对应的标签。本发明的该实施例基于下述事实，即，在视频会话 或存储的视频序列期间存在有限数目的NALH组，并且相同数目的标签被用于 SNALH。例如，如果NALH组的数目小于250,则传统NALH可以被1字节长的 SNALH取代。图5是作为本发明第二实施例的NALU格式的框图。在图5中，上部示出 了传统NAL格式，而下部示出了作为本发明第二实施例的NALU;f各式。
才艮据图5,作为本发明实施例的NALU格式包括NALU类型、SNALH (标签 类型NALH)和NAL载荷。其中，NAL载荷与传统格式相同。因此，作为本发 明的实施例，通过^f吏用特定尺寸的标签，NALU中的传统NALH祐:SNALH取代。 该SNALH可以是1字节长，在此情形中，可能标签的数目是28 - 256等。
更为具体地，作为本发明的实施例，首先，传统NALU格式中的NALU类 型字,殳未变。并且，传统NALH包括的NAL类型、用于优先级的Priori ty—id、 用于空间可扩展级别的D^endency_id 、用于时间可扩展级别的 Temporal-level、以及用于质量可扩展级别的Quality—level的组合，代表 有限数目的NALH组中的一组，并且被转换成标签以辨别组。即，作为本发明 的实施例，具有相同组合的一组NALH在一对一的基础上被映射到一个标签。 因此，唯一的一个标签被分配给NAL类型、用于优先级的Priority—id、用 于空间可扩展级别的Dependency-id 、 用于时间可扩展级别的 Temporal-level、以及用于质量可扩展级别的Qual i ty—level的4壬意组合。
与此类似，作为本发明的实施例，NALU中的SNALH包括与传统NALH中 的多个值(P、 D、 T、 Q)相对应的标签。本发明的该实施例基于下述事实， 即，在视频会话或存储的视频序列期间存在有限数目的NALH组，并且相同数 目的标签被用于SNALH。例如，如果NALH组的数目小于250，则传统NALH 可以被1字节长的SNALH取代。
并且，根据图4或5中的才各式，SNALH的标签和NALH组(其是P、 D、 T 和Q的组合)的一对一映射可以被定义在映射表中。解码器和编码器具有相 同的映射表。对于如何具有该相同的映射表并没有限制。例如，编码器可以 向解码器发送映射表连同经编码的视频数据，或者编码器可以仅发送关于映 射表的信息给解码器。在后一情形中，编码器和解码器预期已具有若干映射 表，并且编码器发送标识符来标识表，并且解码器从多个映射表中获取由标 识符标识的映射表。
编码器和解码器使用映射表的方法如下所述。例如，通过使用映射表， 编码器生成具有标签的NALU,如在本发明第一或第二实施例中提及的格式一 样。然后，解码器通过使用映射表和NALH中的标签标识出NALU的可扩展层。 余下的载荷被发送到与标签标识出的层相适应的解码器模块。
10图6是作为本发明实施例的SVC解码器结构的框图。在下文中，尽管使 用SVC标准的例子来解释本发明，但是对本领域技术人员来说很明显，本发 明的实施例可以应用于其它类型的编码器(例如，MVC编码器)。
在图6中，SVC编码器100包括视频编码模块IIO和NALU发生器120。 尽管在图6中视频编码模块110和NALU发生器120被描述为独立的模块，它 们根据它们的功能而在逻辑上分离，但是它们可以或者独立地或者在一个机 体里实现。并且，即使仅有视频编码模块和NALU发生器被包括在图6中，SVC 编码器的其它模块被忽略，因为它们与这里的说明无关。
视频编码模块被用于执行编码过程(变换和数量化等)以从原始图像生 成经编码数据，从而满足SVC标准。SVC编码模块包括基本层编码模块以及 多个增强层编码模块。作为编码的结果，视频编码模块还产生代表NAL类型、 用于空间可扩展级别的Dependency-id (D)、用于时间可扩展级别的 Temporal —level (T)、以及用于质量可扩展级别的Qual i ty_ level (Q)的 信息。
NALU发生器是通过使用由视频编码模块给予的关于NALU类型、D、 T、 和Q的信息来生成NALU的模块。此时，NALU的优先级可以被定义。对于D、 T和Q的组合可以定义不只一个优先级。NALU发生器120可以生成图4或5 中描述的格式下的NALU。为此，NALU发生器包括NALU发生器120、映射模 块122和NALU构成器124。 地生成的映射表。并且，NALU构成器124通过使用视频编码模块110提供的 经编码数据和映射模块122给出的标签来构成NALU，如图4或5所述的那样。 所生成的NALU连同或者不连同映射表(或者标识映射表的信息)被发送或被 存储在存储器中。
图7是作为本发明实施例的MANE (々某体意识网络元件)的框图。MANE 包括NALU抽取器(分组抽取器或位流抽取器)，该NALU抽取器决定是否转 发NALU (或者分组位流)。上面提到的NALU抽取器位于网络中间。并且NALU 抽取器抽取并转发满足特定条件(在SVC的所有层中，由接收器请求的某些 层)的NALU。在图7中，作为本发明实施例的NALU抽:取器200包括标签解 析器210和转发决定模块220。标签解析器210从接收自编码器的NALU (具有图4或5中的格式)解析 出标签。因此，作为本发明的实施例，标签解析器210不需要解析NAL类型、 用于空间可扩展级别的D印endency-id (D)、用于时间可扩展级别的 Temporal — level (T)、以及用于质量可扩展级别的Quality—level (Q)的 信息。
转发决定模块220基于其抽取表和标签解析器210解析出的标签决定是 否转发每个NALU。抽取表是这样的标签表，通过该标签表，位流(NALU)被 允许转发。因此，作为本发明实施例的抽取器不需要解析每个NALU的P、 D、 T和Q值，相反，通过仅使用标签和抽取表，可以决定是否转发对应的NALU。 对于每个标签，关于是否转发的信息可以由一个位来指示。
抽取表可以从服务器接收，或者可以在NALU抽取器(例如，MANE)中构 建。抽取表中的标签可以对应于编码器中的映射表中的标签。根据网络、终 端和/或用户的多种条件，可以使用不只一个抽取表。此外，对于多播会话，
图8是作为本发明实施例的MANE中的过程的方框图。这些过程是 MANE用来决定是否转发NALU (或者分组位流)的过程。如图8中所示， NALU抽取器从每一个接收到的或者获取到的NALU抽取标签。并且，其观 察在抽取表中用于解析出的标签值的抽取指示符是否为'T， (S22)。这里， 如果抽取指示符为"1"，则转发对应的NALU;而如果抽取指示符为"0"， 则丢弃对应的NALU。因此，作为本发明的实施例，在步骤S23中丢弃对应 的NALU，而在步骤S24中将对应的NALU转发给后面的用于该解码器的网 络实体。
图7和图8示出了在网络中间的实体中进行NALU抽取的设备和方法。 然而，通常情况下，媒体数据作为分组流或者仅仅是不同于NALU流的位流， 在某些有线和无线网络上传输。在这种情况下，上述标签可以包含在分組头 或者位流中。而且，如MANE等网络实体从分组头或者位流解析出标签，以 决定是否转发。
图9是解码器用来解析具有图4或5中定义格式的NALU的流程图。在 图9中，解码器从接收自传输网络的或者获取自所存储内容的每个NALU解 析出(S31)标签。例如，解码器通过解析NALU中的SNALH来读取标签 值。而且，通过使用上述的映射表，解码器查看(S32)对应于解析出的标签值的D、 T和Q值。该映射表可以与NALU —起被接收或者可以是已经存 储在解码器中。而且，该解码器将NAL载荷转发给与D、 T和Q值相对应的 视频解码模块。每个视频解码模块对进来的经编码数据，即NAL栽荷，进行 解码(S33 )。
作为本发明的另一个实施例，除了解码模块，解码器还可以具有图7中 解释的另一NALU抽取器。在这个情况中，解码器只解码被NALU抽取器所 允许的NALU。
下面从不同的> 见角来解释本发明上述的实施例。
〈NALH压缩法>
在临时视频会话过程中，或者当存储视频序列时，按JVT标准的每一个 3 ~ 5字节长的NALH被映射并被SNALH (缩短的NALH)取代。在编码器 和解码器中使用同样的映射表。当存储经编码的视频序列时，映射表也要被 存储。
作为本发明的实施例，为了适应性地控制QoS， MANE应该具有用于依 据NALU标签进行抽取的抽取表。该抽取表可以从服务器或者客户获取，或 者在MANE中由其本身构建。如果MANE本身构建了抽取表，那么MANE 就应该具有上述的映射表。按照根据本发明实施例的NALU格式，如果视频 会话或者存储的视频序列由具有相同P、 D、 T、 Q值的有限NALU组构成， 则一组P、 D、 T和Q值^皮一个标签取代。例如，组凄t小于250,每一组的指 示符可以压缩成8 4立。
例如，假定用3个空间可扩展层对视频序列编码，每个层被扩展成2个 时间可扩展层，每个时间可扩展层被扩展成4个质量层。于是，有24 (3x2 x4)个不同的层，这些层可以用24个不同的标签标识。
如果一个层是由具有不同priority_ID的两个NALU流构成的，则这个层 需要2个不同的标签。这里，"相同层的流"指的是具有相同dependency—ID、 temporaljevel和quality—level (简言之，DTQ )的NALU的流。相反，如果 P值用于不同DTQ组，则每组应该有其自己的标签。
编码器和解码器应该具有标签和DTQ组之间的映射表。即使可以任意地 构建标签，如果可能的话，最好使标签表示没有映射表的R264/AVC标准的 DTQ值。
1字节长的SNALH
13在临时的视频会话过程中，或者当存储视频序列时，如果层数(或者
NALH的组数)是有限的，则同样数量的标签被确定并被用作SNALH。根据 实施例，在数量小于250的假设下，NALH可以被压缩成8位。1字节长的 SNALH的实施例表示在图4中。 2字节长的SNALH
为了保持同H.264/AVC标准的兼容性，第一字节与2006年1月时的标 准中第一字节相同。其余的NALH字节被压缩成一个字节长的标签。2字节 长的SNALH的实施例表示在图5中。
SNALH的拓展用途 "SNALH的拓展用途"是指在不同于本发明上述实施例的各种目的下使 用SNLAH。有"NALH拓展"、"可扩展方法拓展"、"媒体拓展"和"协 议拓展，，。
"NALH拓展"法保持传统的NALH格式并增加SNALH。即，在图4 和图5中，标签被附加在具有完整NALH的传统NALU的前面。根据这个方 法，即使NALH由于增加了 SNALH而变得更大，人们也能够通过降低解码 器和MANE中的复杂性来享受SNALH的优点。
"可扩展方法拓展"是指允许比传统标准更多的DTQ组合。由于按传统 标准用3、 3、 2位来代表D、 T、 Q，所以，可能的层数分别是8、 8、 4。冲艮 据本发明的实施例，由于标签是由映射表定义的，所以，如果参与服务的实 体都同意，则层数可以自由拓展。
"媒体拓展"是指将本发明实施例提出的标签应用于视频流之外的媒体 流，例如音频流。在MVC (多视角视频编码)会话中，标签可被分配给各视 角。此外，标签可被分配给用于各个视角或者层的FEC(转发擦除校正， Forward Erasure Correction )分组流。如果网纟各是分纟且有损型(packet-lossy) 的，则奇偶分组流被转发，而在无损网络中它们被丢弃。
"协议拓展"是指将上述标签应用于其他协议，并进行或者不进行轻微 修改。作为实施例，图4或者5中的SNALH可以净皮复制到IPv6头中20位 长的流标签以及MPLS中的标签字段。 保证对H.264/AVC兼容性的方法
图5中的SNAL兼容于H.264/AVC标准。如果如图10所示只使用了 14 个标签，则图4中的SNALH变成与H.264/AVC标准兼容。如果对于与H,264/AVC相关的14种NAL类型，NRI和F值是固定的，则14个标签被 确定。所以，上述14个标签之外的标签应该用于SVC流之外的流。 对SEI消息的兼容性
通过使用SEI (补充增强信息)消息传送的Scalability—info和layer—ID 可以用作标签。在这个情况中，编码器和解码器不需要另外的标签。 <编码器的实现>
解码器应该被告知编码器使用了 SNALH这个信息。该信息可以通过使 用SPS(序列参数集)进行通知。在存储经编码序列的情况中，使用了 SNALH 的这个信息应该^皮存J诸。
存储和传输标签映射表
标签被分配的个数与视频流中辨别出的流(NALU组)的数量一样多。 将流映射到标签的关系被构建为映射表。映射表被构建为将全部或者部分 NALH组分配给标签。作为实施例，这个信息可以通过使用SPS或者PPS(图 像参数集)被传递给解码器。作为实施例，标签可以是SVC层或者MVC视 角的序列号。
NALH的产生
在每一个NALH中，传统长度的NALH被SNALH取代。 <解码器的实现>
解码器应该被通知编码器使用了 SNALH这个信息。该信息可以通过使 用SPS进行通知。在播放经编码序列的情况中，使用了 SNALH这个信息应 该被读取并正确解析。
构建标签映射表
在解码器初始化过程中，编码器给出的映射被读取。解码器初始化视频 解码模块的个数与要进行解码的流的数量一样多，并分别建立与标签的关系。 这时，SVC层和MVC视角之间的引用关系也被建立起来。
NALU处理
一旦接收到NALU，解码器就解析图4或图5中那样的SNALH，并将 NALU的载荷存储在对应解码模块的緩存中。按照传统标准，由于在解析并 评估D、 T、 Q值之后解码模块的决定变为可能，所以，传统标准比本发明复 杂得多。进行决定的算法描述在图11中。图11示出，解码器只是通过评估 SNALH中的单个标签，而没有使用传统NALH的D、 T、 Q等多个值，就能传送该载荷给正确的解码模块。
< MANE (々某体意识网纟各元件，Media Aware Network Element)的实现> 根据本发明的实施例，当MANE决定它转发哪些流时，MANE依赖于它 的抽取表。因此，根据本发明的实施例，MANE无需评估P、 D、 T、 Q值， 而是通过使用抽取表中用于每个标签的l位信息来决定是否丟弃。这个抽取 表是从服务器或者客户接收到的，或者是在MANE中产生的。MANE可以 具有一个以上的抽取表，与网络、终端和用户的差别条件一样多。对于多播 会话，不同的抽取表被放置在图12所示的网络分支中。图12示出的是，3 个MANE分别具有3个不同的抽取表。这是一个例子。为了简化起见，标签 被表示为4位长的值，而且有4个不同的流。例如，在MANE 3中，带有标 签OIOI的NALU被丢弃，而带有标签1101、 0111和0001的NALU被转发。 抽取表的构建
在视频会话的初始化期间，MANE接收服务器使用SNALH这个信息。 为了构建抽取表，MANE可以从服务器或者客户接收抽取表，或者可以通过 使用从智能路由器或者无线网络基站接收的控制信息自己生成抽取表。要转 发的层或者视角的类型和范围，由用户偏好、终端能力和网络条件确定。终 端能力包括显示分辨率和允许的信道带宽。甚至在服务会话过程中，抽取表 中的抽取策略也可以在用户偏好、终端能力和网络条件随时间改变时被适应 性地修改。这样的决定策略可取地是从服务器接收的。服务器可以向NAME 发送修改后的抽取表。
作为图12中的例子，在对于4个不同层有4个标签的情况下，服务器向 位于通向HDTV终端路线上的MANE 1发送1111，使得具有所有标签的 NALU都被转发，而服务器向位于通向移动电话路线上的MANE 2发送0001 ， 使得只有对应于最低层即基本层的带标签0001的NALU被转发。同时，月良 务器向位于通向膝上型计算机路线上的MANE 3发送0111,使得具有3个最 低的标签的NALU被转发。根据本发明的实施例，最重要位的位"0"或"1" 值指示带有最高标签的NALU是否被转发，等等。
希望的是，如果在服务会话过程中客户请求改变服务级别，则服务器发 送修改后的抽取表。希望的是，如果信道(或者网络)条件被改变一定数量， 则MANE修改抽取表。但是，如果MANE没有足够智能来进行修改，则监 视信道条件(可用比特率，分组损耗率)的服务器或者客户将修改后的抽取
16表发送给MANE。 抽取过程
如果使用SNALH，则MANE基于SNALH中的标签决定抽取。但是， 这种方法造成L3 (网络层)路由器要处理象视频数据等应用层的负担，损害 了协议层之间的独立性原则。因此，希望将上述标签插进IPv6头中的流标签 中，使得路由器只评估IP头来决定抽取。
图3和图8比较了传统方法和本发明实施例之间的抽取决定过程。如图 3和图8所示，按照传统方式，NALU抽取是基于4个值决定的，而在本发 明中，只基于一个标签决定。
更详细地，对于SVC,如果如图3所示使用传统方法，则4个值(P、 D、 T、 Q)被解析并被使用，用于进行4步骤抽取决定；而如果如图8所示使用 本发明的方法，则不管值的含义如何，MANE都基于一个值即每个NALU的 标签，机械地决定抽取。在图8中，步骤S22是一个使用函数B=map[label 1] 决定抽取的例子，这样，如果值"B"是l，则带标签l的NALU被转发； 而如果值"B"是0，则带标签1的NALU被丟弃。
用于IPv6标签交换的OoS控制
当我们传输通过使用MPEC-2或者H.264编码的视频数据时，视频分组 的重要性相互间是不同的。为了有效控制视频服务的质量。人们应当辨别视 频分组重要性的不同。IPv6路由器辨别分组交换模态和标签交换模态等两种 不同模态中的不同。就分组交换情况而言，为了选择对应分组的预定义服务 策略，路由器应该读取目的地地址、源地址、目的地端口号、源端口号和协 议等5元组(turple) 。 5元组表示为图13中的阴影区域。这样做使得每个 分组的处理时间长，并且损害了网络协议层之间的独立性原则，因为端口号 是传输层的问题。
根据本发明的实施例，使用标签交换来解决这个问题。在会话初始化期 间的过程中，临时标签被分配，并仅用于该会话。该标签被插进作为图14 中阴影区域的流标签中。根据该方法，通过仅仅评估IPv6头中的流标签，IPv6 能够识别其中包含每个分组的会话以及每个分组的重要性。这个方法类似于 ATM (异步传输模式)或者MPLS (多协议标签交换)的分组路由(或交换) 方法。
标签交换中的标签包括针对每个分组流的路径信息和资源信息。在呼叫建立后，每个分组的路径和重要性通过使用标签来标识。传统的分组交换要
求路由器读取大约600位(包括IPv6头和^L频层头)，而#4居本发明的实施 例，路由器可以通过评估20位长的流标签来标识出路径和重要性。
图15示出了作为本发明实施例的IPv6头中的流标签的例子。根据图15， 8位长的路径标识符被从第5位插进20位中，而8位长的资源标识符(SNALH) 被从第13位插进20位。资源标识符能够被SNALH取代。如果视频会话包 括重要性不同的多个分组流，则路径标识符都是相同的，而资源(或者重要 性)标识符在各流间彼此不同地分配。
标签交换
在沿着传输路径包括多个MANE的架构中，每个MANE中使用的标签 可能是不同的。在这个情况下，在前的MANE可能就其标签与随后的MANE 使用的标签交换。这种交换可以在服务器中在传输之前、在解析每个NALU 之后进行。
参照仅仅是示例性的实施例对本发明进行了解释。对于本领域技术人员 清楚的是，在本发明中可以作出各种修改和变型，而不会超出本发明的精神 或者范围。因此，想要说的是，本发明覆盖了这个发明的修改和变型，只要 这些修改和变型落入了权利要求及其等同物的范围内。
工业实用性
本发明在包含^L频编码和解码的图象处理领域是有用的。而且，本发明 还能用于经过通信网络等等传输经编码视频，尤其是，本发明对于分组交换 网络是有用的。
18
权利要求
1、一种构成网络提取层单元(NALU)的方法，所述NALU包括NALH(NAL头)和NAL载荷，其中所述NALH包括指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据，其中所述标签是基于层信息的组合确定的，所述层信息的组合包括所述经编码数据的优先级中的至少一个、空间可扩展级别中的至少一个、时间可扩展级别中的至少一个、以及质量可扩展级别中的至少一个。
2、 如权利要求所述1的方法，其中所述NALH包括指示所述NALU的 类型的字段，或者所述层信息还包括指示所述NALU的类型的字段。
3、 如权利要求1所述的方法，其中所述NALH还包括多个字段，所述 多个字段中的每个分别指示所述经编码数据的所述优先级、所述空间可扩展 级别、所述时间可扩展级别、以及所述质量可扩展级别。
4、 一种用于对输入视频进行编码的方法，所述方法包括下述步骤在多个编码模块中根据所述输入视频的层信息，从所述输入视频生成多 个层的经编码数据流；基于所述层信息，将用于标识层的标签映射到所述多个层中所述经编码 数据所对应的层；以及生成NALU，所述NALU包括具有标签的NALH以及具有所述经编码数 据的NAL载荷，其中所述层信息代表所述经编码数据的空间可扩展级别、时间可扩展级 别和质量可扩展级别的组合。
5、 如权利要求4所述的方法，其中映射表在映射所述标签的步骤中被使 用，其中在所述映射表中，唯一的标签被映射到空间可扩展级别、时间可扩 展级别和质量可扩展级别的组合中的每一个。
6、 一种在包括多个解码模块的解码器中处理NALU的方法，每个NALU包括NALH (NAL头)和NAL载荷，其中所述NALH包括 指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据，以及所述解码器基于所述NALU的标签确定所述多个解码模块中的哪一个解 码模块被用来处理所述NALU。
7、 如权利要求6所述的方法，其中所述标签是基于所述经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合确定的值。
8、 一种根据经编码数据的层信息确定是否在网络的中间节点中转发分组 的方法，包括指示经编码数据的重要性的标签，所述NAL载荷包括所述经编码数据， 所述网络中间节点从分组抽耳又所述标签，并且基于所抽取的标签决定是 否转发所述分组，并且所述层信息代表所述经编码数据的空间可扩展级别、 时间可扩展级别和质量可扩展级别的组合。
9、 如权利要求8所述的方法，其中所述网络中间节点包括MANE (J 某 体意识网络元件)。
10、 如权利要求8所述的方法，其中所述网络中间节点使用抽取图确定 是否转发所述分组，并且所述抽取图具有指示根据所抽取的标签在预定条件 下是否转发所述分组的信息。
11、 如权利要求10所述的方法，其中所述抽取图的信息由每个标签1 个位来表示。
12、 如权利要求IO所述的方法，其中所述预定条件包括网络相关条件、 终端相关条件和用户相关条件中的至少 一种，所述网络相关条件包括信道条 件。
13、 如权利要求IO所述的方法，其中所述抽取表由服务器在服务的开始 或者在服务的中间发送。
14、 如权利要求8所述的方法，其中所述网络中间节点包括具有IPv6协 议的IPv6路由器，所述分组是IPv6分组，并且所述标签被插入所述IPv6分 组的头内的流标签中。
全文摘要
提供了一种用于IPv6标签交换的NALU(网络提取层单元)的构建方法及其视频编码、QoS控制和解码的应用算法。根据本发明的实施例，NALU格式由包括标签的NALH(网络提取层头)和NAL(网络提取层)载荷构成。这里，标签基于层信息确定，其中层信息是经编码数据的空间可扩展级别、时间可扩展级别和质量可扩展级别的组合。解码器使用标签来决定多个解码模块中的哪一个模块被用来解码当前的NAL载荷。而且，标签可以被包括在分组头中，从而MANE(媒体意识网络元件)可以使用标签来决定是转发分组还是丢弃它。例如，通过使用IPv6分组头中的流标签字段，分组头中的标签可以用于视频服务的QoS控制。IPv6路由器通过使用20位长的流标签，可以标识视频分组的优先级，其中NALH中的标签可以被插入到该流标签中。根据实施例，MPEG和JVT(联合视频组)中采用的MANE可以被有效实现。
文档编号H04N7/24GK101543018SQ200880000151
公开日2009年9月23日 申请日期2008年1月11日 优先权日2007年1月12日
发明者徐德荣, 朴光勋, 金奎宪 申请人:庆熙大学校产学协力团