使用跨层优化发送多媒体数据封包的方法和装置制造方法

使用跨层优化发送多媒体数据封包的方法和装置制造方法
【专利摘要】根据本发明，一种用于发送多媒体数据封包的方法包括以下处理：从网络实体接收自底向上网络抽象层(B-NAL)信息；基于接收到的B-NAL信息确定媒体数据的质量，并且生成具有确定质量的媒体数据；以及生成用于生成的媒体数据的封包，并且发送该封包。
【专利说明】使用跨层优化发送多媒体数据封包的方法和装置
【技术领域】
[0001]本发明涉及一种用于发送多媒体数据封包的方法和装置，更具体地，涉及一种用于通过跨层优化发送多媒体数据封包的方法和装置。
【背景技术】
[0002]多媒体服务是指诸如视频通话、例如视频点播(VoD)文件的传输的数据流服务、以及多播和广播服务之类的交互服务。实时多媒体服务可以根据服务类型分类为会话服务、交互服务、以及数据流服务。实时多媒体服务还可以根据参与服务的用户的数目分类为单播、多播和广播服务。
[0003]为了提供多媒体服务，网络基本上以三种方式保证QoS (服务质量):BE(尽力而为)、基于每个类的(per class) QoS、以及基于每个流的(per flow) QoS0对于保证BE服务的QoS没有给出支持。
[0004]基于每个类的QoS服务在网络中对封包按优先级排序并根据他们的优先级处理封包。即，根据封包的重要性(即，优先级)控制封包的QoS，而不管该封包属于的流。不需要为了支持基于每个类的QoS而在发送器和接收器之间保留资源。仅供参考，优先级可以分类成为损失优先级和延迟优先级。
[0005]在基于每个流的QoS服务中按照每数据流保留资源。即，为每个流保留资源(例如，比特率和缓冲器状态)或QoS(例如，延迟、损失率等等)。流是指为了提供服务所需要的数据流。例如，为了提供VoD服务所需要的视频数据流、音频数据流、和文本数据流是个体流。
[0006]在3GPP UMTS (3G)标准以及在 IEEE802.16 (WiBRO 和 WIMAX)与 LTE 标准中支持基于每个类的QoS和基于每个流的QoS。然而，作为更高层的媒体层需要与作为较低层的网络接口连接以便使用QoS方案。
[0007]通常，RTP(实时传输协议)与RTCP(实时传输控制协议)被设计以使用在服务终端中积聚的信息来测量网络资源或QoS，而不考虑较低层。在传统的RTP和RTCP中，负责发送的网络部件被保持为黑盒子，并且因此很难精确地识别任何变化。因此，从较低层直接地指向的接口应该被用于精确的QoS控制。
[0008]在MPEG (运动图像专家组)-2和H.264中，具体地SVC (可缩放视频编码)中，每个视频封包在重要性方面不同。应该识别封包之间的重要性差异以便有效地控制视频服务的QoS。在封包交换情况下为了确定IPv6中的每个封包的重要性,应该从IPv6报头读取五元组(即，接收器地址、发送器地址、接收器中的服务的端口号、发送器中的服务的端口号、以及使用的协议)然后从视频封包的负荷读取表示封包的重要性的报头数据。此方案对每封包花费大量处理时间并且违反协议层的独立性。
[0009]S卩，路由器应该能在处理封包过程中只读取封包的IP报头，但是实际上不是。只有当可以容易地确定每个封包的重要性时，路由器才可以主动地执行QoS(服务质量)控制。例如，如果网络状态是弱(poor)，则路由器可以根据每封包重要性首先丢弃不重要的封包。
[0010]同时，标准化中的可缩放视频编码(SVC)或多视图视频编码(MVC)以H.264/AVC标准为基准。以H.264/AVC的网络抽象层单元(NALU)格式将编码后的数据构造成为位流。
[0011]图1示出H.264/AVC的视频编码层(VCL)和网络抽象层(NAL)。
[0012]在H.264/AVC中，在处理视频编码的VCLllO与发送并存储编码信息的较低层系统130之间定义NAL120。因此，VCLllO与NAL130分离。NAL120以NALU为基础处理从VCL生成的编码数据111以便以诸如H/264/AVC文件格式131、RTP133、和MPEG-2系统135之类的格式将编码数据映射到较低层系统130的位流。
[0013]NALU 被分成 VCL NALUl21 和非 VCL NALU123。VCL NALUl21 是相应于在 VCL 中生成的编码数据111的NALU，而非VCL NALU123是相应于参数集、SEI等等的NALU。基本上，NALU包括NAL报头和作为由VCL的视频编码产生的数据部分的RBSP (原始字节序列负荷)。
[0014]图2示出NALU的格式。
[0015]参照图2，NALU200包括NAL报头210和NALU负荷240。
[0016]NAL报头210 —般地占据I字节到5字节。
[0017]NAL报头210包括指示NALU的类型的NALU类型信息220和指示包括在NALU负荷(即，优先级、空间层等级、时间层等级、和/或质量层等级的联合)中的压缩的原始数据的层的层识别信息230。NALU类型信息220包括固定位(F)字段221、作为指示NALU是否是参考图像的标志的NRI(nal_ref_idc)字段222、以及指示NALU的类型的NALU类型字段230。
[0018]层识别信息230包括:指示NALU的优先级的优先级(P)字段231以使得可以识别压缩的原始数据的层、指示NALU的空间层等级的Dependency_id(D)字段232、指示NALU的时间层等级的Temporal_level (T)字段233、和/或指示NALU的质量层等级的Quality_Ievel(Q)字段 234。
[0019]相同的NALU格式用于MVC。然而，在MVC中，NALU类型信息220和指示视图的视图识别信息而不是层识别信息230可以包括在NAL报头中的。
[0020]根据用于SVC或MVC的上述NALU格式，应该分析NAL报头的层识别信息230或视图识别信息以便识别NALU的层或视图。具体地，层识别信息230是2到4字节长，并且通过分析NAL报头210来确定P、D、T和Q字段231到234的全部的值。为了检测P、D、T和Q字段231到234的值而对整个NAL报头210进行分析会导致在处理器上施加约束并且增加系统开销。
[0021]此外，NAL报头210包括可以从其确定封包的重要性的信息，诸如P字段231。然而，因为路由器在仅仅读取IP报头之后处理封包，所以不能从NALU报头读取重要性识别信息。据此，存在对在IP报头中包括重要性识别信息的需要，以使得路由器可以读取重要性识别息。

【发明内容】

[0022]技术问题
[0023]为了解决传统问题而提出的本发明的目的在于提供一种用于根据媒体数据、网络状态和用户的要求自适应地提供多媒体服务的方法和装置。
[0024]本发明的另一目的是提供一种用于与应用层和较低层网络实体交换信息的综合网络抽象层(NAL)。
[0025]本发明的另一目的是提供一种用于根据媒体数据状态、网络状态、和用户要求状态来提取状态并且在实体之间发送和接收关于提取的状态的信息以便提供多媒体服务的方法和装置。
[0026]技术方案
[0027]在本发明的一方面中，一种用于发送多媒体数据封包的方法，包括:从网络实体接收自底向上网络抽象层(B-NAL)信息；基于接收到的B-NAL信息确定媒体数据质量，并且生成具有确定质量的媒体数据；以及生成用于生成的媒体数据的封包，并且发送该封包。
[0028]在本发明的另一方面中，一种用于发送多媒体数据封包的装置包括:寄存器，用于从网络实体接收自底向上网络抽象层(B-NAL)信息；媒体数据生成器，用于基于接收到的B-NAL信息确定媒体数据质量，并且生成具有确定质量的媒体数据；以及封包生成器，用于生成封包，该封包用于生成的媒体数据，并且发送该封包。
[0029]有益效果
[0030]本发明具有以下效果。
[0031]本发明可以提供一种多媒体数据服务，通过提供可适用于全部多媒体数据的综合NAL来考虑媒体数据的重要性或优先级、资源保留状态、网络状态、或用户要求。
[0032]此外，可以通过提供可以提取用于较高协议层和较低协议层之间的信息交换的信息的综合NAL，通过跨层优化来有效地使用通信资源。
【专利附图】

【附图说明】
[0033]图1示出H.264/AVC中的视频编码层(VCL)和网络提取层(NAL)。
[0034]图2示出NAL单元的格式；
[0035]图3示出根据本发明的用于发送多媒体数据封包的装置和方法；
[0036]图4示出根据本发明实施例的用于在IP封包中包括T-NAL信息的方法；
[0037]图5示出根据本发明实施例的、通过在IP封包中包括T-NAL信息来生成最优IP封包报头的示例；
[0038]图6示出根据本发明实施例的每数据流B-NAL信息的示范性格式；以及
[0039]图7示出根据本发明实施例的网络实体(MANE)的示范性操作。
【具体实施方式】
[0040]将参照附图详细描述本发明的实施例。考虑到本发明的实施例中的功能来选择此处使用的术语，并且术语的意义可以取决于用户或操作员或客户的意图而变化。据此，除非相反指定，否则术语的意义应该如本领域技术人员通常理解那样解释。
[0041]在详细地描述本发明之前，将首先描述本发明的基本概念。
[0042]本发明向其他媒体数据(例如，音频数据、图形数据、文本数据等等)以及视频数据应用用于视频编码标准、MPEG4/AVC(高级视频编码，H.264)、SVC(可缩放视频编码)、以及MVC(多视图视频编码)中的网络提取层(NAL)的概念。
[0043]如参照图2所述，传统的NAL报头210包括指示视频封包的重要性的信息。SVCNAL报头包括指示时间层、空间层、以及质量层的层识别信息230，并且MVC报头包括指示视图号的信息。
[0044]通过在从较高协议层指向较低协议层的自顶向下接口中的提取来生成上述信息。因为此信息指示封包的重要性，所以可以根据网络状态或终端状态自适应地提供封包服务。
[0045]为了将NAL的概念扩展到全部媒体，根据本发明定义称作“标记(label)”的标识符。“标记”是在本发明中识别每个个体数据流(例如，视频数据流、音频数据流等等)的标识符。
[0046]此外，本发明提出一种提取与将要发送的媒体数据相关的信息的自顶向下接口，即，T-NAL，以及提取与网络状态相关的自底向上接口，即，B-NAL。以下，在T-NAL中提取的数据有关的信息以及在B-NAL中提取的网络状态信息将分别称为T-NAL信息和B-NAL信
肩、O
[0047]同时，发送器(例如，服务器或终端)生成T-NAL信息，在封包的报头中包括T-NAL信息，并且发送该封包。网络实体(例如，路由器或基站(BS))可以使用T-NAL信息来识别封包的重要性或资源保留状态，并由此基于识别的结果发送封包。网络实体还可以生成B-NAL信息。然后发送器可以基于B-NAL信息根据当前网络状态自适应地发送封包。
[0048]现在，将给出本发明的详细说明。
[0049]图3示出根据本发明的用于发送多媒体数据封包的装置和方法。发送器300可以是服务器或终端。
[0050]参照图3，发送器300包括媒体数据提供器301、封包生成器303、以及本发明的组件特征，即，跨层优化(CLO)单元302和B-NAL寄存器304。
[0051]B-NAL寄存器304从网络313接收B-NAL信息，并且存储B-NAL信息310。B-NAL信息是由网络实体生成的通用网络状态信息。然而，B-NAL信息可以是由用户终端要求的QoS信息或适合于媒体数据控制的控制信息。例如，如果用户终端的状态太弱而不能接收高QoS服务，则用户可以要求低QoS封包服务。如果发送封包的延迟和损失很大，则特定的媒体可以从B-NAL寄存器304获得信息。在这种情况下，B-NAL信息可以是由用户终端根据来自用户的要求而生成的信息。然而，为了描述的方便原因，将在B-NAL信息是网络状态信息的假设下给出以下描述。
[0052]CLO单元302从B-NAL寄存器304或从接收到的B-NAL封包读取B-NAL信息，根据B-NAL信息自适应地确定将要发送的媒体数据的质量，请求将在至少一个存取单元(AU)中的媒体数据发送到媒体数据提供器301 (305)，以及从媒体数据提供器305接收媒体数据(306)。
[0053]随后，CLO单元302向封包生成器303发送将要在单个IP封包中发送的媒体数据(309)。此处，CLO单元302生成T-NAL信息，S卩，关于媒体数据的标记信息，并且向封包生成器303发送该标记信息(308)。如之前描述的，标记信息可以被用于较低层网络以确定封包的重要性、优先级、或资源保留状态。
[0054]封包生成器303生成包括接收到的标记信息的封包，并向网络313发送封包(311)。标记信息可以包括在IP封包的报头或另一较低层协议的封包报头中。
[0055]下面将描述来自具有在图3中示出的配置的发送器的示范性封包发送。
[0056]假定利用1、2和3分别标记音频数据流、文本数据流、以及视频数据流。还可以假定已经在发送器、网络实体、和接收器当中设置了标记数据流的优先级。当发送视频数据封包时，发送器利用设置为3的标记信息来生成并发送视频数据封包。然后网络实体(例如，路由器可以基于标记信息(=3)识别接收到的封包的重要性、优先级、或资源保留信息。由此，网络实体可以考虑到网络状态和接收到的封包的重要性、优先级、或资源保留信息来发送封包。同时，每个数据流的标记以及相应于该标记的数据流的重要性、优先级、或资源保留信息可以在呼叫建立期间在发送器、接收器、和网络实体当中设置。
[0057]当发送器发送视频封包时，可以考虑B-NAL信息。即，发送器可以根据由B-NAL信息指示的网络状态来自适应地改变视频封包的发送优先级。
[0058]在下文，将描述根据本发明的自顶向下接口信息，S卩，T-NAL信息。
[0059]封包包括标记形式的T-NAL信息，以使得较低层网络实体可以从T-NAL信息确定媒体数据封包的损失等级、延迟等级、或优先级等级或关于媒体数据封包的资源保留信息。同时，可以与其他现有的协议标准，例如，IP报头协议、TCP和UDP报头协议、以及RTP报头协议兼容地使用本发明的T-NAL信息格式。呼叫建立过程在发送网络和接收网络之间是必须的，以使用T-NAL信息提供媒体服务。S卩，T-NAL信息表示标记值意思是什么，如在呼叫建立期间在实体当中议定的。
[0060]根据本发明，对于T-NAL信息定义不同的基于每个类的QoS格式和基于每个流的QoS格式。
[0061]在基于每个类的QoS控制的情况，不需要为了提供服务而在发送器和接收器之间保留资源。由此以标记形式包括关于数据流的封包的重要性信息或优先级信息。例如，单个视频数据流被分成I帧数据流、B帧数据流、以及P帧数据流，并且确定标记值以用于辨别他们。视频数据流可以在重要性方面比音频数据流更高。如稍后参照图4描述的，标记值可以被插入IPv4报头的TOS字段或IPv6报头的TC字段中。例如，如果标记值表示为2位，则封包重要性等级以如下的次序被顺序地定义为11、10、01和00。即，可以分别对于音频封包、基本层视频封包、增强I层视频封包、以及增强2层视频封包插入标记值11、10、01和00。在SVC中，图像可以被分类成为基本层图像、增强I层图像、以及增强2层图像。
[0062]在基于每个流的QoS控制的情况，基于每个数据流来保留资源并且由此为每个流包括标记信息。例如，如果利用设置为I的标记值为流保留300kbps资源，则从发送器生成的封包包括设置为I的标记值。当检测封包中的标记值时，网络实体在相应于标记值I的300kbps资源中发送流。然而，应该在这种情况下考虑当前可用资源。同时，可以基于每个会话来保留资源。为了在呼叫建立期间支持在发送网络和接收网络之间的标记交换，可以为已经为其保留了资源的每个数据流或会话配置标记信息。
[0063]资源保留和标记值设置可以在呼叫建立期间在发送器和接收器之间预先地议定。当网络实体支持多协议标记交换(MPLS)时，可以配置本发明的标记格式以使得与由MPLS支持的标记的格式兼容。只有当接收器可以从MPLS标记辨别本发明的标记时，现有的SVCNAL报头才可以不被发送。此外，在一个会话期间在现有的RTP报头和UDP报头的内容当中保持不变的信息可以包括在标记中。标记交换是在L2中路由L3封包的技术，其中替代IP地址、将标记被添加到数据封包并且基于该标记启动高速交换。
[0064]将在下面描述用于发送T-NAL信息的方法。
[0065]图4示出根据本发明实施例的用于在IP封包中包括T-NAL信息的方法。[0066]根据本发明，以T-NAL信息格式定义用于NAL封包的虚拟报头。包括在虚拟报头中的信息用于包含在较低层封包报头中(例如，IP封包报头)。存在两种虚拟报头，短(ST)NAL报头421和长(LT)NAL报头420。
[0067]STNAL报头421在基于每个类的QoS控制的情况中在较低层适用，并且它的长度优选为约2位，但是它可以取决于系统设置而变化。STNAL报头421可以插入到IPv4报头410的TOS字段411或IPv6报头430的TC字段404中。
[0068]相反，LT NAL报头420在基于每个流的QoS控制的情况在较低层适用，并且它的长度适当地为I到2字节，但是它可以取决于系统设置而变化。长NAL报头420可以被插入IPv4报头410的扩展报头413和IPv6报头430的流标记字段433中。
[0069]图5示出根据本发明实施例的、通过在IP封包中包括T-NAL信息生成最优IP封包报头的示例。
[0070]在示出的图5的情况中，通过在多个封包中从UDP和RTP报头除去相同的部分来简化报头，用于应用到实时媒体数据流中。参考数字510、530和540表示IPv4封包，而参考数字550表示IPv6封包。对于每个封包，通过简化UDP和RTP报头来生成标记信息。
[0071]IPv4封包510是在诸如VoD服务的服务中携带实时媒体数据的媒体封包。参考数字560和570分别表示UDP报头和RTP报头。
[0072]在实时媒体服务中，通常在每个会话中每秒发送数十或数百封包。考虑到实时媒体数据流的特性，媒体封包在一个会话期间在他们的报头中包括相同字段。参考数字511、512、514、515、518，519和520表示相同重复的字段。要注意的字段是表示NAL报头的NALH字段。如参照图2之前所述，NAL报头包括指示封包的重要性或优先级等级的信息。参考数字513、516和517表示在每个封包中不同的字段。然而，这些字段可能会冗余地重复或和其他字段等同。此处没有提供字段的功能的详细说明。
[0073]通过将封包520的UDP报头560和RTP报头570中的相同字段聚集到单个流标记字段(标记信息)531中，并且在流标记字段531之后安排在每个封包中改变的字段来配置封包530。
[0074]同时，长度字段532等同于封包530中的IP报头的长度字段(未示出)。据此，可以省略长度字段532。此外，如果周期地生成媒体数据，则接收器可以计算在表示时间戳的TS字段534中设置的信息，并且由此可以省略TS字段534。通过从封包530除去长度字段532和TS字段534来配置封包540。IPv6封包550在IPv6报头中包括24位流标记字段551。本发明的标记信息可以包括在IPv6报头的流标记字段551中。
[0075]与要求在接收器中分析每个字段的现有报头相比，图5中示出的简化的报头始终避免分析相应于流标记的字段的需要。
[0076]现在，将在下面给出根据本发明的自底向上接口信息、B-NAL信息的描述。
[0077]B-NAL信息典型地是从本发明中的较低层网络实体生成的网络状态信息。然而，B-NAL信息可以是在如之前叙述的情况下从用户终端生成的请求的QoS质量信息。将在B-NAL信息是网络状态信息的假定之下给出以下描述。
[0078]网络状态信息可以指定可用的比特率、封包损失率、延迟或抖动。网络状态信息还可以指定路由器缓冲器状态或接收缓冲器状态。例如，网络信息可以包括由实时控制封包发送协议(RTCP)产生的延迟度量和封包损失率度量，或通过WLAN(无线局域网)MAC(媒体存取控制)层或3GPP (第三代合作伙伴计划)RAN测量的结果。此处，使用最精确的状态信息来更新B-NAL寄存器。
[0079]可以基于每个数据流或每个服务(或每个会话)来生成B-NAL信息。如果以服务(会话)为基础生成B-NAL信息，则可以对于每个会话向实体提供B-NAL寄存器。如果以数据流为基础配置B-NAL信息，则B-NAL寄存器可以对于每个数据流存在。当B-NAL封包被发送而不是使用B-NAL寄存器时，B-NAL封包发送可以以会话或数据流为基础来执行。
[0080]可以主要地以三种方法表示网络状态信息。一种方法将使用绝对值。例如，以兆比特每秒(Mbps)表示可用的比特率。另一方法将信息表示为相对于参考值的相对值。例如，如果在呼叫建立期间保留IMbps资源并且当前可用的比特率是800kbps，则可用的比特率表示为“80%”。再一方法将使用信息的变化率。即，表示多少信息已经从前一时间点改变。
[0081]B-NAL信息可以存储在较高层实体中的应用系统的B-NAL寄存器中，并且可以在服务中基于每个服务或每个数据流来配置B-NAL寄存器。在发送B-NAL封包而不是使用B-NAL寄存器的情况下，B-NAL封包发送可以基于每个会话或每个数据流来执行。
[0082]可以周期地或不定期地生成B-NAL信息。如果在较低层周期地生成B-NAL信息，则较高层还可以周期地检测B-NAL信息。如果不定期地生成B-NAL信息，则较高层还可以不定期地检测B-NAL信息。在这种情况下，当较高层生成指示新信息存储在B-NAL寄存器中的中断时，可以检测存储在B-NAL寄存器中的B-NAL信息。
[0083]将在下面描述用于更新B-NAL信息并返回和检索要使用的B-NAL信息的方法。B-NAL字段提供更新或返回状态的API。这对于在前描述的QoS信息或适合于媒体控制的参数进行操作。每个参数具有API，并且允许个体更新或返回。每个参数使用适合于它的特征的形式。例如，比特率以无符号整数形式存储，并且要求浮点的参数也以适当的形式存储。ID字段用于根据媒体会话或数据流来识别寄存器。此外，更新周期字段用于提供更新的周期信息。此字段可以根据媒体数据提供器的数据校正周期来设置，并且网络根据此字段的值更新寄存器。如果没有设置此字段，则网络在建立初始会话期间更新B-NAL寄存器一次，而不必再次更新。此处，CLO单元以尽力而为方式操作而不需要QoS控制。在上述非周期的操作中，利用全I填充周期字段。在此方案中，当更新B-NAL信息参数时生成中断。
[0084]图6示出根据本发明实施例的每数据流B-NAL信息的示范性格式。
[0085]参照图6，如通过参考数字610、620、630和640指示的，B-NAL信息基于每个数据流而生成，并且利用相应于每个数据流的标记信息来添加。具有标记的数据流的B-NAL信息包括可用的比特率参数611、封包损失率参数613、延迟和/或抖动参数615等等。标记信息包括更新周期和会话或ID。
[0086]至此已经描述了通过本发明定义的T-NAL信息和B-NAL信息。使用T-NAL信息和B-NAL信息，CLO是可能的。跨层优化是指通过网络知识视频编码提供媒体数据服务，并且基于对于关于媒体数据流的信息，即，媒体数据流的重要性或优先级等级的知识通过媒体网络实体进行操作。基于有关媒体数据流的信息来服务的实体被称作媒体知识网络单元(MANE)。将使用术语“MANE”给出以下描述。
[0087]现在，将给出本发明的网络实体，即，MANE的操作的描述。
[0088]转送接收到的媒体封包的网络实体，诸如路由器、IEEE802系列的MAC层、以及3GPP BMSC可以作为MANE，其根据从T-NAL信息的标记信息确定的封包的重要性自适应地转送封包。例如，如果数据的数量超过缓冲容量，则使用diffServ路由策略的路由器从最低优先级开始丢弃封包。为此目的，路由器检查T-NAL的标记值。
[0089]在基于每个类的QoS控制的情况下，根据包括在封包的IP报头中的重要性信息(即，标记值)自适应地处理接收到的封包，而不管封包属于的服务。例如，当接收到具有标记值11的音频封包、具有标记值10的基本层视频封包、具有标记值01的增强I层视频封包、以及具有标记值00的增强2层视频封包，并且由于网络状态或由于数据数量超过路由器缓冲器的容量而应该丢弃封包中的一个时，根据标记值丢弃封包。即，以如下顺序丢弃增强2层视频封包、增强I层视频封包、基本层视频封包、以及音频封包。在IEEE802.1le标准中，封包排列在根据包括在封包的IP报头中的重要性信息预定的队列中。通常，以四级来为封包赋予优先级，并且每个行列可以在从行列出去的封包的速度以及封包损失处理方法方面不同。
[0090]在基于每个流的QoS控制的情况，检查标记值并且使用相应于标记值的预定资源来支持QoS(比特率、损失率、延迟等等)。可以参照预存在网络实体中的按照每数据流的资源保留表来确定相应于标记的资源。例如，如果音频数据流的QoS类是IEEE802.16中的主动授予服务(Unsolicited Guaranteed Service, USG)，则保证为QoS类预置的QoS要求。据此，资源保留表保存在网络实体中直到服务结束。即，当从发送器收到封包时，检查封包的标记并且从资源保留表检测对于相应于标记的数据流的QoS要求。然后使用根据QoS要求的资源来提供服务。
[0091]图7示出根据本发明实施例在MANE中的示范性操作。
[0092]参照图7，MANE701包括资源保留表702、转送策略决定器711、以及可用资源决定器 708。
[0093]当从发送器收到封包时(706)，转送策略决定器709根据转送策略自适应地转送封包。转送策略根据包括在接收到的封包的T-NAL信息中的标记值而变化。
[0094]如果MANE701支持基于每个类的QoS，则转送策略决定器710确定封包的类，然后根据封包的类确定是否转送封包。另一方面，如果MANE701支持基于每个数据流的QoS，则转送策略决定器710检查封包的标记值，在资源保留表702中检测分配给标记的资源(705和711)，从可用资源决定器704中接收可用资源信息(707)，在可用资源之内确定用于封包的转送策略，然后根据转送策略转送该封包(710)。
[0095]现在，将给出根据本发明实施例的接收器的操作的简要描述。
[0096]接收器包括用于每个数据流的解码器，并且在特定的解码器中保证根据需要的缓冲容量。如果接收到的封包包括标记，则接收器检查标记并确定相应于封包的解码器。在封包中没有标记的情况下，接收器读取RTP报头，并且根据RTP报头确定用于解码媒体封包的解码器。
[0097]下面将描述具有接收并存储B-NAL信息的B-NAL寄存器的实体。
[0098]在诸如1:1视频呼叫或VoD服务的单播媒体服务的情况，发送器可以具有B-NAL寄存器。利用从MANE或接收器接收的B-NAL封包来更新在发送器的应用层处的B-NAL寄存器中的B-NAL信息。在这种情况下，发送器通过周期地或不定期地读取B-NAL寄存器而自适应地发送媒体数据。例如，给定54Mbps的可用比特率，如果用户进入盲区，可用的比特率跌至2Mbps并且封包损失率增加，则此网络状态信息可以传递并保存在B-NAL寄存器中。然后发送器发送SVC最低层的图像，并发送如需要同样多的FEC封包以克服封包损失。
[0099]如果接收器请求媒体质量，则在接收器中配置B-NAL寄存器。接收器从网络接收B-NAL信息，并根据B-NAL信息请求用于下一发送封包的适当的QoS等级。
[0100]同时，在如在多点视频通话(视频会议)的多播/广播封包的情况，发送器利用在其中设置的最大QoS来发送封包。根据需要的QoS等级在封包路径的分支传递封包。换句话说，接收器基于它的B-NAL信息来确定它的接收容量，并且有选择地接收分支的分布式服务。例如，如果IOMbps SVC HDTV服务同时地提供到连接到VDSL的HDTV以及连接到HSDPA的移动式电话，并且在两个路径分离的点存在MANE，则诸如3GPP BMSC的MANE可以具有B-NAL寄存器。在此示例中，给定5Mbps的可用的比特率，如果由于在盲区中的用户的存在造成可用的比特率跌至2Mbps并且封包损失率增加，则此网络状态信息记录在MANE的B-NAL寄存器里。在这种情况下，MANE仅转送较低层SVC图像并且发送如需要同样多的FEC封包以克服损失率。发送的媒体数据的数据量和FEC封包应该在2Mbps之内。
[0101]如果新广播或多播服务被连接，则可以按照随机存取，通过一对一通信向服务器请求并从服务器接收对于初始呼叫建立所需要的数据。或服务器可以周期地发送对于随机存取所需要的信息。如果服务持续24小时，则应该定义具体的缺省TNAL。
[0102]同时，如果用户请求用于封包的QoS保证，则通过由用户应用层提供的Π(用户界面)来识别用户请求的QoS。在单播服务的情况下，请求的QoS被发信号到并记录在发送器的B-NAL寄存器里。在多播服务的情况，请求的QoS记录在管理输入到用户终端的业务的MANE的B-NAL寄存器里。如果请求的QoS超过由网络支持的QoS范围，则服务限于支持的QoS范围。另一方面，如果请求的QoS落在由网络支持的QoS范围中，则以请求的QoS向用户提供服务。
[0103]虽然已经参照本发明的实施例具体地示出和描述了本发明，但是本领域普通技术人员将理解，可以做出形式和细节方面的各种改变而不脱离如以下权利要求定义的本发明的精神和范围。
【权利要求】
1.一种发送多媒体数据封包的方法，所述方法包括: 从网络实体接收自底向上网络提取层(B-NAL)信息； 基于接收到的B-NAL信息来确定媒体数据质量并且生成具有确定的质量的媒体数据；以及 生成用于生成的媒体数据的封包并发送该封包。
2.如权利要求1所述的方法，其中所述B-NAL信息是由网络实体生成的网络状态信息。
3.如权利要求1所述的方法，其中所述B-NAL信息是由终端请求的服务质量信息和控制信息中的至少一个。
4.如权利要求1所述的方法,其中所述封包包括生成的媒体数据和关于生成的媒体数据的标记信息。
5.如权利要求4所述的方法，其中所述标记信息用于较低层网络以识别封包的重要性等级、优先级等级、和资源保留状态中的至少一个。
6.一种用于发送多媒体数据封包的装置，所述装置包括: 寄存器，用于从网络实体接收自底向上网络提取层(B-NAL)信息； 媒体数据生成器，用于基于接收到的B-NAL信息确定媒体数据质量并且生成具有确定的质量的媒体数据；以及 封包生成器，用于生成用于生成的媒体数据的封包并发送该封包。
7.如权利要求6所述的装置，其中所述媒体数据生成器包括: 跨层优化单元，用于基于接收到的B-NAL信息确定媒体数据质量；以及 媒体数据提供器，用于生成具有确定质量的媒体数据。
8.如权利要求6所述的装置，其中所述B-NAL信息是由网络实体生成的网络状态信息。
9.如权利要求6所述的装置，其中所述B-NAL信息是由终端请求的服务质量信息和控制信息中的至少一个。
10.如权利要求6所述的装置，其中所述封包包括生成的媒体数据和关于生成的媒体数据的标记信息。
11.如权利要求10所述的装置，其中所述标记信息用于较低层网络以识别封包的重要性等级、优先级等级和资源保留状态中的至少一个。
【文档编号】H04L29/06GK103430562SQ201280014047
【公开日】2013年12月4日 申请日期:2012年1月19日 优先权日:2011年1月19日
【发明者】黄承吾, 朴勍模, 宋在涓, 徐德荣, 权容逸 申请人:三星电子株式会社, 庆熙大学校 产学协力团