专利名称：用于区域/广域网络环境中连续媒体流的自适应媒体传输管理的制作方法
技术领域：
本发明有关多媒体资料的传输，尤其有关局域网络/广域网络环境中连续资料实时传输的方法与系统。
相关申请案交互参照资料本申请案为美国申请案第11/172,489号，发明名称“用于网络/广域网络环境中连续媒体流的自适应媒体传输管理”的延续申请案，该案是于2005年6月29日由Huang提出申请，其中请求2004年6月29日提出的美国暂时申请案第60/583,360号的权益，并全案并入本案。
背景技术：
随着种种新应用方法与新使用模式的出现，局域网络/广域网络环境下流动的视讯已获得显著的重要性。消费者可以从桌上型或膝上型计算机享受观赏视讯流及/或聆听音讯流的乐趣，从传统媒体的耗用中创造一种全新的典型。不但在个人数字视讯娱乐的环境中，视讯流也已随着视讯会议及远距离教学的日渐普及而在企业环境中获得接受。
不幸的是，视讯流的普及化对于现有网络基础建设的可用带宽，已造成极大的负担。在已往以网络为基础的各种应用中，具有意义的资料可以用一种爆发模式(burst mode)传送或接收。例如，使用网络浏览器的使用者可以在一URL(单一资源寻址器)链接上按鼠标键来呼叫唤用(invoking)一网址，以更新(update)使用者的网页。网络浏览器与所要的网址间的网络通信，可能持续到网页更新完成或使用者选取另一URL更新(refresh)其浏览器为止。然而，与已往以网络为基础的各种应用不同的是，流动的影音资料在客户端与伺服端之间的联机建立后，就必须以连续流的方式送达一客户(观看者)。若资料流的数量未维持在某一位准以上时(或未等于一最低输贯量时)，视讯可能会因为译码器没有足够的资料可处理(译码)而出现停止状况。但等资料再度可用时，视讯会立即回复。
已往的视讯广播是在模拟网域中传送视频信息，流动的视讯信息也与已往的视讯广播不同，它必须先转换成数字格式，因此成为一IP资料封包(IP packets)，才能在一网际网络通信协议(IP)网络“诸如家庭网络(局域网络)或网际网络(广域网络)”上传送。然而，视讯从模拟网域简单转换成数字网域，并无法立即让使用者可以在IP网络上传输视讯，因为所需的视讯带宽大于多数现有网络允许的带宽。例如，(根据国家电视标准委员会)以标准的每秒30帧的速率放映，且像素达720×480的标准家用电视而言，其中每一像素需要2字节作彩色放映，若要传输一全屏幕视讯而不需任何数据压缩时，其最小输贯量(throughput)将在19.78MBps或158Mbps左右。此一条件显然超过一典型局域网络的容量(10/100Mbps)所能支持的范围。因此，透过现有网络架构传送原始视讯总长并不实际；或者，至少很难用现有技术在网络上作现场视讯传输。因此，在IP网络上传输资料前压缩视讯资料，成为一种必要条件。
目前已有多种视讯压缩技术推出，并不断在改进中。其中最令人注意的几种压缩技术是MPEG、H.261、H.263、及H.264。然而，即使有这些压缩引擎，仍需要恒定的输贯量，才能将流动视讯从伺服端传送到一显示客户端。不幸的是，区域/广域网络是设计成一种“尽力型”媒介，意即它虽然试图在最低可能的时间范围内使资料从来源端(伺服端)抵达接收端(客户端)，但是并不能保证一定如此。
若未满足最低输贯量，在播放时可能会出现视讯跳动。为了找出流动视讯中既有的视讯跳动，各种线上视讯(VOD)应用中广泛使用不同方法，诸如在客户端及伺服端都配置缓冲器。典型线上视讯应用中的内容提供者(等于伺服端)可于显示客户端因传送中产生封包漏失或转讹而要求时，重新传输视讯资料。此种技术可除去视讯跳动并增强观赏感受。然而，此种方法虽然达到线上视讯的目的，但在需要实时观赏的应用中，可能引发显著的延迟。某些实时应用中，诸如现场视讯转播、保全监看、及视讯会议，具有时间敏感性，在此情况下，伺服端只能传送视讯资料一次。
为了能克服网络的“尽力型”特性，并同时以更有效更具可预测性的方式管理网络上的通信量，现今已发展出多种不同的服务品质(QoS)处理方法。例如，其中一种方法是，可将一优先旗标放在信息流的标头中，以允许一流动应用从路由器及其它应用接收较高的服务水准。此种方法是用DiffServ表示的。另一种方法是，允许流动应用经由一保留请求将其服务要件广播给网络。此种方法是用IntServ表示的。通常，根据服务品质知悉型(QoS-awared)路由器的流动应用，可以使用资源保留设置协议(RSVP)作为其端对端信号协议。不幸的是，这些方法都不能保证伺服端与客户端之间的每一转送点都有支持或理解这些协议的设备，因此，有可能无法达成那些任务重大型应用所需的连续资料流要件。
因此，人们亟需一种系统，既可跨越传统网络以实时方式传输资料的系统，并可同时在数据传输期间满足最低阈要件，以维持人类视觉可接受的视讯品质。
发明内容
本发明提供多种可跨越传统网络或信道以实时传输已压缩影音资料流的方法及系统。每一系统均使用自适应速率控制(Adaptive Rate Control，ARC)技术。此种技术是以侦测瑕疵封包及其它诸如整体系统效能、使用模式、及信道特性等影响性因素为基础。为了控制各信道中的资料流壅塞，并将目视显示品质维持在某一水准以上，本发明进而有效利用人类的视觉及人类对变动的目视状态的适应力。
前述自适应速率控制(ARC)技术有赖于客户端对伺服端所传送视讯封包品质的计算能力，以及对伺服端传送所需传输率信息的能力。此种方法简化了已往伺服端或内容提供端所承担的硬件与软件实施工具复杂性，并将监看带宽与传输控制的负担从伺服端移转到客户端，由此减少整体设计成本。
本发明目的之一是提供一种伺服端至客户端资料流传输率的实时控制方法，其中，该客户端具有使用其一组特征产生的比对检查表。此方法包括以下步骤以一传输率从伺服端接收一资料流的第一部份，其中该第一部份包括多数资料封包；检查该等资料封包的完整性；根据其完整性决定一封包漏失比；使用该封包漏失比及该比对检查表产生一调整该传输率的要求；将该要求传送至该伺服端；以及，以调整后的传输率从该伺服端接收该资料流的第二部份。
本发明另一目的是提供一种伺服端至客户端资料流传输率的实时控制方法，其中，该客户端具有使用其一组特征产生的比对检查表。此方法包括以下步骤接收客户端对调整传输率的要求，其中该客户端是使用一封包漏失比及该比对检查表产生该项要求；接收至少一笔音频输入及至少一笔视讯输入；根据该项要求更新一资料率及该传输率；以更新后的资料率编码该音频输入及该视讯输入；将编码后音频及视讯输入复合成该资料流内；以及，将该资料流传输至该客户端。
本发明再一目的是提供一种伺服端至客户端资料流传输率的实时控制方法，其中，该客户端具有使用其一组特征产生的比对检查表。此方法包括以下步骤使该伺服端以一传输率将一资料流的第一部份传输至该客户端；使该客户端接收该第一部份，其中该第一部份包括多数资料封包；使该客户端检查该等资料封包的完整性，并根据其完整性决定一封包漏失比；使该客户端使用该封包漏失比及该比对检查表产生一调整该传输率的要求，并将该要求传送至该伺服端；使该伺服端接收该项要求并根据该项要求调整传输率；以及，使该伺服端以调整后的传输率传输该资料流的第二部份。
由参照以下附图、实施例，可以更加了解本发明上述及其它特点、目的及优点，其中图1是根据本发明的实时影音资料流传输系统示意图；图2是方块图，说明图1所述伺服端与客户端之一间的资料流；图3是图2所示伺服端内实施的影音复合系统方块图；图4是图2所示客户端内实施的影音复合分解系统方块图；及图5是本发明数据传输率控制的典型步骤流程图。
具体实施例方式
以下详细说明是本发明目前最佳实施模式，其目的并非用以限制本发明，仅是说明本发明的一般原理，因为本发明范围是由所附申请专利范围充分定义的。
首先必须指出，本说明书及所附申请专利范围中使用的单数形式“一”、“及”、“该”，除非上下文义中另有明确表示，否则是包括多数。因此，例如，提及“一客户端”时，是包括一或多个客户端及熟悉此类技术的人士所知的同等意义。
广义而言，本发明提供多种在实时环境中跨越多数传统网络或信道而传输压缩影音资料流的方法与系统。每一系统可使用自适应速率控制(Adaptive Rate Control，ARC)技术。此种技术是以侦测瑕疵封包及其它诸如整体系统效能、使用模式、及信道特性等影响性因素为基础。本发明与现行仅根据信道特征或多层流研究法的壅塞控制机制不同，它可有效利用人类的视觉及人类对变动的目视状态的适应力，将目视显示品质维持在一可接受的水准之上。
前述自适应速率控制(ARC)技术可依赖客户端对伺服端所传送视讯封包品质的计算能力，以及传送所需传输率信息给伺服端的能力。此种方法简化了已往伺服端或内容提供端所承担的硬件/软件实施工具复杂性，并将监看带宽与传输控制的负担从伺服端移转到客户端，由此减少整体设计成本。
请参照图1。图1是根据本发明的实时影音数据传输系统100的示意图，该系统包括一局域网络(LAN)系统101及一广域网络(WAN)系统121。如图所示，局域网络101是指空中120左侧的网络系统，它可包括一网络缆线或WiFi信道130(以下简称缆线)，多数与缆线130连接的个人计算机114、116，一与缆线130连接的伺服端106，一与缆线130连接的路由器112，及一架构为可与路由器112通信的膝上型计算机110。局域网络系统101亦可包括多数影音显示装置，诸如网络摄影机108、放音机104、及电视机102。其中，该等影音显示装置可与伺服端106耦接，并与伺服端(有线或无线)106实时交换影音资料。局域网络系统101可透过空中120而与其它局域网络或广域网络系统通信。所谓空中，较佳是指网际网络(Internet)。局域网络系统101中可包括一防火墙118防止诸如计算机病毒及间谍软件等恶意的资料/程序进入系统。
广域网络是指空中120右侧的系统，它可包括一组客户端或客户端装置及一通常称为热点(Hot Spot)的存取(通达)点122，用以提供对客户端的无线通信。其中，客户端包括一个人计算机128及其它手持装置，诸如个人数字助理(PDA)124及手机126。客户端124、126、128可透过空中120而与伺服端通信。其中，伺服端可为一媒体服务器或一内容提供者，用以实时提供流动资料给客户端。以下提及客户端或客户端装置一词时，是指架构为可与伺服端106通信并可与伺服端106实时交换流动资料的装置。一客户端可具有一或多个影音显示系统用以显示流动资料。以下参照图2-4进一步说明伺服端与多数客户端之一间的资料流细节。图1中，为方便之故，仅显示九个客户端102、104、108、110、114、116、124、126与128。然而，具备一般技能的人士应能了解，系统100中还可以使用其它适合类型的客户端装置。
图2的方块图200中，显示图1整体所述于伺服端与多数客户端装置之一间的实时模式资料流。如图所示，一伺服端202可经由一网络(区域或广域网络)210将复合的影音输出资料传送给一客户端212。以下将交互使用“复合”(multiplex)及“多元插配”(interleave)二词。复合的影音输出资料可包括以预定资料率(压缩率)压缩以减少网络210中的流动壅塞、并根据一使用者资料包协议(userdatagram protocol，UDP)格式化的视频资料。稍后会详细说明决定资料率的方法。
当客户端212收到复合的影音资料时，可将资料暂时储存在一收件缓冲器214内。然后，收件缓冲器214可将资料转传给一影音复合分解系统218。影音复合分解系统218可将复合资料分解成二组个别的资料，其中每一组资料包含一视讯信号或一音频信号；检查二组数据的完整性，并将二组数据译码。稍后会解释，伺服端202会在传送资料给客户端212前，先将音频流与视讯流多元插配成为单一资料流。如前所述，每一视讯帧可能需要相当的资料量，因此，每一帧资料在透过网络210传送前，可先分成许多资料封包。每一封包可有一标头，记载帧内封包总数、帧内封包编号、帧(的同位)总和检查、及封包长度等信息。
影音复合分解系统218有一视讯环状缓冲器244及一音频环状缓冲器242(见图4)可分别用来验证视讯资料封包及音频资料封包的完整性。以下会参照图4进一步详细说明影音复合分解系统218。当视讯环状缓冲器244遭遇转讹的或漏失的封包(总称为瑕疵封包)时，它会抛弃含有瑕疵封包的帧，并对一封包错误累加器222传送通知。在另一实施例中，若有转讹的封包，可使用诸如前向错误更正(ForwardError Corrections)的错误更正法来重建该帧。在另一实施例中，若有漏失的资料(遗失的封包)，可使用诸如可逆变量长度(Reversible Variable Length)码的复原法来处理该帧。影音复合分解系统218可将译码后的音频及视讯资料分别传送给一放音器/扬声器220a与一视讯显示器220b。
封包错误累加器222可定期决定与传送一封包漏失比给一传输比对检查表(Transmission LUT)224。其中，该封包漏失比的定义是瑕疵封包计数与一时程内收到的封包总数的比。在该时程开始时，封包错误累加器222可重设瑕疵封包计数。封包错误累加器222于收到影音复合分解系统218的瑕疵封包通知时，可将瑕疵封包计数增加1。同时，它可计数于该时程内收到的封包总数。在该时程结束时，封包错误累加器222可计算封包漏失比，并将该比率传送给传输比对检查表224。
该客户端212亦可在伺服端202与客户端212间的通信开始时，将其特征信息传送给智能型视讯传输管理器208。客户端特征信息可包括显示器尺寸、最高分辨率、可支持色彩位数(或色彩深度)、显示器类型(诸如LCD、CRT、或电浆型)、CPU类型、指示可支持格式类型(诸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的译码器能力、可用内存、联机类型(诸如WiFi、LAN、蓝芽等等)、说明传输信息的先前联机记述(诸如帧速率、资料率、量化级别、分辨率等等)、及视讯显示器220b的线路结构(续行式/交错式)。然后，根据这些特征信息，伺服端202可决定初始传输率，如此可使数据传输中的等待时间最小化，并使收到的数据质量最大化。
传输比对检查表224可使用该封包漏失比读取一比对检查表，以决定目前的传输率是否需要调整。该比对检查表可为客户专用的，并使用该客户端212的特征来产生。然后，传输比对检查表224可经由网络210将调整目前传输率的要求(如图2中标示的“控制命令”)传送给智能型视讯传输管理器208。以下会参照图4进一步说明调整的细节。
利用客户端212传送的要求及特征信息，智能型视讯传输管理器208可以调整一组参数，包括目标帧速率、目标显示位率、目标分辨率、目标音频抽样率、量化值，调整亮度色度(YUV)转换法(4∶2∶2至4∶2∶0)、比例尺大小。管理器208亦可调整数据压缩率(简称资料率)，并将调整后资料率信息传送给一影音复合系统204。影音复合系统204可接收一或多笔影音输入流205，编码接收的输入流，使用收自智能型视讯传输管理器208的资料率信息来压缩输入流，将每一帧资料分成多数封包，并将此等封包传送至一媒体存取控制(MAC)缓冲器206。如前所述，每一视讯帧可包括相当的资料量，并可分成多数资料封包，以易于透过网络210传输。以下会参照图3提供有关影音复合系统204更详细的信息。媒体存取控制(MAC)缓冲器206可暂时包含欲透过网络210传输的封包，并视客户端的数目而定，以单声道调频广播(unicast)、立体声双声道调频广播(multicast)、或广播(broadcast)模式传送此等封包。
图3为图2所示伺服端202内实施的影音复合系统204的方块图。如图所示，影音复合系统204可包括一音频编码器230，用以编码一音频输入流；一音频环状缓冲器232，用以转播编码后音频输入流给一影音复合器238；一视讯编码器234，可依收自智能型视讯传输管理器208的资料率编码(或压缩)一视讯输入流；一视讯环状缓冲器236，可将编码后视讯流转播给影音复合器238；及该影音复合器238，可将编码后音频流与视讯流复合成单一的复合资料流。为了维持音频/视讯同步化及抽样时脉完整性，影音复合器238可交织编码后音频流与编码后视讯流。
如前所述，由一伺服端传送的复合流封包，可能会因为网络壅塞、译码器负载饱和、或系统负载饱和而于透过网络传输期间漏失或转讹。因此，必须在分解复合流封包后，检查透过网络接收的复合流封包的完整性。例如，图4显示图2所示影音复合分解系统218的方块图，其中，该影音复合分解系统218可将接收的复合流分解成一音频及一视讯流；检查该视讯流的完整性；并将此等音频流及视讯流译码，以供放音器/扬声器220a及视讯显示器220b播放。如图所示，影音复合分解器240可将接收的资料流解耦成一音频流及一视讯流。然后，它可将视讯流放入视讯环状缓冲器244，将音频流放入一音频环状缓冲器242。音频环状缓冲器242与视讯环状缓冲器244可分别检查影音同步与帧同步，并于译码前执行必要的更正。视讯环状缓冲器244亦可检查是否有任何转讹及/或漏失的封包，以验证视讯流(或封包)的完整性。当视讯环状缓冲器244遇到瑕疵封包时，它可传送一通知给封包错误累加器222。
如前解说，封包错误累加器222可决定并传送一封包漏失比给传输比对检查表224。传输比对检查表224可根据该封包漏失比产生调整传输率的要求，并将此项要求(或控制命令)透过一使用者资料包协议(UDP)信道传送给伺服端202。UDP命令端口/信道是一种任意端口(arbitraryport)，由伺服端202特别指定与保留，以供与客户端212通信之用。随后，伺服端202可藉由控制压缩率、帧速率、图像群组(GOP)大小、量化级别、显示分辨率、或以上各项任何组合而调整传输率。
封包漏失比可作为网络210中传输状态的指示器。传输比对检查表224可使用该封包漏失比读取一比对检查表。其中，该比对检查表可为客户专用的，并使用一组特征来产生。这些特征包括显示器尺寸、最高分辨率、可支持色彩位数(或色彩深度)、显示器类型(诸如LCD、CRT、或电浆型)、CPU类型、指示可支持格式类型(诸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的译码器能力、可用内存、联机类型(诸如WiFi、LAN、蓝芽等等)、说明传输信息的先前联机记述(诸如帧速率、资料率、量化级别、分辨率等等)、及视讯显示器220b的线路结构(续行式/交错式)。
传输状态可细分成三种子状态(1)无负载状态(2)负载状态(3)壅塞状态。每一子状态可有一预定范围的封包漏失比。例如，假设目前的传输状态是在无负载状态，其中的封包漏失比小于5％(表示传输速度在每秒30帧(30fps)时的最大漏失为1.5fps)。当封包漏失比小于5％时，传输比对检查表224可判定目前传输状态是在无负载状态，并且可以从客户端特征侧录达成较高的资料率。传输比对检查表224可要求伺服端202以增量方式增加传输率，直到封包漏失比超过30％为止，亦即，直到传输状态抵达壅塞状态为止。然后，传输比对检查表224可要求伺服端202降低传输率，直到达到负载状态为止(封包漏失比达到一稳定状态)。若封包漏失比指示出，传输状态已达稳定状态，则传输比对检查表224可对智能型视讯传输管理器208传送一要求，其中包括一NOP信号(无操作信号或“不动作”信号，亦即，“勿改变资料率”信号)。因为网络上的通信量概况可随时间而变化，所以客户端212会对伺服端202随机传送增加资料率的要求。
封包漏失比的阈位准可以谨慎调整，以使客户端212的用户所感知的显示品质，可随着网络状况变更而适度下降或改进。由于客户端212除了其本身目前的传输率外，并无其它可用的带宽通信量信息，所以客户端212可能会定期要求伺服端202增加传输率，以便可以达成较高的视讯品质。除了监看进入的影音封包流品质外，客户端212亦可通知伺服端202显示器尺寸是否已被顾客缩小，藉此降低传输资料率以匹配新的显示器大小，并降低带宽要件。
值得注意的是，目前用于控制传输率的方法，称为自适应速率控制(ARC)技术，它可用漏失封包侦测为基础，而非已往托实时传输协议(RTP)的助而以缓冲器为基础的方法。因为自适应速率控制(ARC)技术主要可以依靠有能力计算视讯流封包品质且能对伺服端传送所需传输率信息的客户端，所以监看带宽与资料率控制的负担，可以从伺服端移转到客户端。此外，自适应速率控制(ARC)技术亦可允许客户端要求伺服端以最佳化的传输率传送资料流，减少网络中传输壅塞的可能性。
图5是本发明数据传输率控制的典型步骤流程图500。具有一般技能的人士可以理解，图中所示方法可用多种方式修改而不脱离本发明精神与范围。例如，在本发明另一实施例中，图标方法中可结合各种不同部份、以另一种顺序重新安排此等不同部份、或移除此等不同部份。此外应予注意的是，此方法可用多种不同方式实施的，诸如在一通用计算机中执行软件、使用微处理器执行韧体及/或计算机可读媒体、使用专门用途的硬件，等等。
本方法可从一状态502开始。在状态502中，一客户端可经由一网络(区域/广域网络)建立与一伺服端间的联机或信道，以供数据交换。然后，在状态504中，客户端可在信道建立开始时，对伺服端传送一组客户端特征信息。客户端特征信息可包括显示器尺寸、最高分辨率、可支持色彩位数(或色彩深度)、显示器类型(诸如LCD、CRT、或电浆型)、CPU类型、指示可支持格式类型(诸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的译码器能力、可用内存、联机类型(诸如WiFi、LAN、蓝芽等等)、说明传输信息的先前联机记述(诸如帧速率、资料率、量化级别、分辨率等等)、及视讯显示器220b的线路结构(续行式/交错式)。然后，在状态506中，伺服端可根据客户端特征信息决定一传输率，并以实时模式使用该传输率对客户端传送一复合资料流。该复合资料可包括呈资料封包形式的音频与视讯资料。然后，程序可进入状态508。
在状态508中，客户端可从伺服端接收该复合资料流。其次，在状态510中，客户端可将接收的复合资料流分解成音频及视讯资料封包。随后，在状态512中，客户端可根据瑕疵资料封包数决定视讯资料封包的封包漏失比。然后，程序可进到一决定菱形514。
在状态514中，客户端可决定该封包漏失比是否指示网络中的壅塞状态。状态514的答复为肯定时，在状态516中，客户端可产生降低传输率的要求。然后，程序可进到状态522。否则，程序可进到另一决定菱形518。
在状态518中，可以决定封包漏失比是否指示网络中的无负载状态。状态518的回复若为肯定时，则程序可进到状态519。在状态519中，可决定传输率是否已达最大传输率。状态519的回复若为否定时，在状态520中，客户端可产生增加传输率的要求。然后，程序可进到状态522。
状态518的回复为否定时，或状态519的回复为肯定时，则程序进到状态521。在状态521中，客户端可产生一包含NOP(勿改变资料率)信号。然后，程序可进到状态522。在状态522中，客户端可对伺服端传送该项要求。随后，在状态524中，伺服端可用调整后的传输率传输该复合资料流；其中，调整后传输率是依据要求决定的。然后，程序可等到传输完成后进到状态508。值得注意的是，步骤508至524应定期实施，以维持伺服端与客户端之间建立的信道。
我们应了解前述是有关本发明的典型实施例，其中可作多种修改而不脱离本方法如下述申请专利范围所述精神及范围。
权利要求
1.一种伺服端至客户端资料流传输率的实时控制方法，其中该客户端具有以其一组特征产生的比对检查表，其特征在于，此方法包括以一传输率从该伺服端接收一资料流的第一部份，该第一部份包括多数资料封包；检查该等资料封包的完整性；根据该完整性决定一封包漏失比；使用该封包漏失比及该比对检查表产生调整该传输率的要求；将该项要求传送给该伺服端；以及以一调整后传输率从该伺服端接收该资料流的第二部份。
2.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，在该接收一资料流第一部份的步骤前，进而包括在该伺服端与该客户端之间建立一联机；使该客户端传送该组特征的信息给该伺服端；以及使该伺服端使用该项信息决定该传输率，并以该传输率传输该第一部份。
3.如权利要求2项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该组特征至少包括显示器尺寸、最高分辨率、色彩深度、显示器类型、CPU类型、一或多种译码器能力、可用内存、联机类型、具有传输信息的先前联机记述、及视讯显示器线路结构等其中之一。
4.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其中该资料流为包括一音频流与一视讯流的复合资料流；其特征在于，本方法在该检查完整性的步骤前，进而包括将该复合资料流的第一部份分解为该音频流与视讯流。
5.如权利要求4项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，在该检查完整性的步骤前，进而包括将该等音频流与视讯流译码。
6.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该决定封包漏失比的步骤包括以下步骤量取该等多数资料封包内的瑕疵资料封包百分比；该等瑕疵封包或为转讹资料封包，或为在该接收资料流第一部份的步骤中遗失的资料封包。
7.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该产生调整要求的步骤包括以下步骤决定该封包漏失比是否指示一壅塞状态；若该封包漏失比指示一壅塞状态，则产生一降低该传输率的要求；决定该封包漏失比是否指示一无负载状态；若该封包漏失比并非指示一无负载状态，则产生一包括无操作信号的要求；若该封包漏失比指示一无负载状态，则决定该传输率是否已达一最高传输率；若该传输率尚未达到一最高传输率，则产生一增加该传输率的要求；以及若该传输率已达到该最高传输率，则产生一包括无操作信号的要求。
8.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该资料流是根据一使用者资料包协议格式化。
9.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该资料流是透过一网络传输，该网络至少包括一局域网络与一广域网络。
10.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该客户端包括一目视装置。
11.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，进而包括重复该完整性检查的步骤至该接收第二部份的步骤，直到该客户端收到该资料流的整体部份。
12.如权利要求1项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，该传输率具有一组参数，至少包括一目标帧速率、一目标显示位率、一目标分辨率、一目标音频抽样率、一量化值、一亮度色度转换法、一比例尺大小、及一说明已往联机状态的联机记述。
13.一种伺服端至客户端资料流传输率的实时控制方法，其中该客户端具有以其一组特征产生的比对检查表，其特征在于，此方法包括从该客户端接收一调整该传输率的要求，其中该客户端是使用一封包漏失比及该比对检查表产生该项要求；接收至少一笔音频输入与至少一笔视讯输入；根据该项要求更新一资料率及该传输率；以该更新后资料率编码该笔音频输入与该笔视讯输入；将该等编码后音频与视讯输入复合成该资料流；以及以该更新后的传输率将该资料流传输给该客户端。
14.如权利要求13项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该组特征至少包括显示器尺寸、最高分辨率、色彩深度、显示器类型、CPU类型、一或多种译码器能力、可用内存、联机类型、具有传输信息的先前联机记述、及视讯显示器线路结构等其中之一。
15.一种伺服端至客户端资料流传输率的实时控制方法，其中该客户端具有以其一组特征产生的比对检查表，其特征在于，此方法包括使该伺服端以一传输率将一资料流的第一部份传输至该客户端；使该客户端接收该第一部份，其中该第一部份包括多数资料封包；使该客户端检查该等资料封包的完整性，并根据其完整性决定一封包漏失比；使该客户端使用该封包漏失比及该比对检查表产生一调整该传输率的要求，并将该项要求传送至该伺服端；使该伺服端接收该项要求并根据该项要求调整该传输率；以及使该伺服端以调整后的传输率传输该资料流的第二部份。
16.如权利要求15项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，在该传输第一部份的步骤前，进而包括使该伺服端接收至少一笔音频输入及至少一笔视讯输入；使该伺服端以一资料率编码该笔音频输入及该笔视讯输入；以及使该伺服端将该等编码后的音频及视讯输入复合成该资料流。
17.如权利要求16项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，在该传输第二部份的步骤前，进而包括使该伺服端根据该项要求更新该资料率；使该伺服端以该更新后的数据率编码该笔音频输入及该笔视讯输入；以及使该伺服端将该等编码后的音频及视讯输入复合成该资料流。
18.如权利要求16项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，进而包括使该客户端将该复合资料流的第一部份分解成一音频流及一视讯流；以及使该客户端译码该等音频及视讯流。
19.如权利要求15项所述的伺服端至客户端资料流传输率的实时控制方法，其特征在于，其中该组特征至少包括显示器尺寸、最高分辨率、色彩深度、显示器类型、CPU类型、一或多种译码器能力、可用内存、联机类型、及该客户端的视讯显示器线路结构等其中之一。
全文摘要
一种多种可跨越传统网络或信道以实时方式传输已压缩影音资料流的方法。每一系统均使用自适应速率控制技术。是以侦测瑕疵封包及其它诸如整体系统效能、使用模式、及信道特性等影响性因素为基础。为了控制各信道中的资料流壅塞，并将目视显示品质维持在某一水准以上，有效利用人类的视觉及人类对变动的目视状态的适应力。自适应速率控制技术有赖于客户端对伺服端所传送视讯封包品质的计算能力，及对伺服端传送所需传输率信息的能力。此方法简化了已往伺服端所承担的硬件与软件实施工具复杂性，并将监看带宽与传输控制的负担从伺服端移转到客户端，由此减少整体设计成本。
文档编号H04N7/24GK1996813SQ20061000021
公开日2007年7月11日 申请日期2006年1月6日 优先权日2006年1月6日
发明者杰佛瑞·黄 申请人:撤克斯坦纳帷葛驯公司