专利名称：多媒体流服务系统和方法
技术领域：
本发明的技术方案涉及一种多媒体流服务。特别涉及一种使用传输控制协议(TCP)的多媒体流服务系统和方法。
背景技术：
视频点播(VOD)是一种根据用户的请求从服务器上有选择地接收多媒体内容文件并在终端上再现的服务。例如，它可以使用流方法以及下载方法实现。
图1是根据一个实例安排的VOD服务系统的方框图。其他安排也是可以的。如图所示，VOD服务系统包括VOD服务器10，客户端20和网络30。客户端20请求，接收并执行VOD服务。网络30连接VOD服务器10与客户端20并在这两个实体之间传送数据和命令。
VOD服务器10可以将大量多媒体内容文件转换为数字压缩图像信号(或文件)并把该数据存储在数据库11中。VOD服务器10根据请求将多媒体内容文件提供给客户端20。VOD服务器10也可以进行服务操作和管理，例如由提供多媒体内容文件而产生的计费和监控。
客户端20是一个包括输入单元和显示单元的终端。客户端20可以将用户的请求或命令传送给VOD服务器10。客户端20可以解码并显示从VOD服务器10接收的多媒体内容文件。
网络30可以支持高速传输，以使得在VOD服务器10和客户端20之间传输大量的连续的多媒体数据。
多媒体内容文件可以是例如MP4文件格式的，并可以存储在VOD服务器10的数据库11中。图2示出了根据一种实例安排的MP4文件的格式。其他安排和格式也是可以的。更具体地，图2示出了MP4文件被分为报头(moov)和包含视频和音频数据的媒体数据(mdat)两部分。
报头(moov)可以包括有关音频区和视频区的信息，以及用于访问和再现媒体数据(mdat)的元(meta)信息。上述的这种VOD服务系统可以提供流方法和/或下载方法的服务。
在流方法中，接收的多媒体信息可以缓冲一小段延迟时间之后再现。为了保证多媒体内容的实时传输，可以使用实时传输协议(RTP)和用户数据报协议(UDP)，这是个无连接协议，进行传输。
图3示出了根据一个实例安排的RTP/UDP堆栈和RTP分组。其他安排也是可以的。如图3所示，在流方法中，丰富的多媒体数据被分组为RTP分组并封装入UDP报头和IP报头以便传输。RTP分组可以是UDP净荷，包括RTP报头和存储多媒体数据的RTP净荷。
RTP报头可包括RTP版本(V)，扩展指示位(X)，填充指示位(P)，CSRC计数(CC)，定义应用文档的标记位(M)，定义存储在RTP净荷中的多媒体数据的类型和特性的净荷类型(PT)，序号，指示传输点的时戳，同步标识(SSRC)，以及一个分信源标识(CSRC)。扩展指示位(X)可以用来扩展RTP的报头信息。例如，当扩展指示位(X)置为“1”时，表示还有一个扩展报头。
在流方法中，当客户端20传送一个特定的多媒体内容请求到VOD服务器10时，VOD服务器10可以将数据库11中以MP4文件格式存储的多媒体内容利用RTP/UDP发送给客户端20。表达为媒体数据部分(mdat)的多媒体净荷利用通过时戳字段而同步的每个媒体进行RTP分组，并在UDP中传输。
UDP是一个普遍用于支持要求高速传输胜于可靠传输数据的可靠性的多点传送的协议。所以，它适合于实时多媒体内容的传输。然而，由于UDP在传输过程中没有对传输数据纠错或对丢弃的分组重发的功能，所以UDP一般不能在服务质量(QoS)上有所改进。
因此，使用基于RTP/UDP的流方法，用户可以在实时的基础上接收和检验多媒体内容。然而由于传输带宽的限制，到达接收方的可传输的多媒体内容的质量就会受到限制。一些数据还会因传输环境而丢失。
在下载方法中，客户端20可从VOD服务器10上完整地下载多媒体内容文件，之后再现该数据。因此，可以用高质量画面来再现与存储在VOD服务器10中的原版本相同的多媒体内容。更具体地，当客户端20向VOD服务器10发送对特定的多媒体内容的请求时，VOD服务器10通过TCP分组将相应的多媒体内容文件发送给客户端20。客户端20可以接收该TCP分组并将该分组存储在存储盘(未示出)中。全部多媒体内容文件下载完之后，客户端20解码并再现接收到的多媒体内容文件。
然而，尽管具有可以提供高质量画面的与存储在VOD服务器中的原版本基本相同的多媒体内容这样的优点，下载方法仍然存在这样的缺陷，就是用户需要等待一段很长的时间来查收该内容。另外，在客户端一侧需要很大的存储空间。基于RTP/UDP的流方法可以适合于需要低延迟的实时服务；然而，QoS却不能保证。而基于TCP的下载方法可以保证QoS；但为了再现多媒体内容文件需要长时间的等待，因此不能提供实时服务。
发明内容
本发明的目的是解决上述问题和/或缺陷并至少提供其后所述的优点。
本发明的实施方案提供通过使用TCP实施流服务来保证QoS的多媒体流服务系统以及方法。
本发明的实施方案提供一种包括VOD服务器和客户端的多媒体流服务系统。VOD服务器相继传送TCP分组中的MP4内容的报头(moov)和媒体数据(mdat)。客户端将HTTP中的流服务请求信号发送到VOD服务器。客户端可以将接收自VOD服务器的媒体数据(mdat)在解码器缓冲器中积存一段预定的时间，并在实时基础上再现该数据。
本发明的实施方案提供一种多媒体流服务方法，其包括根据来自接收方的至少一个TCP分组中的请求传送多媒体内容，将接收自发送方的至少一个TCP分组缓存预定的时间，以及在实时基础上再现该至少一个TCP分组。
本发明的实施方案提供一种多媒体流服务方法，其包括客户端向例如VOD服务器发送对MP4内容的流服务请求信号。该方法还包括VOD服务器发送对流服务请求信号的确认信号。VOD服务器可以使用TCP分组将相应的MP4内容的报头(moov)和媒体数据(mdat)信息相继发送给客户端。客户端接收报头(moov)并将媒体数据(mdat)缓存一段预定的时间。之后再现媒体数据(mdat)。
本发明的实施方案提供一种多媒体流服务方法，其包括客户端将HTTP中的流服务请求信号发送到VOD服务器。发送对流服务请求信号的确认信号。VOD服务器通过TCP分组将MP4内容的报头(moov)和媒体数据(mdat)传送给客户端。报头(moov)储存在存储器中。媒体数据在解码器缓冲器中缓存一段解码器操作等待时间以及重发服务等待时间。缓存的媒体数据之后可被再现。
本发明其他优点，目的，特征以及实施例将在后面的描述中部分地进行阐明，经过以下检验或从本发明的实践中学习，上述优点、目标和特性对于本领域的普通技术人员来说是显而易见的。
下面是对附图的简述，附图中相同的参考数字代表相同的部分，其中图1是根据实例安排的VOD服务系统的方框图；图2是根据实例安排的MP4文件的格式；图3是根据实例安排的实时传输协议(RTP)/用户数据报协议(UDP)堆栈以及RTP分组；图4是根据本发明的示例性实施例的多媒体流服务系统；以及图5是根据本发明的示例性实施例的多媒体流服务方法的流程图。
具体实施例方式
图4示出了根据本发明的示例性实施例的多媒体流服务系统。其他实施方案和结构也在本发明的范围之内。如图所示，多媒体流服务系统包括VOD服务器100和客户端200。VOD服务器100响应于流服务请求信号使用TCP来传送多媒体内容文件。客户端200将从VOD服务器100接收到的多媒体内容文件储存一段预定的时间，并解码和显示该文件供用户识别。
VOD服务器100包括数据库(图4中未示出)，其用于储存MP4格式的多媒体内容文件，以便当从客户端200接收到流服务请求信号时，VOD服务器100使用TCP分组(或多个PCT分组)顺序地传送相应内容文件的报头(moov)和媒体数据(mdat)。
全部接收完来自VOD服务器100的包括多媒体内容的报头(moov)的TCP分组之后，客户端200将该媒体数据(mdat)缓存一段盘操作等待时间(β)和一段重发服务等待时间(γ)。客户端200之后解码并再现接收到的多媒体内容文件。在再现多媒体内容文件的同时，客户端200可以一直持续接收来自VOD服务器100的TCP分组(或多个TCP分组)。
由于多媒体内容的报头(moov)包括再现媒体数据(mdat)所需的元信息，报头应当存储在客户端200的存储器(图4中未示出)中直到多媒体流服务结束。也就是，客户端200包括用于存储接收自VOD服务器100的多媒体内容的报头(moov)的存储器(图4中未示出)，用于解码媒体数据(mdat)的解码器(图4中未示出)，以及用于缓存预定数量的待解码的媒体数据(mdat)的解码器缓冲器(图4中未示出)。
现在参照图4对根据本发明的实施例的多媒体流服务系统的操作进行描述。
客户端200使用超文本传输协议(HTTP)将对特定多媒体内容的流服务请求信号发送给VOD服务器100。VOD服务器使用HTTP发送给客户端200对流服务请求信号的响应信号。VOD服务器100使用TCP分组顺序地传送相应多媒体内容的报头(moov)和媒体数据(mdat)给客户端200。在这个例子中，多媒体内容是MP4文件格式的，然而其他格式也是可以的。
客户端200在一预定时间(α)内接收来自VOD服务器100的包含报头(moov)的TCP分组，之后在解码器操作等待时间(β)内通过解码器缓冲器(图4中未示出)接收一部分媒体数据(mdat)。
解码器操作等待时间(β)是从媒体数据到达解码器缓冲器的时间点到解码器开始自身的操作的时间点为止。通过在媒体数据(mdat)充分地累加到解码器缓冲器中的解码器操作等待时间(β)之后开始解码，可以防止解码器缓冲器的溢出和/或下溢。为了确保由通信信道差错引起可能发生的分组丢失的QoS，多媒体内容可以通过TCP分组进行传送。如此，如果执行重发，则会有一段基于TCP重发的延迟时间。
因此，为了能甚至在TCP分组重发的时间内保持再现服务，可以在解码器缓冲器中累加媒体数据(mdat)。因此，客户端200需要进行一段重发服务等待时间的附加缓冲。
可在报头中记录(或提供)解码器操作等待时间(β)和重发服务等待时间(γ)。在解码器操作等待时间(β)和重发服务等待时间(γ)期间，在解码器缓冲器中积存的媒体数据(moov)根据包含在报头(moov)中的元信息被解码并再现。
图5是根据本发明的示例性实施例的多媒体流服务方法的流程图。其他操作，操作顺序以及实施例也在本发明的范围内。
如图5所示，客户端200通过HTTP发送给VOD服务器100对任意的多媒体内容的流服务请求信号(步骤S11)。VOD服务器100发送对该流服务请求信号的确认信号(步骤S12)，并通过TCP分组顺序地传送相应MP4格式的该内容的报头(moov)以及媒体数据(mdat)给客户端200(步骤S13)。
客户端在预定时间(α)内完全接收报头(moov)并将数据存储在客户端200的存储器中(步骤S14)。由于报头(moov)包含用于再现媒体数据(mdat)的元信息，所以该数据存储在存储器中，而不是存在解码器缓冲器中，直到流服务结束。
客户端200将在报头(moov)之后顺序接收的媒体数据(mdat)在解码器缓冲器中缓存一段解码器操作等待时间(β)，以及之后再缓存一段重发服务等待时间(γ)(步骤S15)。解码器操作等待时间(β)和重发服务等待时间(γ)可在TCP分组的报头(moov)中提供。
重发服务等待时间(γ)可以是用于TCP分组重发数据所用的时间，或者是，为了能甚至在基于通信环境而发生传输延迟的同时仍然保持再现内容的媒体数据(mdat)而在解码器缓冲器中累积额外TCP分组所需的时间。重发服务等待时间(γ)持续的时间越长，QoS的保证率越高。然而，流服务延迟也会增加的。因此，可以通过实验法或其他方法学得出一个合适的值。
也就是，当内容的媒体数据(mdat)被再现的同时，如果检测出从VOD服务器100传送来的TCP分组中出现错误，则客户端200可以请求重发相应的TCP分组。甚至当从VOD服务器100再接收相应的TCP分组的时候，媒体数据的再现操作仍可以继续保持。
在解码器操作等待时间(β)和重发服务等待时间(γ)期间，在解码器缓冲器中累加的媒体数据可通过终端解码并显示一段预制(或预定)的再现时间。媒体数据被再现的同时，TCP分组可被完全接收(步骤S16)。
根据本发明的实施例的多媒体流装置以及方法可包括基于TCP的流方法，该方法可弥补基于RTP/UDP的流方法和基于TCP的下载方法的缺陷，因而服务的延迟时间比基于RTP/UDP的流方法的长而比基于TCP的下载方法的要短。
现在参考图4对服务的延迟时间进行对比描述。如图4所示，用于本发明实施例的操作过程的时间参数包括完全接收MP4内容的报头(moov)所需的时间(α)，解码器操作等待时间(β)，重发服务等待时间(γ)以及完全接收MP4内容的媒体数据(mdat)所需的时间(δ)。
基于RTP的流方法中所产生的服务延迟时间为与传输通信网络的状况有关的β以及由分组报头的大小所产生的微小影响或之类的，基于TCP的下载方法所产生的服务延迟时间是α+β+γ+δ，而基于TCP的流方法的服务延迟时间是α+β+γ。
完成接收媒体数据的时间(δ)具有最大值，以至尽管有一比特的服务延迟时间，基于TCP的流方法可实现保证QoS的流方法。
因此，客户端通过TCP将来自VOD服务器的内容文件在解码器缓冲器中累加到可反映传输通信网络状况的时间，以及累加到根据TCP分组的重发功能的延迟之后，在实时基础上再现内容文件。因此，减少了服务延迟时间并使QoS的保证率有所增加。
权利要求
1.一种多媒体流服务系统，包括VOD服务器，用于发送至少一个TCP分组中的报头和媒体数据；及客户端，用于在HTTP中发送流服务请求信号到VOD服务器，客户端将从VOD服务器接收到的媒体数据在解码器缓冲器中累加一段预定的时间，并且该客户端在实时基础上再现该数据。
2.根据权利要求1的系统，其中客户端包括一个用于存储报头直到媒体数据的再现结束的存储器。
3.根据权利要求1的系统，其中客户端再现解码器缓冲器中累加的媒体数据，与此同时，将从VOD服务器发送的至少一个TCP分组中的媒体数据累加到解码器缓冲器中。
4.根据权利要求1的系统，其中客户端根据至少一个TCP分组的报头来检测丢失的分组，并且该客户端根据检测到的丢失分组来发送分组重发请求信号给VOD服务器。
5.根据权利要求1的系统，其中在解码器缓冲器中累加所需的预定时间包括从媒体数据到达解码器缓冲器的时间点开始到解码器开始操作的时间点为止的解码器操作等待时间；以及为了重发丢失的TCP分组而累加额外时间的重发服务等待时间。
6.根据权利要求1的系统，其中报头以及媒体数据涉及MP4内容。
7.一种多媒体流服务方法，包括在TCP分组中发送多媒体内容；将从发送方接收到的TCP分组缓冲一段预定的时间；以及在实时基础上再现缓冲的TCP分组。
8.根据权利要求7的方法，其中多媒体内容包含MP4文件格式且包括报头和媒体数据。
9.根据权利要求7的方法，其中发送多媒体内容包括从接收方发送流服务请求信号到发送方；发送一个对流服务请求信号的确认信号；以及在TCP分组中发送相应的多媒体内容信息给接收方。
10.根据权利要求9的方法，其中流服务请求信号和确认信号使用超文本传输协议(HTTP)进行发送。
11.根据权利要求7的方法，其中再现缓冲的TCP分组包括即使在正在再现接收的多媒体内容的时候，继续从发送方接收TCP分组。
12.根据权利要求7的方法，其中再现缓冲的TCP分组包括将从发送方接收到的TCP分组缓冲一段预定的时间；再现接收的TCP分组；以及再接收发生了错误的TCP分组。
13.根据权利要求7的方法，其中预定的时间包括完全接收到多媒体内容的报头的时间；以及接收部分多媒体内容的媒体数据的时间。
14.根据权利要求13的方法，其中接收媒体数据的时间包括为接收的媒体数据等到直到解码器开始操作的解码器操作等待时间。
15.一种多媒体流服务方法，包括发送流服务请求信号到VOD服务器；使用TCP分组发送报头和媒体数据信息；接收该报头并将数据缓冲一段预定的时间；及再现该媒体数据。
16.根据权利要求15的方法，进一步包括发送对流服务请求信号的确认信号。
17.根据权利要求15的方法，其中流服务请求信号和确认信号使用HTTP进行发送。
18.根据权利要求15的方法，其中所述缓冲包括在一段预定的时间中接收报头；以及在解码器操作等待时间中缓冲媒体数据。
19.根据权利要求15的方法，其中所述缓冲包括在反映重发丢失的TCP分组的重发服务等待时间内进行缓冲。
20.根据权利要求15的方法，其中所述再现包括使用报头检测接收的TCP分组的错误；请求重发发生错误的TCP分组；以及接收重发的TCP分组。
21.根据权利要求15的方法，其中该报头存储在客户端中直到媒体数据的再现结束。
22.根据权利要求15的方法，其中该报头和媒体数据涉及MP4内容。
23.一种多媒体流服务方法，包括使用TCP分组发送报头和媒体数据到客户端；将报头存储在存储器中；将媒体数据在解码器缓冲器中缓冲至少一段解码器操作等待时间和重发服务等待时间；以及再现缓冲的媒体数据。
24.根据权利要求23的方法，进一步包括在HTTP中发送流服务请求信号到VOD服务器；以及发送对流服务请求信号的确认信号。
25.根据权利要求23的方法，其中所述再现包括使用报头检测接收的TCP分组的错误；以及当检测到分组错误时请求重发TCP分组。
26.根据权利要求23的方法，其中报头和媒体数据涉及MP4内容。
27.一种多媒体流服务系统，包括VOD服务器，用于在TCP分组中发送报头和媒体数据；以及客户端，其包含缓冲器，该客户端接收TCP分组并将该媒体数据在缓冲器中存储一段预定的时间。
28.根据权利要求27的系统，其中客户端在实时基础上再现该数据。
29.根据权利要求27的系统，其中客户端包括一个存储器，其用于存储报头直到再现媒体数据过程结束。
30.根据权利要求27的系统，其中预定的时间包括从媒体数据到达解码器缓冲器的时间点开始到解码器开始操作的时间点为止的解码器操作等待时间；以及为了重发丢失的TCP分组而累加额外时间的重发服务等待时间。
全文摘要
提供一种多媒体流服务系统，其包括用于在TCP分组中顺序发送MP4内容的报头(moov)和媒体数据(mdat)的VOD服务器和用于在HTTP中发送流服务请求信号到VOD服务器的客户端。客户端可将从VOD服务器接收到的媒体数据(mdat)在解码器缓冲器中累加一段预定的时间，并在实时基础上再现该数据。与基于RTP/UDP的流方法相比，QoS的保证率提高了。与基于TCP的下载方法相比，服务的延迟时间减少了，由此在实时基础上实现内容。
文档编号H04N7/173GK1601998SQ20041005498
公开日2005年3月30日 申请日期2004年7月27日 优先权日2003年9月27日
发明者徐光德 申请人:Lg电子株式会社