专利名称：移动电视的画中画的制作方法
技术领域：
本发明一般涉及画中画(PiP)，并且更具体地说，涉及用于支持基于IP的移动电视的PiP的系统和方法。
背景技术：
画中画(PiP)是广泛用在一些传统电视接收器中的有用特征。一个信道被显示在整个电视屏幕上，并且同时一个或多个其它信道被显示在较小的内嵌窗口中。但音频通常仅来自主节目。传统PiP特征需要两个独立的调谐器或信号源来提供大画面和小画面。两调谐器PiP TV具有内置的第二调谐器，而单调谐器PiP TV需要外部信号源，其例如可以是外部调谐器、VCR、DVD播放器或具有合成视频输出的电缆盒。用户经常使用PiP观看一个节目，而·将眼睛保持在另一个节目上。例如，足球迷可在主信道中观看涉及他支持的队的比赛，而使用PiP跟踪其它队之间的比赛。基于IP的移动电视由于移动通信技术的快速发展最近变得普遍了。它将电视服务带到移动屏幕，但它远远不止是将传统电视移动到小屏幕。它提供了无论什么时候并且无论你在哪里都观看电视内容的自由。作为移动电视服务的主分支之一，基于IP的移动电视提供了更大的灵活性和更个性化的服务(如VoD)。基于IP的移动电视服务使用一系列协议，它们中的大部分介绍如下。会话描述协议(SDP)
SDP在多媒体会话中传输有关媒体流的信息以允许会话描述的接收方参与会话。为了让接收方具有充分的信息以加入多媒体会话，SDP文件一般包含
籲会话名称和目的
在其期间会话是活动的时段
籲与会话相关联的媒体
用于接收那些媒体的其它必要信息(地址、端口、格式等等)
实时传输协议(RTP)和RTP控制协议(RTCP)
对于流播传递，大多数实时媒体将使用RTP作为传输协议。RTP给用于流播传递的端到端传递服务提供了实时特性，并且由RTCP保证传输质量。RTP承载具有实时特性的数据，并且RTCP监视服务质量，并在正在进行的会话中传输信息。实时流播协议(RTSP)
RTSP用于通过不同预先定义的方法(诸如描述、建立、暂停、播放、拆除等等)建立和控制连续媒体(诸如音频和视频)的单个或多个时间同步流。要控制的那组流由SDP文件定义。首先，客户端发送取对应于由URL标识的资源的SDP文件的RTSP描述请求。然后，客户端将解析SDP文件并得到包含在这个资源中的所有媒体信息(视频、音频等)。然后，客户端将用RTSP建立方法根据其需要动态建立每个媒体。在那之后，客户端将向流播服务器发送RTSP播放请求以便开始流播。最后，客户端欣赏它自己请求的媒体。对于当前的MTV解决方案，存在用户只能同时观看一个信道的限制，并且用户不可能并行导航其它信道。大多数移动电视解决方案都支持信道切換，但信道切換速度由于流播的缓冲时间而比传统电视慢得多。因此，当前的解决方案不能给用户ー个好的体验，特别是在如下情况下例如，两个重要比赛同时开始。
发明内容
目前没有已知的PiP解决方案用于移动电视。因此，本发明的目的是开发画中画解决方案用于移动电视，具体地说用于移动数据访问的那些基于IP的終端和服务器。根据本发明的ー个方面，提供ー种用于通过终端实现基于IP的系统中的画中画(PiP)的方法。所述方法包括如下步骤向媒体服务器发送用于建立第一信道流播会话的第一请求；向媒体服务器发送用于建立以及第二信道流播会话的第二请求；以及同时再现通过第一信道流播会话和第二信道流播会话所流播的第一信道内容和第二信道内容。第一信道内容可相比第二信道内容具有更高质量。所述方法还可包括请求第一信道和第二信道的访问信息的步骤。第一信道内容可被再现在主窗ロ中，并且第二信道内容可被再现在次窗口中。第一信道流播会话和第二流播会话可基于实时流播协议(RTSP)和实时传输协议(RTP)。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少ー项。第一信道内容和第二信道内容可包含视频、音频和文本中的至少ー项。所述视频可以是联合影像专家组(JPEG)图像序列。第一信道内容和第二信道内容的至少ー个參数可以是可调节的。所述方法还可包括如下步骤通过第二信道流播会话向媒体服务器发送用于从较低质量的第二信道内容切換到较高质量的第二信道内容的第三请求。根据本发明的另ー个方面，提供ー种用于通过媒体服务器实现基于IP的系统中的PiP的方法。所述方法包括如下步骤响应于来自终端的第一请求与終端建立第一信道流播会话，并响应于来自终端的第二请求与終端建立第二信道流播会话。根据本发明的又ー个方面，提供ー种支持基于IP的系统中的PiP的終端。所述终端包括会话管理器，设置用干与媒体服务器建立信道流播会话；第一解码器，设置用于对通过第一信道流播会话流播的第一信道内容进行解码；第二解码器，设置用于对通过第二信道流播会话流播的第二信道内容进行解码；以及再现引擎，设置用于同时再现第一信道内容和第二信道内容。第一信道内容可相比第二信道内容具有更高质量。会话管理器可以向媒体服务器发送用于建立第一信道流播会话的第一请求，并向媒体服务器发送用于建立第二信道流播会话的第二请求。会话管理器可请求第一信道和第ニ信道的访问信息。
第一信道内容可被再现在主窗口中，并且第二信道内容可被再现在次窗口中。第一信道流播会话和第二流播会话可基于RTSP和RTP。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少一项。第一信道内容和第二信道内容可包含视频、音频和文本中的至少一项。该视频是JPEG图像序列。第一信道内容和第二信道内容的分辨率、位率和FPS当中的至少一个参数可以是可调节的。会话管理器可通过第二信道流播会话向媒体服务器发送用于从较低质量的第二信道内容切换到较高质量的第二信道内容的第三请求。根据本发明的又一个方面，提供一种支持基于IP的系统中的PiP的媒体服务器。媒体服务器包括媒体管理器，设置用于与终端建立信道流播会话；第一编码器，设置用于对第一信道内容进行编码；以及第二编码器，设置用于对第二信道内容进行编码。
根据本发明的又一个方面，提供一种支持画中画(PiP)的基于IP的系统。所述系统包括上面所描述的终端和媒体服务器。根据本发明的一个方面，提供一种用于通过终端实现画中画(PiP)的方法。所述方法包括如下步骤向媒体服务器发送用于建立第一信道流播会话的第一请求；并且当正在建立第一信道流播会话时，向媒体服务器发送用于建立第二信道流播会话的第二请求。所述方法还可包括得到并解析第一信道和第二信道的访问信息的步骤。所述方法还可包括向媒体服务器发送用于切换到第二信道的第三请求的步骤。第一信道可以是主信道，并且第二信道可以是次信道。第一信道流播会话和第二流播会话可基于实时流播协议(RTSP)。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少一项。第一请求可具有第一信道的统一资源定位符(URL)，并且第二请求可具有第二信道的URL。可通过第二信道流播会话传送JPEG画面序列。JPEG画面可打包为RTP数据。根据本发明的另一个方面，提供一种用于通过媒体服务器实现画中画(PiP)的方法。所述方法包括如下步骤响应于来自终端的第一请求与终端建立第一信道流播会话，并且当建立第一信道流播会话的同时，响应于来自终端的第二请求与终端建立第二信道流播会话。所述方法还可包括响应于来自终端的第三请求切换到第二信道的步骤。第一信道可以是主信道，并且第二信道可以是次信道。第一信道流播会话和第二流播会话可基于实时流播协议(RTSP)。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少一项，并且媒体服务器可用RTSP响应来响应该请求。第一请求可具有第一信道的统一资源定位符(URL)，并且第二请求可具有第二信道的URL。JPEG画面序列可通过第二信道流播会话传送。JPEG画面可打包为RTP数据。根据本发明的又一个方面，提供一种支持画中画(PiP)的终端。所述终端包括会话管理器，设置用于与媒体服务器建立信道流播会话；第一解码器，设置用于当建立第一信道流播会话时对第一信道进行解码；以及第二解码器，设置用于当建立第二信道流播会话时对第二信道进行解码。
会话管理器可以向媒体服务器发送用于建立第一信道流播会话的第一请求，并向媒体服务器发送用于在正在建立第一信道流播会话的同时建立第二信道流播会话的第二请求。会话管理器可得到并解析第一信道和第二信道的访问信息。会话管理器可向媒体服务器发送用于切换到第二信道的第三请求。第一信道可以是主信道，并且第二信道可以是次信道。第一信道流播会话和第二流播会话可基于实时流播协议(RTSP)。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少ー项。第一请求可具有第一信道的统ー资源定位符(URL)，并且第二请求可具有第二信道的URL。第二解码器可对通过第二信道流播会话的JPEG画面序列进行解码。JPEG画面可
打包为RTP数据。根据本发明的又ー个方面，提供ー种支持画中画(PiP)的媒体服务器。所述媒体服务器包括媒体管理器，设置用于与终端建立信道流播会话；第一编码器，设置用于对第一信道进行编码；以及第ニ解码器，设置用于对第二信道进行编码。媒体管理器可响应于来自终端的第一请求与終端建立第一信道流播会话，并且当建立第一信道流播会话的同吋，响应于来自终端的第二请求与終端建立第二信道流播会话。媒体管理器可响应于来自终端的第三请求切換到第二信道。第一信道可以是主信道，并且第二信道可以是次信道。第一信道流播会话和第二流播会话可基于实时流播协议(RTSP)。第一请求和第二请求可包含RTSP描述、建立和播放请求中的至少ー项，并且媒体服务器用RTSP响应来响应该这些请求。第一请求可具有第一信道的统ー资源定位符(URL)，并且第二请求可具有第二信道的URL。第二编码器可对第二信道流播会话的JPEG画面序列进行编码。JPEG画面可打包为RTP数据。根据本发明的又一方面，提供了支持画中画(PiP)的系统，其包括在前面文本中所叙述的終端和媒体服务器。
參考如下结合附图进行的描述将最好地理解本发明连同其另外目的和优点，附图中
图I是示出主信道和次信道的屏幕截 图2是根据本发明实施例的代表性系统概览；
图3是示出根据本发明实施例用于实现PiP功能的終端100与媒体服务器200之间交互的例证性序列图解；以及
图4是根据本发明另一实施例的代表性系统概览。
具体实施例方式遍布整个附图，对于对应或类似的要素将使用相同的附图标记。
在详细描述各种实施例之前，要理解，本发明不限于所描述装置的具体组件部分或者所描述方法的过程步骤，因为这种装置和方法可以改变。还要理解，本文使用的术语仅是为了描述具体实施例，并不打算限制。必须注意，在说明书和所附权利要求书中所用的单数形式“一个”和“该”也可包括多个所指对象，除非上下文明确相反指出。由此，例如术语“终端”可以指的是一个或多个终端，等等。简要描述，提供了用于支持基于IP的移动电视的PiP的方法和布置。本文所用的术语“终端”可以指移动终端，例如移动或蜂窝电话、膝上型计算机、PDA或移动电视，但它也 可以指可能连接到通信网络并播放流播媒体数据的一些其它类型的终端。本文所用的术语媒体服务器可以指存储或访问媒体数据并能够使用流播将其提供给终端的服务器。尽管在第三代合作伙伴项目(3GPP)分组交换服务(PSS)移动电视系统的上下文中例证本发明的实施例，但本发明的示教还可应用于其它通信系统，诸如基于广播或基于单播的IPTV、视频点播(VOD)或视频会议系统。在实施例中，内容被显示为电视节目，然而，它不应该局限于此。它可以是能由媒体服务器传递并在终端再现(render)的任何形式的任何媒体，包括但不限于以图像、视频、音频、字幕等形式的电影、体育赛事或直播音乐会。在附图中，作为RTSP会话执行媒体会话，并且因此在附图和对应说明书中已经采用了这种RTSP请求和响应的术语。本发明的示教还可应用于用于建立和管理媒体会话的其它协议。图I是包含主信道和次信道的屏幕示例。如图I所示，用户可在所谓的主信道上观看涉及他最喜爱队或队员的比赛，并在所谓的次信道上跟踪另一个比赛。一般而言，主信道被显示在移动电话屏幕的主窗口中，并使用大部分网络带宽。通常，主信道可具有视频和音频，并对于视频具有高质量要求。视频的编解码器可以是H. 263、MPEG-4、H. 264 或其它。次信道被显示在较小窗口中，较小窗口叠加在主窗口上并使用较少网络带宽。通常，次信道可仅具有视频，并且考虑到节省带宽和处理能力，视频质量不像主信道的那么高。然而，应该注意，上面示例仅用于例证目的，原则上，显示在屏幕上的信道(窗口)数量可多于2。在该上下文中，信道可指示为“主信道”和“次信道”，但它们可具有任意大小、格式和质量的视频或音频。参考图2，将描述根据本发明实施例的代表性系统概览。本文下面我们仅考虑PiP解决方案应用于两个直播信道，不过它可应用于更多直播信道或视频点播情况和其它用户情况。如图2所示，支持PiP的系统100包含终端100和媒体服务器200。媒体服务器200朝终端100提供流播传递服务。它包含会话管理器210和编码器220。编码器220从外部源接收信号，并例如通过H. 264将它们编码成信道内容。图2例证性地示出了编码器220将来自源I和源2的信号分别编码成信道I内容和信道2内容。会话管理器210管理媒体服务器200与终端100之间的流播通信，并根据请求将已编码信道内容传递到终端100。备选地，编码器220可位于媒体服务器200外部。例如，它可实现在从有线电视网络接收电视信号的机顶盒中。尽管内容显示为从外部源接收的电视节目，但它们可以是存储在媒体服务器200中的任何适当内容。终端100 (诸如3GPP PSS移动电话)能够经由无线连接流播来自媒体服务器200的信道内容(诸如电视节目)，并将它们再现在其屏幕上。終端100包含会话管理器110、解码器120和再现引擎130。会话管理器110与媒体服务器200的会话管理器210协同操作以请求和接收来自媒体服务器200的已编码信道内容，即信道I内容和信道2内容。解码器120然后分别对信道I内容和信道2内容进行解码。再现引擎130支持已解码信道内容的叠加，使得两个信道内容都可显示在終端100的屏幕上，即实现PiP。图3是示出根据本发明实施例用于实现PiP功能的終端100与媒体服务器200之间交互的例证性序列图解。我们考虑如下情况两个信道(即信道I和信道2)建立在終端100与媒体服务器200之间并显示在终端100的屏幕上的PiP中。在建立两个信道之前，终端100可首先得到它们的信道信息访问信息。存在许多种解决方案来宣布信道访问信息，例如，終端可使用单独的HTTP信号来请求信道访问信息。为了与传统移动电视解决方案无缝结合，我们可将信道访问信息与EPG (电子节目指南)/ESG (电子服务指南)结合。在步骤302，终端100向外部EPG/ESG门户请求访问信息(例如信道I和信道2的EPG/ESG)，使得终端100的用户可选
择具有这种访问信息的信道I和/或信道2。通常，終端100 —次得到所有可用信道的访问信息。在步骤304，EPG/ESG门户用EPG/ESG信息进行响应。下面是EPG/ESG信息的示例
<channe!>
<name>CCT￥-5</name> otlier elements
<uri>rtsp;//slTearning. cctv.com/programs/cclv5.sdp</url> <url2>rtsp://streaming.cctv,com/programs/cctv5-niinor.sdp</iirl2> </cha_el>在步骤306，终端100分别向媒体服务器200发送具有信道I URL的RTSP描述、建立、播放请求以建立信道I流播会话并播放信道I内容。在步骤308，媒体服务器200用RTSP 200 OK进行响应，并且然后向终端100 RTP流播由编码器220所编码的信道I内容。終端100可通过使用再现引擎130在其屏幕上再现信道I内容。通常，終端100使用会话管理器110顺序地发送RTSP描述、建立、播放请求，并且媒体服务器200使用会话管理器210用RTSP 200 OK响应每个请求，不过为了简化，終端100与媒体服务器200之间的交互显示为两个步骤306和308。下面是详细示出用于建立和播放信道I流播会话的交互的示例C->s: DESCRIBE rtsp://streaming.cclv^com/programs/cctv5.sdp RTSP/1.0 CSeq: 0
Accept; applicalion/sdp
S->C: RTSP/LO 200 OKCScq: 0
Content-base Tlspi//slrcaming.cctv^com/programs/cciv5^sdp /
Conlent-Iength: 412Content-type: appl cation/sdpDate; Fnt 16 Jun 2006 17:48:54 GMT·v=0
ο=- 750672 75067+2 IN IP4 !0,128,16.106s=<No liile>
C=IN 1P4 0.0.0.0t=..0 O
a=S_p丨inversion: 1610641560a=SlreamCounl: inleger;2
a control:*
S=LiveStream: i nteger; Im=video O RTP/AVP 96a=conlro I: stream i d=0a=rtpmap:96 MP4V-ES/90000a=-;fmtp:96 profiie-level-id=8;a=mi metype: string; _f video/M P4 ￥-ES11m-a dio 0 RTP/AVP 97a—control :streamid，: Ia^rtpmap:97 AMR/8000a=fmlp:97 octet-align^laニ m i melype: sin ng^^udioZAMR1*a=mpeg4-esid: IOI
C->S + SKTlJP rlsp7/sfreaiiiing.cct￥-com/programs/cctv5,sdp/streamicl=0RTSP/1
CSeq: I
Transport: RTP/A￥P;ynicasl,client.....pori=38212-38213S->C: RTSP/L0 200 0KCSeq: I
Date; Fr，16 Jun 2006 17:48:55 GM丁session: 11002-1 ,timeout-=S0
Transport: RTP/AVP,unicast;destimaficin.....= 10.1 —231.6;client __port=38212-38213,server......port=5020-502IC->S: PLAY rtsp://streaming,cctvxom/programs/cctv5.sdp/slreamid-0RTSP/!, O
CSeq:麗
X-Flayiist-Seek-W. 47874session: 11002-1S->C: RTSP/1.0 200 OKCSeq: I
Date: Fn, 16 Juo 2006 17:48:55 GMT session; 11002-1 ,ti mcwl=W
Transport: RTF/Λ￥P}unicast,clestinalion-10,1.231,6,
S->€; RTP streaming transportalion.....在流播或播放信道I内容的同时，终端100还向媒体服务器200发送具有信道2URL的RTSP描述、建立、播放请求的另一序列以建立信道2流播会话并播放信道2内容。在步骤312，媒体服务器200用RTSP 200 OK进行响应，并且然后向终端100 RTP流播由编码器220所编码的信道2内容。应该理解，不一定按上面顺序建立两个信道流播会话，而是可按任何顺序建立两个信道流播会话。在成功建立两个信道流播会话之后，终端100可再现PiP，即，通过使用支持内容叠加或组合的再现引擎同时在屏幕上显示再现通过信道I流播会话和信道2流播会话所流播的信道I内容和信道2内容。信道I内容可显示为主窗口或全屏幕中的主信道内容，并且同时信道2内容可显示为叠加在主窗口上的次窗口中的次信道内容。主窗口和次窗口的大小、位置和风格可由制造商预先设置，或由用户任意配置和调节。用户可欣赏信道I内容，同时将眼睛保持在信道2内容上。如果用户发现次窗口中的信道2内容更有趣，并决定在主窗口中观看它，则终端100可通过使用再现引擎130在主窗口或全屏幕中显示信道内容2。相反，信道I内容可显示在次窗口中，或根本不显示。主信道流播会话可被拆除以节省带宽。备选地，它可以保留，使得将来终端100可使用快速信道切换来经由现有信道I流播会话切换到另一信道，无需建立另一流播会话。通常，终端100可发送含有描述内容切换之后媒体流替换的“切换流”标题字段的RTSP播放请求，并且媒体服务器用含有“切换流”标题字段的RTSP播放响应消息进行响应。上面已经描述了在基于IP的电视系统中实现PiP的实施例。然而，直到现在大多数终端都没有足够的能力同时对正常质量的两个信道内容进行解码。计算量可引起不可承受的时间延迟(或视频和音频的不连续)和快速的电池消耗。此外，传送这种内容需要比较高的网络带宽。鉴于此，本发明提出了用于在基于IP的电视系统中实现PiP的另一实施例，其能降低对于处理能力、电池寿命和带宽的要求。图4示出了根据本发明另一实施例的系统概览。
在该实施例中，主信道编码器222从外部源I和2接收信号，并分别将它们编码成较高质量的信道内容I和信道内容2。次信道编码器224从外部源I或源2接收信号，并将它们编码成较低质量的信道内容I和信道内容2。例如，主信道编码器220是H. 264编码器，并且次信道编码器230是H. 263编码器。从而在终端侧，相应地提供主信道解码器122和次信道解码器124。主信道解码器122接收较高质量的信道内容I和信道内容2并对其进行解码，次信道解码器124接收较低质量的信道内容I和信道内容2并对其进行解码。再现引擎130在屏幕上在PiP中再现不同质量的信道内容，例如较高质量的信道内容I和较低质量的信道内容2。这种实施例中用于建立信道I和信道2会话的过程基本上与图3中的相同。通常，为了节省带宽以及对于解码的要求更低，终端100与媒体服务器200建立一个信道流播会话以流播较高质量的内容，并建立另一个信道流播会话以流播较低质量的内容。例如，在信道I流播会话上所流播的信道I内容通过H. 264被编码，并具有较高质量，而在信道2流播会话上所流播的信道2内容通过H. 263被编码，并具有较低质量。通过使用再现引擎，终端100可在主窗口或全屏幕中显示信道I内容，并且同时在次窗口中显示信道2内容。如果用 户发现次窗口中的信道2内容更有趣，并决定在主窗口中观看它，则一般而言，终端100可使用快速信道切换来切换到由主信道编码器220经由现有信道2流播会话所编码的较高质量的信道2内容，并在主窗口或全屏幕中显示较高质量的信道2内容。如果用户不介意质量较低的话，终端100还可通过再现引擎直接将较低质量的信道2内容显示在主窗口或全屏幕中，无需快速信道切换。质量例如可由流的FPS、分辨率、位率表示。较高和较低质量都可由服务提供商预先设置，或者可以随网络条件、终端性能或用户偏好改变。根据RTCP标准(RFC 3550)，媒体服务器200将向终端100发送RTCP发送器报告，并且终端100将向媒体服务器200发送RTCP接收器报告。媒体服务器200可监视信道内容的流播质量，特别是次信道内容的流播质量。如果媒体服务器200例如发现网络带宽不足以流播具有规定分辨率、位率或FPS的次信道内容，则媒体服务器可自适应地调节这些参数。例如，媒体服务器200可向终端100传递由次信道编码器所生成的较小分辨率或较低位率的次信道内容，或在流播中丢弃一些视频帧，即降低FPS。媒体服务器200可在同一 RTSP会话和RTP流中进行这种调整，无需通知终端。由于终端100仅需同时对一个较高质量的信道内容和一个较低质量的信道内容进行解码，而不是对两个较高质量的信道内容进行解码，因此可降低对于网络带宽、终端性能和电池寿命的要求，这对于当前基于IP的移动电视而言特别重要。在备选实施例中，次信道编码器230可简化为图像编码器，其从外部源I和2提取帧以生成图像序列，而不是媒体流。有利地，所生成的图像序列由于其高压缩率和在因特网中的优势而可以是联合影像专家组(JPEG)格式。优选地，同一源的不同大小和位率(主要由图像压缩率决定)的图像序列可同时被生成并被发送到会话管理器210。每个图像序列的帧每秒(FPS)在此可以是小的固定值(例如10FPS)，并且对于一个信道，可以生成具有不同位率和大小的一个或多个图像序列。备选地，次信道编码器230可为一个信道生成一个图像序列，并且所生成的图像序列的FPS可随着网络条件(诸如带宽)而改变或响应于来自终端100的请求而改变。终端100可根据网络条件、终端性能或用户偏好向流播服务器请求具有不同大小、位率、FPS的次信道内容。有可能的是，对于不同終端，图像序列的大小、位率和FPS是不同的。可能是图像解码器的次信道解码器130对已编码图像进行解码以便作为次信道内容与主信道内容一起显示在屏幕上。在这个备选实施例中，比较小的图像(例如对于手机QVGA屏幕，JPEG画面宽*高等于100*75像素)序列被作为次信道内容传递。对于每个图像序列的FPS的要求不高。由于比较低的FPS，次信道内容可能看起来像放映幻灯片。不像用MPEG-4、H. 264或H. 263编码的流，独立地对序列中的图像(例如以JPEG格式)编码，这意味着在传送或解码ー个图像时的错误将不影响其前面或后面图像的解码，并且每个图像都可使用不同的压缩率。对于资源调度，可提供如此多的灵活性。此外，由于大多数終端都能对图像进行解码，因此可容易地应用这种图像序列解决方案，无需增大解码器的复杂性。相比RTP流播，通过传送图像序列切換到次信道应该更快，因为它不必创建缓冲区。尽管在图2和图4中，媒体服务器被显示为包含一个或两个编码器，但应该理解，编码器的数量对于实现本发明是不重要的。这些编码器可在物理上集成在一个组件中，或分成多个组件。同样，解码器的数量不限于附图所示出的。这个说明书中讨论的许多単元，不管称为“编码器”、“解码器”、“管理器”、“引擎”或类似的，都可用硬件电路、执行软件代码的处理器或硬件电路和执行代码的处理器的组合或本领域技术人员上面已知的其它组合实现。本领域技术人员还可认识到，那些单元之间的互连可用各种方式实现，例如通过硬连线或信号流。尽管在上面实施例中例证了其中来自主信道内容和次信道内容的视频同时在屏幕上播放并叠加的PiP功能，但应该理解，信道切换不应局限于视频之间。除了组合(叠加)来自两个信道内容的视频的PiP功能之外，本领域技术人员还可想到来自两个或更多信道内容的视频/音频之间的任何组合或混合。例如，当用户正在观看主信道时，相反他可决定播放来自次信道的音频。例如在用户想要欣赏来自次信道的音乐同时观看来自主信道的视频节目的情况下，来自次信道的音频可代替来自主信道的音频。一般而言，同时播放主信道音频和次信道音频不是好想法，这是因为混合声音可能变成噪音。然而，有可能的是，用户可欣赏主信道视频和音频，同时听来自次信道的音频，诸如紧急通知或天气预报。在另ー种情况下，用户可能正在观看主信道和次信道(PiP)，但播放次信道音频，而不是主信道音频。总之，不仅视频而且音频都可在两个信道内容之间切换和播放。因此，术语“PiP”不应该狭义地解释为视频组合，而是在原则上可含盖视频、音频或文本之间组合的所有可能性。再现引擎不仅可再现视频而且可再现音频或文本，或它们的任何组合。在常规的基于IP的移动电视系统中，考虑到当前无线网络的比较差的网络状态，用户不得不一个接ー个地切換信道以找到感兴趣的信道，这相当耗时并且特别烦人。根据本发明的基于IP的移动电视的PiP解决方案将帮助用户将眼睛保持在另ー个(其它)感兴趣的信道上，无需改变当前主信道，并且如果需要的话，方便地切換到其它感兴趣的信道。这将确定无疑大大改进基于IP的移动电视的用户体验。为了降低对于网络带宽、終端性能(处理能力)和电池寿命的要求，提出较低质量的信道内容可作为次信道流播和显示。低带宽要求保证其在当前部署的商业3G网络上的可应用性。还提出用支持自适应大小、FPS和质量等级(主要由JPEG画面压缩率決定)的共同接受的图像序列(诸如JPEG格式)替换次信道的流播，这也保证了市场上已经部署的移动终端上的大覆盖。无需在终端中保持缓冲机制用于次信道，图像序列将真实的“快速信道切换”体验带到了次信道上。用户可使用叠加的次信道窗口作为快速信道预观看器/选择器并在任何时间在次信道窗口中激活该节目。虽然已经例证和描述了本发明的优选实施例，但本领域技术人员将理解，可进行各种改变和修改，并且可对于其要素替换等效方案，并不脱离本发明的真正范围。此外，可进行许多修改以适合于具体情形和本发明的示教，并不脱离其中心范围。因此，意图是，本 发明不限于作为执行本发明所考虑的最佳模式公开的具体实施例，而是，本发明包含落入所附权利要求书范围内的所有实施例。
权利要求
1.一种用于通过终端(100)实现基于IP的系统中的画中画(PiP)的方法,所述方法包括如下步骤 向媒体服务器(200)发送用于建立第一信道流播会话的第一请求(306)； 向所述媒体服务器(200)发送用于建立以及第二信道流播会话的第二请求(310);以及 同时再现通过第一信道流播会话和第二信道流播会话所流播的第一信道内容和第二信道内容。
2.如权利要求I所述的方法，其中第一信道内容相比第二信道内容具有更高质量。
3.如权利要求I或2所述的方法，还包括如下步骤 请求(302)第一信道和第二信道的访问信息。
4.如权利要求I或2所述的方法，其中第一信道内容被再现在主窗口中，并且第二信道内容被再现在次窗口中。
5.如权利要求I或2所述的方法，其中第一信道流播会话和第二流播会话基于实时流播协议(RTSP)和实时传输协议(RTP)。
6.如权利要求5所述的方法，其中第一请求和第二请求包含RTSP描述、建立和播放请求中的至少一项。
7.如权利要求I或2所述的方法，其中第一信道内容和第二信道内容包含视频、音频和文本中的至少一项。
8.如权利要求7所述的方法，其中所述视频是联合影像专家组(JPEG)图像序列。
9.可调节的。
10.如权利要求2所述的方法，还包括如下步骤通过第二信道流播会话向所述媒体服务器(200)发送用于从较低质量的第二信道内容切换到较高质量的第二信道内容的第三请求。
11.一种用于通过媒体服务器(200)实现基于IP的系统中的画中画(PiP)的方法，所述方法包括如下步骤 响应于来自终端(100)的第一请求(306)与所述终端建立(308)第一信道流播会话；以及 响应于来自所述终端(100)的第二请求(310)与所述终端建立(312)第二信道流播会话。
12.—种终端(100)，其支持基于IP的系统中的画中画(PiP)，所述终端包括 会话管理器(110)，设置用于与媒体服务器(200)建立信道流播会话； 第一解码器(120，122)，设置用于对通过第一信道流播会话流播的第一信道内容进行解码； 第二解码器(120，124)，设置用于对通过第二信道流播会话流播的第二信道内容进行解码；以及 再现引擎(130)，设置用于同时再现第一信道内容和第二信道内容。
13.如权利要求12所述的终端，其中第一信道内容相比第二信道内容具有更高质量。
14.如权利要求12或13所述的终端，其中所述会话管理器(110)向所述媒体服务器(200)发送用于建立第一信道流播会话的第一请求(306)，并向所述媒体服务器(200)发送用于建立第二信道流播会话的第二请求(310)。
15.如权利要求12或13所述的终端，其中所述会话管理器(110)请求(302)第一信道和第二信道的访问信息。
16.如权利要求12或13所述的终端，其中第一信道内容被再现在主窗口中，并且第二信道内容被再现在次窗口中。
17.如权利要求12或13所述的终端，其中第一信道流播会话和第二流播会话基于实时流播协议(RTSP)和实时传输协议(RTP)。
18.如权利要求12或13所述的终端，其中第一请求和第二请求包含RTSP描述、建立和播放请求中的至少一项。
19.如权利要求12或13所述的终端，其中第一信道内容和第二信道内容包含视频、音频和文本中的至少一项。
20.如权利要求19所述的终端，其中所述视频是联合影像专家组(JPEG)图像序列。
21.如权利要求19所述的终端，其中第一信道内容和第二信道内容的分辨率、位率和帧每秒(FPS)当中的至少一个参数是可调节的。
22.如权利要求13所述的终端，其中所述会话管理器(110)通过第二信道流播会话向所述媒体服务器(200)发送用于从较低质量的第二信道内容切换到较高质量的第二信道内容的第三请求。
23.一种媒体服务器(200)，其支持基于IP的系统中的画中画(PiP)，所述媒体服务器包括 媒体管理器(210)，设置用于与终端(100)建立信道流播会话； 第一编码器(220，222)，设置用于对第一信道内容进行编码；以及 第二编码器(220，224)，设置用于对第二信道内容进行编码。
24.如权利要求23所述的媒体服务器，其中第一信道内容相比第二信道内容具有更高质量。
25.一种支持画中画(PiP)的基于IP的系统，包括如权利要求12-22中任一项所述的终端和如权利要求23-24中任一项所述的媒体服务器。
全文摘要
本发明公开了用于支持通信网络中的画中画(PiP)的方法、终端和媒体服务器。该方法包括向媒体服务器(200)发送用于建立第一信道流播会话的第一请求(306)；向媒体服务器(200)发送用于建立第二信道流播会话的第二请求(310)；以及同时再现通过第一信道流播会话和第二信道流播会话所流播的第一信道内容和第二信道内容。
文档编号H04N5/45GK102845056SQ200980163161
公开日2012年12月26日 申请日期2009年12月25日 优先权日2009年12月25日
发明者肖诗源, J.刘, 陆赟杰, 吴毅成 申请人:爱立信(中国)通信有限公司