专利名称：呈现方法、输入输出设备、以及服务设备的制作方法
呈现方法、输入输出设备、以及服务设备技术领域
本发明在内容呈现的领域所做出。
技术背景
在通过输出设备输出之前，需要呈现内容。例如，需要从场景描述和一个或多个模板确定用于显示器的图像信号；需要从声场确定用于扬声器的音频信号，或者需要从3D计算机模型确定用于显示器的图像信号。
呈现是计算复杂的任务。依赖于处理和/或存储能力的输出设备，在输出设备上进行呈现因此需要相当量的时间，即，引入了大量等待时间，尤其是如果必须实现预定的呈现质量。在输出设备的处理或存储资源保持为其它任务部分地保留的情况下所引入的等待时间甚至更大。有时，外部设备的处理或存储资源甚至不能实现预定的呈现质量。
具体地，在内容被个人化和/或内容交互的情况下，即，在要输出的内容依赖于用户输入的情况下，这样的大量等待时间强烈地影响用户对个人化或交互内容的欣赏。
在从服务器或服务器网络传递个人化或交互内容的情况下，无论将其作为推送服务(push service)(例如，作为广播信号)来传递，还是将其作为拉服务(pull service) (例如，视频点播(VOD)或视频下载服务)来传递，可以将呈现外包(outsource)给服务器。 这尤其对于具有有限处理和/或存储能力的输入-输出设备(诸如，被进一步要求并行执行进一步处理任务的智能电话，所述进一步处理任务诸如接收电话通话或保持GPS导航) 是有用的。
例如，美国专利申请2009/0119. 729描述了一种用于多播实时流传输交互视频的视图的方法。响应用户使用输入设备的动作，将控制信号发送至服务器。服务器然后将控制信号用作在服务器上正在运行的游戏或应用软件的输入，并且使用控制信号来处理游戏或应用程序的下一帧。一旦生成了下一帧，将视频和音频从服务器输出到以低等待时间对帧进行压缩的视频压缩器。一旦压缩了视频和音频，利用地址将其分组化，以便将其发送回用户的客户端。客户端然后以低等待时间解压视频和音频，并且在显示设备上显示视频。发明内容
即便是在低等待时间的情况下也使用压缩-解压，将呈现外包给服务器仍然带来了相当的等待时间。此外，所呈现的内容需要大量的带宽，这在超过峰值数据速率的情况下另外可以导致帧的丢弃(drop)。
因此，根据权利要求1，提出了一种用于呈现音频、视频和计算机图形内容中至少一个的方法，所述内容通过服务设备传递。
所述方法包括以下步骤在输入-输出设备上接收对内容的用户请求，以及响应所述用户请求，分配所述输入-输出设备的处理和存储资源中至少一个的一部分用于呈现所请求的内容，其中，选择所分配的部分使得所述输入-输出设备的剩余资源至少足以保持至少输入-输出设备接收后续用户请求和在预定响应时间内对其反应的能力。然后确定用于以预定质量和/或在预定呈现时间内呈现所请求内容所需的资源量超过所分配的资源，并且确定用于达到所述预定呈现时间和/或所述预定呈现质量所需的预呈现的程度， 并且根据所确定的所需的预呈现的程度在服务设备上执行内容的预呈现。在从服务设备向输入-输出设备传递被预呈现的内容之后，使用所分配的资源来完成内容在输入-输出设备上的呈现。
由于将服务器侧的呈现限定于所需的程度，可以更加容易地满足带宽约束，并且需要丢弃更少的帧或无需丢弃帧。此外，呈现更加分布地出现，并且因此可以降低对用户请求的响应时间。可以动态地调节分布，允许输入-输出设备并行地保持其它处理任务。
其它有利实施例的特征在从属权利要求中指定。
本发明还提出了根据权利要求6的输入-输出设备和根据权利要求7的服务设备。
在附图中图示并且在以下描述中更加具体地阐述本发明的示例性实施例。示例性实施例仅为说明本发明而阐述，而不限定本发明在权利要求中限定的公开、范围或精神。
在附图中
图1描述了在末端用户终端和服务设备之间的示例性通信；
图2描述了服务设备的示例性实施例和末端用户终端的示例性实施例；
图3描述了包括媒体流和媒体流描述的示例性传输流；以及
图4描述了具有简档专用扩展的示例性TRCP接收器报告。
具体实施方式
本发明可以在包括相应地适配的处理设备的任何电子设备上实现。例如，本发明可以在电视机、机顶盒、移动电话、个人计算机、服务器或服务器网络中至少部分地实现。
对于交互TV应用，需要服务的快速响应来确保客户满意。随着支持像触摸姿势那样的新用户接口的客户终端的多样化，这变得尤为关键。因此，需要允许在交互内容上顺畅操作的部件。(从视觉侧出发的)示例是在整合于主解码和图像呈现路径中的简单缩放机制以外，向用户提供请求缩放至实况序列的概览图像的选择。
虽然简单的画中画机制仅仅需要添加用于分离的视野的并行路径(概览和放大)，但其在从一个视野转换到下一个视野的期间没有帮助。在该示例中需要在没有干扰两个呈现的情况下从一个视野呈现位置混合到下一个视野呈现位置。附加地或可替换地，混合可能局限于显示器的一个区域，而同时其余的区域可以继续显示其他视野。那么需要并行呈现路径。因此，终端的可用并行处理能力限制了所显示交互内容的复杂度。
为了克服终端必须包含若干个并行呈现引擎的挑战，提出了使得在终端和服务提供商之间所协商的所需处理达到考虑了终端可用性能、网络带宽和服务开销中的至少一个的服务质量。
在图2中描述的示例中，服务得到关于所呈现的视野和/或所需的混合操作的状态更新，并且提供降低终端呈现复杂度的附加序列。
终端TER保持灵活以便保留足够的处理来确保快速反应，并且因此减少当用户与终端交互时的等待时间或“触觉延迟”(haptical delay)。
终端TER与服务提供设备SER连接，并且请求主媒体序列CON。用户经由用户接口 UI选择与显示器连接的终端的一个区域，以便得到使用(可选地也使用)主媒体序列呈现新的视图的特殊视野。可扩展媒体处理器MEP分配存储器和处理性能以便通过呈现部件RE1、RE2来提供呈现，并且最终通过混合部件BLN来提供混合或提供到主屏幕上的映射。 将所分配的资源报告给服务，以便得到将处理复杂度减轻为仅映射或多路复用的有条件的额外序列。例如，在服务器上运行QoS监控器，其检验可用资源的比例是否足够保持关于响应时间和/或呈现质量的质量，并且另外在不能保证保持响应时间或呈现质量的的情况下提供被预呈现的内容。
或者，QoS监控器QOS被包括在终端中，并且在那里检验可用资源的比例。取决于某一阈值(如，分配70%)和/或在设备状态寄存器DSR中存储的设备状态，终端控制器 TCN向服务器SER的服务管理器SEN发送支持请求，服务管理器SEN响应地经由媒体流器 MES提供被预呈现的内容。
因此，将呈现复杂度动态地分布于终端和服务提供服务器或服务器网络之间。如果服务提供商向末端用户提供利用订阅服务的网关设备，机顶盒可以是所述服务器网络的一部分，并且因此，还可以将处理复杂度部分地卸载到该网关上。
在另一实施例或上述实施例的示例性结构中，假定本发明被实施到末端用户终端中用于观看交互电视，因此使用广播(推送)应用中常见的机制从服务提供商馈送媒体流。 典型地通过选择用于媒体流传输的特定频道来执行服务选择。如果例如在接收的DVB传输流中检测到了特定服务，则应用在能够运行媒体播放并以电子节目指南(EPG)的形式表现节目描述的终端平台上开始。这在图3中示例性地描述。
末端用户可以现在从媒体流中选择基本流的合并，其合并创建了自身的节目或相同实况流的不同观看视角。取决于传送方法，一个传输流可以包含上至8个不同的节目。 改变到其它节目组需要改变到不同的传输流，并且通过调协接收器的容纳信道(ingest channel)来完成。使用所谓的数据或目标传送带(carousel)来更新节目信息，所述数据或目标传送带以与普通媒体流时间多路复用的方式在定期的基础上传送文件系统、应用或节目描述。
更加高级的平台可以使用宽带反馈信道来请求个人化的媒体流。这个方法在诸如 VOD的服务中被采用，在VOD中每个末端终端可以选择其自身的媒体流，因此需要复杂的媒体服务器。在恰恰需要在终端上表现的网页上提供VOD内容。
本发明可以至少被部分地实现于如下的末端用户终端以及媒体服务器上，所述末端用户终端能够确定其可以管理的最终呈现的程度，所述媒体服务器通过取决于该终端由于有限的硬件资源或所连接的显示器或扬声器而能够承受的工作负荷、生成特定视野来支持该末端用户终端。
这样做，可以提供以下服务，S卩，可以在服务器处为用户特征化像DVR—样的功能性，而没有由于处理通信、呈现新视野和将该视野传递到末端终端所产生的等待时间造成的延长的响应时间的缺点。
与用于表现节目的会话怎样开始无关，并且与内容是否作为实况广播(推送)、或点播或下载(拉)无关，假定末端用户终端使用反馈信道建立到服务器的连接。可选地，反馈信道提供宽带访问。例如，DVB通过使用RTCP(实时控制协议)采用这样的链接用于改进的频道切换。
RTCP协议旨在聚集媒体分布会话的参与者的统计。因此末端用户终端可以使用这些分组来传递工作负荷信息或者支持请求、或者全部二者。图4中描述了一个示例。
· RTCP分组有规律地(例如每秒一次)反复出现
在RTCP分组的接收器报告内，定义提供关于工作负荷(例如，80%，50%)的信息的简档，超过一个或多个工作负荷阈值和/或支持等级(例如，需要，可能)。在RTCP RR 分组的简档专用扩展中定义简档类型。已经定义的示例类型是“视频喜好”或“接收器侧带宽限制”。
权利要求
1.一种用于呈现音频、视频和计算机图形内容中的至少一个的方法，所述内容通过服务设备传递，所述方法包括以下步骤-在输入-输出设备上接收对内容的用户请求，-响应所述用户请求，分配所述输入-输出设备的处理和存储资源中至少一个的一部分用于呈现所请求的内容，其中，选择所分配的部分使得所述输入-输出设备的剩余资源足以至少保持输入-输出设备接收后续用户请求和在预定响应时间内对其反应的能力，-确定用于以预定呈现质量和/或在预定呈现时间内呈现所请求内容的所需的资源量超过所分配的资源，并且确定用于达到所述预定呈现质量和所述预定呈现时间中的至少一个所需的预呈现的程度，-根据所确定的所需的预呈现的程度在服务设备上预呈现内容，以及从服务设备向输入-输出设备传递被预呈现的内容，以及-使用所分配的资源来完成内容在输入-输出设备上的呈现。
2.如权利要求1所述的方法，其中，在服务设备上执行用于以所述预定呈现质量和/或在所述预定呈现时间内呈现所请求的内容的所需的资源量超过所分配的资源的确定、以及预呈现的程度的确定，所述方法还包括从所述输入-输出设备向所述服务设备传递对所分配的资源的指示。
3.如权利要求1所述的方法，其中，在输入-输出设备上执行用于以所述预定呈现质量和/或在所述预定呈现时间内呈现所请求的内容的所需的资源量超过所分配的资源的确定、以及预呈现的程度的确定，所述方法还包括向所述服务设备传递对所需的预呈现的程度的指示。
4.如以上任一项权利要求所述的方法，其中，在以所述预定呈现质量和在所述预定呈现时间内呈现所请求的内容所需的资源量不超过所分配的资源的情况下，所述服务设备传递未被呈现的内容。
5.如权利要求1所述的方法，其中，所述对内容的用户请求是对进一步内容的修整部分的选择，所述方法在接收所述对内容的用户请求之前，还包括，-在输入-输出设备上接收对具有保持的服务质量的服务的用户请求，所述服务质量确保在所述预定呈现时间内显示具有所述预定质量的被呈现内容，-从所述输入-输出设备向所述服务设备发送与所请求的服务对应的订阅请求， -在服务设备上建立所请求的服务，-在所述输入-输出设备上接收对进一步内容的进一步用户请求， -从所述输入-输出设备向所述服务设备发送第一内容请求， -从所述服务设备向所述输入-输出设备提供所述进一步内容请求，以及 -在所述输入-输出设备上呈现并输出所述进一步内容。
6.用于输出所呈现的音频、所呈现的视频和所呈现的计算机图形内容中的至少一个的输入-输出设备，所述内容由服务设备传递，所述输入-输出设备包括-用于接收对内容的用户请求的部件， -处理和存储资源，-用于分配所述处理和存储资源中的至少一个的一部分的部件，其中，所述用于分配的部件被适配用于选择所分配的部分使得所述输入-输出设备的剩余资源至少足以保持所述输入-输出设备接收用户输入和在预定响应时间内对其反应的能力，-用于向所述服务设备传递对所分配的资源的指示的部件，-用于从所述服务设备接收内容的部件，其中，在预定呈现时间内和/或以预定呈现质量呈现所请求的内容的所需的资源量超过所分配的资源的情况下，所述内容被预呈现地接收，以及-用于完成所接收的内容的呈现的部件。
7.一种用于向输入-输出设备传递预呈现的音频、预呈现的视频和预呈现的计算机图形内容中的至少一个以便完成预呈现内容的服务设备，所述服务设备包括-用于从所述输入-输出设备接收对在所述输入-输出设备中分配的用于输出的资源的指示的部件，-处理部件，其被适配用于确定在预定呈现时间内和/或以预定呈现质量来呈现所请求的内容所需的资源量，-所述处理部件被进一步适配用于使用所分配的资源和所确定的所需资源量来确定所需预呈现的程度，-用于根据所确定的所需预呈现的程度来预呈现内容的部件，以及-用于向输入-输出设备传递所述内容的部件，其中，在所述预定呈现时间内呈现所请求的内容所需的资源量超过所分配的资源的情况下，所述内容被根据所确定的所需预呈现的程度预呈现地传递。
8.如权利要求7所述的服务设备，其中确定所需预呈现的程度，使得保持预定服务质量，所述服务质量确保以所述预定质量并在所述预定呈现时间内显示所呈现的内容。
全文摘要
提出了一种用于呈现内容的方法和输入-输出设备。进一步，提出了用于传递预呈现内容的服务设备。为了呈现，分配所述输入-输出设备TER的处理或存储资源的一部分，使得所述输入-输出设备TER的剩余资源足以保持该设备TER的输入-输出能力。然后，还确定呈现所需的资源量超过所分配的资源并且确定预呈现的对应程度。在服务设备SER上，执行根据所确定程度的内容预呈现并且将预呈现的内容从服务设备SER传递到输入-输出设备TER。由于服务器侧呈现被限制于所需的程度，所以可以更容易地满足带宽约束。此外，呈现更加分布地出现并且可以被动态地调节，因此，可以降低响应时间。
文档编号H04N21/472GK102547465SQ201110413689
公开日2012年7月4日 申请日期2011年12月13日 优先权日2010年12月13日
发明者A.科查尔, J.斯皮尔, M.波苏姆 申请人:汤姆森特许公司