多屏幕的设备和方法

专利名称：多屏幕的设备和方法
技术领域：
本发明涉及多屏幕的配置，更具体地，涉及一种动态配置在单一物理显 示装置上提供多种内容的多屏幕的方法以及提供多屏幕的设备。
背景技术：
传统广播接收机(诸如数字TV或数字机顶盒)只在单一物理显示装置 上提供一个内容要素，或在单一物理显示装置上同时显示主屏幕和子屏幕。
尽管传统广播接收机可在同一显示屏幕上同时显示主屏幕和子屏幕，但 只能以有限数量的方式布置主屏幕和子屏幕。在主屏幕内显示内容的情况下， 显示内容的所有要素，也就是说，视频数据、音频数据和其他数据。另一方 面，在子屏幕内显示内容的情况下，只显示内容的一些要素。
内容源包括诸如卫星广播商、地面广播商或有线广播商的广播服务， 诸如DVD的存储介质或连接到输入终端的外部装置。然而，使用现有的广播
在诸如多i某体家用平台(MHP)、高级通用应用平台(ACAP)和开放有 线应用平台(OCAP)的交互式TV应用环境中，假定只有一个屏幕被输出到 物理显示装置。
例如，在交互式TV应用环境中，基于家用音频/视频互操作(HAVi)的 用户界面(UI)被采用。根据HAViUI标准，尽管没有限制在物理显示装置 上显示的屏幕数，但在物理显示装置上一般只显示一个屏幕
发明内容
技术问题
在这样的环境中，难以在将多媒体内容显示在独立的屏幕上的同时，对 显示在屏幕上的多媒体内容中的一个执行诸如解码、数字信号处理、用户交 互处理等的操作。此外，也难以以屏幕为单位动态控制应用的寿命周期和资 源的使用。因此，需要一种将多种内容显示在动态配置的屏幕上的方法。
技术方案
本发明的一个目的是提供一种用于在物理显示装置上提供多种内容的多 屏幕的动态配置。
本发明的另 一个目的是提供一种独立地选择并输出各种服务中提供的音 频内容的方法。
本发明的以上和其他目的将在以下优选实施例中得以描述，或者，从以 下优选实施例的描述中，本发明的以上和其他目的将变得清楚。
根据本发明一方面，提供一种用于提供多屏幕的设备，该设备包括月良 务处理模块，提供多个第一音频内容分别分配到的多种服务；用户/应用接口 模块，接收将所述多个第一音频内容中的一个指定为第二音频内容的命令， 所述第二音频内容是将被聚焦的音频内容；输出模块，响应于接收的命令， 输出被指定为第二音频内容并被聚焦的第 一音频内容。
根据本发明的另一方面，提供一种用于提供多屏幕的设备，该设备包括 服务处理模块，提供多个第一音频内容分别分配到的多种服务；输出模块， 参照第一音频内容的输出属性输出所述多个第一音频内容中指定为第二音频 内容的一个，所述第二音频内容是将被输出的音频内容。
根据本发明的另一方面，提供一种提供多屏幕的方法，该方法包括提 供多个第 一音频内容分别分配到的多种服务；接收将所述多个第一音频内容 中的一个指定为第二音频内容的命令，所述第二音频内容是将被聚焦的音频 内容；响应于接收的命令，输出被指定为第二音频内容并被聚焦的第一音频 内容。
根据本发明的另一方面，提供一种提供多屏幕的方法，该方法包括提 供多个第 一音频内容分别分配到的多种服务；参照第 一音频内容的输出属性 输出所述多个第 一音频内容中指定为第二音频内容的一个，所述第二音频内 容是将被输出的音频内容。


通过参照附图对本发明优选示例性实施例进行详细描述，本发明的上述 和其他特征和优点将变得更清楚，其中图1至图8是示出根据本发明的示例性实施例的PiP屏幕的配置的示图； 图9是示出根据本发明的示例性实施例的逻辑屏幕和显示屏幕之间的关 系的示图10至图14是示出根据本发明的示例性实施例的包括映射器(mapper) 的屏幕的配置的示图15是示出根据本发明的示例性实施例的服务源的框图； 图16和图17是示出根据本发明的示例性实施例的非抽象服务和抽象服 务的示图18是示出逻辑屏幕和显示屏幕的属性信息和接口的类型的例子的示
图19是示出根据本发明的示例性实施例的逻辑屏幕的属性"z-顺序"的
示图20和图21是分别示出根据本发明的示例性实施例的逻辑屏幕的属性 "显示区域"的示图22是示出根据本发明的示例性实施例的将两种服务映射到显示屏幕 的方法的示图23是示出根据本发明的示例性实施例的用于提供多屏幕的设备的配 置的框图24是示出根据本发明的示例性实施例的动态配置多屏幕的方法的流
程图25和图26是示出根据本发明的示例性实施例的PiP服务提供模式的
示图27是示出根据本发明的示例性实施例的独立选择音频内容并输出选 择的音频内容的方法的流程图28是示出根据本发明的示例性实施例的用于提供多屏幕的软件架构 的例子的示图29是示出根据本发明的示例性实施例的构成应用接口 (API)层的模 块之间的关系的示图30是示出由如图29所示的模块在显示屏幕上显示在各个相应的逻辑 屏幕上显示的多种服务的方法的流程图31是根据本发明的实施例的音频内容的输出的流程图；图32是根据本发明的另 一 实施例的音频内容的输出的流程图。
<附图中示出的主要组件的标号〉900提供多屏幕的设备
910广播信号接收模块
920存储介质
930外部输入模块
940数字信号处理模块
950服务处理模块
960输出模块
965用户/应用接口模块
970显示屏幕
980存储介质
990外部输出模块
具体实施例方式
通过参照下面对优选实施例和附图的详细描述，可更容易地理解本发明 的优点和特征以及实现本发明的方法。但是，本发明可以以许多不同的形式 实现，并不应该理解为限于这里阐述的实施例。相反，提供这些示例性实施 例以使本公开彻底和完整，并向本领域的技术人员充分传达本发明的构思， 本发明将仅由权利要求限定。贯穿说明书，相同的标号指示相同的部件。
以下参照才艮据本发明实施例的用户接口 、方法和计算才几程序产品的流程 图来描述本发明。应该理解，流程图的每一个方框和在流程图中的方框的组 合可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、 专用计算机、或者其他可编程数据处理设备的处理器以产生设备，从而经计 算机或者其他可编程数据处理设备的处理器执行的指令创建用于实现在一个 流程图方框或多个流程图方框中指定的功能的装置。
这些计算机程序指令也可被存储在可指导计算^L或者其他可编程数据处 理设备以特定方式工作的计算机可用或计算机可读存储器中，以便存储在计 算机可用或计算机可读存储器中的指令产生包括执行在一个流程图方框或多 个流程图方框中指定的功能的指令装置的产品。
计算机程序指令也可被载入计算机或其他可编程数据处理设备以使得一系列操作步骤在计算机或其他可编程设备上被执行，以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在一个流程 图方框或多个流程图方框中指定的功能的步骤。
流程图的每个方框可以表示包括一个或多个实现特定逻辑功能的可执行 指令的模块、代码段、或者部分代码。还应该注意到，在一些另外的实现方 式中，方框中表示的功能可能不按次序地发生。例如，根据涉及的功能性， 连续显示的两个方框可能实际上基本同时执行，或者可能有时以相反的次序 执行。
为了更好地理解本发明，现在将定义本公开中使用的术语。
术语"服务"指示一组被一起显示的多媒体内容，也就是说， 一组服务分量。
服务分量是服务的要素，服务分量包括视频分量、音频分量和数据分量。 数据分量是服务中的应用。
应用(application)可分为未绑定(unbound)应用和服务绑定(bound) 应用。未绑定应用与特定频道无关，因此，该应用的执行不受频道切换的影 响。此外，非绑定应用通常具有高优先级，因此，用于执行该应用的资源被 顺利分配给该应用。监视器应用对应于可具有最高优先级的特定的非绑定应 用中的一个非绑定应用。
同时，服务绑定应用与传输流相关，并通常具有低于非绑定应用的优先 级。服务绑定应用不执行任何关键系统功能。为此，当发生资源竟争时，与 非绑定应用相比，服务绑定应用放弃资源分配的可能性更大。服务绑定应用 可分为与当前正被传输的流协作运行的链接类型和与当前正被传输的流无关 的非链接类型。
术语"服务上下文"指示可控制服务的执行的对象，并包括提供服务所 需的各种资源、装置和执行状态信息。
术语"物理显示装置，，指示实际上显示服务的内容的物理空间、输出服 务的内容的外部输出端口 、或存储服务的存储装置。
术语"显示屏幕"指示实际上显示在物理显示装置上的屏幕。可在显示 屏幕中直接设置任意服务，并可将显示屏幕显示在物理显示装置上。或者， 可将映射到显示屏幕的特定区域的至少一个逻辑屏幕显示在物理显示装置 上。术语"逻辑屏幕"指示显示任意服务的空间。逻辑屏幕在被映射到显示
屏幕之前是虚拟屏幕，因此逻辑屏幕没有被显示在物理显示装置上。
逻辑屏幕和显示屏幕可以是背景静止图像、视频光栅和图形光栅的组合。
图形光栅可以是文字、线条、颜色和图像的组合，或是视频帧的混合。
术语"主服务"指示这样的服务，该服务由用户通过显示在物理显示装
置上的菜单或遥控器或由应用通过API选定为主服务，并且显示主服务的屏
幕被称为"主屏幕"。
术语"画中画服务"(PiP服务)指示这样的服务，该服务由用户通过显
示在物理显示装置上的菜单或遥控器或由应用通过API选定为主服务中的子
服务，并且pip服务可被显示在画中画屏幕(Pip屏幕)或主屏幕上。
PiP屏幕包括如图1至图4所示的占有另一屏幕的一部分的屏幕和如图5 至图6所示的与另一屏幕同时显示且与该另一屏幕不重叠的屏幕。在这种情 况下，应该理解，如图7和图8所示，PiP屏幕可包括^t显示在物理显示装置 中的任意位置或区域上或与另 一屏幕重叠的屏幕。
图9是示出根据本发明的示例性实施例的逻辑屏幕和显示屏幕之间的关 系的示图。
参照图9，可使用逻辑屏幕210、 212和214显示服务。通过映射块230 将逻辑屏幕210、 212和214映射到显示屏幕220、 222和224。
详细地，将逻辑屏幕210和212映射到显示屏幕220，将逻辑屏幕212 和214映射到显示屏幕222，将逻辑屏幕210、 212和214映射到显示屏幕224。
简言之，用于显示服务的至少一个逻辑屏幕被映射到显示屏幕的任意区域。
映射块230是一组将逻辑屏幕映射到显示屏幕所需的多种信息。所述多 种信息的示例包括多个逻辑屏幕的每一个被映射到的显示屏幕上的预定区 域的坐标信息、逻辑屏幕和显示屏幕的标识信息、以及指定以怎样的顺序在 显示屏幕上显示逻辑屏幕的信息。
映射块230可改变逻辑屏幕的大小，从而逻辑屏幕被分配到显示屏幕的 任意区域。也就是说，映射块230可对逻辑屏幕进行缩放并分配逻辑屏幕的 位置，图IO至图14是示出包括作为映射块的映射器的屏幕的配置的示图。
参照图10，以标准尺寸通过映射器将包括背景静止图像B、视频光栅V 和图形光栅G的组合的主屏幕映射到整个显示屏幕。以缩小的尺寸通过映射器将只包括视频分量的PlP屏幕映射到整个显示屏幕。在这种情况下，将映 射的PiP屏幕显示在主屏幕上，这根据Z值来确定。参考字符Z是指稍后将 描述的Z-顺序值。重叠屏幕可与显示屏幕结合。重叠屏幕是布置在最外侧的 特定屏幕，可在提供字幕功能时使用重叠屏幕。PiP屏幕可能如图IO所示只 具有视频分量，也可能如图11所示具有背景静止图像B、视频光栅V和图形
光才册G的组合。
参照图12，以标准尺寸通过映射器将包括背景静止图像B、视频光栅V 和图形光栅G的组合的主屏幕映射到整个显示屏幕。以缩小的尺寸通过映射 器将只具有视频分量的两个PiP屏幕#1和#2映射到显示屏幕的任意区域。 在这种情况下，映射的PiP屏幕被布置在主屏幕上，并可恒定地保持Z值。 此外，重叠屏幕可与显示屏幕结合。屏幕的配置可如图12所示具有只包括视 频分量的多个PiP屏幕，或具有包括背景静止图像B、视频光栅V和图形光 栅G的组合的多个PiP屏幕。
POP屏幕如图14所示。可以理解，已知的PiP屏幕显示在主屏幕内，而 POP屏幕显示在主屏幕外。参照图14,以缩小的尺寸通过映射器将包括背景 静止图像B、视频光栅V和图形光栅G的组合的多个PiP屏幕#1和#2映 射到显示屏幕的任意区域。在这种情况下，可恒定地保持映射的POP屏幕#1 和弁2的Z值。此外，重叠屏幕可与显示屏幕结合。
可通过由各种计算机程序语言编制的将被执行的接口或函数实现映射块 230，并且映射块230可通过使用上述信息作为参数创建或改变逻辑屏幕和显 示屏幕之间的关系。
或者，可通过执行逻辑屏幕和显示屏幕之间的映射功能的硬件实现映射 块230。
此外，如图15所示，可将由各种服务源所提供的服务显示在显示屏幕上， 所述显示屏幕被显示在物理显示装置上。
存在以下多种服务源诸如地面广播商320和有线广播商330的提供广 播服务的服务源、诸如个人录影机(PVR) 340的提供存储在存储介质中的服 务的服务源和经由有线网络或无线网络提供服务的服务源(图15中未显示)。
广播接收机310从服务源接收服务，并生成显示接收的每种服务的逻辑
然后，使用预定义的方法或者由用户或应用设置的方法在将被显示在物理显示装置上的显示屏幕上直接设置任意服务。否则，将映射到显示屏幕的
任意区域的至少一个逻辑屏幕显示在物理显示装置350上。筒言之，将地面 广播商320、有线广播商330和PVR提供的服务显示在物理显示装置350上。
如图15所示的地面广播商320、有线广播商330和PVR 340作为服务源， 但本发明并不限于此。根据本发明示例性实施例，提供可被一起显示的多媒 体内容的任何类型的多媒体内容源都可以是服务源。
如图16和图17所示，根据本发明示例性实施例的服务可分为抽象服务 和非抽象服务。
抽象服务是独立于广播频道的服务，而不是由实时发送的广播信号提供 的服务。抽象服务只包括数据分量，也就是说，应用，而不包括视频分量和 音频分量。抽象服务的示例包括基于开放有线应用平台(OCAP)标准的具有 非绑定应用的服务。
非抽象服务被理解为不同于抽象服务的服务。
根据本发明的当前示例性实施例，抽象服务和非抽象服务均具有独立性。 例如，可不通过逻辑屏幕在物理显示装置上直接设置抽象服务，并且可在逻 辑屏幕上显示非抽象服务。然后，逻辑屏幕可被映射到设置有抽象服务的显 示屏幕。此后，可通过物理显示装置输出显示屏幕。这样，抽象服务可独立 于非抽象服务被显示在显示屏幕上。此外，抽象服务和非抽象服务可被映射 到不同的逻辑屏幕。此后，逻辑屏幕可被映射到单一显示屏幕。换句话说， 抽象服务可独立于非抽象服务被显示在显示屏幕上。
根据本发明的当前实施例，逻辑屏幕和显示屏幕可被归类为不同的对象。 或者，根据一个屏幕对象的属性信息，屏幕可用作逻辑屏幕或显示屏幕。
详细地，根据屏幕对象的属性信息的类型信息可知屏幕对象是逻辑屏幕 还是显示屏幕。
屏幕对象的属性信息包括多个属性"类型"、"z-顺序"、"显示区域"、"可 见性"、"相关显示屏幕"、"相关服务上下文"、"相关逻辑屏幕"和"输出端 o "。
图18示出屏幕对象的属性信息和处理属性信息的接口的类型。 属性"类型"510表示屏幕类型是逻辑屏幕还是显示屏幕。 属性"z-顺序"520用于确定以怎样的顺序沿z轴布置多个逻辑屏幕。图 19示出对于逻辑屏幕的属性"z-顺序"的值的不同组合的物理显示装置上的逻辑屏幕的不同配置。
参照图19，分别将第一逻辑屏幕620和第二逻辑屏幕630映射到显示屏 幕610的预定区域。详细地，第一逻辑屏幕620被显示在显示屏幕610上， 第二逻辑屏幕630与第一逻辑屏幕620部分重叠地显示在显示屏幕上。换句 话说，沿z轴方向顺序地布置显示屏幕610、第一逻辑屏幕620和第二逻辑屏 幕630。在这种情况下，第一逻辑屏幕620的属性"z-顺序"可被设置为值l, 第二逻辑屏幕630的属性"z-顺序"可被设置为值2。第一逻辑屏幕620和第 二逻辑屏幕630的属性"z-顺序"可被设置为任意数字或字符，只要它们能 代表沿z轴布置第一逻辑屏幕620和第二逻辑屏幕630的特定顺序。
如图20和图21所示，属性"显示区域"530是关于逻辑屏幕的显示屏 幕区域的信息。
图20示出逻辑屏幕710被映射到显示屏幕720的整个区域，图21示出 逻辑屏幕730被映射到显示屏幕740的部分区域。
属性"显示区域"可包括指定逻辑屏幕将被映射到的显示屏幕的预定部 分的二维坐标的信息，或者可包括指定显示屏幕上的预定位置的信息和指示 逻辑屏幕从显示屏幕上的预定位置偏离了多少的偏移值。
属性"可见性"540确定将逻辑屏幕可见地(visibly)还是不可见地 (invisibly)显示在显示屏幕上。通过改变属性"可见性"540的值，可使逻 辑屏幕出现在显示屏幕上或从显示屏幕上消失。
属性"相关显示屏幕"550是关于与逻辑屏幕相关的显示屏幕的信息。 与任何显示屏幕都无关的逻辑屏幕可能不被显示在物理显示装置上，也不被 发送到外部输出装置。
属性"相关服务上下文"560是关于连接到逻辑屏幕或显示屏幕的服务 上下文的信息。设置在这样服务上下文中的服务可被显示在逻辑屏幕或显示
属性"输出端口" 570是关于将输出显示屏幕的装置的信息，这种装置 包括显示屏幕、有线/无线通信介质和各种存储介质。
可提供用于识别或改变如图18所示的属性的值的接口。参照图18,该 接口可包括接口 "设置"，设置属性值或将逻辑屏幕连接到显示屏幕；接口 "添加"，添加属性值或将逻辑屏幕连接到服务；接口 "获取"，识别属性值； 以及接口 "去除"，删除属性值。这些接口可分别包括执行其功能的进程、函数、程序或方法。
例如，方法"getDisplayScreen ( void)"返回与当前屏幕相关的显示屏幕。 详细地，如果当前屏幕是逻辑屏幕，则方法"getDisplayScreen (void)"返回 相关显示屏幕。如果当前屏幕是显示屏幕，则方法"getDisplayScreen ( void )" 返回关于当前屏幕的参考信息。此外，如果当前屏幕是逻辑屏幕，但不存在 相关的屏幕，贝'J方法"getDisplayScreen (void)"返回"空"值。
才艮才居另一示例，方法"public void setDisplayArea(HScreenRectangle rect) throws SecuntyException, IllegalStateException"才是供将当前逻辑屏幕映射到相 关显示屏幕的预定区域的函数。作为参数提供的实例是包"org.havi.ui"的类
"HScreenRectangle"， 该实例具有二纟1M立置"[言息。方法"SecurityException" 和 "IllegalStateException" 可作为方法 "setDisplayScreen ( HScreen screen )" 的异常操作被执行。在当前屏幕是逻辑屏幕时，或在与当前逻辑屏幕相关的 显示屏幕的一部分由于主机平台的特性而不能改变时，可执行方法
"IllegalStateException"。
才艮据另 一示例，方法"getOutputArea ( void )"返回当前屏幕的区域信息 作为HScreenRectangle信息。如果当前屏幕对应于显示屏幕，则方法
"getOutputArea (void)"返回具有与HScreenRectangle (0,0,1,1 )的4直相同的 HScreenRectangle 4言息。如果当前屏幕是逻辑屏幕，贝'J方法"getOutputArea
(void)"返回关于由当前屏幕占有的显示屏幕上的区域的信息。如果当前屏 幕是逻辑屏幕，但与任何显示屏幕都无关，则方法"getOutputArea (void )" 返回"空"值。
贯穿以下描述，某些术语被使用以表示特定接口。然而，本领域技术人 员应该理解，特定函数的命名只是为了指示其功能。本文件并不是为了区分 名称不同而非功能不同的函数。
图22是示出在将被映射到单一显示屏幕的两个逻辑屏幕上设置两种服 务的处理的示图。
参照图22，第一服务包括所有的三种服务分量，也就是说，视频分量、 音频分量和数据分量，第二服务仅包括视频分量和音频分量。然而，本发明 不对服务分量施加任何限制，如图8所示的第一服务和第二服务是示例性的。
如图22所示，以与现有技术的方式几乎相同的方式将第一服务和第二服 务显示在物理显示装置上。根据本发明的当前实施例，可将多种服务彼此独立地显示在物理显示装置上，而没有对可显示在单一显示屏幕上的服务的数 量施加任何限制。
图23是根据本发明的示例性实施例的用于提供多屏幕的设备的框图。
参照图23，用于提供多屏幕的设备900包括数字信号处理模块940、月艮 务处理模块950、输出模块960和用户/应用接口模块965 。
此外，设备900包括广播信号接收模块910、存储介质920和外部输入 模块930作为服务源，并包括物理显示装置970、存储介质980和外部输出 模块990作为服务输出介质。
在这里使用的术语"模块"是指(但并不限于)执行特定任务的软件或 者硬件组件，比如现场可编程门阵列(FPGA)或者专用集成电路(ASIC)。模块 可被有利地配置为驻留在可寻址的存储介质上并且被配置为在一个或者多个 处理器上执行。因而，作为示例，模块可以包括比如软件组件、面向对象的 软件组件、类组件和任务组件的组件、进程、函数、属性、程序、子程序、 程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、 数组和变量。在这些组件和模块中提供的功能可被组合为更少的组件和模块， 或者进一步被分离成另外的组件和模块。
数字信号处理模块940从广播信号接收模块910、存储介质920或外部 输入模块930接收服务(诸如多媒体内容)的各种信息(例如，视频信息、 音频信息或数据信息)。
广播信号接收模块910接收卫星、地面或有线广播信号，并发送接收的 广播信号，存储介质920存储服务的视频信息、音频信息或数据信息，外部 输入模块930从诸如连接到网络的网络接口模块的外部装置接收服务的视频 信息、音频信息或数据信息。
数字信号处理模块940使用接收的服务分量恢复多种服务。恢复的服务 包括抽象服务或者非抽象服务。
这里，"多种服务"是指由广播信号接收模块910发送的两种或更多种服 务，或分别由广播信号接收模块910和存储介质920发送的两种或更多种服 务。
数字信号处理模块940可根据用户或应用借助于用户/应用接口模块965 的选择来恢复服务。在这种情况下，用户或应用可选^^任意服务与屏幕之间 的连接。服务处理;漠块950产生逻辑屏幕和显示屏幕，以显示由数字信号处理单 元940恢复的力良务。
输出模块960将由服务处理模块950产生的多个逻辑屏幕映射到显示屏 幕。可使用预定义的方法或用户借助于用户/应用接口模块965设置的方法处 理从逻辑屏幕到显示屏幕的映射。
可不由屏幕处理模块950处理由数字信号处理模块940恢复的服务。相 反地，由数字信号处理模块940恢复的服务可直接被映射到由输出模块960 生成的显示屏幕的特定部分。
由输出模块960提供的显示屏幕可显示在物理显示装置970上，或可存 储在存储介质980中。存储介质980的示例包括计算机可读软盘、硬盘、 CD-ROM， DVD、 DVD-ROM、 BD (蓝光光盘)以及半导体存储器。
此外，可经由外部输出模块990将由输出模块960提供的显示屏幕发送 到连接到网络的外部装置。
为此，输出模块960可包括多个输出端口 ，经由所述多个输出端口可提 供显示屏幕。在这种情况下，可经由预先设置为默认的输出端口或由用户借 助于用户/应用接口模块965选择的输出端口来提供显示屏幕。 用户或应用可使用用户/应用接口模块965来选择多种服务中的 一种或恢 复期望的服务。此外，用户可使用用户/应用接口模块965来选择多个显示屏 幕中的一个。
由于图23所示的模块根据其功能被划分，因此可被连接到其他模块。 图24是示出根据本发明的示例性实施例的动态配置多屏幕的方法的流程图。
通常，以预定的格式(例如，MPEG流格式)发送构成多媒体内容的视 频信息、音频信息和数据信息。在操作S1010中，用于提供诸如多媒体内容 服务的服务的设备接收视频信息、音频信息和数据信息，并基于接收的视频 信息、音频信息和数据信息恢复服务。这里，可由用户或应用选择或预先确 定在操作S1010中恢复的服务。用户可使用在显示装置上显示的菜单或遥控 器来选择任意屏幕和屏幕之间的连接。应用可使用API来选择所述连接。
此外，数据信息包括关于用于服务的应用的应用信息，该应用信息包括 指示应用程序是否可在PiP屏幕上执行的信号信息。应用信息的示例包括基 于MHP标准的应用信息表(AIT)和基于OCAP标准的扩展应用信息表(XAIT)。信号信息可被添加到应用信息。
此后，在操作S1020中，设置恢复的服务使之可显示在逻辑屏幕上。在 操作S1030中，逻辑屏幕被映射到显示屏幕。在操作S1040中，使用显示屏 幕、存储介质或网络将显示屏幕提供给用户。
如图24所示的恢复的服务经由逻辑屏幕被显示在物理显示装置上。然 而，恢复的服务可直接显示在物理显示装置上，而无需经过逻辑屏幕。
为简单起见，图24示出只将一种服务映射到显示屏幕的方法。然而，可 通过或不通过多个逻辑屏幕将多种服务映射到显示屏幕。当以这种方式将显 示屏幕提供给用户时，用户可执行多种服务。
当用户或应用选择PiP服务时，提供多屏幕的设备900提供两种模式的 PiP服务。图25示出两种模式的第一模式，图26示出两种模式的第二模式。
参照图25，在第一模式中，无需创建用于PiP服务的单独的逻辑屏幕， 也就是说PiP屏幕，只提供用于在主屏幕上选择的PiP服务的视频分量。在 第一模式中，不执行与PiP服务相关的任何应用，或与PiP服务相关的应用 的操作失效。
参照图26，在第二模式中，创建用于PiP服务的单独的逻辑屏幕以提供 在创建的PiP屏幕上选择的PiP服务。第二模式中提供的PiP屏幕包括作为背 景屏幕的背景视频或视频分量。此外，在第二模式中，可执行与PiP服务相
关的应用。可基于上述的信号信息确定是否可执行与PiP服务相关的应用。 优选的是，不可同时执行第一模式和第二模式。
可通过用户或应用通过用户/应用接口模块965的输入来选择PiP服务提 供模式。当用户或应用选择第一模式时，数字信号处理模块940只恢复选择 的PiP服务的视频分量。恢复的视频部分被映射到由服务处理模块950产生 的主屏幕，然后被显示到输出模块960产生的屏幕上。当用户或应用选择第 二模式时，数字信号处理模块940恢复选择的PiP服务。恢复的服务被映射 到由服务处理模块950创建的PiP屏幕上，然后被显示在输出模块960产生 的屏幕上。
用户或应用可通过用户/应用接口模块965选择逻辑屏幕上提供的多种服 务中的特定一种服务的音频内容，并使选择的音频内容的输出独立地输出。 该处理如图27所示。
首先，用户或应用通过用户/应用模块965选择特定服务(S1310)。然后，数字信号处理模块940从选择的服务提取音频内容，提取的音频 内容被映射到服务处理模块950产生的逻辑屏幕或显示屏幕上并由输出模块 960独立地输出到相应的屏幕(S1320)。这里，"独立输出"可理解成(例如) 包括以下内容的概念特定服务的音频内容被选择并通过映射到显示屏幕上 的输出端口被发送，显示屏幕同时显示特定服务与在同个屏幕上提供的其他 服务的音频内容或只显示特定服务。"独立输出"还可理解成通过不同介质分 别输出、提供或存储多种服务的音频内容。换句话说，音频内容不必与同种 服务的其他分量一起提供，用户或应用可独立提供音频内容。
输出模块960被用户或应用选择，输出模块960通过预定外部输出模块 990输出音频内容。
当多种音频内容被选择时，可通过单独外部输出模块990同时独立地输 出各个音频内容。
用户或应用可独立于相同服务的其他分量通过用户Z应用模块965选择希 望的音频内容。
图28是示出根据本发明的示例性实施例的用于提供多屏幕的软件架构 的示图。
参照图28，软件架构1400包括装置驱动层1410、应用接口 (API)层 1420和应用层1430。
装置驱动层1410从各种多媒体内容源接收服务分量，并对接收的服务分 量进行解码。接收的服务分量的示例包括视频信息、音频信息和数据信息。
API层420生成逻辑屏幕和显示屏幕，并相互地映射服务、逻辑屏幕和 显示屏幕。
应用层1430提供用户接口以使用户可以动态配置显示服务的逻辑屏幕， 或将用户命令发送到API层1420以使API层1420可执行用户命令。
用户借助于应用层1430使装置驱动层1410能够经由物理显示装置提供 显示屏幕或能够将显示屏幕存储在存储介质中。此外，用户可使装置驱动层 1410能够经网络将显示屏幕发送到外部装置。
为此，装置驱动层1410可包括可提供显示屏幕的多个输出端口。否则， API层1420可包括多个输出端口。
为了在显示屏幕上动态配置多个逻辑屏幕，API层1420可包括多个软件 模块，例如，如图29所示，多屏幕管理器模块"MultiScreenManager"、多屏幕上下文模块"MultiScreenContext "、多屏幕上下文监听器模块 "MultiScreenContextListener ，，， 以及多屏幕上下文事件模块 "MultiScreenContextEvent"。
多屏幕管理器模块1510管理多屏幕上下文模块1530,搜索期望的屏幕， 显示用于指定哪些装置被屏幕共享的信息，注册多屏幕上下文监听器模块 1550，或取消屏幕上下文监听器模块1550的注册。
多屏幕上下文模块1530是与屏幕对象1520相关的接口对象，多屏幕上 下文模块1530根据由多屏幕上下文模块1530执行的接口操作确定屏幕对象 1520是变为逻辑屏幕还是显示屏幕。可在多屏幕上下文模块1530中设置如 图18中所示的各种属性。多屏幕上下文模块1530可提供如图18所描述的函 数"设置"、"添加"、"获^^又"和"去除"。
当多屏幕上下文模块1530改变屏幕对象1520的属性信息时，多屏幕上 下文事件模块1540用作通知屏幕对象1520的属性信息已被改变的事件类， 多屏幕上下文监听器模块1550用作监听器接口对象，所述监听器接口对象可 以以预定的应用类实现，并且所述预定的应用类试图接收由多屏幕上下文事 件模块1540提示的事件。
应用1560是在应用层1430上被驱动的模块。应用1560允许用户选择期 望的服务并在显示屏幕上自由地布置多个逻辑屏幕。
详细地，应用1560将允许用户动态配置和管理逻辑屏幕的各种命令发送 到多屏幕管理器模块1510,多屏幕管理器模块1510通过多屏幕上下文模块 1530控制与所述各种命令相应的操作被执行。
多屏幕上下文模块1530与屏幕对象1520相关，并管理图18中所示的屏 幕对象1520的属性信息。为了管理屏幕对象1520的属性信息，多屏幕上下 文模块1530可包括多种函数或方法。
多屏幕管理器模块1510可从装置驱动层1410接收由各种服务源提供的 服务分量，并可进行操作以将接收的服务分量显示在逻辑屏幕或显示屏幕上。 可通过未示出的单独的模块执行该功能。
图30是示出根据本发明的示例性实施例的通过如图29所示的模块在显 示屏幕上显示在各个相应的逻辑屏幕上显示的多种服务的方法的流程图。
参照图30，在操作S1610中，多屏幕管理器模块1510产生显示屏幕和 与将被执行的服务的数量相应的多个逻辑屏幕。在操作S1620中，多屏幕管理器模块1510将逻辑屏幕连接到从装置驱动 层1410接收的各个对应的服务。多屏幕管理器模块1510可通过将接收的服 务的服务上下文对象设置为逻辑屏幕服务的参数来对每个逻辑屏幕调用方法
"addServiceContext"。方法"addServiceContext"将逻辑屏幕连接到服务， 并可由多屏幕上下文模块1530提供。
在操作S1630中， 一旦逻辑屏幕被连接到各个服务，多屏幕管理器模块 1510就将逻辑屏幕连接到显示屏幕。此时，多屏幕管理器模块1510可通过 将逻辑屏幕连接到的显示屏幕对象设置为参数来对每个逻辑屏幕调用方法
"setDisplayScreen'，。 方法"setDisplayScreen，，将逻辑屏幕连接到显示屏幕， 并可由多屏幕上下文模块1530提供。
可对寻方法 "setDisplayScreensetDisplayScreen " i殳置为 "public void setDisplay Screen(HScreen screen) throws SecurityException, 川egalStateException"，该方法允许作为参数一皮^是供的实例"HScreen"与当前 逻辑屏幕相关。在这种情况下，实例"HScreen"最好是显示屏幕。
方法"setDisplayScreen(HScreen screen)" 的参凄t可包4舌"空" <直。在这 种情况下，当才丸行方法"setDisplayScreen(HScreen screen)" 而无需异常处理 时，当前逻辑屏幕不再与显示屏幕相关。
方法"SecurityException"和"IllegalStateException"的4丸4亍可—皮理角年为 方法"setDisplayScreen(HScreen screen)" 的异常才喿"f乍。
在当前屏幕是逻辑屏幕时或在与当前逻辑屏幕相关的显示屏幕的一部分 由于主才几平台的特性而不能改变时，可执行方法"IllegalStateException"。
在搡作S1640中，确定逻辑屏幕将分別映射到的显示屏幕上的区域。此 时，可调用由多屏幕上下文模块1530提供的预定的方法，以确定将显示逻辑 屏幕的显示屏幕上的区域。
图31是示出根据本发明的示例性的音频内容的输出的流程图。服务处理 模块950可表示多种服务，分配给每种服务的音频内容可由用户或应用聚焦。
也就是说，用户或应用可输入命令将预定指定为聚焦目标。然后，在操 作1710，用户/应用接口才莫块965接收用户或应用输入的命令。
为了将预定的音频内容指定为聚焦目标，可调用方法 "assignAudioFocus "。 方法"assignAudioFocus "是4吏多个晋步贞内容之一净皮 聚焦的方法，可由多屏幕上下文模块1530提供该方法。一旦完成将音频内容指定为聚焦目标，输出模块960就输出被指定为聚
焦目标并被聚焦的音频内容(S1730)。更具体地说，输出模块960可检查分 别分配给多种服务的多个音频内容中的哪个音频内容被指定为聚焦目标 (S1720 )，然后根据检查的结果输出被指定为聚焦目标的音频内容(S1730 )。
为了4企查^^皮指定为聚焦目标的音频内容，可调用方法"getAudioFocus "。 方法"getAudioFocus "是冲全查当前正4史聚焦的音频内容的方法，该方法将具 有与包"org.havi.m"的类"HScreen"的类型相同的类型的对象返回作为检 查的结果。也就是i兌，方法"getAudioFocus "返回表示包括当前正一皮聚焦的 音频内容的服务的屏幕，输出模块960输出屏幕表示的音频内容。
图32是示出根据本发明的另 一示例性的音频内容的输出的流程图。输出 模块960可同时输出多个音频内容。更具体地说，参照图32，输出模块960 检查分别分配给多种服务的多个音频内容中的每一个音频内容的属性 (S1810)，并输出被指定为输出目标的音频内容(S1820 )。
输出模块960可将被指定为输出目标的音频内容与当前正被聚焦的音频 内容一起输出。例如，假设音频内容A、 B、 C和D被分配给各种相应的服 务，并且音频内容A当前正被聚焦。如果将音频内容B设置为不能同时与其 他音频内容一起输出，并将音频内容C和D设置为能够同时与其他音频内容 一起输出，则输出模块960可同时将音频内容A与音频内容C和D —起输出。
音频内容B在由用户或应用聚焦时可被输出。
也就是说，输出模块960可参照分别分配给多种服务的多个音频内容的 输出属性来输出被指定为输出目标的音频内容。这里，可由用户或应用使用 用户/应用接口模块965设置音频内容的输出属性。
为了设置多个音频内容的属性，可调用方法"addAudioSources"。方法 "addAudioSources"可将多个音频内容设置为能够同时被输出。
方法 "addAudioSources，， 的参凄史可包者舌具有与包 "org.havi.ui，' 的类 "HScreenDevice []"的类型相同的类型的矩阵"装置"和布尔标志 "mixWithAudioFocus'，。 可基于布尔标志"mixWithAudioFocus"的值确定多 个音频内容是否可同时被输出。
也就是说，用户或应用可^吏用方法"addAudioSources"来选4奪音频内容 连接到的至少一个装置并将音频内容设置为能够与其他音频内容同时被输出 到选择的装置。例如，如果方法"addAudioSources "的布尔标志"mixWithAudioFocus"设置为1,则选择的装置的音频内容可与当前正被聚 焦的音频内容同时^皮输出。另一方面，如果方法"addAudioSources"的布尔 标志"mixWithAudioFocus"设置为0,则选择的装置的音频内容不能与当前 正被聚焦的音频内容同时被输出。在这种情况下，选择的装置的音频内容只 有在被聚焦时才可被输出。
用户或应用可取消被设置为能够与另 一音频内容同时被输出的音频内容 的同时專lT出i殳置。为此，可调用方法"removeAudioSources "。
方法
"removeAudioSources"可包4舌具有与包"org.havi.ui" 的类 "HScreenDevice []，'的类型相同的类型的矩阵"装置"作为参数。当方法"removeAudioSources" 被调用时，方法"removeAudioSources" 的矩阵"装置"指定的至少一个装 置的音频内容的同时输出设置被取消。方法"removeAudioSources"可不包括 任何参数。在这种情况下，所有装置的音频内容的同时输出设置可被取消。
尽管已经参照本发明的示例性实施例具体示出和描述了本发明，但本领 域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范 围的情况下，可以在形式和细节上进行各种改变。因此，应该理解，上述的 示例性实施例只是描述的目的，并不应该被理解为对本发明的范围的任何限 制。
产业上的可利用性 根据本发明，可使用单个物理显示屏幕以各种方式执行各种源(如，有 线广播、地面广播、各种存储介质和外部输入)提供的多种服务。
权利要求
1、一种用于提供多屏幕的设备，所述设备包括服务处理模块，提供多个第一音频内容被分别分配到的多种服务；用户/应用接口模块，接收将所述多个第一音频内容中的一个指定为第二音频内容的命令，所述第二音频内容是将被聚焦的音频内容；输出模块，响应于接收的命令，输出被指定为第二音频内容并被聚焦的第一音频内容。
2、 如权利要求1所述的设备，其中，输出模块检查被指定为第二音频内 容的第 一音频内容，并根据检查的结果输出被指定为第二音频内容的第 一音频内容。
3、 如权利要求l所述的设备，其中，输出模块除了输出被指定为第二音 频内容的第 一音频内容之外，还参照第 一音频内容的属性同时将预定第 一音 频内容与^^指定为第二音频内容的第一音频内容一起输出。
4、 如权利要求1所述的设备，其中，由用户或应用将所述多个第一音频 内容中的一个指定为第二音频内容。
5、 一种用于提供多屏幕的设备，所述设备包括 服务处理模块，提供多个第一音频内容被分别分配到的多种服务；输出模块，参照第 一音频内容的输出属性输出所述多个第 一音频内容中 指定为第二音频内容的 一个，所述第二音频内容是将被输出的音频内容。
6、 如权利要求5所述的设备，其中，输出模块输出所述多个第一音频内 容中当前正一皮聚焦的一个第一音频内容。
7、 如权利要求6所述的设备，其中，被指定为第二音频内容的第一音频 内容与当前正被聚焦的音频内容同时被输出。
8、 如权利要求5所述的设备，还包括用户/应用接口模块，设置第一 音频内容的输出属性。
9、 一种提供多屏幕的方法，所述方法包括 提供多个第一音频内容被分别分配到的多种服务；接收将所述多个第 一音频内容中的一个指定为第二音频内容的命令，所 述第二音频内容是将被聚焦的音频内容；响应于接收的命令，输出被指定为第二音频内容并被聚焦的第 一音频内
10、 如权利要求9所述的方法，还包括检查被指定为第二音频内容的第一音频内容。
11、 如权利要求9所述的方法，其中，输出的步骤包括除了输出被指 定为第二音频内容的第 一音频内容之外，还参照第 一音频内容的属性将预定第 一音频内容与被指定为第二音频内容的第 一音频内容同时输出。
12、 如权利要求9所述的方法，其中，由用户或应用将所述多个第一音 频内容中的一个指定为第二音频内容。
13、 一种提供多屏幕的方法，所述方法包括 提供多个第 一音频内容被分别分配到的多种服务；参照第一音频内容的输出属性输出所述多个第一音频内容中指定为第二 音频内容的一个，所述第二音频内容是将被输出的音频内容。
14、 如权利要求13所述的方法，其中，输出的步骤包括输出所述多个 第 一音频内容中当前正^i聚焦的一个第一音频内容。
15、 如权利要求14所述的方法，其中，输出的步骤还包括将被指定为 第二音频内容的第 一音频内容与当前正被聚焦的音频内容同时输出。
16、 如权利要求13所述的方法，还包括设置第一音频内容的输出属性。
全文摘要
本发明涉及一种用于提供多屏幕的设备和方法。所述设备包括服务处理模块，提供多个第一音频内容被分别分配到的多种服务；用户/应用接口模块，接收将所述多个第一音频内容中的一个指定为第二音频内容的命令，所述第二音频内容是将被聚焦的音频内容；输出模块，响应于接收的命令，输出被指定为第二音频内容并被聚焦的第一音频内容。
文档编号H04N5/00GK101416493SQ200780012192
公开日2009年4月22日 申请日期2007年4月5日 优先权日2006年4月6日
发明者李光基, 李钟昊, 格伦·A·亚当斯, 边成昱, 郑云教 申请人:三星电子株式会社