用于热功率预算编制的动态多媒体数据流控制的方法、设备和系统的制作方法_2

文档序号:9731855阅读:来源:国知局
2和A-3与并发的多媒体应用A相 关联,数据流B-I和B-2与并发的多媒体应用B相关联,并且数据流C-I与并发的多媒体应用C 相关联。如表1中所示,可以按降序从上到下来布置与数据流相关联的优先级。
[0043] 在表1中所示的示例中,数据流A-I已经被分配了为1的优先级(例如,最高的优先 级),数据流A-2已经被分配了为2的优先级,数据流A-3已经被分配了为3的优先级,数据流 B-I已经被分配了为4的优先级,数据流B-2已经被分配了为5的优先级,并且,数据流C已经 被分配了为6的优先级(例如,最低的优先级)。然而,表1还示出了,并发的多媒体应用A、B和 C的优先级是以所建立的针对数据流的优先级的潜在的偏离或者冲突的次序来建立的。在 一个方面中,如下文参照图5D更详细地描述的,其中多个并发应用被按照优先级来排列(例 如,基于眼睛凝视、窗口次序、用户设置等)并且所述并发应用中的一个或多个并发应用具 有多于一个数据流的情况可以通过以下方式来解决:基于应用的优先级对数据流的优先级 进行加权,并且基于所分配的权重调整数据流优先级。
[0044] 在方面中,片上系统(SoC)可以具有多个硬件块或者子块,所述硬件块或者子块包 括具有不同能力的处理器、照相机块或者多个块、照相机子系统块或者多个块、包括DRAM的 存储器设备块或者多个块、功率管理块或者多个块、显示器块或者多个块、无线模块块或者 多个块以及其它块。处理器的非限制性示例可以包括高效率处理器,例如,DSP、调制解调器 处理器、视觉或者图形处理单元(GPU)、专用高效率处理引擎、专用高效率硬件引擎。处理器 的进一步非限制性示例可以包括高性能处理器,例如,应用处理器、具有多个处理器核心的 高性能处理器、ARM架构处理器或者将在SoC中适用的其它处理器。
[0045 ]图IA不出了包括弟一设备110的设备环境101和包括弟^设备130的设备环境103 的示例100。第一设备110和第二设备130可以通过网络102来连接。所述连接可以例如通过 无线链路105a和105b来完成,所述无线链路105a和105b将设备110和130链接到各自的接入 点、蜂窝网络基础设施部件或者其它无线(或者有线)接入节点。网络102可以是无线局域网 (WLAN),或者可以是蜂窝通信网络,第一设备110和第二设备130可以通过其进行通信。第一 设备110和第二设备130可以通过网络102,取决于与网络102相关联的配置和协议,例如经 由共享通信信道、分组数据会话或者其它连接机制来进行通信。在设备环境101中,第一设 备110可以通过无线连接116与外部显示器120进行通信,所述无线连接116可以是Wi-Fi直 连(WFD)、WiDi或者类似的连接。无线连接116可以允许第二设备130和外部显示器120在不 需要接入点的情况下直接并且无线地进行通信。
[0046] 第一设备110可以配备有照相机114和显示器115。第一设备110可以正在执行诸如 视频电话会议应用和游戏应用之类的并发的多媒体应用。视频电话会议应用可以使用照相 机114来捕获第一设备110的用户的视频,并且可以在第一设备110的显示器115上的窗口 111中在本地显示用户的视频。视频电话会议应用还可以通过网络102向第二设备130发送 由照相机114捕获的视频串流。游戏应用可以在第一设备110的显示器115上的窗口 112中渲 染例如游戏应用的控制窗口的本地显示。第一设备110还可以利用外部显示器120和无线连 接116来将与游戏显示的行动部分相关联的图形数据传递给显示器120,以用于在窗口 122 中进行渲染。
[0047]在方面中,第一设备110可以在窗口 121中并发地显示与视频电话会议应用的另一 方相关联的视频串流或者数据流的进入的部分。视频串流或者数据流的进入的部分可以是 基于通过网络102从第二设备130接收的视频数据。视频串流的进入的部分可以通过网络 102从第二设备130被传递给第一设备110,并且可以沿用于视频电话会议应用的数据流路 径来被传递。游戏应用和视频电话会议应用的多媒体参数(例如,分辨率、帧速率、LoD和其 它多媒体参数)可以被应用到窗口 111、窗口 112、窗口 122和窗口 121。可以基于沿着与用于 捕获、生成和传递游戏图形数据和视频电话会议数据的数据流相关联的各自的数据流路径 的各种硬件模块的本机多媒体参数或者经修改的多媒体参数来应用多媒体参数。另外,多 媒体参数可以被指定为与构成数据流的数据分组相关联的QoS参数。
[0048] 类似地,第二设备130可以包括照相机134和显示器135。第二设备130可能正在执 行诸如视频电话会议应用和游戏应用的之类的并发的多媒体应用。视频电话会议应用可以 使用照相机134来捕获第二设备130的用户的视频,并且在第二设备130的显示器135上的窗 口 133中在本地显示用户的视频。视频电话会议应用还可以通过网络102向第一设备110发 送由照相机134捕获的视频串流。游戏应用可以在第二设备130的显示器135上的窗口 132中 渲染游戏显示的行动部分或者其它部分的本地显示。第二设备130可以基于通过网络102从 第一设备110接收的视频数据来在窗口 131中并发地显示与视频电话会议应用的另一方相 关联的视频串流,所述显示是,其中,网络102是第二设备130和第一设备110上的视频电话 会议应用的数据流路径的一部分。游戏应用和视频电话会议应用的多媒体参数(例如,分辨 率、帧速率、LoD和其它多媒体参数)可以被应用到窗口 131、窗口 133和窗口 132。可以基于沿 着与用于捕获、生成和传递游戏图形数据和视频电话会议数据的数据流相关联的各自的数 据流路径的各种硬件模块的本机多媒体参数或者经修改的多媒体参数来应用多媒体参数。
[0049]当执行并发的多媒体应用时,诸如第一设备110和第二设备130之类的设备以及安 装在其中的特定SoC块或者子块可以接近或者超过功率和温度限制。在这样的情况下,在完 全尺度多媒体参数条件下的继续操作可能变得不可持续。在图IB中,图解140示出了SoC内 的各种块的示例功率水平,所述SoC可以被安装在第一设备110和第二设备130中。图解140a 示出了支持本地显示器和外部无线(wro)显示设备的设备(例如,第一设备110)的相对功 耗。设备可能正在执行诸如游戏应用和视频电话会议或者视频聊天应用之类的并发的多媒 体应用。图IB示出了,在并发的多媒体应用执行期间,与第一设备110相关联的SoC 140的功 率水平141a可以如何超过在大约3.2瓦(W)的示例值处的说明性总功耗限制148。额外的功 耗贡献可以由与第一设备110相关联的DRAM 142、功率管理集成电路(PMIC) 143、显示器 144、照相机145和无线模块146来添加。各自的模块向第一设备110的功耗添加 DRAM功率贡 献142a、PMIC功率贡献143a、显示器功率贡献144a、照相机功率贡献145a和无线模块功率贡 献146a。额外的功率贡献导致显著超过总功耗限制148量147a,这在该示例中可以是功率/ 热预算的接近双倍。
[0050] 图解140b示出了支持本地显示器(例如设备显示器),并且正在执行诸如游戏应用 和视频电话会议或视频聊天应用之类的并发的多媒体应用的设备(例如,第二设备130)的 相对功耗。在并发的多媒体应用的执行期间,与第二设备130相关联的SoC 140的功率水平 Hlb可以超过在大约3.2瓦(W)处的示例总功耗限制148。额外的功耗贡献可以由与第二设 备130相关联的DRAM 142、功率管理集成电路(PMIC) 143、显示器144、照相机145和无线模块 136来添加。各自的模块添加 DRAM功率贡献142b、PMIC功率贡献143b、显示器功率贡献144b、 照相机功率贡献145b和无线模块功率贡献146b。额外的功率贡献可以导致显著超过示例总 功耗限制148量147b。取决于诸如周围温度和其它因素之类的情况,第一设备110和第二设 备130超过功率限制的量147a和147b可能在短时间段内可以容忍,但是在不调用关机机制 或者其它极端措施(关机机制或者其它极端措施可能不利地导致结束并发的多媒体应用和 正在进行中的任何游戏或者会议会话)的情况下,不能持续延长的时间段。
[0051] 在一个一般性示例中,与执行并发的多媒体应用的设备相关联的硬件和软件可以 如图IC中所示那样被配置。一个或多个多媒体应用150、151、152可以具有各种数据流,所述 各种数据流对于多媒体参数具有特定需求。多媒体应用150可以具有数据流150a和150b,所 述数据流150a和150b可以具有与其相关联的多媒体参数需求(例如,分辨率、帧速率、LoD和 其它参数)。多媒体应用151可以具有数据流151a、151b和151c,所述数据流151a、151b和 151c具有各自与其相关联的多媒体参数需求。进一步,多媒体应用152可以具有数据流152a 和152b,所述数据流152a和152b具有各自与其相关联的多媒体参数需求。数据流150a、 150b、151a、151b、151c、152a和152b的多媒体参数需求可以在应用中的每个应用内或者在 各种应用之间是相同,或者可以是不同的。通常,数据流的多媒体参数需求中的至少一些多 媒体参数需求可以在应用中的每个应用内或者在各种应用之间是不同的。一般地,在应用 内,不同数据流可以基于例如与数据流相关联的不同硬件块或者模块利用不同的多媒体参 数需求来建立。更具体说来,生成数据流的不同硬件块或者模块可以利用不同多媒体参数 这样做,而处理数据流的各种硬件模块可以能够利用不同多媒体参数来处置数据流。例如, 照相机应用可以具有与采用特定分辨率、帧速率和LoD的视频相关联的数据流。与例如并发 的游戏应用相关联的图形渲染也可以具有特定的分辨率、帧速率和LoD。
[0052] 在现有的解决方案中,数据流150a、150b、151a、151b、151c、152a和152b的个别的 本机多媒体参数需求以及数据流自身可以被操作系统(OS)服务和OS内核模块155处理或者 处置。OS内核可以提供用于正在使用设备中生成的数据的设备和应用的个别的设备级服务 和应用级服务。各种多媒体参数需求155&、15513、155〇和155(1可以被个别地传递给与3〇(:156 相关联的硬件核心和设备,这可以被实现为对SoC 156上的个别的硬件和设备的设置和配 置。然而,在现在的多媒体设备中,不存在用于实现多媒体参数的协调的系统级改变的集中 式的OS服务或者内核模块。在常规系统的示例中,频率节流模块160可以被配置为从诸如可 以提供温度输入157a的温度传感器157、可以提供功率输入158a的功率传感器158或者可以 提供输入159a的其它传感器159之类的各种传感器接收输入。其它传感器或者输入可以关 联于并且包括设备的外壳温度、外部或者周围温度、温度趋势输入、电池充电水平输入或者 其它输入。当输入到达或者超过特定的已建立的值或者水平时,频率节流模块160可以在不 特别考虑多媒体参数的情况下,向SoC 156中的硬件模块的特定固定集合或者子集提供节 流信号160a、160b和/或160c。通常,诸如主要处理单元(MPU)和图形处理单元(GPU)之类的 主要硬件模块可以被节流,这是因为这些模块被认为对功耗有最直接和重大的影响。然而, 由于其它未经节流的模块继续根据本机多媒体参数以通常频率操作,节流对于降低功耗的 效率被不利地限制了。当输入的水平返回到门限以下水平时,频率节流可以终止,并且经节 流的硬件模块的操作频率可以返回到正常频率值。
[0053]为了解决频率节流和其它方法的这些和其它的缺点,适合于与各种方面一起使用 的在图2A中示出的示例系统200可以包括提供降低例如SoC中的功耗的更综合和高效的方 案的单元。并发的多媒体应用150、151和152可以具有各种数据流,所述各种数据流具有对 多媒体参数的需求。多媒体应用150可以具有数据流150a和150b,所述数据流150a和150b可 以具有与其相关联的诸如分辨率、帧速率、LoD和其它参数之类的多媒体参数需求。多媒体 应用151可以具有数据流151a、151b和151c,所述数据流151a、151b和151c具有各自与其相 关联的多媒体参数需求。进一步,多媒体应用152可以具有数据流152a和152b,所述数据流 152a和152b具有各自与其相关联的多媒体参数需求。并发的多媒体应用150、151、152可以 包括例如视频电话会议应用,实时的多玩家游戏以及视频显示应用。视频电话会议应用和 多玩家游戏应用是可以通过网络连接到额外方或者多个额外方的并发的多媒体应用的示 例。因此,与视频电话会议应用和游戏应用相关联的多媒体数据流可以被认为是通过网络 延伸到其它方或者多个其它方。
[0054] 数据流150a、150b、151a、151b、151c、152a和152b的多媒体参数需求以及所述数据 流自身可以被OS服务和OS内核模块210处理或者处置。OS内核可以为正在使用设备中生成 的数据的设备和应用提供设备级服务和应用级服务。在各种方面中,多媒体参数管理器和 数据流跟踪器220可以被插入为OS服务和OS内核模块210、并发的多媒体应用150、151和152 与SoC模块230中的硬件核心和设备之间的层。多媒体参数管理器和数据流跟踪器220可以 从诸如可以提供温度输入157a的温度传感器157、可以提供功率输入158a的功率传感器158 或者可以提供输入159的其它传感器159之类的传感器接收输入。尽管被描述为传感器,但 是温度传感器157、功率传感器158或者其它传感器或者多个传感器159可以表示寄存器或 者其它设备,在其中可以存储从与实际传感器不同的源获得的所计算的值或者多个值。因 此,诸如温度输入157a、功率输入158a或者其它输入或多个输入159a之类的所提供的输入 可以是从具有各自值的传感器、寄存器、其它设备或者其它源被提供的。
[0055] 输入到多媒体参数管理器和数据流跟踪器220的温度输入157a、功率输入158a或 者其它输入或者多个输入159a中的一项或多项可以超过所建立的功率和热管理的门限。作 为响应,或者在值超过门限之前,多媒体参数管理器和数据流跟踪器220可以实施操作,以 通过与SoC 230相关联的各种硬件核心和设备来跟踪数据流(例如数据流220a、220b、220c 和220d),以建立对应的数据流路径。跟踪数据流路径可以包括调查或者检查与数据流相关 联的分组的分组报头,以确定由数据分组采取的通过硬件的路径。数据流路径可以包括向 和从其它设备延伸的路径的部分,所述设备可以例如通过网络连接穿过共享通信信道被连 接到所述其它设备。多媒体参数管理器和数据流跟踪器220可以建立与数据流和/或并发的 多媒体应用150、151和153相关联的优先级。当诸如温度和功率之类的传感器输入值达到或 者超过热控制和功率控制所需的门限水平时,多媒体参数管理器和数据流跟踪器220可以 降低或者覆盖多媒体参数。与对保持或者最大化用户体验贡献最小的低优先级数据流和/ 或应用相关联的多媒体参数(例如,分辨率、帧速率、LoD或者其它参数)可以被覆盖或者降 低,以便降低沿低优先级数据流路径的硬件模块中的功耗。当传感器输入值返回到门限值 之下的值时,多媒体参数管理器和数据流跟踪器220可以确定与低优先级数据流或者任何 数据流相关联的多媒体参数是否已经被降低或者覆盖。如将在下面更详细地描述的,多媒 体参数管理器和数据流跟踪器220可以将与最高优先级数据流(在其中多媒体参数已经被 降低)相关联的多媒体参数恢复为其降低之前的值、原始值或者本机值。
[0056]图2B中示出了适用于实现方面的代表性的设备205。设备205可以包括并发应用块 250,所述并发应用块250可以表示不同类型的并且具有多媒体参数需求的多个并发地执行 的多媒体应用的环境。并发应用块250可以包含并发的多媒体应用251,所述并发的多媒体 应用251涉及通过网络连接将设备205耦合到另一个设备或者多个设备的共享通信信道。并 发的多媒体应用251可以包括例如3D游戏应用252和视频聊天应用253。并发应用块250还可 以包括显示应用54,所述显示应用可以被用于控制在设备205外部的无线显示器。应用块 250还可以包括其它多媒体应用255。设备205还可以包括多媒体参数管理器和数据流跟踪
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1