用于热功率预算编制的动态多媒体数据流控制的方法、设备和系统的制作方法_4

文档序号:9731855阅读:来源:国知局
343以及,可选地,诸如优先级值 349之类的其它输入中的全部输入时,可以提供多媒体参数输出348。在其它方面中,针对各 种所跟踪数据流路径,优先级在多媒体参数管理器和数据流跟踪器中是已经已知的。逻辑 块340可以将多媒体参数输入341、342和343中的最小的多媒体参数值作为输出348来提供。 多媒体参数输出348由此可以成为当前硬件子系统的多媒体参数设置。在方面中,图3C中所 示的逻辑单元可以与调整每个硬件模块或者子系统的多媒体参数值相结合地被应用。逻辑 单元可以被周期性地应用,例如,当优先级、温度和功率值或者其它条件发生改变时。替代 地,逻辑单元可以被连续地应用,以便更好地适应变化的条件。
[0074]如所指出的,当温度水平、功率水平或者其它输入超过用于调用功率管理的门限 时,在针对较高优先级数据流多媒体参数被降低或者调整之前,可以首先针对低优先级数 据流降低或者调整多媒体参数。反过来,当温度水平、功率水平或者其它输入下降到用于调 用功率管理的门限之下时,多媒体参数可以在针对较低优先级数据流和应用被恢复或者调 整之前,针对高优先级数据流被恢复或者调整。可以以各种方式来针对各种数据流建立、维 护和更新优先级,所述多种方式包括通过检测并发的多媒体应用窗口中的哪些多媒体应用 窗口正被最经常地查看或者正在被查看了最长的时间段。
[0075]如图4A中所图示的,眼睛凝视检测和识别可以被用于确定并发的多媒体应用的数 据流之间的优先级。第一设备110可以以多种方式中的一个更多的方式使用照相机114来监 控照相机114的光场422内的眼睛421或者多个眼睛。与眼睛421或者多个眼睛421的注视点 423相关联的统计424可以被输入到眼睛凝视优先级模块420,以被收集和存储,以用于在第 一设备110的操作期间指示注视点423。眼睛凝视优先级模块420可以使用眼睛凝视信息,或 者可以如本文中所描述的结合其它与优先级相关的信息来使用眼睛凝视信息。可以使优先 级对多媒体参数管理器和数据流跟踪器460可用。在一个方面中,眼睛凝视检测可以使用例 如瞳孔的中心和红外或者近红外非平行光来创建角膜反射(CR)。瞳孔中心与角膜反射之间 的向量可以被用于计算注视点或者凝视方向。其它方法可以被用于检测凝视方向或者注视 点。可能进一步有必要实施建立用户的参考点的校准过程,所述校准过程可以例如在可以 使用眼睛凝视检测之前的建立过程期间被实施。
[0076] 可以将眼睛移动划分为两个一般类别,注视和扫视。注视可以在眼睛421或多个眼 睛的凝视暂停在特定位置处时出现。扫视在眼睛421或多个眼睛处于向另一个注视位置移 动的过程中时出现。一系列注视和扫视可以被称为扫描路径。出于建立并发的多媒体应用 的数据流的优先级的目的,来自与注视相关联的眼睛421或多个眼睛的信息在建立关于用 户正在最经常地查看或者最长持续时间地查看哪个窗口的统计时可以是最有用的。注视通 常可以持续大约200毫秒到350毫秒,或者取决于用户正在例如阅读文本还是观看屏幕而可 以更长或者更短。对于交互式游戏会话和需要专心和聚焦的其它应用,与游戏应用或者其 它应用相关联的窗口内的注视的持续时间可以更延长。
[0077]在现在的示例中,注视点423可以位于与游戏应用相关联的窗口410内。电话会议 应用的参与方1窗口 411在外部显示器120上可以被叠加在游戏应用的游戏窗口 410上。诸如 电话会议应用的参与方2窗口412和游戏应用的游戏控制窗口 413之类的额外的窗口可以被 显示在第一设备110上。然而,在游戏窗口 410内的注视点423上的眼睛421或多个眼睛的凝 视聚焦的持续时间在玩游戏期间可能占优势。尽管对电话会议应用窗口 411、参与方2窗口 412或者游戏控制窗口 413的周期性的眼睛凝视注视可能发生,但是针对眼睛421或多个眼 睛的凝视注视的统计可以指示出,用户正主要聚焦在游戏应用的游戏窗口410内,并且因此 游戏应用和对应的数据流可以被识别为具有高优先级。
[0078]当开发在眼睛凝视优先级模块420中的优先级信息被提供给多媒体参数管理器和 数据流跟踪器460时,可以对与并发的多媒体应用相关联的数据流路径进行跟踪。随着温 度、功率和其它传感器输入水平或者其它输入水平上升和下降,可以识别沿所跟踪的数据 流路径的硬件子系统和模块,以用于多媒体参数调整。当凝视统计改变时,可以更新优先 级。当传感器输入水平或者其它输入水平上升并且达到或者超过门限时,可以调用功率管 理。沿与低优先级数据流相关联的数据流路径的多媒体参数可以在较高优先级数据流之前 被降低或者调整。当传感器输入水平或者其它输入水平下降到门限水平之下时,可以终止 功率管理。当功率管理被终止时,沿与高优先级数据流相关联的数据流路径的子系统和模 块的多媒体参数可以在较低优先级数据流之前被恢复或调整。
[0079] 在其它方面中,如图4B中所示的,并发的多媒体应用可以向优先级分配模块440提 供信息,所述优先级分配模块440可以被配置为结合多媒体参数管理器和数据流跟踪器460 来操作。第二设备130可以被配置具有诸如具有参与方1窗口 431和参与方2窗口 432的电话 会议应用之类的并发的多媒体应用,所述参与方1窗口 431和参与方2窗口 432被显示在第二 设备130的显示器上。并发的多媒体应用还可以包括具有游戏窗口 430的游戏应用,在所述 游戏窗口 430上,与游戏相关联的图形被渲染和显示在第二设备130的显示器上。在方面中, 视频电话会议应用可以提供关于优先级的信息。优先级信息可以包括优先级提示442a,所 述优先级提示442a可以是结合视频会议应用数据流优先级模块442的优先级偏好、建议、需 求或者推荐。
[0080] 可以由视频会议应用数据流优先级模块442向多媒体参数管理器和数据流跟踪器 460的优先级分配模块440提供各种提示(包括与针对一个或多个特定数据流442b、442c和 442d所需要或者所推荐的多媒体参数相关联的提示)。游戏应用可以进一步提供诸如优先 级提示441a之类的信息,所述优先级提示441a可以是结合游戏应用数据流优先级模块441 的优先级偏好、建议、需求和推荐。可以由游戏应用数据流优先级模块441向多媒体参数管 理器和数据流跟踪器460的优先级分配模块440提供各种提示(包括与针对一个或多个特定 数据流441b、441c、441d和441e所需要或者所推荐的多媒体参数相关联的提示)。优先级分 配模块440可以使用提示信息来建立、维护和更新与并发的多媒体应用的数据流相关联的 优先级。优先级分配模块440可以结合其它信息来使用提示信息,所述其它信息包括来自眼 睛凝视检测统计的信息或者其它优先级相关信息。可以被用于建立和更新优先级的额外的 与优先级相关的信息的非限制性示例可以包括关于并发的多媒体应用的窗口中的哪个窗 口占用最大的显示器面积、窗口中的哪个窗口是"活跃的"(例如,当前正在从输入设备接收 输入)、哪个窗口正在提供最大量的多媒体数据等等的信息。
[0081] 在图5A中示出的一个方面方法500中,例如,响应于确定温度超过温度门限和功耗 超过功率门限中的一项或多项,针对执行在包括SoC的设备上的并发的多媒体应用来管理 数据流的方法。在框501中,操作设备可以监控SoC的温度。温度值可以被实时地获取为如本 文在上面所描述的由传感器所测量的值。温度值还可以存储在寄存器中,或者作为基于先 前测量值的预测值,或者某种组合。进一步,在框502中,操作设备可以监控SoC的功率值。功 率值可以实时地被获取为例如实时的电压、电流、传输功率或者其它测量的函数。功率值可 以进一步包括已存储的功率值、所预测的功率值、或者基于从所测量或者所存储的值和其 它可以影响功率的输入计算出的趋势的值。供替代的功率值的非限制性示例可以包括先前 功耗水平的历史值。先前功耗水平可以进一步与各种条件下的并发的多媒体应用中的执行 的多媒体应用的过去实例相关联。当相同的应用新近被启动时,或者当相同的应用当前正 在执行并且遇到类似条件时,这样的先前功耗信息可以允许相同的应用的当前和未来功率 水平被预测。
[0082] 当SoC温度在门限温度水平处或者以上(例如,被预定或者设置的水平,以便在该 水平被满足或者超过(即,确定框503="是")时,调用系统功率管理活动以降低温度水平) 时,可以采取行动以减轻功耗。当SoC温度不在门限温度以上(即,确定框503="否")时并且 SoC功率在门限功率水平处或者以上(即,确定框504="是")时,也可以采取行动以减轻功 耗。门限水平可以包括被预定或者设置的水平,以便当该水平被满足或超过时,调用系统功 率管理活动以降低功率水平。
[0083] 在一个方面中,为减轻功耗,在框505中,可以识别出还未经历多媒体参数降低的 数据流中具有最低优先级的并发的多媒体应用的数据流中的一个或多个数据流。数据流的 优先级可以与一个或多个多媒体参数的降低将引起的对用户体验的影响直接相关。进一 步,当识别了具有最低优先级的数据流时,可以识别具有下一个最高优先级的并发的多媒 体应用的数据流中的额外的数据流等,直到全部并发的多媒体数据流可以具有分配给其的 优先级为止。在方面中,在设备操作期间,随着新的并发多媒体应用被启动、终止,或者随着 用户将焦点切换到应用中不同应用,优先级可以被连续或者周期性地调整和更新。
[0084] 当识别了具有最低优先级的数据流时,在框506中,可以针对所识别的数据流来跟 踪数据流路径。在一个方面中,可以例如通过跟踪物理数据流路径来跟踪数据流路径。如所 指出的,与数据流相关联的每个分组可以包含识别该分组已经穿过的硬件模块或者子系统 中的每个硬件模块或者子系统的报头或者一系列经封装的报头。分组报头信息可以进一步 识别沿该分组的数据流路径的硬件模块或者子系统的源和目的地址。跟踪物理流路径可以 涉及识别分组源和目的地址,以及将地址与数据流或者数据传递路径内的硬件模块或者子 系统相关联。由此,可以针对具体的数据流路径识别贯穿SoC的、在接收和传递多媒体数据 中涉及的硬件模块或者子系统。可以通过监控诸如寄存器之类的各种处理器资源或者其它 用于传递分组的机制来识别正在访问(例如,读取或者写入)分组的硬件单元。替代地,可以 通过诸如由多媒体参数管理器和数据流跟踪器来独立地读取分组报头信息来识别硬件单 J L 〇
[0085] 在其它方面中,可以基于对应用代码的分析来提前确定数据流路径,以确定各种 与内核相关的、对或者关联于用于具体的多媒体数据流或者串流的各种硬件单元的调用。 在其它方面中,多媒体数据流可以被提供具有流识别符,所述流识别符可以在识别数据流 路径和数据流路径内的硬件单元中进行辅助。在方面中,在设备操作期间,随着新的并发多 媒体应用被启动、终止,或者随着用户将焦点切换到应用中不同应用,数据流路径可以被连 续或者周期性地调整和更新。
[0086]当已经跟踪了数据流路径以便识别沿数据流路径的硬件单元时,在框507中,可以 针对沿数据流路径的全部硬件单元来降低一个或多个多媒体参数(例如,分辨率、帧速率、 LoD或者其它参数),以便降低功耗。降低多媒体参数可以包括降低与图像或者视频串流捕 获设备(例如,照相机)相关联的分辨率、帧速率、LoD或者其它参数,降低照相机子系统的所 选择的分辨率或者帧速率,或者其它用于影响多媒体参数或者多个多媒体参数中的降低的 机制。这样的降低可以涉及例如由并发的多媒体应用中的一个多媒体应用来覆盖先前做出 的现有设置。降低可以由被配置为与操作系统合作工作的多媒体参数管理器和数据流跟踪 器模块例如通过与相关联的硬件子系统的设备驱动器进行交互来完成。
[0087]当多媒体参数被降低时,多媒体参数管理器和/或受影响的设备驱动器可以被配 置为向相关的应用或多个应用提供通知。通知可以指示已经出于实现功率管理措施的目的 而降低了参数。替代地,应用可能仍然不知道这样的降低已经发生。当被通知所述降低时, 应用可以向用户提供通知。用户可以有机会确定哪些应用可以被选择进行降低,或者哪些 应用可以被完全关闭,以改进功耗性能。在针对所识别的数据流路径降低了多媒体参数之 后,处理可以返回以继续监控温度和功率。针对额外的应用和/或数据流路径,过程可以继 续迭代,温度和功率水平应当保持在门限以上。直到可以确定当前的降低在降低温度和功 率水平中的有效性之前,延迟对额外的应用和/或数据路径的多媒体参数的降低,也可能是 有益的。替代地,可以建立参数降低门限和低于参数降低门限的参数恢复门限,以提供滞后 的水平。
[0088] 当SoC温度不在门限温度水平处或者以上(即,确定框503="否")时,以及当SoC功 率不在门限功率水平处或者以上(即,确定框504-一"否")时,可以采取行动以恢复多媒体 参数。当SoC功率在门限功率水平以下,并且在当前水平处的继续操作将不调用功率管理措 施时,可以采取行动。多媒体参数值可以在硬件单元中被恢复,在所述硬件单元中,多媒体 参数已经被降低。在方面中,直到可以确定当前的降低在降低温度和功率水平中的有效性 之前,延迟对在其中多媒体参数已经被降低的硬件单元的多媒体参数的恢复,也可能是有 益的。
[0089] 例如,在一些方面中,可以在确定对多媒体参数的恢复不会导致门限以上的温度 或者功率水平即时返回时恢复多媒体参数。所述确定可以涉及,例如,对所监控的温度或者 功率水平的下降趋势的分析。替代地,或者除分析趋势之外,可以建立固定的时间或者单独 的恢复门限水平,以提供防止参数降低或恢复措施的迅速循环(这很可能对用户体验有不 良影响)的滞后的量。替代地,可以调整多媒体参数的恢复或者降低的程度,以使得功耗水 平在目标水平上收敛。例如,如果温度或者功率水平仅稍微低于或者超过功率门限限制,则 可以作出小的恢复或者降低。当温度或者功率水平显著地低于或者超过功率门限限制时, 可以作出较大恢复或者降低。
[0090] 当温度和功率水平被确定为在门限或者限制(这可以包括在一定量的时间内低于 门限或者限制)以下时,则可以采取恢复多媒体参数的行动。替代地,当温度和功率水平被 确定为在恢复门限水平以下时,可以采取恢复多媒体参数的行动。在框508中,可以识别出 具有最高优先级的数据流,在所述具有最高优先级的数据流中,已经在沿着所跟踪的数据 路径的硬件单元中降低了一个或多个多媒体参数(例如,分辨率、帧速率、LoD或者其它参 数)。例如,多媒体参数管理器和数据流跟踪器可以基于原始或本机参数和当前参数来维护 关于优先级以及关于哪些硬件模块已经经历了多媒体参数的降低的信息。
[0091] 进一步,可以识别其中的多媒体参数已经被降低的具有最高优先级的数据流。当 识别了具有最高优先级的数据流时,可以识别数据流中的具有下一个最低优先级的额外的 数据流,等等。可以对数据流优先级进行识别,直到在其中多媒体参数已经被降低的全部数 据流可以被识别为止。替代地,可以在通过方面方法500在随后迭代中作出这样的确定。当 已经识别了在其中多媒体参数已经被降低的具有最高优先级的数据流时,在框509中,可以 针对具有相关联的优先级的所识别的数据路径来跟踪数据流路径。替代地,多媒体参数管 理器和数据流跟踪器可以先前已经识别、跟踪和存储了关于相关数据流路径的信息。
[0092]当数据流路径已被跟踪时,在框510中,可以将沿数据流路径的硬件子系统的多媒 体参数恢复为原始或者本机值。当已经针对所识别的数据流路径恢复了多媒体参数或多个 多媒体参数时,处理可以返回到继续监控温度和功率。针对额外的应用和/或数据流路径, 过程可以继续迭代,温度和功率水平应当保持在门限以下。迭代可以继续,直到全部多媒体 参数被恢复为原始或者本机值为止。
[0093] 如文本在上面所描述的,可以针对数据流建立优先级。在一个方面方法520中,如 图5B中所示的,如果可用的话,则在框521中,并发的多媒体应用可以例如向操作系统或者 向多媒体参数管理器和数据流跟踪器提供关于与其相关联的多媒体参数(例如,分辨率、帧 速率、LoD或者其它参数)的必需的、推荐的或者优选的值的信息。提供这样的信息可以在应 用启动或者执行时发生,或者可以在由操作系统或者多媒体参数管理器和数据流跟踪器进 行请求时提供。由应用提供的多媒体参数可以包括优选的值、必需的值、值的范围,或者可 以包括将提供可接受的用户体验的多媒体参数的最小值。例如,应用可以提供优选的分辨 率、帧速率、LoD和/或在其以下用户体验将变
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1