用于多媒体会议社区中的经平衡的用户体验的系统和方法与流程

文档序号:18968876发布日期:2019-10-28 23:43阅读:296来源:国知局
用于多媒体会议社区中的经平衡的用户体验的系统和方法与流程

便携式计算设备(“PCD”)正在个人和专业层面上变成人们的必需品。这些设备可以包括蜂窝电话、便携式数字助理(“PDA”)、便携式游戏控制台、掌上型计算机和其它便携式电子设备。

PCD通常在尺寸上是有限的,并且因此用于PCD内的部件的空间通常接近珍贵的程度。同样地,PCD内很少存在足够的用于工程师和设计者通过使用风扇、灵巧的空间布置或者被动冷却部件的有战略意义的放置来减轻处理部件的热降级或者故障的空间。因此,当前的系统和方法依赖于嵌入PCD芯片上或者其它地方的各种温度传感器来监控热能的耗散,并且然后使用所述测量来触发对调整工作量分配、处理速度等的热功率管理技术的应用,以减少热能产生。

例如,在与游戏应用相关联的巨大的图形处理工作量情况下,当前的系统和方法使图形处理单元(“GPU”)的电压和频率节流,以减轻过度的热能产生。在这样做时,不降低与游戏应用相关联的图形处理工作量,而相反,减慢处理工作量的速度。不可避免的结果是,以如以用户感知的服务质量(“QoS”)来测量的用户体验(“Ux”)为代价减轻了热能产生。即,使GPU节流达到了减少由GPU进行的热能产生的目标,但导致用户体验由于减慢了的图形输出而变糟。同样地,用于减轻由PCD中的多媒体处理部件进行的热能产生的当前的系统和方法可以不必要地影响提供给用户的QoS。

在不仅包括活跃游戏应用或者其它图形满载的应用而且还包括与同伴PCD通信的多媒体视频会议应用的用例下,对QoS的影响可能是甚至更严重的。当前的系统和方法使用不考虑对PCD中的总共功率预算的被分配给视频会议应用的部分的具体影响的“一个尺寸适合全部”的节流策略。此外,当前的系统和方法鉴于仅与该特定PCD相关的Ux而调整运行视频会议应用的PCD中的功耗。

因此,本领域中所需要的是一种用于PCD中的基于智能多媒体的热功率管理的系统和方法。更具体地说,本领域中所需要的是一种通过经由对多媒体参数设置的有选择的调整修改基于多媒体的工作量来管理多媒体处理部件中的热能产生的系统和方法。此外,本领域中所需要的是一种通过鉴于社区中的一个或多个其它PCD中的多媒体参数设置作出对特定PCD中的多媒体参数设置的有选择的调整来寻求对跨PCD的社区的Ux进行优化的系统和方法。



技术实现要素:

公开了用于在便携式计算设备(“PCD”)中使用基于智能多媒体的热功率管理来平衡多媒体会议社区中的用户体验的方法和系统的实施例。一种用于平衡多媒体会议社区中的用户体验的方法的示例性实施例设想PCD接收指示所述社区中的同伴PCD中的一个或多个视觉多媒体参数设置的数据。利用同伴PCD的跨越所述社区共享的所述视觉多媒体参数设置,可以以交互式方式实现对所述PCD的热功率管理。

例如,基于从所述同伴PCD接收的所述数据,所述PCD可以确定对其自身的视觉多媒体参数中的一个或多个视觉多媒体参数的所述设置的调整,以使得以数据分组流为形式的多媒体输出被调整。另外,所述PCD可以继而将其当前的多媒体参数和热功率状态投至所述同伴PCD,以使得所述PCD可以接收从所述同伴PCD流传送的可管理的多媒体输入。以这种方式,所述PCD通过避免不必要的多媒体工作量处理可以节省功耗,所述不必要的多媒体工作量用于对将不使由所述同伴PCD传递的QoS受益的多媒体数据进行编码和解码。额外地,通过鉴于所述同伴设备参数设置来优化多媒体输出的质量,所述PCD可以分配其功率预算中的更多功率预算以提升其自身的QoS水平。此外,在多媒体会议社区中的PCD对已鉴于所述社区的同伴PCD中的参数设置进行优化的数据流进行编码和发送的情况下,可以最小化多媒体会议事件所需的总体网络带宽。

一旦PCD鉴于同伴PCD设置和分配给其多媒体会议应用的功率预算来调整其自身的多媒体参数设置,则其可以监控与功耗相关联的条件,并且将它和与该条件相关联的预定义的门限进行比较,这样的预定义的门限诸如是温度门限或者功耗预算。基于对所述条件与所述预定义的门限的所述比较,所述方法可以确定对功耗的调整是被保证的。

确定对功耗的调整触发一个或多个视觉多媒体参数的调整,其设置对与总体多媒体工作量相关联的功耗有贡献。收集指示多个视觉多媒体参数的活跃设置的数据,并且查询所述视觉多媒体参数中的每个视觉多媒体参数的性能曲线图。然后将每个视觉多媒体参数的活跃设置映射到其各自的曲线图,以使得定义具有斜率的正切。对与每个视觉多媒体参数相关联的所述正切斜率进行比较,以及基于对正切斜率的所述比较,选择其活跃设置将被调整的第一视觉多媒体参数。有优势地,调整所述视觉多媒体参数的所述活跃设置操作以修改所述总体多媒体工作量,以使得相应地调整所述PCD中的功耗。继而,可以在点对点网络中或者经由监控所述多媒体服务的服务器与联网的多媒体社区中的同伴PCD共享所调整的设置。

值得注意的是,取决于特定的情形,对功耗的所述调整可以是功耗的降低(出于减少热能产生的目的)或者功耗的提高(出于提升对用户的服务质量的目的)。在任一场景中,对进行设置调整的视觉多媒体参数的选择是用户体验的改变对功耗的改变(将很可能由所述设置调整引起)的函数。也就是说,在其中对功耗的调整包括确定功耗的降低的情景中,实施例可以选择针对其而言对所述活跃设置的调整将提供最少的对每单位功耗降低的用户体验的不利影响的所述视觉多媒体参数。类似地,在其中对功耗的调整包括确定功耗的提高的情景中,实施例可以选择针对其而言对所述活跃设置的调整将提供最多的对每单位功耗提高的用户体验的正面影响的所述视觉多媒体参数。

其设置可以被特定实施例调整的示例性视觉多媒体参数包括但不限于:颜色深度、显示器亮度、GPU处理分辨率、图像动态算法选择、分辨率缩放比例、每秒的帧处理速率、图像/视频过滤以及可以控制比特速率的图像/视频压缩方法。

附图说明

在附图中,除非另外指出,否则相似的附图标记贯穿各种视图指相似的部分。对于诸如“102A”或者“102B”的具有字母字符指定的附图标记,所述字母字符指定可以区分出现在同一附图中的两个相似的部分或者元素。当想要使标号包含全部附图中具有相同附图标记的全部部分时,可以省略附图标记的字母字符指定。

图1A-1D是示例性视觉多媒体参数曲线图,每个图示出了视觉多媒体参数设置、与设置相关的用户体验和与设置相关联的功耗之间的关系;

图2是示出了用于通过对一个或多个视觉多媒体参数的有选择的调整来在便携式计算设备(“PCD”)中实现基于智能多媒体的热功率管理的片上系统的实施例的功能框图;

图3A-3B是示出了用于产生跨越多媒体会议社区的经平衡的用户体验(“Ux”)的系统的实施例的功能框图;

图4示出了参与图3的系统中的多媒体会议事件的PCD的社区;

图5是示出了以无线电话为形式的图2-4的PCD的示例性、非限制性的方面的功能框图,所述方面用于实现用于基于智能多媒体的热功率管理和跨越多媒体会议社区的经平衡的用户体验的方法和系统;

图6是示出了图5的PCD的一个示例性软件架构的示意图,所述示例性软件架构用于基于智能多媒体的热功率管理和跨越多媒体会议社区的经平衡的用户体验;

图7描绘了示出了用于参与多媒体会议事件的联网的社区中的经平衡的用户体验(“Ux”)管理的方法的逻辑流程图;

图8描绘了示出了用于优化包括两个或更多个参与多媒体会议事件的PCD的联网的社区中的全体社区用户体验(“Ux”)的方法的逻辑流程图;

图9A-9B描绘了示出了用于通过对一个或多个视觉多媒体参数的有选择的调整来进行对PCD中的热能产生的基于智能多媒体的管理的子方法的逻辑流程图。

具体实施方式

词语“示例性”在本文中用于表示“充当示例、实例或者说明”。任何在本文中被描述为“示例性”的方面不必理解为是对于其它方面来说是排他的、优选的或者有利的。

在本说明书中,术语“应用”还可以包括具有可执行内容的文件,例如,目标代码、脚本、字节码、标记语言文件和补丁。另外,本文中提到的“应用”还可以包括本质上不可执行的文件,例如,可能需要被打开的文档或者其它需要被访问的数据文件。

如本说明书中使用的,术语“部件”、“数据库”、“模块”、“系统”、“热能产生部件”、“处理部件”、“多媒体处理部件”等旨在指硬件的、固件的、硬件和软件的组合的、软件的或者执行中的软件的计算机相关实体。例如,部件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。作为说明,运行在计算设备上的应用和该计算设备两者都可以是部件。一个或多个部件可以存在于进程和/或执行的线程内,以及一个部件可以位于在一个计算机上和/或被分布在两个或更多个计算机中。另外,这些部件可以从具有各种存储在其上的数据结构的各种计算机可读介质来执行。部件可以诸如根据具有一个或多个数据分组的信号通过本地和/或远程过程来通信(例如,来自一个部件的数据,所述一个部件通过信号与本地系统中的、分布式系统中的和/或与其它系统跨越诸如是互联网的网络的另一个部件交互)。

在本说明书中,可互换地使用术语“中央处理单元(“CPU”)”、“数字信号处理器(“DSP”)”、“图形处理单元(“GPU”)”和“芯片”。此外,CPU、DSP、GPU或者芯片可以由一个或多个分立的本文中概括地称为“内核”的处理部件组成。额外地,在CPU、DSP、GPU、芯片或者内核是在PCD内的消耗各种水平的功率以操作在各种水平的功能效率上的功能部件的意义上来说,本领域的技术人员将认识到,对这些术语的使用不将所公开的实施例或者它们的等价物的应用限制到PCD内的处理部件的上下文。

在本说明书中,应当理解的是,可以与能够产生或者耗散可以按“温度”的单位被测量的能量的设备或者部件相关联地使用术语“热”和“热能”。因此,还将理解,参照某些标准值,术语“温度”设想任何可以指示“热能”产生设备或者部件的相对温暖或者热的缺乏的测量。例如,当两个部件处在“热”平衡状态下时,这两个部件的“温度”是相同的。

在本说明书中,术语“工作量”、“过程负载”、“过程工作量”、“多媒体工作量”等被可互换地使用,并且概括地针对与给定的实施例中的给定的处理部件相关联的处理负担或者处理负担的百分比。除了上面定义的术语之外,“图形处理部件”或者“多媒体处理部件”可以是任何具有一个或多个操作以定义多媒体工作量的其与之相关联的视觉多媒体参数的部件。为了这个目的,图形处理部件可以包括但不限于包括:图形处理单元、显示器控制器、显示器、视频/照片编码器、用于前置/后置照相机的图像传感器、内核、主内核、子内核、处理区域、硬件引擎等,或者任何存在于便携式计算设备内的集成电路之内或者之外并且被配置为处理多媒体工作量的部件。

在本说明书中,可互换地使用术语“热减轻技术”、“热策略”、“热功率管理”、“热减轻措施”、“节流”等。值得注意的是,本领域的技术人员将认识到,取决于使用的特定上下文,本段中列出的术语中的任何术语可以用来描述可操作为以热能产生为代价提升性能、以性能为代价减少热能产生或者在这样的目标之间交替的硬件和/或软件。

在本说明书中,术语“便携式计算设备”(“PCD”)用于描述任何运转在有限容量的电源(诸如电池)上的设备。尽管电池运转的PCD已被使用了数十年,但与第三代(“3G”)和第四代(“4G”)无线技术的到来相耦合的可再充电电池的技术进步已实现大量具有多个功能的PCD。因此,PCD除了别的以外还可以是蜂窝电话、卫星电话、寻呼机、PDA、智能电话、导航设备、智能本或者阅读器、媒体播放器、上述设备的组合、具有无线连接的膝上型计算机。

在本说明书中,术语“社区”指两个或更多个通信地耦合的PCD的网络。作为示例而非限制,PCD的社区可以包括一对或更多的参与多媒体视频会议事件的PCD,其中,视频和/或音频数据分组由所述一对PCD或者在所述一对PCD之间发送。社区中的每个PCD可以经由对由社区中的另一PCD编码和发送的数据分组进行解码来渲染多媒体。此外,PCD的社区除多媒体数据分组之外可以交换边带通信。

在本说明书中,术语“同伴”、“同伴PCD”、“同伴社区成员”等旨在指被包括在PCD的社区内的一个或多个其它的PCD。例如,由社区中的一个PCD编码的多媒体数据分组可以被发送到该社区中的一个或多个其它的PCD,即,多媒体数据分组可以从社区中的一个PCD被发送到一个或多个同伴PCD。

在本说明书中,在共同参与诸如视频会议的多媒体会议事件的PCD的社区的上下文内描述了系统和方法的实施例。设想参与视频会议的PCD中的一个或多个PCD可以依照包括与视频会议应用同时地运行其它应用的用例来操作。值得注意的是,本领域的技术人员将理解,在本说明书中提供的示例用于仅说明性目的,并且不旨在建议系统和方法的实施例限于包括多媒体会议应用的用例。

在不必影响社区内的任何给定的PCD处的服务质量(“QoS”)的情况下,管理PCD中或者跨越参与多媒体视频会议事件的PCD的社区的热能产生可以通过在PCD之间共享视觉多媒体参数的性能设置来完成。基于PCD的社区中的其它PCD的视觉多媒体参数设置,给定的PCD可以优化其编解码器设置,以使得传递给其用户的QoS在功率预算分配内被优化。

社区中的每个PCD可以监控其自身的功率预算和/或一个或多个传感器测量,所述传感器测量与PCD的内核中的硅结、层叠封装(“PoP”)存储器部件和/或外壳即“皮肤”的温度相关。通过紧密地监控功率预算和/或与部件相关联的温度,PCD中的智能多媒体热策略管理器(“IM-TPM”)模块可以系统地并且单个地调整视觉多媒体参数的性能设置以企图减轻热能产生和优化用户体验。有优势地,通过根据用户体验有选择地调整视觉多媒体参数设置,智能的多媒体热功率管理系统和方法可以在任何多媒体工作量下优化QoS。可以跨越社区来共享由给定的PCD的IM-TPM模块确定的视觉多媒体参数设置,以使得其它PCD可以鉴于它们的同伴社区成员的需求或者能力而调整它们的参数设置。这样,可以优化社区的总体用户体验或者QoS。

值得注意的是,尽管本文中在使用以图形处理单元(“GPU”)、显示器控制器、显示器、视频/照片编码器和用于前置/后置照相机的图像传感器处理器为形式的图形处理部件的多媒体会议应用的上下文中描述了用于多媒体会议社区中的经平衡的用户体验的方法的示例性实施例,但方法的应用不限于这样的图形处理部件或者用例。设想用于多媒体会议社区中的经平衡的用户体验的方法的实施例可以被扩展到依赖于部件(诸如但不限于调制解调器处理器、照相机等)来处理基于一个或多个参数设置可调整的工作量的任何PCD社区。

图1A-1D是示例性视觉多媒体参数曲线图,每个图示出了性能曲线,性能曲线定义视觉多媒体参数设置与与该设置相关的用户体验和与该设置相关联的功耗之间的关系。参考图1A,沿曲线图的x轴从左向右移动代表多媒体工作量可以在其处被给定的PCD处理和渲染的每秒的帧(“FPS”)的数量的提高。如本领域的技术人员将认识到的,FPS速率的提高需要被与FPS速率相关联的多媒体处理部件(诸如是GPU)消耗的功率的提高(其也与热能产生的增加相关)。相应地,沿y轴向上移动代表功耗的增加,并且虚线10A表示如本领域的技术人员所理解的FPS速率与功耗之间的相关性。

在图1A曲线图中,y轴还可以表示用户体验(“Ux”)水平,其中,沿y轴向上移动与改进的Ux相关。相应地,如由实线曲线11A所表示的,FPS水平与Ux水平之间存在相关性。参考曲线11A,曲线11A的初始陡峭的斜率说明从相对低水平起的FPS水平的提高可以产生显著的Ux的提高。相反,与较高FPS水平相对应的斜率11A的较平坦部分说明,一旦FPS水平已是相对高的,则FPS水平的进一步的提高不会产生显著的Ux水平的提高。

考虑到以上内容,本领域的技术人员将认识到,FPS水平的提高或者降低在FPS水平初始相对低时将对每瓦特功耗的Ux产生比在初始的FPS水平初始相对高时大的影响。例如,点12A代表相对高的示例性初始FPS水平,即,与FPS视觉多媒体参数相关联的多媒体处理部件正在以高的处理速度处理多媒体工作量。因此,在点12A处与曲线11A的正切的斜率是相对平坦的,并且指示FPS水平的向下调整将在没有对Ux的显著影响的情况下产生功率节省(因此降低热能产生)。类似地,FPS水平的向上调整将需要没有对Ux的正面影响的情况下的增大了的功耗(因此增大了的热能产生)。

如本领域的技术人员将理解的,FPS视觉多媒体参数影响多媒体工作量在其处被处理的速度。然而,诸如但不限于是颜色深度、显示器亮度、GPU处理分辨率、图像动态、压缩比例和分辨率缩放比例的一个或多个其它视觉多媒体参数可以协作以确定必须由一个或多个多媒体处理部件处理的聚合多媒体工作量,或者确定渲染多媒体输出所需的功耗水平。因此有优势地,对视觉多媒体参数中的一个或多个视觉多媒体参数的调整或者可以减少多媒体工作量以使得为处理工作量需要较少的功耗,或者可以节省为渲染多媒体工作量的输出所需的功耗。

值得注意的是,通过各种视觉多媒体参数设置确定的聚合多媒体工作量必须服从功率预算分配来处理。因此,设想各种参数设置可以被动态调整,以使得在功率预算约束内优化传递给用户的QoS。有优势地,系统和方法的实施例可以跨越PCD的社区共享PCD的参数设置,以使得功率不被编码和发送超过社区中的接收方PCD上参数设置的多媒体数据分组浪费。

参考图1B,沿曲线图的x轴从左向右移动表示多媒体输出可以在其处被渲染的颜色深度(“颜色比特”)的提高。如本领域的技术人员将认识到的,颜色深度水平的提高需要被与颜色深度参数相关联的多媒体处理部件(诸如是GPU)消耗的功率的增大(其也与热能产生的增大相关)。即,颜色深度参数设置越高,为了渲染图形输出必须被处理的工作量越高。相应地,沿y轴向上移动表示功耗的提高,并且虚线10B表示颜色深度水平与功耗之间的相关性,如由本领域的技术人员所理解的。

在图1B曲线图中,y轴还可以表示Ux水平,其中,沿y轴向上移动与改进的Ux相关。相应地,如由实线曲线11B所表示的,颜色深度水平与Ux水平之间存在相关性。参考曲线11B,曲线11B的初始陡峭的斜率说明从相对低水平起的颜色深度水平的提高可以产生显著的Ux的提高。相反,与较高颜色深度水平相对应的斜率11B的上部分说明,一旦颜色深度水平已是相对高的,则颜色深度水平的进一步的提高不会产生显著的Ux水平的提高。即,用户可能不注意或者认识到提高了的颜色深度水平,并且因此,提高不会改进Ux。

考虑到以上内容,本领域的技术人员将认识到,颜色深度水平的提高或者降低在颜色深度水平初始相对低时将对每瓦特功耗的Ux产生比在初始的颜色深度水平初始相对高时大的影响。例如,点12B表示相对低的示例性初始颜色深度水平,即,与颜色深度视觉多媒体参数相关联的多媒体处理部件正在处理与相对低的颜色深度设置相关联的多媒体工作量。因此,在点12B处与曲线11B的正切的斜率是相对陡峭的,并且指示颜色深度设置的向下调整将几乎不产生功率节省(因此几乎不节省热能产生),同时显著不利地影响Ux。类似地,颜色深度设置的向上调整将需要仅少量的功耗的提高(因此少量的热能产生的提高),同时提供对Ux的显著和正面的影响。

参考图1C,沿曲线图的x轴从左向右移动表示多媒体输出可以在其处被渲染的显示器亮度的提高。如本领域的技术人员将认识到的,显示器亮度设置的提高需要被与显示器亮度参数相关联的多媒体处理部件(诸如是显示屏)消耗的功率(这还与热能产生的增加相关)的提高。即,显示器亮度参数设置越高,为了渲染图形输出所需的功率水平越高。相应地,沿y轴向上移动表示功耗的提高,并且虚线10C表示显示器亮度与功耗之间的相关性,如本领域的技术人员理解的。

在图1C曲线图中,y轴还可以也表示Ux水平,其中,沿y轴向上移动与改进的Ux相关。相应地,如由实线曲线11C所表示的,显示器亮度设置与Ux水平之间存在相关性。就大部分而言,如本领域的技术人员将认识到的,更亮的显示器设置比昏暗的显示器设置对于用户有利。参考曲线11C,曲线11C的初始陡峭的斜率说明,从相对低水平起的显示器亮度的提高可以产生显著的Ux的提高。相反,与较高显示器亮度相对应的斜率11C的上部分说明,一旦显示器亮度设置已经是相对高的,则显示器亮度的进一步的提高不会产生显著的Ux水平的提高。即,用户可能不注意或者认识到增加了的显示器亮度水平,并且因此,显示器亮度的提高不会改进Ux。

考虑到以上内容,本领域的技术人员将认识到,显示器亮度的提高或者降低在显示器亮度设置初始相对低时将对每瓦特功耗的Ux产生比在初始的显示器亮度设置初始相对高时大的影响。例如,点12C表示既不高也不低的示例性初始显示器亮度设置,即,与显示器亮度视觉多媒体参数相关联的多媒体处理部件正在渲染与中等的显示器亮度设置相关联的多媒体输出。因此,在点12C处与曲线11C的正切的斜率指示显示器亮度设置的向下调整将产生中等的功率节省(因此节省中等量的热能产生),同时中等地影响Ux。类似地,显示器亮度设置的向上调整将需要中等的功耗的提高(因此中等的热能产生的提高),同时提供尽管中等但正面的对Ux的影响。

参考图1D,沿曲线图的x轴从左向右移动表示多媒体工作量可以在其处被处理和渲染的GPU处理分辨率的提高。如本领域的技术人员将认识到的,GPU处理分辨率设置的提高需要被与GPU处理分辨率设置相关联的多媒体处理部件(诸如是GPU)消耗的功率的提高(其也与热能产生的提高相关)。相应地,沿y轴向上移动表示功耗的提高,并且虚线10D表示GPU处理分辨率与功耗之间的相关性,如本领域的技术人员理解的。

在图1D曲线图中,y轴还可以表示用户体验(“Ux”)水平,其中,沿y轴向上移动与改进的Ux相关。相应地,如由实线曲线11D所表示的,GPU处理分辨率设置与Ux水平之间存在相关性。参考曲线11D,曲线11D的初始陡峭的斜率说明,从非常低的设置起的GPU处理分辨率的提高可以产生显著的Ux的提高。相反,与中等和高GPU处理分辨率设置相对应的斜率11D的较平坦的部分说明,GPU处理分辨率的超过相对低的水平的进一步的提高不会产生显著的Ux水平的提高。

考虑到以上内容,本领域的技术人员将认识到,GPU处理分辨率设置的提高或者降低在GPU处理分辨率设置初始非常低时将对每瓦特功耗的Ux产生比在初始的GPU处理分辨率设置初始相对中等或者甚至高时更可察觉的影响。例如,点12D表示相对高的示例性初始GPU处理分辨率设置,即,与GPU处理分辨率视觉多媒体参数相关联的多媒体处理部件正在以高分辨率水平处理多媒体工作量。因此,在点12D处与曲线11D的正切的斜率是相对平坦的,并且指示GPU处理分辨率设置的向下调整将在没有对Ux的显著影响的情况下产生功率节省(因此降低热能产生)。类似地,GPU处理分辨率设置的向上调整将需要没有显著的对Ux的影响的情况下的增加了的功耗(因此增加了的热能产生)。

基于根据视觉多媒体参数设置对Ux的加权和计算,系统和方法的实施例可以系统地调整PCD中的一个或多个参数设置以优化Ux,同时调整总体功耗以满足功率预算分配。作为非限制性示例,由特定实施例监控的视觉多媒体参数可以包括FPS速率、GPU处理分辨率设置、颜色深度设置(用于渲染图形的颜色比特)、显示器亮度水平、运动估计算法选择和3D图像算法选择。当PCD在操作中时,各种参数的设置和水平共同对与多媒体处理相关联的总体Ux水平和总体功耗水平有贡献。如在上面解释的,所述参数中的任一个参数的活跃设置的提高或者降低可以影响PCD中的总体Ux和总体功耗两者。有优势地,假如功耗应当被提高或者降低,则实施例寻求以优化Ux的方式作出这样的功耗调整(以及相关的热能产生调整)。在一个示例中,代价可以被定义为Y+lambda×X,其中,Y、lambda、X分别表示用户体验、斜率和任何可以被放入如图1A-1D中所示的x轴中的控制参数。给定了代价,则通过找出最低代价获得经调整的参数。

当各种参数的设置和水平在给定的PCD内被调整以在多媒体工作量处理的功率预算分配内优化Ux时,系统和方法的特定实施例利用与联网的社区中的其它PCD的边带通信来共享设置。以这种方式,社区中的其它PCD可以调整它们自身的功耗,以使得它们将不出于对由于接收方PCD中的多媒体参数设置而不会产生对Ux的有价值的影响的多媒体数据进行编码和发送的目的而消耗功率。以这种方式,可以鉴于总体功耗来优化跨越社区的总体Ux。下面与至少图3-4相关地描述了关于跨越PCD的社区共享多媒体参数设置的系统和方法的实施例的更多细节。

图2是功能框图,该功能框图示出了用于通过对一个或多个视觉多媒体参数28的有选择的调整来在便携式计算设备(“PCD”)100中实现基于智能多媒体的热功率管理的片上系统102的实施例。有优势地,通过有选择地调整与多媒体工作量和/或多媒体输出相关联的一个或多个视觉多媒体参数28,系统和方法的实施例可以在不过度地影响总体用户体验(“Ux”)的情况下解决热能减轻需求和/或功率预算限制。

概括地说,所述系统使用在某些实施例中可以被包含在一个或两个模块中的三个主要模块:(1)功耗和温度(“PCT”)模块26,其用于分析温度读数、功率预算分配和由监控器模块114监控的视觉多媒体参数28设置以及确定热功率管理动作(值得注意的是,在某些实施例中,监控器模块114和PCT模块26可以就是同一个);(2)用户体验(“Ux”)建模模块27,其用于根据从PCT模块26接收的热功率管理动作来选择视觉多媒体参数调整;以及(3)智能多媒体热功率管理(“IM-TPM”)模块101,其用于根据从Ux建模模块27接收的指令来调整视觉多媒体参数28设置。有优势地,包括所述三个主要模块的系统和方法的实施例优化伴随多媒体处理和输出的总体Ux,同时将多媒体处理部件的功耗维持在预定的功率预算内的和/或将温度水平维持在可接受的门限之下。

值得注意的是,IM-TPM模块101还可以调整用于在诸如视频会议的社区多媒体事件中对发送给PCD 100和从PCD 100发送的多媒体数据分组进行编码和解码的编解码器设置。此外,IM-TPM模块101可以与社区中的同伴PCD共享它的视觉多媒体参数28设置。下面相对于至少图3描述了关于IM-TPM模块101中的这样的功能的更多细节。

返回到图2的示例性实施例,监控器模块114监控与多媒体处理部件显示器控制器128、GPU 182、显示器132、视频/照片编码器134、135和用于前置/后置照相机的图像传感器处理器111相关联的各种视觉多媒体参数28设置和水平。另外,监控器模块114可以监控与包括但不限于以下各项的PCD 100的各种部件或者方面相关联的温度传感器157:PCD 100的GPU 182的核心中的硅结、层叠封装(“PoP”)存储器部件112A和/或外壳24即“皮肤”。监控器模块114可以将指示视觉多媒体参数28的活跃设置和/或由传感器157测量的温度的数据中继给PCT模块26。

从由监控器模块114提供的数据中,PCT模块26可以识别热温度门限已被超过,并且确定与多媒体处理部件相关联的热能产生应当被减轻。类似地,根据由监控器模块114提供的关于视觉多媒体参数28的活跃设置的数据,PCT模块26可以计算多媒体处理部件111、128、182、132、134、135的总体功耗水平,并将其与预定的功率预算进行比较。为了根据视觉多媒体参数28的活跃设置来计算总体功耗水平,PCT模块26可以查询视觉多媒体参数曲线图查找表(“LUT”)29,视觉多媒体参数曲线图查找表(“LUT”)29包含诸如图1中所描绘那些视觉多媒体参数曲线图的视觉多媒体参数曲线图。有优势地,对于由监控器模块114监控的每个活跃设置,PCT模块26可以将点12映射到合适的视觉多媒体参数曲线图中的曲线11上,以及基于点12的x轴值来确定与视觉多媒体参数的该活跃设置相关联的功耗水平。因此,与全部视觉多媒体参数设置相关联的聚合功耗水平可以由PCT模块26来计算,并且与预定义的功率预算进行比较。

如果温度门限或者功率预算已被超过,则PCT模块26可以指导Ux建模模块27确定对视觉多媒体参数28的活跃设置中的一个或多个活跃设置的合适调整。类似地,如果PCT模块26确定功率预算中存在可用的净空,即可以通过将不导致功率预算被超过的功耗的提高来改进用户体验,则PCT模块26可以指导Ux建模模块27确定对视觉多媒体参数28的活跃设置中的一个或多个活跃设置的合适调整。

Ux建模模块27在从PCT模块26接收用于向上或者向下调整一个或多个视觉多媒体参数28设置的指令时,查询LUT 29,并且对与符合调整条件的参数28相关联的视觉多媒体参数曲线图进行比较。在也已从监控器模块114接收了视觉多媒体参数28的活跃设置的情况下,Ux建模模块27针对每个活跃设置将点12映射到合适的视觉多媒体参数曲线图中的曲线11上。基于每个点12的正切的斜率,Ux建模模块27可以确定哪个(些)参数28应当被调整,以便在由PCT模块26指定的功耗约束内优化用户体验。

例如,如果PCT模块26已指导了热能产生应当通过降低功耗被减轻,则Ux建模模块27可以识别那些具有相对平坦的斜率的正切,并且随后选择关联的参数进行调整。以这样的方式,可以将对用户体验的不利影响保持在每单位的由于调整所节省的功率的最小量。类似地,如果PCT模块26已指导了功耗可以在不超过功率预算的情况下被提高,则Ux建模模块27可以识别那些具有相对陡峭的斜率的正切,并且随后选择关联的参数进行调整。以这样的方式,可以最大化每额外单位的由于调整所消耗的功率的对用户体验的影响。

值得注意的是,设想系统和方法的一些实施例可以识别具有最有利的正切斜率的单个参数28,并且然后将参数28的设置调整为仅与对于捕获被定为目标的功率节省或者消耗提高来说必要的量一样多的量。其它实施例可以将第一参数设置仅向上调整到使得经调整的设置定义具有和与第二参数28相关联的正切的斜率相比不那么有利的斜率的正切的点,第二参数的设置被相应地调整到该点处。另外的其它的实施例,不是在确定第二设置调整之前作出设置调整和从监控器模块114收集反馈,而是可以计算跨越多个参数28的多个调整,并且然后同时作出全部调整。

返回到图2的实施例,Ux建模模块27可以指导IM-TPM模块101作出与视觉多媒体参数28中的一个或多个视觉多媒体参数相关联的设置的特定调整。值得注意的是,如在上面阐述的,视觉多媒体参数28可以与PCD 100的影响多媒体处理或者输出的任何功耗部件、方面或者功能相关联。在图2的示例性实施例中,以显示器控制器128、GPU 182、显示器132、视频/照片编码器134、135和用于前置/后置照相机的图像传感器处理器111的形式示出了五个多媒体处理部件。

示例性视觉多媒体参数28A可以包括但不限于:图像分辨率设置、每秒的帧(“FPS”)速率、图像降噪水平、防抖图像稳定可用性、颜色/对比度调整可用性和图像增强过滤器设置。

示例性视觉多媒体参数28B可以包括但不限于分辨率缩放比例(原始显示),对所述分辨率缩放比例的调整可以直接影响由显示器控制器128产生的功耗和对应的用户体验,以及针对多图像层构成的FPS速率。

示例性视觉多媒体参数28C可以包括但不限于各种图像动态算法、FPS速率、GPU处理分辨率设置和颜色深度比特设置,对上述各项的调整可以直接影响由GPU 182产生的功耗和对应的用户体验。

示例性视觉多媒体参数28D可以包括但不限于显示器亮度设置,对所述显示器亮度设置的调整可以直接影响由显示器产生的功耗和对应的用户体验。

示例性视觉多媒体参数28E可以包括但不限于视频编码压缩比例设置、视频录制分辨率设置、视频录制的FPS速率、突发照片拍摄(快门间隔设置)和每照片的编码处理速度(延时设置)。

与示例性多媒体子系统111、128、182、132、134、135相关联的其它示例性参数28包括但不限于:

图3A-3B是功能框图,该功能框图示出了用于产生跨越多媒体会议社区经平衡的用户体验(“Ux”)的系统300的实施例。在图3A的实施例中,由CMM服务器105管理各种方面,而在图3B的实施例中,由采用点对点布置的一个或多个PCD 100来管理那些方面。尽管设想可以使用任一布置的变型来提供跨越多媒体会议社区经平衡的Ux,但是将一起描述图3的实施例。说明性的系统300的社区被描绘为包括一对同伴PCD 100A、100B,尽管设想可以将任意数量的PCD包括在系统300中。如在上面与图1和2相关地描述的,每个PCD 100可以有选择地调整一个或多个视觉多媒体参数以视图在预定的功率预算内优化Ux。

出于描述系统300的实施例的目的,考虑其中每个PCD 100A、100B活跃地参与包括多个具有图形工作量的应用(其中,一个应用是基于社区的多媒体会议应用)的用例的示例性用例场景。如本领域的技术人员将理解的,同时运行在系统300中的每个PCD 100A、100B上的多媒体会议应用可以使各自的PCD 100的用户能够参与多媒体会议事件。如本领域的技术人员将进一步理解的,参与会议事件可以指定由一个PCD(例如PCD 100A)来捕获的视频和/或音频数据可以经由通信网络130被发送给系统300中的同伴PCD(例如PCD 100B)、被该同伴PCD解码和渲染,以及反之亦然。

视频和/或音频数据可以被一个PCD 100(见图5)中的麦克风160和/或照相机148捕获,经由网络130的通信链路145被发送给系统300中的同伴PCD 100,以及由同伴PCD 100通过扬声器154、156和/或显示器132进行渲染。如在上面描述的,可以依照由图2的片上系统102确定的各种视觉多媒体参数设置来渲染视频数据。

返回到示例性场景,假设PCD 100A正依照包括有大量图形的游戏应用和多媒体会议应用的用例进行操作。PCD 100B也可能正依照具有依赖于多个图形的应用(例如,经由互联网浏览器的基于网络的呈现和多媒体会议应用)的用例进行操作。在每个PCD 100中,设想总体功率预算可以被细分,以使得功率预算的仅一部分被分配给多媒体会议应用。值得注意的是,并且如本领域的技术人员将理解的,被分配给多媒体会议应用的功率预算部分在PCD 100之间可以是不同的,并且进一步地,多媒体性能能力也可能不同。

在示例性场景中,PCD 100的片上系统102可以牺牲与一个应用相关联的QoS以有利于与另一个应用相关联的提高的QoS。例如,在PCD 100A中,它的片上系统102可以基于优化与游戏应用相关联的QoS的目标来将总体功率预算的一部分分配给多媒体会议应用。类似地,在PCD 100B中,它的片上系统102可以基于优化与多媒体会议应用相关联的QoS的目标将总体功率预算的一部分分配给基于网络的呈现。IM-TPM模块101可以确定和/或识别给定PCD 100中的总体功率预算如何在用例的活跃应用之间分布。

考虑到以上内容,可以初始从PCD 100A的角度来描述系统300。如之前描述的,监控器模块114A可以监控温度传感器157和/或PCD 100A内的功耗的其它指示符。PCT模块26A可以负责确定被分配给多媒体会议应用的总体功率预算的部分。基于功率预算的所分配的部分,PCT模块26A与Ux建模模块27A一起运转以设置各种多媒体参数,以使得与多媒体会议事件相关联的QoS被针对用户来优化。IM-TPM模块101A可以设置参数,并且然后经由网络130与PCD 100B共享它们。

PCD 100可以通过各种类型的通信链路145耦合到网络130。这些通信链路145可以包括有线的以及无线的链路。通信链路145允许PCD 100建立与彼此的虚拟链路150。尽管在PCD 100A与100B之间描绘了虚拟链路150,但实际的有线或者无线的链路可以直接存在于PCD 100之间,以建立如本领域的技术人员所理解的双向通信。

返回到示例,IM-TPM模块101A可以经由链路150A来建立与同伴PCD 100B中的IM-TPM模块101B的边带通信。有优势地,PCD 100B可以然后鉴于PCD 100A处的设置来设置它的多媒体编码参数。例如,回头参考图1B,假设IM-TPM模块101A已将颜色深度参数设置为点12B,并且随后与PCD 100B的IM-TPM模块101B共享该设置。IM-TPM模块101B可以然后关于颜色深度来限制它的视频数据编码,以使得它不超过点12B的设置。在这样做时,IM-TPM模块101B可以避免在它的视频会议端上的不必要的功耗,否则如果PCD 100A设备不需要编码视频数据分组的话所述不必要的功耗将发生。

值得注意的是,通过跨越通信链路150A来共享多媒体参数设置,PCD 100可以最小化编码器134的功耗,这是由于仅被解码器137需要的视频数据被跨越虚拟链路150B、150C进行发送。以这种方式,可以在每个PCD 100处优化与多媒体会议应用相关联的功耗,以及跨越多媒体会议社区地平衡Ux。

回头参考图3的说明,设想特定实施例可以使用社区多媒体管理器(“CMM”)服务器105。在这样的实施例中,CMM服务器105可以包括CMM模块106,CMM模块106用于执行之前与PCT模块26、Ux建模模块27和IM-TPM模块101相关地描述的功能中的全部功能或一些功能。CMM服务器105可以出于确定PCD 100中的一个或多个PCD的合适参数设置的目的而访问视觉多媒体参数曲线图数据库120。然后可以将设置传送回PCD 100以便被IM-TPM模块101应用。也可以与系统300中的同伴PCD 100的其它IM-TPM模块共享设置。以这种方式,CMM服务器105可以是用于使用用于跨越多媒体会议事件中的社区来平衡Ux的系统和方法的实施例的中央设备。

对于包括CMM服务器105的系统和方法的实施例,PCD 100可以经由网络130与CMM服务器105通信。当CMM服务器105耦合到网络130时,服务器105可以通过网络130与参与多媒体会议事件的社区中的各种不同的PCD 100通信。每个PCD 100可以运行或者执行网络浏览软件或者功能,以访问CMM服务器105以及它的各种应用(包括CMM模块106)。任何可以直接地或者经由至赠送设备的连线来访问网络130的设备可以是符合系统300的PCD 100。PCD 100以及诸如但不限于是无线路由器(未示出)的系统100内的其它部件可以通过各种类型的通信链路145耦合到网络130。这些通信链路145可以包括有线的以及无线的链路。通信链路145允许PCD 100经由CMM服务器105来建立与彼此的虚拟链路150。

图4示出了系统300中的参与多媒体会议事件的PCD 100的社区。在图4的图示中,系统300可以使用如上面描述的用于使用CMM服务器150来跨越多媒体会议社区平衡Ux的方法的实施例。有优势地,通过使用CMM服务器105来设置PCD 100中的每个PCD的视觉多媒体参数,可以量化和优化社区的总体用户体验。此外,设想在某些实施例中,社区中的特定一个“主”PCD可以执行CMM服务器105的功能,以及因此,本文中被描述为包括CMM服务器105的特定实施例不旨在将那些实施例限为包括CMM服务器105的系统。

应当注意到的是,并且如在上面描述的,设想系统和方法的特定实施例可以确定个别的PCD 100的片上系统102内的视觉多媒体参数设置,并且然后与参与多媒体会议事件的社区中的同伴PCD 100共享那些设置。然而,还设想,特定实施例,代替个别片上系统102出于优化具体PCD 100中的Ux的目的而设置视觉多媒体参数,将跨越社区来设置视觉多媒体参数,以使得将最大化参与多媒体会议事件的全部PCD 100的聚合Ux。在这样的场景中,可以为有利于整个社区的利益而牺牲对特定PCD 100的优化。

针对每个PCD 100,给定的视觉多媒体参数的最优的社区设置可以从CMM服务器105接收,并被IM-TPM模块101应用。通过应用最优的社区设置,可以针对每个PCD 100量化视觉多媒体参数的加权和。有优势地,为了社区整体的Ux的优化的加权和,可以聚合每个PCD 100的加权和。

图5是功能框图,该功能框图示出了以无线电话为形式的图2-4的PCD 100的示例性、非限制性方面,所述无线电话用于实现用于基于智能多媒体的热功率管理和跨越多媒体会议社区的经平衡的用户体验的方法和系统。如所示的,PCD 100包括片上系统102,片上系统102包括耦合在一起的多内核中央处理单元(“CPU”)110和模拟信号处理器126。如本领域的技术人员所理解的,CPU 110可以包括第零个内核222、第一个内核224和第N个内核230。进一步地,取代CPU 110,如本领域的技术人员所理解的,还可以使用数字信号处理器(“DSP”)。

概括地说,PCD模块26、Ux模型模块27和IM-TPM模块101可以共同负责对与多媒体处理部件(诸如GPU 182)相关联的视觉多媒体参数进行选择和作出调整,以便管理功耗(以及甚至于热能产生)和优化用户体验。IM-TPM模块101还可以负责与社区中的同伴PCD共享视觉多媒体参数的设置。此外,PCT模块26可以负责识别包括多个运行的应用的PCD 100中的活跃用例,并且确定应当被分配给每个应用的总体功率预算的部分。

监控器模块114与遍及片上系统102分布的多个操作传感器(例如热传感器157A、157B)和与PCD 100的CPU 110以及与Ux模型模块27和PCT模块26通信。在某些实施例中,监控器模块114还可以监控皮肤温度传感器157C的与PCD 100的触摸温度相关联的温度读数。在其它实施例中,监控器模块114可以基于伴随由片上温度传感器157A、157B取得的读数的可能的增量来推断触摸温度。PCT模块26可以与监控器模块114一起工作以识别已被超过的温度门限,并且指导进行对与芯片102内的功耗部件相关联的视觉多媒体参数调整的应用,以视图在不必影响用户体验的情况下降低温度。

如图5中所说明的,显示器控制器128、视频解码器137和触摸屏控制器130耦合到数字信号处理器110。在片上系统102外部的触摸屏显示器132耦合到显示器控制器128和触摸屏控制器130。PCD 100可以还包括例如是逐行倒相(“PAL”)编码器、按顺序传送彩色与存储(“SECAM”)编码器、国家电视系统委员会(“NTSC”)编码器或者任何其它类型的视频编码器134的视频编码器134。视频编码器134耦合到多核中央处理单元(“CPU”)110。视频放大器136耦合到视频编码器134和触摸屏显示器132。视频端口138耦合到视频放大器136。如图5中所描绘的,通用串行总线(“USB”)控制器140耦合到CPU 110。另外,USB端口142耦合到USB控制器140。存储器112和用户身份模块(“SIM”)卡146可以也耦合到CPU 110。进一步地,如图5中所示,数字照相机148可以耦合到CPU 110。在一个示例性方面中,数字照相机148是电荷耦合设备(“CCD”)照相机或者互补金属氧化物半导体(“CMOS”)照相机。

如图5中进一步说明的,立体声音频编解码器150可以耦合到模拟信号处理器126。此外,音频放大器152可以耦合到立体声音频编解码器150。在一个示例性方面中,第一立体声扬声器154和第二立体声扬声器156耦合到音频放大器152。图5示出了麦克风放大器158也可以耦合到立体声音频编解码器150。额外地,麦克风160可以耦合到麦克风放大器158。在一个特定的方面中,频率调制(“FM”)无线电调谐器162可以耦合到立体声音频编解码器150。另外,FM天线164耦合到FM无线电调谐器162。进一步地,立体声耳机166可以耦合到立体声音频编解码器150。

图5进一步指示射频(“RF”)收发机168可以耦合到模拟信号处理器126。RF开关170可以耦合到RF收发器168和RF天线172。如图5中所示,键区174可以耦合到模拟信号处理器126。另外,具有麦克风的单声道耳机176可以耦合到模拟信号处理器126。进一步地,振动器设备178可以耦合到模拟信号处理器126。图5还示出了电源188(例如电池)通过功率管理集成电路(“PMIC”)180耦合到片上系统102。在一个特定的方面中,电源包括可再充电的DC电池或者DC电源,所述DC电源是从交流电(“AC”)导出到连接到AC电源的DC变压器的。

CPU 110还可以耦合到一个或多个内部的片上热传感器157A以及一个或多个外部的片外热传感器157C。片上热传感器157A可以包括一个或多个与绝对温度成比例(“PTAT”)的温度传感器,所述温度传感器基于垂直PNP结构并且通常专用于互补金属氧化物半导体(“CMOS”)超大规模集成(“VLSI”)电路。片外热传感器157C可以包括一个或多个热敏电阻。热传感器157C可以产生电压降,利用模数转换器(“ADC”)控制器103将电压降转换成数字信号。然而,可以使用其它类型的热传感器157A、157B、157C,而不会脱离本发明的范围。

PCT模块26、Ux模型模块27和/或IM-TPM模块101可以包括由CPU 110执行的软件。然而,PCT模块26、Ux模型模块27和IM-TPM模块101也可以由硬件和/或固件构成,而不会脱离本发明的范围。PCT模块26、Ux模型模块27和IM-TPM模块101可以共同负责对与多媒体处理部件(诸如GPU 182)相关联的视觉多媒体参数进行选择和作出调整,以便管理功耗(以及甚至于热能产生)和优化用户体验。

触摸屏显示器132、视频端口138、USB端口142、照相机148、第一立体声扬声器154、第二立体声扬声器156、麦克风160、FM天线164、立体声耳机166、RF开关170、RF天线172、键区174、单声道耳机176、振动器178、电源188、PMIC 180和热传感器157C在片上系统102的外部。然而,应当理解,监控器模块114还可以通过模拟信号处理器126和CPU 110从这些外部设备中的一个或多个外部设备接收一个或多个指示或者信号,以辅助对在PCD 100上可操作的资源的实时管理。

在一个特定的方面中,本文中描述的方法步骤中的一个或多个方法步骤可以由构成一个或多个PCT模块26、Ux模型模块27和/或IM-TPM模块101的存储在存储器112中的可执行指令和参数来实现。构成模块101、26、27的这些指令除了由ADC控制器103之外还可以由CPU 110、模拟信号处理器126或者另一个处理器来执行,以执行本文中描述的方法。进一步地,处理器110、126、存储器112、存储在其中的指令、或者其组合可以充当用于执行本文中描述的方法步骤中的一个或多个方法步骤的单元。

图6是示意图,该示意图示出了图5的用于基于智能多媒体的热功率管理和跨越多媒体会议社区经平衡的用户体验的PCD 100的示例性软件架构。任意数量的算法可以构成(或者是其一部分)至少一个智能多媒体热功率管理和/或用户体验优化策略,其在特定的热条件和/或功率约束被满足时可以被PCT模块26、Ux模型模块27和/或IM-TPM模块101应用;然而,在优选的实施例中,PCT模块26、Ux模型模块27和IM-TPM模块101一起工作,以递增地调整与多媒体处理部件相关联的视觉多媒体参数28的设置,所述多媒体处理部件包括但不限于显示器控制器128、GPU 182、显示器132、视频/照片编码器134、135和用于前置/后置照相机的图像传感器处理器111。

如图6中所说明的,CPU或者数字信号处理器110经由总线211耦合到存储器112。如上面指出的,CPU 110是具有N个内核处理器的多内核处理器。即,CPU 110包括第一内核222、第二内核224和第N内核230。如本领域的技术人员已知的,第一内核222、第二内核224和第N内核230中的每项可用于支持专用的应用或者程序。替代地,可以分布一个或多个应用或者程序以跨越可用的内核中的两个或更多个内核进行处理。

CPU 110可以从可以包括软件和/或硬件的PCT模块26、Ux模型模块27和/或IM-TPM模块101接收命令。如果被实现为软件,则模块26、27、101包括由CPU 110执行的指令,所述指令向由CPU 110和其它处理器执行的其它应用程序发出命令。

CPU 110的第一内核222、第二内核224至第N内核230可以被集成在单个的集成电路管芯上,或者它们可以被集成或者耦合在多电路封装中的单独的管芯上。设计者可以经由一个或多个共享的高速缓冲来耦合第一内核222、第二内核224直到第N内核230,并且它们可以经由诸如是总线、环形、网状和横梁拓扑的网络拓扑来实现消息或者指令传递。

如本领域中已知的,总线211可以包括多个经由一个或多个有线或者无线的连接的通信路径。总线211可以具有额外的、诸如控制器、缓冲器(高速缓冲)、驱动器、转发器和接收机的单元(为简单起见被省略了),以实现通信。进一步地,总线211可以包括用于实现前述部件之间的合适通信的地址、控制和/或数据连接。

当由PCD 100使用的逻辑单元是用软件来实现的时,如图6中所示,应当指出的是,启动逻辑单元250、管理逻辑单元260、智能多媒体热功率管理接口逻辑单元270、应用存储器280中的应用和文件系统290的部分中的一项或多项可以被存储在任何计算机可读介质上,以供或者结合任何计算机相关的系统或者方法来使用。

在本文档的上下文中,计算机可读介质是可以包含或者存储用于供或者结合计算机相关的系统或者方法使用的计算机程序和数据的电子的、磁性的、光学的或者其它物理的设备或者单元。各种逻辑元件和数据存储器可以用任何供或者结合指令执行系统、装置、或者设备(例如,基于计算机的系统、包含处理器的系统或者其它可以从所述指令执行系统、装置或者设备获取指令并且执行指令的系统)来使用的计算机可读介质来实现。在本文档的上下文中,“计算机可读介质”可以是任何可以存储、传送、传播或者传输供或者结合指令执行系统、装置或者设备来使用的程序的单元。

计算机可读介质可以例如但不限于是电子的、磁性的、光学的、电磁的、红外的或者半导体的系统、装置、设备或者传播介质。计算机可读介质的更具体的示例(非穷举性的列表)将包括以下各项:具有一个或多个电线的电气连接(电子)、便携式计算机磁盘(磁性)、随机存取存储器(RAM)(电子)、只读存储器(ROM)(电子)、可擦除可编程只读存储器(EPROM、EEPROM或者闪速存储器)(电子)、光纤(光学)和便携式压缩盘只读存储器(CDROM)(光学)。应当指出,计算机可读介质可以甚至是程序被打印在其上的纸或者另一种合适的介质,因为程序可以例如经由对纸或者其它介质的光学扫描被电子地捕获,然后如果必要则以合适的方式被编译、解释或者处理,并且然后被存储在计算机存储器中。

在其中用硬件来实现启动逻辑单元250、管理逻辑单元260以及可能的智能多媒体热功率管理接口逻辑单元270中的一项或多项的替代实施例中,可以利用下面的技术中的任何技术(其中的每个技术都是本领域中公知的)或者其结合来实现各种逻辑单元:具有用于在数据信号上实现逻辑功能的逻辑门的分立的门电路、具有合适的组合逻辑门的专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。

存储器112可以是诸如闪速存储器或者固态存储器设备的非易失性数据存储设备。尽管被描绘为单个设备,但存储器112可以是具有耦合到数字信号处理器110(或者额外的处理器内核)的单独的数据存储器的分布式存储器设备。

启动逻辑单元250包括一个或多个用于有选择地识别、加载和执行选择程序的可执行指令,所述选择程序用于管理或者控制可用的内核(诸如第一内核222、第二内核224至第N核230)中的一个或多个内核的执行。启动逻辑单元250可以基于由PCT模块26对各种温度测量或者功耗水平与和多媒体处理部件或者方面相关联的门限温度设置或者功率预算设置进行的比较来识别、加载和执行选择程序。一个示例性选择程序可以在嵌入式文件系统290的程序存储器296中找到,并且由智能的多媒体算法297和参数的集合298的具体组合来定义。示例性选择程序在由CPU 110中的内核处理器中的一个或多个内核处理器执行时可以与由一个或多个PCT模块26、Ux模型模块27和/或IM-TPM模块101提供的控制信号相结合地根据由监控器模块114提供的一个或多个信号操作,以“向上”或者“向下”调整与特定的视觉多媒体参数相关联的设置,并且然后与联网的社区中的同伴PCD共享那些设置。

管理逻辑单元260包括一个或多个用于终止智能多媒体热功率管理程序、以及有选择地识别、加载和执行更合适的替代程序的可执行指令。管理逻辑单元260被布置为在运行时或者当PCD 100被加电并且正被设备的操作者使用时执行这些功能。替代程序可以在嵌入式文件系统290的程序存储器296中找到,以及在某些实施例中可以由智能多媒体算法297和参数的集合298的具体组合来定义。

替代程序在被数字信号处理器中的内核处理器中的一个或多个内核处理器执行时可以根据由监控器模块114提供的一个或多个信号或者在各种处理器内核的各自的控制输入上提供的一个或多个信号来操作,以调整与多媒体处理部件128、182和132相关联的一个或多个视觉多媒体参数28的设置。

接口逻辑单元270包括一个或多个用于呈现、管理外部输入以及与外部输入交互以观察、配置或者以其它方式更新存储在嵌入式文件系统290中的信息的可执行指令。在一个实施例中,接口逻辑单元270可以与经由USB端口142接收的制造者输入相结合地操作。这些输入可以包括一个或多个将从程序存储器296被删除或者将向程序存储器296添加的程序。替代地,所述输入可以包括对程序存储器296中的程序中的一个或多个程序的编辑或者改变。此外,所述输入可以标识对启动逻辑单元250和管理逻辑单元260中的一项或两项的一个或多个改变或者完整替代。作为示例,所述输入可以包括对管理逻辑单元260的改变,其指导PCD 100在多媒体会议事件期间中止显示器132中的全部视觉多媒体参数调整。作为进一步的示例,所述输入可以包括对管理逻辑单元260的改变,其指导PCD 100在特定游戏应用运行时应用期望的程序。

接口逻辑单元270使制造者能够在PCD 100上的已定义的操作条件下可控地配置和调整端用户的体验。当存储器112是闪速存储器时,启动逻辑单元250、管理逻辑单元260、接口逻辑单元270、应用存储器280中的应用程序或者嵌入式文件系统290中的信息中的一项或多项可以被编辑、替换或者以其它方式被修改。在某些实施例中,接口逻辑单元270可以允许PCD 100的端用户或者操作者来搜索、定位、修改或者替换启动逻辑单元250、管理逻辑单元260、应用存储器280中的应用和嵌入式文件系统290中的信息。操作者可以使用得到的接口作出将在PCD 100下一次启动时实现的改变。替代地,操作者可以使用得到的接口作出在运行时期间被实现的改变。

嵌入式文件系统290包括分层布置的热技术存储器292。就这一点而言,文件系统290可以包括其总共的文件系统容量的保留区,以存储用于配置和管理被PCD 100使用的各种参数298和智能多媒体算法297的信息。如图6中所示,存储器292包括多媒体部件存储器294,所述多媒体部件存储器294包括程序存储器296,所述程序存储器296包括一个或多个智能多媒体热功率管理程序。

图7描绘了逻辑流程图,该逻辑流程图示出了用于参与多媒体会议事件的联网的社区中的经平衡的用户体验(“Ux”)管理的方法700。如在上面描述的,联网的社区可以是包括两个或更多个直接与彼此相通信的PCD的“点对点”社区,或者在某些实施例中可以包括与两个或更多个PCD中的每个PCD相通信的CMM服务器105。

在框705处开始,可以在所述PCD中的每个PCD中设置功率预算和/或温度门限。每个PCD的功率预算可以在PCD自身内被确定,或者可以由CMM服务器105来确定和指定。值得注意的是,在包括同时运行在给定的PCD上的多个应用的场景中,在框710处,PCT模块26或者CMM服务器105可以确定总体功率预算的什么部分可以被分配给基于社区的应用(例如多媒体会议事件)。

在框715处,可以由给定的PCD的IM-TPM模块101通过网络130通过边带通信来接收与联网的社区中的同伴PCD相关联的多媒体参数设置。基于一个或多个同伴PCD的多媒体参数设置,在框720处,给定的PCD的IM-TPM模块101可以调整它自己的与处理多媒体会议事件的多媒体工作量相关联的编解码器设置。以这种方式,给定的PCD可以通过不产生不被同伴PCD需要的多媒体数据来节省功率,并且因此在功率预算分配内优化它自身的QoS。

在框725处,IM-TPM模块101、PCT模块26和/或Ux建模模块27可以参与用于智能多媒体热管理的子方法,在所述子方法中在PCD内确定和应用最优的视觉多媒体参数设置。值得注意的是,在框725处确定的最优的视觉多媒体参数设置可以是基于在框715处接收的同伴PCD的共享设置的。以这种方式,可以将被分配给多媒体会议事件应用的总体功率预算的部分高效地用于优化传递给给定的PCD 100的用户的QoS。

在框730处,给定的PCD 100可以与社区中的同伴PCD共享它的经更新的设置,以使得继而所述同伴PCD也可以经由满足PCD 100的要求的编码参数来优化它们的所传递的QoS(反之亦然)。以这种方式,可以跨越PCD的社区平衡总体Ux,以使得参与多媒体会议事件的每个PCD优化它向它的关联的用户传递的QoS。

图8描绘了逻辑流程图,该逻辑流程图示出了用于优化包括两个或更多个参与多媒体会议事件的PCD的联网的社区中的全体社区用户体验(“Ux”)的方法800。如在上面描述的,联网的社区可以是包括两个或更多个直接与彼此相通信的PCD的“点对点”社区(其中,特定的PCD是“主”PCD),或者在某些实施例中可以包括与两个或更多个PCD中的每个PCD相通信的CMM服务器105。

在框805处,可以接收参与基于社区的多媒体会议事件的两个或更多个PCD中的每个PCD的功率预算分配。值得注意的是,利用功率预算分配,可以确定每个PCD中的多媒体参数的最优设置,以便优化被传递给参与会议事件的PCD的任何给定的用户的平均QoS。在其它实施例中,可以确定每个PCD中的多媒体参数的最优设置,以便优化由参与会议事件的PCD的给定的用户体验的唯一的QoS体验。相应地,在框810处,确定每个PCD中的多媒体参数的最优的设置。并且,在框815处,将针对每个PCD的最优设置返回给合适的PCD,以使得可以应用所述设置。

图9A-9B描绘了逻辑流程图,该逻辑流程图示出了用于通过对一个或多个视觉多媒体参数28的有选择的调整来对PCD 100中的热能产生进行基于智能多媒体的管理的子方法725。在特定的实施例中,可以基于联网的社区中的同伴PCD中的多媒体参数的设置有选择地调整多媒体参数28。

图9的方法725以第一框905开始,在其中设置预定义的功率预算和/或与传感器157相关联的温度门限。值得注意的是,预定义的功率预算可以是已被分配给特定多媒体应用(例如用于参与基于社区的多媒体会议事件的多媒体会议应用)的总体功率预算的部分。可以基于谋求跨越多个同时运行的应用优化QoS的策略来确定预定义的功率预算。

如在上面阐述的,监控器模块114可以监控各种温度传感器157和/或活跃的视觉参数设置。在框910处,设置视觉多媒体参数28的缺省设置,以便确定多媒体工作量和多媒体输出QoS。缺省设置可以是基于与PCD的社区中的同伴PCD相关联的设置的。取决于特定的实施例,方法725可以从框910前进到框915和925中的任一个或者两个。

在框915处,监控器模块114监控各种视觉多媒体参数28的活跃设置,并且向PCT模块26提供关联的数据,所述PCT模块26基于活跃设置来计算与各种多媒体处理部件相关联的聚合功耗水平。在决策框920处,PCT模块26确定聚合功耗是否超过在框905处设置的功率预算。如果聚合功耗确实超过功率预算,则跟随“是”分支去往图9B的框935。如果聚合功耗不超过功率预算,则跟随“否”分支去往图9B的框945。

返回到框910,过程725可以替代地或者同时地前进到框925,在所述框925中,监控器模块监控由各种温度传感器157产生的温度读数并且向PCT模块26提供关联的数据,所述PCT模块26确定一个或多个温度门限是否已被超过。在决策框930处,PCT模块26确定温度读数是否超过在框905处设置的温度门限。如果温度读数确实超过温度门限,则跟随“是”分支去往图9B的框935。如果温度读数不超过温度门限,则跟随“否”分支去往图9B的框945。

如果方法725指定从框920、930跟随了所述“是”分支中的任一个或者两个,则PCT模块26已确定与PCD 100中的多媒体负载相关联的功耗应当被降低,并且方法前进到框935。在框935处,Ux模型模块27查询LUT 29以将活跃视觉多媒体参数设置映射到合适的视觉多媒体参数曲线图。如在上面阐述的,通过这样做,Ux模型模块27可以对活跃设置中的每个活跃设置的正切的斜率进行比较,并且选择进行调整的视觉多媒体参数,所述进行调整的视觉多媒体参数为每单位功耗降低的用户体验的最小降级提供机会。随后,在框940处,Ux模型模块27确定被保证了的设置调整的量,并且向IM-TPM模块101转发指令。在框955处,IM-TPM模块101应用新的视觉多媒体参数设置,并且方法725返回到图9A的框915、925。

返回到图9A,如果方法725指定从框920、930跟随了所述“否”分支中的任一个或者两个,则PCT模块26已确定与PCD 100中的多媒体负载相关联的功耗可以被提高,并且所述方法前进到框945。在框945处,Ux模型模块27查询LUT 29以将活跃视觉多媒体参数设置映射到合适的视觉多媒体参数曲线图。如在上面解释的,通过这样做,Ux模型模块27可以对活跃设置中的每个活跃设置的正切的斜率进行比较,并且选择进行调整的视觉多媒体参数,所述进行调整的视觉多媒体参数为每单位功耗提高的用户体验提供最大的正面改变的机会。随后,在框950处,Ux模型模块27确定被保证了的设置调整的量,并且向IM-TPM模块101转发指令。在框955处,IM-TPM模块101应用新的视觉多媒体参数设置,并且方法725返回到图9A的框915、925。

在本说明书中描述的过程或者过程流程中的特定步骤自然地在其它步骤之前出现,以便本发明如所描述那样起作用。然而,如果次序或者顺序不改变本发明的功能,则本发明不限于所描述的步骤的这样的次序。也就是说,应当认识到的是,可以在其它步骤之前、之后或者与其它步骤并行地(基本上与之同时地)执行某些步骤,而不会脱离本发明的范围和精神。在某些情况下,可以省略或者不执行特定的步骤,而不会脱离本发明。进一步地,诸如是“在那之后”、“然后”、“接下来”等的术语不旨在限制步骤的次序。这些术语简单地用于引导读者通过对示例性方法的描述。

额外地,编程领域的技术人员能够例如基于本说明书中的流程图和相关联的描述来在没有困难的情况下编写计算机代码或者识别合适的硬件和/或电路以实现所公开的发明。因此,不认为对程序代码指令的特定集合或者详细的硬件设备的公开对于充分理解如何制作和使用本发明是必要的。在上面的描述中详细地并且结合可以说明各种过程流程的附图来阐述了所要求权利的计算机实现的过程的创造性功能。

在一个或多个示例性方面中,所描述的功能可以用硬件、软件、固件或者其任意组合来实现。如果是用软件来实现的,则功能可以作为计算机可读介质上的一个或多个指令或者代码被存储或者发送。计算机可读介质包括计算机存储介质和通信介质两者,通信介质包括任何可以促进计算机程序从一个地方到另一个地方的传输的介质。存储介质可以是任何可以被计算机访问的可用介质。作为示例而非限制,所述计算机可读介质可以包括:RAM、ROM、EEPROM、CD-ROM或者其它光盘存储器;磁盘存储器或者其它磁存储设备;或者任何其它的可以用于以可以被计算机访问的以指令或者数据结构的形式携带或者存储期望的程序代码的介质。

另外,将任何连接恰当地称为计算机可读介质。例如,如果使用同轴电缆、光纤线缆、双绞线、数字用户线(“DSL”)或者诸如是红外线、无线电和微波的无线技术从网站、服务器或者其它远程源发送软件,则同轴电缆、光纤线缆、双绞线、DSL或者诸如是红外线、无线电和微波的无线技术被包括在介质的定义中。

如本文中使用的磁盘和光盘包括压缩盘(“CD”)、激光盘、光盘、数字多功能光盘(“DVD”)、软盘和蓝光盘,其中,磁盘通常磁性地复制数据,而光盘利用激光来光学地复制数据。以上内容的组合应当也被包括在计算机可读介质的范围之内。

因此,尽管已详细说明和描述了所选择的方面,但应当理解,可以在其中作出各种替换和代替,而会不脱离如由下面的权利要求定义的本发明的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1