用于图像处理软件模块配置的方法、装置、系统和计算机可读介质的制作方法
【技术领域】
[0001]本公开一般涉及图像处理领域。
【背景技术】
[0002]随着电子装置变得越来越流行，许多用户逐渐依靠多种不同类型的电子装置。一些电子装置由例如电池的本地电源供电。在这种电子装置中，功耗对于控制以允许用户享有长的电池寿命可能是重要的。另外，随着装置能力变得越来越先进，操作温度得到渐增的关注。例如，过高的操作温度可能伤害用户和/或伤害装置。随着电子装置的视频能力变得越来越先进和更细致入微，日益需要以鲁棒的方式控制由于图像处理引起的电子装置的功耗和/或温度。
【附图说明】
[0003]为了提供对本公开及其特征和优点的更完整的理解，结合附图对后续说明做出引用，在附图中相似的附图标记表示相似的部分，其中:
图1是示出根据至少一个实施例的与图像处理软件模块配置相关联的部件的框图；
图2是示出根据至少一个实施例的图像处理软件模块的另一框图；
图3A-3B是示出根据至少一个实施例的图像处理软件配置信息的图；
图4是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图5是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图6是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图7是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图8是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图9是示出根据至少一个实施例的与图像处理软件模块配置相关联的活动的流程图； 图10是示出根据实施例的与处理器耦合的存储器的框图；以及图11是示出根据实施例的以点对点(PtP)配置布置的计算系统的框图。
【具体实施方式】
[0004]在许多环境中，电子装置可以执行与高功耗相关联的成像相关任务。这种功耗可能会使得装置接近热限制和/或功耗限制。另外，可能存在装置中的其它部分在功耗方面起作用。装置的其它部分所起的作用可能基于与装置的操作相关联的环境而变化。另外，可能存在与功耗的变化级别相关联的一个或多个图像处理软件模块。
[0005]类似地，超出存储器带宽可能导致严重的性能问题。例如，超出存储器带宽可能对处理、存储器上溢、存储器下溢等等引进延迟。
[0006]在许多情况下，可能期望避免超出装置的热限制、存储器带宽限制和/或功耗限制。例如，超出这种限制可能损害装置、可能伤害用户等等。可能期望管理与成像相关任务以避免成像相关设备和/或装置超出热限制和/或功耗限制。
[0007]图1是示出根据至少一个实施例的与图像处理软件模块配置相关联的部件的框图。图1的例子仅是与图像处理软件模块配置相关联的部件的例子，并不限制权利要求的范围。例如，归因于部件的操作可以变化、部件的数量可以变化、部件的组成可以变化，等等。例如，在一些实施例中，归因于图1的例子的一个部件的操作可以被分配给一个或多个其它部件。
[0008]可以期望的是通过管理硬件性能而避免超出热限制、存储器限制和/或功耗限制。例如，可以通过降低处理器速度、降低显示器亮度、降低充电电流等等而减少功耗和热生成。在至少一个实施例中，装置通过判定硬件性能配置信息而执行硬件性能的配置。在至少一个实施例中，硬件性能配置信息涉及处理器速度、显示器亮度、充电电流中的至少一个。
[0009]可以期望的是取代或结合硬件性能配置提供独立于硬件性能配置的成像任务的调整。例如，可以期望的是保持处理器速度并改变图像处理任务以降低装置的功耗。例如，可能存在改变图像处理任务比降低处理器速度具有更少的用户影响的情况。这种成像任务的调整可以包括配置图像处理软件。在至少一个实施例中，配置图像处理软件独立于硬件性能配置。例如，可用于配置图像处理软件的图像处理软件配置信息可以独立于硬件性能配置信息。在不以任何方式限制权利要求的范围的情况下，关于功率、存储器和/或热管理的与独立于硬件性能配置而配置图像处理软件相关联的至少一个技术效果可以用于允许解决功率、存储器和/或热管理问题的更多配置选项。例如，这种额外选项可以允许使得装置以比单独硬件性能配置少的用户影响地在功率限制、存储器限制和/或热限制中操作的配置。
[0010]在例如移动电话的一些电子装置中，例如视频记录的图像处理任务可能消耗大比例的装置功率和/或对装置生成的热的大部分负责任。额外的功耗和/或热生成可能与包括图像处理特征相关联，所述特征例如为数字视频稳定(DVS)、暂时和先进的噪声降低(TNR)、高分辨率设置、闪存利用，例如火炬模式、面部检测、面部识别等等。在这种装置中，可以期望的是管理配置一个或多个这种图像处理软件模块以实现管理热生成或功耗中的至少一个。
[0011]在至少一个实施例中，装置至少部分地基于图像处理服务、环境信息和操作信息来确定图像处理软件配置信息。在至少一个实施例中，图像处理软件配置信息涉及与至少部分地配置一个或多个图像处理软件模块相关联的信息。图像处理软件配置信息可以与关于图3A-3B所描述的类似。
[0012]在至少一个实施例中，环境信息涉及表明环境条件的信息。例如，环境信息可以是数据结构、消息、传感器信息等等。在至少一个实施例中，环境条件涉及与用户感知显示器上信息的能力相关联的环境条件。例如，环境条件可以涉及装置处的周围光线。在这种例子中，装置处的周围光线可以影响用户观看显示器上信息的能力。例如，如果周围光线级别为高，则可能期望较亮的显示以便于用户观看。在另一例子中，如果周围光线级别为低，则可能期望较暗的显示以便于用户观看。在至少一个实施例中，其中环境条件涉及与捕获视觉信息相关联的环境条件，例如捕获图像和/或捕获视频。例如，环境条件可以涉及装置处的周围光线。在这种例子中，如果装置处的周围光线为低，则可能期望提供对低光的补偿。在另一例子中，环境信息可以涉及装置的运动。例如，如果装置运动，则可能期望提供图像稳定。
[0013]在至少一个实施例中，操作信息涉及装置至少一部分的功耗。例如，操作信息可以一般涉及图像信号处理器(ISP)、中央处理单元(CPU)、片上系统(SOC)等等的装置的功耗。功耗可以涉及正被消耗的功率、电流等等。在至少一个实施例中，操作信息涉及装置的一个或多个图像处理部件的功耗。
[0014]在至少一个实施例中，操作信息涉及装置至少一部分的温度。例如，操作信息可以一般涉及图像信号处理器(ISP)、中央处理单元(CPU)、片上系统(SOC)等等的装置的温度。在至少一个实施例中，操作信息涉及装置的一个或多个图像处理部件的温度。
[0015]在至少一个实施例中，操作信息涉及与图像处理相关联的存储器带宽。存储器带宽可以涉及可用于图像处理的存储器量、与图像处理相关联的存储器速度等等。
[0016]图1的例子示出了策略引擎102，其与功率管理单元104、原始设备制造商(OEM)软件106、传感器110、传感器112、图像处理软件模块114、以及图像处理软件模块116通信。图1的例子示出与OEM软件106通信的应用程序108。在至少一个实施例中，应用程序利用来自OEM软件的服务。应用程序可以利用OEM软件服务，从而通过与OEM软件通信而发生在OEM软件下的部件的服务的任意利用。例如，如果应用程序108请求图像处理服务，则应用程序108可以请求来自OEM软件106的服务，OEM软件106可以请求来自策略引擎102的服务，从而应用程序108与策略引擎102隔离。
[0017]在至少一个实施例中，策略引擎涉及与至少部分地基于操作信息和环境信息配置图像处理软件相关联的软件。策略引擎可以是一个或多个模块和/或服务的一部分。例如，策略引擎可以是硬件抽象层的一部分、可以是设备驱动器的一部分，其可以驻留在ISP上、可以驻留在CPU上、可以驻留在SOC上等等。在至少一个实施例中，OEM软件涉及计算系统的独立于策略引擎本身而利用策略引擎的服务的软件。在至少一个实施例中，功率管理单元涉及与监控装置至少一部分的温度、存储器和/或功耗相关联的硬件模块和/或软件模块。在至少一个实施例中，功率管理单元可以至少部分地基于温度信息、存储器信息和/或功耗信息执行硬件性能配置。
[0018]在图1的例子中，策略引擎102从传感器110取回环境信息126，并从传感器112接收环境信息128。传感器110和112可以涉及光传感器、运动传感器等等。例如，运动传感器可以涉及加速计、陀螺仪等等。在至少一个实施例中，策略引擎直接从传感器取回环境信息。在至少一个例子、实施例中，策略引擎间接地从传感器取回环境信息。例如，策略引擎可以从传感器控制器、从传感器驱动器等等取回环境信息。在至少一个实施例中，策略引擎独立于OEM软件取回环境信息。例如，OEM软件可以在来自提供环境信息的传感器和策略引擎的通信路径之外。
[0019]在图1的例子中，策略引擎102从功率管理单元104取回操作信息124。在至少一个实施例中，策略引擎从不同于功率管理单元的部件(例如，传感器、传感器控制器、传感器驱动器等等)取回操作信息。在至少一个实施例中，策略引擎取回OEM软件取回操作信息。例如，OEM软件可以在来自提供操作信息的传感器和策略引擎的通信路径之外。
[0020]在至少一个实施例中，策略引擎102从OEM软件122接收图像处理服务请求122的指示。该指示可以涉及传递待提供期望的图像处理服务的消息、函数调用等等。图像处理服务可以涉及捕获图像、捕获视频、渲染图像、渲染视频等等。
[0021]在至少一个实施例中，策略引擎102引起至少部分地基于图像处理软件配置信息而配置至少一个图像处理软件模块。在图1的例子中，策略引擎102通过发送配置信息130而引起配置图像处理软件模块114。在至少一个实施例中，配置信息130包括图像处理软件配置信息。在图1的例子中，策略引擎102通过发送配置信息132引起配置图像处理软件模块116。在至少一个实施例中配置信息130包括图像处理软件配置信息。
[0022]图2是示出根据至少一个实施例的图像处理软件模块的另一框图。图2的例子仅是图像处理软件模块的例子，而不限制权利要求的范围。例如，归因于模块的操作可以改变、模块数量可以改变、模块的组成可以改变等等。例如，在一些实施例中，归因于图2的例子的一个模块的操作可以被分配给一个或多个其它模块。
[0023]一个或多个图像处理软件模块可以与图像捕获堆栈的多个层相关联。例如，DVS模块可以与图像捕获堆栈的一层(例如ISP管线)相关联，且面部检测模块可以与图像捕获堆栈的应用层相关联。这样，配置的原因可以在图像处理软件模块之间而不同。例如，配置DVS模块或TNR模块可以与ISP相关联，并且配置面部检测模块或面部识别模块可以与硬件抽象接口相关联。
[0024]在图2的例子中，捕获图像处理软件模块202与DVS图像处理软件模块204通信。在图2的例子中，DVS图像处理软件模块204与TRN图像处理软件模块206相关联。在图2的例子中，TNR图像处理软件模块206与面部检测图像处理软件模块208通信。在图2的例子中，面部检测图像处理软件模块208与面部识别图像处理软件模块210通信。