用于紧密耦合的低功率图像处理的方法和装置的制造方法
【专利说明】用于紧密耦合的低功率图像处理的方法和装置
[0001]公开领域
[0002]本公开的技术领域涉及视频数据通信和处理。
[0003]背景
[0004]某些视频系统具有光传感器，光传感器将视频帧传递到具有视频编码器/解码器(VCODEC)和本地存储器的视频电路内的相机核。视频帧必须经过相机核并最终到达VCODEC以供编码和后续处理。然而，相机核不能直接将视频帧交递给VC0DEC，因为相机核和本地存储器缺乏足以充当视频帧缓冲器的存储容量。相机核通常还缺乏用于将视频帧传递到VCODEC所需的握手功能。因此，视频电路将整个视频帧从相机核卸载至外部存储器，随后从该外部存储器检索这些卸载的视频帧并将这些帧输入至VC0DEC。视频帧的卸载和检索一般由应用处理器来控制。然而，外部存储器和应用处理器各自消耗相当多的功率。
[0005]用于减少或弥补这一功率的现有手段和努力包括将外部存储器以及相机核与外部存储器之间的接口电路系统放置得更为接近，以及针对视频帧传递使用更高的突发长度以提高总线效率。现有手段和努力还包括总线和内核时钟的缩放。现有手段和努力尽管减少了功耗，但不能免除外部存储器或应用处理器的功耗。
[0006]概述
[0007]本概述并非所有构想方面的综览，或者为了描绘任何实施例或其任何方面的范围。其唯一目的是为了呈现一些示例概念，其中所有这些概念将从本公开的稍后章节阐述的各个示例性实施例的更为详细的描述中被进一步理解。
[0008]根据一个示例性实施例，一种图像处理方法可包括在相机核处接收图像并随后以块为基础将该图像从该相机核传递到下游处理引擎，并且在一个方面，以块为基础的传递可包括在该相机核和该下游处理引擎之间传达直接握手信号。
[0009]在一个方面，在相机核与下游处理引擎之间传达直接握手信号可经由耦合至该相机核且耦合至该下游处理引擎的直接握手路径。
[0010]在一个方面，在相机核处接收图像可包括在光传感器处将图像划分为多个(N个)块，以及并发地将N块的量存储到相机核和本地存储器中的至少一者中。
[0011]在一个方面，在相机核处接收图像可包括在光传感器处执行N次图像扫描，对于N次扫描中的每一次扫描将至少一块图像传递到相机核和与该相机核相关联的本地存储器中的至少一者，以及并发地将N块的量存储到该相机核和该本地存储器中的至少一者中。
[0012]根据一个示例性实施例，一种图像处理方法可包括扫描光传感器以获得一次图像扫描，提取该一次图像扫描的给定N块划分的块，将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中，将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎，以及将扫描、提取、存储和传递重复N次以向处理引擎提供该图像。
[0013]在一个方面，将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎包括在相机核和下游处理引擎之间传达握手信号。
[0014]根据一个示例性实施例，一种图像处理器可包括用于扫描光传感器以获得一次图像扫描的装置，用于提取该一次图像扫描的给定N块划分的块的装置，用于将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中的装置，用于将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎的装置，其中将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎包括在相机核和下游处理引擎之间传达握手信号。
[0015]根据一个示例性实施例，图像处理器可包括相机核、通过数据互连耦合至该相机核的下游处理器；以及耦合至该相机核且耦合至该下游处理器的直接握手路径，并且在一个方面，该相机核可被配置成接收给定的视频帧并将该视频帧作为N个像素块传递到下游处理器，以及通过直接握手路径控制每个像素块的传递。
[0016]根据一个示例性实施例，一种计算机程序产品可包括包含以下代码的计算机可读介质:用于使至少一个计算机扫描光传感器以获得一次图像扫描的代码，用于使至少一个计算机提取该一次图像扫描的给定N块划分的块的代码，用于使至少一个计算机将所提取的块存储到相机核或与该相机核相关联的本地存储器中的至少一者中的代码，用于使至少一个计算机将所提取的那一块从相机核或本地存储器中的至少一者传递到下游处理引擎的代码，以及用于使至少一个计算机将该扫描、提取、存储和传递重复N次以向处理引擎提供该图像的代码。
[0017]根据一个示例性实施例，一种图像处理器可包括:相机核，该相机核具有用于接收图像的装置以及用于存储收到图像的至少一部分的装置；以及用于以块为基础将该图像从相机核传递到下游处理引擎的装置，其中该传递包括在该相机核和该下游处理引擎之间传达握手信号。
[0018]附图简述
[0019]给出附件中找到的附图以帮助对本发明实施例进行描述，且提供附图仅用于解说实施例而非对其进行限定。
[0020]图1示出了一个示例相关技术视频流和视频系统。
[0021]图2是根据一个示例性实施例的一个视频直接相机至下游处理器传递系统以及一个示例直接视频相机至下游处理器块传递的功能框图。
[0022]图3是根据各个示例性实施例的将视频帧划分为N个像素块以及相应的像素块直接相机至下游处理器传递的一个示例的流程图。
[0023]图4示出了根据一个示例性实施例的一个示例个人计算设备的功能框图。
【具体实施方式】
[0024]本发明的各方面在以下根据本发明的具体解说性实施例的描述和有关附图中被公开。将理解，这些具体解说性实施例仅是出于辅助本领域普通技术人员进一步理解各个概念的目的，以及用于以从本公开中对这些人员可变得明显的各个或替换性实施例的任一种来实践本发明。
[0025]本文中所使用的术语仅用于描述特定实施例的目的，而并不旨在限定本发明的各实施例或其任何方面的范围。进一步关于术语，措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何实施例不必被解释为优于或胜过其他实施例。同样，术语“本发明的实施例”并不要求本发明的所有实施例都包括所讨论的特征、优点、或工作模式。
[0026]另外，单数形式的“一”、“某”和“该”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，术语“包括”、“具有”、“包含”和/或“含有”在本文中使用时指定所陈述的特征、整数、步骤、操作、要素、和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、要素、组件、和/或其群组的存在或添加。
[0027]此外，许多实施例是根据可由例如计算设备的元件执行的动作序列来描述的。将认识到，本文中所描述的各种动作能由专用电路(例如，专用集成电路(ASIC))、由正被一个或多个处理器执行的程序指令、或由这两者的组合来执行。另外，本文中所描述的这些动作序列可被认为是完全体现在任何形式的计算机可读存储介质内，其内存储有一经执行就将使计算机或相关联的处理器执行本文所描述的功能性的相应计算机指令集。因此，本发明的各个方面可以用数种不同形式来体现，所有这些形式都已被构想落在所附权利要求的范围内。另外，对于本文中所描述的每个实施例，任何此类实施例的对应形式可在本文被描述为例如“配置成执行所描述的动作的逻辑”。
[0028]本领域技术人员将领会，信息和信号可使用各种不同技术和技艺中的任何一种来表示。例如，贯穿上面描述始终可能被述及的数据、指令、命令、信息、信号、位(比特)、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场、电子自旋粒子、电子自旋、或其任何组合来表示。
[0029]此外，本领域技术人员将领会，结合本文中公开的实施例描述的各种解说性逻辑块、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。为了清楚地说明硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。如本领域普通技术人员将领会的，此类功能性是被实现为硬件、还是软件还是其组合取决于具体应用和加诸于整体系统的设计约束。此类人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
[0030]结合本文中公开的实施例描述的方法、序列和/或算法可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。
[0031]相应地，本发明的各个实施例可包括计算机可读介质或者可使用计算机可读介质来实践，该计算机可读介质体现使该计算机执行或控制其它结构以执行根据该实施例的过程的指令。因此，本发明并不限于所解说的示例且任何用于执行本文所描述的功能的手段均被包括在本发明的实施例中。
[0032]相关技术图1示出了具有常规视频电路102的常规视频系统100，常规视频电路102与光传感器103接口并具有由多媒体结构112互连的相机核104、本地存储器106、视频编码器/解码器(VCODEC) 108和3D处理器110。常规视频电路102还具有应用(或“apps”)结构114，其连接至多媒体结构112并将应用处理器116与外部存储器控制器118互连。外部存储器控制器118与外部存储器120 (例如，外部DDR)接口，并控制将数据卸载到外部存储器120以及从外部存储器120检索数据，如以下更为详细地描述的。
[0033]继续参考图1，在常规视频系统100中，外部光传感器103可以是光像素传感器的M行XN列的像素阵列(未单独示出)。在常规视频系统100的操作中，光传感器103执行一连串光栅扫描，每个光栅扫描生成MXN的像素帧(下文替换地称为“原始视频帧”)。光栅扫描速率可以是每分钟FS个光栅扫描，其以每分钟FS帧的帧速率生成原始视频帧。常规视频电路102将以帧速率FS从光传感器103接收的原始视频帧输入至相机核104。相机核104随后对每一帧执行简单的格式化功能，诸如裁剪和分块以及亮度以生成本说明书中将称为“经格式化的原始帧”的帧。更为实质的、较高计算负担的操作(例如视频压缩或3D处理)由下游处理器(诸如解码器VC0DEC108和/或3D处理器110)来执行。
[0034]继续参考图1，由于其有限的存储器空间，相机核104不能保存比一个帧多太多的帧。同样，如长久以来已知的，相机核104、多媒体结构112以及下游处理器(例如VCODEC108或3D处理器110)的架构使得相机核104以足以跟上许多应用中使用的帧速率FS的速率直接向这些下游处理器传递经格式化的原始帧是不切实际的。
[0035]对于常规视频系统的上述限制(诸如图1中所示)的已知解决方案是使处理器资源(诸如示例应用处理器116和存储器控制器118)执行将经格式化的原始帧卸载到外部存储器(诸如示例外部存储器120)(如由以下数据流“卸载”所描绘的)、(如由数据流RTRV (检索)描绘的)伴随从该外部存储器进行对经格式化的原始帧的受控检索、以及将这些帧有序地输入至选定的下游处理器(例如，常规视频电路102内部的VC0DEC108)。如图1中示出的卸载可