用于智能成像的集成方案的制作方法

文档序号:13518717阅读:169来源:国知局
用于智能成像的集成方案的制作方法

本申请要求于2015年9月28日提交的题为“integratedsolutionsforsmartimaging”的美国临时申请no.62/234,010的优先权,其通过引用整体并入本文。



背景技术:

如图1所示,智能和/或复杂的图像相关任务100传统上完全由计算系统的较高性能数据处理组件(诸如其通用处理核102和/或其图像信号处理器(isp)103)执行。

在这些组件102、103内执行所有这类任务100的问题是在系统内移动图像数据所消耗的功率。具体地说,数据的整个图像通常需要从相机101直接转发到isp103或系统存储器104中。这种在系统内大量数据的移动消耗大量的功率,在电池供电的设备的情况下,会显著降低设备的电池寿命。

复合低效率的是经常多数的图像数据不重要或价值不大。例如,考虑试图分析图像的小区域的成像任务。这里,尽管处理任务只是对图像的小区域感兴趣,但整个图像将通过系统被转发。只有在系统消耗了相当大的功率将大量无用数据移动至区域外之后,才能从较大的图像中有效地解析感兴趣的小区域。

另一示例是图像内“寻找”特征的初始识别(例如,在上面刚刚讨论的示例中的感兴趣区域的初始识别)。在这里,如果所寻找的特征仅偶尔容易在相机拍摄的图像中出现,则没有特征的整个图像的连续流将在特征本身最终出现之前通过系统被转发。因此,再次,大量的无用或无价值的数据通过系统被移动,这会显著降低设备的功率效率。

另外,所有相机的控制决定(诸如是否使相机进入特定模式)传统上由通用处理核102进行。因此,这种高度自适应的相机控制功能(例如,其中相机在各种模式之间频繁切换)可以生成通过系统被引向相机101的大量相机控制业务107。因为在识别导致相机改变模式的事件以及相机101最终接收到任何新的命令的时间之间存在的实质性延迟,所以这种高度自适应功能甚至可能是不可行的。



技术实现要素:

描述了集成的堆叠和/或邻接的传感器、存储器和处理硬件相机方案。传感器用于从图像中接收光,并从光生成电子像素。处理硬件用于将电子像素处理成:a)在较低质量图像模式中从图像识别场景;b)响应于场景的识别触发相机方案的动作,动作包括:i)将相机方案从较低质量图像模式转换为较高质量图像模式以捕获较高质量版本的图像;和ii)从相机方案转发重要图像,以及不从相机方案转发不重要的图像。

描述了一种装置,其包括用于从图像接收光并从光生成电子像素的器件。该装置还包括用于处理电子像素的器件,包括用于在较低质量图像模式中从图像中识别场景的器件以及用于响应于识别而触发动作的器件的用于处理的器件。这些动作包括:i)从较低质量图像模式转换为较高质量图像模式以捕获较高质量版本的图像;和ii)转发重要图像,以及不转发不重要的图像。用于接收光的器件、用于处理的器件和存储器被堆叠和/或邻接到集成的相机方案中。

附图说明

以下描述和附图用于示出本发明的实施例。在图中:

图1示出了具有相机的现有技术系统;

图2示出了具有集成相机方案的改进系统;

图3a(i)和图3a(ii)示出了集成相机方案的不同机械设计;

图3b示出了集成相机方案的逻辑设计;

图4示出了集成相机方案的功能框架;

图5示出了由集成相机方案执行的第一方法;

图6示出了由集成相机方案执行的第二方法;

图7示出了计算系统。

具体实施方式

图2描绘了改进系统,其中机械地彼此非常接近地集成的(例如,通过相互堆叠和/或邻接)传感器、存储器和处理硬件201(以下称为“集成方案”或“集成相机方案”)能够执行各种智能/复杂的处理任务200,以便提升设备的功率效率。

一个这样的任务是识别由集成方案201所获取的图像内的“寻找”图像特征的能力。另一个任务是从刚刚被集成方案201所获取的图像的分析中“不断”确定特定操作模式的能力。下面将详细讨论这些中的每一个。

利用集成方案201识别寻找的图像特征的能力,集成方案201可以丢弃不感兴趣或不重要的图像数据,从而防止其通过系统被转发到别的地方。

例如,回顾上文在背景技术部分中讨论的有问题的示例,如果图像的感兴趣区域可以由集成方案201识别,则在感兴趣区域之外的图像的区域可以被集成方案201完全丢弃-仅留下感兴趣的区域以转发到系统内的其他组件以便进行进一步处理。同样地,可以通过集成方案201整体丢弃不具有任何重要内容的整个图像。

作为另一示例,基于它们的内容是否具有任何感兴趣的特征,可以传递或丢弃整个帧。因此,具有相关信息的帧被从集成方案201传递到系统的其他组件(例如,系统存储器204、显示器等)。被视为不包含任何相关信息的帧将被丢弃。

因此,利用集成方案201识别寻找的特征的能力提供了一种系统,理想地,通过这种系统仅转发在其他地方具有某种重要性或价值的数据。通过防止经由系统转发没有重要性或价值的数据,与传统的现有技术系统相比,大大提升了系统的效率。

至少在某些情况下,还可以扩展利用集成方案201识别寻找的特征的功能,以利用集成方案201执行任何相关联的后续图像处理任务。一个特别相关的后续处理任务可以是压缩。这里,一旦通过集成方案201识别出相关的图像信息,则可以由集成方案201进一步压缩该信息,以减小其总数据大小,以便准备将其转发到系统内的其他组件。因此,不仅可以通过消除用于转发的不重要的信息,而且还可以通过减少相关和转发的信息的大小来实现效率。

进一步地,感兴趣特征的不同部分可以以不同的压缩比被压缩(例如,对质量较敏感的图像部分可以以较低的压缩比压缩,而对质量较不敏感的图像的其他部分可以以较高的压缩比压缩)。通常,对质量较敏感的图像(例如,整个帧或其部分)可以以较低的压缩比压缩,而对质量较不敏感的图像(例如,帧或其部分)可以以较高的压缩比压缩。

在其他情况下,用于特定功能的所有图像处理智能可以由集成方案201执行。例如,不仅可以通过集成方案201来识别感兴趣的区域,而且,也由集成方案201执行(一旦感兴趣区域被识别就将进行的)感兴趣区域的任何分析。在这种情况下,很少或根本没有图像信息(重要的或其他的)被通过系统转发,因为整个任务已经被集成方案201执行。在这方面,与背景技术中描述的现有技术手段相比,功率降低效率实际上是理想的。

为了利用集成方案201识别图像(或其他扩展图像处理功能)内寻找的特征,一定程度的处理智能/复杂性被集成到集成方案201中。图3a(i)、图3a(ii)和图3b示出了一些可能的实施例,其中已经利用非传统硬件和/或软件组件增强成像设备,使得设备可以执行与上述改进一致的智能/复杂的图像处理任务。

图3a(i)和图3a(ii)示出了具有集成处理智能的方案的可能的机械设计的实施例。如图3a(i)所示,集成方案包括传统的相机光学元件和伺服电机301(稍后,例如,用于自动对焦功能)和图像传感器302。然而,集成方案还包括集成存储器303和处理智能硬件304。

如图3a(i)所示,机械设计利用层叠的半导体芯片302-304来实现。同样如图3a(i)所示,存储器303和处理智能硬件304在具有相机光学元件和图像传感器的相同封装内。

在其他实施例中,诸如图3a(ii)所示,例如,通过彼此邻接(为了简单起见,图3a(ii)没有示出可以位于传感器302、存储器303和处理智能硬件304中的任何一个或多个之上的光学元件/电机301),传感器302、存储器303和处理智能硬件304可以相互非常接近地放置。堆叠和邻接的各种组合也可以存在,以提供紧凑的机械设计,其中各种元件相互非常接近地放置。组合或替代地,例如,作为邻接的极端形式,各种组件可以集成在相同的半导体裸片上(例如,图像传感器和处理智能硬件可以集成在同一裸片上)。

图3b示出了图3a的集成方案的功能设计。如图3b所示,相机光学元件301处理由图像传感器302接收的入射光,图像传感器302响应于此生成像素化的图像数据。图像传感器将像素化的图像数据转发到存储器303中。然后由处理智能硬件304处理图像数据。

根据实施方式,处理智能硬件304可以采取各种不同的形式。在一个极端情况下,处理智能硬件304包括执行程序代码(例如,其也存储在存储器303中和/或相机内的非易失性存储器中(未示出))的一个或多个处理器和/或控制器。这里,被写入用于执行各种复杂任务的软件和/或固件例程被存储在存储器303中,并由处理器/控制器执行以便执行特定的复杂功能。

在另一个极端情况下,处理智能硬件304利用专用(例如,定制的)硬件逻辑电路来实现,诸如专用集成特定(asic)定制硬件逻辑和/或可编程硬件逻辑(例如,现场可编程门阵列(fpga)逻辑、可编程逻辑器件(pld)逻辑和/或可编程逻辑阵列(pla)逻辑)。

在另外的实施方式中,可以使用这两个极端(执行程序代码的处理器与专用硬件逻辑电路)之间的一些组合来有效地实现处理智能硬件组件304。

图4示出了可以由如上所述的处理智能硬件304执行的各种复杂任务的功能框架。

如上所述,集成方案可以找到各种寻找的特征。相关联的寻找特征的过程401可以包括,例如,面部检测(检测任何面部的存在)、面部识别(检测特定面部的存在)、面部表情识别(检测特定的面部表情)、物体检测或识别(检测一般或特定物体的存在)、运动检测或识别(检测一般或特定类型的运动)、事件检测或识别(检测一般或特定类型的事件)、图像质量检测或识别(检测一般或特定等级的图像质量)。

例如,可以同时、串行地和/或可以根据依赖条件(例如,面部识别功能可以仅在处理核和/或应用和/或用户特定地请求时才能执行)执行寻找特征过程401。

如图4所示,在各种实施例中,可以在低质量图像模式410中发现寻找的特征之前执行寻找特征过程401以节省功耗。这里,可以利用,例如,较低图像分辨率、较低图像帧速率和/或较低像素位深度中的任何一个或多个来实现低质量图像模式。因此,图像传感器302可以具有相关联的设置控制以实现较低功率与较高功率操作。

考虑系统作为示例,该系统已经被配置为识别由集成方案捕获的图像序列内的各种寻找的特征,但是当前没有找到这样的特征。在该模式中,集成方案可以连续地获取图像的图片以对所寻找的特征过程401进行馈送,期望寻找的特征可以最终出现。

然而,有意地在低图像质量模式中执行这些图片的获取以消耗较少的功率,因为存在捕获的多个图像可能不包含任何寻找的特征的可能性。由于消耗大量功率获取其内容无价值的图像的图片是没有意义的,所以在发现寻找的特征之前使用低质量模式来节省功率使用。这里,在许多情况下,可以从低质量图像中识别各种寻找的特征。

来自一个或多个寻找特征过程401的输出被提供给聚合层403,其组合来自寻找特征过程401的各种过程的输出,以启用更全面的寻找场景(或“场景分析“)功能404。例如,考虑一个系统,如果在图像中识别两个特定人物,则该系统被设计为开始流式传输视频的系统。这里,第一个寻找特征过程401将识别第一个人,并且第二个寻找特征过程将识别第二个人。

两个过程的输出被聚合403以启用场景分析功能404,如果找到两个寻找的特征(即,已经在图像中识别两个人),则场景分析功能404能够增加标志。这里,可以聚合寻找特征过程的各种过程403以启用一个或多个场景分析配置(例如,寻找两个特定人和图像内的特定物体的第一场景分析,寻找三个特定人的第二场景分析等)。

在场景分析功能404识别已经找到寻找的场景404之后,场景分析将“触发”一个或多个附加后续动作405的开始。例如,回顾上述示例,其中,如果在被分析的图像中识别两个人,则集成方案开始流式传输视频。这里,后续动作对应于视频的流式传输。

在许多情况下,如图4所示,后续动作将包括将从低质量模式410获取的图像的质量模式改变为高质量模式411。

这里,回顾在找到任何寻找的场景之前,可以使用低质量模式410来分析图像以寻找特征,因为这样的图像容易不包含寻找的信息,所以消耗大量功率获取这种图像是没有意义的。然而,在已经找到寻找的场景之后,集成方案所获取的图像可能是重要的,因此消耗更多功率以较高质量来获取较晚图像是合理的。转换到较高质量的图像模式可以包括,例如,增加帧速率、增加图像分辨率和/或增加位深度中的任何一个或多个。在一个实施例中,例如,为了在高质量模式中节省功率,在捕获模式期间被启用的图像传感器的唯一像素区域是其中预期感兴趣特征在图像传感器的表面区域上被关注的像素区域。再次,图像传感器302被假定为包括各种配置设置以实现这些参数的快速转换。请注意,决定转换低质量图像模式和高质量图像模式之间的集成方案对应于本地化的自适应成像控制,其是现有技术手段的显著改进。

因此,图5示出了在寻找表征系统已经被配置为寻找的特定一个或多个场景的一个或多个特征时在低质量图像捕获模式中由相机获取图像的一般过程501。只要没有找到寻找的特征502,系统将在低质量/低功率模式中继续捕获图像501。然而,一旦寻找的场景被识别出502,则系统转换为较高质量图像捕获模式503并采取一些附加动作504。这里,在各种实施例中,图5的整个方法可以由集成方案执行。

可以响应于所识别的特定场景而发生的附加动作504的一些示例包括以下中的任何一个或多个:1)识别图像内的感兴趣区域(例如,围绕图像内的一个或多个寻找的特征的中间区域);2)解析图像内的感兴趣区域并将其转发到系统内的其他(例如,较高性能)处理组件;3)丢弃不感兴趣的图像内的区域;4)在图像或图像的一部分被转发到系统内的其他组件之前,将其压缩;5)获取特定类型的图像(例如,快照、一系列快照、视频流);以及6)改变一个或多个相机设置(例如,改变联接到光学元件的伺服电机上的设置以放大、缩小或以其它方式调整相机的聚焦/光学元件;改变曝光设置;触发闪光灯)。同样,所有这些操作都可以在相机级处存在的处理智能的控制下进行。

尽管上述实施例已经强调了在识别出寻找的场景之后进入高质量图像捕捉模式,但是各种实施例可以不需要这样的转换,并且后续动作504中的各种动作可以在仍然在以较低质量图像捕获模式捕获图像时发生。

图6示出了类似于图5的过程,但是其中附加动作包括仅转发感兴趣的图像内容604。

还应注意,集成方案可以是自身不被集成到计算机系统中的独立设备。例如,集成方案可以具有,例如,将与上述教导一致的图像内容直接转发到独立显示设备的无线i/o接口。

图7提供了计算系统的示例性描绘。下面描述的计算系统的许多组件可应用于具有集成相机和相关联的图像处理器(例如,诸如智能电话或平板计算机的手持设备)的计算系统。本领域的普通技术人员将能够容易在两者之间描绘。

如图7所示,基本计算系统可以包括中央处理单元701(其可以包括,例如,多个通用处理核715_1至715_n以及设置在多核处理器或应用处理器上的主存储器控制器717)、系统存储器702、显示器703(例如,触摸屏、平板)、本地有线点对点链路(例如,usb)接口704、各种网络i/o功能705(诸如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如,wifi)接口706、无线点对点链路(例如,蓝牙)接口707和全球定位系统接口708、各种传感器709_1至709_n、一个或多个相机710、电池711、功率管理控制单元724、扬声器和麦克风713以及音频编码器/解码器714。

应用处理器或多核处理器750可以包括其cpu701内的一个或多个通用处理核715、一个或多个图形处理单元716、存储器管理功能717(例如,存储器控制器)、i/o控制功能718和图像处理单元719。通用处理核715通常执行计算系统的操作系统和应用软件。图形处理单元716通常执行图形密集的功能以,例如,生成在显示器703上呈现的图形信息。存储器控制功能717与系统存储器702接口以从系统存储器702读取数据/向系统存储器702写入数据。功率管理控制单元724通常控制系统700的功耗。

相机707可以被实现为如上详细所述的集成的堆叠和/或邻接的传感器、存储器和处理硬件方案。

触摸屏显示器703、通信接口704-707、gps接口708、传感器709、相机710和扬声器/麦克风编解码器713、714中的每一个全部都可以被视为相对于整个计算系统的各种形式的i/o(输入和/或输出)(适当时还包括集成的外围设备(例如,一个或多个相机710))。根据实施方式,这些i/o组件中的各种组件可以被集成在应用处理器/多核处理器750上,或者可以位于裸片外或应用处理器/多核处理器750的封装之外。

在一个实施例中,一个或多个相机710包括能够测量在相机和其视场中的物体之间的深度的深度相机。在应用处理器或其他处理器的通用cpu核(或具有用于执行程序代码的指令执行流水线的其他功能块)上执行的应用软件、操作系统软件、设备驱动软件和/或固件可以执行任何的上述功能。

本发明的实施例可以包括如上所述的各种过程。这些过程可以实现在机器可执行指令中。该指令可以用于使通用或专用处理器执行某些过程。可替选地,这些过程可以由包含用于执行过程的硬连线逻辑的特定硬件组件执行,或由编程的计算机组件和定制硬件组件的任何组合来执行。

本发明的元件还可以作为用于存储机器可执行指令的机器可读介质来提供。机器可读介质可以包括但不限于软盘、光盘、cd-rom和磁光盘、闪速存储器、rom、ram、eprom、eeprom、磁或光卡、传播介质或适用于存储电子指令的其他类型的介质/机器可读介质。例如,本发明可以作为计算机程序下载,该计算机程序可以通过在载波或其他传播介质中实现的数据信号经由通信链路(例如,调制解调器或网络连接)从远程计算机(例如,服务器)传送到请求计算机(例如,客户端)。

在前述说明书中,已经参照本发明的具体示例性实施例描述了本发明。然而,显而易见的是,在不脱离如所附权利要求中阐述的本发明的更广泛的精神和范围的情况下,可以对其进行各种修改和改变。因此,说明书和附图被认为是说明性的而不是限制性的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1