图像捕获加速器的制造方法
【专利说明】图像捕获加速器
[0001]相关申请的交叉引用
[0002]本申请要求2012年7月12日提交的第61/671，068号美国临时申请、2013年7月11日提交的第13/940，215号美国实用新型申请和2013年7月11日提交的第13/940，221号美国实用新型申请的权益，这些申请通过引用整体并入本文。
技术领域
[0003]本公开内容总体上涉及图像捕获系统的领域，并且具体地涉及加速图像捕获。
【背景技术】
[0004]随着图像传感器技术的改善，图像传感器正变得能够以更高的分辨率和帧速率来捕获图像和视频。然而，图像信号处理(ISP)ASIC经常遭受带宽限制，这些限制妨碍它们以空间的、时间的和位深度的分辨率和它们被捕获的帧速率有效地处理图像传感器帧。在数字相机系统中，这样的ISP瓶颈可以阻碍相机性能。此外，即使ISP具有赶上相关联的图像传感器的能力，ISP也可能使用比典型相机电池可以提供的更多的电力。
【附图说明】
[0005]所公开的实施例具有其他优点和特征，这些优点和特征将从详细说明、所附权利要求书和附图(或绘图)更容易显而易见。附图的简要介绍如下。
[0006]图1图示了用于图像捕获加速的系统的一个实施例。
[0007]图2图示了用于图像捕获加速的系统的备选实施例。
[0008]图3图示了用于图像捕获加速的系统的备选实施例。
[0009]图4图示了被配置为经由固件以加速的方式处理图像数据而无需专用图像捕获加速器(ICA)的图像信号处理器(ISP)的一个实施例。
[0010]图5图示了拜耳色彩阵列向YUV 4:2:2格式的重排序的示例。
【具体实施方式】
[0011]附图和以下描述仅通过图示的方式涉及优选实施例。应当说明的是从以下讨论中，本文所公开的结构和方法的备选实施例将轻易被识别为可以在不脱离权利要求书的原理的情况下被使用的可变的备选例。
[0012]现在将更详细地参考若干实施例，其示例在附图中被图示。注意只要可行类似或相同的附图标记可以用于附图中并且可以指示相似或相同的功能。附图仅为了图示的目的描绘所公开系统(或方法)的实施例。本领域技术人员从以下描述中将轻易地认识到本文所图示的结构和方法的备选实施例可以在不脱离本文所描述的原理的情况下被使用。
[0013]配置概述
[0014]在一个示例实施例中，图像捕获系统架构被配置以并入图像捕获加速器(ICA)。ICA被配置用于处理受限的ISP带宽和/或在支持以高帧速率捕获图像时过多的系统功率使用。在一个示例实施例中，ICA是回避图像捕获系统(诸如数字相机)中传统的ISP图像处理以便增加带宽和/或降低图像捕获系统的功率使用的设备。ICA可以是专用ASIC、可以被实现在图像传感器或ISP芯片架构内、或者可以使用现存的硬件、固件和/或软件而被实现。
[0015]图像捕获加速器提供图像数据的加速处理。
[0016]在一个实施例中，图像捕获加速器包括加速器电路装置，加速器电路装置包括预处理引擎和压缩引擎。预处理引擎被配置用于对接收到的图像数据执行加速处理，并且压缩引擎被配置用于压缩从预处理引擎接收的经处理的图像数据。在一个实施例中，图像捕获加速器进一步包括配置用于接收由例如在图像传感器芯片上的图像传感器阵列捕获的图像数据的信号分离器(demultiplexer)。当图像数据由图像传感器阵列在第一捕获模式(“标准模式”)中捕获时，信号分离器向图像信号处理器(ISP)输出接收到的图像数据，并且当图像数据由图像传感器阵列在第二捕获模式(“加速模式”)中捕获时，向加速器电路装置输出接收到的图像数据。应当说明的是ICA可以在如对于本领域技术人员所理解的额外的模式(诸如延时模式)中处理捕获的图像数据。
[0017]在一个实施例中，标准捕获模式与第一帧速率和第一分辨率的图像的捕获相关联，并且加速捕获模式与第二帧速率和第二分辨率的图像捕获相关联。在一些实施例中，第一帧速率比第二帧速率更低，和/或第一分辨率比第二分辨率更低。因此，当帧的捕获被期望以比ISP可以供应的更高的分辨率和/或帧速率时，ICA可以操作在加速模式中，并且信号分离器可以向加速器电路装置输出捕获的图像数据。
[0018]由ICA处理并且从ICA输出的图像数据可能并不处于标准图像格式，而是可能处于需要进一步解码(例如，解码由ICA执行的编码)和/或处理(例如，将图像数据格式化为标准图像格式，诸如JPEG或PNG)的格式中。该后处理可以发生在相机内(例如，在图像数据的捕获之后)或者数字相机系统外(例如，在计算机或移动设备中脱机)。进一步地，本文所描述的图像捕获系统架构可以包括配置用于接收和处理从ICA输出的图像数据的额外的部件。在一个示例实施例中，ICA可以在加速模式中捕获和处理图像数据、可以存储经处理的图像数据并且可以在以后的时间里将存储的图像数据后处理成可视图像格式。
[0019]示例图像捕获加速系统
[0020]现在转到图1，它图示了用于图像捕获加速的系统100，系统100包括传感器阵列110、ICA 120和ISP 130。如图1所示，ICA 120被耦合到传感器阵列110和ISP 130。通信总线142将传感器阵列110耦合到ICA 120，并且第二通信总线144将ICA 120耦合到ISP 130。在该实施例和其他实施例中，通信总线142、通信总线144基于图像捕获系统100的带宽要求被选择。例如，总线142可以被实现使得总线142并不抑制图像数据转移或者充当图像捕获系统100的瓶颈。
[0021]传感器阵列110被配置用于捕获图像数据并且向诸如ICA 120或ISP 130之类的处理器输出图像数据。在一个实施例中，传感器阵列110是拜耳色彩滤波阵列(Bayer colorfilter array)，并且传感器阵列110输出原始拜耳模式数据。其他类型的图像传感器也可以被使用在加速图像捕获系统100中。传感器阵列110可以被配置用于以(例如由用户指定的)一个或者多个的帧速率和一个或者多个的分辨率在相机处理器(未不出)或者ISP130的控制下捕获图像数据。虽然在图1中未示出，但是传感器阵列110可以被实现在图像传感器芯片内，例如电荷耦合器件(“CXD”)或者互补金属氧化物半导体(“CMOS”)，所述图像传感器芯片被配置用于将入射在图像传感器芯片上的捕获的光转换成表示捕获的光的电信号(本文中的“图像数据”)。
[0022]ISP 130处理从传感器阵列110接收的原始图像数据并且生成用于向显示器屏幕、存储器或外部计算设备输出的处理的图像数据。在一个实施例中，ISP 130执行处理步骤，包括干净拜耳处理、去马赛克等，以及压缩以格式化用于输出的原始图像数据。在各种实施例中，ISP 130可以被配置为处理图像数据以生成处于标准格式的图像或者视频文件，诸如 JPEG、PNG, TIFF, AVI 或 MPEG。
[0023]ICA 120在它被输出到ISP 130之前拦截由传感器阵列110捕获的图像数据。在一个实施例中，ICA 120被配置为响应于对加速图像处理的用户请求而处理图像数据。在另一实施例中，ICA 120被配置为当图像传感器在标准捕获模式中(例如，以低帧速率和/或分辨率)捕获图像时向ISP 130自动地提供图像数据，并且当图像传感器在加速捕获模式中(例如，以更高的帧速率和/或分辨率)捕获图像时处理接收到的图像数据。例如，当以120帧每秒(fps)和1080p分辨率捕获图像数据时，ICA 120可以向ISP 130发送图像数据，而当以240fps和4K分辨率捕获图像数据时，ICA 120可以(通过加速处理)处理图像数据。
[0024]标准和加速捕获模式可以相对于阈值而被限定。具体地，当以高于阈值的帧速率或高于阈值的分辨率捕获图像数据时加速捕获模式可以被实现。在这样的实例中，阈值可以足够低能够保证在阈值帧速率和/或像素下捕获的图像数据可以由ISP 130处理。例如，阈值可以被选择使得低端ISP可以处理