用于传送和接收阵列照相机图像数据的系统和方法
【专利摘要】描述了用于传送和接收由包含多个焦平面的成像器阵列捕获的图像数据的系统和方法。本发明的一个实施例包含：使用照相机模块中的多个活动的焦平面捕获图像数据，这里，通过独立的透镜叠层在每个活动的焦平面上形成图像；通过交织由所述多个活动的焦平面捕获的图像数据来产生线图像数据；以及传送线图像数据和附加数据。
【专利说明】用于传送和接收阵列照相机图像数据的系统和方法
【技术领域】
[0001]本发明一般涉及阵列照相机，更具体地，涉及从成像器(imager)阵列向诸如处理器的外部装置的图像数据的传送。
【背景技术】
[0002]在典型的照相机中，光通过照相机一端的开口(孔径)进入并通过透镜叠层(stack)被引向焦平面。透镜叠层创建光学通道，该光学通道在焦平面上形成场景的图像。焦平面包含光敏像素的阵列，这些像素是当经由光学元件接收光时产生信号的传感器的一部分。常用的传感器包含CXD (电荷耦合器件)传感器和CMOS (互补金属氧化物半导体)传感器。
[0003]传统的照相机典型地使用单个焦平面以捕获单个图像(每一次一个)。来自焦平面的每个像素的图像数据然后直接从焦平面被发送到处理器。处理器可操纵图像数据，以用于诸如编码图像数据、存储图像数据、转发图像数据或者修改图像数据。在许多情况下，在焦平面与处理器之间利用标准接口，该标准接口指定在焦平面与处理器之间传送数据的格式。
[0004]移动产业处理器接口联盟(MIPI)是颁布用于一致性的接口规范以促进移动装置中的再利用和兼容性的非赢利组织。MIPI已创建了用于照相机与处理器之间的接口的照相机串行接口 2 (c)接口格式(MIPI接口格式)。
【发明内容】
[0005]根据本发明的实施例的系统和方法涉及由包含多个焦平面的照相机模块捕获的图像数据的传送和/或接收。在数个实施例中，图像数据被用于产生线图像数据，该线图像数据交织由不同的焦平面的像素捕获的图像数据。在许多实施例中，照相机模块中的传感器还产生描述捕获的图像数据的附加数据。在大量的实施例中，附加数据与线图像数据一起被传送，并被接收线图像数据的装置上的接口电路使用以识别线图像数据中的哪些像素与由照相机模块的焦平面捕获的所述多个图像中的一个或多个相关联。
[0006]本发明的一个实施例包含使用照相机模块中的多个活动的焦平面捕获图像数据，这里，通过独立的透镜叠层在每个活动的焦平面上形成图像；通过交织由所述多个活动的焦平面捕获的图像数据来产生线图像数据；以及传送线图像数据和附加数据。
[0007]另一个实施例还包括提供用于从捕获的图像数据解交织多个图像的信息的附加数据，以及与线图像数据一起传送该附加数据。
[0008]在另一个实施例中，附加数据描述成像器阵列。
[0009]在又一个实施例中，附加数据包含从描述以下方面的附加数据的群组中选择的数据:成像器阵列中的焦平面的数量；成像器阵列中的焦平面阵列的维度；在活动的焦平面的每个维度中的像素的数量；在活动的焦平面的每一个中的像素的积分时间；以及在活动的焦平面的每一个中的像素的增益。[0010]在又一个实施例中，描述像素的增益的附加数据包含描述活动的焦平面的每一个中的像素的模拟增益的附加数据和描述活动的焦平面的每一个中的像素的数字增益的附加数据。
[0011 ] 在又一个实施例中，产生线图像数据还包括通过使用预定处理来组合来自所述多个活动的焦平面的捕获的图像数据。
[0012]在又一个实施例中，预定处理从用于组合捕获的图像数据的多个预定处理中选择；并且，附加数据包含指示被用于组合捕获的图像数据的预定处理的附加数据。
[0013]在又一个实施例中，每个活动的焦平面包括包含多个行像素的像素阵列，所述包含多个行像素的像素阵列还形成多个列像素，并且用于组合捕获的图像数据的预定处理包括交织来自从活动的焦平面中的每一个选择的行的图像数据。
[0014]在又一个实施例中，用于组合捕获的图像数据的预定处理包括使用模数处理，这里，模数处理涉及通过交织来自被选择的行中的每一个的预定数量的像素来组合由活动的焦平面的被选择的行中的像素的每一个捕获的图像数据。
[0015]在又一个实施例中，附加数据描述线图像数据中的至少一个。
[0016]在又一个实施例中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据:每个活动的焦平面开始捕获图像数据的时间；以及被用于捕获用于产生线图像数据的图像数据的活动的焦平面的每一个中的行的行数量。
[0017]另一个实施例还包含将线图像数据和描述捕获的图像数据的附加数据分成包，以生成至少一个数据包。此外，传送线图像数据和附加数据还包括传送至少一个数据包。
[0018]在又一个实施例中，数据包包含包头，该包头含有多条线图像数据和附加数据的至少一部分；并且，含在包头中的附加数据描述成像器阵列。
[0019]在又一个实施例中，数据包还包含包脚，该包脚指示所述多条线图像数据的传送的结束。
[0020]在又一个实施例中，数据包包括多条线图像数据和与所述多条线图像数据中的每一条相关联的线头，并且每个线头包含描述与线头相关联的线图像数据的附加数据。
[0021 ] 在又一个实施例中，线头还包括描述成像器阵列的附加数据。
[0022]又一个实施例还包含:在帧消隐间隔期间中止传送；在帧间隔之间传送所述多条线图像数据和描述捕获的图像数据的附加数据；以及在线消隐间隔期间中止多条线图像数据和描述捕获的图像数据的附加数据的传送。
[0023]又一个实施例中还包含连续地传送线图像数据和附加数据，直到所有的数据被传送。
[0024]在又一个实施例中，照相机模块中的每个透镜叠层具有不同的视场。
[0025]一种用于接收图像数据的方法的实施例包含:使用接口电路从包含多个焦平面的照相机模块接收图像数据，这里，图像数据包括通过交织来自多个图像的像素而产生的线图像数据，所述多个图像使用所述多个焦平面捕获；以及使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
[0026]在用于接收图像数据的方法的另一个实施例中，照相机模块还产生描述捕获的图像数据的附加数据，并且所述方法还包含:接收附加数据；以及使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素还包括:使用附加数据识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
[0027]在用于接收图像数据的方法的另一个实施例中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据:成像器阵列中的焦平面的数量；成像器阵列中的焦平面阵列的维度；在焦平面的每个维度中的像素的数量；在焦平面的每一个中的像素的积分时间；以及在焦平面的每一个中的像素的增益。
[0028]在另一个实施例中，描述像素的增益的附加数据包含描述活动的焦平面的每一个中的像素的模拟增益的附加数据和描述活动的焦平面的每一个中的像素的数字增益的附加数据。
[0029]在另一个实施例中，使用多个预定处理中的一个产生接收的线图像数据；并且附加数据识别被用于产生线图像数据的预定处理。
[0030]在另一个实施例中，接口电路包含被配置为识别作为所述多个图像中的至少一个的一部分的图像数据中的像素的处理器。
[0031]根据本发明的实施例的用于接收图像数据的系统的实施例包含:接口电路，其被配置为从包含多个焦平面的照相机模块接收图像数据，这里，图像数据包括通过交织来自多个图像的像素而产生的线图像数据，所述多个图像使用所述多个焦平面捕获。此外，接口电路还被配置为使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
[0032]在用于接收图像数据的系统的另一个实施例中，照相机模块还产生描述捕获的图像数据的附加数据，并且接口电路还被配置为:接收附加数据；以及使用附加数据识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
[0033]在用于接收图像数据的系统的另一个实施例中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据:成像器阵列中的焦平面的数量；成像器阵列中的焦平面阵列的维度；在焦平面的每个维度中的像素的数量；在焦平面的每一个中的像素的积分时间；以及在焦平面的每一个中的像素的增益。
[0034]在又一个实施例中，描述像素的增益的附加数据包含描述焦平面的每一个中的像素的模拟增益的附加数据和描述焦平面的每一个中的像素的数字增益的附加数据。
[0035]在又一个实施例中，接口电路包含被配置为识别作为所述多个图像中的至少一个的一部分的图像数据中的像素的处理器。
【专利附图】
【附图说明】
[0036]图1示出根据本发明的实施例的阵列照相机。
[0037]图2示出根据本发明的实施例的成像器阵列。
[0038]图3示出根据本发明的实施例的作为包传送的图像数据。
[0039]图4示出根据本发明的实施例的作为与MIPI CS1-2标准接口格式兼容的包的图像数据的传送。
[0040]图5是根据本发明的实施例的线图像数据的传送的示图。
[0041]图6是根据本发明的实施例的传送由成像器阵列捕获的图像数据的处理。
[0042]图7a?7c在概念上示出根据本发明的实施例的通过使用模数处理交织来自多个焦平面的图像数据而被传送的线图像数据。【具体实施方式】
[0043]现在转到附图，传送和接收由成像器阵列捕获的图像数据的系统和方法被示出。在数个实施例中，成像器阵列被配置为向处理器传送图像数据和描述被传送的图像数据的附加数据。接收图像数据的装置可使用附加数据重构由成像器阵列捕获的场景(也称为光场)的多个图像。在数个实施例中，图像数据和描述图像数据的附加数据作为可包含包头以及线图像数据的图像数据包而被传送，其中，线头位于每条线图像数据之前。线图像数据包含由成像器阵列的焦平面捕获的图像数据并且可被利用以构建场景的多个图像。线头可包含识别包含在线图像数据中的特定的像素和焦平面的数据。在存在包头的实施例中，包头可包含描述照相机模块以使得处理器能够从图像数据的包构建图像的嵌入数据。
[0044]在各种实施例中，一条线(line)图像数据可与一行(row)、一列(column)或任意组织的图像数据对应，该图像数据与来自图像(其由成像器阵列中的焦平面的一个或多个捕获)的特定的像素对应。在许多实施例中，线图像数据可包含来自成像器阵列的焦平面中的一些或全部的特定的像素。
[0045]由成像器阵列中的焦平面捕获的所有图像数据可构成低分辨率图像(这里的术语低分辨率仅用于与可通过超分辨率处理合成的较高分辨率图像对比)，处理器可与由成像器阵列捕获的其它图像相结合地使用该低分辨率图像以通过超分辨率处理来构建较高分辨率图像。在2010年12月14日提交的标题为“Systems and Methods for SynthesizingHigh Resolution Images Using Super Resolution Processes” 的美国专利申请N0.12/967, 807中讨论了超分辨率处理，其公开内容通过全部引用而被加入本文。然而，与向执行超分辨率处理的处理器传送图像相比，根据本发明的实施例的传送多个图像的处理是更一般的。因此，根据本发明的实施例的处理可被用于在各种应用中传送所捕获的场景的多个图像的图像数据，这些应用包含但不限于:涉及对正(register)从不同的视角捕获的图像的慢动作视频应用，以及涉及捕获一系列图像组以通过使用超分辨率处理合成一系列高分辨率帧的传统视频应用。
[0046]在数个实施例中，成像器阵列被配置为通过接口格式传送由焦平面产生的图像数据。捕获的图像数据根据接口格式作为包被传送。这些包可适于符合任意的接口格式，这些接口格式包含但不限于MIPICS1-2接口格式(MIPI接口格式)。
[0047]以下进一步讨论根据本发明的实施例的成像器阵列、用于在成像器阵列和处理器之间传输捕获的图像数据的接口格式、以及用于经由接口格式将捕获的图像数据格式化为包以用于传输的处理。
[0048]系统架构
[0049]根据本发明的许多实施例的阵列照相机可包含照相机模块和处理器。照相机模块可包含照相机的阵列。在各种实施例中，阵列照相机包含照相机模块和处理器。照相机模块可包含成像器阵列，该成像器阵列是包含焦平面的阵列的传感器。每个焦平面包含用于捕获通过透镜叠层形成在焦平面上的图像的像素的阵列。焦平面可由传统的CIS (CMOS图像传感器)、CCD (电荷耦合器件)、高动态范围传感器元件、多光谱传感器元件以及它们的各种替代形成，但并不限于这些。在许多实施例中，每个焦平面的像素具有类似的物理性能，并且通过同一透镜叠层接收光。此外，每个焦平面中的像素可与同一滤色器相关联。在多个实施例中，焦平面中的至少一个包含Bayer图案(pattern)过滤器。在数个实施例中,焦平面被独立地控制。在其它的实施例中，经由单个的一组控制来控制成像器阵列中的焦平面的操作。
[0050]图1中示出根据本发明的实施例的阵列照相机。阵列照相机100包含被配置为经由接口格式向接收装置108传送(106)图像数据的照相机模块102，该接口格式涉及描述所传送的图像数据的附加数据的传送。照相机模块102包含照相机104的阵列。照相机模块102中的照相机104通过透镜叠层和焦平面的组合形成。照相机模块102可包含透镜叠层的光学仪器(optic)阵列和焦平面的成像器阵列。这些多个照相机104在任意给定的时间可以是活动的(active)或者不活动的(inactive)。标题为“Architectures for imagerarrays and array cameras，，的美国专利申请N0.13/106，797、以及标题为“Capturing andprocessing of images using monolithic camera array with heterogeneous imagers，，的美国专利申请N0.12/952，106中讨论了阵列照相机，这两个申请的公开内容通过全部引用而被加入本文。由这些多个照相机捕获的图像数据被从每个照相机的焦平面发送到处理器。焦平面可具有不同的成像特性，诸如改变的曝光时间、开始时间以及结束时间。因此，由每个焦平面捕获的图像数据的传送定时可改变。因此，成像器阵列可传送描述图像数据的附加数据，以使得接收图像数据的装置能够适当地从接收的图像数据重构图像。
[0051]在许多实施例中，阵列照相机100通过使用可具有不同的成像特性的多个照相机104来捕获图像。阵列照相机100可单独地控制照相机中的每一个，以获得增强的图像捕获和/或增强处理(诸如(但不限于)可应用于捕获的图像的超分辨率处理)。例如，焦平面的每个像素可捕获光的不同波长，或者可捕获光的强度、改变的曝光时间、开始时间或结束时间。一旦阵列照相机100已开始通过使用成像器阵列上的像素捕获图像数据，焦平面就可开始将通过使用像素而捕获的图像数据传送到接收装置108。由不同的照相机模块捕获的图像数据可被交织(interleave)以传送到接收装置108，该接收装置108包含被配置为接收图像数据的接口电路。在许多实施例中，接口电路在硬件中和/或通过使用处理器实现。接收装置108然后可从接收的包来组织捕获的图像数据并适当地组合图像数据，以重构由成像器阵列中的焦平面的一个或多个捕获的图像。
[0052]在示出的实施例中，可通过照相机模块102捕获场景的多个图像。当图像数据被捕获时，照相机模块102向接收装置108传送图像数据。在通过照相机捕获图像数据之后，照相机模块102通过使用照相机模块102上的一小部分本地数据存储单元来传送图像数据，该照相机模块102上的本地数据存储单元存储捕获的图像数据。照相机模块102管理图像数据的捕获和传送，使得存储单元中所存储的被捕获的图像数据在将下一组图像数据捕获并加载到存储单元中所花费的时间内被成像器阵列102传送。以这种方式，照相机模块可通过使用比照相机模块中的像素的总数少的多个本地数据存储单元来连续地缓冲并传送图像数据。
[0053]由成像器阵列传送的一条线(line)图像数据可被视为等于焦平面的一行(row)(列(column))中像素的数量乘以焦平面的数量。在数个实施例中，成像器阵列上的传送器电路的时钟频率被设为期望的输出数据速率，并且内部焦平面像素速率被设为期望的输出数据速率的1/N (这里，N是焦平面的总数)。在许多图像传送协议中，一旦线的开始条件被发送，所有的图像数据就不中断地被传送，直到线的结束。因此，可以开发足够数量的数据存储单元和缓冲机构，其一旦存在足够的存储像素时就开始像素的传输，使得所有的像素在到达图像数据的线的结束的时间之前已被捕获和传送。例如，如果包含16个焦平面的成像器阵列(如4X4阵列那样)传送来自所有焦平面的图像数据，那么在焦平面读出开始之前存在很少的、被利用的数据存储器，因为数据大致以它被读取的速率传送。但是，如果同一成像器阵列仅具有一个活动的成像器，那么几乎所有来自焦平面的一行(列)的像素被存储，原因在于缓冲器读取比它被写入快16倍。因此，数据存储需求将是一行像素(即，一条线图像数据的1/16)。当8个焦平面是活动时，来自所有8个焦平面的数据的一半在传送开始之前被缓冲以避免下溢(underflow)。因此，被利用的数据存储单元的总数等于四行像素或一条线图像数据的四分之一。以上的示例示出成像器阵列的数据存储需求可如何基于活动的焦平面的数量而改变。在许多实施例中，成像器阵列内的存储单元的总数小于一条线图像数据的四分之一。在数个实施例中，成像器阵列内的存储单元的总数等于一条线图像数据。在数个实施例中，数据存储单元的总数介于一条线图像数据的四分之一与一整条线图像数据之间。在多个实施例中，存储单元的总数等于或大于一条线图像数据。当照相机模块传送捕获的图像数据时，描述图像数据的附加数据的加入使得接收图像数据的外围装置能够重构由成像器阵列102中每个活动的照相机所捕获的图像。
[0054]根据本发明的许多实施例的成像器阵列被配置为经由接口格式输出图像数据，该接口格式适应经由多个焦平面捕获的图像数据的传输。在数个实施例中，成像器阵列被配置为根据接口格式传送捕获的图像数据，该接口格式与诸如(但不限于)MIPI CS1-2接口格式(MIPI接口格式)、照相机链接接口格式、以及通用串行总线(USB)接口格式或FireWire接口格式的任意一种的标准接口格式兼容。当通过成像器阵列输出从多个焦平面捕获的图像数据时，接收图像数据的装置面临将图像数据组装(assemble)成场景的多个图像的任务。
[0055]尽管以上讨论了特定的阵列照相机系统架构，但是，根据本发明的实施例，可以利用适于特定应用需求的阵列照相机的各种系统架构中的任意一种。以下讨论根据本发明实施例的由成像器阵列上的多个焦平面捕获的图像数据以及描述图像数据的、使得接收器能够从图像数据重构图像的附加数据的传送。
[0056]焦平面的识别
[0057]由于根据本发明的许多实施例的成像器阵列可通过使用多于一个的焦平面来捕获图像数据的事实，因此，用于传送捕获的图像数据的处理包含识别被用于捕获特定的一组图像数据的特定的焦平面的机制。对于识别成像器阵列内的特定的焦平面，典型地采用惯例。图2中概念性地示出根据本发明的实施例的成像器阵列上的焦平面。示出的成像器阵列200包含焦平面202的5X5阵列。每个焦平面202包含像素的阵列。
[0058]成像器阵列上的焦平面可被视为以焦平面的“M”行(在行轴上被表示为符号“m”)和焦平面的“N”列(在列轴上被表示为符号“η”)的矩阵布置。单个焦平面可基于它们在成像器阵列内的位置而被识别。在某些实施例中，使用通过下式定义焦平面号的编号惯例:
[0059]焦平面号=(m+(n*M))+l
[0060]这里，m是成像器阵列从O到M-1的水平索引；
[0061]η是成像器阵列从O到N-1的垂直索引；
[0062]M是在水平方向上的焦平面的总数；[0063]N是在垂直方向上的焦平面的总数。
[0064]在示出的实施例中，焦平面的水平索引或行从O到4编号。焦平面的垂直索引或列从O到4编号。从而，在示出的焦平面的阵列中，对于总数为25的焦平面，每行和每列具有5个焦平面。在许多实施例中，编号在成像器阵列的左上角处开始。在其它实施例中，使用替代的惯例对焦平面编号。
[0065]尽管以上讨论了特定的焦平面编号惯例，但可以利用各种不同的惯例中的任意一种来识别焦平面。考虑到特定的惯例，被利用以捕获特定的图像数据的焦平面的标识(identity)可与图像数据一起传送。以下进一步讨论用于与识别捕获图像数据的焦平面的信息一起传送图像数据的处理。
[0066]将由多个焦平面捕获的图像数据分成包(packetize)
[0067]在数个实施例中，可通过以处理器可从接收的图像数据重构场景的图像的方式将图像数据和/或描述图像数据的附加数据插入包中来将来自多个焦平面的图像数据分成包。图3中示出根据本发明的实施例的、由成像器阵列传送的包含图像数据和描述图像数据的附加数据的包的概念示图。包302包含包头(header) 304和包脚(footer) 306。包302还包含多条线308图像数据，其中，每条线308图像数据包含线头310和线脚312。在许多实施例中，包头304和/或线头310以接收包的装置可通过使用包含包内所含有的线图像数据的图像数据来重构多个图像的方式含有描述图像数据的附加数据。包含在包内的线图像数据的数量典型地依赖于特定应用的需求。在许多实施例中，包可含有对于单个被捕获的光场的所有的线图像数据。术语光场可用于描述多个二维图像(其为从不同的视角捕获的场景的二维图像)。在其它实施例中，被捕获的光场的线图像数据可被分割并在多个包中被发送。在许多实施例中，由来自不同焦平面的一条线像素内的各个像素或像素群组(group )捕获的图像数据可在图像数据的包内被交织。
[0068]在多个实施例中，包头304含有嵌入数据。在许多实施例中，嵌入数据以处理器可确定包中图像数据的结构并从接收自照相机模块的数据重构图像的方式来描述产生图像数据的照相机模块。在数个实施例中，包头304包含嵌入数据，诸如(但不限于)成像器阵列中的焦平面的数量、每个焦平面的图像捕获的定时、被读出的特定焦平面的标识、焦平面中像素的总数、由焦平面拍摄的图像的分辨率、像素读出的定时以及焦平面的增益。如以下所讨论的那样，以上描述的嵌入数据不需要包含在包头中，并且信息中的一些或全部可以不同的方式伴随着图像数据被传送，这些方式包含但不限于将附加数据定位在包中的其它地方和/或在单独的包中传送附加数据。以下进一步讨论根据本发明的实施例的描述成像数据的嵌入数据。
[0069]在示出的实施例中，线308图像数据的包含线头310。线头识别成像器阵列中捕获线图像数据内所含有的图像数据的焦平面或多个焦平面和像素。处理器可利用线头来识别线310图像数据内所含有的特定的图像数据。在各种实施例中，线头310包含信息，诸如(但不限于)捕获线内的图像数据的焦平面的标识、和/或用于捕获线数据内所含有的图像数据的特定的像素或一组像素的标识、以及时间戳。换句话讲，根据本发明实施例的格式化包内的线图像数据不需要与通过使用单个焦平面中的单条线像素所捕获的图像数据对应。实际上，根据本发明实施例的图像数据包可包含线图像数据，其含有由不同的线像素所捕获的和/或来自不同焦平面的图像数据。在线头中包含描述线图像数据的附加数据允许处理器从复用到单个包或包的流中的多个图像接收图像数据并处理。以下进一步讨论根据本发明的实施例的可包含在线头中(或其它地方)的不同类型的嵌入数据。
[0070]每条线308图像数据可包含指示与前面的(preceding)线头310相关联的线308图像数据已结束的线脚312。并且，每个包302可包含指示与先前的(prior)包头304相关联的图像数据已结束的包脚306。在许多实施例中，成像器阵列被配置为产生多个包302以含有由焦平面捕获的图像数据，并且每个包包含多条线图像数据。
[0071]由于当成像器阵列传送数据时由不同焦平面中的不同像素组捕获图像数据的方式，因此处理器典型地不能预测它将从成像器阵列接收图像数据的次序。在许多实施例中，处理器在不参照对于线图像数据的线头和/或包头的情况下并不了解捕获线图像数据内所含有的图像数据的焦平面或多个焦平面。然而，在其它实施例中，成像器阵列对于特定的焦平面捕获图像数据的次序加以限制(例如，参见以下相对于7a_7c的讨论)，并且处理器可依赖于图像数据捕获的预定次序来重构图像数据。尽管相对于从不同的焦平面捕获图像数据的方式对捕获图像数据的次序加以限制可减少图像阵列的灵活性，但是图像数据从成像器阵列被接收的可预测的方式通过去除识别捕获图像数据的像素和/或焦平面的信息可导致连同图像数据而传送的附加数据的量的减少。在许多实施例中，限制成像器阵列捕获图像数据的方式使得图3所示的包头、包脚、线头和/或线脚能够被消除。
[0072]尽管以上描述了在包头和/或线头内包含特定的信息，但是，根据本发明的实施例，使得能够从复用到单个包或包的流中的图像数据重构多个图像的任意信息均可被加入图像数据的包中。以下进一步讨论与MIPI接口格式兼容的图像数据的传送。
[0073]与MIPI接口格式兼容的图像数据传送
[0074]在数个实施例中，成像器阵列以与现有接口格式(其用于通过包含单个焦平面的传统照相机传送图像数据)兼容的方式传送图像数据和描述图像数据的附加数据。图4中示出根据本发明的实施例的作为与MIPI CS1-2标准接口格式(MIPI接口格式)兼容的包而被传送的图像数据和描述图像数据的附加数据的概念示图。概念示图可被阅读为涉及X方向420上从左到右、以及Y方向422上从上到下的传送。传送以MIPI帧消隐(blanking)间隔402开始。MIPI帧开始(MFS)410指示器然后被成像器阵列发送，随后是MIPI头412的一部分。根据本发明的实施例产生的数据包作为嵌入数据被插入到标准MIPI容器(container)内。因此，MIPI容器内的第一条线数据可包含含有关于产生图像数据的焦平面的信息的包头424 (参见以上的讨论)。
[0075]MIPI容器的第一条线的传送通过MIPI脚406的传送来完成。在MIPI线消隐间隔408期间存在中止，并且然后传送MIPI头412的下一部分。MIPI容器的下一条线包含线414图像数据。在成像器阵列传送线图像数据的次序未被预定的实施例中，线头位于线图像数据之前，并且线脚位于线图像数据之后。在线图像数据被以预定的次序传送的实施例(参见例如图7a?7c的讨论)中，可以不利用线头和/或线脚。
[0076]传送MIPI脚、在MIPI线消隐间隔期间中止、传送MIPI头的一部分、以及传送MIPI容器内的线图像数据的处理继续，直到包内所有的线图像数据被传送。在数个实施例中，嵌入的包脚在MIPI容器中被传送，以指示包的传送完成。在传送包之后，通过传送MIPI脚406和MIPI帧尾(end)416来完成MIPI容器的传送。尽管图4所示的包涉及在MIPI容器的线消隐间隔之间传送一条线图像数据，但是在许多实施例中，包头和线图像数据与MIPI容器的线消隐间隔不对应。换句话讲，MIPI容器的单个线消隐间隔可含有来自两条或更多条线图像数据的图像数据。因此，线头和/或线脚被用于识别容器内的各条线图像数据。
[0077]很容易理解，图4所示的处理涉及在传统的MIPI容器内格式化根据本发明的实施例产生的包含图像数据和描述图像数据的附加数据的数据包。以这种方式，成像器阵列可利用被开发用于能够传送由单个焦平面捕获的图像数据的接口标准，以使得能够传送含有多个焦平面(即，光场)所捕获的图像数据的数据包。在其它实施例中，类似的处理可被利用以通过使用其它的容器和/或接口格式(包含(但不限于)CameraLink接口格式、USB接口格式或Firewire接口格式)来传送以上面概述的方式格式化的包。
[0078]描述成像器阵列的附加数据
[0079]根据本发明的许多实施例的成像器阵列，可在由成像器阵列传送的图像数据中的包头或其它地方嵌入描述成像器阵列的附加数据。处理器可利用描述成像器阵列的附加数据来从包内所含有的图像数据重构图像。在各种实施例中，描述成像器阵列的附加数据被分为固定描述符(descriptor)和动态描述符。固定描述符是作为特定于阵列照相机配置的固定值的、并且在阵列照相机操作期间不变化的、包头内的数据片段(Piece)。动态描述符是可在阵列照相机操作期间改变的、嵌入数据内的数据片段。在许多实施例中，动态描述符是描述诸如(但不限于)焦平面曝光时间或者焦平面处理增益的操作状态的参数。在数个实施例中，成像器阵列传送图像数据以及包含焦平面的总数、第一维度中每个焦平面读出的像素的总数、第二维度中每个焦平面读出的像素的总数、每个焦平面中像素的积分时间以及施加到每个焦平面中的每个像素的增益(可分为模拟增益和数字增益)中的至少一个的附加数据。被传送的描述成像器阵列的特定数据典型地依赖于通过其它来源向接收装置提供的关于成像器阵列的信息。在许多实施例中，诸如积分时间的成像特性可由诸如处理器的接收装置指定，并且相关的焦平面的成像特性响应于指令而已被更新的信息被成像器阵列传送以发送到接收装置。在许多实施例中，成像器阵列传送图像数据和向每个焦平面中的每个像素施加的增益(可分为模拟增益和数字增益)以及附加数据，该附加数据包含活动的焦平面中像素的积分时间、以及焦平面的总数、第一维度中每个焦平面读出的像素的总数、第二维度中每个焦平面读出的像素的总数中的至少一个。在其它实施例中，包含附加的信息片段的信息的各种组合中的任意一种可作为根据本发明的实施例的描述图像数据的附加数据传送。
[0080]在许多实施例中，成像器阵列内的传送器在包头中包含描述成像器阵列的附加数据，以允许处理器内的接收器依次确定包内的数据的结构，以用于处理器中的软件重构来自照相机的图像数据。包头中描述成像器阵列的附加数据主要依赖于特定的应用和阵列照相机配置。
[0081]在数个实施例中，描述成像器阵列的附加数据通过使用嵌入的8位非图像数据(数据类型=O X 12)格式(其作为MIPI接口标准的一部分而被指定)来作为MIPI容器内的嵌入数据被传送。下表提供根据本发明的许多实施例的可在传送的描述成像器阵列的附加数据中利用的各种固定描述符的结构。除非另外说明，否则，字节次序是MSB优先。在数个实施例中，以下固定描述符中的一个、多个和/或全部可作为包头内的嵌入数据被包含:
[0082]
【权利要求】
1.一种传送图像数据的方法，包括: 使用照相机模块中的多个活动的焦平面捕获图像数据，这里，通过独立的透镜叠层在每个活动的焦平面上形成图像； 通过交织由所述多个活动的焦平面捕获的图像数据来产生线图像数据；以及 传送线图像数据和附加数据。
2.根据权利要求1所述的方法，还包括产生提供用于从捕获的图像数据解交织多个图像的信息的附加数据，并与线图像数据一起传送该附加数据。
3.根据权利要求2所述的方法，其中，附加数据描述成像器阵列。
4.根据权利要求3所述的方法，其中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据: 成像器阵列中的焦平面的数量； 成像器阵列中的焦平面阵列的维度； 在活动的焦平面的每个维度中的像素的数量； 在活动的焦平面的每一个中的像素的积分时间；以及 在活动的焦平面的每一个中的像素的增益。
5.根据权利要求4所述的方法，其中，描述像素的增益的附加数据包含描述活动的焦平面的每一个中的像素的模拟增益的附加数据和描述活动的焦平面的每一个中的像素的数字增益的附加数据。
6.根据权利要求2所述的方法，其中，产生线图像数据还包括通过使用预定处理组合来自所述多个活动的焦平面的捕获的图像数据。
7.根据权利要求6所述的方法，其中: 所述预定处理是从用于组合捕获的图像数据的多个预定处理中选择的；并且， 附加数据包含指示用于组合捕获的图像数据的预定处理的附加数据。
8.根据权利要求7所述的方法，其中: 每个活动的焦平面包括包含多个行像素的像素阵列，所述包含多个行像素的像素阵列还形成多个列像素；并且 用于组合捕获的图像数据的预定处理包括交织来自从活动的焦平面中的每一个选择的行的图像数据。
9.根据权利要求7所述的方法，其中，用于组合捕获的图像数据的预定处理包括使用模数处理，这里，模数处理涉及通过交织来自被选择的行中的每一个的预定数量的像素来组合由活动的焦平面的被选择的行中的像素的每一个捕获的图像数据。
10.根据权利要求2所述的方法，其中，附加数据描述线图像数据中的至少一条。
11.根据权利要求10所述的方法，其中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据: 每个活动的焦平面开始捕获图像数据的时间；以及 用于捕获用于产 生线图像数据的图像数据的活动的焦平面的每一个中的行的行数量。
12.根据权利要求2所述的方法，还包括: 将线图像数据和描述捕获的图像数据的附加数据分成包，以生成至少一个数据包；以及其中，传送线图像数据和附加数据还包括传送所述至少一个数据包。
13.根据权利要求12所述的方法，其中: 数据包包括包头，该包头含有多条线图像数据和附加数据的至少一部分；并且 含在包头中的附加数据描述成像器阵列。
14.根据权利要求12所述的方法，其中，数据包还包括包脚，该包脚指示多条线图像数据的传送的结束。
15.根据权利要求12所述的方法，其中: 数据包包括多条线图像数据和与所述多条线图像数据中的每一条相关联的线头，并且 每个线头包含描述与该线头相关联的线图像数据的附加数据。
16.根据权利要求15所述的方法，其中，线头还包括描述成像器阵列的附加数据。
17.根据权利要求16所述的方法，还包括: 在帧消隐间隔期间中止传送； 在帧间隔之间传送所述多条线图像数据和描述捕获的图像数据的附加数据；以及 在线消隐间隔期间中止所述多条线图像数据和描述捕获的图像数据的附加数据的传送。
18.根据权利要求2所述的方法，还包括连续地传送线图像数据和附加数据，直到所有的数据被传送。
19.根据权利要求1所述的方法，其中，照相机模块中的每个透镜叠层具有不同的视场。
20.一种接收由照相机模块捕获的图像数据的方法，这里，照相机模块使用多个焦平面中的像素捕获图像数据，该方法包括: 使用接口电路从包含多个焦平面的照相机模块接收图像数据，这里，图像数据包括通过交织来自多个图像的像素而产生的线图像数据，所述多个图像被使用所述多个焦平面来捕获；以及 使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
21.根据权利要求20所述的方法，其中，照相机模块还产生描述捕获的图像数据的附加数据，并且所述方法还包括: 接收附加数据；以及 使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素还包括:使用附加数据识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
22.根据权利要求21所述的方法，其中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据: 成像器阵列中的焦平面的数量； 成像器阵列中的焦平面阵列的维度； 在焦平面的每个维度中的像素的数量； 在焦平面的每一个中的像素的积分时间；以及 在焦平面的每一个中的像素的增益。
23.根据权利要求22所述的方法，其中，描述像素的增益的附加数据包含描述活动的焦平面的每一个中的像素的模拟增益的附加数据和描述活动的焦平面的每一个中的像素的数字增益的附加数据。
24.根据权利要求21所述的方法，其中: 使用多个预定处理中的一个产生接收的线图像数据；并且 附加数据识别用于产生线图像数据的预定处理。
25.根据权利要求20所述的方法，其中，接口电路包含被配置为识别作为所述多个图像中的至少一个的一部分的图像数据中的像素的处理器。
26.一种用于接收由照相机模块捕获的图像数据的系统，这里，照相机模块使用多个焦平面中的像素捕获图像数据，该系统包括: 接口电路，其被配置为从包含多个焦平面的照相机模块接收图像数据，这里，图像数据包括通过交织来自多个图像的像素而产生的线图像数据，所述多个图像被使用所述多个焦平面来捕获； 其中，接口电路还被配置为使用接口电路识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
27.根据权利要求26所述的系统，其中，照相机模块还产生描述捕获的图像数据的附加数据，并且接口电路还被配置为: 接收附加数据；以 及 使用附加数据识别作为所述多个图像中的至少一个的一部分的图像数据中的像素。
28.根据权利要求27所述的系统，其中，附加数据包含从由描述以下方面的附加数据组成的群组中选择的数据: 成像器阵列中的焦平面的数量； 成像器阵列中的焦平面阵列的维度； 在焦平面的每个维度中的像素的数量； 在焦平面的每一个中的像素的积分时间；以及 在焦平面的每一个中的像素的增益。
29.根据权利要求28所述的系统，其中，描述像素的增益的附加数据包含描述焦平面的每一个中的像素的模拟增益的附加数据和描述焦平面的每一个中的像素的数字增益的附加数据。
30.根据权利要求26所述的系统，其中，接口电路包含被配置为识别作为所述多个图像中的至少一个的一部分的图像数据中的像素的处理器。
【文档编号】H04N5/225GK103765864SQ201280029399
【公开日】2014年4月30日 申请日期:2012年5月11日 优先权日:2011年5月11日
【发明者】A·K·J·麦克玛霍恩 申请人:派力肯影像公司