用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法

用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
【专利摘要】描述了用于检测有缺陷的相机阵列、光学器件阵列和/或传感器的系统及方法。一种实施例包括利用相机阵列捕捉图像数据；把捕捉到的数据分成多个对应的图像区域；通过评估所捕捉的图像中的图像区域，识别任意相机中局部缺陷的存在；以及，当特定图像区域集合中局部缺陷的个数超过预定的阈值时，利用图像处理系统检测到有缺陷的相机阵列，其中特定图像区域集合由以下构成：所捕捉的图像的至少一个子集中的共同对应图像区域；以及给定图像中包含沿源自所述给定图像中所述共同对应图像区域中一像素的极线位于预定最大视差移位距离内的至少一个像素的任何附加区域。
【专利说明】用于检测有缺陷的相机阵列、光学器件阵列和传感器的系 统及方法

【技术领域】
[0001] 本发明一般而言涉及用于筛查相机的缺陷的系统及方法并且，更具体而言，涉及 用于筛查相机阵列或者在相机阵列构造中使用的光学器件阵列的缺陷的系统及方法。

【背景技术】
[0002] 响应于对基于相机暗箱的传统数码相机放置的约束，已经推荐了可以被称为阵列 相机的一类新的相机。阵列相机的特征在于它们包括具有多个像素阵列的成像器阵列，其 中每个像素阵列要定义焦平面，并且每个焦平面具有单独的透镜堆叠（lensstack)。通常， 每个焦平面包括也构成多列像素的多行像素，并且每个焦平面包含在成像器中不包含来自 另一焦平面的像素的区域中。图像通常在每个焦平面上由其各自的透镜堆叠形成。在许多 情况下，阵列相机利用包括多个焦平面的成像器阵列和透镜堆叠的光学器件阵列构造。


【发明内容】

[0003] 根据本发明实施例的系统及方法检测在阵列相机模块构造中使用的有缺陷的相 机阵列，和/或光学器件阵列和/或传感器。本发明方法的一种实施例包括：利用多个相机 捕捉已知目标的图像数据，其中图像数据构成多个图像；利用图像处理系统把这多个图像 当中每一个分成多个对应的图像区域；利用图像处理系统通过根据至少一个预定的局部缺 陷标准评估这多个图像中的图像区域来识别多个相机当中至少一个中至少一个局部缺陷 的存在；当特定图像区域集合中的局部缺陷的个数超过预定的阈值时，利用图像处理系统 检测到有缺陷的相机阵列。此外，特定图像区域集合由以下构成：所述多个图像的至少一个 子集中的共同对应的图像区域；以及给定图像中包含沿源自所述给定图像中所述共同对应 图像区域中一像素的极线（epipolarline)位于预定最大视差移位距离内的至少一个像素 的任何附加图像区域，其中极线由捕捉所述给定图像的相机的中心与预定视点的相对位置 定义。
[0004] 在本发明方法的另一种实施例中，利用图像处理系统通过根据至少一个预定的局 部缺陷标准评估多个图像中的图像区域来识别多个相机当中至少一个中至少一个局部缺 陷的存在包括识别图像区域中满足至少一个预定标准的多个有缺陷像素。
[0005] 在本发明方法的另一种实施例中，预定标准是图像区域中的所述多个有缺陷像素 超过预定的有缺陷像素个数。
[0006] 在本发明方法的还有另一种实施例中，预定标准是所述多个有缺陷像素包括超过 预定尺寸的有缺陷像素的群集。
[0007] 在本发明方法的还有另一种实施例中，有缺陷的像素包括热像素、亮像素和暗像 素。
[0008] 在本发明方法的还有另一种实施例中，利用图像处理系统通过根据至少一个预定 的局部缺陷标准评估多个图像中的图像区域来识别多个相机当中至少一个中至少一个局 部缺陷的存在包括：测量图像区域内的调制传递函数（MTF);及确定图像区域的MTF未能满 足预定标准。
[0009] 在本发明方法的还有另一种实施例中，预定标准是处于预定空间频率的轴上MTF 超过第一预定阈值，处于预定空间频率的离轴切线MTF超过第二预定阈值，以及处于预定 空间频率的离轴径向MTF超过第三预定阈值。
[0010] 在本发明方法的还有另一种实施例中，所述多个对应的图像部分构成第一多个对 应的图像区域并且该方法还包括：利用图像处理系统把这多个图像当中每一个分成第二多 个对应的图像区域，其中第一多个对应的图像区域中图像区域的个数与第二多个对应的图 像区域中图像区域的个数不同；及利用图像处理系统通过根据至少一个附加的预定局部缺 陷标准评估第二多个图像中的图像区域来识别多个相机当中至少一个中至少一个局部缺 陷的存在。
[0011] 在本发明方法的还有另一种实施例中，所述多个图像构成一参考图像和多个替换 视图图像；特定图像区域集合由以下构成：参考图像中的特定图像区域；每个替换视图图 像中对应于参考图像中的特定图像区域的图像区域；以及多个替换视图图像当中给定替换 视图图像中包含沿源自所述给定替换视图图像中对应于参考图像中选定图像区域的图像 区域内一像素的极线位于预定最大视差移位距离内的至少一个像素的任何附加图像区域， 其中极线由捕捉参考图像的相机的中心与捕捉所述给定替换视图图像的相机的中心的相 对位置定义。
[0012] 在本发明方法的还有另一种实施例中，所述多个图像在多个颜色通道当中每一个 中构成多个图像；并且特定图像区域集合由这多个颜色通道之一中的多个图像中的图像区 域构成。
[0013] 在本发明方法的还有另一种附加实施例中，所述多个图像构成一参考图像和多个 替换视图图像，并且来自多个颜色通道之一的所述多个图像不包括参考图像；并且特定图 像区域集合还由以下构成：多个颜色通道当中所述一个中每个替换视图图像中对应于参考 图像中的特定图像区域的图像区域；以及来自多个颜色通道当中所述一个的给定替换视图 图像中包含沿源自所述给定替换视图图像中对应于参考图像中选定图像区域的图像区域 内的一像素的极线位于预定最大视差移位距离内的至少一个像素的任何附加图像区域，其 中极线由捕捉参考图像的相机的中心与捕捉所述给定替换视图图像的相机的中心的相对 位置定义。
[0014] 本发明方法的还有另一种实施例还包括在第二图像区域集合中的局部缺陷个数 超过第二预定阈值时利用图像处理系统检测到有缺陷的相机阵列，其中第二图像区域集合 由多个颜色通道当中第二颜色通道中的多个图像中的图像区域构成。
[0015] 在本发明方法的还有另一种附加实施例中，关于来自多个颜色通道当中所述一个 的所述特定图像区域集合使用的所述预定标准与关于来自多个颜色通道当中所述第二颜 色通道的所述第二特定图像区域集合使用的所述第二预定标准不同。
[0016] 本发明方法的还有另一种实施例还包括当使用光学测试仪器时把多个透镜堆叠 当中每一个的像面（imagefield)分成多个对应的区域；在每个区域中利用光学测试仪器 测量已知目标的调制传递函数（MTF);利用光学测试仪器通过根据至少一个预定的局部缺 陷标准评估多个透镜堆叠中区域的MTF测量结果来识别多个透镜堆叠当中至少一个中至 少一个局部缺陷的存在；当特定区域集合中的局部缺陷个数超过预定的阈值时，利用图像 处理系统检测到有缺陷的光学器件阵列。此外，特定区域集合由以下构成：多个透镜堆叠的 至少一个子集中的共同对应区域；以及给定透镜堆叠中沿源自该给定透镜堆叠内所述共同 对应区域的极线在预定最大视差移位距离内构成图像的任何附加区域，其中极线由所述给 定透镜堆叠的中心与预定视点的相对位置定义。
[0017] 本发明方法的还有另一种实施例包括利用包括多个相机的相机阵列捕捉图像数 据，其中这多个相机当中至少一个包括影响由该相机捕捉的图像数据的已知局部缺陷；利 用由超分辨率图像处理应用配置的处理器忽略由多个相机当中至少一个捕捉的图像中包 括已知局部缺陷的区域，其中被忽略的图像数据来自相机中已知包括所述已知局部缺陷的 区域；以及利用由处理器执行的超分辨率处理从由相机阵列中的相机捕捉的剩余图像数据 合成超分辨率图像，其中处理器利用超分辨率图像处理应用配置。
[0018] 在本发明方法的还有另一种实施例中，相机阵列包括已知包括至少一个有缺陷像 素的至少一个相机，并且该方法还包括忽略由这至少一个相机中已知有缺陷的像素捕捉的 图像数据。
[0019] 本发明的另一种实施例包括：包括多个相机的阵列相机模块，其中阵列相机模块 由包括多个的成像器阵列和包括多个透镜堆叠的光学器件阵列构成，其中由成像器阵列和 光学器件阵列构成的多个相机当中至少一个包括影响由该相机捕捉的图像数据的已知局 部缺陷；处理器；以及存储器，包含超分辨率图像处理应用和缺陷数据，其中缺陷数据标识 多个相机中包括已知局部缺陷的所述至少一个相机和该相机中包含该已知局部缺陷的区 域。此外，超分辨率处理应用把处理器配置为：利用阵列相机模块捕捉图像数据；关于多个 相机当中包括已知局部缺陷的所述至少一个相机当中的每一个，忽略由缺陷数据标识的至 少一个区域中的图像数据；及从剩余的图像数据合成超分辨率图像。
[0020] 在本发明的还有另一种实施例中，存储器还包括标识成像器阵列中至少一个有缺 陷像素的缺陷数据，并且所述超分辨率处理应用把处理器配置为还忽略由被所述缺陷数据 标识为有缺陷的至少一个像素捕捉的图像数据。
[0021] 附图图示
[0022] 图1概念性地图示了以阵列相机形式实现的相机阵列。
[0023] 图2概念性地图示了从光学器件阵列和成像器阵列构造的阵列相机模块。
[0024] 图3图示了可以在阵列相机模块的构造中使用的成像器阵列中的电路系统。
[0025] 图4图示了在像素子阵列的独立控制和读出中使用的电路系统，其中像素子阵列 在可以在阵列相机模块的构造中使用的成像器阵列上构成焦平面。
[0026] 图5A-5E概念性地图示了根据本发明的实施例的用于确定相机阵列是否能够从 由该相机阵列中的相机捕捉的图像数据合成具有可接受图像质量的图像的处理。
[0027] 图6是根据本发明实施例的用于确定相机阵列是否由于预定视差不确定区中局 部缺陷的存在而有缺陷的处理。
[0028] 图7是根据本发明实施例的用于基于相机区域中有缺陷像素的存在来确定相机 的该区域是否有缺陷的处理。
[0029] 图8是根据本发明实施例的用于基于区域中相机的MTF测量来确定相机的该区域 是否有缺陷的处理。
[0030] 图9是根据本发明实施例的用于基于参考相机没有有缺陷的区域来选择相机阵 列中参考相机的处理。
[0031] 图10是根据本发明实施例的用于基于在预定视差不确定区中未通过接受标准的 MTF的局部区域的存在来确定光学器件阵列是否有缺陷的处理。
[0032] 图11是根据本发明实施例的用于利用关于有缺陷区域的位置的信息忽略受缺陷 影响的被捕捉图像数据而从由包括缺陷的相机阵列捕捉的图像数据合成超分辨率图像的 处理。

【具体实施方式】
[0033] 现在转向附图，图示了根据本发明实施例用于检测在阵列相机模块的构造中使用 的有缺陷相机阵列和/或光学器件阵列和/或传感器的系统及方法。在利用单个光圈的 常规数码相机的制造处理中，会发生多种缺陷，包括（但不限于）相机光学器件中的缺陷， 包括导致不可接受的调制传递函数（MTF)性能的缺陷、相机传感器中的有缺陷像素和/或 组装光学器件和传感器以便构成相机中的缺陷。关于以下的讨论，术语"缺陷"用来指相机 (包括传感器、光学器件和/或组件）或光学器件阵列中不利地影响由相机形成的图像和 /或由相机捕捉的图像数据的任何方面。即使当缺陷是局部的时候，缺陷也会使相机不适 于使用，因为局部缺陷将导致由相机捕捉的每个图像的受影响区域中令人不满意的图像质 量。如以下讨论的，根据本发明实施例的系统和方法利用用来从由相机阵列捕捉的图像合 成图像的图像处理的知识来确定阵列中特定相机的局部缺陷是否可容忍。以这种方式，通 过使用包含将不影响相机阵列性能的缺陷的相机阵列，可以提高相机阵列制造的成品率。
[0034] 各种相机阵列和用于制造相机阵列的处理在于2009年5月20日提交且标题 为"CapturingandProcessingofImagesusingMonolithicCameraArraywith HeterogeneousImages"的美国专利申请序列No. 12/935, 504中公开，该申请的全部内容 通过引用被结合于此。场景的多个图像可以由相机阵列捕捉并且用来合成该场景的更高 (超分辨率）图像。可以用来利用由相机阵列捕捉的图像生成超分辨率图像的融合和超分 辨率处理在于2010年12月14提交且标题为"SystemandMethodsforSynthesizing HighResolutionImagesUsingSuper-ResolutionProcesses" 的美国专利申请序列 No. 12/967,807中公开，该申请的全部内容通过引用被结合于此。
[0035] 利用超分辨率处理合成的图像的一部分通常包括由相机阵列捕捉的多个图像中 的图像数据。在许多情况下，不需要由相机阵列捕捉的图像的完整集合来在合成的图像的 区域中获得可接受的图像质量。相机阵列的制造导致在常规相机制造期间经历的许多相同 缺陷。确定相机是否有缺陷的一种方法是识别相机阵列中包含缺陷的相机并且在有缺陷相 机的预定阈值个数被超过时把整个相机阵列识别为有缺陷的。对于包括构成不同颜色通道 的相机集合的阵列相机，诸如在美国专利申请序列No. 12/935, 504中所公开的，每个颜色 通道中有缺陷相机的个数可以关于单独的预定阈值来评估，以便确定相机阵列作为整体是 否有缺陷。对于包括越少相机的颜色通道，越少的缺陷个数可以被容忍。虽然基于包含缺 陷的相机个数因有缺陷而拒绝相机阵列是有效的，但是该处理会拒绝仍然可用来合成具有 可接受图像质量的图像（虽然在颜色通道中存在预定个数的局部缺陷）的相机阵列。通 过识别由相机阵列捕捉的图像中受一些相机的缺陷影响的部分并且评估对于那个区域是 否存在来自所有剩余相机的足够多可靠图像数据以便合成图像，可以实现提高的制造成品 率。如果仍然有足够多可靠图像数据以便合成图像，则相机阵列可以被使用，而不管受局部 缺陷影响的相机的总数如何。
[0036] 在几种实施例中，通过把由相机阵列中相机捕捉的场景（通常是已知的目标）的 每个图像分成对应的区域并且确定哪些区域包括包含有可能在图像处理中被融合以便形 成合成图像区域的图像数据的像素，作出相机阵列有缺陷的确定。在许多实施例中，图像处 理涉及执行超分辨率处理，该处理涉及视差检测和校正，以合成超分辨率的图像。在其它实 施例中，任意多种图像处理技术都可以使用，包括（但不限于合成以下的处理）超分辨率图 像的立体对、利用相机阵列中相机的子集合成的视频序列和/或其中不同的视频帧利用由 相机阵列的不同子集捕捉的图像数据合成的高帧速率视频序列。在有可能被融合以便形成 合成图像区域的预定个数区域受局部缺陷影响的情况下，相机阵列可以被确定为有缺陷。 在超分辨率处理的背景下，有可能被融合以便形成合成图像的特定区域的区域可以利用有 可能在由相机阵列中相机捕捉的图像之间观察到的最大视差移位来识别。在几种实施例 中，相机阵列中的一个相机被选作参考相机并且剩余的相机被认为是替换视图相机。在某 些实施例中，参考相机是根据包括参考相机不包括任何缺陷在内的标准来选择的。当考虑 由参考相机捕捉的图像的区域时，沿该区域中像素的极线的最大视差移位定义每个替换视 图图像中所谓的"视差不确定区"。关于相机阵列是否有缺陷的确定可以通过计数影响与由 参考相机捕捉的图像中每个区域关联的视差不确定区中像素的缺陷个数而作出。当相机阵 列中的相机构成多个颜色通道时，可以应用基于视差移位的单独标准来评估在每个颜色通 道的相机中存在的局部缺陷的影响。
[0037] 如以上指出的，各种缺陷可以在部件制造和相机或相机阵列组装期间发生。在几 种实施例中，评估相机阵列是否有缺陷的处理可以涉及评估相机阵列中的相机是否有几种 不同类型的缺陷，包括（但不限于）相机光学器件中的缺陷、相机传感器的像素中的缺陷以 及相机光学器件和传感器组装处理中的缺陷。在多种实施例中，当评估特定类型的局部缺 陷的影响时所考虑的图像区域的尺寸可以不同。在许多实施例中，在由相机捕捉的图像的 给定区域中评估相机的光学器件时考虑的区域比在相机的传感器中评估有缺陷像素的影 响时考虑的区域更大。一般而言，在缺陷检测处理中考虑的区域越小（即，考虑的区域个数 越大），在一定程度上预期的成品率越高，这个处理是：识别其中相机阵列中存在的缺陷可 以被超分辨率处理容忍的所有相机阵列；及当缺陷导致没有足够多的可靠图像数据用于执 行超分辨率处理时因有缺陷而拒绝所有相机阵列。
[0038] 基于预期的视差移位评估局部缺陷的可能影响可以提高整体制造成品率，因为相 机阵列不是仅仅基于相机阵列中包含缺陷的相机的预定个数而作为有缺陷被拒绝。类似的 技术可以用来评估阵列相机模块（类似于在美国专利申请序列No. 12/935, 504中讨论的阵 列相机模块）的构造中所使用的光学器件阵列。在许多实施例中，调制传递函数（MTF)测 量可以关于由光学器件阵列中的每个透镜堆叠构成的图像的不同区域进行。MTF-般而言 是光学性能的最相关测量，并且一般被看作光学系统从对象向图像传输各种水平细节（或 空间频率）的能力的客观量度。MTF是按照从那个细节水平的完美来源产生的对比度（灰 度）或者调制来测量的（因此是对象与图像之间的对比度之比）。图像中的细节量是由光 学系统的分辨率给出的，并且通常规定为线对/毫米（lp/mm)中的空间频率。线对是相等 宽度的亮条和暗条的一个循环并且具有统一的对比度。对比度可以定义为最大强度（Imax) 与最小强度（Imin)之差和Imax与Imin之和的比，其中Imax是由图像产生的最大强度（白色）， 而Imin是最小强度（黑色）。于是，MTF是以百分比量度的对比度对比以lp/mm量度的空间 频率的图。透镜中不利地影响MTF使得透镜堆叠的区域被认为包含缺陷（即，不能满足一 个或多个预定标准的MTF测量）的误差，诸如（但不限于）定心误差、形状误差和/或厚 度误差，的影响可以在超分辨率处理期间基于预期的视差移位来评估。以这种方式，通过考 虑受缺陷影响的图像的区域而不是仅仅考虑光学器件阵列中缺陷的个数，制造成品率可以 提高。以下将进一步讨论根据本发明实施例用于检测有缺陷相机阵列和/或光学器件阵列 的系统及方法，以及用于从由包含局部缺陷的阵列相机捕捉的图像合成超分辨率图像的技 术。
[0039] 相机阵列
[0040] 虽然以下许多讨论都参考用于筛查有缺陷相机阵列的系统和方法，但是在一开始 有必要回顾相机阵列的构造、会在相机阵列构造中发生的缺陷、以及在合成超分辨率图像 时关于局部缺陷的信息可以被利用来避免合成的超分辨率图像被受局部缺陷影响的像素 破坏的方式。相机阵列可以以多种方式实现，包括（但不限于）实现为一组离散的相机，或 者实现为阵列相机。阵列相机通常可以包括阵列相机模块和处理器。
[0041] 根据本发明实施例配置为以涉及忽略受阵列相机当中相机中局部缺陷影响的图 像数据的方式合成超分辨率图像的阵列相机在图1中图示。阵列相机100包括阵列相机模 块102,其包括个别相机104的阵列，其中个别相机的阵列指特定布置中的多个相机，诸如 (但不限于）在所图示的实施例中使用的方形布置。阵列相机模块102连接到处理器106 并且处理器106连接到存储器108。在多种实施例中，存储器包含超分辨率图像处理应用， 该应用配置为利用诸如（但不限于）在美国专利申请序列No. 12/967,807中所概述处理的 处理、利用由相机模块102捕捉的图像数据合成超分辨率图像。在几种实施例中，存储器 108包含关于由相机模块102捕捉的图像数据的信息，由于相机模块108当中个别相机104 中相机的局部缺陷，这种信息是不可靠的。信息可以是可以被忽略的图像区域和/或可以 被忽略的个别像素或像素群集的形式。当执行超分辨率处理时，超分辨率图像处理应用可 以利用关于所捕捉图像中不可靠的图像数据的信息来忽略不可靠的图像数据。
[0042] 虽然特定的阵列相机在图1中图示，但是，根据本发明的许多不同实施例，任意多 种不同的阵列相机配置都可以使用。此外，图1中所示的基本配置还可以在图像处理系统 中使用，该配置可以用来检测相机模块中局部缺陷的存在并且，为了利用由相机模块中个 别相机捕捉的图像数据合成超分辨率图像，确定局部缺陷是否导致整个相机模块有缺陷。
[0043] 阵列相机模块
[0044] 会在阵列相机中存在的缺陷通常由于构造阵列相机模块的方式而产生。阵列相机 模块，诸如以上关于图1讨论的阵列相机模块，可以按图2中所图示的方式从成像器阵列和 光学器件阵列构造。相机模块200包括成像器阵列230连同对应的光学器件阵列210,其中 成像器阵列230包括焦平面240的阵列，光学器件阵列210包括透镜堆叠220的阵列。在 透镜堆叠阵列内，每个透镜堆叠220产生光学通道，其在对应的焦平面240内的感光像素阵 列上形成场景的图像。透镜堆叠220和焦平面240的每个配对构成阵列相机模块中的单个 相机104。相机104的焦平面240中的各像素生成可以从相机104发送到处理器108的图 像数据。在许多实施例中，每个光学通道中的透镜堆叠配置为使得每个焦平面240的像素 采样场景内的相同对象空间或区域。在几种实施例中，透镜堆叠配置为使得采样相同的对 象空间的像素以亚像素偏移量这样做，以提供可以用来通过使用超分辨率处理恢复增大的 分辨率的米样多样性。
[0045] 在几种实施例中，个别相机中的颜色滤光器可以用来在阵列相机模块中构成多个 颜色通道。以这种方式，相机可以用来关于不同颜色捕捉数据或者频谱的特定部分。和对 相机的像素应用颜色滤光器形成对比，本发明许多实施例中的颜色滤光器可以包括在透镜 堆叠中。例如，绿色相机可以包括具有绿光滤光器的透镜堆叠，其中绿光滤光器允许绿光通 过光学通道。在许多实施例中，每个焦平面中的像素是相同的并且，对于每个滤光器平面， 被像素捕捉的光信息被对应透镜堆叠中的颜色滤光器区分。虽然以上描述了具有在透镜堆 叠中包括颜色滤光器的光学器件阵列的相机模块的特定构造，但是相机模块可以以多种方 式实现，包括（但不限于）通过对相机模块的焦平面的像素应用颜色滤光器，这类似于颜色 滤光器应用到使用常规Bayer颜色滤光器图案的相机的像素的方式。在几种实施例中，相 机模块中的至少一个相机可以包括应用到其焦平面内像素的均一颜色滤光器。在许多实施 例中，Bayer滤光器图案应用到相机模块中一个相机的像素。在多种实施例中，构造其中颜 色滤光器在透镜堆叠中和成像器阵列的像素上都使用的相机模块。
[0046] 会在相机模块中存在的缺陷包括（但不限于）有缺陷的像素、包括一个或多个偏 离对表面的相关规定的透镜表面的透镜堆叠、以及与传感器和光学器件阵列组合以便构成 相机模块的方式关联的缺陷。可能存在的有缺陷像素的类型可以包括（但不限于）热像 素（当传感器阵列未被照亮时生成高于预定平均暗信号的信号的像素）、亮像素（在相似 的照明条件下产生超过预定阈值的值的像素，其中预定阈值高于相邻像素产生的值）和暗 像素（在相似的照明条件下产生低于预定阈值的值的像素，其中预定阈值低于相邻像素产 生的值）。可以根据本发明实施例被检测的像素缺陷的具体类型通常依赖于特定应用的需 求。如以上所指出的，根据本发明的实施例，相机的光学器件的各种特性会导致被认为是缺 陷的足够恶化。在许多实施例中，透镜区域内的缺陷可以通过测量是否切线和/或径向MTF 分量（有时候被称为水平和垂直分量）当中一个或二者未能超过一个或多个预定义的阈值 来检测。可以被检测的附加缺陷包括（但不限于）光学器件中的和/或由于组装导致的瑕 疵。虽然以上描述了局部缺陷的特定分类，但是根据本发明实施例的处理可以利用关于图 像将从由相机阵列捕捉的图像数据合成的方式的信息评估局限于相机阵列中相机区域的 任意各种缺陷对相机阵列性能的影响。
[0047] 虽然以上讨论了特定的阵列相机模块和在阵列相机模块制造期间会发生的缺陷， 但是许多不同的阵列相机模块可以被构造并且根据本发明实施例的系统和方法可以检测 通常在特定类型的阵列相机模块构造中发生的缺陷类型的存在。为了提供关于成像器阵列 操作和成像器阵列捕捉在超分辨率处理中使用的图像数据的方式的一些附加背景，以下进 一步讨论根据本发明的实施例的可以在阵列相机模块构造中使用的成像器阵列。
[0048] 成像器阵列
[0049] 可以在阵列相机模块的构造中使用并且其中多个焦平面的图像捕捉设置可以独 立配置的成像器阵列在图3中图示。成像器阵列300包括焦平面阵列核心302,它包括焦 平面304的阵列以及全部模拟信号处理、像素级控制逻辑、信令和模数转换（ADC)电路系 统。成像器阵列还包括负责利用像素控制图像信息捕捉的焦平面定时和控制电路系统306。 在多种实施例中，焦平面定时和控制电路系统利用复位和读出信号来控制像素的积分时间 (integrationtime)。在其它实施例中，任意多种技术可以被用来控制像素的积分时间和 /或利用像素捕捉图像信息。在许多实施例中，焦平面定时和控制电路系统306提供图像 信息捕捉控制的灵活性，这实现包括（但不限于）高动态范围成像、高速视频和电子稳像的 特征。在各种实施例中，成像器阵列包括电力管理和偏置发生电路系统308。电力管理和 偏置发生电路系统308向模拟电路系统提供电流和电压参考，诸如参考电压，ADC将依照该 参考测量要转换的信号。在许多实施例中，电力管理和偏置发生电路系统还包括在某些电 路出于省电原因而不被使用时对它们关闭电流/电压参考的逻辑。在几种实施例中，成像 器阵列包括暗电流和固定模式（FPN)校正电路系统310,该电路系统增加由成像器阵列捕 捉的图像数据的黑电平的一致性并且可以减少行时域噪声和列固定模式噪声的出现。在几 种实施例中，每个焦平面包括参考像素，用于校准焦平面的暗电流和FPN，并且控制电路系 统可以在焦平面的其余像素被断电时保持参考像素处于活动状态，以便通过减小暗电流和 FPN校准的需求来提高成像器阵列可以被通电的速度。
[0050] 在许多实施例中，单个自包含芯片成像器阵列包括焦平面取景（framing)电路系 统312,它把从焦平面捕捉的数据打包到容器文件中并且可以准备被捕捉的图像数据用于 传输。在几种实施例中，焦平面取景电路系统包括识别被捕捉的图像数据源自于其的焦平 面和/或像素组的信息。在多种实施例中，成像器阵列还包括用于把被捕捉的图像数据传 输到外部设备的接口。在所图示的实施例中，该接口是MIPICSI2输出接口（如由非营 利型MIPIAlliance公司规定的），该接口支持四道（lane)，其中这些道可以支持视频以 30fps从成像器阵列读出，并且该接口包含数据输出接口电路系统318、接口控制电路系统 316和接口输入电路系统314。通常，每条道的带宽对成像器阵列中的像素总数和期望的帧 速率进行优化。根据本发明的实施例的包括MIPICSI2接口在内的各种接口对于把由成 像器阵列中的成像器的阵列捕捉的图像数据发送到外部设备的使用在于2012年11月6日 提交且标题为"SystemsandMethodsforTransmittingArrayCameraData" 的美国专 利8, 305, 456中描述，该专利的全部内容通过引用被结合于此。
[0051] 虽然以上关于图3讨论了成像器阵列体系架构的特定部件，但是，根据本发明的 实施例的使得能够在多个焦平面捕捉场景的图像的任意各种成像器阵列都可以根据本发 明的实施例来构造。以下进一步讨论根据本发明的实施例可以包括在成像器阵列中的独立 焦平面控制。
[0052] 独立的焦平面控制
[0053] 根据本发明实施例的成像器阵列可以包括可以被独立控制的焦平面阵列。以这种 方式，用于成像器阵列中每个焦平面的图像捕捉设置可以不同地配置。根据本发明实施例 的包括焦平面阵列中图像捕捉设置的独立控制和像素读出的独立控制的成像器阵列在图4 中图示。成像器阵列400包括多个焦平面或像素子阵列402。控制电路系统403、404提供 应用到每个焦平面内个别像素的曝光定时和放大增益的独立控制。每个焦平面402包括独 立的行定时电路系统406、408,以及独立的列读出电路系统410、412。在操作中，控制电路 系统403、404确定每个活动的焦平面402中像素的图像捕捉设置。行定时电路系统406、 408和列读出电路系统410、412负责从活动的焦平面中的每个像素读出图像数据。然后，从 焦平面读出的图像数据被格式化，用于利用输出和控制接口 416输出。
[0054] 虽然以上参考图4讨论了特定的成像器阵列配置，但是，根据本发明的实施例，包 括独立和/或相关的焦平面控制的任意多种成像器阵列配置都可以使用，包括在于2011年 5 月 12 日提交且标题为"ArchitecturesforImagerArraysandArrayCameras"的美国 专利申请序列No. 13/106,797中所概述的配置，该专利申请的全部内容通过引用被结合于 此。如以下进一步讨论的，由成像器阵列捕捉的图像数据可以用来检测由阵列相机模块构 成的相机中的局部缺陷并且评估这些缺陷是否将最终使整个阵列相机模块有缺陷。
[0055] 评估相机阵列中的缺陷
[0056] 相机阵列可以捕捉多个颜色通道或光谱相机中的信息，其中特定的相机配置为只 捕捉单个颜色通道或光谱带内的图像数据。配置为捕捉红、绿和蓝图像数据的4X4相机 阵列在图5A中概念性地图示。如以上所指出的，包括（但不限于）在美国专利申请序列 No. 12/967,807中公开的处理的超分辨率处理可以用来取得由相机阵列中每个相机捕捉的 图像数据并且合成超分辨率图像。从由具有不同视点的多个相机捕捉的图像合成超分辨率 图像的处理涉及识别可以应用到图像数据的像素移位，以便把所有捕捉到的图像数据都移 位到单个视点。参考图5A中所图示的相机阵列，参考相机500可以被指定并且所有剩余的 相机都可以被认为是替换视图相机。确定应用到由替换视图相机捕捉的图像像素的适当移 位以便把像素移位到参考相机的视点的一种方法是确定到由参考相机捕捉的场景内对象 的距离。然后，这些距离可以被用来确定替换视图图像中的预期视差移位，然后这种视差移 位可以被校正。替换视图图像中的视差移位通常将沿极线发生，其中极线是基于参考相机 和替换视图相机的中心的相对位置确定的。用于检测和校正视差移位的处理在于2013年 3 月 13 提交且标题为"SystemsandMethodsforParallaxDetectionandCorrection inImagesCapturedUsingArrayCameras" 的美国临时专利申请序列No. 61/780, 906 中 公开，该申请的全部内容通过引用被结合于此。如在美国临时专利申请序列No. 61/780, 906 中所讨论的，在进行视差检测和校正时执行的差距搜索可以基于观察到的最大视差移位来 界定。如以下参考图5B-5E进一步讨论的，这些界限的正确评价可以用来确定相机阵列的 相机中的局部缺陷是否将影响利用由该相机阵列捕捉的图像合成的图像的图像质量。
[0057] 利用关于视差移位的界限来评估局部缺陷的影响
[0058] 根据本发明许多实施例用于筛查相机阵列的缺陷的系统和方法尝试评估由相机 阵列捕捉的图像数据是否包括足够多的可靠图像数据来可靠地合成超分辨率图像。在几种 实施中，所捕捉的图像数据的足够性是通过把超分辨率图像看作从由相机阵列捕捉的每个 图像中的区域中像素捕捉的图像数据合成的区域集合来确定的。虽然图像中区域的位置与 超分辨率图像中区域的位置对应，但是应当指出，视差的影响意味着超分辨率图像的区域 可以从不仅仅由相机阵列所捕捉图像的对应区域捕捉的图像数据合成。合成超分辨率图像 的区域的处理涉及把由相机阵列中相机捕捉的所有图像数据移位到从其合成超分辨率图 像的视点，这可以包括移位由来自相机多个区域的像素捕捉的图像数据。虽然以下许多讨 论都假设超分辨率图像是从参考相机的视点合成的，但是超分辨率图像也可以从虚拟视点 合成。在这种情况下，视差校正应用到所有图像数据。
[0059] 超分辨率图像的区域可以基于捕捉的图像数据被合成的可靠性可以通过识别图 像数据中可以用来合成超分辨率图像的像素和可能受局部缺陷影响的像素来评估。如以上 所指出的，有可能在捕捉到的图像数据中观察到的视差移位通常被界定。因此，依赖于场景 的本质，这些最大视差移位界限可以用来识别由阵列中特定相机捕捉的图像数据中可以用 来合成超分辨率图像的区域的像素。将用来合成超分辨率图像的区域的特定像素通常将依 赖于到在超分辨率图像的合成区域中可见的场景内对象的距离。由相机阵列中特定相机 捕捉的图像中包含可以用来合成超分辨率图像的区域的像素的区域（基于视差移位界限 识别出的）可以关于超分辨率图像的区域被称为视差不确定区。在所有可能的成像条件下 (即，跨所有可能的对象距离），这些视差不确定区包含可以用来合成超分辨率图像的关联 区域的像素。通过识别影响视差不确定区中所包含的像素的局部缺陷（如果有的话）的个 数，根据本发明实施例的系统和方法可以识别在超分辨率图像区域的合成期间必须忽略的 图像数据的量。如果必须忽略的图像数据的量（即，视差不确定区中受局部缺陷影响的像 素的个数）超过预定的量，则相机阵列可以被确定为对于合成超分辨率图像而言是有缺陷 的。虽然以下许多讨论集中在合成超分辨率图像，但是类似的处理可以用来评估是否足够 多的可靠图像数据可用来合成其它类型的图像，诸如（但不限于）超分辨率图像的立体对， 和/或利用相机阵列中相机子集合成的视频序列。
[0060] 为了提供以上概述的处理的具体例子，根据本发明实施例的用于确定在图5A中 图示的4X4相机阵列的相机中的局部缺陷是否使相机阵列对于从参考相机500的视点合 成超分辨率图像而言是有缺陷的处理在图5B-5E中概念性地图示。图5A中图示的4X4相 机阵列包括捕捉红、绿和蓝图像数据的相机。在评估相机阵列时，每个颜色通道可以单独地 考虑。首先参考图5B，关于通过把超分辨率图像分成3X3网格并且把由相机阵列捕捉的每 个图像分成对应的3X3网格来定义的超分辨率图像的区域，考虑由绿色通道内的相机捕 捉的可靠图像数据的足够性。虽然利用3X3网格定义的区域被用来图示在图5B-5E中所 示的处理，但是区域的个数可以基于特定应用的需求来选择并且，如以下进一步讨论的，当 考虑可能在给定相机阵列中存在的不同类型缺陷时，区域的尺寸可以不同。由于超分辨率 图像是从参考相机500的视点合成的事实，所考虑的超分辨率图像的区域对应于参考相机 的区域502(即，把由参考相机的像素捕捉的图像数据移位到合成的超分辨率图像的视点 的预期视差移位为零）。在所图示的实施例中，极线504和最大视差移位被用来识别替换视 图绿色相机中包含有可能可以捕捉如下图像数据的像素的区域，所述图像数据可用来在所 有可能的成像条件下合成超分辨率图像的区域。在所图示的实施例中，假设最大视差移位 近似地等于其中一个区域的相对维度（即，依赖于阵列中相机的位置，在区域的对角线长 度和边缘长度之间某处）。在实际应用中，观察到的最大视差移位通常依赖于替换视图相机 相对于参考相机的位置。在某些实施例中，基于相机位置，使用不同的最大视差移位。在其 它实施例中，为了简化分析，使用相同的最大视差移位，而不考虑相机的位置。被假设的特 定视差移位通常依赖于特定相机阵列中相机的间距和焦距。
[0061] 替换视图绿色相机中识别出的包含至少一个有可能可捕捉如下图像数据的像素 的区域定义用于超分辨率图像给定区域的视差不确定区506,所述图像数据用来合成超分 辨率图像的给定区域。在图5B-5E中，视差不确定区被图示为每个相机中的阴影区域。一旦 识别出视差不确定区，确定相机阵列是否捕捉到在所有成像条件下可靠地合成超分辨率图 像的足够多可靠图像数据的处理就仅仅涉及计数影响视差不确定区中像素的缺陷的个数。 当任一视差不确定区中计数的缺陷个数超过预定个数时，相机阵列被认为是有缺陷的。在 多种实施例中，少于三个影响视差不确定区中区域的局部缺陷可以被容忍。再次参考图5B， 局部缺陷利用符号"X"指示。如可以很容易认识到的，被评估的超分辨率图像区域的视差 不确定区中三个局部缺陷（X)的存在将导致所图示的相机阵列被认为是有缺陷的。
[0062] 以预定方式定义视差不确定区的能力可以简化用于在相机阵列制造期间根据本 发明实施例检测有缺陷相机阵列的处理。用于确定相机阵列是否有缺陷的处理可以仅仅涉 及确定相机中包含局部缺陷的区域，然后使用查找表来识别在评估对于合成期望类型的图 像而言局部缺陷是否使整个相机阵列有缺陷时要考虑的视差不确定区。
[0063] 在本发明的许多实施例中，评估相机阵列是否有缺陷的处理涉及评估视差不确定 区内的区域是否包含局部缺陷。对于超分辨率图像的给定区域，相机中被认为是视差不确 定区的部分的区域是包含有可能可以捕捉如下图像数据的至少一个像素的区域，所述图像 数据可用来在所有可能的成像条件下合成超分辨率图像的所述给定区域。还值得一提的 是，作为视差不确定区的部分的区域还可以包括捕捉将不被超分辨率处理用来合成超分辨 率图像给定区域的图像数据的像素（即，沿极线移位到超分辨率图像的不同区域的像素）。 例如，区域508包含这种像素。在影响区域508的局部缺陷不影响有可能可以捕捉在超分 辨率图像给定区域的合成中所使用的图像数据的像素的情况下，虽然未能满足以上概述的 标准，但相机阵列在理论上仍然可以用来合成具有可接受图像质量的超分辨率图像。从而， 通过减小区域的尺寸（例如，使用多于3X3网格，例如，6X8网格和/或适于本发明需求的 任何其它网格），成品率可以进一步提尚。如以下进一步讨论的，所考虑的区域的尺寸可以 依赖于被检测的缺陷的特定类型。例如，有缺陷的像素可以被独立地识别并且因此在评估 有缺陷像素的影响时可以考虑非常小的区域。相反，MTF计算通常需要由较大亮像素捕捉的 图像数据。因此，在评估阵列相机模块的光学器件阵列的透镜堆叠中缺陷的影响时，可以使 用较大的区域。此外，用于测试光学器件阵列的区域的尺寸、个数和位置只能已经由MTF测 试装备的设置定义，例如，如果光学测试仪器在测试器中使用9个分划板和对应的相机（轴 上、在"图像"的横和纵轴上中间场高度的4个，以及在角落的4个）。从而，在作为确定相 机阵列对用于合成期望类型的图像是否足够可靠的处理的一部分评估不同类型缺陷的影 响时，单个筛查处理可以使用不同尺寸的区域。
[0064] 关于超分辨率图像的各个区域定义视差不确定区的方式可以参考图5C-5E进一 步理解。具体参考图5C和选择对应于参考相机中区域510和区域520的超分辨率图像 的不同区域（分别在图5C和中示出）。极线512、522和最大视差移位界限用来识别视 差不确定区514、524,然后可以确定影响视差不确定区514、524中像素的局部缺陷的个数。 当影响视差不确定区中像素的局部缺陷的个数超过预定的阈值个数时，相机阵列可以被认 为对于合成超分辨率图像而言是有缺陷的。
[0065] 图5A中所图示的相机阵列中的参考相机500是捕捉绿色通道中的图像数据的相 机。合成超分辨率图像的处理还可以涉及把由其它颜色通道中的相机捕捉的图像数据移位 到参考相机的视点。在几种实施例中，评估相机阵列是否可以可靠地合成超分辨率图像的 处理涉及评估作为不包含参考相机的颜色通道的一部分的相机中的缺陷是否有可能导致 利用由该相机阵列捕捉的图像数据合成的超分辨率图像中不可接受的图像质量。用于评估 作为不包含参考相机的颜色通道的一部分的相机中缺陷的可能影响的处理类似于以上概 述的处理。极线和最大视差移位界限用来识别该颜色通道中的替换视图相机中对合成的超 分辨率图像的特定区域构成视差不确定区的区域。在许多情况下，相机阵列中用来捕捉不 同颜色通道中图像数据的相机的个数可以变化。因此，不同的阈值可以用来确定阵列相机 在每个颜色通道中是否有缺陷。
[0066] 根据本发明实施例的用于评估图5A中所图示的相机阵列由于作为蓝色通道一部 分的相机中存在的局部缺陷而对于合成全色超分辨率图像是否有缺陷的处理在图5E中概 念性地图示。该处理涉及选择超分辨率图像中对应于参考相机500的区域530的区域。虽 然对应于超分辨率图像的选定区域的区域530在图5E中示出，但是参考相机不捕捉蓝色通 道中的图像数据，并且因此，对于评估蓝色通道中的相机，不考虑参考相机。为了图示确定 作为蓝色通道一部分的相机中视差不确定区的方式，仅仅示出区域330。关于超分辨率图像 的选定区域，极线和最大视差移位界限用来识别蓝色通道中相机中的视差不确定区。可以 关于影响蓝色通道中相机的视差不确定区中区域的（任何类型的）局部缺陷的个数作出确 定。当视差不确定区中受局部缺陷影响的区域个数超过预定的阈值时，相机阵列可以被确 定为对于合成全色超分辨率图像而言是有缺陷的。具体地关于图5A中所图示的4X4相机 阵列，在相机阵列被认为有缺陷之前超分辨率图像的特定区域的视差不确定区中可以被容 忍的缺陷个数是单个缺陷。在其它实施例中，视差不确定区中被容忍的局部缺陷的个数可 以基于特定应用的需求来确定。
[0067] 虽然以上关于图5E讨论的处理是在图5A中所示相机阵列中构成蓝色通道的相机 的背景下讨论的，但是类似的处理可以用来确定构成红色通道的相机中的缺陷是否危及超 分辨率图像可以利用由相机阵列捕捉的图像数据合成的可靠性。此外，以上对不包含参考 相机的颜色通道的讨论主要是参考红和蓝色通道给出的。但是，根据本发明的实施例，任何 颜色通道都可以在对具体应用适当的时候利用类似于以上概述的处理评估。实际上，当超 分辨率图像从虚拟视点合成时（即，没有颜色通道包括从合成超分辨率图像的视点捕捉图 像数据的相机），由相机阵列捕捉的所有颜色通道都可以利用类似于以上参考图5E所述的 处理来评估。
[0068] 用于检测有缺陷的相机阵列的处理
[0069] 用于制造相机阵列，包括（但不限于）利用阵列相机模块实现的相机阵列，的处理 可以包括筛查有缺陷相机阵列的处理。在许多实施例中，筛查处理识别缺陷以及相机阵列 中捕捉图像数据的相机中受识别出的缺陷影响的区域。然后，该处理可以计数特定区域集 合中受缺陷影响的区域个数，其中每个区域集合对可以利用由相机阵列捕捉的图像数据合 成的超分辨率图像的特定区域构成视差不确定区。在许多实施例中，特定的区域集合可以 对用来合成超分辨率图像的区域的每个颜色通道包括不同的集合。以这种方式，预定的视 差不确定区可以有效地定义为一组查找表（或类似的数据结构），而不需要持续地执行计 算来确定视差不确定区（对于被制造和测试的每个类似的相机阵列，视差不确定区通常是 相同的）。
[0070] 根据本发明实施例用于筛查相机阵列以便识别有缺陷相机阵列的处理在图6中 图示。处理600包括利用多个焦平面捕捉（602)已知目标的图像数据。在许多实施例中，目 标包括使得能够为了检测阵列相机内的局部缺陷而对捕捉到的图像数据进行评估的特征。 在多种实施例中，使用在多个场位置实现MTF的局部测量的目标，诸如（但不限于）包含倾 斜边缘目标（对于切线和径向分量二者）、条状目标（对于切线和径向分量二者）和/或西 门子星（Siemensstar)的目标。在某些实施例中，特定类型的目标被重复布置，以成像到 不同区域中。所捕捉的图像数据被分成￠04)区域并且在这些区域中识别￠06)任何局部 缺陷。根据本发明实施例的处理可以筛查多种不同类型的缺陷，包括（但不限于）相机的 透镜堆叠中的缺陷、相机的传感器中的缺陷、以及由于相机光学器件和传感器的不正确组 装而导致的缺陷。如以下进一步讨论的，为了评估不同类型的图像对由相机阵列合成的超 分辨率图像的图像质量的影响，把所捕捉的图像数据分成区域的处理可以涉及把所捕捉的 图像数据分成不同尺寸的区域。
[0071] 在多种实施例中，选择（608)参考相机。如以下进一步讨论的，根据本发明许多实 施例的处理需要在超分辨率图像合成当中使用的参考相机没有局部缺陷。从而，选择参考 相机的处理可以涉及选择候选参考相机并且评估是否有任何候选参考相机没有缺陷。在没 有候选参考相机没缺陷的情况下，相机阵列可以被拒绝。
[0072] 于是，筛查相机阵列的处理可以涉及识别（610)影响由超分辨率图像每个区域的 视差不确定区中的区域所捕捉的图像数据的缺陷，其中超分辨率图像可以利用由相机阵列 捕捉的图像数据合成。如以上指出的，对于可以利用相机阵列合成的超分辨率图像的每个 区域，这可以涉及利用查找表（或者类似的可快速访问的数据结构）计数在对应于（每个 颜色通道中）视差不确定区的特定区域集合中发生的缺陷个数。然后，可以评估每个特定 的区域集合中缺陷的个数，以确定￠12)该个数是否超过预定的阈值。在许多实施例中，可 以为不同的区域集合定义不同的阈值。在几种实施例中，不同的阈值应用到由相机阵列支 持的每个不同颜色通道中的集合。在其中每种情况下缺陷的个数都低到足以满足阈值的实 施例中，相机阵列被确定为能够合成具有可接受图像质量的超分辨率图像，并且关于缺陷 的信息可以被存储，供相机阵列在超分辨率图像的后续合成中使用。以这种方式，关于缺陷 的信息可以用来在超分辨率图像合成期间忽略由受缺陷影响的相机区域捕捉的图像数据。 以下进一步讨论用于以这种方式合成超分辨率图像的处理。在关于特定区域集合的至少一 个缺陷计数超过预定阈值的情况下，相机阵列被确定为对于合成具有可接受图像质量的超 分辨率图像而言是有缺陷的。
[0073] 虽然以上参考图6描述了用于确定相机阵列是否有缺陷的特定处理，但是，根据 本发明的实施例，任意各种处理都可以使用，包括基于适于特定应用的任意各种标准定义 区域集合的处理，包括评估用来合成其它类型图像的图像数据可靠性的集合，其中其它类 型的图像包括（但不限于）超分辨率图像的立体对、从相机阵列中的相机子阵列合成的图 像序列，和/或包括从相机阵列中的不同相机子阵列合成的相继帧的高速视频序列。如鉴 于以上讨论可以很容易认识到的，特定区域集合中所包括的特定区域可以基于用来合成每 种类型图像的相机并且利用极线和最大视差移位界限来识别那些相机中落在视差不确定 区中的区域来确定。以下进一步讨论根据本发明实施例的用于识别缺陷的处理。
[0074] 基于像素缺陷识别有缺陷的区域
[0075] 由于区域中有缺陷像素的存在，相机的区域可以被认为是有缺陷的。由于包括 (但不限于）被确定为热像素、亮像素或暗像素的像素，像素可以被认为是有缺陷的。适于 特定应用需求的任意各种标准都可以用来确定区域内有缺陷的像素的存在是否使整个区 域对于评估相机阵列而言是有缺陷的。在多种实施例中，预定个数像素的存在导致整个区 域被认为有缺陷。在几种实施例中，区域中超过预定尺寸的有缺陷像素群集的存在导致整 个区域被认为有缺陷。在某些实施例中，等于或小于2X2像素群集的像素群集可以被容 忍。但是，在一个维度中包括三个或更多个像素的像素群集导致整个区域被认为有缺陷。在 其它实施例中，可以被容忍的有缺陷像素群集的尺寸是基于特定应用的需求而确定的。
[0076] 根据本发明实施例用于确定有缺陷像素的存在是否导致对于评估相机阵列的性 能而言区域被认为有缺陷的处理在图7中图示。处理700包括利用在特定区域内捕捉的图 像数据检测（702)有缺陷的像素。关于有缺陷像素的个数是否超过阈值作出确定（704)。 如果阈值被超过，则该区域对于评估相机阵列而言被认为是有缺陷的（706)。在有缺陷像素 的个数不超过预定阈值的情况下，关于有缺陷像素的任何群集的尺寸是否超过预定阈值作 出确定（708)。在存在一个或多个超过最大尺寸标准的群集的情况下，该区域对于评估相机 阵列而言被认为是有缺陷的（706)。否则，虽然存在有缺陷的像素，但是该区域被作为没缺 陷看待（710)。在许多实施例中，关于有缺陷像素的信息被存储，以便在利用由该区域捕捉 的图像数据合成图像时使用，使得由有缺陷像素捕捉的图像数据可以被忽略。
[0077] 虽然以上描述了基于相机区域中存在的有缺陷像素的特性确定相机区域是否有 缺陷的特定处理，但是，根据本发明的实施例，基于区域内有缺陷像素的个数、类型和/或 位置，利用适于特定应用需求的任意各种标准的任意各种处理都可以用来确定相机的区域 对于评估相机阵列而言是否有缺陷。以下讨论根据本发明实施例的利用MTF测量评估相机 的区域是否有缺陷的处理。
[0078] 利用MTF测量识别有缺陷的区域
[0079] 相机的光学器件中的缺陷可以通过执行MTF测量来识别。在几种实施例中，相机 的区域中可归因于相机透镜堆叠中缺陷的缺陷可以通过对该区域执行MTF测量来检测。当 MTF测量偏离光学器件的预期MTF时，可以认为在该区域内发生了MTF失败并且该区域对于 评估相机阵列的整体可靠性而言可以被作为有缺陷的对待。
[0080] 根据本发明实施例的在评估相机阵列的整体可靠性时用于确定相机的区域是否 有缺陷的处理在图8中图示。处理800包括测量（802)由相机捕捉的图像区域的MTF。确 定（804)MTF测量是否指示该区域内的MTF低于预定阈值。在许多实施例中，当关于区域 的MTF测量对处于某个空间频率的某个对比度不满足阈值时，相机的该区域被确定为对评 估相机阵列的整体性能而言是有缺陷的。在用于区域的MTF测量满足预定接受标准的情况 下，该区域被确定为（808)对评估相机阵列的整体性能而言是没有缺陷的。
[0081] 虽然以上参考图8描述了特定的处理，但是根据本发明的实施例，任意各种处理 都可以在适于特定应用需求的时候用来基于相机光学器件的特性筛查相机的区域。
[0082] 用于选择参考相机的处理
[0083] 在许多实施例中，合成超分辨率图像的处理涉及选择参考相机并且从参考相机的 视点合成超分辨率图像。被选作参考相机的相机在超分辨率图像的合成中扮演重要的角 色。因此，根据本发明多种实施例的处理尝试选择没有缺陷的参考相机并且在没有可充当 参考相机的相机没缺陷时丢弃相机阵列。
[0084] 根据本发明实施例的用于选择相机阵列中参考相机的处理在图9中图示。处理 900包括选择（902)初始参考相机。作出关于选定的相机是否没有缺陷的确定（904)。在 选定的相机没有缺陷的情况下，该相机被选作（906)参考相机。在选定的相机包含一个或 多个有缺陷区域的情况下，选择（902)候选参考相机和评估（904)候选参考相机的处理一 直重复直到找到没有缺陷的候选参考相机并且将其选作（906)参考相机或者所有可能的 候选都耗尽为止。在后一种情况下，相机阵列因有缺陷而被拒绝（910)。依赖于相机阵列的 构造和特定应用的需求，通常在相机阵列中只有相机子集可以充当参考相机。
[0085] 虽然以上参考图9讨论了用于选择参考相机的特定处理，但是，根据本发明的实 施例，适于特定应用需求的任意各种处理都可以使用。
[0086] 筛查光学器件阵列
[0087] 虽然以上讨论大多集中在用于筛查相机阵列中将阻止合成具有可接受图像质量 的图像的缺陷的系统和方法，但是，根据本发明的实施例，类似的技术可以用来筛查为用在 阵列相机模块中而制造的光学器件阵列。光学器件阵列中每个透镜堆叠的多个区域中的 MTF可以利用设计成执行MTF测试的光学测试仪器来测量，诸如（但不限于）由位于德国 Wedel的TrioptocisGmbH制造的ImageMaster?产品线。此外，根据本发明的实施例， 可以在这种光学测试仪器上执行脚本，以便利用考虑光学器件阵列中有缺陷区域对利用图 像数据合成的图像所具有的影响的处理来检测有缺陷的光学器件阵列，其中图像数据是由 包含所述光学器件阵列的假设阵列相机捕捉的。透镜堆叠中的缺陷可以通过单独测量每个 透镜堆叠的多个区域当中每一个的MTF来定位。以与对相机阵列中相机的区域定义视差不 确定区相同的方式，视差不确定区可以关于光学器件阵列中透镜堆叠的区域定义。通过计 数视差不确定区中MTF测量未能满足一个或多个预定MTF标准的区域，可以关于光学器件 中的缺陷是否有可能导致不能捕捉从其可以合成具有可接受图像质量的超分辨率图像的 图像数据的阵列相机模块的构造作出确定。就像对于相机阵列，构成每个视差不确定区的 特定区域集合可以存储在查找表（或类似的数据结构）中，使得能够快速检索。以这种方 式，可以生成计数并且关于每个集合应用适当的阈值，以确定光学器件阵列是否有缺陷。
[0088] 根据本发明实施例的用于确定透镜阵列是否有缺陷的处理在图10中图示。处理 1000包括对透镜堆叠阵列中的每个透镜堆叠的不同区域测量（1002)MTF。局部缺陷可以 通过比较MTF测量结果与至少一个预定标准来识别（1004)，其中预定标准诸如（但不限 于）以下任一阈值：在2271p/mm的轴上MTF>0. 3 ;在0. 6相对场高度的所有区域都具有在 2271p/mm的S-MTFX). 2并且在2271p/mm的T-MTFX). 2 ;在0. 8相对场高度的所有区域都 具有在2271p/mm的S-MTFX). 15并且在2271p/mm的T-MTFX). 1。在其它实施例中，适于特 定应用需求的任何阈值都可以使用。在多种实施例中，一个透镜堆叠被选作参考透镜堆叠。 如以上讨论的，本发明的几种实施例要求参考相机没有缺陷。因而，被选作参考透镜堆叠的 透镜堆叠也可以服从没有缺陷的需求。在没有可以充当参考相机的透镜堆叠的透镜堆叠没 缺陷的情况下，本发明的某些实施例涉及因有缺陷而拒绝该透镜堆叠。
[0089] 然后，筛查光学器件阵列的处理可以涉及识别（1008)将影响在超分辨率图像的 每个区域的视差不确定区中所捕捉的图像数据的缺陷，其中超分辨率图像可以从参考透镜 堆叠的视点合成。如以上指出的，对于参考透镜堆叠的每个区域，这可以涉及使用查找表 (或者类似的可快速访问的数据结构）来计数在对应于（每个颜色通道中）视差不确定区 的特定区域集合中发生的缺陷个数。然后，每个特定区域集合中缺陷的个数可以被评估，以 确定（1010)该个数是否超过预定的阈值。在许多实施例中，可以为不同的集合定义不同的 阈值。在几种实施例中，不同的阈值应用到最终将利用光学器件阵列构成的每个不同颜色 通道中的集合。在其中每种情况下缺陷的数据都低到足以满足阈值的实施例中，光学器件 阵列被确定为适于在阵列相机模块的构造中使用。此外，关于在筛查处理期间捕捉到的缺 陷的信息随后可以用来在超分辨率图像的合成期间忽略由受光学器件阵列中缺陷影响的 相机区域捕捉的图像数据。以下进一步讨论用于以这种方式合成超分辨率图像的处理。在 关于特定区域集合的至少一个缺陷计数超过预定阈值的情况下，光学器件被确定为对于构 造阵列相机模块而言是有缺陷的。
[0090] 虽然以上关于图10描述了用于确定光学器件阵列是否有缺陷的特定处理，但是， 根据本发明的实施例，任意各种处理都可以使用，
[0091] 包括基于适于特定应用的任意各种标准定义区域集合的处理，包括基于合成其它 类型的图像评估光学器件阵列可靠性的集合，其中其它类型的图像包括（但不限于）超分 辨率图像的立体对、从相机阵列中的相机子阵列合成的图像序列、和/或包括从相机阵列 中的不同相机子阵列合成的相继帧的高速视频序列。此外，通过基于每个部件中存在的缺 陷来组合光学器件阵列和传感器，材料组合(materialbinning)可以用来进一步提高成品 率。以这种方式，可以产生匹配其中在光学器件阵列中存在局部缺陷的区域和在传感器中 存在局部缺陷的区域的组合，以最小化利用所述光学器件和传感器组装的阵列相机模块中 包含局部缺陷的相机区域的总数。
[0092] 利用包含缺陷的相机阵列合成图像
[0093] 利用类似于以上概述的处理被筛查的和/或包括利用类似于以上概述的处理筛 查的光学器件阵列和/或传感器的相机阵列可以包含缺陷。当由受缺陷影响的像素捕捉的 图像数据被用来合成图像时，会导致图像质量的降级。筛查相机阵列和/或光学器件的处 理产生关于相机和/或透镜堆叠或传感器中包含缺陷的区域的信息。在本发明的几种实施 例中，关于有缺陷区域的信息由相机阵列维护并且在对所捕捉图像数据的处理中用来合成 图像。在几种实施例中，在有缺陷区域中捕捉的图像数据可以被忽略。当区域被识别为有 缺陷但是受缺陷影响的特定像素的位置已知时，可以只忽略受影响的像素。
[0094] 根据本发明实施例的用于合成超分辨率图像的处理在图11中图示，该处理涉及 忽略由受缺陷影响的区域和/或像素捕捉的图像数据。处理1100包括利用相机阵列中的 相机捕捉（1102)图像数据。关于特定相机和/或透镜堆叠中有缺陷区域的信息可以用来 忽略（1104)由所识别出的相机中受影响的区域中的像素捕捉的图像数据，其中所述信息 可以采取任意格式化的缺陷数据的形式。值得一提的是，当整个区域被忽略时，区域中不受 缺陷影响的像素也被忽略了。在许多实施例中，缺陷数据还可以包含关于缺陷像素也可以 被忽略的信息（1106)。可以对剩余的图像数据应用（1108)超分辨率处理并且产生超分辨 率图像（1110)作为输出。
[0095] 虽然以上关于图11讨论了用于合成超分辨率图像的特定处理，但是，根据本发明 的实施例，利用关于相机阵列中特定相机包含缺陷的区域的信息从由相机阵列捕捉的图像 数据合成图像的任意各种处理都可以使用，包括（但不限于）涉及合成超分辨率图像的立 体对、从相机阵列中的相机子阵列合成的图像序列和/或包括从相机阵列中的不同相机子 阵列合成的相继帧的高速视频序列的处理。
[0096] 虽然以上描述包含本发明的许多特定实施例，但是这些不应当看作是对本发明范 围的限制，而应当看作其一种实施例的例子。因此，应当理解，在不背离本发明范围和主旨 的情况下，本发明可以按特定描述之外的其它方式实践。因此，本发明的实施例应当在所有 方面都认为是说明性而不是约束性的。
【权利要求】
1. 一种利用图像处理系统检测有缺陷的相机阵列的方法，其中相机阵列包括多个相 机，该方法包括： 利用多个相机捕捉已知目标的图像数据，其中图像数据构成多个图像； 利用图像处理系统把所述多个图像当中每一个分成多个对应的图像区域； 利用图像处理系统通过根据至少一个预定的局部缺陷标准评估所述多个图像中的图 像区域来识别所述多个相机当中至少一个中至少一个局部缺陷的存在； 当特定图像区域集合中的局部缺陷的个数超过预定的阈值时，利用图像处理系统检测 到有缺陷的相机阵列，其中所述特定图像区域集合由以下构成： 所述多个图像的至少一个子集中的共同对应图像区域；及 给定图像中包含沿源自所述给定图像中所述共同对应图像区域中一像素的极线位于 预定最大视差移位距离内的至少一个像素的任何附加图像区域，其中极线由捕捉所述给定 图像的相机的中心与预定视点的相对位置定义。
2. 如权利要求1所述的方法，其中利用图像处理系统通过根据至少一个预定的局部缺 陷标准评估所述多个图像中的图像区域来识别多个相机当中至少一个中至少一个局部缺 陷的存在包括识别图像区域中满足至少一个预定标准的多个有缺陷像素。
3. 如权利要求2所述的方法，其中所述预定标准是图像区域中的所述多个有缺陷像素 超过预定的有缺陷像素个数。
4. 如权利要求2所述的方法，其中所述预定标准是所述多个有缺陷像素包括超过预定 尺寸的有缺陷像素的群集。
5. 如权利要求2所述的方法，其中所述有缺陷像素包括热像素、亮像素和暗像素。
6. 如权利要求1所述的方法，其中利用图像处理系统通过根据至少一个预定的局部缺 陷标准评估所述多个图像中的图像区域来识别多个相机当中至少一个中至少一个局部缺 陷的存在包括： 测量图像区域内的调制传递函数（MTF);及 确定图像区域的MTF未能满足预定标准。
7. 如权利要求6所述的方法，其中所述预定标准是处于预定空间频率的轴上MTF超过 第一预定阈值，处于预定空间频率的离轴切线MTF超过第二预定阈值，以及处于预定空间 频率的离轴径向MTF超过第三预定阈值。
8. 如权利要求1所述的方法，其中所述多个对应的图像部分构成第一多个对应的图像 区域并且该方法还包括： 利用图像处理系统把所述多个图像当中每一个分成第二多个对应的图像区域，其中第 一多个对应的图像区域中图像区域的个数与第二多个对应的图像区域中图像区域的个数 不同；及 利用图像处理系统通过根据至少一个附加的预定局部缺陷标准评估第二多个图像中 的图像区域来识别多个相机当中至少一个中至少一个局部缺陷的存在。
9. 如权利要求1所述的方法，其中： 所述多个图像构成一参考图像和多个替换视图图像； 所述特定图像区域集合由以下构成： 参考图像中的特定图像区域； 每个替换视图图像中的对应于参考图像中的所述特定图像区域的图像区域；及 所述多个替换视图图像中的给定替换视图图像中的包含沿源自所述给定替换视图图 像中对应于参考图像中选定图像区域的图像区域内一像素的极线位于预定最大视差移位 距离内的至少一个像素的任何附加图像区域，其中极线由捕捉参考图像的相机的中心与捕 捉所述给定替换视图图像的相机的中心的相对位置定义。
10. 如权利要求1所述的方法，其中： 所述多个图像在多个颜色通道当中每一个中构成多个图像；及 所述特定图像区域集合由所述多个颜色通道中的一个颜色通道内的多个图像中的图 像区域构成。
11. 如权利要求10所述的方法，其中： 所述多个图像构成一参考图像和多个替换视图图像，并且多个颜色通道中的一个颜色 通道内的所述多个图像不包括参考图像；及 所述特定图像区域集合还由以下构成： 多个颜色通道当中所述一个颜色通道内的每个替换视图图像中的对应于参考图像中 的特定图像区域的图像区域；及 多个颜色通道当中所述一个颜色通道中的给定替换视图图像中包含沿源自所述给定 替换视图图像中对应于参考图像中选定图像区域的图像区域内的一像素的极线位于预定 最大视差移位距离内的至少一个像素的任何附加图像区域，其中极线由捕捉参考图像的相 机的中心与捕捉所述给定替换视图图像的相机的中心的相对位置定义。
12. 如权利要求10所述的方法，还包括在第二图像区域集合中的局部缺陷个数超过第 二预定阈值时利用图像处理系统检测到有缺陷的相机阵列，其中第二图像区域集合由多个 颜色通道当中第二颜色通道内的多个图像中的图像区域构成。
13. 如权利要求12所述的方法，其中关于多个颜色通道当中所述一个颜色通道中的所 述特定图像区域集合使用的所述预定标准与关于多个颜色通道当中所述第二颜色通道中 的所述第二特定图像区域集合使用的所述第二预定标准不同。
14. 一种利用图像处理系统检测有缺陷的光学器件阵列的方法，其中光学器件阵列包 括多个透镜堆叠，该方法包括： 当使用光学测试仪器时，把所述多个透镜堆叠当中每一个的像面分成多个对应的区 域； 在每个区域中利用光学测试仪器测量已知目标的调制传递函数（MTF); 利用光学测试仪器通过根据至少一个预定的局部缺陷标准评估所述多个透镜堆叠中 的区域的MTF测量结果来识别所述多个透镜堆叠当中至少一个中至少一个局部缺陷的存 在； 当特定区域集合中的局部缺陷个数超过预定的阈值时，利用图像处理系统检测到有缺 陷的光学器件阵列，其中所述特定区域集合由以下构成： 所述多个透镜堆叠的至少一个子集中的共同对应区域；及 给定透镜堆叠中沿源自所述给定透镜堆叠内所述共同对应区域的极线在预定最大视 差移位距离内构成图像的任何附加区域，其中极线由所述给定透镜堆叠的中心与预定视点 的相对位置定义。
15. -种利用包括多个局部缺陷的相机模块合成超分辨率图像的方法，包括： 利用包括多个相机的相机阵列捕捉图像数据，其中所述多个相机当中至少一个包括影 响由该相机捕捉的图像数据的已知局部缺陷； 利用由超分辨率图像处理应用配置的处理器忽略由所述多个相机当中所述至少一个 捕捉的图像中包括已知局部缺陷的区域内的图像数据，其中被忽略的图像数据来自相机中 已知包括所述已知局部缺陷的区域；及 利用由处理器执行的超分辨率处理从由相机阵列中的相机捕捉的剩余图像数据合成 超分辨率图像，其中处理器利用超分辨率图像处理应用配置。
16. 如权利要求15所述的方法，其中相机阵列包括已知包括至少一个有缺陷像素的至 少一个相机，并且该方法还包括忽略由这至少一个相机中已知有缺陷的像素捕捉的图像数 据。
17. -种阵列相机，包括： 包括多个相机的阵列相机模块，其中阵列相机模块由包括多个的成像器阵列和包括多 个透镜堆叠的光学器件阵列构成，其中由成像器阵列和光学器件阵列构成的多个相机当中 至少一个包括影响由该相机捕捉的图像数据的已知局部缺陷； 处理器；及 存储器，包含超分辨率图像处理应用和缺陷数据，其中缺陷数据标识所述多个相机中 包括已知局部缺陷的所述至少一个相机和该相机中包含所述已知局部缺陷的区域； 其中超分辨率处理应用把处理器配置为： 利用阵列相机模块捕捉图像数据； 关于所述多个相机当中包括已知局部缺陷的所述至少一个相机当中的每一个，忽略由 缺陷数据标识的至少一个区域内的图像数据；及 从剩余的图像数据合成超分辨率图像。
18. 如权利要求17所述的阵列相机，其中存储器还包括标识成像器阵列中至少一个有 缺陷像素的缺陷数据，并且所述超分辨率处理应用把处理器配置为还忽略由被所述缺陷数 据标识为有缺陷的至少一个像素捕捉的图像数据。
【文档编号】H04N9/64GK104508681SQ201380040238
【公开日】2015年4月8日 申请日期:2013年6月28日 优先权日:2012年6月28日
【发明者】J·都帕尔, A·麦玛宏, D·勒勒斯古, K·文卡塔拉曼, G·莫里纳 申请人:派力肯影像公司