使用阵列传感器以传感器的全分辨率测量多种类型数据的方法
【专利摘要】一种致动器，其被配置用于在第一位置与第二位置之间移动传感器阵列，从而以所述传感器阵列的全分辨率提供彩色图像数据和其他数据。在许多实施方式中，所述传感器阵列针对每种类型数据的输出分辨率包括所述传感器阵列在无移动情况下的分辨率的两倍。所述传感器阵列在所述第一位置与第二位置之间的交替移动提供具有比在不交替移动所述传感器阵列情况下原本可能出现的伪影更少的伪影的输出图像。
【专利说明】使用阵列传感器从传感器的全分辨率测量多种类型数据的 方法 交叉引用
[0001 ]本申请要求提交于2014年6月17日的美国专利申请序列号14/306,844、提交于 2013年10月4日的序列号61/961,031、提交于2013年10月25日的序列号61/961,821?及提 交于2014年1月9日的序列号61/925,339的优先权，上述文献的全部公开内容均通过引用而 并入于此。 发明背景
[0002] 传感器是测量数据值的设备。数据可W经由单一传感器作为单一值测量，诸如测 量速度矢量，或者W多重数据测量的形式来测量，诸如测量某一场景中属于某个频带或频 谱内的光的强度，或者由于对物体的某种刺激而发出的光的强度，诸如核磁共振成像 (MRI)。
[0003] 传感器可W是一维或二维阵列的形式。二维阵列传感器具有多个"小"测量区域或 "微传感器"。传统上，二维微传感器阵列被制造成对某种类型的测量敏感;也就是说，该阵 列被制造用于测量单一类型的数据。由多个微传感器形成的传感器阵列的一个示例是日常 的相机。相机包含被称为像素的微传感器，它们对可见光敏感，即，每个微传感器测量落在 其表面上的光的强度。每个微传感器(或像素)具有光电区域，该光电区域负责收集入射光 并将其转换成作为该光的强度的函数的电信号。因此，当光落在每个微传感器上时，光被转 换成作为模拟值读取的电信号。通过使用解码电路来完成对微传感器的选择W读取其值， 该解码电路选择与微传感器连接的行和列。所述值被放大、转换成数字值，并储存在存储器 中，W供在可能用于不同应用的数字计算和处理系统中的后续使用。
[0004] 通过在每个像素上放置一个不同的光导纳滤波器，可W使像素阵列对不同颜色敏 感。例如，一个滤波器可W导纳绿色光谱的光，另一滤波器导纳红色光谱的光，而第Ξ滤波 器导纳蓝色光谱的光。贝尔图案（"Bayer pattern")是对于在可见光谱相机中使用的二维 传感器阵列的常用微传感器(像素)布局。
[0005] 对两种不同类型数据进行测量在分类上可W划分为两种体系:第一种直接方法是 对每种测量使用单独的传感器，一种传感器用于抓取可见光图像，而另一种传感器用于抓 取红外数据(用于深度计算）。第二种方法是使用测量可见光的像素与测量红外光的像素的 混合。第一种方法存在采用单独的传感器的缺点。第二种方法存在两个主要弊端。首先，由 于像素阵列在空间上由不同类型的微传感器所共享，因此其在两种测量中都有分辨率损 失。其次，当深度微传感器放置在可见光微传感器"之下"时，可见光图像的图像质量可能发 生急剧下降。
[0006] 本公开内容的各个方面、实施方式和/或配置满足了运些需求和其他需求。
【发明内容】
[0007] 本公开内容设及能够捕捉多种类型数据的图像处理系统。本公开内容的教导适用 于感光设备所采用的电荷禪合器件(CCD)和互补金属氧化物半导体(CMOS)技术。在许多实 施方式中，致动器被配置用于在第一位置与第二位置之间移动传感器，w便w传感器阵列 的全分辨率提供彩色图像数据和其他数据。在许多实施方式中，所述传感器阵列针对每种 类型数据的输出分辨率包括所述传感器阵列在不移动的情况下的分辨率的两倍。所述传感 器阵列在所述第一位置与第二位置之间的交替移动提供具有减少的伪像的输出图像，所述 伪像原本可能在不交替移动所述传感器阵列的情况下出现。
[0008] 在一方面，本文公开了一种装置，包括：（a)传感器阵列，其包括安设在第一多对相 邻线性阵列上的用于感测贝尔图案数据的多个贝尔图案，具有位于所述第一多对相邻线性 阵列之间用于感测不同类型数据的不同图案的第二多对相邻线性阵列；（b)致动器，其用于 将所述传感器阵列从第一位置移动至第二位置，其中所述第一多对相邻线性阵列的物理位 置与所述第二多对相邻线性阵列的物理位置交替排列；W及(C)电路，其禪合至所述致动器 和所述传感器阵列W从所述第一位置和所述第二位置中的每个位置输出所述贝尔图案数 据和所述不同类型数据。在一些实施方式中，所述贝尔图案数据的每个像素关联于所述第 一位置或所述第二位置而输出，并且其中所述不同类型数据的每个像素关联于所述第一位 置或所述第二位置而输出。
[0009] 在一些实施方式中，所述不同图案包括红外滤波器图案、紫外滤波器图案、非贝尔 可见光滤波器图案或不含滤波器的图案中的一种或多种。
[0010] 在一些实施方式中，所述第一多对相邻线性阵列中的每一对包括两个相邻对，并 且其中所述第二多对相邻线性阵列中的每一对包括两对相邻线性阵列。
[0011] 在一些实施方式中，所述第一多对相邻线性阵列中的每一对包括Ξ对或更多对相 邻线性阵列，并且其中所述第二多对相邻线性阵列中的每一对包括Ξ对或更多对相邻线性 阵列。
[0012] 在一些实施方式中，所述装置还包括用于发信号指示所述传感器阵列何时位于所 述第一位置的第一限位开关和用于发信号指示所述传感器阵列何时位于所述第二位置的 第二限位开关，其中所述电路被配置用于响应于所述第一限位开关感测到所述传感器阵列 移动到所述第一位置而整合所述传感器阵列在所述第一位置的第一复合数据，W及响应于 所述第二限位开关感测到所述传感器移动到所述第二位置而整合所述传感器阵列的第二 复合数据。
[0013] 在一些实施方式中，所述装置中的所述电路被配置用于从所述第一复合数据和所 述第二复合数据生成所述贝尔图案数据，W及从所述第一复合数据和所述第二复合数据生 成所述不同类型数据。
[0014] 在一些应用中，所述电路包括用于使所述传感器阵列移动至所述第一位置并在所 述第一位置测量所述传感器阵列的第一数据W及使所述传感器阵列移动至所述第二位置 并在所述第二位置测量所述传感器阵列的第二数据的指令，所述处理器还包括用于从具有 所述贝尔图案所述第一多对相邻线性阵列提供第一全帖图像W及用于从具有不同图案的 所述第二多对相邻线性阵列输出第二全帖图像的指令，其中所述传感器包括一定数目的像 素，并且其中所述第一全帖图像和所述第二全帖图像中的每一个都包括所述传感器阵列的 该数目的像素。
[0015] 在某些实施方式中，所述装置中的所述致动器包括微机电系统。
[0016] 在一些应用中，所述多个贝尔图案中的每一个包括用于感测红光的红像素、用于 感测蓝光的蓝像素、用于感测绿光的一对对角绿像素。此外，所述第四传感器感测红外电磁 波，并且/或者电路禪合至可移动口W便控制所述口的运动。
[0017] 在一些实施方式中，所述装置还包括数字数据存储，该数字数据存储用于储存从 所述传感器阵列生成的输出。
[0018] 在某些实施方式中，所述装置还包括数字信号处理器，该数字信号处理器用于控 制W下各项中的一个或多个:将所述输出传送至数字数据存储、对所述图像采集进行定时、 所述阵列的移动、配置所述电路、配置图像形成W及生成图像。
【附图说明】
[0019] 在随附权利要求中具体阐述了本发明的新颖特征。通过参考阐述了利用本发明原 理的说明性实施方式的W下详细描述和附图，将会获得对本发明特征和优点的更好理解， 在附图中：
[0020] 图1描绘了根据实施方式的微传感器阵列;在本例中，微传感器的阵列布置成两种 类型的微传感器等数交错的矩形二维阵列的几何布局。
[0021] 图2描绘了根据实施方式的微传感器阵列的一部分;在本例中，是具有光敏区域的 微传感器阵列部分。
[0022] 图3描绘了根据实施方式的CMOS微传感器阵列的示例性实现。
[0023] 图4描绘了根据实施方式的微传感器阵列。
[0024] 图5描绘了根据实施方式的微透镜截面。
[0025] 图6是根据实施方式的透射率(纵轴）比对波长(nm)(横轴）的曲线图，图中描绘了 彩色滤波器与红外阻隔率和导纳率。
[0026] 图7描绘了根据实施方式的图像处理系统。
[0027] 图8描绘了根据实施方式的图像处理系统。
[0028] 图9描绘了根据实施方式的4像素布置。
[0029] 图10描绘了根据实施方式的图像处理系统。
[0030] 图11描绘了根据实施方式的彩色滤波器的布局。
[0031] 图12描绘了根据实施方式的对可见光敏感和对红外光敏感的像素的交错行。
[0032] 图13描绘了根据实施方式的、根据本公开内容并在通过MEMS移动之前和之后的对 可见光敏感和对红外光敏感的像素的交错行。
[0033] 图14描绘了根据实施方式在存储器中写入传感器阵列数据的方法。
[0034] 图15描绘了根据实施方式在存储器中写入传感器阵列数据的方法。
[0035] 图16描绘了根据实施方式在存储器中写入传感器阵列数据的方法。
[0036] 图17描绘了根据实施方式的滤光口。
[0037] 图18描绘了根据实施方式的多个滤光口。
[0038] 图19描绘了根据实施方式的图像处理系统。
【具体实施方式】
[0039] 在一些实施方式中，本文描述的装置、设备和系统包括：（a)传感器阵列，其可操作 用于感测第一类型的数据和第二类型的数据，所述第一类型的数据与第二类型的数据不相 同；W及(b)微机电系统(MEMS)，其用于移动W下各项中的至少一个：（i)传感器阵列，使得 该传感器阵列的不同传感器在共同位置捕捉第一类型数据和第二类型数据中的不同类型 数据，W及（ii)定位在传感器阵列的传感器中的至少一个传感器之上的滤波器，使得选定 的传感器可W根据滤波器的位置而捕捉第一类型的数据或第二类型的数据。在一些实施方 式中，在第一操作模式下，由传感器阵列捕捉第一复合帖，并且在第二操作模式下，由传感 器阵列捕捉第二复合帖。第一复合帖和第二复合帖中的每一个都包含第一类型的数据和第 二类型的数据。在一些实施方式中，第一复合帖和第二复合帖可W分成仅包含第一类型数 据的第一帖和仅包含第二类型数据的第二帖。在进一步的实施方式中，第一帖和第二帖储 存在不同且分立的计算机可读介质中。或者，第一帖和第二帖储存在不同且不重叠的存储 器位置中。
[0040] 在一些实施方式中，第一类型的数据是可见光（例如，红光、蓝光和绿光中的一种 或多种），而第二类型的数据可W是红外光。传感器阵列包括用于感测第一类型数据的第一 组传感器和用于感测第二类型数据的第二组传感器。第一组传感器优选地具有与第二组传 感器不同的成员。在一些实施方式中，MEMS将传感器阵列从第一位置移动至第二位置W分 别采集第一帖和第二帖。第一组传感器和第二组传感器可W在逐行和/或逐列的基础上彼 此交错。由MEMS对传感器阵列进行的移动的距离和方向通常是所采用的交错类型的函数。
[0041] 在一些实施方式中，MEMS移动定位在至少一个传感器之上的滤波器，使得选定的 传感器可W根据该滤波器的位置来捕捉第一类型的数据或第二类型的数据。第一类型的数 据通常是蓝光、绿光和红光中的一种或多种，而第二类型的数据通常是红外光。在一些实施 方式中，滤波器基本上（i)阻挡蓝光、绿光和红光中的一种或多种，同时透过红外光，或者 (ii)阻挡红外光，同时透过蓝光、绿光和红光中的一种或多种。在第一操作模式下，MEMS将 滤波器定位在选定的传感器之上W在光接触选定的传感器之前对光进行过滤，并且在第二 操作模式下，MEMS从选定的传感器移除滤波器W使未经过滤的光能够接触选定的传感器。
[0042] 在一些实施方式中，使用多个滤波器。第一滤波器基本上阻挡蓝光、绿光和红光中 的一种或多种同时透过红外光，而第二滤波器可W基本上阻挡红外光同时透过蓝光、绿光 和红光中的一种或多种。在第一操作模式下，MEMS将第一滤波器而不是第二滤波器定位在 选定的传感器之上W在光接触选定的传感器之前对光进行过滤，并且在第二操作模式下， MEMS将第二滤波器而不是第一滤波器定位在选定的传感器之上W在光接触选定的传感器 之前对光进行过滤。
[0043] 在一些实施方式中，微传感器阵列对接到典型数字系统，该系统读取数据并将数 据储存到数字存储(存储器)中W供后续处理，整个操作受微处理器(CPU)控制。
[0044] 根据特定方面、实施方式和/或配置，本公开内容可W提供许多优点。可W应用图 像处理系统使传感器阵列W其微传感器的全分辨率对不止一种类型的数据敏感。全分辨率 意味着在对传入数据的测量中使用到每个像素。 一些定义
[0045] 短语"至少一个"、"一个或多个"W及"和/或"是开放式表达，在操作中既可W是结 合性的也可W是分隔性的。举例而言，"A、B和C中的至少一个"、"A、B或C中的至少一个"、"A、 B和C中的一个或多个"、"A、B或C中的一个或多个及"A、B和/或C'运些表达方式中的每一 种都意指单独的A、单独的B、单独的C、A和B-起、A和C一起、B和C一起，或者A、B和C一起。
[0046] 术语"一种"或"一个"实体指代一个(一种)或多个(多种)该实体。同样地，术语"一 种"（或"一个"）、"一个或多个"和"至少一个"可W在本文中互换使用。还需注意，术语"包 括"、"包含"和"具有"可W互换使用。
[0047] 本文所使用的术语"自动的"及其变体是指在执行过程或操作时无需实质性人为 输入的任何过程或操作。然而，即使过程或操作的执行使用了实质性或非实质性人为输入， 倘若该输入是在执行过程或操作之前接收到的，则该过程或操作也可W是自动的。如果人 为输入影响到过程或操作将会如何执行，则运样的输入被认为是实质性的。同意执行过程 或操作的人为输入不被认为是"实质性的"。
[0048] 本文所使用的术语"计算机可读介质"是指参与向处理器提供指令W供执行的任 何存储和/或传输介质。运样的介质通常是有形的和非瞬时性的，并且可W采取许多形式， 运些形式包括但不限于:非易失性介质、易失性介质和传输介质，并且包括但不限于随机存 取存储器（"RAM")、只读存储器（"ROM")等。举例而言，非易失性介质包括NVRAM或者磁盘或 光盘。易失性介质包括动态存储器，诸如主存储器。举例而言，计算机可读介质的常见形式 包括软盘(包括但不限于伯努利盒式磁带(Bernoulli cadridge)、ZIP驱动器和JAZ驱动 器）、柔性盘、硬盘、磁带或盒式磁带，或者任何其他磁介质、磁光介质、数字视频光盘(如CD- R0M)、任何其他光介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM、PR0M和 EPR0M、FLA甜-EPROM、固态介质如存储卡、任何其他存储器忍片或卡盒、如下文所述的载波， 或者计算机能够从中进行读取的任何其他介质。电子邮件的数字文件附件或其他自含式信 息档案或者档案集被视为与有形存储介质等同的分布式介质。当计算机可读介质被配置成 数据库时，应当理解该数据库可W是任何类型的数据库，诸如关系型数据库、分层数据库、 面向对象数据库等。因此，本公开内容被视为包括有形存储介质或分布式介质W及现有技 术认可的等同物和后继介质，在运些介质中储存本公开内容的软件实现。计算机可读存储 介质通常不包括瞬时性存储介质，特别是电信号、磁信号、电磁信号、光信号、磁光信号。
[0049] 本文所使用的术语"确定"、"推算"和"计算"及其变体可互换使用，并且包括任何 类型的方法、过程、数学操作或技术。
[0050] 本文所使用的术语"装置"应当根据35U.S.C第112节第6段而被赋予其可能的最广 义解释。因此，包含术语"装置"的权利要求应当覆盖本文阐述的所有结构、材料或动作及其 所有等同项。此外，所述结构、材料或动作及其等同项应当包括
【发明内容】
、【附图说明】、具体实 施方式、摘要和权利要求本身中所描述的所有内容。
[0051] 本文所使用的术语"模块"是指任何已知或今后开发的、能够执行与该元件相关联 的功能的硬件、软件、固件、人工智能、模糊逻辑或者硬件和软件的组合。
[0052] W上是对本公开内容的简要总结，W提供对本公开内容的一些方面的理解。运一 总结并不是本公开内容及其各个方面、实施方式和/或配置的全面或详尽概述。其既不旨在 确定本公开内容的关键或重要元素，也不旨在划定本公开内容的范围，而是旨在W简化形 式呈现本公开内容的选定概念，作为对下文呈现的更详细描述的介绍。应当理解，本公开内 容的其他方面、实施方式和/或配置有可W单独地使用，或者与上文阐述或下文详细描述的 一个或多个特征相结合使用。此外，虽然通过示例性实施方式呈现了本公开内容，但应当理 解，本公开内容的各个方面可W分别要求保护。 图像处理系统
[0053] 在一些实施方式中，本文描述的装置、设备和系统包括图像处理系统或其使用。所 述图像处理系统包括能够测量不止一种类型的测量的传感器阵列。运样的能力是通过许多 不同的技术实现的。在各种实施方式中，传感器阵列包含与微机电系统(MEMS)禪合的不止 一种类型的微传感器，所述微机电系统允许该传感器犹如其是由单一类型的微传感器形成 的那样采集数据。在一些实施方式中，MEMS移动整个传感器阵列；在其他实施方式中，MEMS 移动传感器阵列的一个或多个元件。所述元件包括一个或多个选定的传感器和/或定位在 一个或多个选定的传感器之上(或整个阵列之上)的一个或多个滤光器。该图像处理系统的 机械部分的移动总体上是传感器阵列中不同类型的微传感器的布局的函数。如本文所使 用，传感器和微传感器可互换使用。
[0054] 参考图1，多个微传感器或微传感器阵列是矩形布局的形式，但亦可使用任何几何 图案。第一组微传感器(标示为1和2)对某种类型的数据敏感，例如，如果该数据是光学数 据，则其对某一波长的光敏感，而另外的第二组微传感器对另一类型的数据或另一光频带 敏感。该实施方式不依赖于所述多个微传感器测量的数据是何种类型。此概念可W适用于 在传统上测量一种类型的数据的任何微传感器阵列。通过向阵列添加另一类型的微传感 器，微传感器阵列可W测量另一类型的数据。应当理解，可W向任何阵列添加多于两种类型 的微传感器W测量多于两种不同类型的数据。
[0055] 继续参考图1，阵列具有沿着其宽度的一定数目的微传感器(即，W微传感器），W及 沿着其高度的一定数目的微传感器（即，Η微传感器），并且微传感器在水平和垂直方向上按 2个微传感器的间距交错(如图1中所示，其中标示出了 "水平间距"和"垂直间距"）。运些W和 Η尺寸和间距限定了微机电系统必须施加的运动的方向和幅度，W便使微传感器阵列测量 全部两种类型的测量而不牺牲任一测量的分辨率。换言之，测量每种类型数据的微传感器 的数目是微传感器的总数(W址)。 微传感器阵歹
[0056] ~图2中描绘了阵列的总体描述。其示出了微传感器的概念，W及它们W二维阵列形 式的布置。图2示出了由第一微传感器、第二微传感器、第Ξ微传感器和第四微传感器形成 的该阵列的一部分。第一微传感器、第二微传感器、第Ξ微传感器和第四微传感器中的每一 个具有由网格线限定的特定高度和宽度。该区域的一部分是将光转换成电的特定部分;该 区域标示为4a和4b。该区域与微传感器面积(宽度乘W高度)之间的比率称为微传感器的填 充因子(像素填充因子）。因此，当光落在运些微传感器中的每一个上时，光被转换成电信 号，该电信号被读出为模拟值。对要读出其值的微传感器的选择是通过选择该微传感器的 电路所连接到的行(标示为5)和列(标示为6)来完成的。该值经由放大器放大，转换成数字 值，并且储存在存储器中W供在数字计算和处理系统(未示出）中的后续使用。
[0057] 本公开内容的教导同样适用于被配置为CCD或CMOS的传感器阵列，并且因此该电 路的设计不构成对本公开内容描述的实施方式的约束。应当理解，制造光敏传感器阵列的 两种主要方法是CCD(电荷禪合器件)或CMOS(互补金属氧化物半导体）。对像素的访问在运 两种情况下是不同的。在CCD的情况下，由储存在微传感器的电路元件中并完全"禪合"至相 邻像素的电荷产生所得电压，该相邻像素的电荷转而被移动至其相邻像素，并且W此类推 直到读出整个行；因此，得名为电荷禪合器件(CCD)。在CCD中，像素被依次读出，并且无法W 随机次序读取。与此相反，在CMOS中，通过选择任何像素的行和列并读取该像素的电压值， 可w随机访问该像素。
[0058] 在CMOS传感器的情况下，在图3中描绘了构成运些微传感器中的每一个的电路的 实施方式。当光落在光敏元件上时，其负责将落在微传感器上的光信号转换成电压，该元件 布局在电路中的大小限定了像素的填充因子。如果选择该特定微传感器(像素）的行和列， 则读出该电压值。行和列经由称为行和列解码器(整个阵列传感器的构造块)的外部电路来 选择。电荷值的读出机制取决于传感器是CCD还是CMOS。读出机制对本公开内容的实施方式 没有暗示或限制。
[0059] 由于在成像领域中CMOS传感器正在取代CCD，因此现将针对CMOS传感器解释读出。 当通过对阵列进行操作的外部数字电路激活行线（10)和列线（11)时，从该特定类型的微传 感器读出电荷。外部数字电路称为行和列解码器。对微传感器的特定行和列的激活允许经 由元件Msel(9)读出通过二极管收集的电荷。经由RST信号（12)来重置微传感器W准备下次 测量。
[0060] 存在辅助微传感器的辅助工具，尤其是光学辅助工具，用于采集光学(光)数据。运 样的辅助工具的示例包括:透镜组装件、微透镜，W及阻挡某些类型波长的光学滤波器和导 纳某些类型波长的光学滤波器。运些滤波器可W发挥重要作用W使微传感器能够测量一种 类型或另一类型的数据。 透镜组装件示例
[0061] 为了使光禪合最大化，即，为了收集最大量的光学数据，可W用如图4中所描绘的 透镜组装件覆盖像素阵列。透镜组装件的机械组件包括光学透镜。透镜安置在一一通常梓 入机筒中（用于聚焦图片），该机筒转而覆盖像素阵列。落在像素阵列上的光总体上仅穿过 透镜进入。透镜的中屯、可W位于像素阵列的中屯、。应当理解，并不能保证运是完美的，因此 它是计算机视觉领域公知的相机标定过程的参数之一。 微透镜
[0062] 微透镜，顾名思义，是安装在每个微传感器(像素)上的结构。其为通常仅覆盖一个 像素的透镜。微透镜可W增大在每个像素自身上采集的光量，从而提高对应的传感器采集 更多光并因此在弱光环境中工作的能力。因此，微透镜可W增大每个像素的信噪比。图5示 出了微透镜的截面。光落在微透镜的凸面上。凸面使落到微传感器(像素）的光敏区域上的 光准直，所述微传感器在电学上是如上文所解释的光电二极管。还示出了用于收集由光产 生的电信号的辅助性电子器件。还将填充因子描绘为光敏区域的宽度与整个像素的宽度之 比。此外，为了使光不从一个像素泄漏到另一像素，如图所示，在像素周围构建了实屯、边。 微传感器与收集不同类型数据
[0063] 为使微传感器(像素)对一种类型的数据敏感而同时阻挡另一类型的数据，采用光 学滤波器来导纳所需要或期望的数据而同时阻挡不需要或不期望的数据。举例而言，当所 需要或期望的数据是可见图像数据(记作类型1数据），而不期望的数据是红外（IR)数据(记 作类型2数据)时，使用具有如图6中所描绘的响应的滤波器。图6示出了应用于选定的像素 的滤波器的透射率响应，用W接收和感测类型1数据而同时拒斥(或无法感测)类型2数据， 或者反之亦然。
[0064] 为了接收类型1数据并拒斥类型2数据，用于使微传感器能够接收蓝色、绿色或红 色波长范围内的光而同时拒斥红外范围内的光的过滤器具有导纳响应(分别针对用于导纳 蓝色、绿色和红色的滤波器组）。拒斥红外光所需的滤波器具有类似于该曲线的导纳响应。 值得注意的是，IR滤波器可W是微透镜自身上的"涂层"。
[0065] 与此相反，为了接收类型2数据并拒斥类型1数据，用于使微传感器能够仅接收红 外光而同时拒斥可见光波长的滤波器导纳红外光并且在概念上类似于具有导纳响应的滤 波器。 使用成像和计算机视觉领域的实施方式
[0066] 在成像和计算机视觉的实施方式中，通常存在需要测量的两种不同类型的测量； 因此，一般需要两种类型的微传感器(像素)来测量运些类型的数据。使一种类型的微传感 器对可见光敏感，而另一类型的微传感器对红外（IR)波长敏感。运在开发用于采集图像W 及深度数据的相机中的传感器阵列的背景下特别有益。然而，在此解释的方法亦可适用于 使传感器阵列W其微传感器的全分辨率对不止一种类型的数据敏感。全分辨率意味着在对 输入数据的测量中使用到每个像素。选择与成像和计算机视觉领域相关的两种不同类型的 数据来测量。并且运两种类型的数据是可见光强度和红外光强度，或者简称为视频数据和 红外数据。
[0067] 传统上成像可W采集图像并W最高质量向用户呈现该图像。数字相机取代了胶 卷，原因是多方面的，主要是易于使用、在拍摄之前看到图像、易于擦除和重摄图像，W及最 重要地，图像是数字格式W供计算机系统直接使用，该计算机系统在不同的软件应用中采 用图像和/或视频剪辑，从而对运些图像添加更多价值。
[0068] 计算机视觉已经成为与在日常使用的若干设备上运行的不同成像应用相集成的 领域。计算机视觉前进到了成像之后的下一步，即，使用图像中的信息来完成用户所定义的 不同任务。例如，计算机视觉应用发现图像中的面孔(例如，面部识别），W及发现与任务相 关的物体W便进行修改或增强(诸如，增强现实）。运些系统的一个绝佳例子是人类自然用 户界面化NUI)。运些界面在被越来越多用户采用的许多设备中得到使用。
[0069] 深度测量对于计算机视觉往往是至关重要的，并且事实上已经成为计算机视觉研 究的圣杯。计算机视觉的许多任务需要相机所瞄准的场景的深度信息。多相机系统，主要是 立体视觉(立体视觉是在使用两个相机时的情况），已经占据运种研究的很大份额，但其存 在一些缺点，即，拥有两个相机所造成的系统复杂性，并且更困难的缺点是对应问题和遮挡 问题。第一个问题是将一个相机图像中的区域或点与另一相机图像中的同一点相匹配的问 题。在多于两个相机的情况下，该问题变得越来越复杂。遮挡是在另一相机中不具有用W开 始的另一点的问题，运是因为从另一相机的角度看，它被场景中的另一物体所遮挡。
[0070] 由于在依赖立体计算机视觉算法来发现深度时遇到了运些障碍，已经出现了其他 方法，其采用在场景上投射先验已知的光图案(对人类视觉系统可见或不可见），并拍摄该 场景的图像W分析变形和大小，W及由相机成像的运些图案的其他性质，从而提取关于场 景的每个点的深度的信息。使用不可见图案来计算深度使得它们不出现在传统图像中更为 适宜。倘若所述系统是用于工业应用，则图案可见与否无关紧要，因为运些系统主要关注的 是所生产的产品的质量控制。但是如果在采集传统图片或视频的系统中使用该系统，则在 场景上看到光图案通常是不可接受的。针对运些系统最常使用的波长谱是红外波长谱。抓 取常规视频的相机将被称为视频相机，或视频传感器，或视频成像仪，而抓取红外光谱的相 机将被称为红外相机，或红外传感器，或红外成像仪。 用于感测数据的图像处理系统
[0071] 为了创建测量不止一种类型的测量的图像处理系统，针对每种类型的测量采用单 独的传感器。例如，如果捕捉可见光(最佳示例是数字相机），则利用适当的滤波器来改造单 个传感器阵列W便只捕捉可见光(通常在红、绿和蓝颜色频带中）。
[0072] 图7示出了捕捉可见光W便将其呈现在二维阵列中的系统。运样的系统的基本理 念是使用在微处理器或中央处理器(CPU)的控制下的二维微传感器阵列来"感测"环境。CPU 通常在所述传感器上编程不同参数W使其更适合于感测数据，并且还驱动定时电路，该定 时电路触发二维阵列W使用微传感器阵列来捕捉二维数据阵列。CPU继而驱动定时电路W 使传感器阵列进入读出其所"感测"的尺寸数据的模式。该数据储存在存储器内，W供后续 由将会利用所感测的数据的任何应用来使用。第一种感测数据是由相机的微传感器(像素） 收集的可见光数据。存储器还被称为视频帖存储。数字数据经由信号导线(在数字系统中亦 称为数据总线)跨不同系统组件进行传输，所述系统组件即传感器阵列、微处理器和数字存 储元件(存储器）。经由信号载体在数据总线上从传感器阵列读出所述数据，所述信号载体 是携带从传感器阵列传出的数字数据的线路。运是设计用于感测单一类型数据的数字系统 的基本功能。显然，数字相机具有更多特征并且对传感器自身拥有许多控制，但它们可W容 易地在本文公开的实施方式中实现。
[0073] 为了扩展数字系统W便测量另一类型的数据，采用另一传感器阵列。使用图8示出 了运一方案。出于说明目的，用于计算场景的深度信息的另一类型的数据是红外数据。图8 包含W类似于图7中所描绘的那样操作的数字系统，不同之处在于CPU经由信号导线向定时 电路(称之为忍片控制逻辑)发送命令。除了感测第一传感器阵列之外，定时电路还触发使 用第二传感器阵列感测第二类型的信息，并将其储存在不同的存储器存储（图示为深度帖 存储）中，W便不覆盖储存在存储器存储（图示为视频帖存储器）中的第一类型。经由信号载 体从第一传感器阵列读出第一数据，并且经由信号载体从第二传感器阵列读出第二数据。 所述第一数据和第二数据经由信号载体传输到适当的存储器。第二数据的示例是二维传感 器阵列所瞄向的场景的红外数据。可W随同红外光信号采用额外的光学透镜来将其聚焦在 所添加的用于感测红外数据的二维微传感器(像素）阵列（或第二阵列）上。本质上，单独的 阵列将具有两个透镜的两个相机定义于一个组装件中（运大大降低了数字系统的紧凑性）。 Ξ维图像传感器及其制造方法
[0074] 在一些实施方式中，如图9中所示，存在深度像素作为由该像素自身与分别对红 色、绿色和蓝色敏感的其他3个像素形成的方块的第四像素。图中示出了标示为R、G和B的Ξ 个像素，运些像素分别对红色、绿色和蓝色的对应颜色敏感，而标示为D的像素是测量红外 信号的像素，后续将会从该红外信号数学地计算深度数据。
[0075] 运种方法存在W下缺点：两种测量的分辨率都将会损失分辨率，运是因为深度测 量像素将会移除一些可见光敏感像素，即R、G和B。由于所公开的实施方式是对贝尔图案布 局的修改，因此红色像素定位在蓝色像素之下，而绿色像素从第二条线被移除。由于绿色像 素对计算强度Y(在化r饥域中，分别是强度、红光色度、蓝光色度）的贡献最大，并且此外是 强度定义了图片分辨率（相对于色度），因此运种类型的方法将会遭受其分辨率的大幅降 低，而分辨率是成像的最重要方面：即图像的锐度。运是个如此有破坏性的缺点，此外一开 始的深度分辨率也将会很差，因为其将会是每四个像素中的一个像素（如图9中所见），即， 传感器分辨率的四分之一。除了运些缺点之外，另一缺陷是运种布局将会破坏贝尔图案布 局。运导致必须开发用于从传感器阵列重建视频图像的全新例程。贝尔图案已成为用于从 R、G和B像素阵列进行视频处理的标准。因此对其予W保留允许在几乎任何可用的图像处理 系统中容易地使用传感器。与之相比，本公开内容的传感器组装件可W基本上使用传感器 阵列的全分辨率，并且使用每个传感器来测量深度W及R、G、B信号。本公开内容的传感器阵 列和数字系统还可W保持贝尔图案布局，运使得传感器阵列兼容于市场上的图像处理系 统。大多数像素处理硬件处理来自CCD或CMOS贝尔图案成像仪的图像。 仅提供深度传感器的系统
[0076] 如上所述，仅使用深度传感器的系统是有缺陷的。它们不提供视频数据并且仅仅 是"距离"相机。它们通常包括光源、检测器和信号处理器。光源根据具有参考时间点的传输 控制信号向目标传输源信号。检测器接收来自从目标反射的源信号的反射信号。信号处理 器通过在具有从参考时间点的不同时间延迟的相应时间段期间测量反射信号的相应部分 而生成多个感测值。信号处理器确定针对感测值的最大值/最小值的相应延迟时间，W便确 定目标的距离。虽然本公开内容的系统可W用作距离相机，但其亦可执行多种多样的成像 操作，包括提供视频数据。 Ξ维图像传感器
[0077] 在一些实施方式中，本文公开的主题--本公开内容的传感器阵列和成像处理系 统可W使用单一阵列实现可见光和红外光测量，而不牺牲每一测量的分辨率。运可W使得 阵列能够定位在单一或公共忍片上，其可W提供W下主要优点： 1- 紧凑性，因此适合于可在其中采用它们的系统的小型化。 2- 易于将系统集成到其他更大的系统中。 3- 解决由使用两个不同传感器进行测量引起的对应问题和遮挡问题。 4- 准确的深度和视频信号匹配，因为像素之间的物理最大接近度(在实施方式1中）W 及针对图像和深度使用相同像素(在实施方式2中），运是因为通过位于同一位置的两种类 型的像素测量数据一一在实施方式1中通过移动传感器像素阵列，而在实施方式2中通过移 动覆盖像素的滤波器。因此在图像和深度感测数据的定位之间几乎不存在差异。 5- -组固有相机参数，因为使用了一个阵列和一个透镜。
[0078] 在一些实施方式中，本文公开的主题解决了由使用两个不同传感器进行测量引起 的对应问题和遮挡问题。对应问题是将通过3D点在传感器中的一个传感器的图像平面上的 投影形成的x，y位置与通过同一3D点在另一传感器的图像平面上的投影形成的x，y位置相 匹配的任务。在立体成像中，它是将在左侧图像上的3D点的投影的x，y位置的投影与其在右 侧图像上的x，y对应位置相匹配。在还原3D位置中，运样的使用立体成像的对应是在同一类 型的数据上完成的，该数据即像素的R、G、B值。
[0079] 在所感测的数据为不同类型的系统中，比如在一个传感器中测量R、G、B而在另一 传感器中测量IR或渡越时间的系统，要进行运样的匹配并不简单。原因在于数据有本质区 另IJ，因此无法对它们进行比较。此外，传感器的分辨率可能是不同的，因此3D点在投影到R、 G、B传感器时将会是单一像素，深度传感器可能感测到的是该3D点周围"区域"的深度（由于 其分辨率比R、G、B传感器更低）。在运样的情况下，可W运样完成对应：即，从3D传感器(ToF 或结构化光)测量开始，并且采用使用将两个传感器相关联、将3D位置与图像R、G、B传感器 相关联的旋转和平移矩阵的几何变换，继而将该3D位置投影到R、G、B图像平面。该操作将会 需要每像素至少12次乘法和3次加法运算。运是一种计算成本高昂的方案，但也是创造深度 像素与R、G、B像素之间的运种对应的唯一方式，因为数据在本质上是不同类型。
[0080] 此外，如果深度传感器具有比R、G、B传感器更低的分辨率，则深度像素将会对应于 空间中的"区域"，其继而将会在R、G、B图像空间中得到含糊确定。运将会导致场景中的"边 缘"区域运样的不良结果。
[0081] 本文所公开的传感器W全部两种测量的同一分辨率在同一位置固有地感测像素 (对应于不同类型的数据）。因此，本文公开的技术解决了对应问题，并且其创造出点对点匹 配而不是区域对点匹配(当妥协了所述传感器中之一的分辨率时）。 对本公开内容的图像处理系统的描述
[0082] 本描述可W分为两个主要部分： A-微传感器阵列设计和所使用的不同方法 B-数字电路 微传感器(像素)阵列和阵列布局设计的不同方法
[0083] 微传感器或像素阵列是与微机电系统(MEMS)禪合的、测量多种数据类型的传感器 的核屯、。尽管仅参考两种数据类型对系统进行了讨论，但所述系统可W轻易扩展到测量更 多数据类型。在运样的讨论中使用的示例性的两种数据类型是视频数据和IR数据。后一种 类型的数据可W使用数学算法转换成深度数据。
[0084] 在利用可W递送多类型感测数据的周边支持电路实现系统像素阵列方面存在两 种主要体系：
[0085] 第一种方法使用类型1微传感器(即，图像可见光像素)与类型2微传感器(例如，红 外像素)之间的几何交错布置。运被称为空间复用，其中图像传感器基板面在类型1微传感 器(对可见光敏感的图像像素)与类型2微传感器(对红外光敏感的像素)之间共享。在运样 的情况下并且如下文所讨论，微机电系统(MEMS)将会在一定方向上并W-定幅度移动整个 传感器阵列，所述方向和幅度是几何交错图案的函数。
[0086] 运种方法中的数据输出是类型1数据和类型2数据的混合。
[0087] 第二种方法使用整个传感器阵列作为类型1数据（图像)传感器并且还使用整个阵 列作为类型2数据(IR/深度)传感器。运是帖复用或时间复用。在运种方法中，使用MEMS来利 用适合于测量的滤波器覆盖阵列的每个传感器。对于类型1数据，MEMS移动位于微传感器上 的第一滤波器堆找，该第一滤波器堆找允许测量类型1数据并且阻挡测量类型2数据。在另 一模式下，MEMS允许在微传感器之上设置第二滤波器组W允许测量类型2数据。第二滤波器 组可W阻挡对整个可见光光谱或其一部分的测量。存在两种不同的实施方式来实现运种方 法。
[0088] 数据输出可W全部是类型1数据或全部是类型2数据，或者是类型1数据和类型2数 据两者。整个阵列在一个帖中充当红外接收器，而在另一帖中充当传统可见光相机传感器。 因此，在第一帖中收集红外光，而在第二帖中收集可见光，或者反之亦然。
[0089] 采用运两种设计体系的细节将会在后文阐释。
[0090] 在下面的部分中，描述了数字系统的实施方式，其中新的像素阵列系统包括单忍 片传感器的组件。 图像处理系统
[0091] 先前的传感器阵列方法是在数字系统中具体化的，该数字系统还具有其他支持性 电路组件来实现所述方法的实现方案，并且提供使传感器能够递送视频和深度数据所需的 功能。使用图10解释了像素阵列和支持性电路的示例实施方式。透镜定位在图像处理系统 之上，并且采集和向整个阵列导引光信号。系统代表将会位于公共忍片或电路板上的组件。
[0092] 像素阵列是布置多个微传感器W实现测量不止一种类型数据之处。存在不止一种 方法来设计微传感器的布局。运些方法将会在后文阐释。
[0093] 针对CCD和CMOS技术执行的读出是不同的。当传感器是CCD技术时，读出解码逻辑 驱动行和列电路，其使每一行将其电荷从一个像素转移到下一像素，直到读出整个行。因 此，运样的读出解码逻辑管理对阵列值的顺序读出。与此相比，当传感器是CMOS技术时，行 和列解码器而不是读出逻辑对要从中读出数据的(一个或多个)像素进行选择，该读取可W 是顺序的或随机的。在后文将会结合上述设计方法的实现方案来阐释读出顺序和W保持数 据次序的方式实现数据在存储器中的存储。相关双采样(在CMOS传感器中经常使用CDS方法 来读出数据）。
[0094] 随着每个像素的模拟值被读出，模拟增益电路对值进行放大。
[0095] 模数转换器将像素模拟数据转换成数字值，并且数字增益电路对读出的像素数据 施加倍增因子。该模块可W存在于忍片上，或者实现于系统的其他部分中。在将数字数据经 由数字总线读出到系统的其余部分之前，可W将其储存在寄存器中。
[0096] 微机电系统(MEMS)包括MEMS控制器/电路，该MEMS控制器/电路与致动器进行信号 通信W移动阵列。MEMS可能是忍片的重要组件。MEMS移动忍片的不同部分W实现图像处理 系统的目标，即，利用单一传感器，W该传感器的全空间分辨率来测量不止一种类型的数 据。根据在传感器阵列中植入何种设计方法，MEMS将会移动不同的部件组。MEMS控制器/电 路向机电致动器提供控制。致动器通常在逻辑上分为两个块，运是因为它们在物理上可W 是忍片上的一个块。
[0097] 忍片控制逻辑接收来自CPU(未示出）的数据，W经由模块阵列操作逻辑来编程整 个图像处理系统及其组成部分(包括MEMS和传感器阵列）如何操作。运些参数的示例是:传 感器阵列用W采集选定类型的数据的曝光时间(运可能根据所要收集的数据类型而变化）、 由模拟和/或数字增益电路施加的用于放大所收集的传感器数据的增益、对传感器阵列进 行定时的速度(运可能根据所要收集的数据类型而变化)等。其他重要信息可W包括：用于 驱动MEMSW移动致动器从而使其与抓取或收集数据相同步的定时，W及要投射在场景上的 IR光图案的定时和类型。下文结合设计传感器阵列或图像处理系统的不同方法阐释传感器 的MEMS运动。此外，下文还将会阐释使用IR光图案来还原深度信息的概念。
[0098] 数字存储及其访问可W是位于忍片上或忍片外或两者的任何类型的计算机可读 介质。运是系统设计问题并且不影响传感器阵列的功能，前提是设计是W针对从传感器阵 列读出数据的速度的主要考虑而完成的。在存储器中储存数据可W通过微处理器(未示出， 其将会读出每个像素的每个数字数据，并将其储存到数字存储中）完成，或者通过具有从寄 存器卸载所收集的数字数据的"直接存储器访问"（DMA)数字块来完成。
[0099] 将感测到的信息或数据载入或载出忍片的线路(总线)将数据从CPU(未示出）传送 至图像处理系统的内部数字块(未示出），该内部数字块控制图像处理系统的不同操作。所 述线路还经由所标示的数字输出线，将从传感器阵列读出的数据携载到合适的数字存储块 (数字存储器）。
[0100]其他组件起到从传感器阵列接收深度相关数据的作用，所述深度相关数据用于计 算场景或图像的深度数据。运些组件是红外（不可察觉)光图案发射器，其将运些图案向外 投射到场景或图像上。为了实现最大的系统集成，可W在同一忍片上集成一个或多个光图 案发射器。
[0101 ]下文更详细地讨论运两种方法的建议实施方式。 实现方案的第一方法(第一实施方式）
[0102] 图像处理系统包括(微）传感器阵列，其中存在类型1与类型2微传感器之间的混 合，例如，常规可见光颜色选择性像素(对红色、绿色和蓝色敏感)与红外敏感像素之间的混 合。像素位于公共衬底上，优选地是交错图案。交错图案可W是成行的或成列的，或者两者 皆有。
[0103] 可W使用图11和图12看到运样的布置的实施方式。首先，在图11中描绘了仅对类 型1数据（即，可见光)敏感的微传感器(像素）的布局，其中用彩色滤波器覆盖微传感器W使 每个像素仅对一种类型的颜色敏感。传感器位于公共忍片或衬底上。在阵列的选定部分中， 第一传感器和第二传感器对绿光敏感，第Ξ传感器对蓝光敏感，而第四传感器对红光敏感。 所示的图案被称为贝尔图案，它是在彩色成像传感器中使用最广泛的图案。
[0104] 图12示出了如何将图11中所示的传感器阵列转为不只感测可见光。运是通过使对 类型1数据敏感的微传感器图案（对蓝色、红色和绿色可见光敏感的像素）与对类型2数据 (即，红外光（IR))敏感的微传感器交错而完成的，其中所述交错式W行完成的。因而，所述 行代表贝尔图案，而交错的行则是对类型2数据敏感的传感器。因而，存在两种类型的交错， 第一种是对蓝光、绿光和红光敏感的像素之间的交错，而第二种是一方面对蓝光、绿光和红 光敏感的像素与另一方面对类型2数据或红外敏感的像素之间的交错。
[0105] 传感器阵列的制造遵循制造 CMOS相机的常用方式，因此对于当前的CMOS制造商而 言，生产运样的传感器将会是简单的。该制造过程包括W下步骤： (1) 按相似布局制造所有的微传感器(像素）， (2) A-将彩色滤波器(具有图6中所示的标示为B、G和R的可见光滤波器导纳响应)施加 于图11中的将会用于红色、绿色和蓝色的可见光敏感性的像素。在当前实施方式中，所述像 素被施加于第0行和第1行，即在第0行上为绿色和红色交错像素而在第1行上为蓝色和绿色 交错像素，继而跳过第2行和第3行，并继而分别与第0行和第1行类似地施加于第4行和第5 行，并W此类推直至阵列的末端。 (3) B-在那些将会对可见光敏感的行上，即：在当前实施方式中，如图12中所示，第0行、 第1行W及第4行、第5行上……一一施加 I啡a挡滤波器。 (4) 其他行一一第2行和第3行，W及继而第6行和第7行等一一将会是对IR敏感的像素， 其中不施加 I啡且挡滤波器和彩色滤波器。见图12。 (5) 微透镜增大在每个像素自身采集的光量。将它们施加于整个像素阵列的每个像素 上W提高每个像素的光采集效率。
[0106] 可能W在收集类型1数据和类型2数据两者时牺牲一半垂直分辨率的运样一种方 式来使用传感器。本公开内容通过如下方式克服该问题:使用MEMS将传感器沿着相同方向 向上(损失任何分辨率的方向，在本例中，在垂直方向上，但根据应用可w在另一方向上)移 动等于两个像素的长度尺寸的距离，（在图12中所示的情况下，像素的垂直维度(相对于页 面所在平面化的距离标示为V)。应该理解，距离V并不限于两个像素的长度尺寸，而是 可W根据应用为一个或多于两个像素。MEMS设计是简单的，运是因为其仅可W作用于阵列 在一个维度上的运动。应当理解，传感器阵列的运动的距离和方向是采集不同类型数据的 不同类型像素的交错图案的函数。本实施方式示出了仅在垂直方向（在页面所在平面内）上 的交错;然而，本公开内容可W容易地扩展至水平交错(在页面所在平面内）。在该情况下， 使传感器阵列水平移动（在页面所在平面内）。其还可W使用同时在垂直方向和水平方向 (相对于页面所在平面)上的交错，在该情况下，使传感器阵列同时在垂直方向和水平方向 (相对于页面所在平面)上移动。
[0107] 换句话说，在第一时间和第一操作模式下，整个像素阵列或其一部分处于第一位 置。如微传感器的空间布局所示，在运一位置，像素阵列读取在某一空间位置的类型1数据 和类型2数据。在不同的第二时间和第二操作模式下，MEMS将整个像素阵列或其一部分移动 至与第一位置不同的第二位置。在运一位置，像素阵列仍然读取类型1和类型2运两种类型 的数据。当整个传感器阵列或其一部分向上移动至位置2W便倒转收集类型1数据和类型2 数据的位置，因而类型1和类型2数据测量的空间分辨率都没有损失。
[0108] 在另一配置中，在第一时间和第一操作模式下，整个像素阵列或其一部分处于第 一位置。在该第一位置，对类型1数据敏感的像素被定位用于收集类型1数据，而对类型2数 据敏感的像素被如此定位W便不收集类型2数据。在运一位置，从对类型1数据敏感的像素 读出类型1数据。在另一实施方式中，对类型2数据敏感的像素可W在第一操作模式下收集 类型2数据。
[0109] 在不同的第二时间和第二操作模式下，MEMS将整个像素阵列或其一部分移动至与 第一位置不同的第二位置。在该第二位置，对类型2数据敏感的像素被定位用于收集类型2 数据，而对类型1数据敏感的像素被如此定位W便不收集类型1数据。在运一位置，从对类型 2数据敏感的像素读出类型2数据。在另一实施方式中，对类型1数据敏感的像素可W在第二 操作模式下收集类型1数据。
[0110] 运由图13所演示，图中还示出了为何在测量的特殊分辨率中没有损失。图13示出 了图12中所描绘的像素阵列，其中示出整个阵列（左侧阵列）在运动之前(或者当阵列处于 第一操作模式下和第一位置及在向上移动等于交错量(两行）的距离、等于两个像素的 垂直高度的距离之后，使得像素阵列处于第二操作模式下和第二位置。
[0111] 从传感器的交错图案和运动可W明白，从传感器的两个位置获取的数据将会相互 补充W产生全分辨率的类型1数据（即，视频数据）W及全分辨率的类型2数据（即，红外数 据）。数据采集的运一顺序可W进一步解释如下： 该方法中像素阵列的操作顺序：
[0112] 仅在图2中所示的像素布局的情况下对当前实施方式中的图像采集的操作进行解 释，其中在垂直方向（页面所在平面内）上完成交错，但操作对于水平方向（页面所在平面 内）是相同的。逻辑上，操作可W在任何其他交错图案中扩展。
[0113] 在其中沿着垂直方向（页面所在平面内）完成图像像素和对红外敏感的像素的交 错的当前实现方案中，传感器的图像采集操作概括如下： 1- 捕捉帖(或帖A),并将其读出和储存在存储器中（如图10中所示，在前文部分中解释 了存储操作）。 2- 向上移动（页面所在平面内）传感器阵列。 3- 捕捉另一帖(或帖B)，并将其读出和储存在存储器中（如图10中所示，在前文部分中 解释了存储操作）。 4- 使用来自运两个帖的数据生成类型1数据的全帖(要在视频处理中使用的可见光图 像帖)和类型2数据的全帖(要在深度计算中使用的红外帖）。 5- 不断重复步骤1-步骤4,只要操作图像处理系统用于采集运两种类型的数据即可。
[0114] 在W下部分中解释将会从传感器输出的混合类型数据的数字存储的机制。 读取和储存混合数据
[0115] 当数据W运种方式交错时，类型1数据和类型2数据必须W不同方式储存在存储器 中，使得最终类型1数据和类型2数据连续并按顺序储存在一起，如同运两种类型的数据来 自两个不同的传感器并且处于正确的行次序。首先，很重要的是要理解，在传统微传感器阵 列（即，测量单一类型数据)的情况下，如何按顺序读出和储存数据。图14示出了沿着来自单 一类型微传感器阵列的每一行按顺序而来的单一类型数据的存储。数据一行接一行地W数 字形式储存在数字存储中（其中每一行储存为一个接一个的像素，通常从阵列的左侧到右 侧）。第0行之后是第1行，然后是第2行，直至第η行一一即，要从阵列读出的最后一行。因此， 同一类型的数据得到连续储存。在本公开内容中，期望对不止一种类型的感测数据的存储 实现相同的结果。也就是说，将类型1数据(视频数据)全都连续地储存在一起，并且还将类 型2数据(IR数据)全都连续地储存在一起。现在使用图15和图16来解释实现运一点的方法。
[0116] 参考图15,由微传感器阵列产生的数据是按顺序的；即，在一行中逐像素地从传感 器读出数据，继而在下一行中逐像素地读出，继而下一行，并依此类推直至阵列的末端。因 此，从阵列读出的数据是类型1数据和类型2数据两者的混合。亦即，读出的数据是两行视频 数据和两行IR数据。使用简单的数字逻辑电路，导引所述数据W将其储存在不同和/或单独 的存储中一一一个存储用于类型1，而另一存储用于类型2;举例而言，类型1数据储存在视 频数据存储区中，而另一类型数据则储存在IR数据存储区中。运必须在保持每种类型数据 的次序的情况下发生。如图15中所描绘，其实现如下：将第0行和第1行的类型1数据储存在 类型1存储器(通过如图15中的事务（"transaction")所示的视频存储器）中。在储存第0行 和第1行之后，在存储器中跳过足够用W储存同一类型数据(例如，视频数据)的第2行和第3 行的空间，运是因为该数据尚未到位(其在MEMS将传感器阵列移动至第二位置并抓取另一 测量帖之后才可用）。继而，将第4行和第5行储存在类型1存储器存储中（如事务所示）。但 是，第2行和第3行是类型2数据；因此，在由于数据尚未到位(其在MEMS将传感器阵列移动至 第一位置并抓取另一测量帖之后才可用）而在存储器跳过足够用W储存同一类型数据（例 如，IR数据)的第1行和第2行的空间之后，将类型2数据储存在另一存储器(IR存储器）中。在 储存第2行和第3行之后(如事务所示），在存储器中跳过足够用W储存同一类型数据(例如， IR数据）的第4行和第5行的空间，运是因为数据尚未到位巧在MEMS将传感器阵列移动至第 一位置并抓取另一测量帖之后才可用）。继而，将来自当前帖的第6行和第7行储存在类型2 存储器存储中，并依此类推。
[0117] 如图17中所示，当传感器被移动至第二位置并收集另一组数据时，物理上位于在 第2行和第3行的位置向上移动两行之后的第4行和第5行现在分别用于储存第2行和第3行 的缺失视频数据，如事务所示。在运种情况下，第0行、第1行W及第4行和第5行是类型2数 据，并且它们储存在针对第0行和第1行的类型2数据的适当位置上，如图16中的事务所示。 对整个传感器阵列垂直地应用同一概念。
[0118] 在该过程结束时，所有类型1数据都连续储存在一个存储器中（例如，彩色图像行 存储），而所有类型2数据，即传感器的全分辨率，都储存在存储器中（例如，IR图像行存储）。
[0119] 像素布局可W根据应用而改变。例如，交错可W沿着水平方向完成，换言之，存在 一列彩色滤波器覆盖的像素，而下一列是对红外敏感的像素。在运种情况下，将传感器像素 阵列沿着水平方向移动等于像素水平长度的量。
[0120] 顺着同样的思路，还可W在相比于另一类型测量(例如，具有相对于深度数据而言 更高的分辨率的视频数据)牺牲一种类型测量的分辨率的情况下实现不同的像素图案。例 如，如果使传感器对于视频数据具有更好的分辨率而牺牲深度数据的分辨率是优选的，贝U 可W每四行彩色滤波器覆盖的像素使用两行对红外敏感的像素。在此情况下，将像素阵列 沿着垂直方向移动两个像素，从而重建了全贝尔图案，同时失去红外数据的两行垂直分辨 率。通过在水平方向上完成交错可W应用同一方法。应当理解，存在传感器和系统架构可W 实现的不同组合。但是，本公开内容的教导保持不变：即，教导在于使微传感器交错并移动 传感器W覆盖交错区域Γ交错和移动"）。
[0121] 在许多实施方式中，通过限位开关(在图10中标示为400和401)来引导阵列的移动 和停止。它们如此进行操作，使得当图像阵列被移动时，在移动引起限位开关改变状态(例 如从关变为开(或者反之亦然））从而发信号指示该阵列W到达其最终目的地时，图像阵列 的行程的末端会得到感测。运允许对阵列进行移动的致动电路停止其操作。此时阵列静止 在其新位置上。每个限位开关禪合至对应的电路，W便从限位开关向所述电路传输信号，从 而根据传感器阵列的配置来储存传感器阵列的数据。
[0122] 每个限位开关被配置用于向电路传输信号W指示限位开关状态的改变。当传感器 阵列抵达第一定位置时，限位开关向电路传输第一信号W指示所述传感器阵列构成第一配 置。当传感器阵列抵达第二位置时，限位开关向电路传输第二信号W指示传感器阵列构成 第二配置。
[0123] 根据图15和图16的实施方式，当传感器阵列与下限位开关(在图15中标示为701) 接触时，处于下位置的阵列构成传感器阵列的第一配置。当传感器阵列移动至上位置时，传 感器阵列构成第二配置，其中传感器阵列的移动在其接触和致动上限位开关(在图16中标 示为700)时受到限制。在许多实施方式中，在传感器阵列抵达由开关的位置所标记的期望 位置时，限位开关向电路提供信号。根据许多实施方式，限位开关可W包括多于两个限位开 关，例如在阵列停止在多于两个位置的实施方式的情况中。 实现方案的第二方法(第二实施方式和第Ξ实施方式）
[0124] 与第一方法不同，第二方法使用相同的微传感器来测量不同类型的数据;也就是 说，同一像素既测量可见光数据又测量IR数据。运只能通过如下方式来实现：即，利用导纳 某种类型数据并阻挡其他一种或多种类型数据的合适的滤波器来准备像素，并继而将其改 变W导纳所述其他类型而阻挡第一类型。
[0125] 运是通过使用MEMS利用滤波器覆盖每个像素 W使像素在对红外敏感像素与对可 见光像素敏感像素之间来回转换而实现的。
[0126] 在该方法中，每个像素自身覆盖有微透镜，但不含彩色滤波器、IR导纳滤波器或IR 阻挡滤波器。
[0127] 在红外或第二操作模式下，像素暴露于入射光，而不受其路径中的任何滤波器的 干扰(显然，相机透镜除外）。在可见光或第一操作模式下，MEMS对口进行致动，在该口上有 针对每个像素(红、绿或蓝)的IR滤波器和合适的彩色滤波器。在图15中，使用一个像素的截 面示出运种图像传感器阵列概念。
[0128] 每个像素具有光电区域，该光电区域负责收集入射光并将其转换成作为该光的强 度的函数的电信号。图17中示出了运样的区域的侧视图或截面图。可W将携载有I啡且挡滤 波器和可见光导纳滤波器(根据像素，为红、绿或蓝之一)光过滤组装件或?'Τ (矩形或正方 形结构）的截面旋转至口打开位置W使像素遭遇入射光，或者将其旋转至口关闭位置W从 碰撞像素的光中移除IR和某些可见光谱。在口打开位置(左下侧所示），像素将会对红外光 敏感，而在口关闭位置(右下侧所示），像素将会充当对可见光的期望波长谱敏感的图像像 素，根据针对该特定像素使用的彩色滤波器，所述波长谱是红光、绿光或蓝光中之一。在放 置IR滤波器和彩色滤波器之前，在口的顶部放置一层透明材料(可W是玻璃）。由于光过滤 组装件在其处于闭合位置时从中间打开W允许光透过的事实(右下侧所示），因此放置该层 W支撑IR滤波器和彩色滤波器两者。
[0129] 图18描绘了作为口方法的更复杂变体的第二实施方式，其中使用两个口，使得当 像素处于采集红外光的模式时，将IR导纳滤波器施加于该像素。在图18中，图18的顶部中央 存在两个口。当相机正在采集视频图像时（图18的右下侧），一个口关闭而另一个口打开，W 使红外导纳滤波器"移出路径"，并且使彩色滤波器和红外阻挡滤波器处于撞击像素的光的 路径中。当相机被置于采集红外图像的模式时，则执行相反操作，即，旋转所述口 W将其移 出路径，同时旋转或关闭口 W使得IR导纳滤波器处于撞击像素的光的路径中，如图18的右 下侧所示。
[0130] 该实施方式的另一第Ξ变体是使口大到足W覆盖整个像素阵列，而不是逐像素覆 盖。其中可W存在与由玻璃制成的口具有相同概念的两个口，或者它们可W是用玻璃平面 覆盖的矩形框架(取决于制造可行性），并且它们可W在整个像素阵列上关闭或打开。相比 于每个像素上的口，运种解决方案更简单，但它可能遭受打开和关闭口所需的较大惯性，并 且将会需要像素阵列上方的垂直空间W便容纳口的打开，所述口现在与像素阵列一样高， 并且根据口沿着哪一侧打开或关闭而与整个像素阵列一样长(或一样宽）。
[0131] 运两种方法都可W提供可见光R、G、B像素阵列的全分辨率贝尔图案W及全分辨率 红外敏感像素阵列。因此： 1- 彩色滤波器图案仍然保留为贝尔图案，因此所有已经可用的像素处理器软件和硬件 都将兼容于该图像/深度传感器。运是一个重要优点，因为贝尔图案处理非常成熟，并且几 乎是针对CM0S(W及CCD)相机的图像处理系统中的标准。然而，当前实施方式亦可适用于任 何图案，并且还值得注意的是，R、G、B光导纳滤波器可W是彩色滤波器的任何其他Ξ元组 (诸如青色、品红和黄色，或者其他颜色），只要它们的组合可W提供包括白色在内的所有颜 色即可。 2- 在对整个传感器进行移动的第一方法中，与常规CMOS视频传感器的常规制造存在有 限的偏差。因此，目前的技术已经成熟到可w容易地实现该第一实施方式。此外，所需的来 自MEMS的运动也十分简单。 从红外测量计算深度
[0132] 本公开内容所说的红外测量是指使用波长属于红外光谱中的光，或者更确切地 说，结构化光图案。而运样做的原因是为了避免运些光图案与诸如图像采集等其他"可感 知"或"可视"成像功能之间的干扰，从而运些光不"出现"在所采集的图像中。结构化光是将 已知的像素图案投射到场景上的过程。运些光图案可W是形状、线、网格和/或圆的形式。运 些光图案在撞击表面时的变形方式允许视觉系统计算场景中的物体的深度和表面信息。或 者，运些形状可W是函数的形式，诸如具有不同频率的正弦函数或方波函数的形式的光强 度渐变。通过传感器从所投射的光检测到的"相位"变化是场景中该点的深度的函数。有多 种出版物设及运些算法W及对其的不同改进。在本文的本实施方式中，可W采用运些算法 中的任何一种。人类不可见(或不可感知的)结构化光使用具有不会产生干扰的波长的光。 B-伴随像素阵列的数字电路的实施方式
[0133] 本公开内容覆盖了用于设计单一像素阵列片上系统W实现用同一阵列测量不止 一种类型的数据的不同方法。现在将要演示运样的"忍片"的示例实施方式。本公开内容进 一步解释了当数据是两种类型的感测数据的混合时，将从传感器读出的数据储存到存储器 中的方法。下文描述实现上述方法的数字系统的实施方式。
[0134] 像素阵列同时测量不止一种类型的数据（用于形成视频图像的可见光和用于计算 深度测量的红外光）。阵列可W在上文解释的任何不同实施方式中实现。像素阵列与MEMS- 起封装在单一忍片上。图像处理系统操作由被称为图像处理单元的处理单元来控制。该图 像处理单元将图像处理系统置于进行复合类型1数据(例如，可见光数据模式)和类型2数据 (例如，I財莫式)感测的第一操作模式下，或者置于进行复合类型1数据和类型2数据感测的 第二操作模式下(通过移动阵列）。或者，在另一实施方式中，在某一模式下感测类型1数据， 而在另一模式下感测类型2数据。图像处理系统模式受图7中的中央处理器(CPU)控制。CPU 还驱动图10中的定时电路(经由图7中的线路总线），运触发对二维阵列图像传感器的定时， W使其"感测"场景（拍摄图像）。在此之后，定时电路驱动传感器阵列W通过读出总线从传 感器阵列读出在微传感器(像素）中采集的数据。该数据可W是类型1数据和类型2数据，或 者两者皆有(取决于传感器设计所使用的方法）。继而通过CPU和存储器来处理运两种类型 的数据(像素数据），W将其收集并储存在其合适的类型1数据(存储器)和类型2数据(存储 器)对应存储中。
[0135] 虽然在本文讨论的实施方式之一中数据是W混合方式收集的，但它们并不W混合 方式储存。类型1数据(例如，视频数据)储存在视频帖存储区中，而类型2数据(例如，IR数 据)储存在深度帖存储区中。现在，图像处理系统可W生成类型1数据(视频图像)或类型2数 据（IR图像)一一运取决于阵列所处于的操作模式，并且图像储存在对应的区域中（视频存 储器用于视频模式，而深度存储器用于深度模式），两者都在后续的应用中得到使用。CPU还 可W是像素处理器，其实现对视频和IR的所有处理。在贝尔图案视频处理的情况下，CPU使 用像素插值来计算每个像素的颜色分量RGB。其他操作包括但不限于:数字增益、白平衡、色 彩空间转换(从RGB到Y化Cb)W及伽马校正。在红外数据处理的情况下，CPU执行数据噪声移 除和图案变形识别W及深度数据和/或物体形状还原，但并不仅限于此。CPU可W使用IR图 像来计算深度数据(使用公知的公开可用的算法），并将其储存在深度帖存储中，或者可w 将其传递到将会在构成本文实施方式的系统上运行的其他应用。模块之间的数据传送是使 用一个或多个数字总线进行的。总线用于从传感器读出数据，并且总线用于向传感器写入 数据。在数字逻辑术语中，总线是多个导线，在其上让数字数据在数字系统中从一个数字电 路传送到系统中的另一数字电路。
[0136] 为了收集将会用于计算深度的有用IR数据，图像处理系统将一个或多个光图案投 射在场景上。因此，图像处理系统可W具有一个或多个红外光发射器。IR发射器可W放置在 像素阵列周围。此外，每个发射器可W投射用于深度测量的不同图案。将光图案投射到场景 上，由像素阵列接收该图案从场景的反射，并且利用不同的计算算法来计算场景的深度数 据。优选地，光图案对用户不可见;否则，场景将会充满用户明显可见的"人工"光图案，运会 极大地干扰用户所熟悉的传统图像拍摄和抓取。因此，场景应当不含干扰该场景并从而将 会被记录在用户抓取的图像中的任何可见事物。
[0137] 如上所述，MEMS使本公开内容的传感器阵列能够使用同一微传感器(像素)阵列来 收集不同类型的数据。图像处理系统通过移动所述传感器阵列系统的某些部分来实现对运 些不同类型数据的测量。在不同实施方式中，MEMS移动一个或多个组件，所述组件可W根据 图像处理系统的配置而有所不同。然而，在所有实施方式中实现MEMS都是用于实现让同一 传感器阵列可W递送两种不同类型数据的目标，运两种类型的数据被描述为视频图像和IR 图像。
[0138] 忍片上的其他感测组件可W是，但不限于： A-具有不同图案的红外发射器，其在图10中被描绘为在传感器阵列顶部上的Ξ个圆 (并且在图17中亦有示出）。对红外发射器的数目几乎没有限制，并且对红外发射器工作的 波长频带和分布也没有限制，只要它们对红外微传感器可见而对常规可见光微传感器(彩 色图像像素)不可见即可。 B-忍片上的MEMS麦克风阵列 C-X-Y-Z加速度计和X-Y-Z巧螺仪 D-频闪光，即，闪光灯(图19中所示），用于在采集图像的过程中辅助提高质量 应用：
[0139] 由于其高集成度和具有用于进行成像和深度捕捉的单忍片解决方案的优点，所提 出的片上图像处理系统可W用于但不限于W下各项： 1- 游戏;通过具有发射光并同时充当深度传感器和视频传感器的单忍片而实现的高集 成度使得本发明能够取代系统中的任何视频相机。运促进了 3D成像应用在几乎所有计算和 通信设备上的集成。 2- 计算和通信设备的人类用户界面，其中它可W取代膝上型计算机和移动设备W及表 面交互计算平板上的所有相机。运将会催生新颖应用，在其中本发明设备可W用作图像传 感器或深度传感器，或者同时用作两者。 3- 增强现实应用将会由于设备上的3D相机的存在而得到极大的促进，从而将运些应用 编码在移动设备、平板计算机和膝上型计算机上。运是因为3D数据、视频数据被集成到单个 传感器中。在增强现实应用中，运些数据(场景的视频数据和Ξ维数据，它们由于来自同一 传感器而已经在空间上叠合在一起)与适合于视频游戏、教育、培训和市场营销等不同应用 的Ξ维图形相集成。 4- 安全/监控，其中实现了对肇事者的3D跟踪，而运可W创造出新颖算法。 5- 3D打印，当前传感器可W经由包括硬件和软件的数字系统对接W打印3D数据，运些 3D数据通过传感器采集并经处理W从测量还原3D数据，并将其发送至打印机。
[0140] 已经关于微传感器阵列描述了本公开内容的示例性系统和方法。然而，为了避免 不必要地混淆本公开内容，前文的描述省略了许多已知结构和设备。运样的省略不应当解 释为对权利要求的范围的限制。阐述了具体细节W提供对本公开内容的理解。然而，应当明 白，能够W超出本文阐述的具体细节的多种方式来实践本公开内容。
[0141] 此外，虽然本文所示的示例性方面、实施方式和/或配置示出了系统的置于一起的 各个组件，但系统的某些组件可W位于远程位置，处在诸如LAN和/或因特网等分布式网络 的远处部分，或者位于专用系统内。因此，应当理解，系统的组件可W组合在一个或多个设 备中，诸如在相机或其他成像设备中，或者一起置于诸如模拟和/或数字通信网络、分组交 换网络或电路交换网络等分布式网络的特定节点上。从前文描述应当理解，并且出于计算 效率的原因，系统的组件可W布置在组件的分布式网络内的任何位置上而不影响系统的操 作。例如，各个组件可W位于服务器中、位于一个或多个计算设备中、位于一个或多个用户 场所，或者其组合。类似地，系统的一个或多个功能部分可W分布在一个或多个电信设备与 相关联的计算设备之间。
[0142] 此外，应当理解，连接元件的各个链路可W是有线链路或无线链路或者其任意组 合，或者是任何其他已知的或今后开发的能够向连接的元件供应数据或从其通信数据的一 个或多个元件。运些有线或无线链路还可W是安全链路，并且可能能够通信加密信息。例 如，用作链路的传输介质可W是针对电信号的任何适当载体，包括同轴电缆、铜线和光纤， 并且可W采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的波。
[0143] 此外，虽然已经关于特定事件顺序讨论和例示了流程图，但应当理解，可W对该顺 序进行改变、添加和省略而不对所公开的实施方式的操作、配置和方面产生实质影响。
[0144] 可W使用本公开内容的许多变体和修改。有可能提供本公开内容的一些特征而不 提供其他特征。
[0145] 例如，在一个备选实施方式中，本公开内容的传感器阵列可W用于除了贝尔图案 之外的图案。
[0146] 在另一备选实施方式中，传感器阵列保持静止，同时在该阵列之上移动一个或多 个滤光器，W导致对期望类型数据的收集。例如，在第一模式下，在存在或不存在用于移除 类型2数据的滤光器的情况下从像素收集类型1数据，并且在第二模式下，通过阵列之上的 MEMS将用于移除类型1数据同时透过类型2数据的滤波器移动入位来收集类型2数据。
[0147] 在另一实施方式中，根据操作模式来移动传感器阵列，并且其具有定位在阵列中 的一个或多个像素之上的不同滤光器。该实施方式实际上是图13和图17-图18的实施方式 的组合。
[0148] 在又一实施方式中，本公开内容的系统和方法可W结合W下各项一起实现:专用 计算机、经编程微处理器或微控制器W及一个或多个外围集成电路元件、ASIC或其他集成 电路、数字信号处理器、硬接线电子或逻辑电路诸如分立元件电路、可编程逻辑器件或口阵 列诸如化〇、？1^\少?64、？4^专用计算机、任何可比的装置等。一般而言，可^使用任何一种 或多种能够实施本文例示的方法的设备或装置来实现本公开内容的各个方面。可w用于所 公开的实施方式、配置和方面的示例性硬件包括计算机、手持设备、电话(例如，蜂窝电话、 支持因特网的电话、数字电话、模拟电话、混合电话W及其他电话）W及本领域已知的其他 硬件。运些设备中的一些设备包含处理器(例如，单个或多个微处理器）、存储器、非易失性 存储、输入设备和输出设备。此外，还可W构建包括但不限于分布式处理或组件/对象分布 式处理、并行处理或虚拟机处理的替代软件实现方案来实现本文描述的方法。
[0149] 在另一实施方式中，所公开的方法可W很容易与使用对象或面向对象软件开发环 境的软件相结合实现，所述开发环境提供可在多种计算机或工作站平台上使用的可移植源 代码。或者，所公开的系统可W部分地或完全地在使用标准逻辑电路或化SI设计的硬件中 实现。是使用软件还是硬件来实现根据本公开内容的系统取决于所采用的系统、特定功能 W及特定软件或硬件系统或微处理器或微计算机系统的速度和/或效率要求。
[0150] 在又一实施方式中，所公开的方法可W部分地在可储存于存储介质上的软件中实 现，该软件可W在与控制器和存储器相协同的经编程通用计算机、专用计算机、微处理器等 之上执行。在运些情况下，本公开内容的系统和方法可W实现为嵌入在个人计算机上的程 序，诸如小应用程序、JAVA?或CGI脚本或者作为资源驻留在服务器或计算机工作站上 的WC++语言编译的软件，作为嵌入专用测量系统、系统组件等之中的例程。还可W通过物 理地将系统和/或方法整合在软件和/或硬件系统中来实现该系统。
[0151] 虽然本公开内容参考特定标准和协议而描述了在各个方面、实施方式和/或配置 中实现的组件和功能，但运些方面、实施方式和/或配置并不限于运样的标准和协议。还存 在本文未提及的其他相似标准和协议，并且认为其也包括在本公开内容中。此外，本文提及 的标准和协议W及本文未提及的其他类似标准和协议不时由具有基本上相同的功能的更 快或更有效的等效物所取代。具有相同功能的运些替代标准和协议被认为是包含在本公开 内容中的等效物。
[0152] 本公开内容在各个方面、实施方式和/或配置中包括基本上如本文所描绘和描述 的组件、方法、过程、系统和/或装置，包括其各个方面、实施方式、配置实施方式、子组合和/ 或子集。本领域技术人员在理解本公开内容之后，将会理解如何制作和使用所公开的方面、 实施方式和/或配置。本公开内容在各个方面、实施方式和/或配置中包括在缺少未在本文 或其各个方面、实施方式和/或配置中描绘和/或描述的物品的情况下提供设备和过程，包 括缺少那些可能在前述设备或过程中使用的物品，例如用于提高性能、实现简易性和/或降 低实现成本的物品。
[0153] 前述讨论是出于说明和描述的目的而呈现的。前述内容并不旨在将本公开限制为 本文所公开的一种或多种形式。例如，在前文的【具体实施方式】中，本公开内容的各个特征出 于简化本公开内容的目的而在一个或多个方面、实施方式和/或配置中组合在一起。本公开 内容的方面、实施方式和/或配置的特征可W在除了上述讨论之外的替代方面、实施方式 和/或配置中组合。本公开内容的运样的方法不应解释为反映了权利要求需要比每个权利 要求中明确陈述的特征更多的特征的意图。相反，如W下权利要求所反映，发明方面在于少 于单个前文公开的方面、实施方式和/或配置的所有特征之中。因而，W下权利要求特此并 入运一【具体实施方式】中，其中每个权利要求独立地作为本公开内容的单个优选实施方式。
[0154] 此外，尽管描述已经包括了对一个或多个方面、实施方式和/或配置W及某些变体 和修改的描述，但其他变体、组合和修改也在本公开内容的范围之内，举例而言，如同可w 在理解本公开内容之后，在本领域的技术和知识范围内一样。期望在许可的范围内，获得包 括替代方面、实施方式和/或配置的权利，包括对所要保护权项的替代的、可互换的和/或等 效的结构、功能、范围或步骤，无论运样的替代的、可互换的和/或等效的结构、功能、范围或 步骤是否在本文公开，并且并不期望公开地献出任何可专利主题。
[0155]虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而 易见的是，运样的实施方式只是W示例的方式提供的。在不偏离本发明的情况下，本领域技 术人员现将想到众多变化、改变和替代。应当理解，在实践本发明的过程中可W采用对本文 所描述的本发明实施方式的各种替代方案。W下权利要求旨在限定本发明的范围，并因此 覆盖运些权利要求范围内的方法和结构及其等效项。
【主权项】
1. 一种装置，包括： (a) 传感器阵列，其包括安设在用于感测贝尔图案数据的第一多对相邻线性阵列上的 多个贝尔图案，位于所述第一多对相邻线性阵列之间的用于感测不同类型数据的具有不同 图案的第二多对相邻线性阵列； (b) 致动器，其用于将所述传感器从第一位置移动至第二位置，其中所述第一多对相邻 线性阵列的物理位置与所述第二多对相邻线性阵列的物理位置交替排列；以及 (c) 电路，其耦合至所述致动器和所述传感器阵列，以从所述第一位置和所述第二位置 中的每一位置输出所述贝尔图案数据和所述不同类型数据。2. 如权利要求1所述的装置，其中所述贝尔图案数据的每个像素关联于所述第一位置 或所述第二位置而输出，并且其中所述不同类型数据的每个像素关联于所述第一位置或所 述第二位置而输出。3. 如权利要求1所述的装置，其中所述不同图案包括红外滤波器图案、紫外滤波器图 案、非贝尔可见光滤波器图案或不含滤波器的图案中的一个或多个。4. 如权利要求1所述的装置，其中所述第一多对相邻线性阵列的每一对包括两个相邻 对，并且其中所述第二多对相邻线性阵列的每一对包括两对相邻的线性阵列。5. 如权利要求1所述的装置，其中所述第一多对相邻线性阵列的每一对包括三对或更 多对相邻的线性阵列，并且其中所述第二多对相邻线性阵列的每一对包括三对或更多对相 邻的线性阵列。6. 如权利要求1所述的装置，还包括用于发信号指示所述传感器阵列何时位于所述第 一位置的第一限位开关以及用于发信号指示所述传感器阵列何时位于所述第二位置的第 二限位开关，其中所述电路被配置用于响应于所述第一限位开关感测到所述传感器阵列移 动至所述第一位置而集成位于所述第一位置的所述传感器阵列的第一复合数据，以及响应 于所述第二限位开关感测到所述传感器移动至所述第二位置而集成所述传感器阵列的第 二复合数据。7. 如权利要求1所述的装置，其中电路被配置用于从所述第一复合数据和所述第二复 合数据生成所述贝尔图案数据，以及从所述第一复合数据和所述第二复合数据生成所述不 同类型数据。8. 如权利要求1所述的装置，所述电路包括用于使所述传感器阵列移动至所述第一位 置并在所述第一位置测量所述传感器阵列的第一数据以及使所述传感器阵列移动至所述 第二位置并在所述第二位置测量所述传感器阵列的第二数据的指令，处理器还包括用于从 具有所述贝尔图案的所述第一多对相邻线性阵列提供第一全帧图像以及用于从具有不同 图案的所述第二多对相邻线性阵列输出第二全帧图像的指令，其中所述传感器包括一定数 目的像素，并且其中所述第一全帧图像和所述第二全帧图像中的每一个包括所述传感器阵 列的该数目的像素。9. 如权利要求1所述的装置，其中所述致动器包括微机电系统。10. 如权利要求1所述的装置，其中所述多个贝尔图案中的每一个包括用于感测红光的 红像素、用于感测蓝光的蓝像素以及用于感测绿光的一对对角绿像素。11. 如权利要求1所述的装置，还包括用于储存从所述传感器阵列生成的输出的数字数 据存储。12. 如权利要求1所述的装置，还包括用于控制以下各项中的一个或多个的数字信号处 理器：向数字数据存储传送所述输出、对图像采集的定时、所述阵列的移动、配置所述电路、 配置图像形成以及生成图像。13. -种系统，包括： (a) 传感器阵列，其可操作用于感测第一类型的数据和第二类型的数据，所述第一类型 数据与第二类型数据不同；以及 (b) 微机电系统(MEMS)，其用于以下各项中的至少一个：（1)移动所述传感器阵列，使得 所述传感器阵列的不同传感器在共同位置捕捉所述第一类型数据和第二类型数据中的不 同类型的数据，以及(2)移动定位在所述传感器阵列的至少一个传感器之上的滤波器，使得 选定的传感器能够根据所述滤波器的位置而捕捉第一类型数据或第二类型数据。14. 如权利要求13所述的系统，其中在第一操作模式下，由所述传感器阵列捕捉第一复 合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第一复合帧和 第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧和第二复合 帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二帧，其中所述 第一帧和第二帧储存在不同且分立的计算机可读介质中，并且其中所述第一类型数据是可 见光而所述第二类型数据是红外光。15. 如权利要求13所述的系统，其中在第一操作模式下，由所述传感器阵列捕捉第一复 合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第一复合帧和 第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧和第二复合 帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二帧，其中所述 第一帧和第二帧储存在不同且不重叠的存储器位置，并且其中所述第一类型数据是蓝光、 绿光和红光中的一种或多种，而所述第二类型数据是红外光。16. 如权利要求13所述的系统，其中所述传感器阵列包括用于感测所述第一类型数据 的第一组传感器和用于感测所述第二类型数据的第二组传感器，其中所述第一组传感器具 有与所述第二组传感器不同的成员，并且其中所述MEMS将所述传感器阵列从第一位置移动 至第二位置以分别收集所述第一帧和第二帧。17. 如权利要求16所述的系统，其中第一组传感器和第二组传感器彼此交错，其中所述 交错在逐行和/或逐列的基础上完成，并且其中由所述MEMS对所述传感器阵列的移动的距 离和方向是所采用的交错类型的函数。18. 如权利要求13所述的系统，其中所述MEMS移动定位在所述传感器中的至少一个之 上的滤波器，使得选定的传感器能够根据所述滤波器的位置而捕捉第一类型的数据或第二 类型的数据。19. 如权利要求18所述的系统，其中所述第一类型数据是蓝光、绿光和红光中的一种或 多种而所述第二类型数据是红外光，其中所述滤波器基本上(a)阻挡蓝光、绿光和红光中的 一种或多种，同时透过红外光，或者(b)阻挡红外光，同时透过蓝光、绿光和红光中的一种或 多种，其中在第一操作模式下，所述MEMS将所述滤波器定位在所述选定的传感器之上以便 在光接触所述选定的传感器之前对该光进行过滤，并且在第二操作模式下，所述MEMS从所 述选定的传感器移除所述滤波器以使未经过滤的光能够接触所述选定的传感器。20. 如权利要求18所述的系统，其中所述第一类型数据是蓝光、绿光和红光中的一种或 多种而所述第二类型数据是红外光，其中第一滤波器基本上阻挡蓝光、绿光和红光中的一 种或多种同时透过红外光，而第二滤波器基本上阻挡红外光同时透过蓝光、绿光和红光中 的一种或多种，并且其中在第一操作模式下，所述MEMS将所述第一滤波器而不是所述第二 滤波器定位在所述选定的传感器之上以在光接触所述选定的传感器之前对该光进行过滤， 并且在第二操作模式下，所述MEMS将所述第二滤波器而不是所述第一滤波器定位在所述选 定的传感器之上以在光接触所述选定的传感器之前对该光进行过滤。21. -种方法，包括： (a) 在第一时间间隔中，通过传感器阵列收集第一类型的数据和/或第二类型的数据， 所述第一类型数据和第二类型数据不相同； (b) 通过微机电系统(MEMS)进行以下各项中的至少一个：（1)移动所述传感器阵列，使 得所述传感器阵列的不同传感器在共同位置捕捉所述第一类型数据和第二类型数据中的 不同类型的数据，以及(2)移动定位在所述传感器中的至少一个之上的滤波器，使得选定的 传感器能够根据所述滤波器的位置而捕捉第一类型的数据或第二类型的数据；以及 (c) 在第二时间间隔中，在由所述MEMS进行的移动之后，通过所述传感器阵列收集第一 类型的数据和/或第二类型的数据。22. 如权利要求21所述的方法，其中在第一操作模式下，由所述传感器阵列捕捉第一复 合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第一复合帧和 第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧和第二复合 帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二帧，其中所述 第一帧和第二帧储存在不同且分立的计算机可读介质中，并且其中所述第一类型数据是可 见光而所述第二类型数据是红外光。23. 如权利要求21所述的方法，其中在第一操作模式下，由所述传感器阵列捕捉第一复 合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第一复合帧和 第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧和第二复合 帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二帧，其中所述 第一帧和第二帧储存在不同且不重叠的存储器位置，并且其中所述第一类型数据是蓝光、 绿光和红光中的一种或多种，而所述第二类型数据是红外光。24. 如权利要求21所述的方法，其中所述传感器阵列包括用于感测所述第一类型数据 的第一组传感器和用于感测所述第二类型数据的第二组传感器，其中所述第一组传感器具 有与所述第二组传感器不同的成员，并且其中所述MEMS将所述传感器阵列从第一位置移动 至第二位置以分别收集所述第一帧和第二帧。25. 如权利要求24所述的方法，其中第一组传感器和第二组传感器彼此交错，其中所述 交错在逐行和/或逐列的基础上完成，并且其中由所述MEMS对所述传感器阵列的移动的距 离和方向是所采用的交错类型的函数。26. 如权利要求21所述的方法，其中所述MEMS移动定位在所述传感器中的至少一个之 上的滤波器，使得选定的传感器能够根据所述滤波器的位置而捕捉第一类型的数据或第二 类型的数据。27. 如权利要求26所述的方法，其中所述第一类型数据是蓝光、绿光和红光中的一种或 多种而所述第二类型数据是红外光，其中所述滤波器基本上(a)阻挡蓝光、绿光和红光中的 一种或多种，同时透过红外光，或者(b)阻挡红外光，同时透过蓝光、绿光和红光中的一种或 多种，其中在第一操作模式下，所述MEMS将所述滤波器定位在所述选定的传感器之上以便 在光接触所述选定的传感器之前对该光进行过滤，并且在第二操作模式下，所述MEMS从所 述选定的传感器移除所述滤波器以使未经过滤的光能够接触所述选定的传感器。28. 如权利要求26所述的方法，其中所述第一类型数据是蓝光、绿光和红光中的一种或 多种而所述第二类型数据是红外光，其中第一滤波器基本上阻挡蓝光、绿光和红光中的一 种或多种同时透过红外光，而第二滤波器基本上阻挡红外光同时透过蓝光、绿光和红光中 的一种或多种，并且其中在第一操作模式下，所述MEMS将所述第一滤波器而不是所述第二 滤波器定位在所述选定的传感器之上以在光接触所述选定的传感器之前对该光进行过滤， 并且在第二操作模式下，所述MEMS将所述第二滤波器而不是所述第一滤波器定位在所述选 定的传感器之上以在光接触所述选定的传感器之前对该光进行过滤。29. -种有形且非暂时性的计算机可读介质，其包括微处理器可执行指令，该指令在由 所述微处理器执行时可操作用于至少执行以下步骤： (a) 在第一时间间隔中，通过传感器阵列收集第一类型的数据和/或第二类型的数据， 所述第一类型数据和第二类型数据不相同； (b) 通过微机电系统(MEMS)进行以下各项中的至少一个：（1)移动所述传感器阵列，使 得所述传感器阵列的不同传感器在共同位置捕捉所述第一类型数据和第二类型数据中的 不同类型的数据，以及(2)移动定位在所述传感器中的至少一个之上的滤波器，使得选定的 传感器能够根据所述滤波器的位置而捕捉第一类型的数据或第二类型的数据；以及 (c) 在第二时间间隔中，在由所述MEMS进行的移动之后，通过所述传感器阵列收集第一 类型的数据和/或第二类型的数据。30. 如权利要求29所述的计算机可读介质，其中在第一操作模式下，由所述传感器阵列 捕捉第一复合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第 一复合帧和第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧 和第二复合帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二 帧，其中所述第一帧和第二帧储存在不同且分立的计算机可读介质中，并且其中所述第一 类型数据是可见光而所述第二类型数据是红外光。31. 如权利要求29所述的计算机可读介质，其中在第一操作模式下，由所述传感器阵列 捕捉第一复合帧，并且在第二操作模式下，由所述传感器阵列捕捉第二复合帧，其中所述第 一复合帧和第二复合帧各自包括第一类型的数据和第二类型的数据，其中所述第一复合帧 和第二复合帧分成仅包含所述第一类型数据的第一帧和仅包含所述第二类型数据的第二 帧，其中所述第一帧和第二帧储存在不同且不重叠的存储器位置，并且其中所述第一类型 数据是蓝光、绿光和红光中的一种或多种，而所述第二类型数据是红外光。32. 如权利要求29所述的计算机可读介质，其中所述传感器阵列包括用于感测所述第 一类型数据的第一组传感器和用于感测所述第二类型数据的第二组传感器，其中所述第一 组传感器具有与所述第二组传感器不同的成员，并且其中所述MEMS将所述传感器阵列从第 一位置移动至第二位置以分别收集所述第一帧和第二帧。33. 如权利要求32所述的计算机可读介质，其中第一组传感器和第二组传感器彼此交 错，其中所述交错在逐行和/或逐列的基础上完成，并且其中由所述MEMS对所述传感器阵列 的移动的距离和方向是所采用的交错类型的函数。34. 如权利要求29所述的计算机可读介质，其中所述MEMS移动定位在所述传感器中的 至少一个之上的滤波器，使得选定的传感器能够根据所述滤波器的位置而捕捉第一类型的 数据或第二类型的数据。35. 如权利要求34所述的计算机可读介质，其中所述第一类型数据是蓝光、绿光和红光 中的一种或多种而所述第二类型数据是红外光，其中所述滤波器基本上(a)阻挡蓝光、绿光 和红光中的一种或多种，同时透过红外光，或者(b)阻挡红外光，同时透过蓝光、绿光和红光 中的一种或多种，其中在第一操作模式下，所述MEMS将所述滤波器定位在所述选定的传感 器之上以便在光接触所述选定的传感器之前对该光进行过滤，并且在第二操作模式下，所 述MEMS从所述选定的传感器移除所述滤波器以使未经过滤的光能够接触所述选定的传感 器。36. 如权利要求34所述的计算机可读介质，其中所述第一类型数据是蓝光、绿光和红光 中的一种或多种而所述第二类型数据是红外光，其中第一滤波器基本上阻挡蓝光、绿光和 红光中的一种或多种同时透过红外光，而第二滤波器基本上阻挡红外光同时透过蓝光、绿 光和红光中的一种或多种，并且其中在第一操作模式下，所述MEMS将所述第一滤波器而不 是所述第二滤波器定位在所述选定的传感器之上以在光接触所述选定的传感器之前对该 光进行过滤，并且在第二操作模式下，所述MEMS将所述第二滤波器而不是所述第一滤波器 定位在所述选定的传感器之上以在光接触所述选定的传感器之前对该光进行过滤。
【文档编号】G06K7/10GK105830090SQ201480066621
【公开日】2016年8月3日
【申请日】2014年10月3日
【发明人】马吉德·比沙伊（亦称弗雷·格雷戈里）
【申请人】伊克莱瑞迪公司