专利名称：对距离改变不敏感的颜色传感器的制作方法
技术领域：
本主题说明书总体涉及固态传感器，并且具体地涉及基于距离測量/确定的顔色确定/校正。
背景技术：
一种用于数字地捕获图像的装置是如通常在数字照相机和其它成像装置中使用的、将光学图像转换成电信号的图像传感器。典型的图像传感器包括电荷耦合器件(CCD)或互补金属-氧化物-半导体(CMOS)有源-像素传感器。CXD是模拟器件，当光照到包括图像传感器的各个光电传感器(像素)时，接收到的光作为电荷保存在每个像素中。每个像素中的电荷被读出，转换成电压，并且进一步转换成数字信息，可以根据该数字信息产生数字图像。对于CMOS传感器，使用附加电路以将电压转换成数字数据。CCD和CMOS系统都利用多晶硅栅来操作，并且具有它们的优点和缺点。将CCD成像基底与CMOS读取集成电路 (redout integrated circuit, R0IC)结合的科学级CMOS (sCMOS)、混合图像传感器是可用的。通过获知颜色像素与对象之间的观看距离，可将来自多个颜色像素的读数与每个顔色像素的距离测量值一起编译，从而产生3D图像。顔色确定会受到颜色像素与所讨论的对象的顔色之间的距离的影响。此外，距离对电磁谱的ー个特定部分的影响可以不同于关于电磁谱的另一部分的影响。例如，从红光部分(例如，约650nm)得到的颜色读数会比从蓝光部分(例如，约475nm)得到的读数更受到距离的影响。因此，对于图像的顔色校正而言，对于从电磁谱的不同部分获得的读数，会要求使顔色校正的程度不同。
发明内容
下面公开了本说明书的简化概要，以提供对本说明书的ー些方面的基本理解。该概要不是本说明书的详尽综述。其目的既不是表明本说明书的关键或重要要素，也不是叙述本说明书的范围。其唯一目的是以简化的形式公开本说明书的ー些构思，作为稍后公开的更详细的描述的前序。通过这里提到的公开的方面，可以基于颜色感测装置(例如，光电传感器中的像素)与被观看的对象之间的观看距离对关于对象的着色的信息进行颜色校正。飞行时间(ToF)传感器/像素与接收来自对象的光的像素(例如，颜色像素)相关联。对在ToF传感器接收到的电磁辐射执行相移分析，并且因此可以确定从ToF传感器到对象的距离(以及相应地相关联的颜色像素到对象的距离)。通过获知从颜色像素到对象的距离，由颜色像素生成的顔色值可以被校正为根据所测量的距离的顔色值。实际上，顔色像素是基于所測量到的距离来校准的。用于ToF传感器的辐射源可以是电磁辐射，其中，例如电磁辐射可以来自电磁辐射谱的红外光部分或可见光部分。多个颜色像素和ToF像素布置是可用的。颜色像素和ToF像素可以并入同一图像传感器。芯片可以被制造为包括像素分组，其中产生像素以执行颜色感测(例如，红、緑、蓝(RGB))，并且其它像素是被产生为执行距离测量的ToF像素。替选地，可以制造多个芯片，从而许多芯片是颜色感测芯片，而其它芯片被制造为ToF传感器。颜色感测芯片上的每个像素与ToF传感器上的像素相关联。在另一方面，顔色和距离感测部件可以与用于处理从顔色和距离感测部件接收到的读数的装置一起被结合在单个集成电路中。在ー个方面，可以使用共用辐射源，以生成顔色传感器的照射以及允许由ToF传感器执行距离测量。在另一方面，与用以照射对象且通过颜色像素进行颜色感测的辐射源相比，用以执行ToF测量的辐射源具有电磁谱的不同部分。以灰度操作并产生灰度图像的ToF传感器可以变为产生彩色图像，从而可以使用滤色器并且包括ToF像素来执行这样的改变，该滤色器限制入射到ToF传感器上的辐射波长。在另一方面，可以使用单个LED来照射对象并且协助距离测量，例如，LED发射白光。在另一方面，可以使用多个LED,其中姆个LED发射特定波长的电磁福射。在又一方面，由多个LED生成的辐射可以被组合以产生具有多个波长的照射，例如红光LED、蓝光LED和 绿光LED被组合以形成白光照射。在ー个方面，可以通过使用提供顔色、距离和顔色校正之间的相互关系的查找表和/或算法来执行颜色像素的校准。以下的描述和附图阐述了本说明书的某些示例性方面。然而，这些方面仅指示了可以使用本说明的原理的各种方式中的数个方式。当结合附图考虑时，根据以下对本说明书的详细描述，本说明书的其它优点和新颖特征将变得明显。
图I示出了根据ー个方面的、用于基于对象距离来确定颜色校正的系统。图2示出了根据ー个方面的、使用电磁辐射来确定对象的位置的測量处理。图3示出了根据ー个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的系统。图4示出了根据ー个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的像素的布置。图5示出了根据ー个方面的、用于基于由相关联的ToF传感器提供的距离测量值来对图像进行颜色校正的像素和相关联的ToF像素的布置。图6示出了根据ー个方面的、用于基于由相关联的ToF像素提供的距离测量值来对图像进行颜色校正的多个颜色传感器和相关联的ToF像素的布置。图7示出了根据ー个方面的、用于基于由相关联的ToF像素提供的距离测量值来对图像进行颜色校正的像素和相关联的ToF像素的布置。图8示出了根据ー个方面的、用于利用ToF传感器进行颜色图像生成的系统。图9示出了根据ー个方面的、用于基于对象距离来确定颜色校正的系统。图10示出了根据ー个方面的、用于基于对象距离来确定颜色校正的系统。图11示出了根据ー个方面的、用于基于对象距离来确定颜色校正的示例性方法。图12示出了根据ー个方面的、用于识别ToF像素是否不能操作的示例性方法。图13示出了根据ー个方面的、用于使用ToF传感器生成彩色图像的示例性方法。
具体实施例方式现在，參考附图描述要求权利的主题，在附图中，始終使用相似的附图标记来表示相似的元件。在以下描述中，出于说明的目的，阐述了大量具体细节，以提供对要求权利的主题的透彻理解。然而，显然可以在没有这些具体细节的情况下实现要求权利的主題。在其它示例中，以框图形式示出公知结构和装置，以便协助描述要求权利的主題。如在本申请中所使用的，术语“部件”、“模块”、“系統”、“接ロ”等一般g在指代计算机相关的实体，硬件、硬件和软件的组合、软件、或者执行中的软件。例如，部件可以是处理器上运行的处理、微处理器、微控制器、芯片、集成电路、对象、可执行文件、执行线程、程序、和/或计算机，但不限于此。通过说明的方式，控制器上运行的应用程序和该控制器均可以是部件。一个或更多个部件可以驻留在处理和/或执行线程内，并且部件可以在ー个计算机上本地化和/或分布于两个或更多个计算机之间。作为另ー示例，接ロ可以包括I/o部件以及相关联的处理器、应用、和/或API部件。
图I示出了用于确定距对象的观看距离以协助传感器校准和颜色感测的系统100。图像传感器100包括飞行时间(ToF)传感器110和颜色传感器120。图像传感器100接收来自电磁谱的各个范围的辐射，以协助ToF传感器110和颜色传感器120的操作。ToF辐射源140提供电磁能，以协助ToF传感器110的操作，而辐射源150提供电磁能，以协助颜色传感器120的操作。从源140和150发射出的电磁能从对象130反射，并分别由ToF传感器110和顔色传感器120捕获。控制器160可以以个别方式或以部件结合的方式控制包括系统100的各部件(例如ToF传感器110、颜色传感器120等)的操作，由此使得能够确定对象130与ToF传感器110之间的距离d，并且能够(按需要)校正对象130的接收颜色。基于距离d的测量值，控制器160可以关于顔色传感器120的任意所需校准作出确定，并相应地作出对象130的接收颜色的“校正”。颜色传感器120的这种自动校准，能够消除对劳动密集型校准过程的需要，会要求劳动密集型校准过程以确保不由于传感器至对象的距离而调整读数的顔色传感器的操作。此外，可以基于ToF传感器110以及包括ToF传感器110的任意ToF像素的刷新率来自动调整顔色传感器120的观看距离以及顔色传感器120包括的任意像素。从颜色传感器120和ToF传感器110获得的读数可以被控制器160利用，以生成可转发到外部装置170的顔色校正输出(例如图像)。校正输出可以包括各个像素的顔色信息和距离信息两者，由此协助生成3D图像。外部装置170可以提供用于显示图像的装置，其中该图像根据接收自颜色传感器120、接收自ToF传感器110的信息以及受控制器160影响的任意顔色校正而生成。外部装置170还可以包括用于数据处理的装置，其中，可以将与顔色校正处理相关联的信息(例如，由图像传感器100、ToF传感器110、顔色传感器120获得的读数等)提供给外部装置，以用于后续处理。此外，考虑到系统100操作的环境条件，可以利用环境传感器180获得关于操作环境的信息。例如，环境传感器180可以检测到操作环境已受到大气微粒(例如，烟雾)的负面影响，而辐射源150或ToF辐射源140的输出要求例如通过控制器160进行相应调整。应理解，尽管将ToF传感器110和顔色传感器120示出为被并入到共用图像传感器100部件，然而本发明不限于此，其中可以将ToF传感器110和顔色传感器120结合以形成共用图像传感器110，或者ToF传感器110和顔色传感器120可以独立操作。以下呈现这种组合/独立的实施例。还应理解，尽管将包括系统100的各个部件示出为单独装置(例如图像传感器100、ToF传感器110、颜色传感器120、ToF辐射源140、辐射源150、控制器160、外部装置170、以及存储装置910 (參见图9)等)，然而，这里呈现的各个方面均不限于此，并且包括系统100的一个或更多个部件可以容纳于共用外壳之内，例如，图像传感器100、ToF传感器110、颜色传感器120、ToF辐射源140、控制器160、以及存储装置710被集成于单个外壳或单个芯片、微控制器、集成电路等中。此外，尽管将外部装置170示出为位于控制器160外部，然而，这两个部件可以结合在共用外壳中，例如其中外部装置170为显示装置，其协助显示由控制器160和任意关联部件生成的顔色校正图像、顔色数据、距离数据等。应理解，尽管ToF辐射源140和辐射源150可以利用来自电磁谱不同部分的辐射，例如，ToF辐射源140利用IR辐射而辐射源150利用可见光，然而，对于此处呈现的各个方面，可以采用共用辐射。例如，ToF辐射源140和辐射源150均可以采用具有共用波长的辐射，诸如可见的红光。如下面描述的，辐射源150可以采用红色可见光来照射对象，而ToF辐 在另一方面，使用共用辐射源生成的图像可以是单色的。此外，在另ー方面，ToF辐射源140和/或辐射源150可以包含同时操作的组合光(例如，将红光、绿光和蓝光LED组合以产生白光)，该组合光被调制并同时用于距离测量(例如经由ToF传感器110)和颜色感测(例如，顔色传感器120)。在又一方面，ToF辐射源140和/或辐射源150可以是激光器或用于发射电磁辐射的类似机制，其中ToF传感器110和/或颜色传感器120具有适当功能，以使用激光源进行各自的距离测量/图像生成。出于理解本文提到的各个方面的目的，现在简要描述ToF传感器110的操作。针对距离测量领域的应用已经开发了 ToF传感器110，以协助诸如对人、物体、障碍等的检测以及测量位置、距离、尺度等的操作。如上所述，ToF传感器110与ToF辐射源140相结合地操作。ToF辐射源140生成电磁谱的特定部分的辐射，并且可以基于辐射的波长来确定对象130距ToF辐射源140和ToF传感器110的距离。在ー个方面，ToF辐射源140发射来自电磁谱的红外(IR)部分的光。參考图2，ToF技术基于确定从ToF辐射源140发射的信号与在ToF传感器110处接收的、从对象130反射的信号之间的相移Δφ。根据确定的相移Δφ，可以确定对象130与ToF传感器110之间的距离d。在參考等式A的情况下，d =距离，c =光速，fm =调制频率(作为发射器的辐射功率的函数)，并且Δφ = arctan((A3-A1)/(A0-A2))，其中位置Α0、Α1、Α2和A3处于固定的持续时间。应理解，尽管图2呈现了基于相移Δφ的确定的ToF技术，然而ToF技术的其它原理也是可用的，例如，发出相位并测量接收时间的相位測定。如前所述，ToF传感器110和顔色传感器120可以单独操作或组合操作。呈现这样的操作的各种实施例。在ー个方面，ToF传感器110可以与颜色传感器120结合在同一半导体芯片中。參考图3，ToF像素可以与颜色传感器像素结合，以形成具有距离测量功能的图像传感器310。像素聚束(例如四个像素320、330、340和350的组)中的每个像素可以被设计为执行特定任务。在图3中，像素320、330和340被用于捕获来自电磁谱的可见光部分的相应红光(R)、绿光(G)、蓝光(B)波长部分的光。像素350被用于操作为ToF传感器。例如，在包括24 X 100像素的芯片中，该芯片可以被划分为四个12X50像素的组，具有相应的R、G、B颜色感测和ToF确定功能。应理解，尽管图3示出了具有RGB-d布置(其中d等效于ToF像素)的像素聚束，然而各个方面不限于此，由此可以利用任意像素聚束以协助由进行可见光捕获的像素连同具有ToF能力的必要像素一起进行适当的图像捕获。图4示出了包括像素420-450的图像传感器410，像素420-450具有六边形轮廓并布置于蜂巢布局中，其中，像素420、430和440被用于捕获来自电磁谱的可见光部分的相应红光(R)、绿光(G)、蓝光⑶波长部分的光。像素450被用于操作为ToF传感器。图5呈现了包括颜色传感器510的系统500，颜色传感器510与ToF传感器520单独构建，但是与ToF传感器520相结合地操作。颜色传感器510的像素被布置于BayerGRGB布局中，其中，每个像素聚束与相关联的ToF传感器像素相结合地操作。例如，可以基于从ToF传感器中的ToF1获得的距离测量值来对像素G1R1G1B1的聚束进行顔色校正，可以基于ToF2来对像素聚束G2R2G2B2进行颜色校正，而可以基于ToF3来对像素聚束G3R3G3B3进 行颜色校正，等等。此外，如图5所示，ToF像素和顔色像素的尺寸不一定是相同尺寸，并且相应地，ToF像素和顔色像素不一定具有相同分辨率。对于图像质量，通常包括顔色传感器510的颜色像素越小越好，但是，假设ToF像素被用于校准顔色像素(以及来自颜色像素的读数)，则相应的ToF像素的尺寸就没有顔色像素那样关键，这是因为，在实际的图像构建和分辨率中，ToF像素可能不起作用。图6的系统600呈现了多个颜色传感器和ToF像素布置，其中，高分辨率颜色传感器610包括多个颜色RGB像素620。高分辨率颜色传感器610可以被耦合至低分辨率ToF芯片630。如图6所示，低分辨率ToF芯片可以包括ー个或更多个ToF像素640。在ー个方面，高分辨率颜色传感器610 (包括多个颜色RGB像素620)可以被耦合至包括单个ToF像素640的低分辨率ToF芯片630 (如图6中的下侧图像所示)。在另一方面，高分辨率颜色传感器610 (包括多个颜色RGB像素620)可以被耦合至包括多个ToF像素640的低分辨率ToF芯片630。如上侧的两个实施例(图6的中间图像和上侧图像)所示，高分辨率颜色传感器610可以分散为颜色RGB像素620以及关于相关联的ToF像素640进行的距离确定的群组。图6所示的各个实施例适于测量大约平坦的表面的距离，并适于在低成本系统中得到应用。图7呈现了包括颜色传感器710的系统700，颜色传感器710与ToF传感器720单独构建，但是与ToF传感器720相结合地操作。顔色传感器710的六边形像素被布置于蜂巢布局中，其中，每个像素与相关联的ToF传感器像素相结合地操作。例如，可以基于从ToF传感器中的ToFm获得的距离测量值来对像素Rx进行颜色校正，其中Gx与ToFn相关联，Gy与ToF0相关联，等等。在替选方面中，可以采用跨越电磁谱的可见光部分操作的像素，而非使得像素操作于可见光电磁谱的特定部分(例如R、G或B)。替选地，可以采用灰度像素，其中像素与入射光的量相对应，例如随着入射光的量増加，像素的输出电压就越大。此外，在另ー实施例中，可以将滤色器置于灰度像素之上，由此采用滤色器对电磁谱的各个部分进行滤波，同时允许特定波长、多个波长、或一定范围的波长通过到下面的灰度像素。相应地，在辐射源150包括具有一定范围的波长的电磁辐射(例如具有约390至750nm波长的可见光)的情况下，采用滤色器来減少照射顔色传感器的光的波长，例如，滤色器是“绿光”滤色器，并允许具有约550nm波长的光通过到光传感器。当前的ToF传感器可以使用灰度像素进行操作。通过采用滤色器，能够产生具有颜色感测能力的ToF传感器，由此允许灰度ToF传感器生成3D彩色图像。图8呈现系统800，系统800示出在ToF传感器上采用了滤色器。灰度ToF传感器810可被划分为4个区域，第一区域用作ToF传感器820并被用于确定从ToF传感器820到对象(例如对象130)的距离D。灰度ToF传感器810的第二、第三和第四区域可以分别被红色滤色器830、绿色滤色器840或蓝色滤色器850所覆盖。可以利用白光源(例如产生白光的发光二极管(LED)860)照射对象130，各个滤色器(例如滤色器830、840、850)允许可见谱的特定部分被记录在灰度ToF传感器810的下面部分。利用(如通过ToF传感器820来测量)已知的距离测量值，任意需要的传感器校准/调整都基于该距离测量值，以及分别来自灰度ToF传感器810的红、绿和蓝部分(例如830、840、850)的(需要的)校正颜色读数，能够编译 (compile) 3D彩色图像。此外，可以利用例如约20MHz的适于距离测量的调制来操作白光LED (例如LED860)，或者在替代实施例中，可以通过依次利用约20MHz频率调制来照射的红光、绿光和蓝光LED 870来提供照射。 在另一方面中，ToF传感器可以响应于电磁谱的可见部分中的ー个或多个波长，而非使ToF传感器响应于具有红外波长的电磁辐射。例如，參考图1，ToF辐射源140可以发射来自可见谱的红色部分(例如，具有约650nm波长的光)的光。红光将会被响应于具有红色波长的光的成像像素(例如颜色传感器120)接收，而ToF传感器110可以通过根据所接收到红光的相移来确定对象130的位置而进行操作(如图2所示)。在另ー实施例中，可以补偿对象表面的变化效果。在对象表面并不平坦且未如通常那样与图像传感器相垂直地定向的情况下，通过采用ToF传感器确定观看距离，可以按照测得的观看距离来“校准”相关联的顔色像素。如上所述，可以基于ToF传感器测得的距离来校准顔色像素，并且可以按照校准调整来调整颜色传感器作出的任意測量值。可以基于ToF传感器的刷新率而自动调整颜色像素的观看距离。应理解，尽管此处呈现的各个方面呈现了包括RGB布局和Bayer布局的颜色传感器，然而，上述各个方面不限于此，而是可以利用任意适当的顔色传感器布局。例如，可以进一步通过红-绿-蓝-青绿(red-green-blue-emerald, RGBE)、蓝绿-黄-黄-品红(cyan-yellow-yellow-magenta, CYYM)、蓝绿 _ 黄-緑-品红(cyan-yellow-green-magenta, CYGM)等来补充 RGB 布局和 Bayer 布局。现转向图9，示出了系统900，系统900包括先前讨论的各个部件，包括ToF传感器110和顔色传感器120的图像传感器100、ToF辐射源140耦合至控制器160，而控制器160被进ー步耦合至外部装置170，等等。此外，系统900包括存储装置910，存储装置910上存储ー个或多个查找表920和/或算法930。查找表920可以提供距离测量值与颜色校正程度之间的相互关系，其中，要基于从ToF传感器110接收的距离测量值来将该颜色校正程度施加于从颜色传感器120接收的读数。类似地，通过利用从ToF传感器110接收的距离测量值的算法930，可以“校准”从颜色传感器120接收的读数。
图10示出了描绘根据ー个方面的微控制器/集成电路的系统1000。系统1000包括微控制器/集成电路1010，在微控制器/集成电路1010上结合了处理单元1050以及图像传感器1020，图像传感器1020包括ToF传感器1030和颜色传感器1040。如之前描述的，并非多个部件被分开定位(例如，參照图1，图像传感器100作为与控制器160分开的装置而进行操作)，多个部件可以被结合在单个装置上，例如，微控制器/集成电路1010。微控制器/集成电路1010可以被设计为使得包括ToF传感器1030和顔色传感器1040的图像传感器1020与相关联的处理单元1050位于同一芯片上。应当理解，图像传感器1020、ToF传感器1030、顔色传感器1040以及处理单元1050与之前參照图I描述的各个部件(图像传感器100、ToF传感器110、颜色传感器120和控制器160)具有相同的功能。此外，尽管未示出，应当理解ToF辐射源140、辐射源150、外部装置170和/或环境传感器180还可以被定位于微控制器/集成电路1010上。还应当理解到，ToF传感器可以是颜色或灰度ToF传感器。图11示出了用于基于观看距离来确定颜色校正的示例性方法1100。在1110处，从对象(例如，对象130)反射的光被包括一个或多个颜色传感器(例如，图像传感器100、 710、1010，以及颜色传感器120、310、410、510和610等)的一个或多个颜色像素(例如，颜色像素 320-340、420-440，G1R1G1B1、RX_ZGX_ZBX、1040 等)所捕获。在1120处，每个颜色像素具有相关联的ToF像素(例如，ToF像素350、450、ToF1、T0Fm_n、1030等)，ToF像素包括一个或多个传感器(例如，图像传感器100和传感器310、410,520和620)。在ToF像素处接收到从对象反射的电磁辐射。在1130处，(例如，通过控制器160、处理单元1050等)确定从特定ToF像素到接收到ToF辐射的对象表面的距离。在ー个方面中，ToF传感器基于从辐射源发送到对象的发射辐射与在ToF像素处接收到的作为从对象反射的辐射之间的相移来确定距离。可以确定高达360°的相移，其中360°代表一个辐射波长，180°等于1/2波长等。相应地，通过知道相移，可以计算波长部分并且可以确定相对于波长部分的距离。为了达到精确确定，从顔色像素到对象的距离应当约等于ToF像素到对象的相应距离(或者已知的距离比率，例如，I : 1，1 : 2，1 : 5等)，其中，ToF像素被用于确定特定顔色像素到对象的距离。实际上，ToF像素被用于确定从颜色像素到对象的相应距离以有助于颜色像素的校准。在1140处，基于所确定的ToF像素和对象之间的距离、以及相应的与ToF像素相关联的顔色像素的相应距离，可以(例如通过控制器160)根据所确定的距离来校正顔色像素获得的颜色读数。可以采用任意的适当方法来执行颜色校正。适当的方法是，但不限干，采用查找表(例如，查找表920)，该查找表包括颜色读数、对象到像素的距离、以及基于对象到像素距离的校正因数之间的相互关系。替选地，可以使用输入颜色读数和相关联的距离测量值的算法(例如算法930)，确定校正因数并生成校正颜色值。在1150处，可以输出一个或多个颜色校正值。颜色校正值可以被输出到例如用于呈现的外部装置(例如，外部装置170)，其中外部装置包括用于显示的装置并且颜色校正图像可以被显示在这个用于显示的装置上。替选地，外部装置可以包括视觉显示装置(诸如打印机)并且可以以硬格式生成顔色校正图像。此外，外部装置可以包括用于数据处理的其他装置，其中与颜色校正处理相关联的信息(例如，颜色像素320-340、420-440、G1R1G1B1, RX_ZGX_ZBX、1040 等获得的读数；图像传感器 100、ToF 传感器 110、310、410、520、620和710获得的读数；如查找表820和/或算法830生成的颜色校正值；用于生成颜色校正值的查找表820和/或算法830 ；ToF辐射源140的操作设置；辐射源150的操作设置，等等)可以被提供给外部装置用于后续处理。应当理解，尽管方法1100示出了作为在1120 (其中在ー个或多个ToF像素处接收辐射)以及1130(基于ToF数据确定对象距离)的操作之前的操作，通过ー个或多个颜色像素捕获从对象(例如对象130)反射的光的处理1110，但是本文提出的各种方面不限于此，可以在通过颜色像素捕获光以及随后执行的颜色校正的操作1140之前执行确定对象距离的操作。还应当理解到，尽管方法1100公开了基于对相移的确定来确定对象到传感器的距离，但是也可以使用ToF技术的其他原理，例如脉冲測定，在脉冲測定中，发出脉冲并测量接收时间。图12示出了用于颜色感测像素的校正操作的示例性方法1200，其中相关联的ToF 素是错误的或不能操作的。在1210处，在对包括图像传感器(例如，图像传感器100、1020，以及颜色传感器120、310、410、510、610、710、810、1040等)的ー个或多个颜色感测像素(例如，颜色像素320-340、420-440 ,G1R1G1B1、RX_ZGX_ZBX等)进行校准期间，从与ー个或多个颜色感测像素关联的ToF像素获得不可信的距离测量值或未获得测量值。如之前描述的，基于从与顔色像素关联的ToF像素接收到的距离测量值来校准颜色感测像素。然而，可能出现ToF像素未正确工作的情況。在ー个方面中，可以对来自两个或更多个ToF像素的距离读数进行比较以确定是否特定ToF像素正在生成正确输出。例如，两个相邻的ToF像素可能产生完全不同的读数，例如，第一 ToF像素(例如，图5，ToF1)指示对象是7m远，而第二 ToF像素(例如，图5，ToF2)指示对象为I. 5m远。已知，对象具有平坦表面并且与ToF传感器的视线垂直地对准。相应地，通过比较来自这两个ToF像素的距离值，可以通过比较相邻ToF像素(例如，图5，ToF3或ToF4)的读数来确定哪个ToF像素是错误的。替选地，在尝试确定颜色感测像素要被校准的程度期间，在(例如，通过控制器160)执行校准确定期间，从与颜色感测像素关联的ToF像素获得不到读数。基于上述内容，认为ToF像素或者正在提供错误值或者是不能操作的。在1220处，做出确定以识别能够提供在校准主顔色像素时采用的读数的替代ToF像素。在ToF像素为不能操作的/错误的(例如，图5，ToF1为不能操作的)ー个方面中，从正在正确操作的相邻ToF像素(例如，图5，ToF2, ToF3或ToF4)获取读数。在1230处，(例如，通过控制器160、处理单元1050)确定从替代ToF像素到对象表面的距离。在1240处，替代距离测量值被应用于颜色感测像素。例如，当根据与从主颜色感测像素获得的颜色读数相关联的查找表(例如，查找表920)来确定校正值时，參考替代距离测量值。在另一例子中，当应用校准算法(例如算法930)以校准从主颜色感测像素获得的顔色读数时，可以使用替代距离测量值。在1250处，输出用于主颜色感测像素的颜色校正(例如，校准)值。图1300示出了用于从灰度ToF传感器生成颜色校正图像的示例性方法1300。在1310处，灰度ToF传感器(例如，ToF传感器810)被划分为用于执行观看距离确定和颜色感测的各个部分。用于观看距离确定的ToF传感器可以仅在电磁谱的红外部分中工作(如之前讨论的)。此外，如上面讨论的，ToF传感器可以仅产生灰度3D图像。然而，通过采用滤色器和适当的照射，可以产生3D彩色图像。为了有助于距离測量，ToF传感器的一部分被保持为用于測量距离的像素区域(例如，ToF-d 820)。ToF传感器的其他部分可以被覆盖有滤色器(例如，ToF红色滤色器830、ToF绿色滤色器840、ToF蓝色滤色器850)以允许可见光的期望部分穿过下面的ToF传感器像素阵列。在1320处,照射对象(例如,对象130)。通过任意适当的照射源(例如,ToF福射源140、辐射源150)来协助照射，其中这样的照射源可以是LED器件、激光器等。LED器件可以包括发射横跨电磁谱的可见部分的光的单个LED (例如，LED 860)，其中该LED器件可以通过适合于ToF确定的频率调制(例如，约20MHz)来进行操作。在可替换的实施例中，LED器件可以包括多个LED，其中每个LED发射来自电磁谱的不同部分的光(例如，红光LED870、绿光LED 870、蓝光LED 870)。多个LED可以依次地利用距离测量所需的频率调制(例如，约20MHz)来操作。在1330处，基于从被用于协助距离测量的ToF传感器的部分获得的测量值来确定对象的距离。 在1340处，基于所确定的对象距离，对用于接收从对象反射的光并从而产生对象的3D图像的ToF传感器的各个部分进行校准。根据针对ToF传感器的每个颜色感测部分确定的校准值，调整从每个颜色感测部分接收到的实际测量值。应当理解到，ー个颜色感测区域所需要的校准程度可能不等于另ー个颜色感测区域所需要的校准程度。例如，当在同一距离上给出红光读数和绿光读数时，校正红光读数所需要的顔色校正程度可能大于蓝光读数所需要的顔色校正程度。在1350处，可以组合并输出一个或多个颜色校正值。从ToF传感器的红光感侧部分、绿光感测部分和蓝光感测部分中的每个感测部分获得的值可以被组合，以产生彩色图像。由于各个读数都伴随有距离测量值，因而可以产生3D彩色图像。顔色校正值可以被输出到用于呈现、打印、其他数据处理等的外部装置(例如，外部装置170)。为了简化阐述，根据本文公开的各个方面来实现的方法被示出和描述为一系列的块。然而，应当明白和理解到，本文公开的各个方面不局限于块的顺序，这是因为，根据本文的描绘和描述，一些块可以按不同顺序进行，和/或这些块可以与其他块同时进行。而且，实现上面描述的方面不需要示出的全部块。此外，还应当理解到，说明书中通篇公开的方法能够被存储在制品上以协助将这样的方法传输和转移到计算机。所使用的术语“制品”旨在涵盖可以从任意计算机可读装置、载体或介质访问的计算机程序。已关于多个部件之间的交互来描述了前述系统。应当理解到，这样的系统和部件可以包括本文指明的那些部件或子部件、指明的部件或子部件中的ー些、和/或附加部件。子部件还可以被实现为通信地耦合至其他部件的部件，而不是被包括在母部件之内。此外，应当注意到，一个或多个部件可能被结合为提供聚合的功能的单个部件。这些部件还可能与本文未具体描述而本领与技术人员已知的一个或多个其他部件交互。此外，利用标准的编程和/或工程技术以生产软件、固件、硬件或其任意组合从而控制用于实现所公开的各个方面的计算机，本文呈现的各个方面可以被实现为方法、设备、或制品。本文使用的术语“制品” g在涵盖可从计算机可读装置、载体或介质访问的计算机程序。例如，计算机可读介质可以包括但不限于磁存储装置(例如，硬盘、软盘、磁带......)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡以及闪存装置(例如，
卡、棒、键驱动器(key drive))。附加地，应当理解到，载波可被用于承载计算机可读电子数据，诸如在发送和接收电子邮件或者访问诸如互联网或局域网(LAN)时使用的那些计算机可读电子数据。当然，本领域技术人员将认识到，在不背离要求保护的主题的范围或精神的情况下可以对该配置进行许多修改。而且，词语“示例性”在本文中用于表示例子、实例、或图示。本文被描述为“示例性”的任意方面或设计不一定被理解为相比于其他方面或设计是优选的或有利的。相反，使用词语“示例性” _在以具体方式公开思想。本申请中所使用的术语“或” g在表示相容的“或”而非排他的“或”。即，除非另外指明，或从上下文中明显看出，否则“X采用A或B”旨在表示自然相容的排列中的任ー个。即，如果X采用A ；X采用B ;或X采用A和B，则在前述实例中的任ー个的情况下，均满足“X采用A或B”。此外，本申请和所附权利要求中使用的冠词“a (—个)”和“an (—个)”应当被一般地理解为表示“一个或多个”，除非另外指明或从上下文中明显看出其g在単数形式。
上面描述的包括本说明书的例子。当然，不可能为了描述本说明书而描述部件或方法的能想到的每种组合，但是本领域技术人员可以认识到本说明书的许多其他组合和置换是可能的。相应地，本说明书g在涵盖落入所附权利要求的精神和范围的所有这些替换、修改和变化。此外，在详细描述或权利要求中使用的术语“包含”的范围内，这样的术语以类似于术语“包括”在被用作权利要求中的过渡词时所解释的方式g在相客。
权利要求
1.一种校准图像像素的系统，包括 第一像素，其接收来自对象的第一电磁辐射，并基于所接收到的第一电磁辐射来生成第一输出； 第二像素，其接收来自所述对象的第二电磁辐射，并基于所接收到的第二电磁辐射来生成第二输出；以及 控制器，其接收所述第一输出和所述第二输出，确定从所述第二像素到所述对象的距离，并且基于所确定的距离来调整所述第一输出。
2.根据权利要求I所述的系统，其中所述第二像素是飞行时间ToF像素。
3.根据权利要求I所述的系统，其中所述第一电磁辐射来自电磁谱的可见部分。
4.根据权利要求I所述的系统，其中所述第二电磁辐射来自电磁谱的红外IR部分。
5.根据权利要求I所述的系统，还包括向所述对象发射第三电磁辐射的辐射源。
6.根据权利要求5所述的系统，其中所述控制器通过比较所发射的第三电磁辐射与所接收到的第二电磁辐射之间的相移来确定所述距离。
7.根据权利要求I所述的系统，还包括组合所述第一输出与来自至少一个另外像素的经调整的输出以生成数字输出。
8.根据权利要求I所述的系统，其中所述第一像素和所述第二像素是根据组合的飞行时间ToF像素而产生的。
9.根据权利要求I所述的系统，其中所述第一像素和所述第二像素位于单个半导体上。
10.根据权利要求I所述的系统，其中所述第一像素和所述第二像素位于完全不同的半导体上。
11.一种用于校准图像像素的方法，包括 接收从对象反射的第一电磁辐射； 基于所接收到的第一电磁辐射来生成第一信号； 接收从所述对象反射的第二电磁辐射； 基于所接收到的第二电磁辐射来生成第二信号； 基于所述第二信号来确定距离；以及 基于所确定的距离来校准所述第一信号。
12.根据权利要求11所述的方法，其中所述第一电磁辐射来自电磁谱的可见部分。
13.根据权利要求11所述的方法，其中所述第二电磁辐射来自电磁谱的红外IR部分。
14.根据权利要求11所述的方法，其中所述第一电磁辐射和所述第二电磁辐射来自电磁谱的同一部分。
15.根据权利要求11所述的方法，还包括向所述对象发射第三电磁辐射。
16.根据权利要求15所述的方法，还包括通过比较所述第三电磁辐射与所述第二电磁辐射之间的相移来确定所述距离。
17.一种校准图像像素的系统，包括 用于接收从对象反射的第一电磁辐射的装置； 用于基于所接收到的第一电磁辐射来生成第一信号的装置； 用于接收从所述对象反射的第二电磁辐射的装置；用于基于所接收到的第二电磁辐射来生成第二信号的装置； 用于基于所述第二信号来确定距离的装置；以及 用于基于所确定的距离来校准所述第一信号的装置。
18.根据权利要求17所述的系统，其中用于接收所述第一电磁辐射的装置是颜色感测像素。
19.根据权利要求17所述的系统，其中用于接收所述第二电磁辐射的装置是飞行时间ToF传感器。
20.根据权利要求17所述的系统，其中所述距离确定是基于比较从所述对象反射的所述第二电磁辐射与向所述对象发射的第三电磁辐射的相移的。
全文摘要
本发明涉及一种对距离改变不敏感的颜色传感器。公开了一种用于基于颜色感测像素与对象之间的距离来校准颜色感测像素的系统。通过测量从对象表面反射的电磁辐射相比于入射到对象表面上的电磁辐射的波剖面的相移来确定距离。颜色感测像素与飞行时间(ToF)像素相关联，使用飞行时间像素确定颜色感测像素的距离。电磁辐射可以来自电磁谱的任何部分，特别是电磁谱的红外部分和可见部分。颜色感测像素和ToF像素可以位于同一半导体或者完全不同的半导体上。
文档编号H04N5/341GK102685402SQ20111035315
公开日2012年9月19日 申请日期2011年11月3日 优先权日2010年11月3日
发明者克雷格·马丁·布罗克曼, 卡尔·曼赫茨, 埃利克·I·富克斯, 曼弗雷德·诺贝特·斯坦, 理查德·加莱拉, 罗贝特·M·布莱克, 苏雷什·奈尔, 里顿·贝尔纳, 马丁·哈德格 申请人:洛克威尔自动控制技术股份有限公司, 赛德斯安全与自动化公司