多光电二极管像素单元的制作方法

背景

本公开总体上涉及图像传感器，以及更具体地，涉及包括多个光电二极管的像素单元。

图像传感器中的典型像素包括通过将光子转换成电荷(例如，电子或空穴)来感测入射光的光电二极管。在曝光期间，电荷可以暂时存储在光电二极管中。为了改善噪声和暗电流性能，像素中可以包含钉扎光电二极管(pinnedphotodiode)，以将光子转换成电荷。像素可以进一步包括电容器(例如，浮置扩散)，以从光电二极管收集电荷并将电荷转换成电压。场景的图像可以从像素阵列的电容器上产生的电压导出。

概述

本公开涉及图像传感器。更具体地，但不限于，本公开涉及具有像素单元阵列的图像传感器。在一些实施例中，每个像素单元包括第一光电二极管、第二光电二极管和接口电路。第一光电二极管被配置成将光的第一分量转换成第一电荷。第二光电二极管被配置成将光的第二分量转换成第二电荷。接口电路可以执行第一电荷的第一量化和第二量化，以分别产生第一结果和第二结果，第一量化与第一强度范围相关联，以及第二量化与第二强度范围相关联。接口电路可以基于第一分量的强度范围，提供第一结果或第二结果之一来表示像素的第一分量。接口电路还可以执行第二电荷的第一量化和第二量化，以分别产生第三结果和第四结果。接口电路还可以基于第二分量的强度范围，提供第三结果或第四结果之一来表示像素的第二分量。

在一些例子中，提供了一种装置。该装置包括：第一光电二极管，其被配置为将光的第一分量转换成第一电荷；第二光电二极管，其被配置为将光的第二分量转换成第二电荷；以及接口电路，其被配置为：执行第一电荷的第一量化和第二量化，以分别产生第一结果和第二结果，第一量化与高于强度阈值的第一强度相关联，并且第二量化与低于强度阈值的第二强度相关联；基于第一分量的强度是否超过强度阈值，提供第一结果或第二结果之一来表示像素的第一分量的强度；执行第二电荷的第一量化和第二量化，以分别产生第三结果和第四结果；以及基于第二分量的强度是否超过强度阈值，提供第三结果或第四结果之一来表示像素的第二分量的强度。

在一个方面，第一光电二极管和第二光电二极管在半导体衬底中沿着与光在半导体衬底内的传播方向平行的轴形成堆叠结构，使得(a)光穿过第二光电二极管到达第一光电二极管，或者(b)光穿过第一光电二极管到达第二光电二极管。

在一个方面，该装置是背侧照明设备。光的第一分量在红外波长范围内。光的第二分量在可见光波长范围内。

在一个方面，该装置是前侧照明设备。光的第一分量在可见光波长范围内。光的第二分量在红外波长范围内。

在一个方面，该装置还包括与第一光电二极管耦合的电荷存储设备。第一光电二极管被配置为存储第一剩余电荷，第一剩余电荷是由第一光电二极管产生的第一电荷的一部分。电荷存储设备被配置为存储第一溢出电荷，第一溢出电荷是在光的第一分量的强度超过强度阈值的情况下由第一光电二极管产生的第一电荷的一部分。第一量化被配置为测量第一溢出电荷的量。第二量化被配置为测量第一剩余电荷的量。

在一个方面，第一光电二极管沿着从第二光电二极管到电荷存储设备的电荷转移路径。接口电路被配置为控制第二光电二极管将第二电荷转移到第一光电二极管，以使得第一光电二极管能够将第二电荷存储为第二剩余电荷，并且如果光的第二分量的强度超过强度阈值，则使得电荷存储设备能够将第二电荷的一部分存储为第二溢出电荷。第一量化被配置为测量第二溢出电荷的量。第二量化被配置为测量第二剩余电荷的量。

在一个方面，半导体衬底包括夹在第一光电二极管和第二光电二极管之间的阻挡层，以控制电荷从第二光电二极管到第一光电二极管的流动。

在一个方面，阻挡层被配置为基于施加到阻挡层的第一偏置电压或施加到半导体衬底的第二偏置电压中的至少一个来控制电荷从第二光电二极管到第一光电二极管的流动。

在一个方面，第一光电二极管被配置成存储第一最大量的第一剩余电荷。第二光电二极管被配置为存储第二最大量的第二剩余电荷。第二最大量大于第一最大量。

在一个方面，第二最大量是基于要由装置测量的光的第二分量的最大强度来配置的。

在一个方面，第一光电二极管被配置为具有第一量子阱容量；第二光电二极管被配置为具有比第一量子阱容量大的第二量子阱容量；基于第一量子阱容量来配置第一最大量；并且基于第二量子阱容量来配置第二最大量。

在一个方面，基于施加到半导体衬底的电势来配置第二最大量。

在一个方面，接口电路还包括：计数器，其被配置为基于时钟信号输出计数值；比较器，其被配置为将电荷存储设备的电压与一个或更多个阈值进行比较，以生成判定；以及与计数器和比较器耦合的存储器，该存储器基于比较器的判定被控制来存储来自计数器的计数值。基于存储的计数值产生第一结果、第二结果、第三结果和第四结果。

在一个方面，接口电路被配置为执行第一量化，所述第一量化包括：使用比较器将电荷存储设备处的第一电压与斜坡阈值(rampingthreshold)进行比较，以生成指示电荷存储设备存储第一溢出电荷还是第二溢出电荷的第一判定；以及基于第一判定，控制存储器存储来自计数器的第一计数值，作为第一电荷的第一量化的第一结果或作为第二电荷的第一量化的第三结果。

在一个方面，接口电路被配置为执行第二量化，所述第二量化包括：将第一剩余电荷或第二剩余电荷从第一光电二极管转移到电荷存储设备，以在电荷存储设备处产生第二电压；使用比较器将第二电压与斜坡阈值进行比较，以生成第二判定；以及基于第二判定，并且基于指示电荷存储设备既不存储第一溢出电荷也不存储第二溢出电荷的第一判定，控制存储器存储来自计数器的第二计数值作为第一电荷的第二量化的第二结果或者作为第二电荷的第二量化的第四结果。

在一个方面，接口电路被配置为在第一量化之前：使用比较器将第一电压与静态阈值进行比较，以生成指示第一溢出电荷是否使电荷存储设备饱和的第三判定；以及基于指示第一溢出电荷使电荷存储设备饱和的第三判定：基于来自计数器的第三计数值，测量电荷存储设备的饱和时间；控制存储器存储第三计数值；控制存储器不存储第一计数值或第二计数值；以及提供存储在存储器中的第三计数值来表示像素的第一分量的强度。

在一个方面，第一光电二极管和第二光电二极管是钉扎光电二极管。

在一些示例中，提供了一种方法。该方法包括：使用第一光电二极管将光的第一分量转换成第一电荷；使用第二光电二极管将光的第二分量转换成第二电荷；执行第一电荷的第一量化和第二量化，以分别产生第一结果和第二结果，第一量化与高于强度阈值的第一强度相关联，以及第二量化与低于强度阈值的第二强度相关联；基于第一分量的强度是否超过强度阈值，提供第一结果或第二结果之一来表示像素的第一分量的强度；执行第二电荷的第一量化和第二量化，以分别产生第三结果和第四结果；以及基于第二分量的强度是否超过强度阈值，提供第三结果或第四结果之一来表示像素的第二分量的强度。

附图简述

参考以下附图描述说明性实施例：

图1a和图1b是近眼显示器的实施例的示意图。

图2是近眼显示器的横截面的实施例。

图3示出了波导显示器的实施例的等轴视图。

图4示出了波导显示器的实施例的横截面。

图5是包括近眼显示器的系统的实施例的框图。

图6示出了包括多光电二极管(multi-photodiode)像素单元的图像传感器的示例。

图7a和图7b示出了图6的图像传感器的操作的示例。

图8示出了可以是图6的图像传感器的一部分的像素单元阵列的示例。

图9a和图9b示出了图8的像素单元阵列的内部部件的示例。

图10a和图10b示出了用于从图8的像素单元阵列读出电荷的电势分布的示例。

图11a和图11b示出了用于读出图8的像素单元阵列中的电荷的电势调制的示例结构。

图12示出了图8的像素单元的示例示意性表示。

图13a、图13b和图13c示出了图8的像素单元对于不同强度范围的操作。

图14示出了从图8的像素单元读出和量化电荷的示例序列。

图15a和图15b示出了从图8的像素单元读出和量化电荷的示例序列。

图16示出了从图8的像素单元读出和量化电荷的示例序列。

图17a和图17b示出了图8的像素单元的示例内部部件及其操作。

图18示出了测量光强度的示例方法的流程图。

附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。

在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记之后用连接号(dash)和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个相似部件，而与第二参考标记无关。

详细描述

在以下描述中，为了解释的目的阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。

典型的图像传感器通常包括像素单元阵列。每个像素单元可以具有光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测入射光。为了改善噪声和暗电流性能，像素中可以包含钉扎光电二极管，以将光子转换成电荷。在曝光期间，电荷可以暂时存储在光电二极管中。每个像素单元还可以包括浮置扩散节点，以将电荷转换成电压。可以基于电压生成像素值。像素值可以表示由像素单元接收的光的强度。包括像素阵列的图像可以从像素单元阵列所输出的电压的数字输出中导出。

图像传感器可用于执行不同模式的成像，如2d和3d感测。2d和3d感测可以基于不同波长范围的光来执行。例如，可见光可以用于2d感测，而不可见光(例如，红外光)可以用于3d感测。图像传感器可以包括滤光器阵列，以允许不同光学波长范围和颜色(例如，红色、绿色和蓝色)的可见光到达被分配用于2d感测的第一组像素单元，以及允许不可见光到达被分配用于3d感测的第二组像素单元。

为了执行2d感测，像素单元处的光电二极管可以以与入射到像素单元上的可见光的强度成比例的速率产生电荷，并且在曝光周期中累积的电荷量可以用于表示可见光(或者可见光的特定颜色分量)的强度。电荷可以暂时存储在光电二极管处，然后被转移到电容器(例如，浮置扩散)以产生电压。电压可以由模数转换器(adc)采样和量化，以产生对应于可见光的强度的输出。图像像素值可以基于被配置为感测可见光的不同颜色分量(例如，红色、绿色和蓝色)的多个像素单元的输出来生成。

此外，为了执行3d感测，不同波长范围的光(例如，红外光)可以投射到对象上，并且反射光可以被像素单元检测到。光可以包括结构光、光脉冲等。像素单元输出可用于基于例如检测反射的结构光的图案、测量光脉冲的飞行时间等来执行深度感测操作。为了检测反射的结构光的图案，可以确定曝光时间期间由像素单元产生的电荷量的分布，并且可以基于对应于电荷量的电压来产生像素值。对于飞行时间测量，可以确定在像素单元的光电二极管处产生电荷的定时，以表示在像素单元处接收到反射光脉冲的时间。光脉冲被投射到对象时与在像素单元处接收到反射光脉冲时之间的时间差可以用于提供飞行时间测量。

像素单元阵列可用于生成场景信息。在一些示例中，阵列内的像素单元的子集(例如，第一集合)可用于执行场景的2d感测，并且阵列内的像素单元的另一子集(例如，第二集合)可用于执行场景的3d感测。2d和3d成像数据的融合对于许多提供虚拟现实(vr)、增强现实(ar)和/或混合现实(mr)体验的应用非常有用。例如，可佩戴的vr/ar/mr系统可以执行系统的用户所处环境的场景重建。基于重建的场景，vr/ar/mr可以生成显示效果，以提供交互式体验。为了重建场景，像素单元阵列内的像素单元子集可以执行3d感测，以例如识别环境中的一组物理对象并确定物理对象和用户之间的距离。像素单元阵列内的像素单元的另一个子集可以执行2d感测，以例如捕获包括这些物理对象的纹理、颜色和反射率的视觉属性。场景的2d和3d图像数据然后可以被合并以创建例如场景的3d模型，该3d模型包括对象的视觉属性。作为另一个例子，可佩戴的vr/ar/mr系统也可以基于2d和3d图像数据的融合来执行头部跟踪操作。例如，基于2d图像数据，vr/ar/ar系统可以提取某些图像特征来识别对象。基于3d图像数据，vr/ar/ar系统可以跟踪所识别的对象相对于用户佩戴的可佩戴设备的位置。vr/ar/ar系统可以基于例如当用户的头部移动时跟踪所识别的对象相对于可佩戴设备的位置变化，来跟踪头部移动。

然而，使用不同的像素集合进行2d和3d成像会带来许多挑战。首先，因为只有阵列的像素单元的子集用于执行2d成像或3d成像，所以2d图像和3d图像的空间分辨率都低于像素单元阵列处可用的最大空间分辨率。尽管可以通过包括更多的像素单元来提高分辨率，但是这种方法会导致图像传感器的形状因子以及功耗的增加，这两者尤其对于可佩戴设备来说都是不期望的。

此外，由于被分配来测量不同波长范围的光(用于2d和3d成像)的像素单元不是并置的(collocated)，不同的像素单元可能捕获场景的不同点的信息，这会使2d和3d图像之间的映射复杂化。例如，接收可见光的特定颜色分量(用于2d成像)的像素单元和接收不可见光(用于3d成像)的像素单元也可能捕获场景的不同点的信息。这些像素单元的输出不能简单地合并以生成2d和3d图像。当像素单元阵列捕获运动对象的2d和3d图像时，由于像素单元的不同位置而导致的像素单元的输出之间对应性的缺乏会恶化。虽然存在可用于关联不同像素单元输出以生成2d图像的像素以及在2d和3d图像之间进行关联(例如，插值)的处理技术，但是这些技术通常是计算密集型的，并且还会增加功耗。

本公开涉及具有像素单元阵列的图像传感器。每个像素单元可以包括第一光电二极管、第二光电二极管和接口电路。第一光电二极管被配置成将光的第一分量转换成第一电荷。第二光电二极管被配置成将光的第二分量转换成第二电荷。第一光电二极管和第二光电二极管都可以是钉扎光电二极管。接口电路可以执行第一电荷的第一量化和第二量化，以分别产生第一结果和第二结果，第一量化与第一强度范围相关联，并且第二量化与第二强度范围相关联。接口电路可以基于第一分量的强度范围，提供第一结果或第二结果之一来表示像素的第一分量。接口电路还可以执行第二电荷的第一量化和第二量化，以分别产生第三结果和第四结果。接口电路还可以基于第二分量的强度范围，提供第三结果或第四结果之一来表示像素的第二分量。

具体地，每个像素单元具有接收入射光的光接收表面。第一光电二极管和第二光电二极管可以沿着垂直于光接收表面的轴形成堆叠结构，并且每个光电二极管与光接收表面分开不同的距离，这使得第一光电二极管和第二光电二极管能够将入射光的不同分量转换成电荷。第一光电二极管可以比第二光电二极管更远离光接收表面，并且可以将入射光的红外光分量转换成第一电荷用于3d成像。第二光电二极管可以将入射光的可见光分量(例如，红色、绿色或蓝色之一)转换成第二电荷用于2d成像。

每个像素单元还包括电荷存储设备，其可以是包括浮置漏极(fd)和辅助电容器(例如，金属电容器)的可配置电容器。电荷存储设备与第一光电二极管和第二光电二极管的量子阱一起提供第一电荷和第二电荷的存储，以供读出和量化。具体地，如果光的第一分量在低强度范围内，则第一光电二极管可以将第一电荷作为第一剩余电荷存储在其量子阱中。如果第一分量在中等和高强度范围内，则第一电荷可能使量子阱饱和，并且第一电荷的其余部分可以溢出到电荷存储设备作为第一溢出电荷。此外，第二光电二极管可以存储全部第二电荷。该装置还包括在第一光电二极管和第二光电二极管之间的阻挡层，以防止第一电荷从第一光电二极管流入第二光电二极管。如下所述，阻挡层还可以调节第二电荷从第二光电二极管到第一光电二极管的流动。

对于第一分量的测量，可以控制阻挡层以防止第二电荷从第二光电二极管流到第一光电二极管。对于中等和高强度范围内的第一分量的测量，可以增加电荷存储设备的容量(例如，通过将浮置漏极与辅助电容器并联连接)。接口电路可以量化存储在扩展的电荷存储设备中的第一溢出电荷，以产生第一结果。对于低强度范围内的第一分量的测量，接口可以复位电荷存储设备，降低电荷存储设备的容量(例如，通过将辅助电容器与浮置漏极断开连接)，然后将第一剩余电荷从第一光电二极管转移到存储设备。接口电路可以量化第一剩余电荷(现在存储在电荷存储设备中)以产生第二结果。接口电路可以基于第一光电二极管是否饱和来确定第一分量的强度范围，并且选择第一结果或第二结果之一来表示像素的第一分量的强度。

对于低和中等强度范围的测量，接口电路可以通过将表示第一剩余电荷的量和第一溢出电荷的量中的每个量的电压与斜坡阈值进行比较来分别量化第一剩余电荷的量和第一溢出电荷的量。可以输出表示与电压最接近的阈值的代码来表示像素的第一分量的强度。如下所述，表示第一剩余电荷的量的电压的量化可以在“pdadc”操作中执行，而表示第一溢出电荷的量的电压的量化可以在“fdadc”操作中执行。对于高强度范围的测量，第一溢出电荷可能使电荷存储设备饱和。接口电路可以执行饱和时间(tts)测量，以测量使电荷存储设备饱和所花费的时间，并提供tts测量值作为输出，以表示像素的第一分量的强度。

在第一电荷的读出和量化之后，接口电路可以复位第一光电二极管和电荷存储设备，然后控制阻挡层以使得第二电荷能够从第二光电二极管转移到第一光电二极管。取决于第二电荷的量(其反映第二分量的强度)以及第一光电二极管的量子阱容量，第二电荷可以作为第二剩余电荷全部存储在第一光电二极管中，或者可以溢出到电荷存储设备作为第二溢出电荷。在转移之后，接口电路可以对第二溢出电荷执行pdadc操作以产生第三结果，并且对第二剩余电荷执行fdadc操作以产生第四结果。根据第一光电二极管是否饱和，接口电路可以提供第三结果或第四结果之一来表示像素的第二分量的强度。

利用本公开的示例，像素单元可以使用钉扎光电二极管来执行用于2d和3d成像操作的光子-电荷转换。由于钉扎光电二极管可以在暗电流和噪声方面提供优异的性能，像素单元可以更精确地测量低强度的光，这可以提高图像传感器在低光强度环境中的灵敏度和性能。此外，用相同的像素单元集合来执行2d和3d感测可以促进由像素单元生成的2d图像和3d图像之间的对应，尤其是在每个像素单元的钉扎光电二极管在相同的曝光周期内同时检测和测量不同波长的光的情况下。此外，假设像素单元阵列的每个像素单元可以用于生成2d或3d图像，则可以利用像素单元阵列的全空间分辨率。因此，还可以提高图像的空间分辨率，同时可以降低图像传感器的形状因子和功耗。

此外，用于不同强度范围的不同量化操作(例如，用于高强度范围的tts、用于中等强度范围的fdadc、用于低强度范围的pdadc等)可以扩大图像传感器的动态范围。例如，通过对电荷存储设备处的电压执行tts，而不是测量电压本身，即使当电荷存储设备饱和时以及当电荷存储设备处的电压不再随着光强度变化时，测量结果仍然可以与光强度线性相关，并且可以增加可测量光强度的上限。此外，通过在用于低强度范围的pdadc模式下测量剩余电荷，可以降低暗电流对测量的影响，因为剩余电荷在光电二极管处累积，并且受到较小暗电流的影响。而且，通过在pdadc模式下减小电荷存储设备的电容，可以增加电荷至电压(charge-to-voltage)的转换率，这可以提高量化处理的灵敏度，降低量化噪声的影响，并且可以进一步降低可测量光强度的下限。这些都可以扩大图像传感器的动态范围和应用范围。

本公开的例子可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mixedreality，mr)、混杂现实(hybridreality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

图1a是近眼显示器100的例子的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(vr)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(ar)显示器和/或混合现实(mr)显示器来进行操作。

近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素单元阵列，该像素单元阵列包括像素单元的阵列，并且被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着z轴朝向方向a的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着x轴朝向方向b的视场的图像数据，并且传感器120d可以被配置成提供表示沿着x轴朝向方向c的视场的图像数据。

在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式vr/ar/mr体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行slam算法来跟踪在物理环境中和用户视场内的一组对象。定位跟踪系统可以基于该组对象来构建并更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高在物理环境内跟踪用户定位的精确度和鲁棒性。

在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光和/或光图案来帮助传感器120a-120d捕捉黑暗环境内不同对象的3d图像。3d图像可以包括例如表示对象和近眼显示器100之间的距离的像素数据。距离信息可以用于例如构建场景的3d模型、跟踪用户的头部运动、跟踪用户的定位等。如下文更详细讨论的，传感器120a-120d可以在不同时间以用于2d感测的第一模式和用于3d感测的第二模式操作。2d和3d图像数据可以被合并并提供给系统，以提供对例如用户的定位、用户的头部运动等的更鲁棒的跟踪。

图1b是近眼显示器100的另一个实施例的示意图。图1b示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1b所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向d(与图1a的方向a相反)发射特定光学频率范围(例如nir)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素单元阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的nir光。nir光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素单元阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。在一些示例中，图像传感器150a和150b可以包括与传感器120a-120d相同的像素单元。

图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exitpupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。

在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是通过堆叠波导显示器创建的多色显示器(例如，红-绿-蓝(rgb)显示器)，波导显示器的相应单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。

图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320、照明器325和控制器330。照明器325可以包括图1a的照明器130。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismaticsurfaceelement)、和/或全息反射器阵列。

导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。

第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。

控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大视场(fov)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角fov被提供给用户的眼球220。输出波导320被配置成提供视窗，该视窗的长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。

此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1a的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行例如用户前方(例如，面对第一侧面370-1)的对象372的2d感测和3d感测。对于2d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并从对象372反射的光374的强度的像素数据。对于3d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示对由照明器325产生的光378的飞行时间测量的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定照明器325被启用来投射光378的第一时间和像素单元检测到从对象372反射的光378的第二时间。第一时间和第二时间之间的差异可以指示光378在图像传感器120a-120d和对象372之间的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d和对象372之间的距离。图像传感器120a-120d可以被操作来在不同时间执行2d和3d感测，并且将2d和3d图像数据提供给远程控制台390，远程控制台390可以(或者可以不)位于波导显示器300内。远程控制台可以组合2d和3d图像，以例如生成用户所处环境的3d模型，以跟踪用户的定位和/或定向等。远程控制台可以基于从2d和3d图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于该指令，控制器330可以控制源组件310产生和输出图像光355，以向用户提供交互式体验。

图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，在该组像素单元402和物理环境之间可以插入机械快门404和滤光器阵列406。机械快门404可以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门栅极(shuttergate)代替。如下面将讨论的，滤光器阵列406可以控制该组像素单元402所暴露的光的光学波长范围。每个像素单元402可以对应于图像的一个像素。虽然图4中未示出，但是应当理解，每个像素单元402也可以覆盖有滤光器，以控制将由像素单元感测的光的光学波长范围。

在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。

光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。

导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。

在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。

近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当ar眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。

近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(imu)530。波导显示组件210包括源组件310、输出波导320和控制器330。

imu530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。

成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1a的图像传感器120a-120d，用于生成用户所处的物理环境的2d图像数据和3d图像数据，以跟踪用户的定位和头部运动。成像设备535可以进一步包括例如图1b的图像传感器150a-150b，用于生成图像数据(例如，2d图像数据)以确定用户的凝视点，从而识别用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。

应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。

图6示出了图像传感器600的示例。图像传感器600可以将相同的像素单元用于2d感测和3d感测。例如，相同的像素单元可以被配置为检测用于2d感测的可见光的颜色分量(例如，红色、绿色或蓝色)，并且检测用于3d感测的红外光。图像传感器600可以是近眼显示器100的一部分，并且可以向图5的控制电路510提供2d和3d图像数据，以控制近眼显示器100的显示内容。在图6的示例中，图像传感器600可以包括照明器602、滤光器阵列604、包括像素单元606a的像素单元阵列606、以及数字化模块608。

照明器602可以是可以投射红外光进行3d感测的红外照明器，例如激光器、发光二极管等。投射的光可以包括例如结构光、光脉冲等。滤光器阵列604可以包括滤光器元件阵列，其中每个滤光器元件对应于像素单元阵列606的像素单元(例如，像素单元606a)。每个滤光器元件可以被配置为吸收特定波长范围的入射光，并将剩余的光透射到相应的像素单元。入射光可以包括环境可见光以及由照明器602投射并由对象反射的红外光。例如，一个滤光器元件可以将可见光的绿色分量以及红外光透射到像素单元，而另一个滤光器元件可以将可见光的蓝色分量以及红外光透射到另一个像素单元。在一些示例中，滤光器阵列604可以可配置成选择要与红外光一起被透射的可见光的颜色分量，使得像素单元606a可以用于检测可见光的不同颜色分量以及红外光。

此外，像素单元606a可以包括多个光电二极管，以检测入射光中的可见光的不同颜色分量以及红外光。例如，如图6所示，像素单元606a可以包括光电二极管612和光电二极管614。光电二极管612和光电二极管614可以是钉扎光电二极管。光电二极管612可以在曝光周期内检测第一波长范围的入射光的第一分量(例如，可见光的红色、蓝色或绿色之一)，将检测到的光子转换成电荷，并存储电荷。此外，光电二极管614可以在相同或不同的曝光周期内检测第二波长范围的入射光的第二分量(例如，红外光)，将检测到的光子转换成电荷，并存储电荷。像素单元606a还可以包括电荷存储设备616，电荷存储设备616可以包括浮置漏极节点、金属电容器或两者的组合。在曝光周期结束时，存储在光电二极管612和614处的电荷可以被转移到电荷存储设备616，以产生用于2d和3d感测的电压。

图像传感器600还包括测量模块608。测量模块608可以进一步包括2d测量模块622，用于基于光电二极管612产生的电荷执行2d成像操作。2d成像操作可以包括，例如，基于在电荷存储设备616处产生的电压的幅度生成像素值，该像素值反映了在曝光周期期间存储在光电二极管612处的电荷总量。测量模块608可以包括3d测量模块624，以基于光电二极管614产生的电荷来执行3d成像操作。3d成像操作可以包括，例如，检测由对象的表面反射的结构光的图案，并将检测到的图案与由照明器602投射的结构光的图案进行比较，以确定该表面的不同点相对于像素单元阵列的深度。为了检测反射光的图案，3d测量模块624可以基于在电荷存储设备616处产生的电压的幅度来生成像素值，该像素值反映了在曝光期间存储在光电二极管614处的电荷总量。作为另一个例子，3d测量模块624可以生成表示由照明器602发射并由对象反射的光脉冲的飞行时间测量的像素值。

图像传感器600还包括感测控制器610，以控制图像传感器600的不同部件来执行对象的2d和3d成像。现在参考图7a和图7b，它们示出了用于2d和3d成像的图像传感器600的操作示例。图7a示出了2d成像的操作示例。对于2d成像，像素单元阵列606可以检测环境中的可见光(包括从对象反射的可见光)。例如，参考图7a，可见光源700(例如，灯泡、太阳或其他环境可见光源)可以将可见光702投射到对象704上。可见光706可以被对象704的点708反射。可见光706可以由滤光器阵列604过滤，以通过反射的可见光706的预定波长范围w0，从而产生过滤后的光710a。波长范围w0可以对应于从点708反射的可见光706的第一颜色分量(例如，波长范围为620-750纳米(nm)的红色分量)。过滤后的光710a可以在曝光周期内被像素单元606a的第一光电二极管612捕获，以产生并累积第一电荷。在曝光周期结束时，感测控制器610可以将第一电荷引导至电荷存储设备616，以产生表示第一颜色分量强度的电压，并将第一电压提供给2d测量模块622。2d测量模块622可以包括模数转换器(adc)，并且可以由感测控制器610控制来采样和量化第一电压，以生成表示可见光706的第一颜色分量的强度的数字值。

此外，图像传感器600还可以执行对象704的3d成像。参考图7b，感测控制器610可以控制照明器602将红外光728投射到对象704上，红外光728可以包括光脉冲、结构光等。红外光728可以具有700纳米(nm)至1毫米(mm)的波长范围。红外光子730可以从对象704反射，并朝向像素单元阵列606传播，并穿过滤光器604。在一些示例中，像素单元606a的第二光电二极管614可以将红外光子730转换成第二电荷。第二光电二极管614对红外光子730的检测和转换可以在与第一光电二极管612对可见光706的检测和转换相同的曝光周期内发生。这种布置允许每个像素单元对对象的同一点执行2d和3d成像，这可以提高2d和3d图像之间的对应性。感测控制器610可以将第二电荷引导至电荷存储设备616，以产生表示在像素单元处接收的红外光强度的电压。

3d测量模块624可以基于投射到对象704上的光728的类型来执行不同类型的深度感测操作。在结构光728被投射到对象704上的情况下，3d测量模块624可以包括adc，并且可以由感测控制器610控制来采样和量化第二电压，以生成表示由点708反射的红外光的强度的数字值。由对象704反射的红外光强度的图案可以从数字值中获得。该图案可以与由照明器602投射的结构光图案进行比较，以确定对象704表面上的不同点(包括点708)相对于像素单元阵列606的深度。在红外光728包括光脉冲的情况下，3d测量模块624可以检测第二光电二极管614处存储的电荷的变化。可以基于光脉冲离开照明器602时与第二光电二极管614处存储的电荷的变化被检测到时之间的时间差来确定红外光脉冲的飞行时间。基于每个像素单元提供的信息，可以生成对象704的3d图像。

图8示出了像素单元800(例如，像素单元800a、800b、800c和800d)的阵列的示例，其可以执行并置的2d和3d图像感测，并且可以是图像传感器600的一部分。如图8所示，每个像素单元800可以包括第一半导体衬底802、第二半导体衬底804以及夹在衬底之间的金属层805。第一半导体衬底802可以包括光接收表面806、第一光电二极管808、第二光电二极管810和电荷存储设备616，而第二半导体衬底804可以包括接口电路850。第一光电二极管808和第二光电二极管810可以沿着垂直于光接收表面806的轴(例如，沿着z轴)形成堆叠。第二光电二极管810可以被配置为可见光感测光电二极管(“vispd”)，而第一光电二极管808可以被配置为红外光感测光电二极管(“irpd”)。具体地，第二光电二极管810可以比第一光电二极管808更靠近光接收表面806。当光820经由光接收表面806进入第一半导体衬底802内并进行传播时，光820的具有相对较长的红外光波长范围的第一光分量822可以传播通过第二光电二极管810，到达第一光电二极管808，并可以被第一光电二极管808吸收。此外，光820的具有相对较短的可见光波长范围的第二光分量824在第二光电二极管810处停止，并且可以被第二光电二极管810吸收。

每个像素单元800还包括光学部件，以控制光820的第一光分量822和第二光分量824的属性。例如，每个像素单元800包括微透镜832和滤光器834，微透镜832用于聚焦光820，滤光器834用于选择例如将被第二光电二极管810吸收/测量的第二光分量824的波长范围(例如，红色、绿色或蓝色之一)。如图8所示，基于滤色器834的配置，像素单元800a、800b、800c和800d中的每一个可以接收红外光作为第一光分量822，但是接收不同波长范围的可见光作为第二光分量824。在图8的示例中，像素单元800a可以接收红光作为第二光分量824，像素单元800b和800d可以接收绿光作为第二光分量824，而像素单元800c可以接收蓝光作为第二光分量824。

第一光电二极管808和第二光电二极管810中的每一个可以分别响应于第一光分量822和第二光分量824产生电荷。每个光电二极管的电荷产生速率可以表示第一光分量822和第二光分量824的强度。由第一光电二极管808和第二光电二极管810产生的电荷可以存储在电荷存储设备616中，在图8的示例中，电荷存储设备616可以包括在第一半导体衬底802中的浮置漏极节点818和在金属层805中的辅助金属电容器820。电荷存储设备616中累积的电荷量以及电荷存储设备616中的电荷累积速率可以由接口电路850测量。接口电路850可以包括图6的测量模块608，以确定例如第一光分量822和第二光分量824的强度。金属层105还包括金属互连830，其可以将浮置漏极节点818和辅助金属电容器820与第二半导体衬底804的测量模块608耦合。金属互连830可以将在电荷存储设备616处产生的、对应于由第一光电二极管808和第二光电二极管810产生的电荷的电压传输到测量模块608，以执行如上所述的2d和3d图像感测操作的测量。

虽然图8示出了像素单元800的第一光电二极管808和第二光电二极管810形成堆叠结构，该堆叠结构使得两个光电二极管能够感测不同的光分量，但是像素单元800可以采用其他配置来分离光分量。例如，两个光电二极管可以沿着与光接收表面806平行的轴(例如，沿着x轴或y轴)彼此相邻地布置，并且可以在光接收表面806上提供光学结构以将光分量分开并将不同的光分量投射/引导到光电二极管。

现在参考图9a和图9b，它们示出了未在图8中示出的半导体衬底802的其他部件的示例。图9a和图9b示出了形成在p型半导体衬底802中的像素单元800。在图9a和图9b中，半导体衬底802可以具有前侧表面902和背侧表面904。前侧表面902是进行附加半导体处理的地方，例如形成多晶硅栅极918、掺杂和/或离子注入以形成第一光电二极管808、第二光电二极管810、浮置漏极节点818、钉扎层915等。在图9a中，像素单元800可以被配置为背侧照明设备，其中背侧表面904被配置为光接收表面806，并且微透镜832和滤光器834可以被放置在背侧表面904上以控制光820的第一光分量822和第二光分量824的属性。在图9b中，像素单元800可以被配置为前侧照明设备，其中前侧表面902被配置为光接收表面806。绝缘层952可以放置在前侧表面902上的多晶硅栅极918和氧化物层916上方，并且微透镜832和滤光器834可以放置在绝缘层952上，以控制光820的第一光分量822和第二光分量824的属性。

在图9a和图9b的示例中，第一光电二极管808和第二光电二极管810可以被配置为钉扎光电二极管。在图9a中，第二钉扎光电二极管810可以通过包括嵌入在p型半导体衬底802内的n型区域906来形成。像素单元800还包括第一钉扎光电二极管808的p阱908和嵌入到p阱908内的n型区域912。在图9a中，n型区域912比n型区域906更远离背侧表面904(被配置为光接收表面806)，这允许第一钉扎光电二极管808主要检测光820的红外分量(例如，第一光分量822)，第二钉扎光电二极管810主要检测光824的可见光分量(例如，第二光分量824)。在图9b中，第一钉扎光电二极管808和第二钉扎光电二极管810的位置可以颠倒，其中第一钉扎光电二极管808由n型区域906形成，而第二钉扎光电二极管810由n型区域912形成。在图9b中，n型区域912比n型区域906更靠近前侧表面902(被配置为光接收表面806)，这允许第一钉扎光电二极管808和第二钉扎光电二极管810如图9a中一样检测不同波长的分量。第一钉扎光电二极管808和第二钉扎光电二极管810可以具有相同或不同的钉扎电压(例如，光电二极管两端的最大电压差)。在第一钉扎光电二极管808和第二钉扎光电二极管810中，p型衬底901和p型阱908内的n型区域906和n型区域912的完全隔离可以提供更好的暗电流和噪声性能。

在图9a和图9b中，阻挡层914也形成在第一钉扎光电二极管808和第二钉扎光电二极管810之间，并且第一钉扎光电二极管808、阻挡层914和第二钉扎光电二极管810可以沿着光在p型半导体衬底802内的传播方向(例如，沿着z轴)形成堆叠。如下文更详细描述的，阻挡层914可以防止存储在第一钉扎光电二极管808中的电荷进入第二钉扎光电二极管810。阻挡层914也可以调节电荷从第二钉扎光电二极管810到第一钉扎光电二极管808的流动，以供读出和量化。在一些示例中，阻挡层914可以是p型层，并且是p阱908(或p型半导体衬底802)的一部分，或者可以是具有较高p型掺杂浓度的p+区域的一部分。在一些示例中，阻挡层914也可以是n型层(例如，具有比n型区域906和n型区域912都低的n型掺杂浓度)。

如上所述，像素单元800在前侧表面902上还包括钉扎层915、氧化物层916、多晶硅栅极918和浮置漏极818。钉扎层915可以被配置为将n型区域912隔开而不会与氧化物层916直接地界面连接，以减少由在氧化物层916和衬底之间的界面处的表面空穴组合(surface-holecombination)引起的暗电流，这可以进一步改善第一钉扎光电二极管的暗电流性能。在一些示例中，钉扎层915可以形成具有n型区域912的第二钉扎光电二极管，并且可以从设备900移除p阱908。多晶硅栅极918可以经由氧化物层916接收电压并施加电场，以在n型区域912和浮置漏极818之间的沟道区922处产生沟道。可以创建沟道来读出由第一光电二极管808或第二光电二极管810之一产生的电荷。

图10a和图10b示出了用于从第一光电二极管808或第二光电二极管810读出电荷的在第一半导体衬底802内的电势分布的示例。图10a示出了阻挡层914的电势相对于时间被调制以执行读出的示例。参考图10a，在时间1000，n型区域912和n型区域906存储响应于第一光分量822和第二光分量824而产生的负电荷，并且每个都可以具有电势p电荷。电势p电荷可以基于电荷量、n型区域912和n型区域906的量子阱的容量以及量子阱为空时的电势p空来定义。同时，沟道区922可以处于关断状态(offstate)，并且在沟道区922处还没有创建沟道。沟道区922处的电势可以是低于p电荷的电势。此外，阻挡层914可以处于关断状态，并且可以被设置为防止电荷在n型区域912和n型区域906之间流动的电势，并且n型区域912处的电势也可以处于低于p电荷的电势。在图10a中，沟道区922和阻挡层914处的电势可以类似于psub。

在时间1000，n型区域912和n型区域906的存储容量可以最大。n型区域912中可以存储的最大电荷量可以基于n型区域912的量子阱容量以及沟道区912和阻挡衬底914都处于关断状态时的电势来定义。利用这种布置，当最大量的电荷存储在n型区域912中时，p电荷可以保持高于阻挡衬底914和沟道区912的电势，以将电荷捕获在n型区域912中。如下文将详细描述的，沟道区922处的电势可以被配置以设置n型区域912的存储容量。此外，可以基于n型区域906的量子阱容量、第一半导体衬底802的电势psub和处于关断状态的阻挡衬底914的电势以及p空来定义n型区域906中可以存储的最大电荷量，使得当最大量的电荷存储在n型区域906中时，p电荷保持高于第一半导体衬底802和阻挡层914的电势，以将电荷捕获在n型区域906中。

在时间1002，可以读出存储在n型区域912中的电荷。为了读出电荷，通过在多晶硅栅极918处施加电压以在沟道区922形成沟道，可以将沟道区922中的电势增加到p沟道-导通。存储在n型区域912中的负电荷可以流向沟道区922，然后流向浮置漏极818。同时，阻挡部914的电势保持在psub，低于存储在n型区域906的电荷的电势p电荷。因此，存储在n型区域906的电荷保持被捕获在该区域。

在时间1004，阻挡层914的电势可以增加到等于或高于p电荷。存储在n型区域906的电荷可以流向n型区域912。在图10a的示例中，沟道区922中的电势可以保持在p沟道-导通，并且来自n型区域906的所有电荷可以转移到浮置漏极818。在一些示例中，如下所述，存储在n型区域906处的电荷可以在多个步骤中转移到浮置漏极818，用于不同光强度的测量操作。

图10b示出了另一个示例，其中阻挡层914的电势保持恒定，但是第一半导体衬底802的电势被调制以执行对在n型区域906处的电荷的读出。如图10b所示，在时间1012，负电势可以被施加到第一半导体衬底802，这导致阻挡层914的电势变得高于第一半导体衬底802的电势。然后，存储在n型区域906处的负电荷可以流过阻挡层914，然后流过沟道区922和浮置漏极818，当负电势被施加到第一半导体衬底802时，所有这些区域可以具有比n型区域906更高的电势。

图11a和图11b示出了像素单元800的用于调制阻挡层914和第一半导体衬底802的电势的示例结构。如图11a所示，像素单元800可以包括一个或更多个深沟槽隔离(deeptrenchisolation，dti)结构1102。dti结构可以充当绝缘体，以减少相邻像素单元设备(例如，沿着x轴和y轴彼此相邻放置的像素单元)之间的耦合，并进一步改善衬底内的n型区域的隔离。每一个dti结构可以包括一个或更多个侧壁1103，侧壁1103由氧化硅制成并填充有填充材料。填充材料可以包括金属或掺杂的多晶硅，并且可以是导电的。填充材料可以接收电压信号以产生电场。

dti结构1102可用于控制阻挡层914。例如，dti结构1102可以接收电压信号以产生电场(包括横跨阻挡层914的电场1106)。电场可以改变阻挡层914内电荷载流子的分布，并且可以改变阻挡层914相对于第一半导体衬底802的电势，如上面在图10a中所示的。

在一些情况下，可能期望将dti结构1102的电势保持恒定。例如，为了进一步抑制暗电流，可以通过施加负偏压在si-so2界面附近累积空穴来主动猝灭(quench)dti结构1102。在这种情况下，第一半导体衬底802的电势可以被调制(如上面在图10b中所示)，以控制从n型区域906读出电荷。图11b示出了像素单元800的用于支持对第一半导体衬底802的电势的调制的示例结构。如图11b所示，可以形成一个或更多个p+区1114，其从前侧延伸并平行于dti结构1102进行延伸，以到达背侧(朝向背侧表面904)的衬底802。p+区1114还包括触点1116。金属互连1120可以设置在前侧表面902上，以经由触点1116访问p+区1114，并且可以在金属互连1120处施加负偏压，以如图10b所示的调节第一半导体衬底802的电势。

图12示出了像素单元800的各种电路的示例示意性表示。如图12所示，像素单元800包括一组开关m0、m1、m2、m6、mb、第一光电二极管808、第二光电二极管810、电荷存储设备616、电压缓冲器1202、模数转换器(adc)1204和控制器1206。第一光电二极管808、第二光电二极管810、电荷存储设备616以及电压缓冲器1202可以在第一半导体衬底802中实现，而adc1204和控制器1206可以在第二半导体衬底804中实现。第一光电二极管808和第二光电二极管810可以被配置成主要将入射光820的不同分量转换成电荷。电荷可以被读出并存储在电荷存储设备616中以产生电压(标记为“vof”)，该电压可以由电压缓冲器1202缓冲以成为像素输出电压(标记为“v像素输出”)。像素输出电压可以由adc1204量化以产生数字输出。控制器1206可以控制开关以及adc1204来执行读出和量化处理。

第一光电二极管808和第二光电二极管810可以被配置为基于像素单元800的配置，主要将入射光820的不同分量转换成电荷。例如，在像素单元800是背侧照明(fsi)设备的情况下，其中第二光电二极管810比第一光电二极管808更靠近光接收表面806，第一光电二极管808可以被配置为检测红外光作为第一光分量822，而第二光电二极管810可以被配置为检测可见光(例如，红色、绿色或蓝色之一)作为第二光分量824。在像素单元800是前侧照明(bsi)设备的情况下，其中第一光电二极管808比第二光电二极管810更靠近光接收表面806，第一光电二极管808可以被配置为检测可见光(例如，红色、绿色或蓝色之一)作为第一光分量822，而第二光电二极管810可以被配置为检测可见光(例如，红色、绿色或蓝色之一)作为第二光分量824。第一光电二极管808和第二光电二极管810中的每一个都具有量子阱，以存储分别响应于第一光分量822和第二光分量824而产生的电荷。

此外，电荷存储设备616可以提供存储，用于读出存储在第一光电二极管808和第二光电二极管810中的电荷。在新的测量之前，电荷存储设备616可以由m2复位开关复位，该开关可以由rst信号启用，以将电荷存储设备616连接到电荷吸收器(chargesink)，从而移除存储在电荷存储设备616中的电荷。然后，电荷可以经由转移开关m1从第一光电二极管808或第二光电二极管810读出，并存储在电荷存储设备616中，用于随后的量化处理。电荷存储设备616包括浮置漏极818(在图12a中用“cfd”表示)和辅助电容器820(在图12中用“caux”表示)，它们可以被组合以提供可变的组合电容。具体地，浮置漏极818和辅助电容器820与开关m6耦合，开关m6可以是由信号lg控制的晶体管。当开关m6被启用时，电荷存储设备616可以具有浮置漏极818和辅助电容器820的组合电容来存储电荷。当开关m6被禁用时，电荷存储设备616仅包括浮置漏极818的电容来存储电荷。如下面所解释的，电荷存储设备616的电容可以针对不同的量化操作进行调整。电荷存储设备616可以基于所存储的电荷量产生vof电压，该电压可以由电压缓冲器1202缓冲以成为像素输出电压v像素输出。像素输出电压v像素输出可以由adc1204量化以产生数字输出。

开关m0、m1和mb可以控制电荷的产生以及电荷从第一光电二极管808和第二光电二极管810到电荷存储设备616的转移，用于读出和量化操作。阻挡开关mb可以控制电荷从第二光电二极管810到第一光电二极管808的流动以进行读出。阻挡开关mb可以代表阻挡层914，并且可以由barrier_switch信号控制。barrier_switch信号可以表示阻挡层914和第一半导体衬底802之间的电势差，并且可以基于例如经由dti结构向阻挡层914施加正电势(例如，如图10a中所描述的)、向第一半导体衬底802施加负偏置电压(例如，如图10b中所描述的)或两者的组合来配置。

另外，开关m0可以是快门开关。由ab信号控制的快门开关m0可以控制曝光周期的开始和结束，在该曝光周期中，允许第一光电二极管808对响应于入射光820而产生的电荷进行累积。快门开关m0的禁用可以开始第一光电二极管808和第二光电二极管810的曝光周期，而快门开关m0的启用可以复位第一光电二极管808并结束第一光电二极管808的曝光周期。同时，即使在快门开关m0被启用之后，第二光电二极管810也可以继续累积电荷。当阻挡开关mb被启用和/或当转移开关m1被启用以将电荷从第二光电二极管810转移到电荷存储设备616时，第二光电二极管810的曝光周期可以结束。快门开关m0还可以被配置为提供抗光晕(anti-blooming)功能，以防止由第一光电二极管808(和/或第二光电二极管810)产生的电荷泄漏到图像传感器的其他像素单元中，尤其是当图像传感器在强环境光的环境中工作时。

此外，转移开关m1可以由tg信号控制以设置沟道区922的电势，沟道区922的电势可以控制电荷向电荷存储设备616的流动。例如，将转移开关m1配置为部分导通状态的tg信号允许在第一光电二极管808处累积的电荷作为剩余电荷，直到在第一光电二极管808处存储的电荷量超过阈值。转移开关m1允许由第一光电二极管808产生的额外电荷作为溢出电荷流向电荷存储设备616。此外，tg信号还可以将转移开关m1配置为完全导通状态，以将存储在第一光电二极管808中的剩余电荷转移到电荷存储设备616，用于读出和量化。

转移开关m1和阻挡开关mb可以控制对来自第一光电二极管808和第二光电二极管810的电荷的读出和量化。在第一次读出中，可以禁用阻挡开关mb。转移开关m1可以被配置为完全导通状态，以将来自第一光电二极管808的电荷(“第一电荷”)转移到电荷存储设备616。经转移的第一电荷可以存储在电荷存储设备616中，并由adc1204量化以产生第一数字输出。然后，在量化完成之后，第一光电二极管808和电荷存储设备616都可以被复位。随后可以进行第二次读出，其中可以启用阻挡开关mb。然后，存储在光电二极管810中的电荷(“第二电荷”)可以经由阻挡开关mb转移到光电二极管808。转移开关m1也可以被配置为完全导通状态，以将第二电荷从光电二极管808转移到电荷存储设备616，用于随后由adc1204进行量化以产生第二数字输出。

像素单元800可以被配置为执行对第一电荷和第二电荷的多阶段读出和量化处理。读出和量化处理的每个阶段可以分别与第一光电二极管808或第二光电二极管810将要感测的第一光分量822或第二光分量824的特定强度范围相关联。每个强度范围可以由相应光电二极管产生的第一电荷或第二电荷的最大量、相应光电二极管的存储容量以及电荷存储设备616的存储容量来定义。

现在参考图13a，图13a示出了对于不同的光强度范围，由第一光电二极管808产生的第一电荷的累积量相对于时间的关系。第一电荷的累积量反映了在曝光周期期间由第一光电二极管808接收的第一光分量822的强度。曝光周期可以通过禁用图12的快门开关m0开始，并通过启用快门开关m0结束。阈值1302和阈值1304可以为第一光分量822的强度定义低强度范围1306、中等强度范围1208和高强度范围1310。例如，如果第一电荷的累积总量低于阈值1302(例如，q1)，则第一光分量822的强度可以在低强度范围1306内。如果总累积的第一电荷在阈值1304和阈值1302(例如，q2)之间，则第一光分量822的强度可以在中等光强度范围1308内。如果总累积的第一电荷高于阈值1304，则第一光分量的强度可以在高强度范围1310内。

低强度范围1304、中等强度范围1308和高强度范围1310以及阈值1302和1304的定义可以基于第一光电二极管808和电荷存储设备616的电荷存储容量。例如，可以定义低光强度范围1306，使得第一光电二极管808在曝光周期内产生的第一电荷的总量低于或等于第一光电二极管808的存储容量。这样的量可以由阈值1302表示。往回参考图10a，阈值1302表示在第一光电二极管808的n型区域912中存储的最大电荷量，可以基于n型区域912的量子阱容量、在部分导通状态下的转移开关m1的偏置电压tg和在关断状态下的阻挡衬底914的电势来定义阈值1302，该偏置电压tg可以设置沟道区922的电势阈值以使溢出电荷进行流动。如果第一光分量822的强度在低强度范围1306内，则由第一光电二极管808在曝光周期内产生的所有第一电荷可以作为第一剩余电荷存储在第一光电二极管808的量子阱中。由于第一光电二极管808尚未达到容量，存储在第一光电二极管808处的第一剩余电荷的量可以与第一光分量822的强度相关，并且第一光分量822的强度可以通过测量第一剩余电荷的量来测量。

如果第一光分量822的强度超过低强度范围1306，并且在中等强度范围1208或高强度范围1310中，则第一电荷的累积总量超过阈值1302。第一电荷中的一些由于第一光电二极管808达到容量而不能存储在第一光电二极管808处，并且可以流向电荷存储设备616作为第一溢出电荷。中等强度范围1208可以被定义为使得存储在电荷存储设备616处的第一溢出电荷的总量在电荷存储设备616的存储容量内。在这种情况下，存储在电荷存储设备616处的第一溢出电荷的量可以与第一光分量822的强度相关，并且第一光分量822的强度可以通过测量第一溢出电荷的量来测量。

如果入射光强度在高强度范围1310内，则在曝光周期结束之前，在电荷存储设备616处累积的总溢出电荷可能超过阈值1304。随着额外电荷的累积，电荷存储设备616可能在曝光周期结束之前达到满容量，此后可能发生电荷泄漏。因此，存储在电荷存储设备616处的第一溢出电荷的量可能与第一光分量822的强度不相关。为了避免由于电荷存储设备616达到满容量而导致的测量误差，可以执行饱和时间测量，以测量电荷存储设备616处累积的第一溢出电荷达到阈值1304所花费的持续时间。可以基于阈值1304和饱和时间之间的比率来确定电荷存储设备616处的电荷累积速率，并且可以根据电荷累积速率通过外推来确定在曝光周期结束时(如果电容器具有无限的容量)在电荷存储设备616处可能已经累积的假设电荷量(q3)。假设电荷量(q3)可以提供在高强度范围1310内的入射光强度的相当精确的表示。

如上所述，像素单元800可以执行第一电荷的多阶段读出和量化，其中每个阶段对应于低强度范围1306、中等强度范围1308或高强度范围1310中的一个。对于不同的读出和量化阶段，像素单元800可以具有不同的配置。例如，为了对中等和高强度范围内的第一光分量822执行第一溢出电荷的读出，电荷存储设备616的电容可以被扩展(例如，通过启用控制开关m6)，以存储来自第一光电二极管808的更多第一溢出电荷，直到电荷存储设备616饱和，这可以增加图13a的阈值1304(中等强度范围的上限)。此外，为了执行对存储在第一光电二极管808中的第一剩余电荷的读出，转移开关m1可以被设置为完全导通状态，以将第一剩余电荷转移到电荷存储设备616。此外，可以(例如，通过禁用控制开关m6)减小电荷存储设备616的电容以增加电荷至电压的转换率，这可以提高量化处理的灵敏度并降低量化噪声的影响，并且可以进一步降低可测量光强度的下限。

此外，adc1204可以针对不同的强度范围执行第一电荷的不同量化处理。图13b和图13c示出了不同量化处理的示例。参考图13b，对于高强度范围中的第一电荷的量化，adc1204可以执行饱和时间测量。adc可以将v像素输出(电荷存储设备616的缓冲电压)与对应于例如图13a的阈值1304的静态阈值电压进行比较，该静态阈值电压可以对应于电荷存储设备616饱和的情况。基于指示电荷存储设备616饱和的vout跳变的时间，adc1204可以获得饱和时间测量值。饱和时间测量值可以基于例如计数器的计数值，该计数器在曝光周期开始时开始计数，并且在检测到电荷存储设备616的饱和时停止计数。此外，参考图13c，对于低和中等强度范围中的第一电荷的量化，adc1204可以将v像素输出与斜坡阈值电压进行比较，以找到最接近v像素输出的阈值电压。在一些示例中，斜坡阈值电压可以由数模转换器(dac)基于来自自由运行计数器的计数值而生成，其中阈值电压斜坡内的每个阈值电压电平与计数值相关联。最接近的阈值电压的计数值可以作为数字输出而被输出，以表示第一光分量822的强度。

图14示出了第一电荷的读出和量化的示例序列，以及第一光电二极管808、转移开关m1、电容器cfd和caux以及控制开关m6之间的电势的相应分布。在时间1400，转移开关m1可以由tg控制为处于部分导通状态，以使第一电容器808的量子阱能够保持第一剩余电荷1402。此外，m6控制开关被启用以增加电荷存储设备616的电容，使得电荷存储设备616包括cfd和caux电容器的并联组合。扩展的电荷存储设备616可以存储第一溢出电荷1404以输出vof1电压。adc1204可以将缓冲的vof1电压与阈值1304进行比较，以确定第一溢出电荷1404是否使电荷存储设备616饱和。如果第一溢出电荷1404使电荷存储设备616饱和，则adc1204可以执行饱和时间(tts)操作来确定饱和发生时的时间，并产生表示饱和时间测量值的第一输出。如果第一溢出电荷1404没有使电荷存储设备616饱和，则adc1204可以通过将缓冲的vof1电压与跨越阈值1302和阈值1304之间的斜坡阈值进行比较以找到最接近vof1的阈值来测量电荷存储设备616中的第一溢出电荷1404的量，并产生表示该最接近的阈值的第二输出。斜坡阈值可以通过例如将来自计数器的计数值提供给dac而生成，并且第二输出可以是(经由dac)生成该最接近的阈值的计数值。在一些示例中，电荷存储设备616中的第一溢出电荷1404的测量可以被称为“fdadc”操作。

在时间1410，在时间1400的tts和fdadc操作之后，电荷存储设备616可以被复位以移除溢出电荷1404。

在时间1420，剩余电荷1402被转移到电荷存储设备616。在转移之前，如上面所描述的，电荷存储设备616的电容可以通过禁用控制开关m6来缩小，使得电荷存储设备616仅包括cfd电容器，以增加电荷至电压的比率并降低量化噪声的影响。然后，转移开关m1可以由tg信号控制为处于完全导通状态，以将第一剩余电荷1402转移到cfd电容器，该电容器可以输出vof2电压。由于剩余电荷在第一光电二极管808处累积，第一光电二极管808受到较小的暗电流的影响，因此可以降低暗电流对低强度范围测量的影响。所有这些都可以提高低强度范围测量的精度。

在时间1430，在第一剩余电荷1402的转移完成之后，转移开关m1可以由tg信号控制为处于完全关断的状态，以将第一剩余电荷1402隔离在cfd电容器内。adc1204可以通过将缓冲的vof2电压与另一斜坡阈值进行比较来测量cfd电容器中的第一剩余电荷1402，以产生第三输出。在一些示例中，第一剩余电荷1402的测量可以被称为“pdadc”操作。adc1204可以基于第一光分量822的强度范围输出第一输出、第二输出或第三输出之一。

在第一电荷的读出和量化之后，像素单元800还可以执行第二电荷的多阶段读出和量化。曝光周期结束后，第二电荷可以被转移到第一光电二极管808。由于第一光电二极管808和第二光电二极管810在同一曝光周期内接收不同的光分量，虽然如果第一电荷在曝光周期期间使第一光电二极管808饱和，第一光电二极管808可以将第一溢出电荷输出到电荷存储设备616，但是第二光电二极管810在曝光周期内通过阻挡开关mb与电荷存储设备616(和第一光电二极管808)隔离。因此，第二光电二极管810的存储容量需要足够大，以存储由第二光电二极管810在同一曝光周期内产生的所有第二电荷。因此，基于设置量子阱的尺寸、第一半导体衬底802和阻挡层914的电势，第二光电二极管810的存储容量可以被配置成比第一光电二极管808的电势大得多。例如，第二光电二极管810的存储容量可以基于曝光周期的长度以及将由图像传感器测量的第二光分量824的最大强度来配置，使得存储容量匹配或超过由第二光电二极管810在曝光周期内产生的第二电荷的最大量。

此外，在第一光电二极管808的存储容量小于第二光电二极管810的情况下，从第二光电二极管810转移到第一光电二极管808的电荷可以作为第二剩余电荷完全存储在第一光电二极管808中，或者可以作为第二溢出电荷溢出到电荷存储设备616。当第二电荷在曝光周期结束后从第二光电二极管810转移到第一光电二极管808时，不对第二电荷执行tts测量，并且第二电荷的转移速率不反映第二光分量824的强度。然而，adc1204随后可以执行相同的fdadc和pdadc操作序列，以分别测量第二溢出电荷和第二剩余电荷，从而产生两个输出，使用相同的阈值1302来识别第二光分量824的强度范围，并且基于所识别的强度范围来提供两个输出中的一个。由于adc1204可以对第一电荷和第二电荷执行相同的量化操作，所以adc1204的控制可以变得更加简化。

图15a和图15b示出了第二电荷的读出和量化的示例序列，以及第二光电二极管810、第一光电二极管808、转移开关m1、电容器cfd和caux以及控制开关m6之间的电势的相应分布。图15a示出了第二电荷不使第一光电二极管808饱和的示例，而图15b示出了第二电荷使第一光电二极管808饱和的示例。如图15a和图15b所示，第二光电二极管810的量子阱可以大于第一光电二极管808的量子阱。

参考图15a，在时间1500，在曝光周期结束时，第二电荷1502可以存储在第二光电二极管810中。在第一电荷的读出和量化之后，第一光电二极管808和电荷存储设备616(包括电容器cfd和caux)已经被复位。mb开关处于禁用状态，以防止第二电荷流入第一光电二极管808，并防止第一电荷流入第二光电二极管810。

在时间1510，可以通过例如如图10a中那样降低阻挡层914的电势、如图10b中那样向第一半导体衬底802引入负偏压等，将mb开关设置在启用状态。第二电荷1502可以从第二光电二极管810转移到第一光电二极管808，并作为第二剩余电荷1512存储在第一光电二极管808中。转移开关m1可以由tg控制为处于部分导通状态，以使第一电容器808的量子阱能够保持第二剩余电荷1512。此外，可以启用m6控制开关来增加电荷存储设备616的电容，以存储来自第一电容器808(如果有的话)、来自第一光电二极管808(图15a中没有)的溢出电荷，用于fdadc测量。

在时间1520，mb开关可以被设置在禁用状态，以隔离第一光电二极管808中的剩余电荷1512，同时转移开关m1保持在部分导通状态。adc1204可以执行fdadc测量以产生第一输出。adc1204还可以确定电荷存储设备616中没有存储溢出电荷，以及第二光分量824处于低强度范围中。

在时间1530，电荷存储设备616可以被复位。如上所述，电荷存储设备616的电容可以通过禁用控制开关m6来缩小，使得电荷存储设备616仅包括cfd电容器，以增加电荷至电压的比率并降低量化噪声的影响。转移开关m1可以由tg信号控制为处于完全导通状态，以将第二剩余电荷1512转移到cfd电容器，该电容器可以输出vof2电压。

在时间1540，在第二剩余电荷1512的转移完成之后，转移开关m1可以由tg信号控制为处于完全关断状态，以将第二剩余电荷1512隔离在cfd电容器内。adc1204可以在pdadc操作中测量存储在cfd电容器中的第二剩余电荷1512，以产生第二输出。基于如在时间1520所确定的没有溢出电荷存储在电荷存储设备616中，adc1204还可以确定第二光分量824处于低强度范围中。基于这样的确定，adc1204可以提供pdadc操作的第二输出，而不是fdadc操作的第一输出，以表示第二光分量824的强度。

图15b示出了第二电荷使第一光电二极管808饱和的示例。开关、光电二极管和电荷存储设备616在时间1500、1510、1520、1530和1540的配置与图15a相同，并且它们的一些描述在此不进行重复。

参考图15b，在时间1500，在曝光周期结束时，第二电荷1552可以存储在第二光电二极管810中。第二电荷1552的量大于图15a中的第二电荷1502的量，并且可以使第一光电二极管808饱和。

在时间1510，通过启用mb开关，第二电荷1552被转移出第二光电二极管810。第二电荷1552的一部分可以作为第二剩余电荷1560存储在第一光电二极管808中，而第二电荷1552的其余部分可以作为第二溢出电荷1562存储在电荷存储设备616(具有cfd电容器和caux电容器的组合)中。

在时间1520，adc1204可以执行fdadc测量以产生第一输出。在图15b中，adc1204可以确定第二溢出电荷1562存储在电荷存储设备616中，以及第二光分量824处于中等强度范围中。

在时间1530，电荷存储设备616可以被复位。电荷存储设备616的电容可以被缩小。第二剩余电荷1560可以被转移到cfd电容器，该电容器可以输出vof2电压。

在时间1540，adc1204可以执行pdadc操作，以测量存储在cfd电容器中的第二剩余电荷1560，从而产生第二输出。基于如在时间1520所确定的第二溢出电荷1562存储在电荷存储设备616中，adc1204还可以确定第二光分量824处于中等强度范围中。基于这样的确定，adc1204可以提供fdadc操作的第一输出，而不是pdadc操作的第二输出，以表示第二光分量824的强度。

在一些示例中，由于例如制造工艺的限制，第一光电二极管808和第二光电二极管810可以具有相同(或基本相同)的量子阱容量。在这样的示例中，基于控制沟道区922的偏置电压(例如，基于提供给转移开关m1的tg信号)、沟道区922的阈值电压等，第一光电二极管808可以被配置为具有较小的电荷存储容量，以在电荷通过转移开关m1泄漏到电荷存储设备616之前控制存储在第一光电二极管808中的最大量的电荷。图16示出了第二电荷的读出和量化的序列的一部分的示例。在图16的时间1500，第二光电二极管810可以存储第二电荷1602，并且阻挡开关mb处于禁用状态，以防止第二电荷1602流向第一光电二极管808，并且防止电荷从第一光电二极管808流向第二光电二极管810。提供给转移开关m1以将开关设置在部分导通状态的tg信号的电平可以低于图15a和图15b中的tg信号的电平，这降低了第一光电二极管808的存储容量。在时间1510，mb开关可以被启用，并且第二电荷1602可以被转移到第一光电二极管808。第二电荷1602的一部分可以作为第二剩余电荷1612存储在第一光电二极管808中，其量基于tg信号的电平来设置。第二电荷1602的其余部分可以作为第二溢出电荷1618存储在电荷存储设备616中。随后的读出和量化操作可以类似于在图15b中描述的时间1520、1530和1540处的操作。

图17a示出了adc1204的部件的示例，而图17b示出了像素单元800的控制信号序列。如图17a所示，adc1204包括cc电容器、可由比较器复位开关m5复位的可复位比较器1702、寄存器1710和1712、或非(nor)门1714、计数器1716和存储器1718。cc电容器被配置为采样电容器，以(在比较器1702的一个输入端处)产生跟踪v像素输出的电压vcompin，并将vcompin电压提供给比较器1702，以与vref进行比较。如上所述，vref可以是用于tts测量操作的静态电压(对于高光强度范围)，或者是用于fdadc和pdadc操作的斜坡电压(对于低和中等光强范围)。计数值(图17a中标记为“cnt”)可以由计数器1716生成，计数器1716可以在tts、fdadc和pdadc操作中的每一个处开始，并且可以基于时钟周期性地更新计数值。由比较器1702产生的比较结果(vout)可以被馈送到或非门1714，以产生控制存储器1718的锁存信号。当vcompin电压跨过vref时，vout信号会跳变，锁存信号也会跳变。锁存信号的跳变会导致存储器1718存储跳变时计数器1716输出的计数值。根据是对第一光电二极管808还是第二光电二极管810产生的第一电荷执行测量，存储在存储器1718中的计数值可以作为第一光分量822或第二光分量824的强度的数字表示被输出。在一些示例中，计数器1716和存储器1718可以在adc1204的外部，并且可以在多个像素单元之间共享。

adc1204包括可进一步提高入射光强度测定的准确度的特征。例如，cc电容器、比较器复位开关m5以及复位开关m2的组合可以被操作来补偿由比较器1702引入的测量误差(例如，比较器偏移)以及其他误差信号，例如由复位开关m2引入到电荷存储设备616的复位噪声。具体地，在第一采样操作中，m2和m5可以分别闭合以复位电荷存储设备616和比较器1702。随着电荷存储设备616的复位，cc电容器可以存储由复位操作引入的噪声电荷。此外，在m5闭合的情况下，比较器1702的负端子的电压(vcompin)可以跟踪比较器1702的正端子的电压，但是相差比较器偏移。因此，反映比较器偏移和复位噪声的一定量的噪声电荷可以存储在cc电容器处，以在cc电容器两端产生电压差vcc，并且vcc可以包括表示比较器偏移和复位噪声的分量。

在第二采样操作中，可以打开m2和m5，使得电荷存储设备616和比较器1702可以退出它们各自的复位状态。如上面在图14、图15a、图15b和图16中所述，电荷存储设备616可以从第一光电二极管808或第二光电二极管810之一接收电荷以产生vof，vof可以由缓冲器1202缓冲以产生电压v像素输出。在先前的复位操作中由复位开关m2引入的复位噪声电荷也保持在电荷存储设备616中，因此v像素输出还包括复位噪声分量。通过交流耦合，可以获得新的vcompin，其中新的vcompin基于vcc的添加来跟踪v像素输出。由于vcc还包含复位噪声分量，因此在新的vcompin中可以抵消复位噪声分量，新的vcompin仍包含比较器偏移分量。比较器1102可以将新的vcompin电压与vref进行比较，以生成判定(vout)，该判定用于控制何时将计数器1716的输出存储在存储器1718处，以量化存储在电荷存储设备616中的电荷量。新vcompin中的比较器偏移分量可以抵消或显著降低比较器1702的比较器偏移的影响。

第一采样操作和第二采样操作可以是针对由第一光电二极管808产生的第一电荷的tts测量、fdadc和pdadc操作的一部分，以及是针对由第二光电二极管810产生的第二电荷的fdadc和pdadc操作的一部分。由于比较器偏移和复位噪声都被消除或至少显著被降低，量化处理的准确度可以得到提高。

上面提到的第一光电二极管808和第二光电二极管810暴露于入射光、针对第一光电二极管808的第一电荷的tts、fdadc和pdadc操作、第二电荷从第二光电二极管810到第一光电二极管808的转移以及针对第二光电二极管810的第二电荷的fdadc和pdadc操作可以由控制器1206控制。控制器1206还可以包括dac(图17a中未示出)，其可以基于来自计数器1716的计数值(cnt)产生vref。此外，控制器1206可以在flag_1寄存器1710和flag_2寄存器1712处存储来自tts和fdadc操作(用于第一电荷的量化)和来自fdadc操作(用于第二电荷的量化)的比较器1702的先前判定，并且使用所存储的判定来选择tts、fdadc或pdadc操作之一的计数值输出以表示入射光强度，如下面所解释的。

图17b示出了由控制器1206提供的像素单元800的控制信号的示例序列，以执行第一光电二极管808和第二光电二极管810的多阶段读出和量化。参考图17b，在时间t0和t1之间，控制器1206可以将像素单元800置于复位状态。作为复位状态的一部分，barrier_switch信号可以被宣称无效(de-asserted)，以启用阻挡层914，从而允许电荷在第一光电二极管808和第二光电二极管810之间流动。ab信号可以被使能，以启用快门开关m0并复位第一光电二极管808和第二光电二极管810。此外，控制器1206可以宣称rst信号有效(assert)以使复位开关m2能够复位电荷存储设备616，并且宣称comp_rst信号有效以复位比较器1702。在复位开关m2和comp_rst信号无效之后，复位噪声和比较器偏移信息可以作为第一采样操作的一部分存储在cc电容器中。此外，lg信号可以被宣称有效以最大化电荷存储设备616的电荷存储容量，而tg信号可以被设置为将转移开关m1偏置在部分导通状态，以设置第一光电二极管808的剩余电荷存储容量。

在时间t1，控制器1206可以宣称ab信号无效以禁用快门开关m0来开始曝光周期，在该曝光周期中，第一光电二极管808和第二光电二极管810可以响应于第一光分量822和第二光分量824分别产生第一电荷和第二电荷。

在时间t1和t2之间，第一光电二极管808可以产生第一电荷，并将第一电荷的一部分存储为第一剩余电荷，同时将其余的第一电荷作为第一溢出电荷输出到电荷存储设备616。adc1204可通过使用比较器1702将vcompin与静态vref进行比较，来执行tts操作，以检测电荷存储设备616的饱和及其定时。如果电荷存储设备616饱和，比较器输出会跳变。在时间t2，如果比较器1702的输出指示电荷存储设备616饱和，则存储器1718可以在比较器输出跳变时存储计数器1716输出的计数值。控制器1206还可以宣称寄存器1710中的flag_1信号有效，以指示电荷存储设备616饱和，这可以防止后续的fdadc和pdadc操作重写存储器1718中所存储的计数值。

在t2和t3之间，adc1204可以执行fdadc测量，以测量电荷存储设备616中的第一溢出电荷的量。adc1204可以基于将vcompin与斜坡阈值进行比较以找到最接近vcompin的阈值来执行测量。如上面所解释的，vcompin可以从第二采样操作获得，并且可以基于v像素输出(电荷存储设备616的缓冲的vof电压)和cc电容器两端的vcc电压的组合。v像素输出表示电荷存储设备616中的第一溢出电荷，并且包括复位噪声电荷，而vcc包括复位噪声和比较器偏移信息。当与vref比较时，该组合抵除了复位噪声并补偿了比较器1702的偏移。斜坡阈值可以由dac基于来自例如计数器1716的计数值生成，并且可以包括阈值1302(其可以对应于第一光电二极管808的饱和)和阈值1304(其可以对应于电荷存储设备616的饱和)之间的电压范围。如果电荷存储设备616存储第一溢出电荷，则vcompin越过阈值1302，并且比较器1702的输出可以跳变。在时间t3，如果比较器1702的输出跳变，并且如果flag_1被宣称无效(这指示电荷存储设备616在tts操作期间没有饱和)，则存储器1718可以存储在比较器1702的输出跳变时计数器1716输出的计数值。控制器1206还可宣称寄存器1712中的flag_2信号有效，以指示电荷存储设备616存储第一溢出电荷，这可以防止后续的pdadc操作重写存储器1718中所存储的计数值。

在时间t3和t4之间，电荷存储设备616和比较器1702被复位，以为随后的pdadc操作做准备。复位噪声和比较器偏移也以vcc电压的形式存储在cc电容器中。此外，lg信号被宣称无效，以将caux与cfd断开连接，从而减小电荷存储设备616的电容，并增加电荷至电压的转换率，用于后续pdadc操作。

在时间t4和t5之间，tg信号被宣称有效以将转移开关m1设置为完全导通状态，从而将第一剩余电荷从第一光电二极管808转移到电荷存储设备616。在时间t5和t6之间，adc1204可以执行pdadc操作，以测量电荷存储设备616中的第一剩余电荷的量。adc1204可以基于将vcompin与斜坡阈值进行比较以找到最接近vcompin的阈值和对应于该最接近的阈值(在该点比较器1702的输出跳变)的计数值来执行测量。如在fdadc中，复位噪声和比较器偏移都被抵消或至少基本上被消除。在时间t6，如果flag_1和flag_2都被宣称无效，这可以指示没有第一溢出电荷，则比较器1702的输出跳变时的计数值可以存储在存储器1718中。在时间t6存储在存储器1718中的计数值可以作为数字输出被提供，以表示第一光分量822的强度。

在时间t6和t7之间，电荷存储设备616和比较器1702被复位，以为来自第二光电二极管810的第二电荷的后续读出和量化做准备。复位噪声和比较器偏移也以vcc电压的形式存储在cc电容器中。此外，lg信号被宣称有效以将caux与cfd连接，以增加电荷存储设备616的电容，用于溢出电荷的存储。

在时间t7和t8之间，barrier_switch可以被宣称无效以启用阻挡层914，从而允许存储在第二光电二极管810中的第二电荷流向第一光电二极管808以进行读出。tg信号可以将转移开关m1设置在部分导通状态，以设置第一光电二极管810的剩余电荷存储容量。第二电荷可以作为第二剩余电荷全部存储在第一光电二极管808处，或者第二电荷的一部分可以作为第二溢出电荷流向电荷存储设备616。

在时间t8和t9之间，adc1204可以执行fdadc操作以测量电荷存储设备616中的第二溢出电荷的量。第二溢出电荷的fdadc操作与在时间t2和t3之间的第一溢出电荷的fdadc操作相同。如果电荷存储设备616存储第二溢出电荷，则vcompin越过阈值1302，并且比较器1702的输出可以跳变。在时间t9，如果比较器1702的输出跳变，存储器1718可以存储计数器1716在比较器1702的输出跳变时输出的计数值。控制器1206还可以宣称寄存器1712中的flag_2信号有效，以指示电荷存储设备616存储第一溢出电荷，这可以防止后续pdadc操作重写存储器1718中所存储的计数值。同时，由于不对第二电荷执行tts操作，所以寄存器1712中的flag_1信号可以被宣称无效。

在时间t9和t10之间，电荷存储设备616和比较器1702被复位，以为后续pdadc操作准备。复位噪声和比较器偏移也以vcc电压的形式存储在cc电容器中。此外，lg信号被宣称无效，以将caux与cfd断开连接，从而减小电荷存储设备616的电容，并增加电荷至电压的转换率用于后续pdadc操作。

在时间t10和t11之间，tg信号被宣称有效以将转移开关m1设置为完全导通状态，从而将第一剩余电荷从第一光电二极管808转移到电荷存储设备616。快门开关m0也可以在时间t11启用以结束曝光周期。在时间t11和t12之间，adc1204可以执行pdadc操作，以测量电荷存储设备616中的第二剩余电荷的量。对第二剩余电荷的pdadc操作可以与在时间t5和t6之间对第一剩余电荷的pdadc操作相同。在时间t12，如果flag_2被宣称无效，这可以指示没有第二溢出电荷，则比较器1702的输出跳变时的计数值可以存储在存储器1718中。在时间t12存储在存储器1718中的计数值可以作为数字输出被提供，以表示第二光分量824的强度。

图18是测量光强度的示例方法1800的流程图。方法1800可以由例如像素单元800来执行，并且可以基于上述技术。

在步骤1802中，第一光电二极管(例如，第一光电二极管808)可以将光的第一分量(例如，入射光820的红外分量)转换成第一电荷。第一电荷可以作为剩余电荷存储在第一光电二极管的量子阱中。在第一光电二极管饱和的情况下，第一电荷的一部分也可以作为溢出电荷存储在与第一光电二极管耦合的电荷存储设备(例如，电荷存储设备616)中。

在步骤1804中，第二光电二极管(例如，第二光电二极管810)可以将光的第二分量(例如，入射光820的彩色可见光分量)转换成第二电荷。第二电荷可以存储在第二光电二极管的量子阱中。步骤1802和1804可以并行发生。

在步骤1806中，像素单元的adc(例如，adc1204)可以执行第一电荷的第一量化和第二量化，以分别生成第一结果和第二结果，第一量化与高于强度阈值的第一强度相关联，第二量化与低于强度阈值的第二强度相关联。例如，第一量化可以是前述的fdadc过程，其中adc可以量化存储在电荷存储设备616中的溢出电荷(如果有的话)。该adc还可以增加电荷存储设备616的存储容量，用于fdadc过程。第一量化可以通过例如将电荷存储设备616处的电压与斜坡电压进行比较来执行，以生成第一判定，并且第一判定可以用于停止自由运行计数器。来自计数器的计数值代表第一结果。adc还可以基于第一判定存储标志值(例如，flag_2)，以指示在电荷存储设备616中是否检测到溢出电荷，在电荷存储设备616中检测到溢出电荷指示第一光电二极管由于第一光分量的强度高于预定的低强度范围(例如，低强度范围1306)而饱和。第一结果可以存储在存储器中。

在第一量化之后，adc可以执行第二量化，第二量化可以是前述的pdadc处理，其中adc可以量化存储在电荷存储设备616中的剩余电荷。adc可以降低电荷存储设备616的存储容量，用于pdadc处理，以增加转换增益并减少量化误差。第二量化可以通过例如将电荷存储设备616处的电压与斜坡电压进行比较来执行，以生成第二判定，并且第二判定可以用于停止自由运行计数器。来自计数器的计数值代表第二结果。

在步骤1808中，基于第一分量的强度是否超过强度阈值，adc可以提供第一结果或第二结果之一来表示像素的第一分量的强度。往回参考步骤1806，基于flag_2的标志值，adc可以确定第一光电二极管是否饱和，第一光电二极管饱和指示第一光分量的强度超过低强度范围。如果标志值指示第一光电二极管没有饱和，并且第一光分量的强度在低强度范围内，则adc可以将第二结果存储在存储器中，并且从存储器提供第二结果来表示第一光分量的强度。如果flag_2指示第一光分量的强度超过低强度范围，则adc可以丢弃第二结果，并从存储器提供第一结果来表示第一光分量的强度。

在步骤1810中，adc可以执行第二电荷的第一量化和第二量化，以分别产生第三结果和第四结果。在一个示例中，第一光电二极管和第二光电二极管可以形成堆叠结构。第一光电二极管可以在从第二光电二极管到电荷存储设备616的电荷转移路径上，并且阻挡层(例如，阻挡层914)可以夹在第一光电二极管和第二光电二极管之间，以控制第二电荷的流动。为了执行第二电荷的读出和量化，可以(例如，基于图10a-图11b和图14-图15b中描述的技术)改变阻挡层的电势，以允许第二电荷从第二光电二极管流到第一光电二极管。第二电荷可以作为剩余电荷存储在第一光电二极管中。第二电荷的一部分也可以作为溢出电荷存储在电荷存储设备616中。然后，溢出电荷和剩余电荷可以由adc分别基于如上所述的第一量化和第二量化来量化，以产生第三结果和第四结果。如上所述，第三结果或第四结果之一可以存储在存储器中。

在步骤1812中，基于第二分量的强度是否超过强度阈值，adc可以提供第三结果或第四结果之一来表示像素的第二分量的强度。例如，基于flag_2值，adc可以确定第一光电二极管是否被第二电荷饱和，第一光电二极管被第二电荷饱和指示第二光分量的强度超过低强度范围。基于第一光电二极管是否饱和，adc然后可以从存储器输出第三结果以表示第二光分量的强度，或者用存储器中的第四结果重写第三结果，并从存储器输出第四结果以表示第二光分量的强度。

本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。