具有扩展动态范围的数字像素的制作方法

背景

本公开总体上涉及图像传感器，且更具体地涉及包括接口电路的像素单元结构，该接口电路用于确定用于图像生成的光强度。

典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮动节点，该浮动节点被配置为电容器，以收集曝光周期期间光电二极管生成的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(adc)，adc可以将电压转换成表示入射光强度的数字值。

概述

本公开涉及图像传感器。更具体且没有限制地，本公开涉及使用堆叠结构来形成像素单元。本公开还涉及操作像素单元的电路以在两种不同的测量模式中测量入射光的强度。

在一个示例中，提供了一种装置。装置可以包括光电二极管、第一电荷存储单元和第二电荷存储单元。第一电荷存储单元和第二电荷存储单元都被配置成存储由光电二极管生成的电荷。第一电荷存储单元具有第一容量，而第二电荷存储单元具有大于第一容量的第二容量。装置还可以包括模数转换器(adc)电路，该adc电路被配置成在第一测量模式中，使用第一计数器生成第一斜坡电压，以及将表示存储在第一电荷存储单元中的第一电荷量的第一电压与第一斜坡电压进行比较，以生成第一判定输出，该第一判定输出在第一计数器处设置第一计数。adc电路还被配置成在第二测量模式中，使用第二计数器生成第二斜坡电压，以及将表示存储在第二电荷存储单元中的第二电荷量的第二电压与第二斜坡电压进行比较，以生成第二判定输出，该第二判定输出在第二计数器处设置第二计数。adc电路还被配置成基于第一计数或第二计数生成表示入射到光电二极管上的光强度的数字输出。

在一些方面，装置还包括耦合在第一电荷存储单元和第二电荷存储单元之间的转移栅极(transfergate)。在第二测量模式中，adc电路被配置成控制转移栅极，以防止第一电荷量通过转移栅极移动到第二电荷存储单元；以及使用第一比较器将在第二电荷存储单元处产生的第二电压与第二斜坡电压进行比较，以生成第二计数。

在一些方面，在第一测量模式中，adc电路被配置成控制转移栅极，以使得第一电荷量能够通过转移栅极移动到第二电荷存储单元。adc电路还被配置成使用第二比较器将在第二电荷存储单元处产生的第一电压与第一斜坡电压进行比较，以生成第一计数。

在一些方面，adc电路被配置成在第二测量模式和第一测量模式之间复位第二电荷存储单元。

在一些方面，adc电路包括第三电容器，该第三电容器耦合在第一比较器或第二比较器中的至少一个与第二电荷存储单元之间。第三电容器被配置成在第二电荷存储单元的复位期间存储电荷，以补偿以下至少一项：引入到第二电荷存储单元的复位噪声、或第一比较器或第二比较器中的至少一个的失调电压。

在一些方面，第二电荷存储单元的第二容量是可配置的。adc电路被配置成在第一测量模式下减小第二容量，并且在第二测量模式下增加第二容量。

在一些方面，adc电路被配置成在第二测量模式之后执行第一测量模式。adc电路还被配置成：基于第一判定输出和第二判定输出，确定将第一计数或第二计数中的一个存储在存储器中；以及提供在存储器中存储的第一计数或第二计数作为表示光强度的数字输出。

在一些方面，第一计数器或第二计数器中的至少一个被配置成分别生成第一斜坡电压或第二斜坡电压中的至少一个，以具有关于时间不均匀的斜坡斜率。

在一些方面，adc电路还被配置成在第三测量模式中：将第二电压与固定阈值进行比较，以生成指示第二电压是否越过固定阈值的第三判定输出；以及基于第三判定输出的定时生成表示入射到光电二极管上的光强度的数字输出。在一些方面，adc电路还被配置成在第三测量模式中：在启用光电二极管以将电荷转移到第二电荷存储单元之后启动第三计数器，并利用第三判定输出在第三计数器处设置第三计数。可以基于第三计数生成表示光强度的数字输出。

在一些方面，adc电路被配置成在第二测量模式和第一测量模式之前执行第三测量模式。adc电路还被配置成：将第三计数存储在存储器中；基于第三判定输出，确定不用第一计数或第二计数重写存储器中的第三计数；以及提供存储器中存储的第三计数作为表示光强度的数字输出。

在一些方面，第一计数器可以包括第二计数器。第一比较器也可以包括第二比较器。

在另一个示例中，提供了一种方法。方法包括：将光电二极管暴露于入射光以使光电二极管生成电荷，其中光电二极管与第一电荷存储单元和第二电荷存储单元耦合，该第一电荷存储单元具有第一容量，并且该第二电荷存储单元具有大于第一容量的第二容量。方法还包括执行第一测量模式。第一测量模式包括：使用第一计数器生成第一斜坡电压，以及将表示存储在第一电荷存储单元中的第一电荷量的第一电压与第一斜坡电压进行比较，以生成第一判定输出，该第一判定输出在第一计数器处设置第一计数。方法还包括执行第二测量模式。第二测量模式包括：使用第二计数器生成第二斜坡电压；以及将表示存储在第二电荷存储单元中的第二电荷量的第二电压与第二斜坡电压进行比较，以生成第二判定输出，该第二判定输出在第二计数器处设置第二计数。方法还包括基于第一计数或第二计数生成表示入射光强度的数字输出。

在一些方面，第一电荷存储单元经由转移栅极耦合到第二电荷存储单元，并且执行第二测量模式还包括：控制转移栅极以防止第一电荷量通过转移栅极移动到第二电荷存储单元；以及将在第二电荷存储单元处产生的第二电压与第二斜坡电压进行比较，以生成第二计数。

在一些方面，执行第一测量模式还包括：控制转移栅极以使第一电荷量能够通过转移栅极移动到第二电荷存储单元；以及将在第二电荷存储单元处产生的第一电压与第一斜坡电压进行比较，以生成第一计数。

在一些方面，第一斜坡电压或第二斜坡电压中的至少一个被生成为具有关于时间不均匀的斜坡斜率。

在一些方面，该方法还可包括执行第三测量模式。执行第三测量模式可以包括：将第二电压与固定阈值进行比较，以生成指示第二电压是否越过固定阈值的第三判定输出；以及基于第三判定输出的定时生成表示入射到光电二极管上的光强度的数字输出。可以在执行第一测量模式和第二测量模式之前执行第三测量模式。

附图简述

参考以下附图描述说明性实施例。

图1a和图1b是近眼显示器实施例的示意图。

图2是近眼显示器的横截面的实施例。

图3示出了具有单个源组件的波导显示器实施例的等轴视图。

图4示出了波导显示器实施例的横截面。

图5是包括近眼显示器的系统实施例的框图。

图6示出了像素单元实施例的框图。

图7示出了由图6的实施例来确定不同范围光强度的操作。

图8示出了图6的像素单元的内部部件的示例。

图9a和图9b示出了用于确定光强度的示例方法。

图10a和图10b示出了用于执行量化的技术。

图11示出了像素单元实施例的框图。

图12a、图12b、图12c和图12d示出了用于确定光强度的示例方法。

图13示出了通过本公开的实施例可实现的一组入射光强度范围上的示例信噪比曲线。

图14示出了用于确定光强度的过程的流程图的实施例。

附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。

在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记之后用破折号和在相似部件之间进行区分的第二标记来区分相同类型的各种部件。如果说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个相似部件，而与第二附图标记无关。

详细描述

在以下描述中，为了解释的目的阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。

典型的图像传感器包括光电二极管，用于通过将光子转换成电荷(例如，电子或空穴)来感测入射光。图像传感器还包括浮动节点，该浮动节点被配置为电容器，以收集曝光周期期间光电二极管生成的电荷。收集的电荷可以在电容器处产生电压。电压可以被缓冲并馈送到模数转换器(adc)，adc可以将电压转换成表示入射光强度的数字值。

adc生成的数字值反映了在某个周期内存储在浮动节点处的电荷数量，该数字值可以与入射光的强度相关。然而，相关程度会受到不同因素的影响。首先，存储在浮动节点中的电荷量可以与入射光的强度直接相关，直到浮动节点达到饱和极限。超过饱和极限后，浮动节点可能无法接受光电二极管生成的附加电荷，并且附加电荷可能会泄漏并且不被存储。结果，存储在浮动节点处的电荷量可能低于光电二极管实际生成的电荷量。饱和极限可以确定图像传感器的可测量光强度的上限。

各种因素也可以决定图像传感器的可测量光强度的下限。例如，在浮动节点处收集的电荷可以包括与入射光强度无关的噪声电荷。噪声电荷的一个来源可以是暗电流，暗电流可以是由于晶体缺陷在光电二极管的p-n结处和连接到电容器的其他半导体器件的p-n结处生成的漏电流。暗电流可以流入电容器，并增加与入射光强度不相关的电荷。光电二极管处生成的暗电流通常小于其他半导体器件处生成的暗电流。噪声电荷的另一个来源可能是由于与其他电路的电容耦合。例如，当adc电路执行读取操作以确定存储在浮动节点中的电荷量时，adc电路可能通过电容耦合将噪声电荷引入浮动节点。

除了噪声电荷，adc还会在确定电荷量时引入测量误差。测量误差会降低数字输出和入射光强度之间的相关程度。测量误差的一个来源是量化误差。在量化过程中，一组离散的量级(quantitylevel)可以用来表示一组连续的电荷量，每个量级表示预定的电荷量。adc可以将输入电荷量与量级进行比较，确定最接近输入量的量级，并输出所确定的量级(例如，以表示量级的数字编码的形式)。当由量级表示的电荷量与映射到量级的输入电荷量不匹配时，可能会出现量化误差。可以用较小的量化步长(quantizationstepsize)(例如，通过减小两个相邻量级之间的电荷量差异)来减小量化误差。测量误差的其他来源也可以包括，例如，设备噪声(例如，adc电路的噪声)和比较器的失调，它们增加了电荷量测量的不确定性。噪声电荷和adc测量误差可以限定图像传感器的可测量光强度的下限。上限和下限之间的比率定义了动态范围，该动态范围可以决定图像传感器的操作光强度的范围。

可以基于由图像传感器阵列提供的强度数据来生成图像，每个图像传感器形成对应于图像像素的像素单元。像素单元阵列可以排列成行和列，每个像素单元生成电压，该电压表示与图像中的特定定位相关联的像素强度。阵列中包括的像素数量可以确定所生成图像的分辨率。电压可以由adc转换成数字强度数据，并且图像可以基于每个像素的数字强度数据来被重建。利用当前技术，一些像素单元可能不得不轮流访问adc以生成数字强度数据。例如，提供一组adc来同时处理由一行内每个像素单元生成的电压。但是相邻行的像素单元可能必须轮流访问该组adc。在一个示例中，为了生成图像，可以以滚动快门(rollingshuttering)方式对像素阵列进行操作，其中每个像素行暴露于入射光以顺序生成强度数据。例如，图像传感器的一个像素行可以在曝光周期中暴露于入射光。行内的每个像素单元可以基于曝光周期期间光电二极管生成的电荷来生成电压，并将该电压转发给adc。adc可以生成表示该像素行接收的入射光强度的一组数字数据。在为一个像素行生成该组数字数据之后，下一个像素行可以在随后的曝光周期中暴露于入射光，以生成另一组数字强度数据，直到所有像素行都已经暴露于入射光并具有输出强度数据。在又一个示例中，不同行像素的曝光时间可以有一些重叠，但是每行像素仍然需要轮流将从光电二极管电荷生成的电压转换成数字数据。可以基于每个像素行的数字强度数据来生成图像。

可以在许多不同的应用中找到图像传感器。例如，图像传感器被包括在数字成像设备(例如，数码相机、智能电话等)中，以提供数字成像。作为另一个示例，图像传感器可以被配置为输入设备，以控制或影响设备的操作，例如控制或影响可佩戴虚拟现实(vr)系统和/或增强现实(ar)和/或混合现实(mr)系统中近眼显示器的显示内容。例如，图像传感器可以用于生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，该定位跟踪系统操作同步定位和映射(slam)算法来跟踪例如，物理环境中用户的定位、用户的定向(orientation)和/或用户的移动路径。图像传感器也可以用于生成包括用于测量物理环境中用户和对象之间距离的立体深度信息的物理图像数据。图像传感器也可以被配置为近红外(nir)传感器。照明器可以将nir光的图案投射到用户的眼球中。眼球的内部结构(例如，瞳孔)可以从nir光生成反射图案。图像传感器可以捕获反射图案的图像，并将图像提供给系统以跟踪用户眼球的移动，从而确定用户的凝视点(gazepoint)。基于这些物理图像数据，vr/ar/mr系统可以生成并更新虚拟图像数据，用于经由近眼显示器向用户显示，以向用户提供交互式体验。例如，vr/ar/mr系统可以基于用户的凝视方向(这可以表示用户对对象的兴趣)、用户的定位等来更新虚拟图像数据。

可佩戴vr/ar/mr系统可以在光强度范围非常宽的环境中操作。例如，可佩戴vr/ar/mr系统可以在室内环境或室外环境中和/或一天中的不同时间操作，并且可佩戴vr/ar/mr系统的操作环境的光强度可以变化明显。此外，可佩戴vr/ar/mr系统还可以包括前述的nir眼球跟踪系统，其可能需要将非常低强度的光投射到用户的眼球中，以防止损伤眼球。结果，可佩戴vr/ar/mr系统的图像传感器可能需要具有宽的动态范围，以便能够在与不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光强度有关的输出)。可佩戴vr/ar/mr系统的图像传感器也可能需要以足够高的速度生成图像，以允许跟踪用户的定位、定向、凝视点等。具有相对有限动态范围并且以相对低的速度生成图像的图像传感器可能不适合于这种可佩戴vr/ar/mr系统。

本公开涉及可以提供扩展的动态范围和改进的处理速度的像素单元。像素单元可以包括光电二极管、第一电荷存储单元、第二电荷存储单元、第一电荷存储单元和第二电荷存储单元之间的转移栅极、以及模数转换器(adc)电路。第一电荷存储单元和第二电荷存储单元都能够存储由光电二极管生成的电荷，而转移栅极能够控制电荷从第一电荷存储单元到第二电荷存储单元的流动。例如，可以用偏置电压控制转移栅极，使得当光电二极管由于暴露于入射光而生成电荷时，电荷首先在第一电荷存储单元处被累积为剩余电荷，直到第一电荷存储单元处产生的电压超过由偏置电压设置的阈值。当第一电荷存储单元处产生的电压超过阈值时，附加电荷(由光电二极管生成)可以作为溢出电荷经由转移栅极移动到第二电荷存储单元。第一电荷存储单元可以是光电二极管的器件电容器。第二电荷存储单元可以是转移栅极的器件电容器、金属电容器、金属氧化物半导体(mos)电容器或其任意组合。第二电荷存储单元通常具有比第一电荷存储单元大得多的容量。

像素单元可操作用于在多种测量模式下执行光强度测量，不同的测量模式针对不同的光强度范围。在以不预期第一电荷存储单元达到满容量的低光强度范围为目标的第一测量模式中，adc可以被操作来测量存储在第一电荷存储单元中的剩余电荷量，以确定光强度。在以预期第一电荷存储单元达到满容量的中等光强度范围为目标的第二测量模式中，adc可以被操作来测量存储在第二电荷存储单元中的溢出电荷量，以确定光强度。此外，在以预期第一电荷存储单元和第二电荷存储单元都达到满容量的高光强度范围为目标的第三测量模式中，adc可以被操作来测量第二电荷存储单元处溢出电荷的累积速率，以确定光强度。

所公开的技术可以扩展用于低光强度测量和高光强度测量的像素单元的动态范围，并且生成表示测量结果的数字输出。例如，溢出电荷的累积速率(针对高光强度范围)提供了光强度的合理精确的表示，这使得即使当第二电荷存储单元达到容量极限时也能够测量光强度。因此，可以增加图像传感器的可测量光强度的上限，并且可以扩展动态范围。

此外，对于低光强度范围，基于测量存储在光电二极管的器件电容器处的剩余电荷来确定光强度也可以提高光强度确定的精度。如上所讨论，光电二极管通常比其他半导体器件生成更少的暗电流。因此，通过基于测量存储在光电二极管的器件电容器处的剩余电荷来确定光强度，可以减小暗电流对剩余电荷测量(和光强度确定)精度的影响。因此，引入了更少的噪声电荷(例如，由于暗电流)，这又降低了图像传感器的可测量光强度的下限，并进一步扩展了动态范围。公开了其他技术，例如可变电荷电压转换比、非均匀量化等，以进一步提高光强度确定的精度，尤其是对于低强度光范围。

此外，通过在像素单元中提供adc，像素阵列的每个像素单元可以暴露于入射光，并且同时生成在像素单元处接收的入射光强度的数字表示，以提供全局快门(globalshutter)操作。对于高速运动捕获，全局快门是有利的，因为它避免了与滚动快门操作相关联的运动失真问题，该运动失真由各行像素单元在不同时间捕获移动对象的不同部分的图像引起。此外，与像素单元行轮流被曝光并生成强度数据的传统方法相比，可以减少使用像素单元生成图像的处理时间。因此，所公开的技术不仅扩展了动态范围，而且提高了像素单元的操作速度，并且还可以改善依赖于像素单元的数字输出的应用(例如，vr/ar/mr系统)的性能以及用户体验。

本公开的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前以某种方式被调整的现实的形式，其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。

图1a是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(vr)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(ar)显示器和/或混合现实(mr)显示器来进行操作。

近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。

近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置成生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置成提供表示沿着z轴朝向方向a的两个视场的图像数据，而传感器120c可以被配置成提供表示沿着x轴朝向方向b的视场的图像数据，并且传感器120d可以被配置成提供表示沿着x轴朝向方向c的视场的图像数据。

在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式vr/ar/mr体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行slam算法来跟踪在物理环境中和用户视场内的一组对象。定位跟踪系统可以基于该组对象来构建并更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高在物理环境中跟踪用户定位的精度和鲁棒性。

在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户进行定位跟踪。照明器130可以将某些标记投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。

在一些实施例中，照明器130还可以实现立体成像。例如，一个或更多个传感器120a或120b可以包括用于可见光感测的第一像素阵列和用于红外(ir)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如，bayer滤光器)，第一像素阵列的每个像素被配置成测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于ir光感测)也可以覆盖有仅允许ir光通过的滤光器，第二像素阵列的每个像素被配置成测量ir光的强度。像素阵列可以生成对象的rgb图像和ir图像，ir图像的每个像素被映射到rgb图像的每个像素。照明器130可以在对象上投射一组ir标记，该对象的图像可以被ir像素阵列捕获。基于图像中所示对象的ir标记分布，系统可以估计对象的不同部分离ir像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如，对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。

如上所讨论，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光强度有关的输出)。

图1b是近眼显示器100的另一个实施例的示意图。图1b示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1b所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向d(与图1a的方向a相反)发射某个频率范围(例如，nir)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的nir光。nir光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b也可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。

如上所讨论，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置成输出非常低强度的光。在图像传感器150a和150b包括与图1a的图像传感器120a-120d相同的传感器设备的情形中，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度有关的输出，这可能进一步增加图像传感器的动态范围要求。

此外，图像传感器120a-120d可能需要能够高速生成输出来跟踪眼球的运动。例如，用户的眼球可以进行非常快速的运动(例如，眼跳运动(saccademovement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速运动，图像传感器120a-120d需要高速生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的运动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上所讨论，图像传感器也需要能够在低光强度的环境下操作。

图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exitpupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。

波导显示组件210被配置成将图像光导向位于出射光瞳230处的视窗，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。

在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，该一个或更多个波导显示器包括但不限于堆叠波导显示器(stackedwaveguidedisplay)、变焦波导显示器等。堆叠波导显示器是多色显示器(例如，红绿蓝(rgb)显示器)，其通过对各自的单色源是不同颜色的波导显示器进行堆叠而创建。堆叠波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠波导显示器和变焦波导显示器。

图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。

波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一个波导显示器向用户的另一只眼睛提供图像光。

源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismaticsurfaceelement)、和/或全息反射器阵列。

导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分或固定到其上。去耦元件是输出波导320的第二侧面370-2的一部分或固定到其上，使得导向元件360与去耦元件365相反。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。

第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。

控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340输出到具有大视场(fov)的用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角fov被提供给用户的眼球220。输出波导320被配置成提供视窗，其长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。

此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如，图1a的图像传感器120a-120d，以生成用户前方物理环境的图像数据(例如，用于定位确定)。图像传感器370也可以位于第二侧面370-2上，并且可以包括图1b的图像传感器150a和150b，以生成用户的眼球220的图像数据(例如，用于凝视点确定)。图像传感器370可以与不位于波导显示器300内的远程控制台通过接口连接。图像传感器370可以向远程控制台提供图像数据，远程控制台可以确定例如，用户的定位、用户的凝视点等，并确定要向用户显示的图像内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355。

图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方物理环境的图像。在一些实施例中，可以在该组像素单元402和物理环境之间插入机械快门404，以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门栅极(shuttergate)代替。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的频率范围。

在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。

源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。

光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。

输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的间距被选择成使得全内反射在输出波导320中发生，并且图像光355在输出波导320中朝向去耦元件365进行内部传播(例如，通过全内反射)。

导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的间距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。

在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。

图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、可佩戴设备等。

近视显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当ar眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、现实世界环境的视图。

近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(imu)530。波导显示组件210包括源组件310、输出波导320和控制器330。

imu530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。

成像设备535可以生成各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如，图1a的图像传感器120a-120d用于生成用户所处物理环境的图像数据，以执行用户的定位跟踪。成像设备535还可以包括例如，图1b的图像传感器150a-150b，用于生成用于确定用户的凝视点的图像数据，以识别用户感兴趣的对象。

输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。

控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。

应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。

跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。

引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。

图6示出了像素单元600的示例。像素单元600可以是像素阵列的一部分，并且可以生成对应于图像像素的数字强度数据。例如，像素单元600可以是图4的像素单元402的一部分。如图6所示，像素单元600可以包括光电二极管602、剩余电荷电容器603、快门开关604、转移栅极606、复位开关607、测量电容器608、缓冲器609和像素adc610。

在一些实施例中，光电二极管602可以包括pn二极管或pin二极管。快门开关604、转移栅极606和复位开关607中的每一个都可以包括晶体管。晶体管可以包括例如，金属氧化物半导体场效应晶体管(mosfet)、双极结型晶体管(bjt)等。快门开关604可以充当电子快门栅极(代替图4的机械快门404，或者与机械快门404相结合)，以控制像素单元600的曝光周期。在曝光周期期间，快门开关604可以被曝光启用信号611禁用(关断)，这允许光电二极管602生成的电荷移动到剩余电荷电容器603和/或测量电容器608。在曝光周期结束时，快门开关604可以被启用，以操纵由光电二极管602生成的电荷进入光电二极管电流吸收器(currentsink)617。此外，复位开关607也可以被复位信号618禁用(关断)，这允许测量电容器608累积电荷并产生反映累积电荷量的电压。在测量模式完成之后，复位开关607可以被启用以将存储在测量电容器608处的电荷清空到电荷吸收器620，以使测量电容器608可用于下一次测量。

剩余电荷电容器603可以是光电二极管602的器件电容器，并且可以存储由光电二极管602生成的电荷。剩余电荷电容器603可以包括例如，pn二极管结接口处的结电容器(junctioncapacitor)，或者连接到光电二极管602的其他器件电容器。由于剩余电荷电容器603靠近光电二极管602，所以由光电二极管602生成的电荷可以在电荷电容器603处累积。测量电容器608可以是转移栅极606的浮动端子处的器件电容器、金属电容器、mos电容器或其任意组合。测量电容器608可以用于存储一定量的电荷，这些电荷可以由像素adc610进行测量，以提供表示入射光强度的数字输出。存储在测量电容器608处的电荷可以是不会在剩余电荷电容器603处累积的溢出电荷(来自光电二极管602)，或者是从剩余电荷电容器603清空的剩余电荷。

现在参考图7，其示出了在剩余电荷电容器603和测量电容器608处对于不同目标光强度范围的电荷累积操作。图7示出了在剩余电荷电容器603和测量电容器608处对于不同光强度范围的关于时间所累积(或预期累积)的电荷总量。累积的电荷总量可以反映光电二极管602在曝光周期期间生成的总电荷，这又反映了在曝光周期期间入射到光电二极管602上的光强度。曝光周期结束时，可以测量数量。对于限定入射光强度的低光强度范围706、中等光强度范围708和高光强度范围710的阈值电荷量，可以定义阈值702和阈值704。例如，如果总累积电荷低于阈值702(例如，q1)，则入射光强度在低光强度范围706内。如果总累积电荷在阈值704和阈值702之间(例如，q2)，则入射光强度在中等光强度范围708内。如果总累积电荷高于阈值704，则入射光强度在中等光强度范围710内。

阈值702和704可以被设置成控制剩余电荷电容器603和测量电容器608处电荷的累积，以确保当入射光强度落入低光强度范围706或中等光强度范围708内时，电容器处累积的电荷量与入射光强度相关。例如，阈值702和704可以被设置为低于剩余电荷电容器603和测量电容器608的容量。如上所讨论，一旦剩余电荷电容器603和测量电容器608达到满容量，电容器就可能开始泄漏电荷，并且电容器处产生的电压可能无法准确地表示或反映在曝光周期期间由光电二极管602生成的电荷总数。通过将阈值702和704设置为低于剩余电荷电容器603和测量电容器608的容量，可以避免由电荷泄漏引起的测量误差。在一些示例中，阈值702可以被设置为2000e-(2000个电荷)，而阈值704可以被设置为63000e-(63000个电荷)。

剩余电荷电容器603和测量电容器608处的电荷累积可以由阈值702和704控制。例如，落在低光强度范围706内的入射光强度可以基于剩余电荷电容器603处累积的总电荷。假设剩余电荷电容器603在曝光周期结束时还没有满，则剩余电荷电容器603处累积的总电荷可以反映光电二极管602在曝光周期期间生成的总电荷，并且可以用于确定入射光强度。当剩余电荷电容器603处累积的总电荷超过阈值702时，光电二极管602生成的附加电荷可以作为溢出电荷转到测量电容器608。假设测量电容器608在曝光周期结束时还没有满，在测量电容器608处累积的总溢出电荷也可以反映光电二极管602在曝光周期期间生成的总电荷，并且可以用于确定入射光强度(其落在中等光强度范围708内)。

另一方面，在入射光强度在高光强度范围710内的情形中，在曝光周期结束之前，在测量电容器608处累积的总溢出电荷可能超过阈值704。随着附加电荷的累积，测量电容器608可能在曝光周期结束之前达到满容量，并且可能发生电荷泄漏。为了避免由于测量电容器608达到满容量而引起的测量误差，可以执行饱和时间测量，以测量在测量电容器608处累积的总溢出电荷达到阈值704所需的持续时间。可以基于阈值704与饱和时间之间的比率来确定测量电容器608处的电荷累积速率，并且可以根据电荷累积速率通过外推(extrapolation)来确定在曝光周期结束时在测量电容器608处可能已经累积的假设电荷量(q3)(如果电容器具有无限制的容量)。假设电荷量(q3)可以在高光强度范围710内提供入射光强度的合理准确的表示。

返回参考图6，如上所述，转移栅极606可以由测量控制信号612来控制，以控制剩余电荷电容器603和测量电容器608处对于不同光强度范围的电荷累积。例如，对于低光强度范围706，转移栅极606可以被控制为在部分导通(turned-on)状态下操作。在曝光周期期间，当剩余电荷电容器603处的总累积电荷达到阈值702时，转移栅极606的栅极电压可以基于剩余电荷电容器603处产生的电压来设置。利用这种布置，光电二极管602生成的电荷将首先存储在剩余电荷电容器603中，直到累积电荷量达到阈值702。就在曝光周期结束之前，转移栅极606可以被控制为在完全导通状态下操作，以将存储在剩余电荷电容器603中的电荷移动到测量电容器608。在电荷转移结束时，转移栅极606可以被控制为在完全关断(turned-off)状态下操作，以保持存储在测量电容器608中的电荷。此时，存储在测量电容器608中的电荷可以表示存储在剩余电荷电容器603中的电荷，并且可以用于确定入射光强度。另一方面，对于中等光强度范围708和高光强度范围710，当转移栅极606仍然处于部分导通状态并且存储在剩余电荷电容器603中的电荷尚未被转移到测量电容器608时，也可以就在曝光周期结束之前测量在测量电容器608处累积的溢出电荷。

缓冲器609可以感测在测量电容器608处累积的电荷，以在模拟输出节点614处生成模拟电压的副本(但是具有更大的驱动强度)。像素adc610可以将模拟输出节点614处的模拟电压转换成一组数字数据(例如，包括逻辑1和0)。在曝光周期结束之前(例如，对于中等光强度范围708和高光强度范围710)，或者在曝光周期之后(对于低光强度范围706)，测量电容器608处产生的模拟电压可以被采样，并且数字输出可以被生成。数字数据可以由一组像素输出总线616传输到例如，图5的控制电路510，用于表示曝光周期期间的光强度。

在一些示例中，测量电容器608的电容是可配置的，以提高低光强度范围的光强度确定的精度。例如，当测量电容器608被用于测量存储在剩余电荷电容器603中的剩余电荷时，可以减小测量电容器608的电容。测量电容器608电容的减小可以提高测量电容器608处的电荷电压转换比，使得对于一定量的存储电荷可以产生更高的电压。较高的电荷电压转换比可以减小由像素adc610引入的测量误差(例如，量化误差、比较器的失调等)对低光强度确定的精度的影响。测量误差可以对像素adc610可以检测和/或区分的最小电压差设置限制。通过增加电荷电压转换比，可以减少对应于最小电压差的电荷量，这又降低了像素单元600的可测量光强度的下限，并扩展了动态范围。另一方面，对于中等光强度，可以增加测量电容器608的电容，以确保测量电容器608具有足够的容量来存储例如，达到由阈值704定义的量的电荷量。

图8示出了像素adc610的内部部件的示例。如图8所示，像素adc610包括阈值生成器802、比较器804和数字输出生成器806。数字输出生成器806还可以包括计数器808和存储器设备810。计数器808可以基于自由运行时钟信号812生成一组计数值，而存储器810可以存储由计数器808生成的至少一些计数值(例如，最新计数值)。在一些实施例中，存储器810可以是计数器808的一部分。存储器810可以是例如，如下所述，基于局部像素值存储计数器值的锁存电路。阈值生成器802包括数模转换器(dac)813，dac813可以接受一组数字值并输出表示该组数字值的参考电压(vref)815。如下文更详细讨论的，阈值生成器802可以接受静态数字值以生成固定阈值，或者接受计数器808的输出814以生成斜坡阈值。

尽管图8示出了dac813(以及阈值生成器802)是像素adc610的一部分，但应当理解，dac813(以及阈值生成器802)可以与来自不同像素单元的多个数字输出生成器806耦合。此外，也可以在多个像素单元中共享数字输出生成器806，以生成数字值。

比较器804可以将模拟输出节点614处产生的模拟电压与阈值生成器802提供的阈值进行比较，并基于比较结果生成判定(decision)816。例如，如果模拟输出节点614处的模拟电压等于或超过阈值生成器802生成的阈值，则比较器804可以针对判定816生成逻辑1。如果模拟电压下降到低于阈值，则比较器804还可以针对判定816生成逻辑0。判定816可以控制计数器808的计数操作和/或存储在存储器810中的计数值，以执行模拟输出节点614处的斜坡模拟电压的前述饱和时间测量，以及执行模拟输出节点614处的模拟电压的量化处理，用于入射光强度确定。

图9a示出了像素adc610的饱和时间测量的示例。为了执行饱和时间测量，阈值生成器802可以控制dac813生成固定vref815。可以在对应于中等光强度范围和高光强度范围之间的电荷量阈值(例如，图7的阈值704)的电压处设置固定vref815。计数器808可以在曝光周期开始之后(例如，就在快门开关604被禁用之后)立即开始计数。随着模拟输出节点614处的模拟电压斜坡下降(或上升，取决于实现方式)，时钟信号812持续切换(toggle)以更新计数器808的计数值。模拟电压可以在某个时间点达到固定阈值，这导致比较器804的判定816翻转(flip)。判定816的翻转可以停止计数器808的计数，并且计数器808处的计数值可以表示饱和时间。如下面将更详细讨论的，测量电容器608处的电荷累积速率也可以基于持续时间来被确定，并且入射光强度可以基于电荷累积速率来被确定。

图9b示出了像素adc610量化模拟电压的示例。在测量开始后，dac813可以由计数器输出714编程，以生成斜坡vref815，斜坡vref815可以斜坡上升(在图9b的示例中)或者斜坡下降，这取决于实现方式。在图9b的示例中，可以用均匀的量化阶梯(quantizationstep)来执行量化过程，对于时钟信号812的每个时钟周期，vref815增加(或减少)相同的量。vref815的增加(或减少)量对应于量化步长。当vref815达到模拟输出节点614处模拟电压的一个量化阶梯内时，比较器804的判定816翻转。判定816的翻转可以停止计数器808的计数，并且计数值可以对应于累积的量化阶梯总数，以在一个量化阶梯内匹配模拟电压。计数值可以变成存储在测量电容器608处的电荷量的数字表示，以及入射光强度的数字表示。如上所讨论，模拟电压的量化可以发生在曝光周期期间(例如，对于中等光强度范围708)和曝光周期之后(例如，对于低光强度范围706)。

如上所讨论，当由adc610输出的量级所表示(例如，由量化阶梯的总数表示)的电荷量与由adc610映射到量级的实际输入电荷量之间不匹配时，adc610可能引入量化误差。可以通过使用较小的量化步长来减小量化误差。在图9b的示例中，可以通过vref815在每个时钟周期增加(或减少)的量来减小量化误差。

虽然可以通过使用较小的量化步长来减小量化误差，但是面积和性能速度可能会限制量化步长可以减小的程度。使用较小的量化步长，表示特定范围电荷量(和光强度)所需的量化阶梯总数可能会增加。可能需要较大数量的数据位来表示量化阶梯的增加的数量(例如，需要8位来表示255个阶梯，需要7位来表示127个阶梯等等)。较大数量的数据位可能需要将附加总线添加到像素输出总线616，而如果像素单元600用于头戴式设备或具有非常有限空间的其他可佩戴设备，这可能是不可行的。此外，使用较大数量的量化步长，adc610可能需要在找到(与一个量化阶梯)匹配的量级之前在较大数量的量化阶梯中循环，这导致处理功耗和时间的增加，以及图像数据生成速率的降低。对于一些需要高帧速率的应用(例如，跟踪眼球运动的应用)，降低的速率可能是不可接受的。

减小量化误差的一种方法是采用非均匀量化方案，其中量化阶梯在输入范围上是不均匀的。图10a示出了对于非均匀量化过程和均匀量化过程，adc编码(量化过程的输出)与输入电荷量级之间的映射的示例。虚线示出了针对非均匀量化过程的映射，而实线示出了针对均匀量化过程的映射。对于均匀量化过程，量化步长(用δl表示)对于输入电荷量的整个范围是相同的。相反，对于非均匀量化过程，量化步长根据输入电荷量而不同。例如，低输入电荷量的量化步长(用δs表示)小于大输入电荷量的量化步长(用δl表示)。此外，对于相同的低输入电荷量，可以使非均匀量化过程的量化步长(用δs表示)小于均匀量化过程的量化步长(δl)。

(注意：图10a中有一个错别字，应该是“非均匀(non-uniform)”而不是“没有均匀(none-uniform)”)。

采用非均匀量化方案的一个优点是可以减小用于量化低输入电荷量的量化阶梯，这又减小了量化低输入电荷量的量化误差，并且可以减小可由adc610区分的最小输入电荷量。因此，减小的量化误差可以降低图像传感器的可测量光强度的下限，并且可以增加动态范围。此外，尽管对于高输入电荷量，量化误差增加了，但是与高输入电荷量相比，量化误差可以保持很小。因此，可以减少被引入电荷测量的整体量化误差。另一方面，覆盖输入电荷量整个范围的量化阶梯的总数可以保持相同(或者甚至减小)，并且与增加量化阶梯数量相关联的前述潜在问题(例如，面积增加、处理速度降低等)可以避免。

图10b示出了像素adc610使用非均匀量化过程量化模拟电压的示例。与图9b相比，(图9b采用均匀量化过程)，vref815随着每个时钟周期以非线性方式增加，最初具有吞咽斜率(swallowerslope)，随后具有更大的斜率。斜率的差异归因于不均等(uneven)的量化步长。对于较低的计数器计数值(对应于较低输入量范围)，量化阶梯变小，因此vref815以较慢的速率增加。对于较高的计数器计数值(对应于较高输入量范围)，量化阶梯变大，因此vref815以较高的速率增加。vref815中不均匀的量化阶梯可以使用不同的方案被引入。例如，如上所讨论，dac813被配置成输出不同计数器计数值(来自计数器808)的电压。dac813可以被配置成使得对于不同的计数器计数值，两个相邻计数器计数值之间的输出电压的差(其限定量化步长)是不同的。作为另一个示例，计数器808还可以被配置成在计数器计数值中生成跳跃以生成不均匀的量化阶梯，而不是增加或减小相同的计数阶梯。在一些示例中，图10b的非均匀量化过程可以用于低光强度范围706和中等光强度范围708的光强度确定。

现在参考图11，其示出了像素单元1100的示例，像素单元1100可以是图6的像素单元600的实施例。在图11的示例中，pd可以对应于光电二极管602，晶体管m0可以对应于快门开关604，晶体管m1可以对应于转移栅极606，而晶体管m2可以对应于复位开关607。此外，pdcap可以对应于剩余电荷电容器603，而cof和cext电容器的组合可以对应于测量电容器608。测量电容器608的电容可由信号lg配置。当lg被启用(enabled)时，测量电容器608提供cof和cext电容器的组合容量。当lg被禁用(disabled)时，cext电容器可以从并联组合断开，并且测量电容器608仅包括cof电容器(加上其他寄生电容)。如上所讨论，可以减小测量电容器608的电容以增加用于低光强度确定的电荷电压转换比，并且可以增加测量电容器608的电容以提供用于中等光强度确定的必要容量。

像素单元1100还包括缓冲器609的示例和像素adc610的示例。例如，晶体管m3和m4形成源极跟随器(sourcefollower)(其可以是图6的缓冲器609)，以缓冲在of节点处产生的模拟电压，该模拟电压表示存储在cof电容器处(或在cof和cext电容器处)的电荷量。此外，cc电容器(cccap)、比较器1110、晶体管m5、或非门(norgate)1112以及存储器810可以是像素adc610的一部分，以生成表示of节点处的模拟电压的数字输出。如上所讨论，量化可以基于由比较器1110生成的、在of节点处产生的模拟电压与vref之间的比较结果(vout)。这里，cc电容器被配置成生成vin电压(在比较器1110的一个输入端)，该cc电容器跟踪缓冲器609的输出，并将vin电压提供给比较器1110以与vref进行比较。vref可以是用于饱和时间测量的静态电压(对于高光强度范围)或者是用于模拟电压量化的斜坡电压(对于低光强度范围和中等光强度范围)。adc编码输入可以由自由运行计数器(例如，计数器808)生成，并且由比较器1110生成的比较结果可以确定将要存储在存储器810中并且将作为入射光强度的数字表示被输出的adc编码输入。在一些示例中，用于低光强度确定和中等光强度确定的vref的生成可以基于如图10a和图10b中讨论的非均匀量化方案。

除了以上公开的技术，像素单元1100还包括可以进一步提高入射光强度确定的精度的技术。例如，cc电容器和晶体管m5的组合可以用于补偿由比较器1110引入的测量误差(例如，比较器的失调)以及被引入比较器1110的其他误差信号，从而可以提高比较器1110的精度。噪声信号可以包括例如，由复位开关607引入的复位噪声电荷、由于源极跟随器阈值失配而在缓冲器609的输出端处引起的噪声信号等。当晶体管m2和m5都被启用时，在复位阶段期间，反映比较器的失调和误差信号的电荷量可以被存储在cc电容器处。在复位阶段期间，由于存储的电荷，还可能在cc电容器两端产生电压差。在测量阶段期间，cc电容器两端的电压差保持不变，并且cc电容器可以通过减去(或加上)电压差来跟踪缓冲器609的输出电压，以生成vin。结果，可以针对测量误差和误差信号来补偿vin电压，这提高了vin和vref之间比较的精度以及随后量化的精度。

在一些示例中，像素单元1100可以在三阶段测量过程中操作。三个阶段中的每一个可以对应于图7三个光强度范围中的一个(例如，低光强度范围706、中等光强度范围708和高光强度范围710)。在每个阶段，像素单元1100可以以相应光强度范围的测量模式来被操作，并且基于比较器1110的输出来确定入射光强度是否落入相应的光强度范围内。如果入射光强度落入相应的光强度范围内，则像素单元1100可以将adc编码输入(来自计数器808)锁存到存储器810中，并(使用flag_1和flag_2信号的组合)将存储器810锁定以防止后续测量阶段重写存储器810。在三阶段测量过程结束时，存储在存储器810中的adc编码输入然后可以被提供作为表示入射光强度的数字输出。

现在参考图12a-图12d，它们示出了三阶段测量过程中像素单元1100的控制信号关于时间的变化。参考图12a，t0和t1之间的时间周期对应于第一复位阶段，而t1和t4之间的时间周期对应于曝光周期。在曝光周期内，t1和t2之间的时间周期对应于高光强度范围(例如，高光强度范围710)的第一阶段测量，t2和t3之间的时间周期对应于中等光强度范围(例如，中等光强度范围708)的第二阶段测量，而t3和t4之间的时间周期对应于第二复位阶段。此外，t4和t5之间的时间周期对应于低光强度范围(例如，低光强度范围706)的第三阶段测量。像素单元1100可以在时间t5提供表示入射光强度的数字输出，然后开始下一个三阶段测量过程。

如图12a所示，在t0和t1之间的时间周期期间，rst1和rst2信号以及lg信号、tx信号和快门信号都有效(asserted)。结果，存储在pdcap电容器、cext电容器和cof电容器中的电荷被移除。此外，没有电荷被添加到电容器，因为由光电二极管pd生成的电荷被晶体管m0转移走了。此外，比较器1110也处于复位阶段，而cc电容器可以存储反映由m2引入的复位噪声、比较器的失调、缓冲器609的阈值失配等的电荷。在周期接近结束时，tx栅极被偏置在阈值电平，以在pdcap处俘获预定数量(例如，阈值702)的电荷。阈值电平可以基于对应于预定数量电荷的电压来被设置。

在t1和t2之间的时间周期期间，快门信号是无效的(de-asserted)，而lg信号保持有效，这允许由pd光电二极管生成的电荷流入pd电容器，并且如果pd电容器处产生的电压超过由tx设置的阈值电平，则该电荷流入cof电容器和cext电容器。图12b示出了在该时间周期期间由adc610执行的测量操作。如图12b所示，adc610可以执行饱和时间测量，并且当计数器808自由运行时，可以将of节点处模拟电压的缓冲的且经误差补偿的版本(vin)与表示阈值704电荷量的阈值电压进行比较。如果存储在cof电容器和cext电容器处的总电荷超过阈值704(基于of节点电压)，则比较器1110将跳闸，并且计数器808在跳闸时生成的计数值可以存储在存储器810中。比较器1110的跳闸还导致存储flag_l的寄存器存储值1。非零flag_l值可以使或非门1112的输出保持为低，而不管到或非门的其它输入，并且可以锁定存储器并防止随后的测量阶段重写计数器808。另一方面，如果比较器1110在t1和t2之间的时间周期期间从未跳闸，这表明入射光强度低于高光强度范围，flag_l保持为零。无论比较器1110是否跳闸，可由随后测量阶段更新的flag_2都保持为零。

在对应于第二阶段测量的t2和t3之间的时间周期期间，可以由adc610量化of节点处的模拟电压。图12c示出了在该时间周期期间由adc610执行的测量操作。如图12c所示，斜坡vref可以被提供给比较器1110，以与of节点处模拟电压的缓冲的且经误差补偿的版本(vin)进行比较。尽管图12c示出了对应于均匀量化过程的斜坡vref，但应当理解，斜坡vref也可以包括对应于如参照图10b所描述的非均匀量化过程的非均匀斜坡。第二阶段测量在t3结束，此时已经循环经过了表示整个中等入射光范围的adc输入编码。如果斜坡vref匹配vin(在一个量化阶梯内)，则比较器1110将跳闸，并且如果存储器没有被第一阶段测量锁定(如flag_l的零值所指示的)，计数器808在跳闸时生成的计数值可以存储在存储器810中。如果存储器被锁定，则计数值将不被存储在存储器810中。另一方面，如果存储器没有被锁定，则计数器808在跳闸时生成的计数值可以存储在存储器810中，并且可以通过将值1写入存储flag_2的寄存器来锁定存储器。

在t3和t4之间的时间周期开始时，rst1和rst2信号可以在第二复位阶段再次有效。第二复位阶段的目的是复位cext和cof电容器，并准备cof电容器用于存储在第三阶段测量中(针对低光强度范围)从pdcap电容器转移的电荷。lg信号也可以无效，以将cext电容器从cof电容器断开，并减小测量电容器608的电容。如上所讨论，电容的减小是为了增加电荷电压转换比，以改善低光强度确定。比较器1110也进入复位状态，在该状态下，cc电容器可以用来存储由cext和cof电容器的复位生成的噪声电荷。接近时间t4时，在复位完成之后，rst1和rst2信号无效，而偏置tx可以增加以完全导通晶体管m1。存储在pd电容器中的电荷然后可以经由m1进入cof电容器。

在t4和t5之间的时间周期期间，针对低光强度范围执行第三阶段测量。在该周期期间，快门信号有效以结束曝光周期，而tx信号无效以从cof电容器断开pdca电容器和pd光电二极管，以确保cof电容器在测量时间期间仅存储曝光周期期间存储在pdcap电容器中的电荷。图12d示出了在该时间周期期间由adc610执行的测量操作。如图12d所示，斜坡vref可以被提供给比较器1110，以与of节点处模拟电压的缓冲的且经误差补偿的版本(vin)进行比较。尽管图12d示出了对应于均匀量化过程的斜坡vref，但应当理解，斜坡vref也可以包括对应于如参照图10b所描述的非均匀量化过程的非均匀斜坡。第三阶段测量在t5结束，此时已经循环经过了表示整个低入射光范围的adc输入编码。如图12d所示，如果斜坡vref匹配vin(在一个量化阶梯内)，则比较器1110将跳闸，并且如果存储器没有被第一阶段测量和第二阶段测量锁定(如flag_l和flag_2的零值所指示的)，计数器808在跳闸时生成的计数值可以存储在存储器810中。如果存储器被锁定，则计数值将不被存储在存储器810中。存储在存储器810中的计数值然后可以被提供作为表示入射光强度的数字输出。

图13是通过本公开的实施例可实现的一组入射光强度范围上的示例信噪比曲线。信噪比(snr)可以基于表示入射光强度的信号功率和噪声功率之间的比率来被确定。噪声功率可以包括，例如，由暗电流、开关噪声(例如，读取噪声)、设备噪声(例如，散粒噪声)以及信号功率测量中引入的误差所生成的噪声电荷，该误差包括例如，量化误差、比较器的失调、设备失配等。如图13所示，snr曲线可以在整个光强度范围上及相邻强度范围之间的边界处变得平滑且连续。snr曲线的平滑度对于确保像素单元性能的可预测性是所需要的。在这个示例中，由于在整个该组入射光强度范围中，设备噪声(例如，散粒噪声和暗电流)大部分时候比其他噪声(例如，由诸如量化误差的测量误差生成的噪声、复位噪声等)占优势，所以snr曲线可以变得平滑。可以使用所公开的技术来降低这些噪声，例如增加用于低光强度测量的电荷电压转换比、非均匀量化、以及用于比较器的失调、设备失配、复位噪声等的补偿方案。

图14示出了用于确定像素单元(例如，像素单元600、像素单元1100等)处入射光强度的过程1400的流程图的实施例。过程1400可以由控制器连同像素单元600和像素单元1100的各种部件一起执行。过程1400开始于步骤1402，其中在曝光模式中操作像素单元，在曝光模式中，光电二极管可以将电荷转移到剩余电荷电容器和/或测量电容器。在步骤1404中，可以操作像素单元来将测量电容器处产生的电压与固定阈值电压进行比较，以生成第一判定和计数器处的第一计数。步骤1404可以是针对高光强度范围的第一测量阶段，并且第一计数可以表示饱和时间测量。如果第一判定是肯定的(在步骤1406中)，则像素单元可以前进到步骤1408并将第一计数存储在存储器中，然后通过使第一标志(例如，flag_1)有效来锁定存储器，并且然后前进到步骤1410以执行第二测量阶段。如果第一判定不是肯定的，则像素单元也可以直接前进到步骤1410以执行第二测量阶段。

在步骤1408中，操作像素单元以将测量电容器处产生的电压与第一斜坡电压进行比较，从而生成第二判定和计数器处的第二计数。步骤1408可以是中等光强度范围的第二测量阶段。然后，在步骤1412中，像素单元可以确定第二判定是否为肯定的，以及存储器是否未被锁定(例如，基于第一标志flag_l保持是无效的)。如果第二判定是肯定的并且存储器未被锁定，则像素单元可以前进到步骤1414并且将第二计数存储在存储器中，并且通过使第二标志(例如，flag_2)有效来锁定存储器，并且然后前进到步骤1416以执行第二测量阶段。如果第一判定不是肯定的，则像素单元也可以直接前进到步骤1416以执行第三测量阶段。

在步骤1416中，作为第三测量阶段的一部分，像素单元可以复位测量电容器以清空存储的电荷。在步骤1418中，像素单元还可以减小测量电容器的电容，以增加电荷电压转换比。在步骤1420中，像素单元可以将存储在光电二极管的剩余电荷电容器中的剩余电荷转移到测量电容器。像素单元然后前进到步骤1422，以将测量电容器处产生的电压与第二斜坡电压进行比较，以生成第三判定和计数器处的第三计数。然后，在步骤1424中，像素单元继续确定第三判定是否是肯定的以及存储器是否未被锁定(例如，基于第一标志flag_1和第二标志flag_2中的任何一个是否有效)。如果第三判定是肯定的并且存储器未被锁定，则在步骤1426中，像素单元将第三计数存储在存储器中，然后前进到步骤1428以输出存储在存储器中的计数值。另一方面，如果第三判定不是肯定的，或者存储器已经被锁定，则像素单元将直接前进到步骤1428以输出存储在存储器中的计数值(其可以是第一计数或第二计数之一)。

本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质、或者适于存储电子指令的任何类型的介质中，这些介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的体系结构。

本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。