数字成像传感器在许多设备和系统中(诸如在数字相机中)被采用以捕捉图像。成像传感器采用检测像素的大型半导体阵列，其可包括电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)器件，等等。成像传感器可被配置成捕捉跨越可见光和红外光范围的电磁频谱的范围。
当被配置成捕捉红外光时，成像传感器可以在飞行时间(tof)相机系统中被采用。tof相机使用红外光的发射来测量场景的深度，该红外光的发射被精确地定时成由成像传感器进行测量或检测。这些tof相机可以在其中标识场景中的各对象之间的相对深度是有用的许多应用中被采用，诸如交互式游戏设备、虚拟现实设备、增强现实设备、工业控制、医疗扫描仪或其他设备。
概述
本文中提供了采用成像传感器来检测红外和可见光的系统、装置和方法，诸如飞行时间(tof)测量设备及相关联的成像传感器阵列。在一个示例中，提出了一种包括半导体基板的成像传感器，该半导体基板包括用于并发地感测红外光和可见光的散置式像素结构的阵列。像素结构中的每一者包括被配置成检测红外光的至少第一像素元件和被配置成检测可见光的至少第二像素元件。像素结构中的每一者进一步包括共享输出电路，该共享输出电路耦合至少第一像素元件和至少第二像素元件，使得第一输出状态呈现对应于第一像素元件的检测到的红外光的第一信号，并且第二输出状态呈现对应于第二像素元件的检测到的可见光的第二信号。
提供本概览以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。可以理解，本概览并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
参考以下附图可更好地理解本公开的许多方面。尽管结合这些附图描述了若干实现，但本公开并不局限于在此所公开的这些实现。相反，意图是要覆盖所有的替代方案、修改和等价物。
图1解说了一实现中的飞行时间相机环境。
图2解说了一实现中的飞行时间感测系统的系统图。
图3解说了一实现中的像素结构的俯视图。
图4解说了一实现中的像素结构的横截面图。
图5解说了一实现中的像素结构的横截面图。
图6解说了一实现中的像素结构的横截面图。
图7解说了用于一实现中的成像传感器的时序图。
图8解说了一实现中的像素结构的横截面图。
图9解说了一实现中的像素结构的横截面图。
图10解说了一实现中的像素结构的横截面图。
图11解说了一实现中的像素结构的横截面图。
图12解说了一实现中的像素结构的横截面图。
图13解说了一实现中的像素结构的横截面图。
图14解说了一实现中的操作成像传感器的方法。
图15解说了适用于实现本文中所公开的任何架构、过程、方法和操作场景的示例控制器。
详细描述
基于飞行时间(tof)的三维(3d)相机已在工业自动化、医疗成像、汽车驾驶辅助、虚拟现实系统、增强现实系统以及游戏和其他消费领域中找到了若干应用。tof传感器可通过使用主动照明进行测量来递送3d图像的深度信息。很多时候，可由tof系统检测到的最大深度受到红外滤光组件的限制，这可降低红外传感器的灵敏度并且衰减红外照明系统的检测到的强度。可见光成像传感器可被采用以增强红外成像，从而克服红外成像传感器在景深方面的一些限制。虽然tof传感器可使用共模输出来提供单色二维(2d)图像，但是当场景中的对象在远距离处时，这些2d图像可能在深度方面受到相关联的红外(ir)滤光器组件的限制。
在一些示例中，分开的黑白或者红/绿/蓝(rgb)可见光谱相机被包括，这可导致庞大的成像装备以及增加的制造成本和系统功耗。在一些实例中，两组分开的成像传感器被包括在相同的传感器阵列上，这可增加像素阵列的架构复杂度。一些系统已将红外成像传感器与可见光成像传感器一起组合到单个设备中或组合到微芯片中所使用的硅晶片上。然而，两个成像传感器的分隔距离可导致视差问题。此外，这些设备仍然在个体像素的高功耗和灵敏度方面遇到问题。当分开的成像传感器被采用时，可能难以确保在可见光和红外图像的捕捉之间的准确定时，这可能在图像处理和tof计算期间导致问题。
在本文中的各示例中，讨论了可以在tof相机系统以及其他成像应用中被采用的各种增强的成像传感器和像素布置。如以下讨论的，讨论了通过使用单个像素布置来检测被动2d图像(rgb或bw)以及主动3d图像(即tof)两者而克服问题的像素阵列架构和定时方法，其增强了成像传感器的空间分辨率并且还降低了系统成本和功耗。
本文中讨论了可见光和红外(ir)光。可见光通常包括对应于人眼视觉范围的光的波长(波长近似为390纳米(nm)至700nm)。ir光包括从约700纳米延伸至1毫米(mm)的光的波长。波长范围的变化是可能的，但是通常而言本文中所讨论的可见光和ir光指的是以上近似范围。
作为第一示例，呈现了图1。图1是解说tof相机环境100的系统图。环境100包括飞行时间相机系统110和场景元素101-102。示出了tof相机系统110的详细视图，其包括被安装在一个或多个电路板123上的红外发射器120、组合的ir/可见光传感器121和tof处理电路系统122。tof相机系统110通过通信链路125与外部系统通信。在一些示例中，ir发射器120和图像处理电路系统的元件被包括在传感器121中。
在操作中，tof相机系统110使用ir发射器120发射ir光111以照明场景103中的元素，诸如场景元素101-102。ir光111从场景113中的对象和元素反射离开并且被传感器121接收为经反射的ir光112。传感器121检测经反射的ir光112以及由环境光113照明的场景中的对象和元素。传感器121可使用彼此散置在传感器121的半导体基板上的像素阵列来检测ir光和可见光两者。
一旦传感器121检测到ir和可见光，表示该检测到的光的像素数据就被提供给tof处理电路系统122，该tof处理电路系统122处理该像素数据以确定一个或多个图像，其中这些图像中的至少一个图像包括由ir照明产生的场景的深度图，而另一其他图像则包括由环境光113产生的被动可见光图像。传感器121中的每个像素可具有相关联的滤光元件以允许对ir光或可见光的选择性部分的检测，这将在下面更详细地讨论。
返回参考图1的元件，ir发射器120可包括一个或多个红外光发射器，诸如发光二极管(led)、激光发射器、激光二极管发射器或其他组件。ir发射器120还可包括被配置成向ir发射器120提供功率以及使ir光的发射与由tof处理电路系统122提供的定时信号同步的各种驱动器电路系统。
传感器121包括连同相关联的驱动器、电源和输出电路系统一起被形成在半导体基板上的像素阵列。各个个体像素可结合在ccd像素或cmos像素中找到的技术和半导体结构以及其他基于半导体的光检测技术和元件。传感器121的进一步的示例将在本文中的图3-13中进行讨论。
链路125包括用于与外部系统(诸如计算设备、微处理器、服务器、网络设备、智能电话设备或其他处理系统)通信的一个或多个有线或无线通信链路。链路125可携带如由tof相机系统110确定的成像数据和相关数据，或者可携带由外部控制系统传输的命令和指令。链路125可包括通用串行总线(usb)接口、外围组件互连高速(pcie)接口、无线接口、ieee802.15(蓝牙)无线链路、ieee802.11(wifi)无线链路、直接媒体接口(dmi)、以太网接口、联网接口、串行接口、并行数据接口或其他通信或数据接口(包括其组合、变体和改进)。
为了进一步解说图1的元件并提供一个示例tof相机系统的详细视图，呈现了图2。图2是解说tof感测系统200的框图，该tof感测系统200可以是本文中所讨论的任何tof系统的示例。系统200的元件可被结合到tof相机系统110的元件中。图2包括场景内的感兴趣对象201，该场景由系统200成像以标识至少对象201的tof信息，并通过通信链路251将该信息提供给外部系统250。tof信息(诸如tof信号)可包括与检测到的红外光脉冲和参考信号之间的相移成比例的信号。tof信号可被用来确定距场景中的红外光从其反射的对象(诸如对象201)的距离。
系统200包括ir发射器210、射频(rf)调制器211、控制器212、光学器件220、传感器221和相位模块222。rf调制器211包括生成rf调制信号240且由控制器212通过链路231控制的系统振荡器。rf调制信号240通过链路230被提供给ir发射器210以作为ir光203发射。所发射的ir光203由ir发射器210根据rf调制信号240进行调制，并照明对象201。
经历飞行时间延迟，向后散射反射的ir光203由光学器件220接收且经由光学路径236被提供到传感器221上。传感器221包括至少一个像素或一个像素阵列。rf调制器211同时通过链路232将参考信号作为rf调制信号240传输到相位模块222。相位模块222由控制器212通过链路234来控制。相位模块222将由rf调制器211生成的信号240的相位移位，并通过链路233将相移信号传送到被用于传感器阵列221中的tof感测的红外像素。该相移信号可以在执行下面进一步的示例中所讨论的解调/相位处理时使用。传感器221可同时检测ir光和可见光两者。可见光检测由可见光源202提供，该可见光源202在一些示例中包括环境光。
转到图2的元件，ir发射器210可包括可以根据rf调制信号240进行调制的发光二极管、二极管激光器或其他ir光发射器。rf调制器211包括基于来自控制器212的控制指令生成rf已调信号的各种电路系统。rf调制器211可包括晶体振荡器、时钟生成电路系统、锁相环(pll)电路系统或其他调制电路系统。相位模块222包括相位比较器电路，该相位比较器电路可产生rf调制信号240与通过链路233从传感器221发送的信号之间的相移，以供在确定飞行时间(tof)信号时使用。在一些示例中，rf调制器211和相位模块222被组合成单个电路模块。传感器221包括被用于确定对象201的tof信息的ir/可见光传感器。传感器221包括本文中所讨论的用于各种像素阵列和像素架构的元件。光学器件220可包括可以使可见光和ir光两者通过并聚焦的光学接口元件。光学器件220可包括用于将入射光光学地耦合到传感器221上的棱镜、光学粘合剂、透镜、反射镜、漫射器、光纤等。链路230-235可各自包括有线或无线链路以互连图2的相关联的模块。当被组合到一个或多个印刷电路板上时，链路230-235可包括印刷电路迹线。
控制器212可包括通信接口、网络接口、处理系统、计算机系统、微处理器、存储系统、存储介质或一些其他处理设备或软件系统，并且可以分布在多个设备之间。控制器212的示例可包括软件，诸如操作系统、日志、数据库、实用程序、驱动程序、高速缓存软件、联网软件以及被储存在非瞬态计算机可读介质上的其他软件。图15中示出了控制器212的进一步的示例。外部系统250可包括网络设备、计算设备、游戏平台、虚拟现实系统、增强现实系统或其他设备(包括其组合)。系统200还可包括电源电路系统和装备、外壳、机架元件或通风/冷却系统以及图2中出于清楚起见未示出的其他元件。
图3解说了像素结构300的俯视图。像素结构300例示了一个像素“节距”，其包括被配置成嵌套在被配置成感测红外光的像素的节距区域中的用于感测可见光的一个或多个像素。像素结构300可以在像素阵列中被采用以形成图像传感器，其中多个嵌套像素结构形成阵列。例如，图3中示出了成像传感器370，其包括像素阵列371和像素控制电路系统372。在图3中，示出了像素结构300的俯视图，其表示成像传感器370的单个像素结构区域。
像素结构300中的像素被配置成感测从顶部传播到像素结构且进入图面中的入射光。该示例被称为前侧照明(fsi)。其他配置是可能的，其中像素被配置成感测从底部传播到像素结构且从图面传出的入射光，这被称为背侧照明(bsi)。任何相关联的滤光层都被定位在光源和像素(即在fsi示例中的“顶部”侧以及在bsi示例中的“背面”侧上的像素)之间。
图3解说了像素结构300的半导体拓扑。图3还指示了沿着a-a'(其在下面的附图中用于侧视图图解)的剖面“切割图”。使用各种光刻制造工艺(诸如蚀刻、沉积、加掩模、扩散、离子注入等)来使各种结构形成在其上的半导体基板被采用。半导体晶片通常被用作基板，在该示例中，该基板是图3中被标记为311的p型晶片。虽然n型晶片可被采用，但为了清楚起见，本文中的示例将聚焦在p型晶片上。
像素结构300包括嵌套在单个ir像素节距内的多于一个个体像素，其中各个个体像素中的至少一个个体像素被配置成感测ir光，并且这些像素中的至少另一像素被配置成感测可见光。各个个体像素各自为个体光电检测器，其可包括有源像素传感器(cmos)型像素、光敏二极管、光栅二极管或pin式光电二极管以及其他光电检测器。
像素结构300包括至少两个解调多晶硅(多晶(poly))栅极(即栅极340和341)，其通过至少创建用于对红外光感生的电荷进行检测和积分的势阱而被用于ir光的感测。像素结构300包括两个多晶栅极(即栅极342和343)，其通过至少创建用于对可见光感生的电荷进行检测和积分的势阱而被用于可见光的感测。相关联的栅极氧化物区303被包括在每个多晶栅极下方，诸如驻留在栅极氧化物区303的顶部的栅极340、341、342和343。
像素结构300还包括p型硅上的读出浮动n+扩散320-321。在操作期间，来自像素区域的电荷将被转储或转移到浮动扩散320-321中相关联的浮动扩散以供共享读出电路(被示为图3中的元件350，且在随后的附图中被高亮)读出。为了使可见光像素和红外光像素能够共享浮动扩散320-321中的浮动扩散，电荷转移栅极330、331、332和333被包括在像素结构300中。红外光生成的电荷的转移由栅极331和333控制。可见光生成的电荷的转移由栅极330和332控制。虽然图3中示出了每像素配对两个电荷转移栅极(例如，栅极330-331或栅极332-333)，但是在其他示例中，每像素配对共享一个退化栅极。
在图3中还示出了ir带通滤光器301，其过滤入射到红外像素区域中的光并充当ir光带通滤光器(在概览图中仅例示了矩形滤光器的角落)。ir带通滤光器301可以在制造期间被沉积为像素结构300的顶部上的层。在图3中，ir带通滤光器301被示为分层在后端氧化310的顶部，并且后端氧化310覆盖像素结构300的整体。ir带通滤光器301可包括与场景的主动照明中所使用的ir光波长相匹配(诸如与图2中的发射器210的发射频谱相匹配)的带通滤光器。
在一些示例中，在每个可见光像素区域上方采用红/绿/蓝(r/g/b或rgb)滤光器302。在一些示例中，rgb滤光器302可被省略。当被使用时，rgb滤光器302过滤入射到可见光像素区域中的光并且充当所选择的光波长(诸如红、绿或蓝)的光带通滤光器。在诸如成像传感器之类的阵列式结构中，可见光滤光器的颜色可被选择成在各种像素之间交替以提供带红色滤光的像素、带绿色滤光的像素和带蓝色滤光的像素，这些像素可被用来产生全色图像。在其中特定颜色过滤不被期望的示例中，rgb滤光器302可被省略并且灰度图像可被产生。rgb滤光器302可以在制造期间被沉积为像素结构300的顶部上的层。rgb滤光器302可被应用于各个个体像素以扩展成覆盖多于一个像素，诸如使单个滤光层覆盖多于一个相邻可见光像素。ir带通滤光器和rgb滤光器可以在一单个3d/2d检测器像素节距区域内交错。
当被包括在形成图像传感器370的阵列371中时，可见光像素与ir/tof像素散置在半导体基板(诸如硅晶片基板)上。可见光像素在大小上通常比ir光像素小，并且可被包括在靠近每个ir光像素的边际区域中，从而导致散置的像素的紧密装填。这种散置的布置使用传感器内部的边际区域来收集rgb或灰度值信息，且因此需要较少或不需要附加的硅实际使用面积。共享的浮动扩散也可降低像素阵列的实际使用面积，即使在具有ir和可见光像素两者的情况下也是如此。这种散置的布置还增强了3d/2d像素的空间分辨率。
像素结构300和成像传感器370的元件的材料和几何形状可以变化。本文中的像素结构采用了各种半导体制造技术和材料。通常，像素结构的各种元件包括硅的外延层，其可被掺杂或离子注入以形成各种区域。多晶硅栅极被采用并且可通过化学气相沉积来被沉积或者用光刻和蚀刻以及其他工艺来图案化。可使用热生长技术或其他氧化物形成工艺来长成各种氧化物。
作为像素结构300的进一步示例，呈现了图4，其包括像素结构300的横截面配置400，如沿着截面线a-a'从图3中切割的。因此，图4仅聚焦图3中示出的且在下面的附图中出于解说的目的被标记为像素结构300的整个像素结构的一部分。在图4中，更详细地示出了示例读出电路350。具体而言，读出电路系统350包括复位金属氧化物半导体(mos)晶体管351，其中晶体管351的源极端子连接到正电压vd351。vd可包括逻辑电平电压，该逻辑电平电压在vreset354被使能时向浮动扩散321(其连接到缓冲器355)呈现复位电压电平，并且允许浮动扩散321和缓冲器355的输入被拉“升”到电压vd且通过缓冲器355寄存为逻辑“1”。缓冲器355的输入被连接到mos晶体管353的漏极。电容352和缓冲器355将ir光/tof电荷和可见光电荷转换成缓冲器输出节点356处的电压。每个像素捕捉周期通过由控制电路212或其他控制电路系统计时的vreset复位。
图5解说了配置500，其包括与图4类似的特征并且为三个任选特征——拆分浮动扩散、像素分离特征和背侧腔添加了细节。图5的像素结构501还包括与像素结构300类似的元件以及下面讨论的任选特征。
在第一特征示例中，任选的拆分扩散布置是从浮动扩散320-321形成的。在该示例中，浮动扩散320-321诸如通过金属互连来被电连接，且因此呈现公共电势。浮动扩散321位于第一组ir/可见光像素附近，诸如图3所示，如被定位成靠近栅极330和331。浮动扩散320位于第二组ir/可见光像素附近，诸如图3所示，如被定位成靠近栅极332和333。当相关联的电荷转移栅极330、331、332和333被使能以允许将电荷转储到相关联的浮动扩散320-321上时，各个个体浮动扩散320-321中的每一者可以从附近的像素势阱接收电荷。
图5还解说了像素分离特征502，该像素分离特征502用于将毗邻像素结构彼此隔离开并且实质上降低了到像素阵列的毗邻像素结构的电荷迁移。电荷迁移的此实质降低可包括对电荷迁移的完全阻止，或者可改为包括对电荷迁移的抑制或电荷迁移中的其他衰减，其中在一些情形中完全的电荷迁移可能不被阻止。电荷迁移抑制的量级可基于期望的性能、材料属性或感生的势阱水平以及其他因素而变化。在一些示例中，特征502包括将像素与相邻像素物理分开的腔或蚀刻出的区域。在其他示例中，多晶栅极布置被采用，其在每个像素之间放置类似于电荷转移栅极330、331、332和333的分离栅极，其中这些分离栅极被配置成提供相邻像素之间的势垒。在一些示例中，当通过其他特征或技术来减轻到相邻像素的电荷迁移时，特征502可被省略。
图5还示出了背侧腔503。在本文的大多数示例中，前侧照明(fsi)技术被采用，其中光从图5中的“上方”入射。然而，还可以采用背侧照明(bsi)技术，其中光从图5中的“下方”入射。ir光可穿透通过图5中的p型硅晶片311至可接受的深度。然而，可见光在硅晶片311中快速衰减，并且可接受的光水平可能不到达捕捉可见光的像素区域。腔503可被提供，其降低可见光像素区域处的硅晶片311的深度或厚度并且允许光的穿透。在一些示例中，硅晶片311约7微米厚，并且腔提供约3微米或更小的局部降低的厚度。各种半导体制造技术可被采用以形成腔503，诸如光致抗蚀剂/蚀刻技术。应当注意，在bsi示例中，ir带通滤光器301和任选的rgb滤光器302将被分层在硅晶片311的“底部”侧而不是如图5中所示的“顶部”侧。
图6解说了配置600，其包括与图4类似的特征并且添加了用于各种元件的电连接的细节。具体而言，图6解说了连接到电源的细节，而图7中解说了时序时钟图。在本文中的示例中，各种高/低电压电平可被采用，其可对应于逻辑电平电压。但是，对于图6-13中的示例，低电压被认为约0.5v，而高电压则被认为约2.0v。术语“电压”和“电势”也可互换使用。
首先转到包括像素结构300的ir或tof感测部分的像素元件，多晶栅极340-341(在图3中找到)被采用作为解调栅极，以基于提供给栅极340-341的ir光及相关联的定时信号来产生tof信息。在图6中，为了清楚起见仅示出了栅极340，但栅极341也在该解调技术中被采用。栅极340在节点613处被耦合到相关联的相位时钟信号720。栅极341具有类似的连接节点(虽然未在图6中示出)，栅极341在相关联的节点处被耦合到相关联的相位时钟信号730。具体而言，栅极340由图7中的信号vma720驱动，而栅极341由图7中的信号vmb730驱动。通过以该方式驱动栅极340-341，解调发生，其提供表示可以耦合到相关联的浮动扩散的tof信号的电荷，如将在下面更详细地讨论的。电荷分离/转移栅极331和333被连接到诸如在图6中的栅极331的节点612处的偏置电压vtx1740。
可见光传感器部分可包括光电二极管(例如，光栅二极管332)，其被连接到节点610处的控制电压源vp。电荷分离/转移栅极330和332被连接到诸如在图6中的栅极330的节点611处的偏置电压vtx2750。ir光像素结构和可见光像素结构两者共享相同的输出浮动扩散321和相同的读出电路系统350。
如以上所提到的，图7是解说被采用以驱动像素结构300以及本文中找到的其他像素结构的信令的时序图。为了并发地执行tof感测和可见光感测，像素结构300根据图7中的时序图来操作。该时序图用一个图像捕捉周期内的五(5)个操作阶段来表征，这些操作阶段与在下面解释的像素结构300操作相关。操作阶段i-v在一个像素结构中完成一个周期的可见光和ir光检测/感测的所有过程。在典型示例中，由像素组成的阵列执行具有对不同光学频域处的主动ir照明和被动可见光的独立响应的3d/2d测量。
图8解说了用于像素结构300的复位过程800。图7的阶段i对应于图8中的复位过程800。ir和可见光像素电荷均在操作阶段i中被复位，该操作阶段i在图7中在时间t0和t1之间发生。图8中示出了所有多晶栅极下方的表面势阱配置，其设立了执行复位过程的自由电荷沟道路径。每个势阱的极性用电位计820来指示，该电位计820指示从0到+ψ的相对电势。应当注意，由于在典型的mos结构中找到的“平带”条件，因此表面电势由ψ表示，其通常不等于被施加到对应栅极的电压。
当mos晶体管栅极的vreset保持在高电势时，可见光生成的电荷和ir光生成的电荷两者都将被漏出到电压源vd351，从而将浮动扩散321复位到电压vd。在复位过程期间，由vma720和vmb730提供的tof解调时钟可被激活，或者改为被设置为相同的电平。图7中的时序图示出了一个时钟周期复位过程，但是复位过程可发生达任何更长的时间量。
为了允许可见光生成的电荷和ir光生成的电荷从浮动扩散321漏到电压vd，转移栅极330和331都可被使能，这允许每个像素区域中的电荷被转储到浮动扩散321上。在一些示例中，转移栅极330和331都被使能，而在其他示例中，转移栅极330和331被交替地使能。对于可见光生成的电荷，图8将转移栅极330示为被使能(如图7中的vtx2740所指示)，这使得栅极330下方的电势达到电势ψtx2831，其在电势上与由栅极332下方的vp760建立的ψp830类似。该配置使来自栅极332下方的电荷漏到浮动扩散321并复位可见光像素区域。为了复位栅极340下方的ir像素区域，类似的过程被遵循，但相反的是，转移栅极331被使能，这使得栅极331下方的电势ψtx2831达到与由栅极340下方的vma720建立的ψma834类似的电势。该配置使来自栅极340下方的电荷漏到浮动扩散321并复位红外像素区域。对于栅极341和343下方的区域可以遵循类似的过程，这些区域具有类似的操作但共享不同的转移栅极320。
应当注意，图8-13中示出了电势ψma835以解说与栅极341相关联的电势/电压。栅极341由图7中的信号vmb730控制。当栅极340和栅极341被驱动到如图7所见的相反的电势时，由已调ir光生成的电荷的解调被执行。
图9解说了配置900，其包括准备好在复位过程之后接收光的像素结构300。图9解说了图7中的时间t1处的操作阶段。在图9中，两个转移栅极330-331都被禁用，这抑制了栅极332和340下方的势阱中所累积的任何光生成的电荷转移或转储到浮动扩散321上。具体而言，图9将电势ψtx2831和ψtx1833示为创建势垒，这抑制了从相关联的势阱ψp830和ψma834到浮动扩散321的电荷传播。
图10解说了配置1000，其示出了由可见光像素360和ir光像素361检测光的像素结构300。图10对应于图7中的在时间t1和t2之间的操作阶段ii。在图10中，可见光和红外光(vs+ir)1060同时被接收到两个像素中。ir光从发射器设备(在图10中未示出，但可类似于图1和2中所见的发射器设备)发射，其照明场景或该场景内的对象。环境光和主动光源也可以提供可见光。rgb滤光器302被定位在可见光像素360上方，并且ir带通滤光器301被定位在ir光像素361上方。这些滤光器充当带通滤光器，其允许所选择的光的波长穿过，同时阻挡/吸收不想要的波长。因此，ir带通滤光器301允许ir波长穿过，同时阻挡可见波长。相反，rgb滤光器302(如果应用的话)允许所选择的红色、绿色或蓝色可见波长穿过，同时阻挡ir波长。如果rgb滤光器302不被应用，则传感器递送灰度值。该光在选择性滤光之后到达为像素360和像素361创建的势阱。
在ir电荷的复位过程完成之后，被施加到栅极330的电压vtx2611被设置为低电压，如图7中vtx2750所见。该栅极下方的表面电势ψtx2831低于ψp830，其充当“阀”并关闭用于可见光生成的电荷到达浮动扩散321处的通道。因此，通过将栅极电压vp610保持为高，可见光生成的电荷1042被隔离并驻留在光栅332下方的势阱ψp830中。在像素结构的另一侧，对于像素361，处于由时钟信号vma、vmb613(即，图7中的720和730)感生的相关联的势阱ψma834、ψmb835中的ir生成的电荷1040和1041被持续地解调并且在栅极偏置条件vtx1612下经由具有电势ψtx1833的转移栅极331下方的沟道被转移到浮动扩散321。像素结构并发地检测可见光信号和tof信号及对光电荷进行积分；可见光生成的电荷存储在栅极332下方，而在栅极340下方的ir生成的电荷准备好从浮动扩散321转储。
图11解说了ir转储和ir读取过程。该过程在图7中被指示为时间t2和t3之间的操作阶段iii。解调时钟电压信号vma720和vmb730在操作阶段iii中保持为低。势阱ψma834和ψmb835中的电荷将被转储到浮动扩散321，其被读出单元350转换成电压，以在输出端子356处转换成对应的电压值。在该阶段完成之后，任何主动ir光于是可被禁用以节省功率。
图12解说了ir复位过程。该过程在图7中被指示为时间t3和t4之间的操作阶段iv。在前一阶段的ir转储和ir读出之后，通过接通mos晶体管353来复位ir电荷1040和1041(图10)，参见图7中的vreset710。浮动扩散321被复位到电压值vd351，从而创建图12中在位置832处示出的势阱配置。与此同时，可见光生成的电荷1042仍被隔离并保持在势阱ψp830中，准备好被转储和读出。
图13解说了vs(可见光)转储和vs读出过程。该过程在图7中被指示为时间t4和t5之间的操作阶段v。光栅电压vp610(760)应时钟而至较低的电压电平(例如，vp≤vtx2)，并且对应的势阱ψp830经由具有由vtx2611在转移栅极330下方感生的电势ψtx2831的沟道将可见光电荷1042转储到浮动扩散321。可见光生成的电荷接着由相同的读出单元350转换成输出端子356处的对应的电压值。
图7的操作可接着被重复以供可见光和ir光的持续检测和读出。有利地，每个像素360-361同时检测相关联的光，且因此场景中的对象中的任何移动、成像传感器的移动或者成像传感器方面的改变不会导致3d深度图像与2d图像之间的时间图像伪像。ir光生成的电荷被读出为对应的电压，而可见光生成的电荷在势阱中等待稍候使用转移栅极330作为电荷阀来被转储离开至浮动扩散321。这具有减少用于成像传感器及相关联的像素的组件的数量的技术效果。而且，实现了降低的功耗的技术效果。
本文中的示例提供了具有3d(ir、tof)和2d(rgb或bw)的单个组合的像素架构。该像素布置被形成在半导体基板上，并且包括被配置成感测红外光的第一像素、被配置成感测可见光的第二像素，以及被第一像素和第二像素共享的输出元件，其中输出元件的第一输出状态呈现对应于第一像素的检测到的红外光的第一信号，而第二输出状态呈现对应于第二像素的检测到的可见光的第二信号。
当被包括在形成图像传感器的阵列中时，可见光像素与ir/tof像素散置在半导体基板(诸如硅晶片基板)上。可见光像素在大小上通常比ir光像素小，并且可被包括在靠近每个ir光像素的边际区域中，从而导致散置的像素的紧密装填。这种散置的布置使用tof传感器内部的边际区域来收集rgb或灰度值信息，且因此需要较少或不需要附加的硅实际使用面积。共享的浮动扩散也可减小像素阵列的实际使用面积，即使在具有ir和可见光像素两者的情况下也是如此。ir带通滤光器和rgb滤光器可以在一单个3d/2d检测器像素节距区域内交错。这种散置的布置还增强了3d/2d像素的空间分辨率。
应当注意，本文中所讨论的具有转移栅极架构的共享浮动扩散可被应用于采用其他类型的像素的成像传感器。例如，如果成像传感器不包括ir光像素，则可见光像素的配对可共享相同的读出结构(即，与转移栅极共享的浮动扩散)。同样，如果成像传感器不包括可见光像素，则ir光像素的配对可共享相同的读出结构。
提供图14以提供用于像素结构或像素阵列的操作的附加示例方法1400。方法1400的操作可包括与在围绕图7的讨论中找到的相类似的过程，但是各变体是可能的。图14的操作也在图3的像素控制电路系统372和像素结构300的上下文中讨论。然而，图14的操作可以由本文中所采用的用于其他像素结构或像素阵列的控制的任何控制模块来执行，诸如图1的tof处理电路系统122、图2的控制器212、图3的像素控制电路系统372，以及图15中的计算系统1501。
在图14中，电路系统372复位(1401)用于光的测量的像素区域。在图8中，vreset被使能，其导通晶体管353并将节点357拉到vd。浮动扩散321接着被拉“高”到vd，并且浮动扩散321上剩余的任何电荷被漏到vd。像素结构300感测(1402)像素区域360-361中的光，从而使电荷被限制在像素区域360-361中。转移栅极330-331在光收集期间被保持到低电势电压以充当电荷移动到共享浮动扩散321的势垒，并且任何所积累的电荷被保持在由栅极342和340创建的相关联的势阱ψp830和ψma834中。像素结构300首先将ir生成的电荷转储(1402)到共享浮动扩散321以供读出电路350读出。栅极340被带到低电势，其为像素361中所累积的电荷创建流动到共享浮动扩散321的沟道，该电荷被缓冲器355转换成电压以供在节点356上读出。在ir光生成的电荷被转储和读出之后，电路系统372复位(1403)共享浮动扩散321。vreset被使能，其导通晶体管353并将节点357拉到vd。浮动扩散321接着被拉“高”到vd，并且浮动扩散321上剩余的任何电荷被漏到vd。像素结构300接着将可见(vs)光生成的电荷转储(1404)到共享浮动扩散321以供读出电路350读出。栅极342被带到低电势，其为像素360中所累积的电荷创建流动到共享浮动扩散321的沟道，该电荷被缓冲器355转换成电压以供在节点356上读出。方法1400中的操作可根据需要被重复，以按循环方式检测和感测tof/rgb数据，或提供进一步的成像过程。
因此，ir像素361首先被读出，且vs像素360其次被读出，从而为像素结构300创建时间复用的读出操作。应当注意，虽然在以上示例中首先读出ir像素，但是其他示例可使vs像素被首先读出。一旦像素电压被呈现在输出节点356上，这些电压就被转移到图像处理电路以供转换成图像和转换成tof数据(诸如深度图图像)。通常，像素阵列将被采用，并且该像素阵列将使用用于每个像素结构的时间复用的ir/rgb过程来被读出。3d图像可基于使用ir像素数据测得的tof信息来形成，而2d图像可基于rgb像素数据(或灰度(如果适用的话))来形成。
图15解说了控制器1500，其表示其中可实现本文中所公开的各种飞行时间检测、像素控制、像素定时和图像处理操作架构、场景和过程的任何系统或系统的集合。例如，控制器1500可以在图1的tof处理电路系统122、图2的控制器212或图3的像素控制电路系统372中被采用。控制器1500的示例可被并入到进一步的设备和系统中，诸如虚拟现实设备、增强现实设备、游戏机、相机设备、tof相机、智能电话、膝上型计算机、平板计算机、台式计算机、服务器、云计算平台、混合计算机、虚拟机、智能电视、智能手表和其他可穿戴设备，以及其任何变体或组合。
控制器1500可被实现为单个装置、系统或设备，或者可以按分布式方式被实现为多个装置、系统或设备。例如，控制器1500可包括一个或多个专用集成电路(asic)、现场可编程门阵列(fpga)，或者分立逻辑及相关联的电路系统，包括其组合。虽然未在图15中示出，但控制器1500可包括通信接口、网络接口、用户接口以及用于通过通信链路1520与主机系统通信的其他元件。计算系统1501可任选地包括出于简化的目的而未被讨论的附加设备、特征或功能。
控制器1500还可包括具有被包括在计算机可读存储介质设备上的软件或固件的一个或多个微控制器或微处理器。如果软件或固件被采用，则计算机可读存储介质设备可包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，该信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储介质的示例包括随机存取存储器、只读存储器、磁盘、光盘、闪存、虚拟存储器和非虚拟存储器、磁带盒、磁带、磁盘存储或其他磁存储设备，或任何其他类型的存储介质。在任何情况下，计算机可读存储介质都不是传播的信号。
控制器1500包括用于增强飞行时间感测的各种控制器部分，即发射器控制器1510、像素阵列控制器1511和任选的图像处理器1512。发射器控制器1510提供待与ir像素对ir光的测量同步的ir光的发射的定时，并且通常与像素阵列控制器1511协同操作。在一些示例中，发射器控制器1510提供rf调制器控制信令以向rf调制器电路系统和像素阵列控制器1511指示rf调制频率和相位。像素阵列控制器1511提供像素控制信令以控制本文中所讨论的像素结构，而不管这些像素是各个个体像素还是被包括在像素阵列中。具体而言，像素阵列控制器1511提供对用于光测量的ir像素区域进行复位、控制转移栅极将电荷转移到共享浮动扩散，以及对ir/vs像素的读出进行时间复用，以及其他操作。像素阵列控制器1511提供接收像素读出以及将像素读出信息提供给任选的图像处理器1512。图像处理器1512提供为像素阵列累积像素数据以创建3d图像和2d图像，以及通过通信链路1520向主机系统提供相关联的tof信息或3d/2d图像数据。图像处理器1512还处理由ir像素生成的tof信息和由vs像素生成的rgb/灰度信息以形成诸如深度图数字图像之类的3d数字图像，以及形成诸如可见光图像之类的2d数字图像，以及其他操作。当图像处理器1512被省略时，像素阵列控制器1511可通过通信链路1520向主机系统提供像素读出数据。在一些示例中，像素阵列控制器1511控制或包括用于将像素读出信号转换成数字格式的模数转换电路。
根据前述公开可以领会某些发明方面，以下是这些发明方面的各种示例。
示例1：一种成像传感器，包括：半导体基板，该半导体基板包括用于并发地感测红外光和可见光的像素结构的阵列，像素结构中的每一者包括被配置成检测红外光的第一像素元件和被配置成检测可见光的第二像素元件，像素结构中的每一者进一步包括共享输出电路，该共享输出电路耦合第一像素元件和第二像素元件，使得第一输出状态呈现对应于第一像素元件的检测到的红外光的第一信号，而第二输出状态呈现对应于第二像素元件的检测到的可见光的第二信号。
示例2：示例1的传感器，包括：像素结构中的每一者的共享输出电路包括浮动扩散元件，该浮动扩散元件被配置成至少基于共享输出电路的选择状态来从第一像素元件或第二像素元件接收电荷。
示例3：示例1-2的传感器，包括：至少基于共享输出电路处于第一输出状态，通信地耦合到浮动扩散元件的读出电路被配置成将表示检测到的红外光的第一电荷转储到浮动扩散元件以及将该第一电荷转换成第一电压。至少基于共享输出电路处于第二输出状态，该读出电路被配置成将表示检测到的可见光的第二电荷转储到浮动扩散元件以及将该第二电荷转换成第二电压。
示例4：示例1-3的传感器，包括：至少基于共享输出电路处于第一输出状态，表示检测到的可见光的电荷通过靠近第一像素元件的第一势垒而被抑制转储到浮动扩散元件，所述第一势垒由共享输出电路建立。至少基于共享输出电路处于第二输出状态，表示检测到的红外光的电荷通过靠近第二像素元件的第二势垒而被抑制转储到浮动扩散元件，所述第二势垒由共享输出电路建立的。
示例5：示例1-4的传感器，包括：像素结构中的每一者的共享输出电路包括第一转移元件，该第一转移元件被配置成在共享输出电路处于第二输出状态时创建靠近第一像素元件的势垒以及抑制电荷从第一像素元件向浮动扩散元件的转储。该共享输出电路包括第二转移元件，该第二转移元件被配置成在共享输出电路处于第一输出状态时创建靠近第二像素元件的势垒以及抑制电荷从第二像素元件向浮动扩散元件的转储。
示例6：示例1-5的传感器，包括：对于像素结构中的每一者，第一像素元件被配置成检测红外光以及保持表示检测到的红外光的电荷直到第一输出状态，并且第二像素元件被配置成与第一像素元件检测红外光并发地检测可见光，以及保持表示检测到的可见光的电荷直到第二输出状态。
示例7：示例1-6的传感器，包括：对于像素结构中的每一者，第一像素元件具有红外光带通滤光器，并且第二像素元件具有红、绿或蓝光带通滤光器中的至少一者。
示例8：示例1-7的传感器，包括：像素结构中的每一者包括被定位在半导体基板上的靠近第一像素元件的边际区域中的第二像素元件。
示例9：示例1-8的传感器，包括：对于像素结构中的每一者，第一像素元件被配置成检测通过半导体基板的红外光，并且第二像素元件被配置成检测通过半导体基板中的腔的可见光，该腔减小了可见光行进通过半导体基板到达第二像素元件的深度。
示例10：一种飞行时间(tof)传感器装置，包括发射器，该发射器被配置成将红外光发射到场景上以供成像传感器检测。该成像传感器包括用于并发地感测场景的深度值和场景的可见光强度的像素阵列，其中该成像传感器的各像素组各自在输出电路中具有共享浮动扩散元件，该输出电路被配置成复用相关联的组的各像素之间的像素输出。处理电路，该处理电路被配置成处理至少各像素组中的每一者的像素输出，以提供指示场景的深度值和场景的可见光强度的图像数据。
示例11：示例10的传感器装置，包括：各组中的每一者的输出电路包括共享浮动扩散元件，该共享浮动扩散元件被配置成从至少第一像素接收表示由至少第一像素检测到的红外光的第一电荷，以及从至少第二像素接收表示由至少第二像素检测到的可见光的第二电荷。
示例12：示例10-11的传感器装置，包括：各组中的每一者的输出电路包括第一转移栅极，该第一转移栅极当处于第一输出模式时被配置成允许第一电荷被转移到共享浮动扩散元件，而当处于第二输出模式时被配置成抑制第一电荷被转移到共享浮动扩散元件。各组中的每一者的输出电路包括第二转移栅极，该第二转移栅极当处于第二输出模式时被配置成允许第二电荷被转移到共享浮动扩散元件，而当处于第一输出模式时被配置成抑制第二电荷被转移到共享浮动扩散元件。
示例13：示例10-12的传感器装置，包括：其中第一输出模式包括处于第一电势电平的第一转移栅极、处于第一电势电平的第二转移栅极、处于第一电势电平的至少相关联的红外光像素的栅极，以及已被复位到高于第一电势电平的第二电势电平的共享浮动扩散元件，并且其中第一输出模式包括处于第一电势电平的第一转移栅极、处于第一电势电平的第二转移栅极、处于第一电势电平的至少相关联的可见光像素的栅极，以及已被复位到第二电势电平的共享浮动扩散元件。
示例14：示例10-13的传感器装置，包括：用于感测深度值的像素中的一些像素包括红外光带通滤光器元件，并且用于感测可见光强度的像素中的一些像素包括红、绿或蓝光带通滤光器元件中的至少一者。
示例15：示例10-14的传感器装置，包括：用于感测深度值的像素中的一些像素与用于感测可见光强度的像素中的一些像素一起散置，其中用于感测可见光强度的像素中的一些像素嵌套在用于感测深度值的像素中的相关联的像素的边际区域内。
示例16：一种操作形成在半导体基板上的像素布置的方法，该方法包括在第一像素中接收第一光，以及与第一像素接收第一光并发地在第二像素中接收第二光。该方法包括：在第一输出状态中，将第一光生成的电荷从第一像素转移到共享浮动扩散元件以供读出为第一电压电平，以及在第二输出状态中，将第二光生成的电荷从第二像素转移到共享浮动扩散元件以供读出为第二电压电平。
示例17：示例16的方法，进一步包括：在第一输出状态中，抑制第二光生成的电荷从第二像素转移到共享浮动扩散元件。
示例18：示例16-17的方法，进一步包括：在第一光生成的电荷从第一像素读出之后复位共享浮动扩散元件，以及在第二光生成的电荷从第二像素读出之后复位共享浮动扩散元件。
示例19：示例16-18的方法，其中共享浮动扩散元件包括半导体基板的浮动扩散区，该浮动扩散区被配置成至少基于由与第一像素和第二像素中的每一者相关联的转移栅极形成的电势来从第一像素或第二像素接收电荷。
示例20：示例16-19的方法，进一步包括：在第一输出状态中，使用由与第二像素相关联的转移栅极中的至少第一转移栅极形成的至少第一势垒来抑制将第二光生成的电荷从第二像素转移到浮动扩散区，以及在第二输出状态中，使用由与第一像素相关联的转移栅极中的至少第二转移栅极形成的至少第二势垒来抑制第一光生成的电荷从第一像素转移到浮动扩散区。
各附图中所提供的功能框图、操作场景及序列和流程图表示用于执行本公开的新颖方面的示例性系统、环境和方法。尽管出于解释简明的目的，本文中所包括的方法可以以功能图、操作场景或序列、或流程图形式示出并且可被描述为一系列动作，但是可以理解和领会，各方法不受这些动作的次序的限制，因为根据本发明，某些动作可以按与本文中所示出和描述的不同的次序和/或与其他动作并发地发生。例如，本领域的技术人员将明白并领会，方法可被替换地表示为一系列相互相关联的状态或事件，诸如以状态图的形式。此外，并非方法中所示出的所有动作都是新颖实现所必需的。
本文中所包括的说明和附图描绘了用于教导本领域的技术人员如何做出和使用最佳选项的特定实现。出于教导创造性原则的目的，一些传统的方面已被简化或忽略。本领域的技术人员将领会来自这些实现的变体也落入的本发明的范围内。本领域的技术人员还将领会以上所描述的各特征可以以各种方式被组合以形成多个实现。作为结果，本发明不局限于以上所描述的特定实现，而是仅由权利要求和它们的等价物来限定。