深度传感器及操作其的方法与流程

深度传感器及操作其的方法
1.相关申请的交叉引用
2.本技术要求于2021年5月20日向韩国知识产权局提交的韩国专利申请第10-2021-0064564号的优先权，其公开内容通过引用整体并入本文。
技术领域
3.本公开的示例实施例涉及深度传感器和操作深度传感器的方法，并且更具体地，涉及仅通过一个读取操作生成基于在不同积分时段期间存储的电荷的输出信号的深度传感器，以及一种操作深度传感器的方法。


背景技术：

4.诸如智能电话的电子设备可以包括环境光传感器。作为环境光传感器的示例，正在使用通过利用光源来计算距外部对象的距离(即，深度)或使用对象的传感器。具体地，基于飞行时间的深度传感器可以向对象发射光信号并且可以通过利用从对象反射的光信号来生成对象的深度图。
5.取决于深度传感器和对象之间的距离，可能需要深度传感器的适当曝光时间，并且可能需要关于在较短曝光时间期间获得的电荷的信息和关于在较长曝光时间期间获得的电荷的信息两者来生成准确的深度图。然而，为了获得与在不同曝光时间存储的电荷对应的所有信息，多个曝光和多个读取操作是不可避免的。也就是说，深度图的动态范围和深度图的运算速度是一种权衡关系。因此，存在对改善深度图的动态范围以及提高深度传感器的运算速度的方法的需要。


技术实现要素：

6.本公开的实施例提供了一种深度传感器，该深度传感器能够仅通过一个读取操作生成基于在不同积分时段期间存储的电荷的输出信号。
7.根据示例实施例的一方面，一种深度传感器可以包括像素以及控制像素的行驱动器，该像素包括第一分接头、第二分接头、第三分接头、第四分接头、溢流晶体管和光电转换器件，第一分接头、第二分接头、第三分接头和第四分接头中的每一个包括光电晶体管、转移晶体管和读出电路。在全局模式的第一积分时段中，行驱动器可以激活控制第二分接头的光电晶体管的第二光电栅极信号和控制第三分接头的光电晶体管的第三光电栅极信号。在全局模式的第二积分时段中，行驱动器可以激活控制第一分接头的光电晶体管的第一光电栅极信号和控制第四分接头的光电晶体管的第四光电栅极信号。
8.根据示例实施例的一方面，一种深度传感器可以包括像素以及控制像素的行驱动器，该像素包括第一分接头、第二分接头、第三分接头、第四分接头，与第一分接头、第二分接头、第三分接头和第四分接头共同连接的溢流晶体管，以及与第一分接头、第二分接头、第三分接头和第四分接头共同连接的光电转换器件。在全局模式的第一积分时段中，第二分接头和第三分接头可以存储由光电转换器件转换的电荷。在全局模式的第二积分时段
中，第一分接头和第四分接头可以存储由光电转换器件转换的电荷。
9.根据示例实施例的一方面，一种深度传感器的操作方法，该深度传感器包括像素以及模拟处理电路，该像素包括第一分接头、第二分接头、第三分接头和第四分接头，该方法可以包括接收从对象反射的光信号，在全局模式的第一积分时段期间，将由光电转换器件转换的第一电荷存储在第二分接头和第三分接头中，以及在全局模式的第二积分时段期间，将由光电转换器件转换的第二电荷存储在第一分接头和第四分接头中。
附图说明
10.从结合附图对示例实施例的以下详细描述，本公开的上述和其他方面、特征和优点将更加明显，在附图中：
11.图1图示了根据示例实施例的电子设备的示例性配置；
12.图2是图1的像素的电路图的示例；
13.图3是图1的像素的电路图的示例；
14.图4图示了图2的像素的布局的示例；
15.图5图示了沿图4的线i-i’截取的像素px的截面图的示例；
16.图6a和6b图示了施加到图2的像素的信号的时序(timing)图的示例；
17.图7图示了施加到图2的像素的信号的时序图的示例；
18.图8a和8b图示了施加到图2的像素的信号的时序图的示例；
19.图9、10和11是施加到图2的像素的信号的时序图的示例；
20.图12是图示了根据示例实施例的电子设备的操作方法的流程图；
21.图13是图1的像素的电路图的示例；
22.图14图示了施加到图13的像素的信号的时序图的示例；
23.图15概念性地图示了根据示例实施例的电子设备的图像处理；
24.图16概念性地图示了根据示例实施例的电子设备的图像处理；和
25.图17图示了施加到图2的像素的信号的时序图。
具体实施方式
26.参考附图在以下详细描述中提供示例实施例的细节。
27.在具体实施方式中，参考术语“单元”、“模块”、“块”、“～er或～or(～器)”等描述的组件和图中所示的功能块将通过软件、硬件或其任何组合来实现。例如，软件可以是机器代码、固件、嵌入代码和应用软件。例如，硬件可以包括电路、电子电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微电子机械系统(mems)、无源元件或其任何组合。
28.如本文所使用的，诸如“较长曝光”和“较短曝光”的术语将被本领域普通技术人员理解并且将取决于使用它们的上下文而在一定程度上变化。
29.图1示出了根据示例实施例的电子设备的配置，并且图2是图1的像素的电路图的示例。电子设备100也可称为“计算系统”、“电子系统”、“图像检测系统”或“距离检测系统”。例如，电子设备100可以是智能手机、平板电脑、数码相机、可穿戴设备或移动设备。电子设备100可以包括相机110和处理器130。
30.相机110可以基于飞行时间(tof)技术向对象发射光信号el，可以感测从对象反射的光信号rl，并且可以感测电子设备100和对象之间的距离。相机110可以包括光控制器111、光源112和深度传感器120。光控制器111可以在深度传感器120或处理器130的控制下控制光源112。
31.光控制器111可以调制要从光源112发射或输出的光信号el。光源112可以发射由光控制器111调制的光信号el。例如，光源112可以包括发光二极管(led)、激光二极管(ld)或有机发光二极管(oled)。例如，调制的光信号el可以是连续波或脉冲波。可替代地，光信号el可以是红外线、微波、光波或超声波。例如，当光信号el为连续波时，光信号el的占空比可以为50％；当光信号el为脉冲波时，光信号el的占空比可以小于50％。
32.深度传感器120也可以被称为“图像传感器”或“tof传感器”。深度传感器120可以包括像素阵列121、行驱动器122、模拟处理电路123、模数转换器124、输出缓冲器125和时序控制器126。
33.像素阵列121可以包括沿行方向和列方向布置的像素px。像素阵列121可以实现在硅衬底或半导体衬底上。像素px可以将从对象反射的光信号rl转换为电信号。由于电子设备100和对象之间的距离，入射到像素阵列121上的光信号rl可能相对于从光源112输出的光信号el被延迟。光信号rl和el之间可能存在时间差。像素px可以基于从行驱动器122提供的控制信号来积分、存储、转移或去除电荷。像素px也可以被称为“tof像素”。
34.行驱动器122可以在时序控制器126的控制下控制像素阵列121。行驱动器122可以向像素px提供控制信号。例如，控制信号可以包括如图2或任何其他附图中所示的信号og、pga至pgd、tga至pgd、sg1和sg2、tg1和tg2、rg1和rg2、sel等。行驱动器122可以在全局模式下同时控制像素阵列121的所有像素px，或者可以在滚动模式下以行为单位控制像素阵列121的像素px。
35.模拟处理电路123可以接收、采样和保持从像素阵列121输出的输出信号(也称为“图像信号”或“深度信号”)。模拟处理电路123可以与像素阵列121的像素px连接并且可以控制在列方向上延伸的输出线。模拟处理电路123可以对输出信号执行相关双采样(cds)操作并且可以去除包括在输出信号中的噪声。
36.模数转换器124可以将由模拟处理电路123处理的输出信号转换为数字信号。模数转换器124可以通过使用数字信号生成图像数据(或深度数据)。模数转换器124可向输出缓冲器125提供图像数据。例如，模数转换器124可被包含或集成在模拟处理电路123中。输出缓冲器125可存储从模数转换器124输出的图像数据。输出缓冲器125可以向处理器130输出图像数据。
37.时序控制器126可以控制深度传感器120的组件121至125。时序控制器126可以在处理器130的控制下控制光控制器111。例如，时序控制器126可以基于要从光源112输出的光信号el的调制信息或相位信息控制行驱动器122。
38.在实施例中，在时序控制器126的控制下，行驱动器122可以向像素px传输相位与光信号el的相位相同或不同的第一调制信号(例如，图2的pga)，以及相位与第一调制信号pga的相位不同的第四调制信号(例如，图2的pgd)。例如，调制信号pga和pgd可以具有彼此相反的相位。深度传感器120可以通过使用第一调制信号pga生成第一图像数据，可以通过使用第四调制信号pgd生成第四图像数据，并且可以向处理器130提供第一图像数据和第四
图像数据。
39.在实施例中，在时序控制器126的控制下，行驱动器122可以向像素px传输相位与光信号el的相位相同或不同的第二调制信号(例如，图2的pgb)，以及相位与第二调制信号pgb的相位不同的第三调制信号(例如，图2的pgc)。例如，调制信号pgb和pgc可以具有彼此相反的相位。深度传感器120可以通过使用第二调制信号pgb生成第二图像数据，可以通过使用第三调制信号pgc生成第三图像数据，并且可以向处理器130提供第二图像数据和第三图像数据。
40.在实施例中，第一调制信号pga和第四调制信号pgd可以与较短曝光相关联，而第二调制信号pgb和第三调制信号pgc可以与较长曝光相关联。可替代地，第一调制信号pga和第四调制信号pgd可以与较长曝光相关联，而第二调制信号pgb和第三调制信号pgc可以与较短曝光相关联。换言之，调制信号可以包括至少两对调制信号，该至少两对与不同的曝光时间相关联。作为结果，图像对可以与彼此不同的曝光时间相关联。
41.处理器130可以控制相机110。处理器130可以控制光控制器111和光源112，使得光信号el被输出。处理器130可以允许深度传感器120感测光信号rl并基于光信号rl生成第一图像数据至第四图像数据。处理器130可以基于第一图像数据至第四图像数据计算电子设备100和对象之间的距离(例如，tof值)、对象的形状、对象的移动速度等。例如，处理器130可以基于由深度传感器120通过利用与光信号el的相位差相同或不同的两个或更多个调制信号生成的图像数据，计算光信号rl至光信号el的延迟时间。
42.处理器130可以包括用于处理从深度传感器120提供的图像数据的图像信号处理器(isp)(未示出)。可替代地，处理器130的至少一个(一些)功能可以在外部设备(例如，主机设备(未示出))处实现。例如，处理器130可以被实现为独立于如图1所示的相机110。又例如，处理器130可以集成在相机110或深度传感器120中。
43.返回参考图2，像素px可以包括光电转换器件pcd、分接头tap1至tap4以及溢流晶体管of。例如，光电转换器件pcd可以用光电二极管、光电晶体管、光电门、钉扎光电二极管或其任何组合来实现。以下，将使用光电转换器件pcd为光电二极管的示例给出描述。
44.光电转换器件pcd可以生成并积分对应于光信号(例如，图1的rl)的电荷。由光电转换器件pcd生成的电荷可以分配到光电晶体管pa至pd中。可以取决于光电栅极信号pga至pgd与光信号el之间的相位差来确定分配和由光电晶体管pa至pd存储的电荷量。例如，可以在其中实现了像素阵列121的衬底中实现光电转换器件pcd，以在平面图中使光电晶体管pa至pd重叠。参考图2，光电转换器件pcd可以连接在光电晶体管pa至pd的第一端与地电压之间。光电转换器件pcd可以由一个像素px中的多个分接头(例如，tap1至tap4)共享。
45.分接头tapl可以包括光电晶体管pa、转移晶体管ta、存储晶体管sl、转移晶体管tl、浮动扩散区(或称为“浮动扩散节点”)fdl、复位晶体管rl、源极跟随器晶体管sf1和选择晶体管se1。光电晶体管pa的第一端(例如，漏极或源极)可以与光电转换器件pcd的第一端连接并且可以与溢流晶体管of的第一端连接。光电晶体管pa可以基于光电栅极信号pga对电荷进行积分。光电栅极信号pga可以是调制信号，其相位与光信号el(参考图1)的相位相同或不同。光电栅极信号pga可以在光信号el从光源112发射并且光信号rl入射到像素阵列121上的积分时段(或间隔)期间被激活(或启用)并且可以在积分时段以外的剩余时间内被去激活(或禁用)。
46.转移晶体管ta可以连接在光电晶体管pa的第二端和存储晶体管s1的第一端之间。转移晶体管ta可以基于转移栅极信号tga在积分时段期间将光电晶体管pa的第二端与存储晶体管s1的第一端电连接，从而可以将由光电晶体管pa积分的电荷转移至存储晶体管s1。在积分时段以外的时间中，转移晶体管ta可以基于转移栅极信号tga防止由光电晶体管pa积分的电荷被转移到存储晶体管s1。
47.存储晶体管sl可以连接在转移晶体管ta和tl之间并且可以基于存储栅极信号sgl存储由光电晶体管pa积分的电荷。例如，由光电晶体管pa积分的电荷可能不会立即转移到浮动扩散区fd1。
48.转移晶体管tl可以连接在存储晶体管sl的第二端和浮动扩散区fdl之间。转移晶体管t1可以基于转移栅极信号tg1将由存储晶体管s1存储的电荷转移到浮动扩散区fd1。
49.复位晶体管rl可以连接在浮动扩散区fdl和电源电压vdd之间。复位晶体管r1可以基于复位栅极信号rg1将浮动扩散区fd1和电源电压vdd电连接。复位晶体管r1可以基于复位栅极信号rg1将浮动扩散区fd1的电压电平驱动到电源电压vdd，从而可以对存储在浮动扩散区fd1中的电荷放电。源极跟随器晶体管sf1可以连接在电源电压vdd和选择晶体管se1之间。源极跟随器晶体管sf1的栅极端子可以与浮动扩散区fd1连接。源极跟随器晶体管sf1可以基于浮动扩散区fd1的电压电平输出输出信号out1。选择晶体管se1可以连接在源极跟随器晶体管sf1和输出线(未示出)之间。选择晶体管se1可以基于选择信号sel1将输出信号out1输出到输出线。晶体管r1、se1和sf1可以构成读出电路。
50.除了光电晶体管pb至pd分别接收光电栅极信号pgb至pgd之外，分接头tap2至tap4的配置和操作可以类似于分接头tap1的配置和操作。例如，分接头tap1和tap2的存储晶体管s1和s2可以同时由存储栅极信号sg1控制，而分接头tap3和tap4的存储晶体管s3和s4可以同时由存储栅极信号sg2控制。分接头tap1和tap2的转移晶体管t1和t2可以同时由转移栅极信号tg1控制，而分接头tap3和tap4的转移晶体管t3和t4可以同时由转移栅极信号tg2控制。分接头tap1和tap2的选择晶体管se1和se2可以同时由选择信号sel1控制，而分接头tap3和tap4的选择晶体管se3和se4可以同时由选择信号sel2控制。分接头tap1和tap2的复位晶体管r1和r2可以同时由复位栅极信号rg1控制，而分接头tap3和tap4的复位晶体管r3和r4可以同时由复位栅极信号rg2控制。
51.光电栅极信号pga至pgd可以在积分时段期间被激活并且可以在积分时段以外的剩余时间内被去激活。在实施例中，激活光电栅极信号pgb和pgc的间隔可以不同于激活光电栅极信号pga的间隔。光电栅极信号pga和pgd可以在相同的间隔中被激活。在实施例中，激活光电栅极信号pga和pgd的间隔的长度可以不同于激活光电栅极信号pgb和pgc的间隔的长度。即，光电栅极信号pga和pgd可以与较短曝光相关联，而光电栅极信号pgb和pgc可以与较长曝光相关联(或反之亦然)。
52.分接头tap1至tap4可以基于光电栅极信号pga至pgd输出信号outl至out4。例如，输出信号out1至out4之间的电压电平差可以与电子设备100和对象之间的距离相关联。
53.溢流晶体管of可以与电源电压vdd连接。由于积分时段以外的时间中的外部光，光电转换器件pcd或光电晶体管pa至pd可能对电荷积分。溢流晶体管of可以在积分时段以外的时间基于溢流栅极信号og导通。作为结果，当施加电源电压vdd时，由光电转换器件pcd或光电晶体管pa至pd积分的电荷可以被放电。尽管图2中示出了一个溢流晶体管of，取决于实
施例，可以提供多个溢流晶体管(例如，四个)。
54.复位晶体管、源极跟随器晶体管和选择晶体管也可以被称为“读出电路”。例如，分接头tap1可以包括读出电路，该读出电路包括复位晶体管r1、源极跟随器晶体管sf1和选择晶体管se1，并且分接头tap1可以包括光电晶体管pa、转移晶体管ta、存储晶体管s1和转移晶体管t1。剩余分接头tap2至tap4的配置也可以类似于分接头tap1的配置。
55.图2中示出像素px的所有晶体管采用nmos晶体管实现的实施例；然而，包括在像素px中的晶体管的种类不限于图2中示出的示例。例如，像素px的晶体管可以采用pmos晶体管或者pmos晶体管和nmos晶体管的组合来实现。
56.图3是图1的像素的电路图的示例。图3的电路图类似于图2的电路图。下面将主要描述不同之处。
57.如以上在图2的实施例中所描述的，因为光电栅极信号pga和pgd与较短曝光相关联，所以光电栅极信号pga和pgd被激活的间隔可能较短。因此，在一般环境下，由于浮动扩散区fd1和fd4不容易饱和，因此不存在增加浮动扩散区fd1和fd4的电容的需要。然而，因为光电栅极信号pgb和pgc与较长曝光相关联，所以光电栅极信号pgb和pgc被激活的间隔可能较长。因此，当电子设备和对象之间的距离近时，浮动扩散区fd2和fd3容易饱和，从而存在增加浮动扩散区fd2和fd3的电容的需要。
58.在实施例中，为了防止浮动扩散区fd2和fd3的饱和，还可以提供电容器c1和c2。例如，分接头tap2可以包括电容器c1和双转换增益晶体管tdc1，而分接头tap3可以包括电容器c2和双转换增益晶体管tdc2。当双转换增益晶体管tdc1被控制信号dcg1导通时，浮动扩散区fd2可以与电容器c1电连接，从而可以增加浮动扩散区fd2的电容。当双转换增益晶体管tdc2被控制信号dcg2导通时，浮动扩散区fd3可以与电容器c2电连接，从而可以增加浮动扩散区fd3的电容。
59.可替代地，不同于参考图3给出的描述，可以通过控制晶体管的栅极电压而不使用单独的电容器来增加浮动扩散区fd2和fd3的电容。例如，可以通过增加分别施加到存储晶体管s2和s3的栅电极的存储栅极信号sg1和sg2的电压电平来增加存储晶体管s2和s3存储的电荷量。
60.图4图示了图2的像素的布局的示例。在包括图4的以下附图中，方向d1和方向d2可以彼此垂直。方向d1和d2可以垂直于面向平面图中的像素阵列121的方向。例如，方向d1和d2可以分别对应于像素阵列121的像素px被布置的行方向和列方向。又例如，方向d1和d2可以分别对应于像素阵列121的像素px被布置的列方向和行方向。方向d3可以指示方向d1和d2之间的方向，而第四方向d4可以垂直于方向d3。方向d3和d4中的每一个可以垂直于面向平面图中的像素阵列121的方向。
61.晶体管pa至pd、ta至td、sl至s4、tl至t4、rl至r4、sfl至sf4和sel至se4的漏极或源极，以及浮动扩散区fdl至fd4可以形成或设置在图4的阴影区域中。晶体管pa至pd、ta至td、s1至s4、t1至t4、r1至r4、sf1至sf4和se1至se4的栅电极可以设置在图4的阴影区域之间的区域中。
62.像素px的区域可以被划分为包括像素px的中心的中央区域和与另一像素相邻的边界区域。光电晶体管pa至pd的栅电极gpa至gpd可以在中央区域中彼此相邻地设置。转移晶体管ta至td的栅电极gta至gtd可以分别沿方向d3或方向d4与栅电极gpa至gpd相邻地设
置。存储晶体管s1至s4的栅电极gs1至gs4可以分别沿方向d3或方向d4与栅电极gta至gtd相邻地设置。转移晶体管t1至t4的栅电极gt1至gt4可以沿方向d1分别插入在栅电极gs1至gs4与浮动扩散区fd1至fd4之间。复位晶体管r1至r4的栅电极gr1至gr4可以沿方向d1分别与浮动扩散区fd1至fd4相邻地设置。
63.源极跟随器晶体管sf1至sf4的栅电极gsf1至gsf4可以沿方向d1分别与栅电极gpa至gpd相邻地设置。虽然在图4中未示出，将浮动扩散区fd1至fd4与栅电极gsf1至gsf4电连接的金属线可以设置在像素px上。选择晶体管se1至se4的栅电极gse1至gse4可以沿方向d2分别与栅电极gsf1至gsf4相邻地设置。
64.假想线
①
可以平行于方向dl，并且假想线
②
可以平行于方向d2。假想线
①
和
②
的交叉点可以是平面图中的像素px的中心。像素px的区域可以被划分为象限，每个象限由假想线
①
和
②
界定。像素px的分接头tap1至tap4可以分别设置在象限中。例如，分接头tap1和tap2可以关于假想线
②
对称，而分接头tap3和tap4可以关于假想线
②
对称。分接头tap1和tap3可以关于假想线
①
对称，而分接头tap2和tap4可以关于假想线
①
对称。分接头tap1和tap4可以关于像素px的中心对称，而分接头tap2和tap3可以关于像素px的中心对称。
65.图5图示了沿图4的线i-i’截取的像素px的截面图的示例。方向d5可以对应于面向平面图中包括像素px的像素阵列121的方向。像素阵列121可以实现在衬底sub上。例如，衬底sub可以是p型外延层。平坦化层pl可以沿着方向d5形成在衬底sub上。例如，平坦化层pl可以是透明层。包括多个微透镜ml的微透镜层可以沿着方向d5形成在平坦化层pl上。微透镜层可以会聚入射到衬底sub的背面上的光信号rl并且可以将光信号rl提供给衬底sub。例如，像素阵列121可以以背面照明(bsi)结构来实现，在该结构中通过背面接收光信号。参考图5，在平面图中，一个微透镜ml的中心和一个像素px的中心可以彼此对齐。栅电极gt1、gs1、gta、gpa、gpb、gtb、gs2和gt2可以沿方向d1形成在衬底sub上。
66.衬底sub可以包括其中实现光电转换器件pcd的光检测区域。例如，光检测区域可以包括作为n型杂质区域的n型光电二极管(npd)和作为p型杂质区域的p型光电二极管(ppd)。光检测区域的光电转换器件pcd可以基于分别施加到栅电极gpa和gpb的光电栅极信号pga和pgb的电压电平来对电荷积分，并且可以将电荷转移到存储晶体管s1和s2。例如，在平面图中，光电转换器件pcd可以与光电晶体管pa和pb重叠。
67.在平面图中，衬底sub可以包括设置在光电转换器件pcd与浮动扩散区fdl和fd2之间的p阱区。p阱区可以作为防止电荷直接转移到存储晶体管s1和s2或浮动扩散区fd1和fd2的势垒来操作。例如，在平面图中，p阱区可以与存储晶体管s1和s2或浮动扩散区fd1和fd2重叠。衬底sub还可以包括浮动扩散区fd1和fd2。例如，浮动扩散区fd1和fd2可以是n型杂质区域。
68.图6a和6b图示了施加到图2的像素的信号的时序图的示例。
69.图6a和6b的信号的时序图可以指示用于读出一帧的时段并且可以重复。用于读出一帧的时段可以划分为像素阵列121的所有像素px同时操作的全局模式间隔和像素px以行为单位操作的滚动模式间隔。
70.全局模式的全局复位时段可以包括从t0至tl的间隔。在全局复位时段期间，像素阵列121的所有像素px可以被复位。当溢流晶体管of由激活的溢流栅极信号og导通时，电源电压vdd可被供应给光电晶体管pa至pd。作为结果，可以去除由光电晶体管pa至pd积分的电
荷。转移栅极信号tga至tgd可以被去激活，从而转移晶体管ta至td可以防止电荷从光电晶体管pa至pd转移到浮动扩散区fd1至fd4。
71.全局模式的积分时段可以包括从tl至t3的间隔。详细地，积分时段可以包括第一积分时段t1至t2和第二积分时段t2至t3，并且第一积分时段t1至t2可以长于第二积分时段t2至t3。光电晶体管pa至pd可以基于光电栅极信号pga至pgd来对电荷积分。溢流栅极信号og可以被去激活，使得防止积分的电荷被电源电压vdd去除。
72.在第一积分时段tl至t2期间，可以对与较长曝光相关联的电荷积分。
73.光电栅极信号pgb和pgc可以被激活，从而电荷可以被分接头tap2和tap3的光电晶体管pb和pc积分。转移栅极信号tgb和tgc可以被激活，从而由光电晶体管pb和pc积分的电荷可以通过转移晶体管tb和tc分别转移到浮动扩散区fd2和fd3。
74.在第二积分时段t2至t3期间，可以对与较短曝光相关联的电荷积分。
75.光电栅极信号pga和pgd可以被激活，从而电荷可以被分接头tap1和tap4的光电晶体管pa和pd积分。转移栅极信号tga和tgd可以被激活，从而由光电晶体管pa和pd积分的电荷可以通过转移晶体管ta和td分别转移到浮动扩散区fd1和fd4。
76.滚动模式的读出时段可以包括多个1h间隔。1h间隔可以指示由相同选择信号(例如，sel1或sel2)控制的分接头的读出时间。第一1h间隔可以包括从t3至t4的间隔，第二1h间隔可以包括从t4至t5的间隔。例如，第一1h间隔t3至t4可以与分接头tap1和tap2的读出操作相关联，而第二1h间隔t4至t5可以与分接头tap3和tap4的读出操作相关联。在从t3至t4的间隔和从t4至t5的间隔期间，为了阻挡由于外部光或暗电流引起的附加电荷的引入，光电栅极信号pga至pgd、转移栅极信号tga至tgd以及存储栅极信号sg1和sg2可以被去激活为低(即，低电平)，并且溢流栅极信号og可以被激活(即，至高电平)。
77.在另一示例实施例中，存储栅极信号sgl至sg4可以保持在活动状态以增加存储晶体管sl和s2的存储容量。然而，当电荷被转移到浮动扩散区fd1至fd4时，对应的存储晶体管可以改变为非活动状态。
78.在第一1h间隔t3至t4中，当转移栅极信号tgl具有高电平时，由存储晶体管sl和s2存储的电荷可以分别转移到浮动扩散区fdl和fd2。在这种情况下，复位栅极信号rg1可以处于低电平状态。对应于存储在浮动扩散区fd1和fd2中的电荷的电势的输出信号out1和out2可以分别通过由选择信号sel1导通的选择晶体管se1和se2输出到模拟处理电路123(参考图1)。
79.在第二1h间隔t4至t5中，当转移栅极信号tg2具有高电平时，由存储晶体管s3和s4存储的电荷可以分别转移到浮动扩散区fd3和fd4。在这种情况下，复位栅极信号rg2可以处于低电平状态。对应于存储在浮动扩散区fd3和fd4中的电荷的电势的输出信号out3和out4可以分别通过由选择信号sel2导通的选择晶体管se3和se4输出到模拟处理电路123(参考图1)。
80.在实施例中，与较短曝光相关联的输出信号(例如，图2的outl和out4)可用于感测短程对象或较远程对象，而与较长曝光相关联的输出信号(例如，图2的out2和out3)可用于感测较远程对象。
81.在图6a的实施例中，描述了分接头tap1和tap2的读出操作在第一1h间隔内执行，而分接头tap3和tap4的读出操作在第二1h间隔内执行。然而，本公开不限于此。例如，在另
一实施例中，分接头tap3和tap4的读出操作可以在第一1h间隔内执行，而分接头tap1和tap2的读出操作可以在第二1h间隔内执行。
82.根据上述示例实施例，由于仅通过一个读出操作执行较长曝光和较短曝光，因此可以提高tof读取速度。另外，当执行两个或更多个读出操作时，可以通过利用较长曝光的读出结果和较短曝光的读出结果执行置乱(shuffle)，从而可以提高深度图的质量。
83.图7图示了施加到图2的像素的信号的时序图的示例。图7的时序图类似于图6a的时序图，因此将省略附加的描述以避免冗余。
84.在第一积分时段tl至t2期间，可以对与较短曝光相关联的电荷积分。
85.光电栅极信号pga和pgd可以被激活，因此电荷可以被分接头tap1和tap4的光电晶体管pa和pd积分。转移栅极信号tga和tgd可以被激活，因此由光电晶体管pa和pd积分的电荷可以通过转移晶体管ta和td分别转移到浮动扩散区fd1和fd4。
86.在第二积分时间段t2至t3期间，可以对与较长曝光相关联的电荷积分。光电栅极信号pgb和pgc可以被激活，因此电荷可以被分接头tap2和tap3的光电晶体管pb和pc积分。转移栅极信号tgb和tgc可以被激活，因此由光电晶体管pb和pc积分的电荷可以通过转移晶体管tb和tc分别转移到浮动扩散区fd2和fd3。
87.之后，在第一1h间隔t3至t4期间，可以执行分接头tap1和tap4的读出操作；在第二1h间隔t4到t5期间，可以执行分接头tap2和tap3的读出操作。
88.根据上述实施例，由于在一个积分时段tl至t3中执行对应于较短曝光的读出操作和对应于较长曝光的读出操作，因此可能存在在电荷积分的属性改变的时间(即，t2)对像素执行复位操作的需要。
89.图8a和8b图示了施加到图2的像素的信号的时序图的示例。图8a的时序图类似于图6a的时序图，因此将省略附加的描述以避免冗余。
90.参考图2、图8a和图8b，紧接在时间t2之前激活溢流栅极信号og，并且可以对留在光电转换器件pcd或光电晶体管pa至pd处的电荷放电。紧接在t2之前执行的复位操作的属性类似于在从t0至t1的间隔内执行的全局复位操作，但为方便起见，紧接在t2之前执行的复位操作可以称为“局部复位操作”。在这种情况下，存储栅极信号sg1和sg2可以被去激活以防止电荷被引入到存储晶体管s1和s2。
91.在另一个示例实施例中，用于控制存储晶体管s1和s2的存储栅极信号sg1和sg2可以在电荷被转移到浮动扩散区fd1至fd4的间隔以及复位间隔中被去激活到逻辑低状态并且可以在剩余的间隔中被激活到逻辑高状态。
92.图9至图11是施加到图2的像素的信号的时序图的示例。
93.在上述实施例中，描述了在一个积分时段期间执行一个较短曝光和一个较长曝光。不同于上述实施例，在图9的实施例中，可以在积分时段t1至t5期间执行两个或更多个较短曝光和两个或更多个较长曝光。
94.在第一积分时段tl至t2期间，可以对与较长曝光相关联的电荷积分。
95.光电栅极信号pgb和pgc可以被激活，因此电荷可以被分接头tap2和tap3的光电晶体管pb和pc积分。转移栅极信号tgb和tgc可以被激活，因此由光电晶体管pb和pc积分的电荷可以通过转移晶体管tb和tc分别转移到浮动扩散区fd2和fd3。
96.在第二积分时段t2至t3期间，可以对与较短曝光相关联的电荷积分。
97.光电栅极信号pga和pgd可以被激活，因此电荷可以被分接头tap1和tap4的光电晶体管pa和pd积分。转移栅极信号tga和tgd可以被激活，因此由光电晶体管pa和pd积分的电荷可以通过转移晶体管ta和td分别转移到浮动扩散区fd1和fd4。
98.在第三积分时段t3至t4期间，可以对与较长曝光相关联的电荷积分。
99.光电栅极信号pgb和pgc可以被激活，因此电荷可以被分接头tap2和tap3的光电晶体管pb和pc积分。转移栅极信号tgb和tgc可以被激活，因此由光电晶体管pb和pc积分的电荷可以通过转移晶体管tb和tc分别转移到浮动扩散区fd2和fd3。
100.在第四积分时段t4至t5期间，可以对与较短曝光相关联的电荷积分。
101.光电栅极信号pga和pgd可以被激活，因此电荷可以被分接头tap1和tap4的光电晶体管pa和pd积分。转移栅极信号tga和tgd可以被激活，因此由光电晶体管pa和pd积分的电荷可以通过转移晶体管ta和td分别转移到浮动扩散区fd1和fd4。
102.在参考图6a至8b描述的实施例中，深度图的质量可能由于特定情形下的运动模糊而降低。例如，在对象瞬间快速移动的间隔具有在特定的曝光间隔(即较短曝光和较长曝光中的一个)中发生的偏向趋势的情况下，可能在对应的曝光间隔中发生运动模糊。然而，根据图9的实施例，较短曝光和较长曝光中的每一个可以执行至少两次，从而可以防止对象瞬间快速移动的间隔具有在特定的曝光间隔中发生的偏向趋势。因此，可以改善由于运动模糊引起的深度图质量的劣化。
103.在实施例中，较短曝光和较长曝光的重复不限于图9的示例。例如，较短曝光和较长曝光中的每一个可以执行三次或更多次。在这种情况下，可以交替执行较短曝光和较长曝光。
104.此外，在实施例中，可以仅执行较短曝光和较长曝光中的一个至少两次。例如，如图10所示，可以首先执行较长曝光，然后可以执行较短曝光和较长曝光。可替代地，如图11所示，可以首先执行较短曝光，然后可以执行较长曝光和较短曝光。
105.图12是示出根据示例实施例的电子设备的操作方法的流程图。将参考图12与图1、2、3、6a和6b一起描述电子设备的操作方法。
106.相机110的光源112可以向对象发射由光控制器111调制的光信号el(s110)。例如，光信号el可以是但不限于连续波。相机110的深度传感器120可以接收被对象反射的光信号rl(s120)。相机110的深度传感器120可以基于光信号rl感测相机110和对象之间的距离。
107.深度传感器120的像素阵列121可以存储对应于光信号rl的电荷。为此，像素阵列121可以详细地具有4分接头结构。例如，分接头tap1和tap2可以设置在同一行并且可以由相同的选择信号(例如，sel1)控制，并且分接头tap3和tap4可以设置在同一行并且可以由相同的选择信号(例如，sel2)控制。例如，分接头tap2和tap3可以处理在第一积分时段期间积分的电荷，而分接头tap1和tap4可以处理在第二积分时段期间积分的电荷。第一积分时段可以长于第二积分时段，但本公开不限于此。
108.分接头tap2和tap3可以存储在第一积分时段期间积分的电荷(s130)。例如，在第一积分时段期间，分接头tap2和tap3的光电晶体管pb和pc以及存储晶体管s2和s3可以被激活，并且存储晶体管s2和s3可以分别存储由光电晶体管pb和pc积分的电荷。
109.之后，分接头tap1和tap4可以存储在第二积分时段期间积分的电荷(s140)。例如，在第二积分时段期间，分接头tap1和tap4的光电晶体管pa和pd以及存储晶体管s1和s4可以
被激活，并且存储晶体管s1和s4可以分别存储由光电晶体管pa和pd积分的电荷。
110.在滚动模式下，可以基于由分接头tap1至tap4存储的电荷来执行读出操作。例如，在第一1h间隔中，分接头tap1和tap2可以被选择信号sel1选择，并且由分接头tap1和tap2的存储晶体管s1和s2存储的电荷可以在转移栅极信号tg1具有高电平的间隔中分别转移到浮动扩散区fd1和fd2(s150)。对应于存储在浮动扩散区fd1和fd2中的电荷的电势的输出信号out1和out2可以分别通过由选择信号sel1导通的选择晶体管se1和se2输出到模拟处理电路123。
111.之后，在第二1h间隔中，分接头tap3和tap4可以被选择信号sel2选择，并且由分接头tap3和tap4的存储晶体管s3和s4存储的电荷可以在转移栅极信号tg2具有高电平的间隔中分别转移到浮动扩散区fd3和fd4(s160)。对应于存储在浮动扩散区fd3和fd4中的电荷的电势的输出信号out3和out4可以分别通过由选择信号sel2导通的选择晶体管se3和se4输出到模拟处理电路123。
112.在图12的实施例中，描述了由分接头tap1和tap2的存储晶体管s1和s2存储的电荷首先转移到浮动扩散区fd1和fd2，然后由分接头tap3和tap4的存储晶体管s3和s4存储的电荷转移到浮动扩散区fd3和fd4，但本公开不限于此。例如，可以首先执行向浮动扩散区fd3和fd4的电荷的转移。
113.之后，模拟处理电路123可以处理从像素阵列121接收的输出信号outl至out4。
114.图13是图1的像素的电路图的示例。图14图示了施加到图13的像素的信号的时序图的示例。
115.在实施例中，图13所示的组件的操作可以类似于图2中所示的组件的操作。例如，像素px可以包括光电转换器件pcd、分接头tap1至tap4以及溢流晶体管of。分接头tap1可以包括光电晶体管pa、转移晶体管ta、浮动扩散区fd1、复位晶体管r1、源极跟随器晶体管sf1和选择晶体管se1。然而，因为图13的像素px不包括图2所示的像素px的存储晶体管s1至s4和转移晶体管t1至t4，所以图13的像素px中包括的组件的操作时序可能与图2的像素px中包括的组件的操作时序略有不同。因此，将一起参考图13和图14描述像素px的操作。
116.用于读出一帧的时段可以被划分为像素阵列121(参考图1)的所有像素px同时操作的全局模式的间隔和像素px以行为单位操作的滚动模式的间隔。全局模式的全局复位时段可以包括从t0至t1的间隔。全局模式的积分时段可以包括从t1至t3的间隔。在第一积分时段t1至t2期间执行的与较长曝光相关的操作和在第二积分时段t2至t3期间执行的与较短曝光相关的操作与参考图6a描述的实施例的那些相似。
117.然而，由于像素px不包括图2所示的像素px的存储晶体管s1至s4和转移晶体管t1至t4，因此，在第一积分时段t1至t2期间积分的电荷可以直接转移到浮动扩散区fd2和fd3，并且在第二积分时段t2至t3期间积分的电荷可以直接转移到浮动扩散区fd1和fd4。复位栅极信号rg1和rg2可以在积分时段t1至t3期间被去激活以在浮动扩散区fd1至fd4中存储电荷。
118.滚动模式的读出时段可以包括多个1h间隔。例如，第一1h间隔可以包括从t3至t4的间隔，第二1h间隔可以包括从t4至t5的间隔。第一1h间隔t3至t4可以与分接头tap1和tap2的读出操作相关联，而第二1h间隔t4至t5可以与分接头tap3和tap4的读出操作相关联。在从t3至t4的间隔和从t4至t5的间隔期间，光电栅极信号pga至pgd和转移栅极信号tga
至tgd可以被去激活(即，到低电平)，并且溢流栅极信号og可以被激活(即，到高电平)。
119.在选择信号sell被激活的间隔中，在紧接复位栅极信号rgl被激活之前的非活动间隔期间，即，从选择信号sell的低到高转变到复位栅极信号rg1的低到高转变(紧接复位栅极信号rg1的低到高转变之前)，对应于存储在浮动扩散区fd1和fd2中的电荷的电势的输出信号out1和out2可以分别通过由选择信号sel1导通的选择晶体管se1和se2被输出到模拟处理电路123(参考图1)。在选择信号sel2被激活的间隔中，在紧接复位栅极信号rg2被激活之前的非活动间隔期间，即，从选择信号sel2的低到高转变到复位栅极信号rg2的低到高转变(紧接复位栅极信号rg2的低到高转变之前)，对应于存储在浮动扩散区fd3和fd4中的电荷的电势的输出信号out3和out4可以分别通过由选择信号sel2导通的选择晶体管se3和se4被输出到模拟处理电路123(参考图1)。
120.图15概念性地图示了根据示例实施例的电子设备的图像处理。
121.一起参考图6a、6b和15，首先，将执行第一帧中的操作。如上所述，在与第一帧相关联的全局模式的第一积分时段期间，可以通过分接头tap2和tap3累积电荷(或对电荷积分)。在与第一帧相关联的全局模式的第二积分时段期间，可以通过分接头tap1和tap4累积电荷(或对电荷积分)。
122.在实施例中，分接头tap2和tap3的光电栅极信号pgb和pgc的相位差可以是180度，并且分接头tap1和tap4的光电栅极信号pga和pgd的相位差可以是180度。也就是说，在第一帧中，分接头tap1的光电栅极信号pga的相位可以是0度，分接头tap2的光电栅极信号pgb的相位可以是90度，分接头tap3的光电栅极信号pgc的相位可以是270度，而分接头tap4的光电栅极信号pgd的相位可以是180度。
123.在第一帧的滚动模式下，分接头tapl可以输出具有0度相位信息的输出信号outl，分接头tap2可以输出具有90度相位信息的输出信号out2，分接头tap3可以输出具有270度相位信息的输出信号out3，并且分接头tap4可以输出具有180度相位信息的输出信号out4。
124.之后，可以执行第二帧中的操作。在与第二帧相关联的全局模式的第一积分时段期间，可以通过分接头tap2和tap3累积电荷(或对电荷积分)。在与第二帧相关联的全局模式的第二积分时段期间，可以通过分接头tap1和tap4累积电荷(或对电荷积分)。与第一帧一样，分接头tap2和tap3的光电栅极信号pgb和pgc的相位差可以是180度，并且分接头tap1和tap4的光电栅极信号pga和pgd的相位差可以是180度。
125.然而，与第二帧相关联的分接头tap1至tap4的光电栅极信号pga至pgd的相位可以与和第一帧相关联的那些不同。例如，在第二帧中，分接头tap1的光电栅极信号pga的相位可以是180度，分接头tap2的光电栅极信号pgb的相位可以是270度，分接头tap3的光电栅极信号pgc的相位可以是90度，而分接头tap4的光电栅极信号pgd的相位可以是0度。
126.在第二帧的滚动模式中，分接头tap1可以输出具有180度相位信息的输出信号outl，分接头tap2可以输出具有270度相位信息的输出信号out2，分接头tap3可以输出具有90度相位信息的输出信号out3，而分接头tap4可以输出具有0度相位信息的输出信号out4。
127.即，分接头tap1至tap4接收和存储电荷的顺序可以被置乱，并且模拟处理电路123(参考图1)可以基于这样被置乱的每一帧的输出信号来执行模拟处理。作为结果，可以通过上述置乱而减少在像素阵列121处发生的固定模式噪声(fpn)。此外，分接头tap1至tap4接收和存储电荷的顺序不限于图13所示的示例。
128.图16概念性地图示了根据示例实施例的电子设备的图像处理。
129.首先，在第一帧的全局模式下，可以在第一积分时段期间通过分接头tap2和tap3累积电荷(或对电荷积分)，并且可以在第二积分时段期间通过分接头tap1和tap4累积电荷(或对电荷积分)。在这种情况下，分接头tap1至tap4的光电栅极信号pga、pgb、pgc和pgd的相位可以分别为0度、90度、270度和180度。在第一帧的滚动模式下，分接头tap1可以输出具有0度相位信息的输出信号out1，分接头tap2可以输出具有90度相位信息的输出信号out2，分接头tap3可以输出具有270度相位信息的输出信号out3，而分接头tap4可以输出具有180度相位信息的输出信号out4。
130.在第二帧的全局模式下，可以在第一积分时段期间通过分接头tap2和tap3累积电荷(或对电荷积分)，并且可以在第二积分时段期间通过分接头tap1和tap4累积电荷(或对电荷积分)。在这种情况下，分接头tap1至tap4的光电栅极信号pga、pgb、pgc和pgd的相位可以是90度、0度、180度和270度。在第二帧的滚动模式下，分接头tap1可以输出具有90度相位信息的输出信号out1，分接头tap2可以输出具有0度相位信息的输出信号out2，分接头tap3可以输出具有180度相位信息的输出信号out3，而分接头tap4可以输出具有270度相位信息的输出信号out4。
131.在第三帧的全局模式下，可以在第一积分时段期间通过分接头tap2和tap3累积电荷(或对电荷积分)，并且可以在第二积分时段期间通过分接头tap1和tap4累积电荷(或对电荷积分)。在这种情况下，分接头tap1至tap4的光电栅极信号pga、pgb、pgc和pgd的相位可以是180度、270度、90度和0度。在第三帧的滚动模式下，分接头tap1可以输出具有180度相位信息的输出信号out1，分接头tap2可以输出具有270度相位信息的输出信号out2，分接头tap3可以输出具有90度相位信息的输出信号out3，而分接头tap4可以输出具有0度相位信息的输出信号out4。
132.在第四帧的全局模式下，可以在第一积分时段期间通过分接头tap2和tap3累积电荷(或对电荷积分)，并且可以在第二积分时段期间通过分接头tap1和tap4累积电荷(或对电荷积分)。在这种情况下，分接头tap1至tap4的光电栅极信号pga、pgb、pgc和pgd的相位可以是270度、180度、0度和90度。在第四帧的滚动模式下，分接头tap1可以输出具有270度相位信息的输出信号out1，分接头tap2可以输出具有180度相位信息的输出信号out2，分接头tap3可以输出具有0度相位信息的输出信号out3，而分接头tap4可以输出具有90度相位信息的输出信号out4。
133.也就是说，可以通过4-置乱操作进一步减少在像素阵列121(参考图1)处发生的固定模式噪声(fpn)。分接头tap1至tap4接收和存储电荷的顺序不限于图16所示的示例。
134.图17图示了施加到图2的像素的信号的时序图的示例。
135.上述实施例可以与光信号rl是占空比为50％的连续波的情况相关联，而图17的实施例可以与占空比小于50％的情况相关联。然而，图17的实施例可以与上述实施例的相似之处在于，基于在不同时间期间通过相应分接头累积(或积分)的电荷来执行至少两个读出操作。为了更好地理解，将一起参考图2给出描述。
136.在实施例中，在全局模式的第一积分时段tl至t2期间，可以在光电栅极信号pgb和光信号rl的脉冲彼此重叠的间隔(即，阴影部分)中由分接头tap2的存储晶体管s2存储电荷。可以在光电栅极信号pgc和光信号rl的脉冲彼此重叠的间隔中由分接头tap3的存储晶
体管s3存储电荷，光电栅极信号pgc的相位相对于光电栅极信号pgb的相位被延迟。例如，随着第一积分时段的增加，由存储晶体管s2和s3存储的电荷量可以增加(长曝光)。
137.在实施例中，在全局模式的第二积分时段t2至t3期间，可以在光电栅极信号pga和光信号rl的脉冲彼此重叠的间隔(即，阴影部分)中由分接头tap1的存储晶体管s1存储电荷。可以在光电栅极信号pgd和光信号rl的脉冲彼此重叠的间隔中由分接头tap4的存储晶体管s4存储电荷，光电栅极信号pgd的相位相对于光电栅极信号pga的相位被延迟。例如，第二积分时段可以比第一积分时段短(较短曝光)。
138.之后，如在上面参考图6b给出的描述，在第一帧的滚动模式的第一1h间隔中，可以对分接头tap1和tap2执行读出操作，从而可以输出输出信号out1和out2；在第一帧的滚动模式的第二1h间隔中，可以对分接头tap3和tap4执行读出操作，从而可以输出输出信号out3和out4。因此，将省略附加的描述以避免冗余。
139.在实施例中，通过利用脉冲波生成深度图的方式不限于图17中公开的实施例。例如，在实施例中，如图7所示，较短曝光可以在较长曝光之前执行，并且图8a至11的实施例可以相同地应用于通过利用脉冲波生成深度图。此外，参考图15和图16描述的置乱可以相同地应用于通过利用脉冲波生成深度图。
140.根据上述实施例，在一帧中，可以基于在不同时间期间由不同分接头积分的电荷执行至少两个读出操作。如此，可以生成可用于感测较远程对象的输出信号以及可用于感测短程对象的输出信号。因此，深度图的动态范围可以增加，并且可以实现高动态范围(hdr)。
141.根据本公开，可以通过一帧中仅一个读取操作基于在不同积分时段期间存储的电荷来生成输出信号。
142.作为结果，可以基于能够感测短程对象和较远程对象两者的信号来生成深度图，因此可以改进深度图的动态范围。
143.虽然已经参考其示例实施例描述了本公开，但是对于本领域普通技术人员将显而易见的是，在不脱离在以下权利要求及其等同物中所阐述的本公开的精神和范围的情况下可以对其进行各种改变和修改。