成像单元和系统的制作方法
【专利摘要】提供一种成像单元和系统。使用同一图像传感器针对3D对象捕获二维(2D)图像和进行三维(3D)深度测量。激光器用光斑点扫描对象的表面，图像传感器中的像素阵列检测所述光斑以使用三角法来生成对象的3D深度轮廓。像素阵列中的各像素行形成对应的激光扫描线的极线。时间戳时间戳提供所捕获光斑的像素位置和激光器的各个扫描角度之间的对应关系，以消除三角法中的任何不确定性。图像传感器中的模数转换器(ADC)作为时间?数字(TDC)转换器来操作，以生成时间戳。在板上提供时间戳校准电路，以记录像素阵列中的各像素列的传播延迟并且向3D深度测量期间产生的时间戳值提供必要的校正。
【专利说明】
成像单元和系统
[00011 本申请是2015年9月1日提交的美国专利申请No. 14/842,822的部分连续案并且要 求其优先权权益，该美国专利申请要求共同受让的2015年4月20日提交的美国临时申请 No.62/150,252和2015年6月19日提交的美国临时申请No.62/182,404的权益，这些申请的 全部公开内容通过引用全部包含于此。本申请还要求2015年11月9日提交的美国临时申请 No. 62/253，123的优先权权益，该美国临时申请的公开内容通过引用全部包含于此。
技术领域
[0002] 本公开总体上涉及图像传感器。更具体地，而非限制地，本公开中公开的创造性方 面的特定实施例指向使用激光点扫描和互补型金属氧化物半导体(CMOS)图像传感器在基 于三角法的系统和深度测量的方法中对三维(3D)对象进行的时间戳校准，CMOS图像传感器 也用于3D对象的二维(2D)成像。
【背景技术】
[0003] 三维(3D)成像系统正越来越多地用于各种各样的应用，例如，诸如工业生产、视频 游戏、计算机图形、机器人手术、消费者显示、监控录像、3D建模、房地产销售等。
[0004] 现有的3D成像技术可包括例如基于飞行时间（time-of-f light，T0F)的距离成像、 立体视觉系统和结构光(SL)方法。
[0005] 在TOF方法中，基于已知的光速来求解与3D对象的距离一通过针对图像中的各点 测量光信号在相机和3D对象之间行进所花费的往返时间。TOF相机可使用无扫描仪方法用 各激光或光脉冲来拍摄整个场景。TOF方法的一些示例应用可包括高级汽车应用(诸如，基 于实时的距离图像的主动行人安全或预碰撞检测），该应用用于在工业机器视觉中在诸如 用视频游戏控制台与游戏进行互动期间跟踪人的移动，从而将对象分类并且帮助机器人寻 找物品(诸如，传送带上的物品）等等。
[0006] 在立体成像或立体视觉系统中，使用相互水平移位的两个相机得到场景的两个不 同视图或场景中的3D对象。通过比较这两个图像，可得到针对3D对象的相对深度信息。在诸 如机器人的领域中，立体视觉对于提取自主系统/机器人附近的3D对象的相对位置的有关 信息而言是极其重要的。机器人的其他其他应用包括对象识别，在对象识别中，立体深度信 息允许机器人系统分开遮挡的图像分量，机器人原本不能将这些图像分量区分成两个单独 对象一诸如，在一个对象的前方的另一个对象部分或完全遮挡了其他前一对象。3D立体显 示器还可用于娱乐和自动化系统。
[0007] 在SL方法中，可使用投影光图案和用于成像的相机来测量对象的3D形状。在SL方 法中，光的已知图案一常常是栅格或水平杆或平行条的图案一被投影到场景上或场景中的 3D对象上。投影图案在照射到3D对象的表面时会发生变形或位移。这种变形可允许SL视觉 系统计算对象的深度和表面信息。因此，将窄带光投影到3D表面上可产生从与投影仪的视 角不同的其他视角来看可能会失真的照射线，并且可用于被照射的表面形状的几何重构。 基于SL的3D成像可用于不同应用，例如，诸如由警察机关拍摄3D场景中的指纹、生产过程期 间的部件的流水线检查、用于人体形状的现场测量或人皮肤的微结构的卫生保健等。
【发明内容】
[0008] 在一个实施例中，本公开指向一种方法，所述方法包括：（i)使用光源沿着扫描线 执行三维(3D)对象的一维（ID)点扫描，其中，点扫描将一系列光斑投影到3D对象的表面上； (ii)选择图像传感器中的像素行，其中，图像传感器具有布置成形成像平面的二维(2D)阵 列的多个像素，其中，选择的像素行在像平面上形成扫描线的极线的至少一部分；（iii)针 对选择的像素行中的像素，感测所述一系列光斑中的对应光斑的像素特定检测；（iv)响应 于感测到对应光斑的像素特定检测，生成针对对应光斑的时间戳值；（V)针对与选择的像素 行中的像素关联的2D阵列中的列，将列特定校正值应用于时间戳值，以得到校正后的时间 戳值，其中，列特定校正值表示像素特定检测的感测和选择的像素行中的像素的像素特定 输出达到预定义阈值的时间之间的列特定传播延迟;和(vi)基于校正后的时间戳值和光源 用于投影对应光斑的扫描角来确定与3D对象表面上的对应光斑的距离。
[0009] 在另一个实施例中，本公开指向一种成像单元，该成像单元包括：（i)光源，可操作 为沿着扫描线对3D对象执行ID点扫描，其中，点扫描将一系列光斑投影到3D对象的表面上； 以及（ii)图像传感器单元。图像传感器单元包括：（i)布置成形成像平面的2D像素阵列的多 个像素，其中，2D像素阵列中的像素行形成扫描线的极线的至少一部分，其中，所述像素行 中的各像素与2D像素阵列中的各个列关联，其中，所述像素行中的各像素可操作为检测所 述一系列光斑中的对应的光斑；（ii)多个模数转换器(ADC)单元，其中，各ADC单元与所述像 素行中的各个像素关联并且可操作为响应于由所述各个像素进行的对应光斑的像素特定 检测，针对所述各个像素生成像素特定时间戳值；以及(iii)处理单元，结合到所述多个ADC 单元。在图像传感器单元中，处理单元可操作为执行以下：（i)针对与所述像素行中的各个 像素关联的2D阵列中的列，将列特定校正值应用于像素特定时间戳值，以得到校正后的时 间戳值，其中，列特定校正值表示像素特定检测和所述各个像素的像素特定输出达到预定 义阈值的时间之间的列特定传播延迟；以及（ii)基于校正后的时间戳值和光源用于投影对 应光斑而使用的扫描角，确定在3D对象的表面上与对应光斑的距离。
[0010] 在其他实施例中，本公开指向一种系统，所述系统包括：⑴光源；（ii)布置成2D像 素阵列的多个像素；（iii)多个ADC单元；（iv)用于存储程序指令的存储器;和(V)结合到存 储器和所述多个ADC单元的处理器。在所述系统中，光源可操作为沿着扫描线来执行3D对象 的ID点扫描，其中，点扫描将一系列光斑投影到3D对象的表面上。另外，在所述系统中，2D像 素阵列形成像平面，其中，2D像素阵列中的像素行形成扫描线的极线的至少一部分。所述像 素行中的各像素与所述系统中的2D像素阵列中的各个列关联，其中，所述像素行中的各像 素可操作为检测所述一系列光斑中的对应光斑。所述系统中的各ADC单元与所述像素行中 的各个像素关联并且可操作为响应于由所述各个像素进行的对应光斑的像素特定检测来 生成针对所述各个像素的像素特定时间戳值。在所述系统中，处理器被构造成执行(存储器 中存储的)程序指令，由此，处理器可操作为执行以下：（i)针对与所述像素行中的各个像素 关联的2D像素阵列中的列，将列特定校正值应用于像素特定时间戳值，以得到校正后的时 间戳值，其中，列特定校正值表示像素特定检测和所述各个像素的像素特定输出达到预定 义阈值的时间之间的列特定传播延迟，以及（ii)基于校正后的时间戳值和光源用于投影对 应光斑而使用的扫描角，确定在3D对象的表面上与对应光斑的距离。
【附图说明】
[0011] 在下面的部分中，将参照附图中示出的示例性实施例来描述本公开的创造性方 面，其中：
[0012] 图1不出根据本公开的一个实施例的系统的高度简化的部分布局；
[0013] 图2示出根据本公开的一个实施例的图1中的系统的示例性操作布局；
[0014] 图3描绘根据本公开的一个实施例的示出可如何执行3D深度测量的示例性流程 图；
[0015] 图4是根据本公开的一个实施例的可如何针对3D深度测量来执行点扫描的示例性 图示；
[0016] 图5示出根据本公开的一个实施例的针对被扫描的光斑的示例性时间戳；
[0017] 图6示出根据本公开的一个实施例的图1至图2中的图像传感器的图像处理单元中 的2D像素阵列和相关处理电路的一部分的示例性电路细节；
[0018] 图7A是根据本公开的一个实施例的图像传感器单元的示例性布局；
[0019] 图7B示出根据本公开的一个实施例的用于3D深度测量的示例性CDS+ADC单元的架 构细节；
[0020] 图8是示出根据本公开的特定实施例的用于在3D操作模式下生成基于时间戳的像 素特定输出的、图1至图2的系统中的不同信号的示例性时序的时序图；
[0021] 图9示出根据本公开的一个实施例的示出可在3D深度测量期间如何校正时间戳值 的示例性流程图；
[0022]图10是根据本公开的一个实施例的时间戳校准单元的示例性布局；
[0023] 图11是根据本公开的特定实施例的示出用于确定列特定传播延迟的与图11的校 准单元关联的不同信号的示例性时序的时序图；以及
[0024] 图12描绘了根据本公开的一个实施例的图1至图2中的系统的整体布局。
【具体实施方式】
[0025] 在下面的详细描述中，为了提供对本公开的彻底理解，阐述众多具体细节。然而， 本领域的技术人员应该理解，可在没有这些具体细节的情况下实践所公开的创造性方面。 在其他情形下，没有详细描述熟知的方法、程序、组件和电路，以免模糊本公开。另外，可实 现所描述的创造性方面来执行任何成像装置或系统（例如，包括智能电话、用户设备(UE)、 膝上型计算机等）中的低电力3D深度测量。
[0026] 贯穿本说明书，参考"一个实施例"或"实施例"意指与实施例结合起来描述的特定 的特征、结构、或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书中的各个 地方出现的短语"在一个实施例中"或"在实施例中"或"根据一个实施例"（或具有类似意义 的其他其他短语)不一定都是指同一实施例。此外，特定的特征、结构、或特性可按任何合适 方式在一个或多个实施例中进行组合。另外，根据本文中的讨论背景，单数术语可包括其复 数形式，复数术语可包括其单数形式。类似地，用连字符连接的术语(例如，"二-维"、"预先-确定"、"像素-特定"等)可偶尔与其没有用连字符连接的形式(例如，"二维"、"预定"、"像素 特定"等)互换地使用，并且大写条目可与其非大写形式互换地使用。这些偶尔可互换的使 用不应当被视为彼此不一致。
[0027] 在开始之前要注意，术语"结合"、"操作地结合"、"连接"、"电连接"等可在本文中 互换地使用，以总体上表示以操作方式电地/电子地连接的状况。类似地，当第一实体将信 息信号(无论是包含地址、数据还是控制信息)发送到第二实体和/或从第二实体接收(无论 是通过有线还是无线手段)信息信号而不用顾及这些信号的类型(模拟或数字)时，第一实 体被认为与一个第二实体(或多个第二实体）"通信"。还要注意，这里示出和讨论的各种图 (包括组件图）只是用于说明的目的，并不按比例进行绘制。类似地，仅用于说明的目的而示 出各种波形图和时序图。
[0028] 除非明确地这样定义，否则这里使用的术语"第一"、"第二"等被用作在它们之后 的名词的标签，并不隐含着任何类型的排序(例如，空间、时间、逻辑等）。此外，可在两个或 多个图中使用相同的参考标号来表示具有相同或类似功能的部件、组件、块、电路、单元或 模块。然而，这样的使用仅为了简化说明和便于讨论;并不意味着这些组件或单元的构造或 架构细节对于所有实施例是相同的，或者这些共同引用的部件/模块是用于实现本公开的 特定实施例的教导的唯一方式。
[0029]这里观察到，之前提到的3D技术有许多缺点。例如，基于TOF的3D成像系统会需要 高电力来操作光学或电子快门。这些系统通常在几米至几十米的范围内操作，但对于短距 离的测量，这些系统的分辨率降低，从而使大约1米距离内的3D成像几乎是不切实际的。因 此，对于主要以近距离拍摄照片的基于蜂窝电话的相机应用而言，TOF系统可能不是所期望 的。TOF传感器还会需要大像素大小(通常大于7μπι)的特定像素。这些像素也会容易受环境 光的影响。
[0030] 立体成像方法通常只适用于纹理表面。它的计算复杂度高，因为需要匹配特征并 且找到对象的立体图像对之间的对应关系。这需要高系统电力，而这不是诸如智能电话中 的需要省电的理想属性。此外，立体成像需要两个标准大小的高比特分辨率传感器连同两 个镜头，使得整个组件并不适合装置不动产受青睐的便携式装置(如蜂窝电话或平板）中的 应用。
[0031] SL方法引入距离不确定性，并且还需要高系统电力。对于3D深度测量，SL方法会需 要具有多个图案的多个图像一这些全都增加了计算复杂度和功耗。此外，SL成像还会需要 具有高比特分辨率的标准大小的图像传感器。因此，基于结构光的系统会不适于智能电话 中的低成本、低电力、小型图像传感器。
[0032]相比于以上提到的3D技术，本公开的特定实施例提供了在诸如智能电话、平板、UE 等便携式电子装置上实现低电力的3D成像系统。依照本公开的特定实施例的2D成像传感器 可用可见光激光扫描来拍摄2D RGB(红色、绿色、蓝色）图像和3D深度测量。这里要注意，尽 管以下的讨论会频繁提到作为点扫描的光源的可见光激光和作为图像/光拍摄装置的2D RGB传感器，但这种提到只是出于说明和讨论一致性的目的。以下讨论的基于可见激光和 RGB传感器的示例可发现具有相机的低电力、消费者级的移动电子装置(例如，诸如智能电 话、平板或UE)中的应用。然而，要理解，本公开的教导不限于以下提到的基于可见激光-RGB 传感器的示例。相反地，根据本公开的特定实施例，可使用诸如以下的2D传感器和激光光源 (用于点扫描）的许多不同组合来执行基于点扫描的3D深度测量和环境光反射方法，例如： (i)具有可见光激光源的2D颜色(RGB)传感器，其中，激光源可以是红色(R)、绿色(G)、或蓝 色(B)光激光、或者产生这些光的组合的激光源；（ii)具有含红外（IR)截止滤波器的2D RGB 颜色传感器的可见光激光；（iii)具有2D IR传感器的近红外(NIR)激光；（iv)具有2D NIR传 感器的NIR激光；（V)具有2D RGB传感器(不带IR截止滤波器）的NIR激光；（vi)具有2D RGB传 感器（不带NIR截止滤波器）的NIR激光；（vii)具有可见或NIR激光的2D RGB-IR传感器； (viii)具有可见或NIR激光的2D RGBW(红色、绿色、蓝色、白色)传感器;等等。
[0033]在3D深度测量期间，整个传感器可作为结合激光器扫描的二元传感器来操作，以 重构3D内容。在特定实施例中，传感器的像素大小可以小至Ιμπι。此外，由于更小的比特分辨 率而导致根据本公开的特定实施例的图像传感器中的模数转换器(ADC)单元会需要比传统 3D成像系统中的高比特分辨率传感器所需的处理能力明显低得多的处理能力。因为需要的 处理能力更小，所以根据本公开的3D成像模块会需要低系统电力，因此，非常适于包括在如 智能电话的低电力装置中。
[0034] 在特定实施例中，本公开将三角法和用激光光源进行的点扫描用于用一组线传感 器进行的3D深度测量。使用极面几何学，对激光扫描平面和成像平面进行取向。根据本公开 的一个实施例的图像传感器可使用时间戳消除三角方法中的不确定性，从而减少深度计算 量和系统电力。可提供板上时间戳校准单元来补偿因与传感器像素的不同列的读出链关联 的信号传播延迟中的变化造成的时间戳抖动和误差。相同的图像传感器一也就是说，图像 传感器中的各像素一可用于正常2D(RGB颜色或非RGB)成像模式以及3D激光扫描模式。然 而，在激光扫描模式下，图像传感器中的ADC的分辨率减小为二进制输出（仅1比特分辨率）， 从而提高集成图像传感器和相关处理单元的芯片中的读出速度并且降低功耗一例如，由于 ADC单元中的转换而导致的功耗。此外，点扫描方法可允许系统一次完成所有测量，从而降 低深度测量的延迟并且减少运动模糊。
[0035] 如之前指出的，在特定实施例中，整个图像传感器可用于使用例如环境光进行的 常规2D RGB颜色成像以及使用可见激光扫描进行的3D深度成像。同一相机单元的这种两用 可节省移动装置的空间和成本。此外，在某些应用中，相比于近红外(NIR)激光，3D应用的可 见激光对于用户的眼睛安全而言会更好。传感器在可见光谱中可比在NIR光谱中具有更高 量子效率，导致光源的功耗更低。在一个实施例中，两用图像传感器可在2D成像的线性操作 模式下工作一如同常规2D传感器。然而，对于3D成像，传感器可在适中光照条件下以线性模 式工作并且在强环境光下以对数模式工作，以便于通过强环境光的反射来持续使用可见激 光源。此外，例如，当用于RGB传感器的IR截止滤波器的通带带宽不够窄时，就NIR激光而言， 也会需要环境光反射。
[0036] 图1示出根据本公开的一个实施例的系统15的高度简化的部分布局。如所示出的， 系统15可包括与处理器或主机19结合并且通信的成像模块17。系统15还可包括结合处理器 19以存储从成像模块17接收的信息内容(例如，诸如图像数据）的存储器模块20。在特定实 施例中，整个系统15可被包封在单个集成单路（IC)或芯片中。可供选择地，模块17、19和20 中的每个可在单独芯片中实现。此外，存储器模块20可包括不止一个存储器芯片，处理器模 块19也可包括多个处理芯片。在任何情况下，关于图1中的模块封装细节以及它们如何在单 个芯片中或者使用多个分立芯片来制造或实现与当前讨论无关，因此，在这里不提供这些 细节。
[0037]系统15可以是依照本公开的教导而针对2D和3D相机应用所构造的任何低电力的 电子装置。系统15可以是便携式的或非便携式的。例如，系统15的便携式形式的一些示例可 包括普及的消费者电子配件，诸如移动装置、蜂窝电话、智能电话、用户设备(UE)、平板、数 字相机、膝上型或台式计算机、电子智能手表、机器对机器(M2M)通信单元、虚拟现实(VR)设 备或模块、机器人等。另一方面，系统15的非便携式形式的一些示例可包括：电子游戏室中 的游戏控制台、交互式视频终端、汽车、机器视觉系统、工业机器人、VR设备、驾驶员侧安装 的车载相机(例如，用于监测驾驶员是否醒着)等。例如，依照本公开的教导提供的3D成像功 能可用于许多应用，诸如虚拟现实设备上的虚拟现实应用、在线聊天/游戏、3D短信、使用产 品3D图像搜索在线或本地(基于装置的）目录/数据库以得到产品相关信息(例如，一条食物 项目的卡路里含量）、机器人和机器视觉应用、诸如自主驾驶应用的汽车应用等。
[0038]在本公开的特定实施例中，成像模块17可包括光源22和图像传感器单元24。如以 下参照图2更详细讨论的，在一个实施例中，光源22可以是可见激光器。在其他实施例中，光 源可以是NIR激光器。图像传感器单元24可包括如图2所示的像素阵列和辅助处理电路并且 也在以下进行了讨论。
[0039] 在一个实施例中，处理器19可以是CPU，CHJ可以是通用微处理器。在这里的讨论 中，为了便于讨论，可互换地使用术语"处理器"和"CPU"。然而，要理解，作为CPU的替代或补 充，处理器19可包含任何其他类型的处理器，例如，诸如微控制器、数字信号处理器(DSP)、 图形处理单元(GPU)、专用应用集成电路(ASIC)处理器等。此外，在一个实施例中，处理器/ 主机19可包括不止一个CPU，CPU可在分布式处理环境中进行操作。处理器19可被构造成根 据特定指令集架构（ISA)(例如，诸如x86指令集架构(32位或64位版本）、PowerPC? ISA、 或依赖于RISC(精简指令集计算机）ISA的MIPS(不带互锁流水线级的微处理器)指令集架 构)来执行指令并且处理数据。在一个实施例中，处理器19可以是具有除了 CPU功能之外的 功能的片上系统(SoC)。
[0040]在特定实施例中，存储器模块20可以是动态随机存取存储器(DRAM)(例如，诸如同 步DRAM (SDRAM))、基于DRAM的三维堆叠(3DS)存储器模块(例如，诸如高带宽存储器(HBM)模 块）、或混合存储器立方体(HMC)存储器模块。在其他实施例中，存储器模块20可以是固态驱 动器(SSD)、非3DS DRAM模块、或任何其他基于半导体的存储系统，例如，诸如静态随机存取 存储器（SRAM)、相变随机存取存储器（PRAM或PCRAM)、电阻型随机存取存储器（RRAM或 ReRAM)、导电桥接RAM(CBRAM)、磁性RAM(MRAM)、自旋转移扭矩MRAM(STT-MRAM)等。
[0041 ]图2不出根据本公开的一个实施例的图1中的系统15的不例性操作布局。系统15可 用于得到3D对象(诸如3D对象26)的深度信息（沿着Z轴），该3D对象可以是独立对象或者场 景(未示出）内的对象。在一个实施例中，可基于从图像传感器单元24接收的扫描数据，用处 理器19来计算深度信息。在另一个实施例中，可用图像传感器单元24本身（例如，诸如图7A 的实施例中的图像传感器单元)来计算深度信息。在特定实施例中，可通过处理器19使用深 度信息作为3D用户界面的部分以使系统15的用户能够与对象的3D图像交互或者使用对象 的3D图像作为在系统15上运行的游戏或其他应用的部分。依照本公开的教导的3D成像也可 用于其他目的或应用，并且可应用于基本上任何场景或3D对象。
[0042]在图2中，取X轴作为沿着装置15的前方的水平方向，Y轴是垂直方向（在这个视图 中在页面外），Z轴沿对象26被成像的大体方向上远离装置15的方向延伸。针对深度测量，模 块22和24的光轴可平行于Z轴。也可使用其他光学布置来实现这里描述的原理，这些替代布 置被认为在本公开的范围内。
[0043]光源模块22可如与对应的虚线30-31关联的示例性箭头28-29所示地照射3D对象 26,虚线30-31表不可用于对光学视场内的3D对象26进行点扫描的光束或光学福射的照射 路径。可使用光学福射源执行对象表面的逐行点扫描，在一个实施例中，光学福射源可以是 由激光控制器34操作和控制的激光光源33。可在激光控制器34的控制下借助投影光学器件 35在贯穿3D对象26表面的X-Y方向上对来自激光光源33的光束进行点扫描。如以下参照图4 至图5更详细讨论的，点扫描可将光斑沿着扫描线投影到3D对象的表面上。投影光学器件可 以是聚焦镜头、玻璃/塑料表面、或将来自激光光源33的激光束聚集到对象26的该表面上的 点或斑的其他柱形光学元件。在图2的实施例中，凸形结构被示出为聚焦镜头35。然而，可为 投影光学器件35选择任何其他合适的镜头设计。对象26可布置在来自光源33的照射光被投 影光学器件35聚焦为光斑的聚焦位置。因此，在点扫描中，可通过来自投影光学器件35的聚 焦光束顺序地照射3D对象26的表面上的点或窄的区域/斑。
[0044]在特定实施例中，光源(或照射源)33可以是发射可见光的二极管激光器或发光二 极管（LED)、NIR激光器、点光源、可见光谱中的单色照射源（例如，诸如白灯和单色仪的组 合）、或任何其他类型的激光光源。激光器33可被固定在装置15的外壳内的一个位置，但可 在X-Y方向上旋转。激光器33可(例如，由激光控制器34)进行X-Y寻址以执行3D对象26的点 扫描。在一个实施例中，可见光可以基本上是绿光。可使用反射镜(未不出）将来自激光光源 33的可见光照射投影到3D对象26的表面上，或者点扫描可以完全无反射镜。在特定实施例 中，光源模块22可包括比图2的示例性实施例中示出的组件更多或更少的组件。
[0045]在图2的实施例中，被对象26的点扫描反射的光可沿着箭头36-37和虚线38-39所 指示的收集路径行进。光收集路径可在从激光光源33接收照射时，携带被对象26的表面反 射或散射的光子。这里要注意，使用图2中的实心箭头和虚线的各种传播路径的描绘(也适 用于图4至图5中）只是出于说明目的。该描绘不应该被理解为示出任何实际的光学信号传 播路径。实际上，照射和收集信号的路径可不同于图2中示出的路径，并且可不像图2中的图 示中一样清晰定义。
[0046]可借助图像传感器单元24中的收集光学器件44将从被照射对象26接收的光聚焦 到2D像素阵列42的一个或多个像素上。如同投影光学器件35,收集光学器件44可以是聚焦 镜头、玻璃/塑料表面、或将从对象26接收的反射光聚集到2D阵列42中的一个或多个像素上 的其他柱形光学元件。在图2的实施例中，凸形结构被示出为聚焦镜头44。然而，可为收集光 学器件44选择任何其他合适的镜头设计。此外，为了便于说明，在图2中（以及在图6中）只示 出3X3像素阵列。然而，要理解，现代像素阵列包含数千或甚至数百万的像素。像素阵列42 可以是RGB像素阵列，在RGB像素阵列中，不同像素可收集不同颜色的光信号。如之前提到 的，在特定实施例中，像素阵列42可以是任何2D传感器，例如，诸如具有IR截止滤波器的2D RGB传感器、2D IR传感器、2D NIR传感器、2D RGBW传感器、2D RWB(红色、白色、蓝色）传感 器、多层CMOS有机传感器、2D RGB-IR传感器等。如随后更详细讨论的，系统15可使用相同的 像素阵列42进行对象26(或包含对象的场景）的2D RGB颜色成像以及对象26的3D成像(涉及 深度测量）。随后，参照图6讨论像素阵列42的另外的架构细节。
[0047]像素阵列42可将接收到的光子转换成对应的电信号，然后，由相关的图像处理单 元46处理这些电信号，以确定对象26的3D深度图像。在一个实施例中，图像处理单元46可使 用三角法进行深度测量。随后，参照图4讨论三角方法。图像处理单元46还可包括用于控制 像素阵列42的操作的相关电路。随后在以下讨论的图7A至图7B中示出示例性的图像处理和 控制电路。
[0048]处理器19可控制光源模块22和图像传感器单元24的操作。例如，系统15可具有模 式开关(未示出），用户能控制模式开关从2D成像模式切换成3D成像模式。当用户使用模式 开关选择2D成像模式时，处理器19可启动图像传感器单元24,但可不启动光源模块22,因为 2D成像可使用环境光。另一方面，当用户使用模式开关来选择3D成像时，处理器19可启动模 块22、24二者（如以下讨论的）。从图像处理单元46接收的处理后的图像数据可被处理器19 存储在存储器20中。处理器19还可在装置15的显示屏(未示出）上显示用户选择的2D或30图 像。处理器19可用软件或固件来编程，以执行这里描述的各种处理任务。可供选择地或另外 地，处理器19可包括用于执行其功能中的一些或全部的可编程硬件逻辑电路。在特定实施 例中，存储器20可存储使处理器19能够执行其功能的程序代码、查找表和/或暂时计算结 果。
[0049]图3描绘根据本公开的一个实施例的示出可如何执行3D深度测量的示例性流程图 50。可通过系统15中的单个模块或模块或系统组件的组合来执行图3中示出的各种步骤。在 这里的讨论中，仅通过举例将特定任务描述为正被特定模块或系统组件执行。其他模块或 系统组件也可被适当构造以执行这些任务。
[0050] 在图3中，在块52,系统15(更具体地讲，处理器19)可使用光源(诸如，图2中的光源 模块22)沿着扫描线执行3D对象(诸如，图2中的对象26)的一维（ID)点扫描。作为点扫描的 部分，光源模块22可被例如处理器19构造成以逐行方式将一系列光斑投影到3D对象26的表 面上。在块54,系统15中的像素处理单元46可选择图像传感器中的像素行(诸如，图2中的2D 像素阵列42)。图像传感器42具有布置成形成像平面的2D阵列的多个像素，并且在一个实施 例中，所选择的像素行在像平面上形成扫描线的极线(在块52)。以下，参照图4提供对极线 几何的简要讨论。在块56,可通过处理器19操作地构造像素处理单元46,以使用像素行中的 对应像素来检测各光斑。这里观察到，例如，诸如当被照射斑反射的光被收集光学器件44聚 焦到两个或多个相邻像素上时，可由单个像素或不止一个像素检测被照射光斑反射的光。 另一方面，被两个或多个光斑反射的光可被收集于2D阵列42中的单个像素。以下讨论的基 于时间戳的方法消除了通过同一像素对两个不同光斑进行成像或者通过两个不同像素对 单个光斑进行成像而导致的深度计算相关不确定性。在块58,通过处理器19进行合适构造 的图形处理单元46可响应于一系列光斑(在块52的点扫描中）中的对应光斑的像素特定检 测(在块56)来生成像素特定输出。因此，在块60,图像处理单元46可至少基于像素特定输出 (在块58)和光源投影对应光斑所使用的扫描角度(在块52)来确定3D对象的表面上与对应 光斑的3D距离(或深度）。参照图4,更详细地讨论深度测量。
[0051] 图4是根据本公开的一个实施例的可如何针对3D深度测量来执行点扫描的示例性 图示。在图4中，使用描绘激光在X方向（具有角度"β"）和Y方向（具有角度"α"）上的角运动的 箭头62、64示出激光光源33的X-Y旋转能力。在一个实施例中，激光控制器34可基于从处理 器19接收的扫描指令/输入来控制激光光源33的X-Y旋转。例如，当用户选择3D成像模式时， 处理器19可指示激光控制器34开始面对投影光学器件35的对象表面的3D深度测量。作为响 应，激光控制器34可通过激光光源33的X-Y移动来开始对象表面的ID X-Y点扫描。如图4中 所示，激光光源33可通过将光斑沿着ID水平扫描线投影来点扫描对象26的表面一用图4中 的虚线标识其中两条扫描线Sr 66和Sr+i 68。因为对象26的表面弯曲，所以光斑70-73可在 图4中形成扫描线Sr 66。为了便于说明和清楚，未使用参考标号来标识构成扫描线SR+1 68 的光斑。激光器33可沿着行R、R+1等扫描对象26, 一次一个光斑一例如，以从左至右的方向。 "R"、"R+1"等的值是参照2D像素阵列42中的像素的行，因此，这些值是已知的。例如，在图4 中的2D像素阵列42中，使用参考标号"75"来标识像素行"R"并且使用参考标号"76"来标识 行"R+Γ。要理解，从多个像素行中选择行"R"和"R+Γ仅是出于说明目的。
[0052]包含2D像素阵列42中的像素行的平面可被称为像平面，而包含扫描线（如线Sr和 SR+1)的平面可被称为扫描平面。在图4的实施例中，使用极线几何对像平面和扫描平面取 向，使得2D像素阵列42中的各行像素 R、R+1等形成对应扫描线Sr。!^等的极线。当（扫描线 中的）照射斑在像平面上的投影可沿着作为行"R"本身的线而形成不同光斑时，像素"R"的 行可被认为与对应的扫描线"Sr"成极线。例如，在图4中，箭头78示出通过激光器33的光斑 71的照射，而箭头80示出光斑71正被聚焦镜头44沿着箭头"R"75成像或投影。尽管在图4中 未示出，但观察到，将通过行"R"中的对应像素对光斑70-73均进行成像。因此，在一个实施 例中，激光光源33和像素阵列42的物理布置(诸如，位置和取向）可以使得对象26的表面上 的扫描线上被照射的光斑可被像素阵列42中的对应行中的像素捕获或者检测一该行像素 由此形成扫描线的极线。尽管在图4中未示出，但这里观察到，在一个实施例中，扫描线一诸 如，扫描线Sr-可以不是笔直的，而可以是弯曲或倾斜的。例如，当激光器33和像素阵列42 之间误对准时可导致这种并非完美的激光扫描线。误对准可以是由于组装在系统15中的各 种部件的机械/物理容差的限制或者由于这些部件的布置或最终组装中的任何矛盾而导致 的。在弯曲/倾斜的扫描线的情况下，（像素阵列42中）两个或多个像素行可共同形成弯曲扫 描线的极线。换句话讲，在特定实施例中，单行像素可只形成极线的一部分。在任何情况下， 本公开的教导保持可应用，而不管像平面中的单行像素或多行像素组是否形成对应扫描线 的极线。然而，为了便于说明并且在不损失概括性的情况下，以下的讨论可主要是指单行像 素形成整条极线的构造。
[0053]要理解，2D像素阵列42中的像素可布置成行和列。被照射光斑可被像素阵列42中 的对应行和列所引用。例如，在图4中，扫描线Sr中的光斑71被指定为"XR, i"，表明可通过像 素阵列42中的第"R"行第"i"列(C1)将光斑71成像。用虚线82指示列C 1。可类似地标识其他照 射光斑。如之前阐明的，被两个或多个光斑反射的光可被一行中的单个像素接收，或者可供 选择地，被单个光斑反射的光可被一行像素中的不止一个像素接收。随后讨论的基于时间 戳的方法可消除源自这多个或重叠投影的深度计算中的不确定性。
[0054]在图4的图示中，具有参考标号"84"的箭头表示光斑71从沿着装置15前方的X轴 (诸如，图2中示出的X轴)起算的深度或距离"Z"（沿着Z轴）。在图4中，具有参考标号"86"的 虚线表示此轴，该轴可被可视化为包含在也包含投影光学器件35和收集光学器件44的垂直 平面中。然而，为了方便说明三角方法，激光光源33在图4中被示出为在X轴86上，而不被示 出为在投影光学器件35上。在基于三角法的方法中，可使用以下等式来确定"Z"的值：
[0055] …⑴
[0056]在图4中也示出以上等式（1)中提到的参数。基于装置15的物理构造，等式（1)右手 侧的参数的值可以是预定的。在等式（1)中，参数"h"是收集光学器件44和图像传感器(假设 是在收集光学器件44后方的垂直平面上)之间的距离(沿着Z轴）；参数"d"是与图像传感器 24关联的激光光源33和收集光学器件44之间的偏移距离；参数"q"是收集光学器件44和检 测对应光斑的像素之间的偏移距离一这里，用与Xr,:71关联的列匕来表示检测/成像像素 "i"；参数"Θ"是所考虑的光斑(这里，是光斑71)的光源的扫描角度或光束角度。可供选择 地，参数"q"也可被认为是在像素阵列42的视场内的光斑的偏移。
[0057]从等式（1)中看到，只有参数"Θ"和"q"对于给定点扫描而言是变量；由于装置15的 物理几何形状，其他参数"h"和"d"基本上是固定的。因为行"R"75是扫描线Sr的极线的至少 一部分，所以水平方向上的图像移位可反映出对象26的深度差或深度分布，如由正被成像 的不同光斑的参数"q"的值表示的。如随后在以下讨论的，根据本公开的特定实施例的基于 时间戳的方法可用于找到所捕获光斑的像素位置和激光光源33的对应扫描角度之间的对 应关系。换句话讲，时间戳可表示参数"q"和"Θ"的值之间的关联性。因此，通过(用参数"q" 表示的）成像光斑的对应位置和扫描角度"Θ"的已知值，可使用三角法等式（1)来确定与该 光斑的距离。
[0058] 这里观察到，在包括例如授予Brown等人的美国专利申请公开No. US2001/1002763 的相关文献中，描述用于距离测量的三角法的使用。Brown公开中的与基于三角法的距离测 量相关的讨论的全部内容以引用方式包含于本文中。
[0059] 图5示出根据本公开的一个实施例的针对被扫描光斑的示例性时间戳。随后，例 如，诸如参照图8的讨论来提供生成各个时间戳的额外细节。相比于图4,在图5的实施例中， 收集光学器件44和激光器33被示出成偏移布置，反映了这些组件如图2的实施例中所示的 实际的物理几何形状。举例来说，扫描线66与对应的光斑70-73-起在图5中示出，如之前提 到的，对应光斑70-73可以是基于由稀疏激光点光源33对对象表面进行从左至右的点扫描 来投影的。因此，如所示出的，可在时间常数"ti"投影第一光斑70，可在时间常数"t 2"投影第 二光斑71，等等。可通过像素行"R" 75中的各个像素90-93来检测这些光斑/对光斑进行成 像一像素行"R"75是如之前讨论的扫描线Sr的极线。在一个实施例中，当检测光斑时由各像 素收集到的电荷可以是模拟电压的形式，该模拟电压可被输出到图像处理单元46用于如以 下讨论的像素特定深度的确定。模拟像素输出(Pixout)被共同用图5中的箭头95指示。
[0060] 如图5所示，行R中的各检测像素90-93可具有关联的列号一这里，列(^至04。此外， 在图4中看到，各像素列C 1G = Idd等)具有与等式（1)中的参数"q"关联的值。因此，当针 对检测像素90-93生成像素特定时间戳ti-tK如随后在以下更详细讨论的）时，时间戳可提 供像素列号进而参数"q"的像素特定值的指示。另外，在一个实施例中，使用像素阵列42中 的像素进行的逐斑点检测可允许图像处理单元46将各时间戳与对应的照射斑点进而斑点 特定扫描角"Θ" "联系"起来一因为可适当地控制激光器33来以具有斑点特定扫描角"Θ"的 预定值的期望顺序来照射各斑点。因此，时间戳提供了所捕获激光斑点的像素位置及其各 个扫描角之间的对应关系一以针对从像素阵列42接收的各像素特定信号的等式（1)中的参 数"q"和"Θ"的值的形式。如之前讨论的，通过等式（1)中的参数"q"的值反映的像素阵列42 中的扫描角度的值和被检测的斑点的对应位置可允许针对该光斑进行深度确定。以此方 式，可生成针对像素阵列42的视场内的对象26表面的3D深度映射。
[0061]图6示出根据本公开的一个实施例的图1至图2中的图像传感器24的2D像素阵列42 和图像处理单元46中的关联处理电路的一部分的示例性电路细节。如之前指出的，仅为了 便于说明，像素阵列42被示出为具有布置为3X3阵列的9个像素100-108;实际上，像素阵列 可包含多行多列的成千上万或者数百万的像素。在一个实施例中，各像素100-108可具有如 图6中所示的相同构造。在图6的实施例中，2D像素阵列42是互补型金属氧化物半导体 (CMOS)阵列，其中，各像素是四晶体管铰接光电二极管(4T PPD)像素。为了便于说明，只有 像素108的组成电路元件以参考标号标记。下面对像素108的操作的讨论同等地适用于其他 像素101-107,因此，这里并没有描述每个像素的操作。
[0062]如所示出的，4T PPD像素108(和类似的其他像素101-107)可包括如图示连接的铰 接光电二极管(Pro)IlO和四个N沟道金属氧化物半导体场效应晶体管(匪0S)111-114。在一 些实施例中，像素100-108可由P沟道金属氧化物半导体场效应晶体管(PMOS)或其他不同类 型的电荷转移器件形成。晶体管111可像传输门（TG)、浮动扩散(FD)晶体管一样操作。广义 地，4T pro像素108可如下地进行操作：首先，pro 110可将入射光子转换成电子，从而将光 学输入信号转换成电荷域中的电信号。然后，传输门111可被"闭合"以将所有来自PPD 110 的光生电子转移到浮动扩散。电荷域中的信号因此被转换成电压域，以便后续进行处理和 测量。可随后使用晶体管114将浮动扩散处的电压作为像素输出信号传输到模数转换器 (ADC)并且将其转换成适于后续处理的数字信号。以下，参照图8的讨论提供关于像素输出 (PIXOUT)生成和处理的更多细节。
[0063]在图6的实施例中，图像处理单元46中的行解码器/驱动器116被示出为提供三个 不同信号，以控制像素阵列42中的像素的操作来生成列特定像素输出信号117-119。在图5 的实施例中，输出95可总体表示这些PIXOUT信号117-119。可使行选择(RSEL)信号有效，以 选择合适的像素行。在一个实施例中，待选择行是正被激光光源33投影的（光斑的）当前扫 描线的极线。行解码器/驱动器116可例如从处理器19经由行地址/控制输入126接收待选择 行的地址或控制信息。在本讨论中，假设行解码器/驱动器116选择包含像素108的像素行。 像素阵列42中的各像素行中的晶体管(诸如，晶体管114)可如所示出地连接到各个RSEL线 122-124。复位(RST)信号可被施加到所选择行中的像素，以将这些像素复位成预定的高电 压电平。每个行特定RST信号128-130在图6中示出并且参照图8中的波形进行更详细的说 明。各像素中的晶体管(诸如，晶体管112)可如所示地接收相应的RST信号。可使传输(TX)信 号有效，以开始传输用于后续处理的像素特定输出电压(PIX0UT)。在图6中示出各行特定TX 线132-134。诸如晶体管111的传输门晶体管可接收如图6中所示的各个TX信号。
[0064]如之前提到的，在本公开的特定实施例中，可使用2D阵列42和图像传感器单元24 中的其余组件进行2D RGB(或非RGB)成像以及3D深度测量。因此，如图6中所示，图像传感器 单元24可包括像素列单元138,像素列单元138包括将在2D和3D成像期间使用的相关双采样 (CDS)电路以及列特定ADC-每个像素列一个ADC。像素列单元138可接收PIXOUT信号117-119并且处理它们，以生成可用于生成2D图像或者可用于得到3D深度测量的数字数据输出 (Dout)信号140。像素列单元138还可在PIXOUT信号117-119的处理期间接收参考输入142和 斜坡输入143。随后在以下提供单元138的操作的更多细节。在图6的实施例中，列解码器单 元145被示出为结合到像素列单元138。列解码器145可针对将结合给定的行选择(RSEL)信 号而选择的列例如从处理器19接收列地址/控制输入147。列的选择可以是顺序的，从而允 许从通过对应RSEL信号而选择的行中的各像素顺序接收像素输出。处理器19可以获知光斑 的当前投影扫描线，因此，可提供合适的行地址输入以选择形成当前扫描线的极线的像素 行并且还可提供适合的列地址输入，使像素列单元138能够从所选择行中的各个像素接收 输出。
[0065]这里观察到，尽管这里的讨论主要集中在根据本公开的教导的用于2D和3D成像的 图6中示出的4T pro像素设计，但在其他实施例中可在像素阵列42中使用不同类型的像素。 例如，在一个实施例中，像素阵列42中的各像素可以是省去了传输门晶体管一如图6中的4T PH)设计中的晶体管111 一的3T像素。在其他实施例中，也可使用IT像素或2T像素。在其他实 施例中，像素阵列42中的各像素可具有共用晶体管像素构造，在该构造中，可在两个或多个 相邻像素之间共用晶体管和读出电路。在共用晶体管的像素构造中，各像素可具有至少一 个光电二极管和一个传输门晶体管;可在两个或多个像素之间共用其余晶体管。这种共用 晶体管像素的一个示例是两个像素使用5个晶体管(T)从而得到2.5T/像素构造的2共用（1 X2)2.5T像素。可用于像素阵列42中的共用晶体管像素的另一个示例是1X4的4共用像素， 其中，4个像素共用读出电路，但每个像素具有至少一个光电二极管和一个TX (传输门）晶体 管。可依照本公开的教导，针对2D和3D成像合适地实现与这里列出的像素构造不同的其他 像素构造。
[0066]图7Α是根据本公开的一个实施例的图像传感器单元(诸如，图6中的图像传感器单 元24)的示例性布局。为了简明，这里只提供对图7Α中的架构的简要讨论;随后参照图8和图 10至图11提供更相关的操作细节。在图7Α的实施例中，除了2D像素阵列42之外的各种组件 块可形成图2中的像素控制单元46的部分。如所示出的，图7Α中的图像传感器单元24可包括 行解码器单元149和行驱动器单元150,行解码器单元149和行驱动器单元150二者共同包括 图6中的行解码器/驱动器116。尽管在图7Α中未示出，但行解码器单元149可例如从处理器 19接收行地址输入(如图6中示出的输入126)，并且对输入进行解码以使行驱动器单元150 将适合的RSEL、RST和TX信号提供到由行解码器149选择/解码的行。行驱动器单元150还可 例如从处理器190接收控制信号(未示出），以构造行驱动器150针对RSEURST和TX信号施加 适合的电压电平。在图7Α中的图像传感器24中，列ADC单元153可表示图6中的像素列单元 138。为了便于说明，在图7Α中，来自行驱动器150的各种行特定驱动器信号一诸如RSEURST 和TX信号一共同使用单个参考标号"155"来标注。类似地，所有列特定像素输出(pixout)--如图6中的像素输出117-119-共同使用单个参考标号"157"来标注。列ADC单元153可(从参 考信号发生器159)接收像素输出信号157和参考输入142和斜坡信号143,以用像素的列对 应的列特定ADC生成像素特定输出。随后，参照图8更详细地讨论3D成像。在一个实施例中， 如图6中的像素列单元138的情况下一样，ADC单元153可包括CDS的电路，以生成作为像素的 复位电平和接收的信号电平之间的差的CDS输出（未示出）。在特定实施例中，可将3D深度值 与2D图像进行组合，以生成对象的3D图像。
[0067]列ADC单元153可包括2D阵列42中的各像素列的单独的ADC。每个列特定ADC可将各 个斜坡输入143(来自信号发生器163)与像素输出信号157-起接收。在一个实施例中，斜坡 信号发生器163可基于从参考信号发生器159接收的参考电压电平来生成斜坡输入143 ^DC 单元153中的每个列特定ADC可处理接收的输入来生成对应的数字数据输出（Dout)信号 140 ^DC单元153可从列解码器145接收关于哪列ADC输出将被读出并且被发送到Dout总线 140的信息，并且还可接收针对给定行选择哪列来接收适合的像素输出的信息。尽管在图7A 中未示出，但列解码器单元145可例如从处理器19接收列地址输入(如图6中的输入147)，并 且对输入进行解码以使列ADC单元153能够选择适合的像素列。在图7A的实施例中，解码后 的列地址信号使用参考标号"165"来共同标识。
[0068]可由数字处理块167来处理来自ADC单元的数字数据输出140。在一个实施例中，对 于2D RGB成像模式而言，各ADC特定数据输出140可以是与各个像素收集到的实际光电荷基 本上对应的多比特数字值。另一方面，在3D深度测量模式下，各ADC特定数据输出140可以是 表示当各个像素检测到其对应光斑时的时刻的时间戳值。随后，更详细地讨论根据本公开 的教导的这个时间戳方法。数字处理块167可包括提供时序产生、图像信号处理（ISP)(例 如，诸如针对2D成像模式的数据输出140的处理）、针对3D成像模式的深度计算等等的电路。 就这点而言，数字处理块167可结合到接口单元168以提供处理后的数据作为输出170，例 如，以使处理器19能够在装置15的显示屏(未示出）上渲染3D对象26的2D RGB/非RGB图像或 3D深度图像。接口单元168可包括用于支持生成数字处理块167中的时序生成功能的时钟信 号的锁相环(PLL)单元。此外，接口单元168还可包括移动产业处理器接口（MIPI)，移动产业 处理器接口（MIPI)针对数字块167生成的数据提供与装置15中的其他组件或电路元件的产 业标准硬件和软件接口。MIPI规范支持大范围的移动产品并且提供移动装置的相机、显示 屏、电力管理、电池接口等的规范。MIPI标准化接口可在移动装置的外围（诸如，智能电话的 相机或显示屏）和移动装置的应用处理器之间产生提高的可操作性，移动装置的应用处理 器可不来自与提供外围的一个售卖方(或多个售卖方)相同的售卖方。
[0069] 在图7A的实施例中，时间戳校准单元171被示出为结合到列ADC单元153,以将适合 的校准信号172提供到各个列特定ADC，使每个列特定ADC单元能够在3D测量模式下生成表 示像素特定时间戳值的输出。尽管在图7A中未示出，但要理解，在特定实施例中，校准单元 171也可结合到数字块167用于支持时间戳校准相关处理。参照图8至图11更详细地讨论时 间戳方法和相关校准的方面。
[0070] 图7B示出根据本公开的一个实施例的用于3D深度测量的示例性⑶S+ADC单元175 的架构细节。为了便于讨论，单元175在以下可被称为"ADC单元"，然而，要理解，除了ADC功 能之外，单元175还可包括⑶S功能。在图7B中，电容器176表示⑶S单元的简化形式。在一个 实施例中，2D像素阵列42中的各像素列可具有与ADC单元175类似的列特定、单斜率ADC单 元。换句话讲，给定列中的各像素可共用同一ADC单元，如ADC单元17 5。因此，在图6的实施例 中，在像素列单元138中可存在三个ADC单元一每个列一个ADC。在特定实施例中，列特定ADC 单元175可以是图7A中的列ADC单元153的部分。如所示出的，图7B的实施例中的ADC 175可 包括与二元计数器181和线存储器单元183串联连接的两个运算跨导放大器(OTA) 177、179。 为了便于说明，在图7B中只示出对于OTA 177、179的反相（一）和非反相(+ )电压输入;没有 示出偏置输入和电源连接。要理解，OTA是放大器，其差分输入电压产生输出电流。因此，OTA 可被视为电压控制的电流源。偏置输入可用于提供用于控制放大器跨导的电流或电压。第 一 OTA 177可从⑶S单元176接收来自像素(诸如，图6中的像素108)的像素输出电压的⑶S形 式，该像素是使用从列解码器145接收的列编号在启用的行中选择的。像素输出信号的CDS 形式可被称为"PIX_CDS"信号。OTA 177还可从斜坡信号发生器163(图7A)接收Vramp电压 143。OTA 177可在像素输出电压157降至Vramp电压143以下时生成输出电流，如以下参照图 8讨论的。OTA 177的输出可在被施加到二元计数器181之前经第二OTA 179过滤。在一个实 施例中，二元计数器181可以是接收时钟(Clk)输入185并且基于在第一OTA 177生成输出电 流时被触发的预定时间期间被计数的时钟周期来生成时间戳值186的10位纹波计数器。在 图7B中的实施例的背景下，Clk输入185可以是由装置15中的PLL单元168或其他时钟发生器 (未示出）生成的系统级时钟或图像传感器特定时钟。像素特定时间戳值186可根据像素的 列编号（列#)被存储在线存储器183中，随后作为Dout信号140被输出到数字处理块167。可 从图7A中示出的列解码器单元145接收列编号输入165。
[0071]在特定实施例中，可使用RGB颜色模型进行移动装置(例如，诸如图1至图2中的装 置15)上的图像的感测、呈现和显示。在RGB颜色模型中，可用各种方式将具有三原色(红色、 绿色和蓝色）的光信号相加，以在最终图像中产生宽颜色阵列。可在2D RGB成像中使用⑶S 方法来以允许消除不期望偏差的方式来测量电子值(诸如，像素/传感器输出电压）。例如， 可在每个列特定ADC单元(如ADC单元175)中采用CDS单元(如CDS单元176)来执行相关双采 样。在CDS中，可将像素的输出测量两次一一次在已知条件下，一次在未知条件下。然后，可 从在未知条件下测得的值中减去在已知条件下测得的值，以生成与正测量的物理量具有已 知关系的值一这里，光电荷表示图像信号的像素特定部分。使用CDS，可通过在各集成时间 段的末尾从像素的信号电压中消除像素的参考电压(例如，诸如像素被复位后的像素电压） 来减少噪声。因此，在CDS中，在像素的电荷作为输出传输之前，对复位值进行取样。在像素 的电荷被传输之后，从值中"推导出"参考值。
[0072] 这里观察到，在特定实施例中，ADC单元175可用于2D成像以及3D深度测量二者。然 而，在图7B中没有示出这种共用构造的所有输入。在共用情况下，对于2D成像而言，对应 Vramp信号也会是不同的。
[0073]图8是示出根据本公开的特定实施例的时序图190,时序图190示出用于在3D操作 模式下生成基于时间戳的像素特定输出的、图1至图2的系统15中的不同信号的示例性时 序。如之前所阐述的，在特定实施例中，可使用同一图像传感器24中的所有像素进行2D以及 3D成像。
[0074]简言之，如之前参照图4至图5讨论的，激光光源33可沿着像素阵列42的行"R"75对 3D对象26进行点扫描一一次一个光斑一其中，"R"基于其与扫描线Sr66的极线关系是已知 的。在扫描一行之后，对另一行重复扫描操作。当激光投影下一个光斑时，可通过行R中的对 应像素对之前投影的光斑进行成像。来自行R中所有像素的像素特定输出可被读出到数字 处理块167(图7A)中的深度处理电路/模块。
[0075]为了生成像素特定输出，需要使用RSEL信号来初始地选择对应行。在图8的背景 下，假设图6中的行解码器/驱动器116通过使RSEL信号122有效成为"高"电平（如图8中所 示)来选择包含像素106-108的像素行。因此，将所有像素106-108-起选择。为了便于讨论， 针对也在图6至图7中示出的信号、输入或输出，在图8中使用相同的参考标号。初始地，可使 用RST线128将所选择行中的所有像素106-108复位成高电压。像素的"复位"电平可表示不 存在对应光斑的像素特定检测。在根据本公开的一个实施例的3D模式下，可在预定时间内 使RST信号128释放其高电平，以便于像素106-108所接收的光电子的集成，从而得到对应像 素输出(Pixout)信号117-119-其中两个在图8中示出并且随后在以下进行讨论。PIXOUT 1 信号119表示被像素108供应到对应ADC单元的输出，并且使用带图案的虚线 示出。PIXOUT 2信号118表示被像素107供应到对应ADC单元的输出，并且使用带图案 "..............."的虚线示出。这里要注意，在一个实施例中，其他RST线一如图6中的线129- 130-可针对未选择的行保持高或"导通"以防止出现光晕。这里要注意，严格意义上说，图8 中的PIXOUT信号118-119(和图11中的类似像素输出信号）可在被作为PIX_CDS信号施加到 第一 OTA-如图7B中的OTA 177-之前在各个列特定ADC单元(诸如，图7B中的ADC单元175) 中被CDS单元(例如，诸如图7B中的CDS单元176)略微修改。然而，为了简化说明并且为了便 于讨论，图8和图11中的PIXOUT信号被当作各个PIX_CDS信号（未示出）的代表并且被视为已 经被直接"输入"到各个OTA 177。
[0076]在复位之后，当像素中的光电二极管接收入射亮度(例如，诸如被投影到3D对象26 的表面上的光斑反射的光中的光电子)时，光电二极管可生成对应的光电流。入射光的像素 检测可被称为"0N事件"，而入射光的强度的减小可产生"OFF事件"。响应于ON事件生成的光 电流可将像素输出电压(PIXOUT)从其初始复位电平开始减小。像素因此用作换能器，用于 将接收到的亮度/光信号转换成对应的电子(模拟）电压，该电压通常被指定为图6至图8和 图10至图11中的PIXOUT信号。各像素可被独立读取，并且优选地按照通过激光源投影对应 光斑的顺序。模拟像素输出信号可被对应列ADC转换成数字值。在2D成像模式下，ADC可用作 模数转换器并且生成多比特输出。然而，如以下讨论的，在3D深度测量模式下，ADC可用作时 间-数字转换器(TDC)并且生成表示像素检测到光斑的时间的时间戳值。
[0077]再参照图8,在完成像素复位(RST 128高）之后，也可在RST释放之前复位与像素 106-108关联的列ADC。然而，传输(TX)信号132可保持高吞吐量。可使用公共ADC复位信号或 各ADC特定的复位信号来复位ADC。在图8的实施例中，示出公共ADC_RST信号192已被暂时有 效(成为高电平），以复位列ADC单元153(图7A)中的列特定ADC(如ADC 175)。在一个实施例 中，在复位像素之后，可将ADC复位成预定的二进制值，诸如二进制"0"或其他已知的数。在 图8中，分别通过信号AD⑶UT 1(或ADC输出"A"）和AD⑶UT 2(或ADC输出"B"）中的"字段" 194-195示出与像素108和107关联的ADC的这些复位值。这里要注意，只有当讨论图8中示出 的ADC输出时，这里才为了方便而使用术语"字段"。要理解，ADC输出可实际上没有同时由所 有这些"字段"组成，但可以是根据信号处理的ADC当前阶段的特定数字值一如果ADC被复 位，则其输出可以是二进制"〇"；如果触发ADC对时钟脉冲计数，则其输出可以是计数值，如 图8中的3D深度测量的情况;或者如果使用ADC进行2D颜色成像，则其输出可以是表示图像 信号的多比特值。因此，仅用这些"字段"描绘图8中的ADC输出信号，以示出ADC在向最终输 出前进时可在内部生成的不同数字值。在图8中，使用参考标号"197"来表示代表与像素108 关联的ADC的输出的ADCOUT 1信号并且使用参考标号"198"来表示代表与像素107关联的 ADC的输出的ADCOUT 2信号。当在存储器读取期间由列解码器选择各个ADC时，输出197-198 中的每个可作为Dout信号140(图6至图7)出现。在复位之前，ADC输出197-198可具有如由字 段199-200中的注释"X"指示的未知值。
[0078]在复位ADC之后，可在像素复位信号128和ADC复位信号192释放之后，通过将斜坡 输入(Vramp) 143无效成预定义的电压电平来启用预定的阈值。在图8的实施例中，RAMP输入 143是所有列特定ADC公共的，从而向各ADC提供相同的Vramp电压。然而，在其他实施例中， 可通过单独的ADC特定斜坡输入向两个或多个ADC施加不同Vramp值。此外，在特定实施例 中，Vramp阈值可以是可编程参数，从而允许它根据期望是可变的。在阈值(RAMP信号）启用 之后，像素特定ADC可等待对应的像素的"ON事件"，之后启动它们的二元计数器一如图7B中 的计数器181。
[0079]与2D成像模式的情况下的多位输出相反，在3D深度测量模式下，各ADC可生成单位 输出（表示二进制"0"或"Γ )。因此，在RGB传感器的情况下，在3D模式下可实际上忽略RGB像 素阵列42中的像素接收的任何颜色信息。在像素没有检测到任何入射光的情况下，对应 ADCOUT信号可保持二进制"0"值。因此，没有任何ON事件的列可针对其各自的ADCOUT信号一 直具有数字值"〇"（或其他已知数）。然而，如之前所述的，当像素被入射光照射时，其PIX 0UT 线可开始从其复位电平下降一如图8中的PIXOUT 1和PIXOUT 2信号的向下斜坡所指示的。 假设读取像素电荷是从首先接收电荷的像素开始的，如例如图5中示出的，这种读取可从行 中的最右像素开始并且结束于最左像素，其中，""是最早的时刻并且"t 4"是最晚的时刻。 因此，在图8的实施例中，可在读取像素107的输出（PIX0UT 2)之前读取像素108的输出 (PIX0UT 1)。逐渐下降的PIXOUT 1-到达Vramp阈值143,单位ADCOUT 1就可从二进制"0"快 速翻转成二进制"1"。然而，对应ADC可记录位翻转(从"0"到"1"）的时间，而不是输出位"Γ 的时间。换句话讲，与像素108关联的ADC可通过启动ADC中的二元计数器(如在ADCOU 1中的 "上数"字段202所指示的）来被用作时间-数字转换器。在"上数"时间段期间，ADC中的计数 器可对CLK信号185中的时钟脉冲进行计数，CLK信号185可被应用于如例如图7B中示出的各 ADC。用图8中的计数器时钟1信号204示出被计数的时钟脉冲，并且可提供计数值(在"上数" 字段中）作为像素108的像素特定输出。可针对像素107收集的电荷在与像素107关联的ADC 发生类似计数，如图8中的计数器时钟2信号205所指示的。可通过各个ADC将像素特定计数 值(在"上数"字段207中）提供为针对像素107的像素特定输出。在扫描一行中的所有像素之 后，可对另一行重复逐像素电荷收集操作，而来自更早扫描的行的输出被读取到数字块167 中的深度计算单元。
[0080] 各ADC输出可有效地表示提供由被激光光源33照射的对象表面上的光斑的像素检 测的时间指示的各个"时间戳"值。"时间戳"可被认为捕获像素的光到达时间。在一个实施 例中，可由数字处理块167针对检测到的光斑从ADC单元接收的(计数时钟脉冲的)计数值生 成时间戳值。例如，数字块167可通过将计数值与内部系统时间或其他参考时间联系来生成 时间戳。时间戳是在接收端生成的，因此不一定表示当光源投影对应光斑时的精确时间。然 而，时间戳值可允许数字块167创建带时间戳的光斑之间的时间相关性，从而允许数字块 167以用时间相关性所指定的时间上的次序来确定与带时间戳的光斑的距离一首先确定与 最早照射的光斑的距离，以此类推，直到确定与最后照射的光斑的距离。在一个实施例中， 时间戳方法还可帮助解决如随后讨论的由于多个光斑对同一像素成像而引发的不确定 性。。
[0081] 例如，诸如当在已经过去预定时间段之后再次使斜坡信号143有效时，所有基于 ADC的计数器可同时停止。在图8中，用虚线210指示标示针对像素电荷集成的预定时间段结 束的斜坡信号143的转换。RSEL 122和RST 128信号还可随着斜坡信号143的电平改变(在线 210处)而基本上同时转变它们的状态。这里观察到，在一个实施例中，所有基于ADC的计数 器可在线210复位。在另一个实施例中，可在选择用于读取像素电荷的下一行像素之前的任 何时间复位所有基于ADC的计数器。尽管在扫描一行像素结束时复位ADC计数器，但由于针 对可保持全局化和连续运行的内部系统时间或其他参考时间源的时间戳值的关系创建，像 素阵列42中的各像素的时间戳值可保持不同。
[0082]这里观察到，在图8的实施例中，更晚扫描的像素(诸如，像素107)可具有比更早扫 描的像素(诸如，像素108)更小的ADC输出。因此，如所示出的，ADCOUT 2可具有比AD⑶UT 1 更小的计数值(或更少数量的计数的时钟脉冲）。可供选择地，在另一个实施例中，例如，当 各ADC特定计数器在像素复位时开始计数并且在检测到"0N事件"时停止计数时一例如，诸 如当像素的像素输出信号降至低于给定阈值(Vramp)时一更晚扫描的像素可具有比更早扫 描的像素更大的ADC输出。
[0083]这里要注意，图6至图8和图11中示出的电路和波形是基于各列上升计数器的单斜 率ADC。然而，要理解，可根据设计选择，用上升计数器或下降计数器来实现时间戳方法。此 外，也可使用具有全局计数器的单斜率ADC。例如，在一个实施例中，作为使用个体的基于列 的计数器的替代，所有列ADC可共用全局计数器(未示出）。在该情况下，ADC可被构造成使得 各ADC中的列存储器(如图7B中的线存储器183)可锁存全局计数器的输出，以当基于列的比 较器单元(未示出）检测到"0N事件"时（例如，诸如当它首次感测到相应像素输出信号降至 低于斜坡阈值143时），生成适合的ADC特定输出。
[0084] 这里观察到，当沿着对象的表面扫描一行光斑时，被扫描对象的两个或多个不同 斑点可被成像在同一像素上。这些斑点可在同一扫描线或者可在相邻扫描线上。当穿过对 象表面扫描多个斑点时，这种重叠成像可对斑点和像素 ON事件的相关性产生负面影响，因 此，会造成深度测量的不确定性。例如，从之前提到的等式（1)看到，深度测量与扫描角度 (Θ)和成像光斑的像素位置相关一如等式（1)中的参数"q"给出的。因此，如果对于给定光斑 而言扫描角度不是正确已知的，则深度计算可不精确。类似地，如果两个或多个光斑具有相 同"q"值，则深度计算也可变得不确定。根据本公开的特定实施例的基于时间戳的方法可用 于保持所捕获光斑的像素位置和激光光源的对应扫描角度之间的正确相关性。换句话讲， 时间戳可表示参数"q"和"Θ"的值之间的关联性。因此，如果两个光斑落到同一像素或列上 (从数据输出角度来看），则时间戳方法中的时间-数字转换可允许成像系统一这里，数字处 理块167(图7B)-创建这两个斑点之间的时间相关性，以识别在时间上首先接收了哪个光 斑。在不使用时间戳的系统（例如，诸如之前讨论的立体视觉系统或使用结构光方法的系 统）中不容易实现这种相关性。因此，这些系统可需要执行大量数据搜索和像素匹配来解决 对应问题。
[0085] 在一个实施例中，当通过同一像素对多个光斑进行成像时，可将这些光斑的时间 戳进行比较，以识别最早接收的光斑并且可只针对该光斑计算距离，同时忽略在同一像素 后续接收的所有光斑。因此，在这个实施例中，最早接收的光斑的时间戳可被当作对应像素 的像素特定输出。可供选择地，在另一个实施例中，可针对时间上最后接收的光斑计算距 离，同时忽略通过同一像素成像的所有其他光斑。在任一种情况下，针对深度计算可忽略第 一个光斑和最后一个光斑之间接收的任何光斑。数学上，通过光源投影的光斑的扫描时间 可以被给定为t(0)、t(l)、…、t(n)，其中，t(i+l)_t(i)=d(t)(常数）。像素/列输出可被给 定为a(0)、a(l)、…、a(n)，a(0)、a(l)、···、a(n)是ON事件的时间戳并且a(i)-直在t(i)之 后，但在a(i + l)之前。如果a(i)和a(k)(i矣k)碰巧与同一像素/列关联，则其中只有一个可 被如之前讨论地保存，以消除深度计算中的任何不确定。基于扫描时间和输出时间（用时间 戳表示的）之间的时间关系，处理单元(诸如，数字块167)可找出丢失了哪些输出点。尽管处 理单元不能够恢复丢失位置，但通过可用输出点进行的深度计算可足以提供对象的可接受 的3D深度轮廓。这里要注意，在一个实施例中，两个不同像素还可以将同一光斑的各自部分 成像。在该实施例中，基于从这两个像素输出的时间戳值的接近度，处理单元可推断出，可 由两个不同像素对单个光斑进行了成像。为了解决任何不确定性，处理单元可使用时间戳 来找到各个位置值"q"的"平均"，并且使用等式（1)中的"q"的平均值来计算这种"共用"光 斑的3D深度。
[0086] 从以上讨论中观察到，根据本公开的特定实施例的使用三角法进行的基于时间戳 的3D深度测量允许ADC作为具有仅仅单个位的低分辨率的二元比较器进行操作，从而消耗 相当少的ADC中的转换功率，因此，节省了系统电力。另一方面，传统3D传感器中的高比特分 辨率ADC会需要更多处理电力。此外，相比于需要用大量的处理电力来搜索和匹配像素数据 以解决不确定性的传统成像方法，基于时间戳的不确定分辨率还可节省系统电力。因为由 于单个成像步骤中的所有点扫描光斑的成像/检测，导致可通过一次扫描来执行所有深度 测量，所以也减少了延迟。在特定实施例中，像素阵列中的各像素可以是单个存储像素，因 此，可达到小至1微米(μπι)的大小。在单个存储像素设计中，每个像素可只存在一个光电二 极管和一个结型电容器(如图6中的晶体管111)来集成并且存储光电子。另一方面，具有含 多个电容器的一个光电二极管的像素可不减小成如此小的大小，多个电容器用于存储在不 同时间到来的光电子。因此，根据本公开的特定实施例的具有小传感器的低电力3D成像系 统可有助于其容易在移动应用中（例如，诸如在智能电话或平板中的相机中）实现。
[0087] 如之前所提到的，诸如图1至图2中的图像传感器单元24的相同图像传感器可用于 根据本公开的一个实施例的2D成像和3D深度测量二者。这种双模式图像传感器可以是例如 移动电话、智能电话、膝上型计算机或平板上的相机系统的部分，或者作为工业机器人或VR 设备中的相机系统的部分。在特定实施例中，在装置上可存在模式开关，以允许用户在传统 2D相机模式或使用如之前讨论的深度测量的3D成像模式之间选择。在传统2D相机模式下， 在特定实施例中，用户可拍摄场景的彩色(RGB)图像或快照或场景内的特定3D对象。然而， 在3D模式下，用户能够基于以之前讨论的方式执行基于点扫描的深度测量的相机系统产生 对象的3D图像。在任一种模式下，同一图像传感器可全部用于执行期望的成像。换句话讲， 图像传感器中的各像素可用于任一种应用一 2D或3D成像。
[0088] 也如之前提到的，可使用时间戳来找到等式（1)中给出的以下两个参数之间的对 应关系:成像光斑的像素位置(q)和激光源的对应扫描角度(Θ)。因此，时间戳中的抖动或误 差可减少时间戳的最小可分辨时间（或时间分辨率）。这样进而可减少可在一行时间内扫描 的激光光斑的数量，从而可导致深度图像的帧频和空间分辨率减小。例如，像素电荷收集和 后续处理可降低可生成时间戳的速度。在特定实施例中，时间戳生成会花费数微秒，而可明 显更快地(例如，以纳秒为单位)执行激光扫描。因此，一个或多个时间戳中的误差或抖动可 导致进一步的处理延迟，并且还会需要用更慢的激光扫描来适应校正时间戳误差或生成无 误差时间戳所需的时间。假设分配相同的时间来扫描3D对象上的各行，降低激光扫描速度 的需要可导致在给定扫描持续时间内可沿着一个像素行扫描的激光斑点的数量减少。这样 可进而减小对象的3D深度图像的空间分辨率。
[0089] 会因不同的列特定读取链的传播延迟的变化而造成时间戳抖动和误差。图7B中的 ADC单元175示出示例性的读取链。在某些实施例中，线存储器块183(图7B)可不被视为列特 定"读取链"的部分。然而，在这里的讨论中，使用术语"列特定读取链"来表示使用图7B中的 参考标号"175"标识的完整ADC构造。如之前讨论的，在特定实施例中，2D像素阵列42中的各 像素列可与对应列特定读取链(如ADC单元175)关联。由于组件的电流布局、不同互连件的 长度、装置不匹配、处理差异和两个同样形成的半导体电路组件在操作期间会不一定表现 相同的现实可能性，导致各列特定读取链会遭遇各自传播延迟的变化。换句话讲，因为对于 各列而言传播延迟会有所不同，所以像素阵列42中的各列像素在像素电荷收集和处理期 间一从像素的光电二极管对光的感测到时间戳值的最终输出一会遭遇略有不同的传播延 迟。在特定实施例中，术语"传播延迟"可以是指亮度的像素特定检测的感测（由像素的光电 二极管进行的）和当对应PIXOUT信号达到预定义阈值时之间的时间。可在启用像素时一例 如，诸如当由RSEL信号(例如，图8中的RSEL信号122)选择像素行时一"感测"亮度的像素特 定检测。启用像素会导致在像素的列特定读取链的输入处(如读取链175中的像素输出输入 157)接收到对应PIXOUT信号。在特定实施例中，"预定义阈值"可以是Vramp输入(诸如，图7B 和图8中的Vramp信号143)的有效值。如之前提到的，当逐渐下降的PIXOUT信号达到Vramp阈 值时，可登记"0N事件"。在一个实施例中，时间戳生成可开始于ON事件发生时，例如，如在图 8的实施例中所示。然而，在另一个实施例中，时间戳生成可在ON事件发生时结束，例如，如 之前提到的基于全局计数器的计数方法的情况。可供选择地，基于列的计数器(诸如，图7B 中的计数器181)可被构造成当对应像素启动时开始计数并且当像素输出信号达到Vramp阈 值时停止计数。
[0090] 当列特定读取链的传播延迟不一致时，这些延迟变化可造成时间戳误差和不匹 配。例如，如果用于更晚扫描的光斑的列特定传播延迟比更早扫描的光斑的列特定传播延 迟更短，则列特定传播延迟的差异会导致更晚扫描的光斑具有比更早扫描的光斑更大的时 间戳值。在该情况下，用于图像重构的光斑的基于时间戳的排序会有误差。因此，在某些实 施例中可能期望的是提供用于纠正因各个列特定读取链的传播延迟中的不匹配造成的时 间戳抖动/误差的时间戳校准。图9至图11中的实施例提供了可如何执行这种时间戳校准而 不增大列读取电路的带宽或功耗的示例。
[0091] 图9示出根据本公开的一个实施例的示例性流程图215，示例性流程图215示出可 如何在3D深度测量期间校正时间戳值。如图3的实施例中一样，可通过系统15中的单个模块 或模块或系统组件的组合来执行图9中示出的各种步骤。在这里的讨论中，仅仅举例来说， 特定任务被描述为通过特定模块或系统组件来执行。然而，其他模块或系统组件可被合适 地构造成也执行这些任务。
[0092] 在图9中，块217中的操作类似于图3中的块52中的操作。换句话讲，在图9中的块 217，系统15 (更具体地，处理器19)可使用光源(诸如，图2中的光源模块22)沿着扫描线对3D 对象(诸如，图2中的对象26)执行ID点扫描。作为点扫描的部分，可例如通过处理器19将光 源模块22构造成以逐行方式将一系列光斑投影到3D对象26的表面上。在块219,系统15中的 像素处理单元46可选择图像传感器(诸如，图2中的2D像素阵列42)中的像素行。图像传感器 42具有布置成形成像平面的2D阵列的多个像素，并且在一个实施例中，选择的像素行在像 平面上形成扫描线(在块217)的极线的至少一部分。在块221，对于选择的像素行中的像素， 处理器19可将像素处理单元46可操作地构造成感测一系列光斑中的对应光斑的像素特定 检测。如之前提到的，在一个实施例中，这种"感测"可指的是当传感器的光电二极管检测从 对应光斑接收到的亮度时，启动像素来收集由光电二极管产生的电荷。像素特定PIXOUT信 号可表示响应于接收到的亮度而生成的这种像素特定电荷。响应于在块221感测对应光斑 的像素特定检测，如在块223指出的，像素处理单元46-如由处理器19合适构造的一可生成 对应光斑的时间戳值。主要参照图7B和图8在之前已经讨论了时间戳生成方面。在块225,对 于与选择的像素行(块219、221)中的像素关联的2D阵列42中的列，图像处理单元46可将列 特定校正值应用于(在块223中产生的）时间戳值，以得到校正后的时间戳值。如块225指出 的，在一个实施例中，列特定校正值表示感测像素特定检测(块221)和当选择的像素行中的 像素的像素特定输出（PIXOUT)达到预定义阈值(诸如，Vramp阈值)时之间的列特定传播延 迟。可针对选择的像素行中的各像素的输出，得到这种校正后的时间戳值，以纠正因各个列 特定读取链的传播延迟的不匹配造成的时间戳抖动/误差。因此，在块227,图像处理单元46 可至少基于校正后的时间戳值(在块225)并且基于光源投影对应光斑(在块217)所使用的 扫描角度，确定与3D对象表面上的对应光斑的3D距离(或深度）。如之前指出的，时间戳可提 供成像光斑的像素位置(q)和激光源的对应扫描角（Θ)之间所需的对应性。在图4中示出在 等式（1)中的用于基于三角法深度测量的这些和其他参数。
[0093]图10是根据本公开的一个实施例的时间戳校准单元（诸如，图7A中的校准单元 171)的示例性布局230。为了便于说明，在图10中只示出校准单元171的相关电路细节。如以 下更详细讨论的，校准单元171可用于记录各像素列的传播延迟。在图7A的实施例中，可将 这些记录值提供到数字块167,以校正(如Dout线140表示的）列ADC单元153所获取的时间戳 值。在特定实施例中，校准单元171记录的列特定传播延迟可表示列特定校正值，数字块167 可将列特定校正值与各个时间戳值相加或相减，以得到用于构造正被点扫描的对象26的3D 深度轮廓的校正后的时间戳值。
[0094] 如图10中所示，校准单元171可包括多个像素232-1、232-2、…、232-N(被统称为参 考标号"232"）。如图6中的实施例，图10中的各像素232被示出为是4T PPD像素。然而，在其 他实施例中，像素232也可如之前参照图6的实施例中的像素的讨论所提到的具有不同类 型一诸如，3T像素、2T像素等。类似地，作为NMOS晶体管的替代，在一些实施例中，像素232可 由PMOS晶体管或者其他不同类型的电荷转移器件形成。为了便于说明，在图10中示出的像 素布局中省去如图6中示出的那些偏置和其他连接细节。然而，使用像素232-N作为示例，要 注意，在图10中，可将复位(RST)信号施加到类似于晶体管234的各匪OS晶体管的栅极并且 可将传输(TX)信号施加到类似于晶体管235的各晶体管的栅极。图10的实施例中的RST信号 和TX信号的功能可类似于之前已经参照图6和图8讨论的那些信号。
[0095]要注意，在特定实施例中，可通过使像素232与像素阵列42中的像素基本上相同来 提高时间戳校准的准确性。这可包括使用相同的半导体制造工艺和材料来构造校准单元 171中的像素232和2D阵列42中的像素，以便将结构差异或架构差异最小化。
[0096]在一个实施例中，像素232的总数"N"可等于2D阵列42中的像素行的"启用"部分中 的像素的数量。这里，假设2D阵列42中的各像素行的启用部分包含相同数量的像素。"启用" 部分可以是指在激光扫描期间从对象26实际上接收光的那些像素并且对应PIXOUT信号从 这些像素被接收和处理以进行3D深度计算。在另一个实施例中，图10中的"N"的值可等于像 素阵列42中的总列数一每个列一个校准像素232。例如，可使用校准像素232-1来确定与图6 中的像素102、105、108的列关联的传播延迟，可使用校准像素232-2来确定针对图6中的像 素101、104、107的列的传播延迟，等等。如图10中所示，所有像素232可布置成行一类似于图 6中的2D阵列42的像素行。然而，在某些实施例中，考虑到对像素232的仅用于校准目的而不 是在3D深度测量期间的限制使用，这种基于行的配置可不必要。因此，像素232的行可以是 额外像素行，而可以不是2D阵列42的部分并且可仅用于产生用于时间戳校准的校正值。
[0097]相比于图6和图8中的实施例，可不用单行选择信号(如图6和图8中的RSEL信号)在 图10的实施例中选择像素232的整行。替代地，可使用像素特定时钟D触发器(DFF)以控制的 方式独立地选择各像素232。因此，校准单元171被示出为包括多个DFF 237-1、237-2、···、 237-N-各DDF将各选择信号（SEL)提供到其关联像素。如图10中所示，可存在"N"个独立SEL 信号一SEL 1至SEL N(不参照图10中的参考标号来独立标识，但在图11中标识）。如前，使用 像素232-N作为示例，要注意，在图10中，可将像素特定SEL信号施加于类似于晶体管238的 各NMOS晶体管的栅极。为了便于说明，没有使用参考标号在图10中标识这样的各晶体管。如 所示出的，可使用时钟(CLK)输入240来记录各DFF的时间。在一个实施例中，CLK输入240可 与图7B中的Clk输入185相同。在该情况下，CLK输入240可以是系统级时钟或PLL单元168(图 7A)生成的图像传感器特定时钟或装置15中的其他时钟发生器(未示出）。在另一个实施例 中，CLK信号240可以针对校准单元171被本地生成并且可不被其他系统组件全局地使用或 共用。在一个实施例中，CLK信号240的频率可等于激光扫描的频率一也就是说，激光光源33 (图2) "询问"或者点扫描3D对象26所用的频率。在另一个实施例中，CLK信号240的频率可不 同于激光询问频率。
[0098] 如以下参照图11讨论的，除了CLK输入240之外，校准单元171还可接收设置(SET) 输入242，用于将各DFF 237的输出初始地设置成逻辑"高"或"Γ值。当针对系统/装置15执 行时间戳校准时，可通过数字块167(图7A)提供SET输入242。在另一个实施例中，可通过单 元171中的适合的数字逻辑(未示出）在校准单元171内本地生成SET信号242。如所示出的， 校准单元171中的各像素232还可接收用于偏置像素晶体管构造的VPIX信号244。使用像素 232-N作为示例，观察到，在图10中，偏置电压VPIX可被提供到类似于晶体管234的各NMOS晶 体管的漏极端。在一个实施例中，VPIX信号244可以是偏置所有像素一像素232以及像素阵 列42中的像素一的系统级供应电压。在另一个实施例中，VPIX电压244可在例如校准单元 171内本地生成并且只被施加到像素232。
[0099] 在选择和启用时，各像素232可提供像素特定输出（PIXOUT)。在图10中，分别使用 参考标号246-248来标识三个这种像素特定输出PIXOUT UPIX0UT 2和PIXOUT N。可使用列 特定读取链175来处理这些输出，以确定像素阵列42中的各列的传播延迟。换句话讲，向图 7B中的各列特定读取链175的像素输出输入157可以是多路复用信号:在常规2D/3D成像期 间，像素输出输入157可以是从像素阵列42中的列接收的列特定像素输出信号;然而，在时 间戳校准过程期间，像素输出输入157可以是从像素232中的与读取链175关联的一个像素 232接收的PIXOUT信号。因此，可共用各列特定读取链(或ADC单元）175的电路硬件来处理来 自与读取链关联的列的列特定像素输出信号以及来自校准像素232中的与该列关联的校准 像素232的PIXOUT信号。通过在列ADC单元138(图6)或153(图7A)中使用与那些用于处理来 自像素阵列42中的像素的像素输出的读取链相同的读取链，时间戳校准处理可有效地"模 仿"或"模拟"硬件中的各列特定传播延迟以确定列特定时间戳校正值。
[0100] 图11是根据本公开的特定实施例的时序图255,时序图255示出与图11的校准单元 171关联的用于确定列特定传播延迟的不同信号的示例性时序。如以下讨论的，可使用校准 单元171中的各像素-DFF对来以控制的方式处理像素输出以确定校准像素特定(进而像素 的各列特定)传播延迟。例如，在制造图像传感器单元24时，或者在操作温度存在改变或供 应电压超过预定义容差余量的任何时间，可确定这些列特定传播延迟。可使用可被包括作 为系统15的部分的适合的传感器(未示出）来感测这种温度或电压变化。在特定实施例中， 如此确定的延迟值可被存储在图像传感器单元24中一例如，在图像传感器单元24的数字块 167(图7A)中。可随后使用存储的列特定传播延迟的值来校正/调节针对列中的像素(2D阵 列42中）产生的时间戳值。例如，在图6的背景下，在3D深度测量期间，可使用针对像素102、 105、108的列确定的列特定传播延迟来纠正针对像素102、105、108产生的时间戳值中的误 差。可针对其他像素列使用相同方法。
[0101] 为了便于讨论，在图10中示出的信号、输入或输出的相同参考标号也用于图11。在 特定实施例中，可按以下方式记录各列的传播延迟：
[0102] (1)初始地，可通过使用SET线242将高电压提供到所有DFF 237的设置（"S"）输入， 将所有DFF 237的输出设置成逻辑"高"状态(或二进制"Γ值）。施加到校准单元171中的像 素的RST信号和TX信号(未示出）可在整个校准过程中保持高电平。
[0103] (2)在设置DFF 237之后，时钟信号CLK240可导通以记录用于通过各个读取链175 进行处理的各像素232的输出的时间。在一个实施例中，时钟信号CLK 240可以是已经运行 的时钟并且可不需要导通，但它可在DFF 237被设置之后应用到DFF 237。各校准像素232可 在被选择时被独立地读取。由于记录DFF 237的时间，导致像素（或列）选择信号一也就是 说，通过各个DFF 237输出的信号SEL 1至SEL N-可逐一地转为逻辑"低"状态（或二进制 "〇"值）。在图11中示出三个示例性的SEL信号258-260的被记录的转变。在一个实施例中，当 校准像素的各自SEL信号变低时，该校准像素可被视为"启用"。这种启用的时刻可被称为开 始时间（"Ts"）。分别使用参考标号262-264在图11中标识与对应的SEL信号258-260关联的 这样三个时刻Ts l、Ts 2和Ts N。在一个实施例中，例如，可使用之前提到的全局计数器方 法来记录各时刻Ts。例如，图10至图11中的像素特定SEL信号的高至低转变可触发校准单元 171中的存储器(未示出）、或图7B中的线存储器183、或数字块167中的另一个存储器或存储 单元(未示出），以将全局计数器的输出作为对应"Ts"参数的值进行锁存。例如，通过在使 SET信号242有效和各SEL信号的高至低转变之间出现的时钟脉冲的数量进行计数，可使用 图7B中的时钟185来生成各Ts时刻的计数值。这里观察到，如果CLK信号240是也用于在全局 计数器中产生计数值的全局时钟并且如果CLK信号240的频率等于激光扫描频率，则可能不 需要记录Ts值，因为CLK 240此时模拟实际激光扫描事件并且例如当处理器19(图1至图2) 将图像传感器单元24合适地构造成同步扫描和捕获光斑时激光询问频率通过数字块167可 以已经是已知的。
[0104] (3)当从DFF 237输出的选择(SEL)信号变低(或变"OFF")时，对应的PIXOUT线可随 着线路下降，从高变低。如之前指出的，当像素被入射光照射时，像素的PIXOUT线可开始从 其高电平下降，如三个示例性像素输出一图11中的PIXOUT 1信号246、PIX0UT 2信号247和 PIXOUT N信号248-的向下斜率指示的。像素输出信号的高电平可表示它在没有检测到光 时的复位电平。PIXOUT 1信号246可以是从像素232-1接收的并且使用具有图案 的虚线来示出。PIXOUT 2信号247可以是从像素232-2接收的并且使用直线 来示出。PIXOUT N信号248可以是从像素232-N接收的并且使用具有图案"..............."的虚 线来示出。当各光电二极管检测来自任何光源的环境光时，可生成像素输出。因此，在校准 阶段期间，可不必执行激光点扫描来生成针对像素232中的光电二极管的光信号。通过来自 各像素特定DFF的SEL信号的控制的生成来顺序并记录地生成PIXOUT信号可被认为是"模 拟"激光扫描事件（其中，类似地从2D像素阵列42中的选择的像素行中的像素收集像素输 出）。
[0105] (4)可将各PIXOUT信号246-248与各个列特定读取链175中的预定阈值电压电平进 行比较。在图11的实施例中，RAMP信号266被示出为提供这种阈值电平。RAMP信号266可与图 7B和图8中的Vramp输入143相同。如之前参照图8提到的，在特定实施例中，可通过使斜坡输 入(Vramp)143有效成为预定义电压电平来启用预定阈值。在图11中，RAMP信号266示出这种 预定义电压电平。对于各PIXOUT信号246-248，各个读取链中的计数器单元181 (图7B)中的 比较器(未示出）可将PIXOUT信号与RAMP信号266的预定义阈值进行比较并且当PIXOUT信号 达到RAMP信号266的阈值电压时可检测在这里被称为结束时间（"Te"）的时刻。在图11中，分 别使用参考标号268-270来标识这样的三个时刻Tel、Te2和TeN。在特定实施例中，Te值可被 记录或存储在校准单元171中的存储器(未示出）中、图7B中的列计数器181或线存储器183 中、或数字块167中的另一个存储器或存储单元(未示出）中。观察到，在与图8中示出的时间 戳产生方法类似的时间戳产生方法的情况下，各时刻Te 268-270可指示对应时间戳的产生 的开始。另一方面，在计数操作与启用校准像素基本上同时开始或者在计数操作取决于之 前提到的基于全局时钟的方法的实施例中，各时刻Te268-270可指示对应时间戳的产生的 结束。在校准阶段中，在某些实施例中，由列特定读取链(诸如，读取链175)生成的任何时间 戳值可被忽略。
[0106] (5)为了得到列的传播延迟，可从"Te"参数的列特定值中减去"Ts"参数的列特定 值。换句话讲，在特定实施例中，可通过(Te i-Ts i)的值来给出第i列的列特定传播延迟。在 特定实施例中，传播延迟可被测得是二进制计数值或者时钟周期一例如，如图7B中的时钟 185的计数器时钟的时钟周期一的数量，或者参照CLK信号240确定的时序值。这里要注意， 当在时刻"Ts"将计数操作与启用校准像素232基本上同时开始时(例如，如之前指出的使用 全局计数器时钟），当对应PIXOUT信号达到Vramp阈值266时一也就是说，当出现各自的"Te" 时刻时，可终止针对各校准像素232的计数操作。在该情况下，在计数操作终止时针对各校 准像素而生成的计数值可提供2D像素阵列42中的各像素列的列特定传播延迟或时间戳校 正值。在特定实施例中，依照本公开的教导确定的列特定传播延迟的值可被存储/记录在存 储器(例如，诸如数字块167(图7A)中的存储器或存储单元(未示出））中。如之前指出的，可 例如在制造图像传感器单元24时，或者在操作温度存在变化或供应电压超过预定义容差余 量时的任何时间确定这些列特定传播延迟。在特定实施例中，测量列特定传播延迟的上述 方法可重复多次并且针对特定像素列的各个结果的平均可被计算为该像素列的列特定传 播延迟的值。然后，可将这个评价值用于对该像素列中的像素进行后续时间戳校正。
[0107] (6)在由各个像素列（在像素阵列42中）的像素进行3D测量期间，可使用各列特定 传播延迟的记录值作为列特定校正值来校准(或校正)真实激光事件的时间戳。如之前提到 的，在特定实施例中，可通过图7A中示出的数字逻辑块167执行这种时间戳校准/校正。在某 些实施例中，时间戳校正可涉及将列特定传播延迟的记录值与各列中的像素(像素阵列42 中）的像素特定时间戳值相加(或相减）。在其他实施例中，时间戳校正可涉及当将列特定传 播延迟的记录值应用于像素特定时间戳值时，使用一些权重或比例因子。
[0108] 如之前提到的，在特定实施例中，CLK信号240的频率可等于激光询问频率。在该情 况下，时钟信号模拟实际激光扫描事件，因此，只会需要将"Te"参数的值记录在例如列特定 计数器181(图7B)中。另一方面，如果CLK信号240的频率不同于激光询问频率，则可用全局 计数器(未示出）记录"Ts"值并且可将"Te"值记录在各个列计数器(如图7B中的计数器181) 中。观察到，列计数器(如计数器181)可具有有限的比特分辨率。因此，所得的计数值可具有 换行问题。在某些实施例中，可通过将列计数器的完全计数中的一个或多个相加来解决这 个问题。假设计数开始于"〇"，计数器的完全计数可表示计数器的最大计数加"Γ。例如，10 位二元计数器(诸如，图7B中的计数器181)可只计数十进制的0至1023。因此，这种计数器的 完全计数是1023+1 = 1024。如果使用具有有限比特分辨率的这种计数器对"Ts"和"Te"参数 的值进行计数，则会出现换行问题，因为在某些情形下，计数器会生成"Ts"参数的值，达到 其完全计数，然后将自身复位，之后继续进行计数，以生成"Te"参数的值。在该情况下，"Ts" 的计数值可大于对应"Te"的计数值(例如，Ts = 1000且Te = 100 )，由此，当从Te中减去Ts以 得到传播延迟时，产生负数结果。为了避免由于计数器的换行问题导致的这种负数结果，在 一个实施例中，可首先将计数器的完全计数(这里，1024的值)与"Te"相加，然后从中减去对 应"Ts"的计数值。在这里的示例中，这个加法运算将提供1124-1000 = 124的正确的传播延 迟。
[0109] 图12描绘根据本公开的一个实施例的图1至图2中的系统15的整体布局。因此，为 了便于参考和讨论，在图1至图2和图12中，针对共同的系统组件/单元使用相同的参考标 号。
[0110] 如之前所讨论的，成像模块17可包括图2、图6、图7A至图7B和图10的示例性实施例 中示出的硬件来实现依照本公开的创造性方面的2D成像、3D深度测量和时间戳校准。处理 器19可被构造成接口于多个外部装置。在一个实施例中，成像模块17可用作输入装置，该输 入装置将数据输入一以像素事件数据(例如，诸如图7A中的处理后的数据输出170)的形式 提供到处理器19,用于进一步处理。处理器19还可从可作为系统15的部分的其他输入装置 (未示出）接收输入。这些输入装置的一些示例包括计算机键盘、触摸板、触摸屏、操纵杆、物 理或虚拟"可点击按钮"、和/或计算机鼠标/指示装置。在图12中，处理器19被示出为结合到 系统存储器20、外围存储单元274、一个或多个输出装置276和网络接口单元278。在图12中， 显示单元被示出为输出装置276。在一些实施例中，系统15可包括所示出装置的不止一个实 例。系统15的一些示例包括计算机系统（台式或膝上型）、平板计算机、移动装置、蜂窝电话、 视频游戏单元或控制台、机器对机器(M2M)通信单元、机器人、汽车、虚拟现实设备、无状态 "瘦"客户端系统、汽车的行车记录仪或后视相机系统、或任何其他类型的计算或数据处理 装置。在各种实施例中，图12中示出的所有组件可被容纳在单个外壳内。因此，系统15可被 构造为独立式系统或者任何合适的形状参数。在一些实施例中，系统15可被构造为客户端 系统而非服务器系统。
[0111] 在特定实施例中，系统15可包括不止一个处理器(例如，分布式处理构造）。当系统 15是多处理器系统时，可存在处理器19的不止一个实例或者可存在经由各自接口（未示出） 与处理器19结合的多个处理器。处理器19可以是片上系统(SoC)和/或可包括不止一个中央 处理单元(CPU)。
[0112] 如之前提到的，系统存储器20可以是任何基于半导体的存储系统（例如，诸如 01^1、31^1、？1^1、1?^1、081^1、]\?^1、31'1'-]\?^1等）。在一些实施例中，存储器单元20可包括 与一个或多个非3DS存储器模块结合的至少一个3DS存储器模块。非3DS存储器可包括双倍 数据率或双倍数据率2、3、或4同步动态随机存取存储器(DDR/DDR2/DDR3/DDR4SDRAM)、或 Rambus? DRAM、闪存存储器、各种类型的只读存储器(ROM)等。另外，在一些实施例中，系 统存储器20可包括多种不同类型的半导体存储器，而不是单类型存储器。在其他实施例中， 系统存储器20可以是非暂时性数据存储介质。
[0113] 在各种实施例中，外围存储单元274可包括对于磁性、光学、磁-光学、或固态存储 介质(诸如硬盘驱动器、光盘(诸如，致密盘(CD)或数字通用盘(DVD))、非易失性随机存取存 储器(RAM)装置等）的支持。在一些实施例中，外围存储单元274可包括诸如磁盘阵列（可以 是合适的RAID(独立磁盘冗余阵列）构造)或存储区网络（SAN)的更复杂存储装置/系统，并 且外围存储单元274可经由标准外围接口（诸如，小型计算机系统接口（SCSI)、光纤信道接 口、Firewire? (IEEE 1394)接口、基于外围组件接口Express(PCI Express?)标准的接口、 基于通用串行总线(USB)协议的接口、或其他合适接口）结合到处理器19。各种这样的存储 装置可以是非暂时性数据存储介质。
[0114]显示单元276可以是输出装置的示例。输出装置的其他示例包括图形/显示装置、 计算机屏幕、警报系统、CAD/CAM(计算机辅助设计/计算机辅助加工)系统、视频游戏站、智 能电话显示屏、或任何其他类型的数据输出装置。在一些实施例中，诸如成像模块17的输入 装置和诸如显示单元276的输出装置可经由I/O或外围接口结合到处理器19。
[0115] 在一个实施例中，网络接口 278可与处理器19通信，以使系统15能够结合到网络 (未示出）。在另一个实施例中，网络接口278可全部不存在。网络接口278可包括用于将系统 15连接到网络一无论有线或无线一的任何合适装置、介质和/或协议内容。在各种实施例 中，网络可包括局域网(LAN)、广域网(WAN)、有线或无线以太网、电信网络、或其他合适类型 的网络。
[0116] 系统15可包括板上电源单元280,用于向图12中示出的各种系统组件供电。电源单 元280可接纳电池或者可连接到AC电源插座。在一个实施例中，电源单元280可将太阳能或 其他可再生能源转换成电力。
[0117] 在一个实施例中，成像模块17可与插入任何个人计算机(PC)或膝上型电脑的高速 接口（例如，诸如通用串行总线2.0或3.0(USB 2.0或3.0)接口或以上)集成。例如，诸如系统 存储器20的非暂时性计算机可读数据存储介质或诸如CD/DVD的外围数据存储单元可存储 程序代码或软件。成像模块17中的处理器19和/或数字处理块167(图7A)可被构造成执行程 序代码，由此装置15可进行操作，以执行如上讨论的2D成像和3D深度测量(和相关时间戳校 准）（例如，诸如之前参照图1至图11讨论的操作）。例如，在某些实施例中，在执行程序代码 时，处理器19和/或数字块167可合适地构造(或启用）相关电路组件(诸如，校准单元171和 读取链175)，以在这些组件的帮助下依照本公开的教导来适合地执行时间戳校准。程序代 码或软件可以是专有软件或开源软件，在由诸如处理器19和/或数字块167的适合的处理实 体执行时，所述专有软件或开源软件可使处理实体能够执行时间戳校准、使用它们精确的 时序获取像素事件，处理它们，用各种格式渲染它们，并且以2D和/或3D格式显示它们。如之 前指出的，在某些实施例中，成像模块17中的数字处理块167可执行像素事件信号的处理中 的一些处理，之后像素输出数据被发送到处理器19,用于进一步的处理和显示。在其他实施 例中，处理器19还可执行数字块167的功能，在这种情况下，数字块167可以不是成像模块17 的部分。
[0118] 在之前的描述中，出于说明和非限制的目的，阐述具体细节(诸如，特定的架构、波 形、接口、技术等），以提供对所公开技术的彻底理解。然而，本领域的技术人员将清楚，可在 脱离这些具体细节的其他实施例中实践所公开技术。也就是说，本领域的技术人员将能够 设想到尽管未在这里明确描述或示出但实施了所公开技术的原理的各种布置。在一些情形 下，省略了对公知装置、电路和方法的具体描述，以便不用不必要的细节模糊所公开技术的 描述。这里详述的所公开技术的原理、方面和实施例的的所有陈述及其具体示例旨在涵盖 其结构等同物和功能等同物二者。另外，这些等同物旨在包括当前已知的等同物以及未来 开发的等同物(例如，诸如执行相同功能的开发的任何元件，而不管结构如何)二者。
[0119] 因此，例如，本领域的技术人员将理解，这里的框图（例如，图1至图2中）可表示实 施技术原理的说明性电路或其他功能单元的概念观点。类似地，将理解，图3和图9中的流程 图表示可由处理器(例如，图12中的处理器19和/或图7A中的数字块167)基本上执行的各种 处理。举例来说，这种处理器可包括通用处理器、专用处理器、传统处理器、数字信号处理器 (DSP)、多个微处理器、与DSP核关联的一个或多个微处理器、控制器、微控制器、专用集成电 路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、和/或状态机。还 可由这种处理器在硬件和/或软件中提供在图1至图11的背景下的上述功能中的一些或全 部功能。
[0120] 当某些创造性方面需要基于软件的处理时，这种软件或程序代码可存在于计算机 可读数据存储介质中。如之前指出的，这种数据存储介质可以是外围存储器274的部分，或 者可以是图像传感器单元24的系统存储器20或任何内部存储器(未示出）的部分、或处理器 19的内部存储器(未示出）。在一个实施例中，处理器19或数字块167可执行存储在这种介质 上用于执行基于软件的处理的指令。计算机可读数据存储介质可以是包含以上提到的用于 通用计算机或处理器执行的计算机程序、软件、固件、或微代码的非暂时性数据存储介质。 计算机可读存储介质的示例包括R〇M、RAM、数字寄存器、高速缓存存储器、半导体存储器装 置、诸如内部硬盘的磁性介质、磁带和可移动盘、磁-光介质、以及诸如CD-ROM盘和DVD的光 学介质。
[0121] 根据本公开的创造性方面的成像模块17或包括这种成像模块的系统15的替代实 施例可包括负责提供额外功能的额外组件，包括以上识别的任何功能和/或支持依照本公 开的教导的解决方案所必需的任何功能。尽管以上在特定组合中描述了特征和元件，但可 在没有其他特征和元件的情况下单独地使用各个特征或元件或者在有或没有其他特征的 情况下以各种组合来使用各特征或元件。如之前提到的，可通过使用硬件(诸如，电路硬件） 和/或能够以（以上提到的)计算机可读数据存储介质上存储的编码指令或微代码形式执行 软件/固件的硬件来提供这里讨论的各种2D和3D成像功能。因此，这些功能和示出的功能块 将被理解为是由硬件实现和/或由计算机实现的，因此是由机器实现的。
[0122] 以上描述了可使用相同图像传感器(也就是说，图像传感器中的所有像素)来拍摄 3D对象的2D图像和针对对象的3D深度测量二者的系统和方法。图像传感器可以是移动装置 (例如，诸如智能手机）中的相机的部分。可使用激光光源用光斑对对象的表面进行点扫描， 然后，可通过图像传感器中的像素阵列检测这些光斑，以使用三角法生成对象的3D深度轮 廓。在3D模式下，激光器可将一系列光斑沿着扫描线投影到对象的表面上。可使用像素阵列 中的像素行来检测被照射的光斑，使得该行形成扫描线的极线。被检测的光斑可被时间戳 记，以去除三角法中的任何不确定性，因此，减少了深度计算量和系统电力。时间戳还可提 供捕获的激光光斑的像素位置和激光光源的各扫描角之间的对应关系，以使用三角法确定 深度。图像传感器中的ADC单元可作为时间-数字(TDC)转换器来操作，以生成时间戳。为了 提高3D相机系统的性能，可在板上提供时间戳校准电路，以记录像素阵列中的各像素列的 传播延迟并且对3D深度测量期间生成的时间戳值提供必要的校正。
[0123]如本领域的技术人员将认识到的，可在广泛范围的应用内修改和变化本申请中描 述的创造性构思。因此，取得专利权的主题的范围不应该限于以上讨论的具体示例性教导 中的任一个，而是由权利要求书进行限定。
【主权项】
1. 一种成像单元，包括： 光源，操作为沿着扫描线执行三维(3 D)对象的一维（1D)点扫描，其中，点扫描将一系列 光斑投影到3D对象的表面上；以及 图像传感器单元，包括： 多个像素，布置成形成像平面的二维(2D)像素阵列，其中，2D像素阵列中的像素行形成 扫描线的极线的至少一部分，其中，所述像素行中的各像素与2D像素阵列中的各个列关联， 其中，所述像素行中的各像素被操作为检测所述一系列光斑中的对应光斑， 多个模数转换器(ADC)单元，其中，各ADC单元与所述像素行中的各个像素关联并且被 操作为响应于由所述各个像素进行的对应光斑的像素特定检测，针对所述各个像素生成像 素特定时间戳值，以及 处理单元，结合到所述多个ADC单元，其中，处理单元被操作为执行以下： 针对与所述像素行中的各个像素关联的2D像素阵列中的列，将列特定校正值应用于像 素特定时间戳值，以得到校正后的时间戳值，其中，列特定校正值表示像素特定检测和所述 各个像素的像素特定输出达到预定义阈值的时间之间的列特定传播延迟，以及 基于校正后的时间戳值和光源用于投影对应光斑而使用的扫描角，确定在3D对象的表 面上与对应光斑的距离。2. 根据权利要求1所述的成像单元，其中，2D像素阵列是互补型金属氧化物半导体 (CMOS)阵列，其中，所述像素行中的各像素是以下像素中的一个： 四晶体管(4T)像素； 三晶体管(3T)像素； 两晶体管(2T)像素； 一晶体管（1T)像素； 共用晶体管像素； IX 22共用像素；以及 IX 44共用像素。3. 根据权利要求1所述的成像单元，其中，光源是以下光源中的一个： 激光光源； 可见激光光源； 近红外激光光源； 点光源； 单色照射光源；以及 X-Y可寻址光源。4. 根据权利要求1所述的成像单元，其中，图像传感器单元还包括： 校准单元，操作地结合到所述多个ADC单元和处理单元，以在硬件中模拟列特定传播延 迟，以在生成像素特定时间戳值之前确定列特定校正值。5. 根据权利要求1所述的成像单元，其中，图像传感器单元还包括： 校准单元，结合到所述多个ADC单元和处理单元，其中，校准单元包括针对与所述各个 像素关联的列的列特定校准像素，其中，校准像素是除了2D像素阵列中的各个像素之外的 像素， 其中，以下适用： 校准单元被操作为启用校准像素并且以记录与来自与校准像素关联的所述各个像素 的输出的时间相同的方式来记录校准像素的输出的时间； 所述多个ADC单元中的一个被操作为记录启用校准像素的第一时刻并且记录校准像素 的输出达到预定义阈值的第二时刻；以及 处理单元被操作为从第二时刻中减去第一时刻，以得到列特定校正值。6. 根据权利要求5所述的成像单元，其中，校准单元被操作为执行以下操作中的一个： 使用与光源在执行1D点扫描的过程中所使用的扫描频率相等的第一时钟频率来记录 校准像素的输出的时间；以及 使用不同于扫描频率的第二时钟频率来记录校准像素的输出的时间。7. 根据权利要求1所述的成像单元，其中，图像传感器单元还包括： 校准单元，结合到所述多个ADC单元和处理单元，其中，校准单元包括针对与所述各个 像素关联的列的列特定校准像素，其中，校准像素是除了2D像素阵列中的各个像素之外的 像素， 其中，以下适用： 校准单元被操作为启用校准像素并且以记录与来自与校准像素关联的所述各个像素 的输出的时间相同的方式来记录校准像素的输出的时间； 所述多个ADC单元中的一个被操作为与启用校准像素同时地开始计数操作并且当校准 像素的输出达到预定义阈值时终止计数操作；以及 处理单元被操作为选择在计数操作终止时生成的计数值作为列特定校正值。8. 一种系统，包括： 光源，操作为沿着扫描线执行三维(3 D)对象的一维（1D)点扫描，其中，点扫描将一系列 光斑投影到3D对象的表面上； 多个像素，布置成形成像平面的二维(2D)像素阵列，其中，2D像素阵列中的像素行形成 扫描线的极线的至少一部分，其中，所述像素行中的各像素与2D像素阵列中的各列关联，其 中，所述像素行中的各像素被操作为检测所述一系列光斑中的对应光斑； 多个模数转换器(ADC)单元，其中，各ADC单元与所述像素行中的各个像素关联并且被 操作为响应于由所述各个像素进行的对应光斑的像素特定检测，生成针对所述各个像素的 像素特定时间戳值； 存储器，用于存储程序指令；以及 处理器，结合到存储器和所述多个ADC单元，其中，处理器被构造成执行程序指令，由 此，处理器被操作为执行以下： 针对与所述像素行中的各个像素关联的2D像素阵列中的列，将列特定校正值应用于像 素特定时间戳值，以得到校正后的时间戳值，其中，列特定校正值表示像素特定检测和所述 各个像素的像素特定输出达到预定义阈值的时间之间的列特定传播延迟，以及 至少基于校正后的时间戳值和光源用于投影对应光斑的扫描角，确定3D对象的表面上 的与对应光斑的距离。9. 根据权利要求8所述的系统，其中，2D像素阵列是互补型金属氧化物半导体(CMOS)阵 列，其中，所述像素行中的各像素是以下像素中的一个： 四晶体管(4T)像素； 三晶体管(3Τ)像素； 两晶体管(2Τ)像素； 一晶体管（1Τ)像素； 共用晶体管像素； IX 22共用像素；以及 IX 44共用像素。10. 根据权利要求8所述的系统，其中，光源是以下光源中的一个： 激光光源； 可见光光源； 点光源； 单色照射光源；以及 Χ-Υ可寻址光源。11. 根据权利要求8所述的系统，还包括： 校准单元，操作地结合到所述多个ADC单元和处理器，以在硬件中模拟列特定传播延 迟，以确定列特定校正值。12. 根据权利要求8所述的系统，还包括： 校准单元，结合到所述多个ADC单元和处理器，其中，校准单元包括针对与所述各个像 素关联的列的列特定校准像素，其中，校准像素是除了2D像素阵列中的各个像素之外的像 素， 其中，在执行程序指令时，处理器被操作为还执行以下： 构造校准单元，以启用校准像素并且以记录与来自与校准像素关联的各个像素的输出 的时间相同的方式来记录校准像素的输出的时间； 构造所述多个ADC单元中的一个，以记录启用校准像素的第一时刻并且记录校准像素 的输出达到预定义阈值的第二时刻；以及 从第二时刻中减去第一时刻，以得到列特定校正值。13. 根据权利要求12所述的系统，其中，记录第二时刻的ADC单元被操作为执行以下操 作中的一个： 在第二时刻发生时，开始生成对应的时间戳；以及 在第二时刻发生时，结束生成对应的时间戳。14. 根据权利要求12所述的系统，其中，校准单元被操作为执行以下操作中的一个： 接收用于记录校准像素的输出的时间的第一时钟信号，其中，第一时钟信号具有与光 源在执行1D点扫描的过程中的扫描频率相等的第一时钟频率;以及 接收用于记录校准像素的输出的时间的第二时钟信号，其中，第二时钟信号具有与扫 描频率不同的第二时钟频率。15. 根据权利要求8所述的系统，还包括： 校准单元，结合到所述多个ADC单元和处理器，其中，校准单元包括针对与所述各个像 素关联的列的列特定校准像素，其中，校准像素是除了2D像素阵列中的各个像素之外的像 素， 其中，在执行程序指令时，处理器被操作为还执行以下： 构造校准单元，以启用校准像素并且以记录与来自与校准像素关联的各个像素的输出 的时间相同的方式来记录校准像素的输出的时间； 构造所述多个ADC单元中的一个，以在启用校准像素之前或与启用校准像素同时地开 始计数操作并且当校准像素的输出达到预定义阈值时终止计数操作；以及 选择在计数操作结束时生成的计数值作为列特定校正值。16.根据权利要求8所述的系统，其中，所述系统是以下中的一个： 移动装置； 智能电话； 平板计算机； 计算单元； 用户设备(UE); 汽车； 虚拟现实设备；以及 机器人。
【文档编号】H04N13/02GK106067954SQ201610248656
【公开日】2016年11月2日
【申请日】2016年4月20日 公开号201610248656.4, CN 106067954 A, CN 106067954A, CN 201610248656, CN-A-106067954, CN106067954 A, CN106067954A, CN201610248656, CN201610248656.4
【发明人】王一兵, 伊利亚·奥维先尼科夫
【申请人】三星电子株式会社