使用单光子雪崩二极管的结构化光深度计算的系统和方法与流程

背景技术：

1、深度图包括指示在视点(例如，捕获环境的图像的相机的视点)与场景内的对象(例如，由相机捕获的环境内的对象)的表面之间的距离的信息。深度图被用作促进各种计算机视觉任务和/或用户体验的工具，诸如同时定位和映射、对象跟踪、直通成像(例如，捕获图像并且使用深度图重新投射它们以对应于另一视角)、摄影测量、表面重建和/或其他。

2、深度图能够以各种方式来生成。用于生成深度图的一种示例性技术包括结构化光深度成像。结构化光深度成像的一种形式包括将一系列的不同光图案(例如，具有不同数量和/或宽度的条纹的条纹图案)投射到环境中并且利用相机来捕获环境的一系列图像。每张图像都会捕获环境，同时环境被不同的光图案照明。

3、在捕获图像时，相机通常保持静止，使得相机的每个图像感测像素在不同光图案的投射和捕获过程中捕获环境的相同部分。

4、选择所述一系列的不同光图案中的光图案以允许确定针对相机的每个图像感测像素的像素签名。例如，所述一系列的不同光图案可以包括由以交替图案中布置的照明垂直部分和未照明垂直部分形成的垂直条纹的布置。不同光图案可以包括不同密度的垂直条纹。例如，第一光图案可以包括单个照明垂直部分(占据图案的一半)和单个未照明垂直部分(占据图案的另一半)。第二光图案可以包括四个垂直条纹(两个照明，两个未照明，以交替图案布置)，第三光图案可以包括八个垂直条纹(四个照明，四个未照明，以交替图案布置)，等等。

5、根据以上示例，针对特定图像感测像素的像素签名可以通过跟踪由特定图像感测像素捕获的环境的部分在每个不同光图案投射到环境中期间是否被照明来定义。例如，可以记录第一值，其指示当第一光图案被投射到环境中时特定图像感测像素是否检测到光图案照明(例如，二进制“1”或“0”，其中，“1”指示检测到照明)；可以记录第二值，其指示当第二光图案被投射到环境中时特定图像感测像素是否检测到光图案照明；可以记录第三值，其指示当第三光图案被投射到环境中时特定图像感测像素是否检测到光图案照明；等等。换句话说，所述第一值可以指示由特定图像感测像素捕获的环境的部分是否在第一图案的照明条纹内，所述第二值可以指示由特定图像感测像素捕获的环境的部分是否在第二图案的照明条纹内，所述第三值可以指示由特定图像感测像素捕获的环境的部分是否在第三图案的照明条纹内，等等。针对特定图像感测像素的各种值(例如，指示一系列的不同光图案的投射期间的光图案照明或未照明)可以被组合(例如，被布置为值的序列)以生成针对特定图像感测像素的像素签名。

6、可以如上文所讨论地基于投射到环境中的各种结构化光图案的捕获图像来确定相机的图像感测像素的像素签名。系统也可以基于投射到环境中的结构化光图案来确定虚拟像素签名。例如，虚拟像素签名可以各自与像素坐标相关联，并且可以基于像素坐标是对应于跨多个图案的照明部分还是未照明部分。

7、因此，为了执行深度计算，系统可以沿着扫描线(例如，水平扫描线或者与结构化光图案的条纹正交的扫描方向)进行搜索以识别与在同一扫描线上匹配虚拟像素签名的像素签名相关联的相机像素的位置。系统可以使用与匹配的像素签名和虚拟像素签名相关联的像素坐标来确定视差和/或深度值。可以执行或尝试这样的匹配来计算针对所有相机像素的深度值，由此形成所捕获的环境的深度图。为了促进如上文所讨论的理想结构化光深度成像，应当选择一系列结构化光图案的光图案，以允许针对相机的每个图像感测像素的像素签名至少沿着相同的扫描线(例如，沿着相同的水平扫描线)与其他像素签名是独有的。

8、在一些情况下，与用于深度成像的其他常规技术(例如，使用单点图案投射来促进主动立体成像)相比，在以上示例中所描述的结构化光成像可以提供针对捕获环境的高精度的深度信息并且减少误差。然而，包括移动对象的环境对利用如上文所讨论的一系列光图案的结构化光成像提出了许多挑战。例如，结构化光图像通常使用互补金属氧化物半导体(cmos)和/或电荷耦合器件(ccd)图像传感器来捕获。这样的传感器可以包括图像感测像素阵列，其中，每个像素被配置为响应于检测到的光子而生成电子-空穴对。电子可以变为被存储在每像素电容器中，并且可以读出被存储在电容器中的电荷以提供图像数据(例如，通过将所存储的电荷转换为电压)。

9、cmos和/或ccd图像传感器通常通过执行曝光操作以允许在每像素电容器中收集电荷并且随后执行读出操作以基于所收集的每像素电荷生成图像数据来操作。因此，在所捕获的环境中的移动对象常常在第一光图案图像的曝光和/或读出期间占据一个位置(或者位置集合)，并且在第二光图案图像的曝光和/或读出期间占据不同的位置(或者不同的位置集合)。因此，不同的光图案图像可以包括环境中相同对象的空间未对准的表示，这会导致深度计算出错。

10、因此，至少出于前述原因，持续需要并且期望用于促进结构化光深度计算的经改进的系统和方法。

11、在本文中所要求保护的主题并不限于解决任何缺点或仅在诸如上文所描述的那些环境中操作的实施例。相反，该背景仅被提供用于例示说明可以实践在本文中所描述的一些实施例的一个示例性技术领域。

技术实现思路

1、所公开的实施例包括用于促进使用单光子雪崩二极管(spad)的结构化光深度计算的系统、方法和设备。

2、一些实施例提供了一种系统，所述系统包括：spad阵列，其包括多个spad像素；照明器，其被配置为发射一种或多种结构化光图案；一个或多个处理器；以及一个或多个硬件存储设备，其存储指令，所述指令能由所述一个或多个处理器运行以将所述系统配置为执行各种动作。所述动作包括：在帧捕获时间段内，选择性地激活所述照明器以执行交错的结构化光照明操作。所述交错的结构化光照明操作包括交替地从所述照明器发射至少第一结构化光图案和从所述照明器发射至少第二结构化光图案。所述动作也包括：在所述帧捕获时间段内，执行多个顺序快门操作以将所述spad阵列的每个spad像素配置为启用光子检测。所述多个顺序快门操作为所述spad阵列的每个spad像素生成多个二进制计数，指示在所述多个顺序快门操作中的每个快门操作期间是否检测到光子。

3、提供本概述是为了以简化的形式介绍概念的选择，这些概念将在下文的详细描述中进一步描述。本概要无意于识别所要求保护的主题的关键特征或基本特征，也无意于用作确定所要求保护的主题的范围的辅助。

4、额外的特征和优点将在下文的描述中阐述，并且部分地从描述中将是显而易见的，或者可以通过在本文中的教导的实践而了解到。本发明的特征和优点可以通过所附的权利要求中特别指出的仪器和组合来实现和获得。本发明的特征将从下文的描述和所附的权利要求中变得更加明显，或者可以通过如下文所阐述的本发明的实践来了解。

技术特征：

1.一种用于使用单光子雪崩二极管(spad)的结构化光深度计算的系统，所述系统包括：

2.根据权利要求1所述的系统，其中，执行所述交错的结构化光照明操作包括：使得所述第一结构化光图案和所述第二结构化光图案在所述帧捕获时间段内从所述照明器发射至少两次。

3.根据权利要求1所述的系统，其中，执行所述多个顺序快门操作包括在所述帧捕获时间段期间抑制所述快门操作的暂停执行以执行读出操作。

4.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统配置为：针对所述spad阵列的每个spad像素，至少基于(i)在所述帧捕获时间段内由所述第一结构化光图案的照明期间经由所述spad像素生成的二进制计数的第一集合和(ii)在所述帧捕获时间段内由所述第二结构化光图案的照明期间经由所述spad像素生成的二进制计数的第二集合，来确定相应的像素签名。

5.根据权利要求4所述的系统，其中，针对所述spad阵列的每个spad像素：

6.根据权利要求5所述的系统，其中，所述二进制计数的第二多个子集中的二进制计数的至少一个子集在时间上介于所述二进制计数的第一多个子集中的二进制计数的至少两个子集之间。

7.根据权利要求4所述的系统，其中，针对所述spad阵列的每个spad像素：

8.根据权利要求4所述的系统，其中，针对所述spad阵列的每个spad像素：

9.根据权利要求8所述的系统，其中，针对所述spad阵列的每个spad像素，所述光子阈值数量是基于相应的环境光测量结果来确定的，所述相应的环境光测量结果是基于在抑制从所述照明器发射结构化光图案的同时使用所述spad阵列捕获的环境光图像帧来确定的。

10.根据权利要求9所述的系统，其中，所述环境光图像帧是基于在抑制从所述照明器发射结构化光图案的同时在所述帧捕获时间段期间由所述spad阵列的spad像素检测到的光子来生成的。

11.根据权利要求4所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置为：至少使用所述第一结构化光图案和所述第二结构化光图案来确定多个虚拟像素签名，所述多个虚拟像素签名中的每个虚拟像素签名与相对于所述第一结构化光图案和所述第二结构化光图案的相应像素坐标相关联，所述多个虚拟像素签名中的每个特定虚拟像素签名基于：(i)针对所述特定虚拟像素签名的所述相应像素坐标与所述第一结构化光图案的照明部分还是未照明部分相关联，以及(ii)针对所述特定虚拟像素签名的所述相应像素坐标与所述第二结构化光图案的照明部分还是未照明部分相关联。

12.根据权利要求11所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统进一步配置为：通过识别在(i)所述spad阵列的所述spad像素的所述相应像素签名与(ii)所述多个虚拟像素签名之间的对应关系来生成深度图。

13.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统配置为：基于在抑制从所述照明器发射结构化光图案的同时使用所述spad阵列捕获的环境光图像帧来动态地修改与发射所述第一结构化光图案或所述第二结构化光图案相关联的脉冲时间段。

14.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统配置为：基于在抑制从所述照明器发射结构化光图案的同时使用所述spad阵列捕获的环境光图像帧，来动态地修改与在所述帧捕获时间段内发射所述第一结构化光图案或所述第二结构化光图案相关联的脉冲数量。

15.根据权利要求1所述的系统，其中，所述指令能由所述一个或多个处理器运行以将所述系统配置为：基于在抑制从所述照明器发射结构化光图案的同时使用所述spad阵列捕获的环境光图像帧，来动态地修改与发射所述第一结构化光图案或所述第二结构化光图案相关联的发射光的量。

技术总结
一种用于使用单光子雪崩二极管(SPAD)的结构化光深度计算的系统能配置为：在帧捕获时间段内，选择性地激活照明器以执行交错的结构化光照明操作。所述交错的结构化光照明操作包括交替地从所述照明器发射至少第一结构化光图案和从所述照明器发射至少第二结构化光图案。所述系统也能配置为：在所述帧捕获时间段内，执行多个顺序快门操作以将所述SPAD阵列的每个SPAD像素配置为启用光子检测。所述多个顺序快门操作为所述SPAD阵列的每个SPAD像素生成多个二进制计数，指示在所述多个顺序快门操作中的每个快门操作期间是否检测到光子。

技术研发人员：R·K·普赖斯,M·布莱尔,C·D·埃德蒙兹
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/15