用于压缩三维深度感测的系统和方法与流程

本公开涉及用于压缩三维深度感测的系统和方法。

背景技术：

深度感测成像系统可以使用相干光源和轻型转向装置来照亮场景以获取深度估计。三维深度图需要花费时间并且可以占用重要的资源，例如发光功率和处理资源。

技术实现要素：

实施方案的各方面涉及飞行时间(tof)成像系统及其操作方法。例如，操作tof成像系统的方法可包括：获取场景的第一图像；从所述第一图像识别所述场景的一个或多个目标区域；和捕获所述一个或多个目标区域中的至少一个的深度图。

飞行时间成像系统可包括：深度传感器；轻型转向装置；光电探测器；和图像处理器。飞行时间成像系统被配置为：通过所述光电探测器获取场景的第一图像；从所述第一图像识别所述场景的一个或多个目标区域；和捕获所述一个或多个目标区域中的至少一个的深度图。

附图说明

图1是根据本公开的实施方案的示例成像系统的示意图。

图2是根据本公开的实施方案的示例性轻型转向装置的示意图。

图3a是根据本公开的实施方案的由2d成像装置捕获的图像的示意图。

图3b是根据本公开的实施方案的分段2d图像的示意图。

图3c是示出根据本公开的实施方案的来自场景的不同部分的示例反射信号的示意图。

图4a是根据本公开的实施方案的对象的传统2d图像的示意图。

图4b是传统2d图像的示意图，示出了根据本公开实施方案的对象的高分辨率捕获。

图4c示出了根据本公开实施方案的较低分辨率深度传感器图像。

图5示出了用于说明简单像素信号与复合像素信号的时序图。

图6a是根据本公开的实施方案的用于使用2d图像捕获深度信息的过程流程图。

图6b是根据本公开的实施方案的用于使用立体捕获图像执行场景的分割的过程流程图。

图7是示出根据本公开的实施方案的简单场景的示意图。

图8a是示出根据本公开的实施方案的具有两个不同深度的对象的场景的示意图。

图8b是示出根据本公开的实施方案的光发射器以比图8a中的小立体角发光的场景的示意图。

图9a示出了根据本公开的实施方案的场景的粗分辨率图像捕获。

图9b是示出根据本公开的实施方案的通过增加像素扫描步长分辨率实现的高分辨率扫描的示意图。

图10是用于将多分辨率应用于3d感测压缩的过程流程图。

图11示出了根据本公开的实施方案的表示相邻像素值的三个深度信号。

具体实施方式

本公开描述了使用二维(2d)图像数据的系统和方法，例如，通过场景分割，以增加获取三维(3d)深度点的感测效率，例如，增加空间分辨率，减少功率或扫描时间。实施方案的各方面使用2d和3d信息和/或启发法来增加飞行时间深度感测中的采集速率，增加深度图的分辨率，和/或降低获取深度图中的功率利用率。

图1是根据本公开的实施方案的示例成像系统100的示意图。成像系统100包括光发射器102。光发射器102可以是产生红外(ir)范围内的相干光的光产生装置。光发射器102的一些示例包括激光二极管、固态激光器、垂直腔表面发射激光器(vcsel)、窄角发光二极管(led)等。成像系统100还可以包括光发射器驱动器104。光发射器驱动器104可以用非常短(例如，纳秒范围)的高能脉冲驱动光发射器102。光发射器驱动器104的一些示例包括氮化镓(gan)场效应晶体管(fet)、专用高速集成电路(ic)、专用集成电路(asic)等。在一些实施方案中，驱动器104和光发射器102可以是单个设备。

成像系统100还可以包括准直透镜106。准直透镜106确保每次发射的光的角度尽可能窄以改善空间分辨率并确保所有发射的光通过轻型转向装置108传输。轻型转向装置108允许准直光在给定视场(fov)内在一定角度αx和αy内被转向。轻型转向装置108可以是2d轻型转向装置，其中光可以水平转向(110a，αx)和垂直转向(110b，αy)。在实施方案中，轻型转向装置108可以是一维装置，其可以仅在一个方向(αx或αy)上操纵光。通常，电控制轻型转向装置108以改变偏转角。转向装置的一些示例是：mems镜，声晶调制器，液晶波导，光子相位阵列或其他类型的轻型转向装置。在一些实施方案中，轻型转向装置108可以组装在旋转平台(112)中以覆盖高达360度的水平视场。

在实施方案中，可以调整准直透镜106以改变光束区域。改变光束区域允许成像系统100使用粗光束区域扫描场景以获得更快的扫描和更低的分辨率。光束区域也可以调整到更精细的光束区域，以获得更高分辨率的扫描。在图8a-b中更详细地讨论了可调节光束区域的使用。

成像装置100可包括轻型转向装置控制器和驱动器114。轻型转向装置控制器114可提供必要的电压和信号以控制轻型转向装置的偏转角。轻型转向装置控制器114还可以使用反馈信号来知道当前偏转并应用校正。通常，轻型转向装置控制器114是为特定转向设备108设计的专用ic。

成像系统还可以包括聚光透镜120。投射在fov(110a和110b)中的高度聚焦的光在撞击对象(180)时散射。聚光透镜120允许尽可能多的光被引导到光敏元件122的有效区域中。光敏元件122可以是将在有源区域中接收的光转换成可用于图像检测的电信号的装置。光敏元件的一些示例包括光电探测器、光电二极管(pd)、雪崩光电二极管(apd)、单光子雪崩光电二极管(spad)、光电倍增器(pmt)。

模拟前端124在到达模数转换器(adc)元件之前为光电探测器产生的电信号提供调节。调节可以包括放大、整形、滤波、阻抗匹配和幅度控制。根据所使用的光电探测器，不需要所有描述的信号调节。

成像系统100可以包括飞行时间(tof)测量单元126。在实施方案中，tof测量单元126可以包括采样系统。tof测量单元使用start和stop信号来定义获取入射光的时间范围。这用于测量从光发射器102发送的脉冲到达对象180并反射回光敏元件122所花费的时间。可以使用模数转换器(adc)执行测量。该块向3d感测处理器130或应用处理器(132)提供一个或多个tof测量，以进行进一步的数据处理和可视化/动作。

3d感测处理器130是控制3d感测系统操作的专用处理器，例如：生成定时，为光发射器提供激活脉冲，在缓冲器中收集tof测量，执行信号处理，将收集的测量发送到应用处理器，执行校准。

应用处理器132可以是系统中可用的处理器(例如cpu或基带处理器)。应用处理器132控制3d感测系统130的激活/去激活，并使用3d数据执行特定任务，例如与用户界面交互、检测对象、导航。在一些情况下，应用处理器132使用来自系统成像器(140a)的2d信息来增强从3d系统接收的信息以进行另外的推断。在一些实施方案中，3d感测处理器130和应用处理器132可以在同一设备上实现。

在实施方案中，成像系统可包括2d成像器140a。2d成像器140a可以捕获静止图像或视频。由2d成像器140a提供的信息可以增强由3d感测提供的信息，或者可以用于关联2d空间中的3d点。在实施方案中，成像系统100可包括二级2d成像器140b。成像系统100可具有多个成像器，其可用于发现不同区域或可立体地用于提供3d信息，在后一种情况下，系统可以根据操作模式利用两个3d检测系统(例如，在近距离或较低深度精度下，基于成像器的3d检测系统可能是优选的，而在长距离或更高精度时，tof3d感测可能是优选的)，或者光导向装置仅可用于探测由2d传感器预定的区域，仅集中于检测到对象的区域或识别特定深度范围内的对象的区域。

使用双摄像头可以促进可靠的2d分割。双摄像头可以更容易地分离场景中的对象。双摄像头也可用于通过例如视差现象来感测深度。使用具有适当传感器的算法，可以从双摄像头提取深度信息并用于各种应用。

在一些实施方案中，可以通过其他方式形成2d图像。例如，单个像素检测器可用于形成2d图像。

在实施方案中，诸如声学成像器或radar成像器的其他3d传感器可以与tof深度传感器组合使用。

图1的飞行时间成像系统100示出了两个辅助系统成像器(140a，140b)。辅助系统成像器140a和140b可以是2d成像器，例如立体相机。辅助系统成像器140a和140b也可以是3d成像器。如上所述，辅助系统成像器140a和140b中的一个或两个可以用在成像系统100中。

在一个可能的实施方案中，成像器140a和140b是光学成像器，其可以用作用于估计场景中的对象的深度的立体系统。每个成像器140a和140b可以捕获图像。每个捕获的图像可以重叠。在重叠的图像中，更靠近相机的对象将出现位移，而远处的对象将重叠。精度可以取决于每个成像器140a和140b的像素数量，并且精度还可以取决于对象距相机的距离。

在实施方案中，可以捕获立体照片的先前知识的目标对象(例如，两个人)，以便粗略地估计到包括目标对象的场景的区域的距离，然后使用光源的最佳功率探索具有更高分辨率深度感测系统的区域。

通过最初使用立体成像，捕获深度图的粗略估计可以减少较高功率深度传感器扫描的扫描区域，从而减少较高分辨率深度传感器的功率使用。在实施方案中，对目标对象的深度的粗略估计还可以向tof系统100通知用于光源的最佳功率；降低的功率可能适合更近的对象，而更远的对象需要更高的功率。在实施方案中，可以使用两者的组合，其中可以使用较低功率来映射前景中的对象的深度(例如，立体成像器捕获图像或低功率深度传感器图像)，并且可以使用较高的功率来映射背景中的对象的深度(例如，使用更高功率的深度传感器)。在一些实施方案中，tof系统100可以确定超过几个点的最大功率值得功耗，以便检测非常远的对象或可能很小的对象(即，仅占据小百分比的像素分辨率)。

如前所述，诸如雷达或声学成像器的其他3d感测技术可以与所描述的传感器组合使用或不组合使用。

如上所述，轻型转向装置108可包括mems镜、声晶调制器、液晶波导、光学相位阵列等。图2示出了示例mems镜200。mems镜200可以是使用微电机的小型化机电装置，以控制由扭杆支撑的微镜202的偏转角。1dmems反射镜可以沿一个方向偏转光，而2dmems反射镜可以沿两个正交轴偏转光。1dmems反射镜的典型用途是条形码扫描器，而2dmems反射镜可用于微型投影仪、平视显示器和3d感应。

当以视频帧速率操作时，2dmems反射镜设计为在谐振模式下操作快轴(水平像素扫描)，而慢轴(垂直线扫描)在非谐振(线性)模式下操作。在谐振模式下，mems以其质量、弹簧系数和结构决定的固有频率振荡，镜子运动是正弦的，不能设置在一个特定的位置。在非共振模式下，mems镜位置与施加到微电机的电流成比例，在这种操作模式下，镜可以设置为保持在某个位置。

mems微电机驱动器可以是静电的或电磁的。静电驱动的特征在于高驱动电压、低驱动电流和有限的偏转角。电磁驱动的特点是驱动电压低、驱动电流高、偏转角更宽。快轴通常由快轴电磁致动器206驱动(因为速度和更宽的视野是最重要的)，而慢轴由慢轴静电致动器208驱动以使功耗最小化。根据mems设计和应用，驱动方法可以改变。

为了根据电流镜位置同步光源的激活，mems镜需要具有位置感测，使得镜控制器204可以调整定时并知道寻址像素或线的确切时间。处理器210可以基于从控制器204接收的反馈和其他信息向控制器204提供指令。镜子控制器204还可以向光发射器提供start信号(如图1所示)。

实施方案1：将2d图像分割与3d深度感测相结合

实施方案的各方面涉及利用二维(2d)图像数据来增加获取三维(3d)深度点的感测效率的系统和方法。在实施方案中，可以使用分割来从我们目标的2d场景中识别目标区域(roi)，以获得深度信息或减少某些区域的3d扫描。

图3a是根据本公开的实施方案的由2d成像装置捕获的图像300的示意图。在图像300中，识别出四个“对象”：墙壁302、圆柱体304、长方体306和圆锥体308。图像300可以由传统的2d图像设备(例如2d图像设备140a或140b)捕获。图3b是根据本公开的实施方案的分段2d图像350的示意图。在分割之后(或未被识别为目标区域)，壁352被示出为没有阴影。圆柱体354、长方体356和圆锥体358各自通过分割作为目标区域来识别。

在2d图像300被分割之后，可以假设在相同目标区域内的像素之间存在拓扑关系。通过对目标区域内的像素子集进行采样，可以推断出像素是否是具有给定拓扑的表面的一部分，该拓扑可以减少扫描需求(例如，垂直于视图的平坦表面。球形)。

图3c是图3b的分割的2d图像350的示意图，示出了根据本公开的实施方案的示例性反射光响应。从背景352中的区域a反射的光信号被示为平坦信号响应。这种平坦(或接近平坦)的响应可以指示恒定的深度背景。

在实施方案中，可以使用3d深度传感器扫描来自分割的2d图像的一个或多个目标区域。(在该示例中，可以忽略背景墙302/352。)通过扫描目标区域(或一个或多个目标区域的一部分)，可以减少3d深度感测时间和/或可以减少形成3d深度图像或深度图所需的功率。例如，通过仅扫描目标区域或其一部分，可以通过为对象捕获的深度点子集来推断形成目标区域的对象的深度。另外，通过扫描目标区域或其一部分，可以仅为要捕获深度信息的区域激活用于捕获深度信息的光源(例如，光发射器仅在与目标区域或其部分相关的扫描位置处有效)。

通过在深度扫描之前或(基本上)同时对捕获的2d图像执行分割，成像系统可以决定跳过背景中的一些像素或某些对象，从而降低功耗或加快采集时间。分割还可以减少估计对象深度的误差，因为已知一组点“属于”同一对象-可以去除深度感测中的散粒噪声和/或可以由成像系统上的处理器推断对象的拓扑，所有这些都可以提高准确性。

另外，分段可以允许深度传感器跳过扫描或照亮已知不相关的区域，这可以提高帧速率和/或降低功耗。

同样地，该过程也可以在另一个方向上工作，使得深度图中的不一致可能暗示不正确的分割。因此，可以利用3d信息来细化基于2d图像的初始分割。另外，可以使用其他技术来利用区域的清晰度/模糊性，因为它们可以包括关于深度的信息。这对于太远而无法反射激光束的对象是相关的。

在记录视频图像的实施方案中，可以分割多个2d图像。可以重新扫描在图像之间移动的对象以获得深度信息，而可以保持场景的背景和其他静态部分未被扫描。在具有运动的序列中，2d成像系统可以利用传统的图像传感器来获取场景。成像系统可以识别哪个(哪些)对象在帧与帧之间移动。深度成像器可以扫描检测到运动/变化的每个帧中的区域。这允许成像器减少扫描时间并增加帧速率，并且通过仅在场景中的某些点处发射深度成像光发射器来降低总功耗。增加实时动作捕捉帧速率可以提高手势识别系统的质量，同时还可以降低运行设备所需的功率。

在实施方案中，辅助传感器和深度传感器是不同的元件，从每个传感器接收的信息可以是共同配准的或相关的。在实施方案中，预定义场景可用于校准2d传感器或将其与3d传感器相关联。示例场景可以包括检查板，其中黑框比白框深。检查板可以放置在例如距传感器平台两个不同的距离处。可以比较2d传感器和深度传感器捕获的场景，并且可以推断出所获取的图像的位置是否存在偏移，并且每个“深度”像素覆盖“多少”2d像素。

对于初始校准，可以扫描整个场景。在重新校准的情况下，相机可以聚焦在场景的一部分(例如中心)上并使用单个距离，从而加速该过程。

在实施方案中，使用2d图像可以帮助增加深度图的分辨率。可以使用传统传感器的更高分辨率信息来增加深度图的分辨率。图4a是根据本公开的实施方案的对象的传统2d图像400的示意图。在这种情况下的对象是框402。图4b是传统2d图像的示意图，示出了根据本公开实施方案的框402的高分辨率捕获452。图4b示出了图4a的框402的2d图像400的分辨率。图4c示出了根据本公开实施方案的较低分辨率深度传感器图像460。在图4c中，识别出三个区域：区域a、b和c。在区域a中，背景信号是平坦的或接近平坦的-更具体地说，平坦信号可以暗示图像的背景部分。在区域c中，看到单个强峰，其表示单个或均匀深度。在区域b中，信号既不是平坦的也不是单个的或强的，如在区域c中。这种类型的信号意味着区域b包括对象的一部分，其包括跨像素的变化深度。例如，区域b的顶部离相机比距离区域b的底部更远。

区域b信号可以称为“复深度像素”；而来自区域c的信号可以称为“简单深度像素”。在图3c中可以看到类似的行为，其中区域c是“简单深度像素”，而区域b是“复杂深度像素”。图5示出了用于示出简单像素信号504与复合像素信号506的时序图500。在第一时间，可以从光发射器发射光脉冲502。在第二时间td，可以接收表示来自场景的反射光的信号。对于具有均匀深度的对象的一部分，可以接收简单信号504。简单信号504可包括宽度ws。对于具有不均匀深度的对象的一部分，可以接收复信号506。复合信号可以具有宽度wc。

可以选择(例如，由用户)表示信号幅度的信号阈值，并且可以将在信号阈值之上接收的信号视为从对象反射的测量光。可以建立信号阈值宽度wth以区分复杂深度信号和简单深度信号。例如，信号宽度大于wt而不是类高斯信号的任何信号都可以被认为是复杂的深度信号，因此可以表示具有非均匀深度的对象的一部分(例如，wc>wth意味着复杂的深度信号)。信号宽度小于或等于wt的任何信号可以被认为是简单的深度信号，因此可以表示具有均匀深度的对象的一部分(例如，ws</＝wth意味着简单的深度信号)。

时间延迟'td'具有预定义的允许的最大值和最小值，其对应于对象与允许的成像系统之间的最近和最远距离。信号宽度可以定义为超过信号幅度阈值的时刻到信号明确低于信号幅度阈值之间的时间间隔。

“阈值”、“宽度”、“td_min”和“td_max”是可以由用户选择的参数。对复杂深度像素的形态分析增加了关于其形态的信息。例如，两个单独的峰意味着两个深度，而楔形将产生更平坦的平台。

复杂像素的检测可以允许成像系统识别可以从更精细分辨率的附加扫描中受益的场景区域。在实施方案中，可以使用本文描述的示例多分辨率方法来重新扫描具有复杂像素信号的区域。在实施方案中，可以将复合像素区域与2d图像中的对应区域进行比较，以估计像素内深度结构。

在一些实施方案中，pansharpening可用于将2d图像与3d深度信息合并。pansharpening是由较低空间分辨率多光谱和较高空间分辨率全色传感器捕获的图像的融合。输出是具有多光谱图像的高光谱分辨率以及全色图像的高空间分辨率或它们之间的权衡的图像。使用全色图像中包含的信息“增加”多光谱图像的空间分辨率。这意味着pansharpened图像可以具有与全色图像相同数量的像素以及与多光谱图像相同数量的带，因此可以将pansharpening视为图像或传感器融合过程。

在一些实施方案中，融合2d和3d图像可以包括主成分分析(pca)。首先，使用pca将放大的多光谱图像(即，已经上采样的较低分辨率深度图像，因此它具有与传统2d图像相同的尺寸)变换为一组不相关的分量，其数量与3d图像中的频带数量相同。第一主成分具有最高的方差，并且与较高分辨率的图像本身相似。下一步是用实际更高分辨率的图像替换该组件，最后采用逆变换得到融合图像。

图6a是根据本公开的实施方案的用于使用2d图像捕获深度信息的过程流程图。首先，2d图像传感器可以与深度传感器相关联。成像系统可以使用传统相机系统、双2d相机系统或其他2d感测技术来捕获2d图像(602)。捕获的2d图像可以被分割成目标区域(604)。可以从分割的2d图像中识别来自场景的目标区域(606)。可以用深度传感器扫描目标区域以捕获目标区域的深度图(608)。

在一些实施方案中，深度图可以与2d图像融合(610)。在一些实施方案中，在捕获2d图像之前，可以在场景上执行全深度扫描以捕获场景的完整深度图。完整深度图可用于验证2d图像的分割。另外，可以使用目标区域的低功率扫描来更新全深度图。

在实施方案中，可以捕获(602)2d图像并且可以将其与捕获的深度图(608)融合(610)而不执行分割。

在实施方案中，目标区域的深度图可用于设置相机参数(611)。例如，3d深度图还可用于设置焦点、缩放或其他成像参数。在实施方案中，相机系统可以使用深度信息作为用于分割的参数。深度信息可用于识别和隔离场景中的目标对象。另外，深度信息可以用于区分紧密接近的对象，或者在2d投影中重叠但实际上处于不同深度的对象(例如，一个人站在另一个人的后面或左侧或右侧)。

在实施方案中，深度信息可用于自动聚焦目的。深度信息可以允许更快的镜头调整到适当的位置，而无需多次移动镜头以确定模糊度，评估目标区域的快照，或者在确定最终镜头位置之前对多个图像执行处理。

图6b是根据本公开的实施方案的用于使用立体捕获图像执行场景的分割的过程流程图650。包括一个以上成像系统的立体成像系统可以捕获场景的多个图像(为了简化说明，立体成像系统的每个相机可以捕获一个图像)(612)。图像处理器可以重叠由立体成像系统捕获的每个图像(614)。处理器可以估计重叠图像中的对象的深度(616)。图像处理器可以基于场景中的对象的估计深度来执行场景中的对象的分割(618)。

实施方案2：用于压缩3d深度感测的多分辨率成像

使用有源激光彻底扫描整个图像需要时间和功率。通常场景是稀疏的，意味着大多数信息是冗余的，尤其是对于彼此相邻的像素，即相邻像素。在实施方案中，可以使用粗略空间分辨率利用深度传感器扫描场景。可以提取深度信息，以及每个像素的“深度复杂度”。可以使用更精细的分辨率来重新访问由每个像素覆盖的区域，这取决于像素的“深度复杂度”(表示涉及多少'深度')和区域的相关性(例如，基于由周围像素定义的场景或对象的特征的先验知识)中的任何一个或组合。附加因素包括场景的2d图像的先前分割的结果，来自相同场景的先前快照的2d图像中观察到的变化，和/或特定应用(例如，手势识别与高精度深度感测)。

在使用空间光调制器(slm)的情况下，可以使用虹膜准直器或仅通过适当的镜子倾斜来实现自适应空间分辨率。优点是显而易见的，但是在获取深度映射时包括更快的获取时间和/或更少的功耗，或者允许帧速率和分辨率之间的自适应折衷。

图7是示出根据本公开的实施方案的简单场景700的示意图。在简单场景700中，发光装置702以由立体角α限定的第一分辨率以朝向对象704的扫描角度发射光脉冲。立体角α以二维方式定义像素大小，通常是扫描场景每行的像素数。对于简单场景，由立体角α定义的分辨率足以接收具有均匀深度的对象704的深度信息。得到的信号是简单信号706，其中术语“简单”如上所述。接收简单信号可以暗示分辨率足以推断对象704的深度。

图8a是示出根据本公开的实施方案的具有处于不同深度的两个对象的场景800的示意图。在场景800中，存在两个对象：第一对象804a和第二对象804b。第一对象804a处于与第二对象804b不同的深度。光发射器802可以以指向第一对象804a和第二对象804b的第一立体角α发射光。接收的光信号可以是复合信号806，其包括来自第一对象804a和第二对象804b的深度信息。接收诸如信号806的复杂信号可以使成像系统推断出该像素的分辨率的增加可以提供额外的深度信息。

图8b是示出根据本公开的实施方案的场景800的示意图，其中光发射器802以比图8a中更小的立体角发光。光发射器802以第一对象804a和第二对象804b以立体角β发射光。立体角β比立体角α窄，并且导致更高的像素分辨率，用于扫描场景的对象或重新扫描每个对象的目标区域。通过缩小立体角β，可以根据接收到的简单信号和接收到的简单信号的定时延迟独立地分辨每个对象的深度。例如，从第一对象804a反射的光可以产生第一简单信号808a。从第二对象804b反射的光可以产生第二简单信号808b。还可以确定每个简单信号808a和808b之间的时间延迟并用于解决两个对象之间的深度差异。

在实施方案中，立体角不能改变。在那些情况下，可以减小用于增加用于扫描场景的轻型转向装置的步骤，使得对于每个粗略像素，连续像素之间的扫描步骤可以小于(例如，步长减少20-25％)视场。使用减小的步长扫描可以导致在相邻样本中捕获的信息的冗余。也就是说，使用减小的步长导致扫描的信息同时包含在多个相邻样本中。图9a示出了根据本公开的实施方案的场景900的粗分辨率图像捕获。使用粗分辨率深度扫描扫描图像，得到像素a1-g4。从粗分辨率图像捕获中识别出三个目标区域：roi1(像素b4)、roi2(像素d4)和roi3(像素f4)。roi1中的对象处于均匀深度，并且所得到的反射光信号是简单信号904。roi2中的一个或多个对象处于不同深度，因此得到的反射光信号是复信号906。在roi3中，对象具有渐变深度(楔形深度)，并且所得到的光信号是宽的单峰值信号908。

图9b是示出根据本公开的实施方案的通过增加像素扫描步长分辨率实现的高分辨率扫描的示意图950。代替增加像素的分辨率，可以增加扫描像素所采取的每个步骤的分辨率。该实现的优点在于，一旦检测到该像素中的所有深度信息，就可以停止扫描。

在一些实施方案中，可以使用针对每个扫描像素的更高分辨率步骤来扫描包含目标像素的行(例如，取决于所使用的轻型转向装置的类型)。

图10是用于将多分辨率应用于3d感测优化的过程流程图1000。可以使用粗分辨率成像来捕获场景的深度图(1002)。可以从初始粗略深度图(1004)确定一个或多个目标区域(roi)。例如，复杂信号可以指示目标区域以执行更高分辨率的深度感测。可以使用更高分辨率的深度感测技术扫描目标区域(1006)。可以使用更高分辨率的深度信息来更新或增强初始粗略深度图(1008)。

实施方案3：将超分辨率应用于3d感测

在3d感测中，由于激光束照射的区域，像素分辨率可能太粗糙。该区域取决于系统(例如准直器)，但也取决于场景(相同的光束覆盖较近的对象的区域比遥远的对象的区域更少)。由于某些区域被广泛和不明确定义(通常遵循高斯照明模式)，预期相邻区域之间的相关重叠。可以使用更高的重叠来获得具有超分辨率技术的更高分辨率的图像。

当像素被照射(然后从其接收反射光)时，来自接收的反射光信号的光分布不是完全均匀的。附近像素之间的重叠可以允许推断更高分辨率的深度信息。

图11示出了根据本公开的实施方案的表示相邻像素值的三个深度信号。当相邻像素之间没有信号重叠时，可以通过内插实现更精细的分辨率。当相邻像素之间存在适度重叠时，中心像素中的信息受到相邻像素的影响。如果中心峰值表示存在两个对象，可以通过查看相邻像素来推断两个像素之间的边界。当相邻像素之间存在显着重叠时，中心像素中的信息基本上包含在其邻居中。中心像素或边界条件的信息可以与相邻采集解耦(去卷积)并获得更精细的步骤(例如，通过使用更小分辨率的扫描步骤踩过像素)。

可以从相邻像素推断出在roi中获得更清晰边界的推论。使用高分辨率扫描可以改善推断。例如，使用粗略扫描，可以确定目标区域。在这种情况下，目标区域可以是存在边界条件的区域。边界条件在此可以定义为场景中在单个区域或像素中看到两个或更多个深度的位置。更高分辨率的扫描可以提供更多关于更接近边界的实际深度值的信息。可以例如以类似于子像素映射的方式进行推断。通过较高分辨率扫描测量的每个目标区域的平均深度可以允许在相邻像素之间的边界处更精确地分配深度值。