用于激光深度图取样的系统及方法与流程

用于激光深度图取样的系统及方法
1.本技术是申请日为2016年7月11日，申请号为201680046908.3、名称为“用于激光深度图取样的系统及方法”的发明专利申请的分案申请。
技术领域
2.本发明大体来说涉及电子装置。更具体来说，本发明涉及用于深度图取样的系统及方法。


背景技术：

3.在过去数十年，电子装置的使用已变得普通。特定来说，电子技术的进步已减少日益复杂且有用的电子装置的成本。成本减少及消费者需求已使电子装置的使用激增使得其在现代社会中实际上普遍存在。随着电子装置的使用已扩大，因此具有对电子装置的新且经改进的特征的需求。更具体来说，经常追求执行新功能及/或更快、更高效或以较高质量执行功能的电子装置。
4.一些电子装置(例如，相机、视频便携式摄像机、数字相机、蜂窝式电话、智能电话、计算机、电视等)可使用lidar(光+雷达)扫描创建深度图。使用lidar扫描对场景进行密集取样在时间及功率方面较昂贵。此可导致低帧速率及电池耗尽。如从此论述可观察到，改进lidar深度图取样的系统及方法可为有益的。


技术实现要素：

5.本发明描述一种电子装置。所述电子装置包含经配置以捕获场景的图像的相机。所述电子装置还包含图像分割测绘仪，所述图像分割测绘仪经配置以基于图像内容而对图像执行分割以生成多个图像片段，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述电子装置进一步包含经配置以存储所述图像及所述空间坐标的存储器。电子装置另外包含lidar(光+雷达)单元，lidar单元可转向以选择性获得对应于空间坐标的至少子集的深度值。所述电子装置进一步包含经配置以基于所述深度值及所述空间坐标而生成所述场景的深度图的深度测绘仪。
6.图像片段的至少部分包括界定对象在图像内的边界的不均匀片段。图像分割测绘仪可经配置以基于图像复杂度执行分割。所生成的片段的数量可随图像的所确定复杂度而变。
7.lidar单元可经配置以对含有场景内的基本上均匀对象的场景的区域执行粗糙扫描。图像分割测绘仪可经配置以将空间坐标提供到lidar单元且可经配置以将图像的片段提供到深度测绘仪。
8.深度测绘仪可经配置以通过将片段与对应深度值合并来生成深度图。深度测绘仪可经配置以通过用由lidar单元在空间坐标处获得的对应深度值填充每一片段来生成深度图。
9.由lidar单元获得的多个深度值可经配置以基于来自先前深度图的反馈得以调
整。片段的空间坐标可对应于片段的图心。
10.本发明还描述一种方法。所述方法包含捕获场景的图像。所述方法还包含基于图像内容而对图像执行分割，所述多个片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述方法进一步包含通过lidar(光+雷达)单元获得对应于空间坐标的至少子集的深度值。所述lidar单元可转向以选择性获得所述深度值。所述方法另外包含基于所述深度值及所述空间坐标而生成所述场景的深度图。
11.本发明还描述一种设备。所述设备包含用于捕获场景的图像的装置。所述设备还包含用于基于图像内容而对图像执行分割的装置，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述设备进一步包含用于通过lidar单元获得对应于空间坐标的至少子集的深度值的装置。所述lidar单元可转向以选择性获得所述深度值。所述设备另外包含用于基于所述深度值及所述空间坐标而生成所述场景的深度图的装置。
12.本发明还描述计算机程序产品。计算机程序产品包含其上具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置捕获场景的图像的代码。所述指令还包含用于致使电子装置基于图像内容而对图像执行分割以生成多个图像片段的代码，所述多个图像片段中的每一个与指示每一片段在所述场景中的位置的空间坐标相关联。所述指令进一步包含用于致使电子装置通过lidar单元获得对应于空间坐标的至少子集的深度值的代码。所述lidar单元可转向以选择性获得所述深度值。所述指令另外包含用于致使电子装置基于深度值及空间坐标生成场景的深度图的代码。
附图说明
13.图1为说明经配置以执行图像辅助的lidar(光+雷达)深度图取样的电子装置的框图；
14.图2为说明经配置以执行图像辅助的lidar深度图取样的电子装置的另一配置的框图；
15.图3为说明用于执行图像辅助的lidar深度图取样的方法的流程图；
16.图4为说明用于执行图像辅助的lidar深度图取样的另一方法的流程图；
17.图5a到5c说明从图像生成分割图的实例；
18.图6a到6d说明图像辅助的lidar深度图取样的实例；
19.图7a到7d说明图像辅助的lidar深度图取样的另一实例；
20.图8为说明其中可实施用于图像辅助的lidar深度图取样的系统及方法的电子装置的一个实例的框图；及
21.图9说明可包含在电子装置内的某些组件。
具体实施方式
22.在许多应用中，生成场景中的对象的深度图是重要的。例如，关于高级驾驶辅助系统(adas)，识别车辆前面的可驾驶区以实现障碍回避是重要的。障碍检测可使用深度图来识别交通标志(例如，速度限制标志、停车标志、路标，等)。深度图为重要的另一情景为自主载具(例如，无人飞行载具(uav)或自主汽车)感测器环境且无需人输入进行导航的载具自
动化。
23.深度图生成还可用于各种生产及娱乐情景。例如，房间或环境的深度图可用于社交、增强或虚拟真实、3-d重建、安全和保安及类似应用。更进一步，可参考深度用于图像及/或视频捕获以例如辅助自动聚焦操作。在这些及其它情景中，智能地获取准确且精确地捕获场景、房间或环境的深度信息的深度图可为有利的。
24.可使用lidar(光+雷达)扫描来对对象的深度值进行取样。在lidar中，激光可照射对象且可通过分析反射光来确定对象距离参考位置的距离(即，深度值)。对场景的密集取样在时间及功率方面较昂贵，从而导致低帧速率及电池耗尽。然而，在正则点处的均匀(即，简捷)lidar扫描可导致差质量深度图。类似地，甚至在采用不考虑场景内容的均匀或预定义扫描模式时，密集取样可能仍丢失小对象，从而导致深度图误差。
25.在本文中所描述的系统及方法中，替代基于均匀扫描点执行lidar扫描，lidar单元可执行图像辅助的lidar深度图取样。定位在lidar单元附近的相机可捕获场景的一或多个图像。可对此图像或图像集进行分割。片段可在图像中沿循对象的边界，因此保留对象的边缘。例如，可将片段的图心的空间坐标(x、y位置)提供到lidar单元，所述lidar单元在那些空间坐标处执行lidar扫描。可将由lidar单元从扫描产生的深度值填充在对应片段中以创建场景的深度图。例如，可赋予每一片段与相应片段图心的深度相关联的均匀深度。下文更详细地阐释用于图像辅助的lidar深度图采样的系统及方法。
26.图1为说明经配置以执行图像辅助的lidar深度图取样的电子装置102的框图。电子装置102还可被称作无线通信装置、移动装置、移动站、订户站、客户端、客户端站、用户设备(ue)、远程站、接入终端、移动终端、终端、用户终端、订户单元，等电子装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统，机器人、航空器、无人飞行载具(uav)、汽车，等。这些装置中的一些可根据一或多个行业标准操作。
27.在许多情景中，电子装置102可使用场景的深度图120。在一个实例中，智能电话可生成场景的深度图120。在另一实例中，汽车可包含高级驾驶辅助系统(adas),所述adas可使用深度图120来基于所检测到交通标志、信号及/或其它对象而调节汽车的速度、转向、停车，等。在另一实例中，无人飞行载具(uav)可从在飞行中时所记录的视频生成深度图120,可基于所检测到对象(例如，建筑、标志、人、包装，等)而进行导航，可挑选及/或递送所检测到包装，等。可根据本文中所公开的系统及方法实施许多其它实例。例如，本文中所公开的系统及方法可实施于机器人中，所述机器人基于使用深度图120检测到的一或多个对象而执行一或多个动作(例如，拿某物、装配某物、寻找物项，等)。
28.例如，电子装置102(例如智能电话或平板计算机)可包含相机104。相机104可包含图像传感器108及光学系统106(例如，透镜)，所述光学系统将位于光学系统106的视野内的对象的图像聚焦于图像传感器108上。相机104可经配置以捕获数字图像。在实施方案中，数字图像可为彩色图像。尽管本发明的系统及方法是就所捕获图像方面进行描述，但本文中所论述的技术可用于任何数字图像。因此，术语视频帧及数字图像在本文中可交换地使用。同样地，在某些实施方案中，电子装置102可不包含相机104及光学系统106,但可接收或利用所存储的数字图像。
29.电子装置102还可包含相机软件应用程序及显示屏。在相机应用程序运行时，位于
光学系统相机104的视野内的对象的图像可被图像传感器108记录。由图像传感器108记录的图像可被显示在显示屏上。可以相对高帧速率接连不断地显示这些图像，以使得，在任何给定时刻，位于相机104的视野内的对象被显示在显示屏上。
30.相机应用程序的用户接口112可准许选择被显示在显示屏上的一或多个对象。在一个配置中，显示器为接收来自物理触摸(例如，通过手指、触笔或其它工具)的输入的触摸屏110。触摸屏110可接收定义目标对象的触摸输入。可以任何合适方式选择目标对象。例如，可使用面部辨识、行人辨识等来选择目标对象。
31.电子装置102还可包含lidar单元114。lidar(光+雷达)为通过用激光照射目标且分析反射光来测量距离的远程感测技术。lidar单元114可对场景进行取样以确定场景内的对象的深度值。因此，lidar单元114可包括光产生(激光)部分137及光接收(传感器)部分131lidar单元可进一步包括各种光学件141以促进产生及接收光以及如下文所描述的额外特征。
32.在实施方案中，lidar单元114可感测某一方向上的激光脉冲且可测量激光脉冲回到lidar单元114所花费的时间。此过程类似于发送信号且接收回声的雷达。lidar单元114可记录发送激光与接收反射光之间的时间差。依据此时间差，lidar单元114可获得表示距离估计的深度值。在一些实施方案中，时间测量、记录及/或获得深度值可在lidar单元114外部执行，例如，在电子装置102内或远离所述电子装置的一或多个处理器142中。在一些实施方案中，存储器144可存储与图像辅助的lidar深度图取样(例如，图像、深度值、片段及深度图120)相关联的信息。
33.lidar单元114的激光可经定向到不同位置，例如，通过图像分割工艺识别的位置。因此，激光可为可转向的。在一个途径中，激光可为机械定向。例如，激光可用反射镜或致动器定向。在另一实例中，激光可经由可电子转向的光学元件定向。在此途径中，lidar单元114可不具有移动部件且提供更多灵活性。
34.由lidar单元114进行的对场景的密集取样在时间及功率方面较昂贵。上述情形可能减少电子装置102可处理的帧速率(例如，由相机104捕获的图像的数目)。此外，上述情形对使用电池的平台尤其重要。发送光脉冲消耗大量功率。针对由电池供电的移动平台(例如，移动电话)，以非常高速率对周围场景进行取样可快速地耗尽电池。耗时获取及/或生成深度图在无功率约束或比移动平台少功率约束的平台中也可能较重要。例如，在自其捕获深度信息的场景为动态(例如，各种(有人及无人)陆地及航空载具、机器人，等)的情况中，速度可能为有利的。
35.此外，存在确定执行lidar扫描的最佳位置的问题。一些途径可执行均匀的lidar扫描。例如，旋转反射镜途径可获得对场景的相等取样，其中以相等或均匀增量执行lidar扫描。此途径可被称作简捷lidar扫描。在此途径中，反射镜以某一速度旋转且lidar每隔若干毫秒发送激光脉冲。旋转的均匀速度及均匀激光脉冲给出场景的均匀取样，即跨越场景的水平及垂直范围的均匀或其它预定义二维网格点。然而，此途径可能无法检测到场景内的某些对象。例如，均匀lidar取样可能无法检测在取样点之间的薄对象。
36.本文中所描述的系统及方法提供图像辅助的lidar深度图取样。lidar单元114可执行由通过相机104捕获的图像辅助的lidar扫描。lidar单元114可响应于如由图像捕获的场景内容而适应深度取样。
37.在实施方案中，电子装置102可包含图像分割测绘仪116。相机104可将所捕获图像提供到图像分割测绘仪116。图像分割测绘仪116可将图像分割以生成分割图。分割图可包含多个片段。片段的图心可具有空间坐标。图像分割测绘仪116可将片段图心的空间坐标发送到lidar单元114。图像分割测绘仪116还可将片段提供到深度测绘仪118。
38.lidar单元114可基于所接收空间坐标执行lidar扫描。在实施方案中，lidar单元114可使用可转向lidar在每一片段的图心对场景的深度进行取样。lidar单元114及相机104可经定位在彼此附近。lidar单元114及相机104可经对准使得其具有基本上相同视野(fov)。lidar单元114及相机104可相对于彼此经校准。例如，变焦或相机104及lidar单元114可经校准。
39.针对准确场景坐标，系统可使用取样坐标(例如，图心)、校准参数及先前深度图。例如，lidar单元114可使激光转向以确定在图心的空间坐标处的场景的深度值。在一个实施方案中，lidar单元114可确定深度值且将深度值发送到深度测绘仪118。在另一实施方案中，lidar单元114可将原始数据(例如，时间测量值)发送到处理器142用于确定深度值。处理器142可接着将深度值提供到深度测绘仪118。
40.在接收到来自图像分割测绘仪116的片段及来自lidar单元114的深度值时，深度测绘仪可用每一片段的图心的深度值填充每一片段以创建深度图120。结合图2给出关于图像辅助的lidar深度图取样的更多细节。
41.所描述系统及方法提供适应于场景内容的深度取样。例如，lidar单元114可经指示以对含有场景的图像内的大且基本上均匀对象的场景的区域进行相对粗糙扫描(每单位面积较少点)，而lidar单元114可经指示对含有为较小的、几何结构变化及/或包含多个邻近或接近对象的场景的区域执行相对精细扫描(每单位面积较多点)。
42.因此，通过基于场景内容适应性生成扫描图案，可在无需牺牲准确度的情况下高效获得深度图。实际上，通过捕获例如使用均匀扫描可能被遗漏的对象或对象部分处的点，准确度(即，接近地面实况的场景的深度图120)可比均匀间隔扫描得以改进。此产生较高准确度的深度图120及较高帧速率。由于lidar扫描基于所捕获图像得以优化，因此上述情形产生较少功率消耗，此对电池供电应用尤其重要。
43.图2为说明经配置以执行图像辅助的lidar深度图取样的电子装置202的另一配置的框图。电子装置102可包含相机204、图像分割测绘仪216、lidar单元214及深度测绘仪218。相机204、图像分割测绘仪216、lidar单元214及深度测绘仪218可为上文结合图1所描述的相机104、图像分割测绘仪116、lidar单元214及深度测绘仪118的配置。
44.相机204可经定位在lidar单元214上或其附近。例如，相机204可在电子装置202上靠近lidar单元214安装。相机204及lidar单元214可经定向使得其具有场景222的大约相同视图。场景222可包含在不同位置处的一或多个对象。因此，一或多个对象可在距相机204及lidar单元214相同或不同深度(例如，距离)处。
45.相机204可捕获场景222的图像224。图像224可为数字彩色图像。彩色图像可提供比灰度图像更佳的分割性能。在红色球在绿草上的图像的实例中，所述图像可在色域中容易分割，但可能因为草及球的灰度类似，从而导致不准确分割边界。
46.图像224可由多个像素构成。每一像素可具有空间坐标232。在实施方案中，空间坐标232可表达为笛卡儿坐标(例如，x-y坐标)，其中x对应于像素的水平位置且对应于像素的
垂直位置。
47.相机204可将图像224提供到图像分割测绘仪216。图像分割测绘仪216可从图像224生成分割图226。分割图226可由多个片段228构成。每一片段228可由空间坐标232识别。例如，片段228可由与其图心230相关联的空间坐标232识别。
48.图像分割测绘仪216可使用低级计算机视觉技术来生成分割图226。片段228可基于图像224的内容而确定。片段228可响应于图像224的内容而为不均匀的，具有不规则几何结构、大小及分布。一或多个片段228可在图像224中界定对象的边界。片段528的边界沿循来自图像224的对象边界或边缘。例如，图像分割测绘仪216可确定边界在图像224中的对象之间的位置。片段228可经生成以保留图像224中的对象之间的边界(例如，边缘)。结合图5描述分片段图226的实例。
49.图像分割测绘仪216可确定识别分割图226中的每一片段228的空间坐标232。空间坐标232指示每一片段228在场景222中的位置。在一个实施方案中，图像分割测绘仪216可确定每一片段228的图心230的空间坐标232。给定片段228的图心230为片段228的几何中心。图心230可被确定为所有点在片段228中的算术均值(例如，平均)位置。片段228的图心230具有相关联空间坐标232。例如，图心230可依据x(例如，水平)坐标及(例如，垂直)坐标来表达。
50.片段228的空间坐标232可通过其它途径识别。在一个途径中，片段228的空间坐标232可对应于围绕片段228的边界框的中心。在另一途径中，如果片段228是用聚类算法(例如，k均值)计算，最后迭代处的聚类中心可用作片段228的取样点(例如，空间坐标232)。在另一途径中，在片段228的形态侵蚀的情况下，最后点位置为取样位置(例如，空间坐标232)。
51.可根据不同途径确定通过图像分割测绘仪216生成的片段228的数目。在一个途径中，片段228的数目可为固定数目(例如，2,000个片段)。在另一途径中，片段228的数目可为最大数目。在另一途径中，片段228的数目或数量可基于来自所生成深度图220的反馈240而变化，如下文所描述。在另一途径中，片段228的数目或数量可经确定为随图像内容而变，例如，复杂场景222(例如，众多对象、小对象、变化对象可相对于较不复杂场景(例如，较少对象、大对象、均匀对象)利用更大数目个场景228。可利用各种途径(指示以下各项的度量：边缘数量、边缘长度、颜色、色差，等)来确定可用于导出片段228的数量的场景的复杂度。
52.图像分割测绘仪216可将片段228的空间坐标232提供到lidar单元214。例如，图像分割测绘仪216可将包含图心230的空间坐标232的空间坐标信息233发送到lidar单元214。图像分割测绘仪216还可将图像224的片段228提供到深度测绘仪218。例如，图像分割测绘仪216可将片段信息229发送到深度测绘仪218。
53.lidar单元214可基于片段228的空间坐标232执行lidar扫描。因此，空间坐标232可为lidar单元214执行lidar扫描的取样点。
54.lidar单元214可包含可转向激光234及深度值确定块236。可转向激光234可经校准以根据图像224的空间坐标232移动。因此，可转向激光234的方向可与图像224的空间坐标232协调。相机204及可转向激光234可经校准使得可将图像的空间坐标232转换成可转向激光234的位置。因此，通过对准并校准相机204及可转向激光234，电子装置202可确定从图像空间到lidar空间的转换。
55.在一些实施方案中，lidar单元214可接收来自例如处理器242的处理器的扫描指令。扫描指令可包含关于定位、转向、定向或以其它方式实现lidar单元214的移动以对场景222进行取样的命令及/或信息。在其它实施方案中，lidar单元214可接收片段228或图像224且产生片段228及/或图心230。
56.应注意，深度值238可从lidar空间转换到图像空间。深度数据(例如，深度值238)为世界坐标系统(即，xyz空间)中的坐标。这些3d坐标可通过投影变换投射到图像224(即，图像空间)上。变换可从例如校准目标估计。
57.可转向激光234可经转向以在对应于片段228的空间坐标232的点处取得场景222的样本。应注意，由于lidar扫描基于分割图226的空间坐标232，因此lidar扫描可为不均匀扫描。
58.深度值确定块236可确定片段228的空间坐标232处的深度值238。上述情形可通过分析光从场景222中的对象反射且被接收所花费的时间量来完成。lidar单元214可将深度值238提供到深度测绘仪218。在另一实施方案中，lidar单元214可将数据(例如，指示深度值的时间数据)提供到处理器242以计算深度值238。
59.深度测绘仪218可通过使由图像分割测绘仪216提供的片段228与由lidar单元214提供的深度值238合并来创建深度图220。在一个途径中，深度测绘仪218可用如由lidar单元214确定的对应图像230的深度值238填充每一片段228。换句话说，深度测绘仪218可用所述片段的图心230的深度值238填充片段228内的每一像素。在此途径中，深度图220因此包含片段228的深度值238，其中给定片段228具有单个深度值238。
60.在另一途径中，深度测绘仪218可使用邻近片段228的加权平均数来用深度值238填充每一片段228。例如，深度测绘仪218可根据加权邻近片段228填充相同对象的片段228。邻近片段228的加权平均数可受片段228之间的色彩相似性及/或其共用边界的长度。
61.在另一途径中，距离图心230的距离还可为影响深度值238的内插的参数。深度测绘仪218可通过基于距图心230的距离将片段228与深度值238合并来创建深度图220。
62.电子装置202可将深度图220用于各种应用。例如，在一个应用中，电子装置102可使用深度图220来在电子装置102围绕对象移动时构建对象的三维模型。在另一应用中，电子装置102可将深度图220用于室内导航，其中电子装置102安置在驾驶穿过停车场的汽车上。深度图220可用于相机204的自动聚焦应用。深度图220的其它应用可为用于创建场景222中的对象的图，对象检测(例如，行人检测、交通信号检测，等)，自主驾驶及uav导航。
63.在实施方案中，图像分割测绘仪216可使用来自先前深度图220的反馈240来调整图像224的片段228。深度测绘仪218可将反馈240提供到图像分割测绘仪216。图像分割测绘仪216可基于来自深度测绘仪218的反馈240来生成更多或更少片段228来使片段优化。例如，如果两个相邻片段228具有类似颜色且其在最后10帧中具有相同深度值238,那么图像分割测绘仪216可将两个片段228组合到下一帧的一个片段228中。lidar单元214可接着取得组合片段228的一个样本，而非两个样本。此可进一步改进帧速率且减少电池消耗。
64.如图2中所说明，所说明组件中的一或多个可任选地由处理器242实施。在一些配置中，可使用不同处理器来实施不同组件(例如，一个处理器可实施图像分割测绘仪216,另一处理器可用于实施深度值确定块236,且另一处理器可用于实施深度测绘仪218)。
65.图3为说明用于执行图像辅助的lidar深度图取样的方法300的流程图。方法300可
由如图2中所描绘的电子装置202实施。具体来说，方法300可由电子装置202的lidar单元214实施。在一些实施方案中，方法300可部分地由电子装置202中的lidar单元214及处理器(例如，处理器242)实施。
66.参考图2及图3,lidar单元214可接收302来自图像分割测绘仪216的空间坐标232。空间坐标232可基于场景222的图像224生成。例如，图像分割测绘仪216可接收来自定位在lidar单元214上或其附近的相机204的图像224。图像分割测绘仪216可从图像224产生分割图226。分割图226可包含多个片段228。一或多个片段228可界定图像224中的对象的边界。
67.每一片段228可能具有图心230及相关联空间坐标232qlidar单元214可接收302来自的图像分割测绘仪216的图心230及/或相关联空间坐标232。在一些实施方案中，lidar单元214可接收来自例如处理器242的处理器的扫描指令。扫描指令可包含关于定位、转向、定向或以其它方式实现lidar单元214的移动以对场景222进行取样的命令及/或信息。在其它实施方案中，lidar单元214可接收片段228或图像224且产生片段228及/或图心。
68.lidar单元214可基于空间坐标232而执行304lidar扫描。lidar单元214可经转向以对空间坐标232处的场景222进行取样。例如，可转向激光234可经转向以取得对应于图心230的空间坐标232的点处的场景222的样本。在另一实例中，可转向激光234可经转向以取得对应于围绕给定片段228的边界框的中心的空间坐标232的点处的场景222的样本。还可根据其它途径(例如，聚类中心或形态侵蚀)来确定取样点。
69.lidar单元214可确定片段228的空间坐标232处的深度值238。深度值238可对应于一或多个对象距lidar单元214的距离。在一些实施方案中，lidar单元214可将例如指示深度值的时间数据的数据提供到电子装置202的例如处理器242的处理器。
70.lidar单元214可将通过lidar扫描获得的深度值238提供306到深度测绘仪218以形成深度图220。深度测绘仪218可从图像分割测绘仪216接收图像224的片段228。深度测绘仪218可用对应于由lidar单元214提供的片段228的空间坐标232的深度值238填充每一片段228。
71.在一个途径中，深度测绘仪218可用如lidar单元214确定的对应图心230的深度值238填充每一片段228。在另一途径中，深度测绘仪218可使用邻近片段228的加权平均数来用深度值238填充每一片段228。在另一途径中，深度测绘仪218可通过基于距图心230的距离将片段228与深度值238合并来创建深度图220。
72.图4为说明用于执行图像辅助的lidar深度图取样的另一方法400的流程图。方法400可通过例如如图2中所描绘的电子装置202实施。
73.参考图2及图4，电子装置202可获得402场景222的彩色图像224。例如，相机204可捕获彩色图像224。相机204可定位(例如，安装)在lidar单元214上或其附近。相机204可将图像224提供到图像分割测绘仪216。
74.电子装置202可从图像224生成404包含多个片段228的分割图226。一或多个片段228可界定图像224中的对象的边界。由电子装置202生成的片段228的数目可根据不同方法确定。在一个途径中，片段228的数目可为固定数目。在另一途径中，片段228的数目可为最大数目。在另一途径中，片段228的数目可基于反馈240变化。在另一途径中，片段228的数目可经确定为随图像内容而变，其中相对复杂场景222可相对于较不复杂场景利用较多数目个片段228。
75.电子装置202可确定406片段228的空间坐标232.空间坐标232指示场景222中的每一片段228的位置。空间坐标232可为用于执行lidar扫描的取样点。在一个实施方案中，电子装置202可确定406片段228的图心230的空间坐标232。每一片段228可具有图心230。图心230可表达为空间坐标232。例如，图心230可具有x(例如，水平)坐标及(例如，垂直)坐标。片段228的空间坐标232还可根据其它途径(例如，聚类中心或形态侵蚀)来确定。
76.电子装置202可在片段228的空间坐标232处执行408lidar扫描来确定深度值238。空间坐标232可与和片段228相关联的取样点(例如，图心230、边界框的中心、聚类中心或形态侵蚀)相关联。可转向激光234可经转向以在对应于空间坐标232的点处取得场景222的样本。针对给定片段228的空间坐标232，电子装置202可分析光从场景222中的对象反射所花费的时间量来确定所述位置的深度值238。
77.电子装置202可合并410深度值238与片段228以形成场景222的深度图220。例如，电子装置202可用对应于如由lidar扫描确定的片段228的空间坐标232的深度值238填充每一片段228。
78.电子装置202可(任选地)使用来自先前深度图220的反馈240来调整412图像224的片段228。例如，深度测绘仪218可将反馈240提供到图像分割测绘仪216。图像分割测绘仪216可基于来自深度测绘仪218的反馈240来生成更多或更少片段228来使片段优化。
79.图5a到5c说明从图像524产生的片段图像526的实例。图像524可为由位于lidar单元214上或其附近的相机204捕获的彩色图像。图像524可为包含一或多个对象的场景222的图片。图像524可为数字图像或可从视频的帧获得。
80.在此实例中，图5a中所展示的图像524含有在不同深度处的多个对象。图像524中的对象中的一些包含锥体554(在图像524的左侧)、装有铅笔558的杯子(在图像524的右前景中)及格栅560。
81.分割图526由图像524生成。在确定用于图像524的分割的片段528的数目时可考虑各种因素。可与确定片段528的数目相关的因素可包含图像内容/复杂度、每秒最小帧数(fps)、所要准确度(例如，最大片段大小)及资源利用率(例如，电池利用率/mips/时间)。
82.在此实例中，分割图526包含2000个片段528。在其它实例中，可利用较少或较多片段528。如从图5b及5c所见，片段528在此实例中并不均匀，但响应于图像524的内容在几何结构、大小及分布方面不规则。片段528的边界沿循来自图像524的对象边界或边缘，如在图5c的锥体554的特写视图中所说明。应注意，针对薄对象(例如，在图像524的右下方中的铅笔558)，对象的宽度可通过单个片段528界定。
83.每一片段528具有对应图心530。在此实例中，单个图心530经说明用于给定片段。图心530可通过空间坐标232表征。可根据图像524内的图心530的位置来确定这些空间坐标232。在实施方案中，图心530可以按照x(例如，水平)坐标及(例如，垂直)坐标表达。
84.图6a到6d说明图像辅助的lidar深度图620取样的实例。图6a中所描绘的图像624为结合图5a所描述的场景的相同图像524。除其它对象外，图像624还包含多个锥体654、铅笔656及格栅660。图像624可为数字图像或可从视频的帧获得。
85.地面实况662为深度图620可与其进行比较的参考物。地面实况662包含在图6b中以目测检查分别使用辅助及无辅助途径取样的深度图620的质量。应注意，地面实况662并非本文中所描述的系统及方法的部分。
86.图6c及6d中所说明的深度图620a到b为深度值238的视觉表示。深度值238在深度图620内经指示为不同阴影。深度图620中的较淡阴影指示对象较接近于lidar单元214。深度图620中的较暗阴影指示对象距离lidar单元214较远。因此，场景的背景中的对象在深度图620中经描绘为较暗阴影，而场景的前景中的对象在深度图620中经描绘为较淡阴影。
87.应注意，深度图图像为出于视觉化及说明目的所提供的深度图信息的一个实例性视觉描绘。实际上，深度的视觉化620可经不同地表示或根本不表示。替代地，深度图信息可用于各种操作或过程，例如构建三维模型、室内导航、自主导航、对象检测及其它应用。
88.无辅助的lidar深度图620a在图6c中予以说明。无辅助的lidar深度图620a是使用深度值238的原始的规则lidar取样来获得。在此状况下，lidar取样是使用2,000个经规则间隔取样点以均匀方式执行。因此，此途径在确定执行lidar扫描的位置时不考虑场景内的对象。
89.图像辅助的lidar深度图620b是根据本文中所描述的系统及方法生成。在此状况下，用2,000个片段228创建分割图226。片段228边界沿循对象边界，如结合图5所描述。接着在片段228的空间坐标232处执行lidar扫描。接着将来自lidar扫描的深度值238填充在对应片段228以生成图像辅助的lidar深度图620b。
90.如通过将图6c及6d进行比较所观察到，无辅助的lidar深度图620a产生不良性能，尤其在边界线处。例如，图6c的无辅助的lidar深度图620a中的锥体654经分割且格栅660开口为畸形。此外，薄对象(例如，铅笔656)可介于取样点之间且可能无法被lidar扫描检测到，如在图6c中所演示。
91.lidar取样可使用相对密集水平网格，具有相当准确分辨率(例如，0.1度)。然而，在垂直视野中，分辨率可为相当粗糙分辨率(例如，范围为从0.5度到4度)。垂直视野可被限制在例如8到20度之间。扫描速率通常在10fps到50fps之间。
92.在这些假设下，可在一个帧(范围从20ms到100ms)中获取一个lidar扫描。此为使系统考虑移动及/或抖动的足够间隔。例如，可使用惯性测量单元(imu)来考虑lidar单元114的运动及/或抖动。imu可与lidar单元114耦合以将自身运动中心数据(例如，与环境内的lidar单元114的三维运动有关的数据)内插到在全球范围坐标系统中引用的事物中。
93.在lidar单元耦合到载具的实施方案中，载具运动也如此。通过默认，来自lidar单元114的原始数据将在本地坐标系统中提供点云。由于所描述系统可位于移动平台(例如，载具)上，因此可寻址此移动以便将这些点转移到全球参考坐标系统。
94.如由图6a、6b、6c及6d中所说明的实例所演示，由图像辅助的lidar深度图620b生成的深度图620b的准确度优于由无辅助的lidar深度图620a生成的深度图620a。虽然深度图620在此实例中使用相同数目个扫描点(即，2,000)，但应注意，根据图像辅助的lidar取样途径使用较少扫描点生成的深度图620可能比根据无辅助途径用更多扫描点生成的深度图620更准确。
95.由于图像辅助的途径在对图像624进行分割时考虑场景中的对象，因此可能需要较少片段228来表示不同对象。片段228可经生成以保留图像224中的对象之间的边界(例如，边缘)。保留对象之间的边界的大片段228可足以根据本文中所描述的图像辅助的方法生成准确深度图620。因此，用较低片段密度生成的深度图620可提供足够准确度。此外，使用较多片段228产生较少片段228，此继而产生较少扫描点。通过使用较少lidar样本来生成
深度图620，电子装置202可实现高效增益(例如，处理、电池消耗、时间，等)，同时保留足够准确度。
96.图像辅助的lidar深度图620b比无辅助的lidar深度图620a更准确。由于片段228沿循图像624中的对象的边界，与无辅助的lidar深度图620a相比较，图6d中的图像辅助的lidar深度图620b保留对象(例如，锥体654及格栅660开口)的较清晰边缘。此外，薄对象(例如，铅笔656)经捕获在图像辅助的lidar深度图620b中。
97.图7a到7d说明图像辅助的lidar深度图720取样的另一实例。图7a中展示场景的图像724，且图7b中展示对应地面实况762。除其它对象外，图像724还包含织物764、植物766及鸟舍768。
98.图7c中说明无辅助的lidar深度图720a。无辅助的lidar深度图720a是使用深度值238的规则lidar取样来获得。在此状况下，lidar取样是使用2,000个经规则间隔取样点以均匀方式执行。因此，此途径在确定执行lidar扫描的位置时不考虑场景内的对象。
99.图像辅助的lidar深度图720b是根据本文中所描述的系统及方法生成。在此状况下，用2,000个片段228创建分割图226。片段228边界沿循对象边界，如结合图5所描述。接着在片段228的空间坐标732处执行lidar扫描。接着将来自lidar扫描的深度值238填充在对应片段228以生成图像辅助的lidar深度图720b。
100.如通过将图7c及7d进行比较所观察到，图像辅助的lidar深度图720b产生较佳性能，尤其在对象边界线处。如与图7c的无辅助的lidar深度图720a相比，织物764的边缘、植物766的叶子及鸟舍768的屋顶在图7d中的图像辅助的lidar深度图720b中较清晰。
101.图8为说明其中可实施用于图像辅助的lidar深度图取样的系统及方法的电子装置802的一个实例的框图。电子装置802的实例包含相机、视频便携式摄像机、数字相机、蜂窝式电话、智能电话、计算机(例如，桌面式计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、汽车、个人相机、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、航空器、无人机、无人飞行载具(uav)、医疗设备、游戏主控台、个人数字助理(pda)、机顶盒，等。电子装置802可包含一或多个组件或元件。组件或元件中的一或多个可以硬件(例如，电路)或硬件及软件的组合(例如，具有指令的处理器)实施。
102.在一些配置中，电子装置802可包含处理器842、存储器844、显示器846、相机804、lidar单元814及/或通信接口805。处理器842可耦合到存储器844、显示器846、相机804、lidar单元814及/或通信接口805(例如，与其电子通信)。应注意，图8中所说明的元件中的一或多个可为任选的。特定来说，电子装置802可能在一些配置中不包含图8中所说明的元件中的一或多个。例如，电子装置802可或可不包含通信接口805。另外或替代地，电子装置802可或可不包含显示器846。
103.通信接口805可使得电子装置802能够与一或多个其它电子装置进行通信。例如，通信接口805可提供用于有线及/或无线通信的接口。在一些配置中，通信接口805可耦合到用于发射及/或接收射频(rf)信号的一或多个天线807。另外或替代地，通信接口805可实现一或多个有线(例如，通用串行总线(usb)、以太网，等)通信。
104.在一些配置中，可实施及/或利用多个通信接口805。例如，一个通信接口805可为蜂窝式(例如，3g、长期演进(lte)、cdma，等)通信接口805，另一通信接口805可为以太网接口、另一通信接口805可为通用串行总线(usb)接口，且另一通信接口805可为无线局域网
(wlan)接口(例如，电气与电子工程师协会(ieee)802.11接口)。
105.在一些配置中，电子装置802可执行结合图1到8中的一或多个所描述的功能、程序、方法、步骤等中的一或多个。另外或替代地，电子装置802可包含结合图1到8中的一或多个所描述的结构中的一或多个。在一些配置中，结合图8所描述的图像辅助的lidar深度图取样可结合途径(结合图1到8中的一或多个所描述)中的一或多个实施。应注意，除结合图1到8中的一或多个所描述的图像扫描及/或对象追踪的途径中的一或多个外或替代地，还可实施结合图8所描述的图像辅助的lidar深度图取样。
106.电子装置802可获得一或多个图像824(例如，数字图像、图像帧、视频，等)。例如，电子装置802可包含相机804，所述相机具有光学系统106(例如，透镜)及图像传感器108。在一些配置中，相机804可捕获一或多个图像824。相机804可耦合到处理器842及/或由所述处理器控制。额外或替代地，电子装置802可请求及/或接收来自另一装置(例如，耦合到电子装置802的外部图像传感器、网络服务器、交通摄像机、水下摄像机、自动相机、网络摄像机，等)的一或多个图像824。在一些配置中，电子装置802可经由通信接口805请求及/或接收一或多个图像824。例如，电子装置802可或可不包含摄像机804且可接收来自一或多个远程装置的图像824。
107.一或多个图像824可存储在存储器844中。图像824中的一或多个可包含场景222中的对象。
108.存储器844可存储指令及/或数据。处理器842可存取(例如，读取及/或写入到)存储器844。可由存储器844存储的指令及/或数据的实例可包含图像数据(例如，一或多个图像824)、图像分割测绘仪816指令、lidar单元814指令、深度测绘仪818指令及/或用于其它元件的指令，等。在一些配置中，电子装置802(例如，存储器844)可包含图像数据缓冲器(未展示)。图像数据缓冲器可缓冲(例如，存储)来自相机804的图像数据(例如，图像824)。可将所缓冲图像数据提供到处理器842。
109.在一些配置中，电子装置802可包含相机软件应用程序及/或显示器846。在相机应用程序运行时，位于相机804的视野内的对象的图像824可被相机804捕获。由相机804捕获的图像824可被呈现在显示器846上。在一些配置中，这些图像824可以相当高帧速率接连不断地被显示以使得在任何给定蚀刻位于相机804的视野内的对象被呈现在显示器846上。由电子装置802获得的一或多个图像824可为一或多个视频帧及/或一或多个静止图像。
110.处理器842可包含及/或实施图像分割测绘仪816、lidar单元控制器848及/或深度测绘仪818。在一些配置中，处理器842可为结合图2所描述的处理器242的实例。应注意，电子装置802及/或处理器842中所说明的元件中的一或多个可为任选的。例如，可或可不包含及/或实施处理器842中所说明的元件中的一或多个。另外或替代地，处理器842中所说明的元件中的一或多个可与处理器842分离地实施(例如，在其它电路中、在另一处理器上、在单独电子装置上，等)。例如，lidar单元控制器848可不实施于电子装置802上。
111.处理器842可包含及/或实施图像分割测绘仪816。在一些配置中，图像分割测绘仪816可为结合图1到2中的一或多个所描述的图像分割测绘仪116、216中的一或多个的实例。图像分割测绘仪816可从场景222的图像824生成分割图226。分割图226可包含多个片段228。
112.处理器842可包含及/或实施lidar单元控制器848。lidar单元控制器848可接收片
段228的图心230的空间坐标2301idar单元控制器848可指示lidar单元814在图心230的空间坐标232处执行lidar扫描。lidar单元814可经转向以在空间坐标232处对场景222进行取样。lidar单元814可确定图心230的空间坐标232处的场景222的深度值238。
113.处理器842可包含及/或实施深度测绘仪818。在一些配置中，深度测绘仪818可为本文中所描述的深度测绘仪118、218中的一或多个的实例。可将深度值238中的一或多个提供到深度测绘仪818。深度测绘仪818可用片段228的图心230的深度值238填充每一片段228以形成深度图820。
114.在一些配置中，电子装置802可基于深度图820执行辅助驱动。例如，处理器842可包含(例如，实施)高级驾驶辅助系统(adas)或可与其通信。例如，电子装置802(例如，adas)可基于深度图820执行辅助驱动。电子装置802可基于深度图820执行一或多个操作。操作的实例可包含对象检测及/或对象追踪。操作的实例还可包含显示指示符(例如，速度限制、停车标志、行人警告、可能碰撞警告、车道偏离警告、街道名称、地址，等)。输出声音(例如，鸣笛、警笛、语音、按车辆喇叭，等)，控制车辆速度(例如，以标示的速度限制驾驶、刹车以避免碰撞，等)，控制车辆转向(例如，转向以避免碰撞、平行停车，等)，控制车辆气候(例如，控制除霜器或除雾器，等)，控制车灯(例如，打开雾灯，起动紧急闪光灯，控制转向信号，等)。应注意，在一些配置中，电子装置802可与汽车分离或可整合到汽车中。
115.在一些配置中，处理器842可包含及/或实施一或多个其它元件。例如，处理器842可包含对象检测器、对象追踪器，等。
116.在一些配置中，电子装置802可在显示器846上呈现用户接口812。例如，用户接口812可使得用户能够与电子装置802交互。在一些配置中，用户接口846可为触摸屏110，所述触摸屏接收来自物理触摸(例如，通过手指、触笔或其它工具)的输入。另外或替代地，电子装置802可包含或耦合到另一输入接口。例如，电子装置802可包含面向用户的摄像机且可检测用户姿态(例如，手势、手臂姿态、眼睛追踪、眼睑眨眼，等)。在另一实例中，电子装置802可耦合到鼠标且可检测鼠标单击。
117.应注意，在一些配置中可能不需要任何用户输入。例如，电子装置802可自动地执行图像辅助的lidar深度图取样。
118.图9说明可包含在电子装置902内的某些组件。电子装置902可为或可包含在以下内：相机、视频便携式摄像机、数字相机、蜂窝式电话、智能电话、计算机(例如，桌面式计算机、膝上型计算机，等)、平板装置、媒体播放器、电视、汽车、个人相机、动作摄像机、监控摄像机、安装式摄像机、连接式摄像机、机器人、航空器、无人机、无人飞行载具(uav)、医疗设备、游戏主控台、个人数字助理(pda)、机顶盒，等。电子装置902包含处理器942。处理器942可为通用单芯片或多芯片微处理器(例如，arm)、专用微处理器(例如，数字信号处理器(dsp))、微控制器、可编程门阵列，等。处理器942可被称作中央处理单元(cpu)。尽管仅单个处理器942经展示在电子装置902中，但在替代配置中，可使用处理器(例如，arm及dsp)的组合。
119.电子装置902还包含存储器944。存储器944可为能够存储电子信息的任何电子组件。存储器944可体现为随机存取存储器(ram)、只读存储器(rom)、磁盘存储媒体、光学存储媒体、ram中的快闪存储器装置、与处理器一起包含的机载存储器、eprom存储器、eeprom存储器、寄存器，等等，包含其组合。
120.数据950a及指令952a可存储在存储器944中。指令952a可由处理器942执行以实施本文中所描述方法中的一或多个。执行指令952a可涉及使用存储在存储器944中的数据。在处理器942执行指令952时，可将指令952b的各种部分加载到处理器942上，且可将各种数据950b段加载到处理器942上。
121.电子装置902还可包含发射器925及接收器927以允许信号去往及来自电子装置902的发射及接收。发射器925及接收器927可被共同称作收发器935。一或多个天线907a到b可电耦合到收发器935。电子装置902还可包含(未展示)多个发射器、多个接收器、多个收发器及/或额外天线。
122.电子装置902可包含数字信号处理器(dsp)931。电子装置902还可包含通信接口905。通信接口905可允许实现一或多个种类的输入及/或输出。例如，通信接口905可包含用于将其它装置链接到电子装置902的一或多个端口及/或通信装置。另外或替代地，通信接口905可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机，等)。例如，通信接口905可适当用户能够与电子装置902交互。
123.电子装置902的各种组件可通过一或多个总线耦合在一起，所述总线可包含电源总线、控制信号总线、状态信号总线、数据总线，等。为清楚起见，各种总线在图9中经说明为总线系统923。
124.根据本发明，电子装置中的电路可经调适以获得接收来自图像分割测绘仪的空间坐标。空间坐标可为基于场景的图像而生成。相同电路、不同电路或相同或不同电路的第二区段可经调适以执行深度图的垂直处理以执行lidar扫描。lidar单元可经转向以在空间坐标处对场景进行取样。相同电路、不同电路或相同或不同电路的第三区段可经调适以将由lidar扫描获得的深度值提供到深度测绘仪以形成深度图。另外，相同电路、不同电路或相同或不同电路的第四区段可经调适以控制提供上文所描述功能性的电流或电路区段的配置。
125.术语“确定”囊括广泛各种动作，且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、确定等。另外，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。此外，“确定”可包含解析、选择、挑选、建立等。
126.除非另有明确规定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”及“至少基于”两者。
127.术语“处理器”应广泛公开为囊括通用处理器、中央处理单元(cpu)、微处理器、数字信号处理器(dsp)、控制器、微控制器、状态机，等等。在一些情况下，“处理器”可指专用集成电路(asic)、可编程逻辑装置(pld)、场可编程门阵列(fpga)等。术语“处理器”可指处理装置的组合，例如，dsp与微处理器的组合、多个微处理器、一或多个微处理器结合dsp核心，或任何其它此配置。
128.术语“存储器”应广泛解释为囊括能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(ram)、只读存储器(rom)、非易失性随机存取存储器(nvram)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除prom(eeprom)、快闪存储器、磁性或光学数据存储器、寄存器，等。如果处理器可从存储器读取信息及/或将信息写入到存储器，那么存储器被认为与处理器电子通信。与处理器
成整体的存储器与处理器电子通信。
129.术语“指令”及“代码”应广泛公开为包含任何类型的计算机可读语句。例如，术语“指令”及“代码”可指一或多个程序、例程、子例程、函数、程序，等。“指令”及“代码”可包括单个计算机可读语句或许多计算机可读语句。
130.本文中所描述功能可以由硬件执行的软件或固件实施。功能可作为一或多个指令被存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”是指可由计算机或处理器存取的任何有形存储媒体。通过实例的方式且非限制性，计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光学磁碟存储装置、磁盘存储装置或其它磁性存储装置或可用于以指令或数据结构的形式存储所要程序代码且可由计算机存取的其它媒体。如本文中所使用，磁盘及光盘包含光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘及blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。应注意，计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)的计算装置或处理器。如本文中所使用，术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
131.软件或指令还可经由传输媒体来传输。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，那么所述同轴电缆、光纤电缆、双绞线、dsl或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。
132.本文中所公开的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说，除非所描述的方法的恰当操作需要特定次序的步骤或动作，否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
133.此外，应了解，用于执行本文中所描述的方法及技术的模块及/或其它适当装置可通过装置下载及/或以它方式获得。例如，装置可耦合到服务器以促使用于执行本文中所描述方法的装置的转移。替代地，本文中所描述的各种方法可经由存储装置(例如，随机存取存储器(ram)、只读存储器(rom)、例如光盘(cd)或软盘物理存储媒体，等)提供，使得装置可在将存储装置耦合或提供到装置时获得各种方法。
134.应理解，权利要求书并不限制于上文所说明的精确配置及组件。可在本文中所描述的系统、方法及设备的布置、操作及细节作出各种修改、改变及变化而不会背离权利要求书的范围。