激光束控制方法、对应的设备、装置以及计算机程序产品与流程

文档序号:15381642发布日期:2018-09-08 00:05阅读:242来源:国知局
描述涉及激光束控制。一个或多个实施例可以便于保护光子可损伤对象(例如,人眼)免受激光系统(例如,在例如汽车应用中的光检测和测距(lidar)系统)的光束。
背景技术
:lidar系统越来越多地在诸如例如汽车领域的某些行业中发挥作用。能够便于保护眼睛或其他可损伤对象可以因此在使用例如lidar系统时表现出有趣的特征:车辆和汽车通常与可能受lidar光束影响的生物(例如,人类和动物)密切接近。便于保护的常见方法基于保持“眼睛安全”的功率水平。这可以防止生物的不期望的暴露,而具有牺牲检测范围的缺点:由lidar可检测的最远可能距离与光束(例如,峰值)功率相关。可能的距离与功率关系的示例在下表中给出。距离[m]1157533103.3峰值功率[w]18076151.360.15另一常见的方法可以涉及使用例如具有约1500nm(nm=10-9m)的波长的不可见光替代例如具有约600nm(1nm=10-9m)的波长的可见光。这些较长的波长可以具有不可由眼睛聚焦的优点,这可以有效地防止任何损伤,同时具有使用针对较不敏感的这样的波长的适当的光接受器的缺点。总而言之,由于用于扫描场景的功率与所估算深度的准确性之间的固有折衷,例如在lidar系统中的常见方法可能不能够提供大范围和高准确性。技术实现要素:在一个实施例中,方法包括:接收激光束源周围的环境的至少一个图像;通过检测其中的至少一个激光敏感区域的存在,并且计算指示所述至少一个区域在至少一个图像中的位置的像素占据地图,来处理至少一个图像;以及根据所述像素占据地图来控制激光束源。在一个实施例中,根据所述像素占据地图来控制激光束源包括以下中的一个或多个:使激光束偏转远离所述至少一个激光敏感区域,以及降低指向所述至少一个激光敏感区域的激光束的强度。在一个实施例中,计算所述像素占据地图包括将以下中的一个或多个应用于至少一个图像:语义图像分割、对象检测、以及域特定的分割。在一个实施例中,计算所述像素占据地图包括:i)通过将语义图像分割、对象检测、域特定的分割中的一个或多个应用于至少一个图像,来计算多个部分占据地图,以及ii)将所述像素占据地图计算为所述多个部分占据地图中的部分占据地图的组合。在一个实施例中,方法包括:将所述部分占据地图计算为二进制地图,以及将所述像素占据地图计算为所述多个部分占据地图中的所述部分占据地图的逻辑组合。在一个实施例中,方法包括:接收激光束源周围的所述环境的图像的时间序列,以及将运动矢量估算应用于针对所述序列中的图像的像素占据地图,以计算针对所述序列中的后续图像的估算占据地图。在一个实施例中,方法包括:向所述估算占据地图应用扩张形态运算符。在一个实施例中,方法包括:从多个图像源接收激光束源周围的环境的图像;在归一化空间中投影来自所述多个图像源的图像;以及根据投影在所述归一化空间中的图像计算所述像素占据地图。在一个实施例中,设备包括:用于接收激光束源周围的环境的至少一个图像的接收器;与接收器耦合的处理器,用于检测至少一个图像中的至少一个激光敏感区域的存在,并且计算指示所述区域在至少一个图像中的位置的像素占据地图;以及控制器,用于根据本文所公开的方法中的一个或多个方法、根据所述像素占据地图来控制激光束源。在一个实施例中,装置包括:用于捕获激光束源周围的环境的至少一个图像的至少一个图像捕获设备;以及包括以下项的设备:用于接收激光束源周围的环境的至少一个图像的接收器;与接收器耦合的处理器,用于检测至少一个图像中的至少一个激光敏感区域的存在并计算指示所述区域在至少一个图像中的位置的像素占据地图;以及用于根据所述像素占据地图来控制激光束源的控制器。在一个实施例中,装置包括耦合到所述设备的所述激光束源,其中所述激光束源由所述控制器根据所述像素占据地图来控制。在一个实施例中,激光束源包括lidar源。在一个实施例中,控制器包括选择性可控的至少一个光束偏转器,以扫描激光束源周围的所述环境,并使激光束偏转远离所述至少一个激光敏感区域。在一个实施例中,可加载在至少一个处理系统的存储器中的计算机程序产品包括软件代码部分,软件代码部分用于当在至少一个处理系统上运行该产品时执行本文所公开的方法中的一个或多个方法。在一个实施例中,方法包括:由图像处理电路接收激光束源周围的环境的一个或多个图像;由图像处理电路基于一个或多个图像来标识一个或多个激光敏感区域;由图像处理电路生成对应于一个或多个激光敏感区域的一个或多个位置的指示;以及基于对应于一个或多个激光敏感区域的一个或多个位置的指示来控制激光束源。在一个实施例中,基于对应于一个或多个激光敏感区域的一个或多个位置的所述指示来控制激光束源包括以下中的一个或多个:使激光束偏转远离所述一个或多个激光敏感区域;以及降低指向所述一个或多个激光敏感区域的激光束的强度。在一个实施例中,标识一个或多个激光敏感区域包括将以下中的一个或多个应用于一个或多个图像:语义图像分割、物体检测、以及域特定的图像分割。在一个实施例中,生成对应于一个或多个激光敏感区域的一个或多个位置的指示包括:生成多个部分占据地图;以及组合多个部分占据地图,生成像素占据地图。在一个实施例中,方法包括:将所述部分占据地图生成为二进制地图;以及将像素占据地图生成为所述部分占据地图的逻辑组合。在一个实施例中,方法包括:接收激光束源周围的所述环境的图像的时间序列,其中生成对应于一个或多个激光敏感区域的一个或多个位置的指示包括基于一个或多个所标识的激光敏感区域生成估算运动矢量,并且该指示表示对应于一个或多个激光敏感区域的一个或多个估算位置。在一个实施例中,生成对应于一个或多个激光敏感区域的一个或多个位置的指示包括将扩张形态运算符应用于对应于一个或多个激光敏感区域的一个或多个估算位置中的一个或多个。在一个实施例中,方法包括:从多个图像源接收激光束源周围的环境的图像;在归一化空间中投影来自所述多个图像源的图像;基于在归一化空间中投影的图像来标识一个或多个激光敏感区域;以及基于所标识的一个或多个激光敏感区域,生成对应于一个或多个激光敏感区域的一个或多个位置的所述指示。在一个实施例中,设备包括:在操作中接收一个或多个图像的一个或多个接口;以及耦合到一个或多个接口的图像处理电路,其中图像处理电路在操作中:基于一个或多个图像标识一个或多个激光敏感区域;生成对应于一个或多个激光敏感区域的一个或多个位置的一个或多个指示;并且基于一个或多个指示生成控制信号以控制一个或多个激光束源。在一个实施例中,图像处理电路在操作中生成控制信号,控制信号控制以下中的一个或多个:远离所述一个或多个激光敏感区域的激光束的偏转;以及指向所述一个或多个激光敏感区域的激光束的强度。在一个实施例中,图像处理电路在操作中将以下中的一个或多个应用于一个或多个图像:语义图像分割、对象检测、以及域特定的图像分割。在一个实施例中,图像处理电路在操作中:生成多个部分占据地图;并组合多个部分占据地图,生成像素占据地图,像素占据地图指示对应于一个或多个激光敏感区域的一个或多个位置。在一个实施例中,图像处理电路在操作中:将所述部分占据地图生成为二进制地图;并且将像素占据地图生成为所述部分占据地图的逻辑组合。在一个实施例中,一个或多个接口在操作中接收图像的时间序列;并且图像处理电路在操作中使用基于一个或多个标识的激光敏感区域的估算运动矢量,来生成对应于一个或多个激光敏感区域的一个或多个位置的一个或多个指示,并且指示表示对应于一个或多个激光敏感区域的一个或多个估算位置。在一个实施例中,图像处理电路在操作中将扩张形态运算符应用于对应于一个或多个激光敏感区域的一个或多个估算位置中的一个或多个。在一个实施例中,一个或多个接口在操作中从多个图像源接收图像;并且图像处理电路在操作中:在归一化空间中投影来自所述多个图像源的图像;基于在归一化空间中投影的图像来标识一个或多个激光敏感区域;并且基于所标识的一个或多个激光敏感区域,生成对应于一个或多个激光敏感区域的一个或多个位置的所述一个或多个指示。在一个实施例中,系统包括:图像处理电路,其在操作中基于一个或多个图像来标识一个或多个激光敏感区域,并生成对应于一个或多个激光敏感区域的一个或多个位置的一个或多个指示;以及激光束控制电路,其在操作中,基于一个或多个指示来生成控制信号,以控制一个或多个激光束源。在一个实施例中,系统包括:一个或多个图像捕获电路,其在操作中捕获一个或多个图像。在一个实施例中,系统包括:一个或多个激光束源,其在操作中由一个或多个控制信号控制。在一个实施例中,一个或多个激光束源包括一个或多个光检测和测距(lidar)源。在一个实施例中,激光束源中的一个或多个激光束源包括光束偏转器。在一个实施例中,非瞬态计算机可读介质的内容使得激光束系统执行方法,该方法包括:生成激光束源周围的环境的一个或多个图像;基于一个或多个图像标识一个或多个激光敏感区域;生成对应于一个或多个激光敏感区域的一个或多个位置的指示;以及基于对应于一个或多个激光敏感区域的一个或多个位置的指示,来控制一个或多个激光束源。在一个实施例中,方法包括以下中的一个或多个:使激光束偏转远离所述一个或多个激光敏感区域;以及降低指向所述一个或多个激光敏感区域的激光束的强度。在一个实施例中,方法包括将以下中的一个或多个应用于一个或多个图像:语义图像分割、对象检测、以及域特定的图像分割。在一个实施例中,方法包括:接收激光束源周围的所述环境的图像的时间序列,其中生成对应于一个或多个激光敏感区域的一个或多个位置的指示包括:基于一个或多个标识的激光敏感区域来生成估算运动矢量,并且该指示表示对应于一个或多个激光敏感区域的一个或多个估算位置。一个或多个实施例可以包括对应的设备(例如,lidar设备)、对应的装置(例如,包括这样的设备的先进驾驶员辅助系统(adas)系统)、以及计算机程序产品,计算机程序产品可加载在至少一个处理模块(例如,计算机)的存储器中,并且包括用于当该产品在至少一个处理模块上运行时执行方法步骤的软件代码部分。如本文所使用的,对这种计算机程序产品的引用被理解为等同于引用包含指令的计算机可读介质,该指令用于控制处理系统以协调根据一个或多个实施例的方法的实现。对“至少一个计算机”的引用旨在强调要以模块化和/或分布形式实现一个或多个实施例的可能性。一个或多个实施例可以依赖于基于视觉信息的激光控制,例如,与相机耦合并配备有中等能力的图像处理工具的系统。一个或多个实施例可以涉及预分析周围区域,并且然后相应地调整激光束(使激光束偏转和/或调制激光束的功率)。在一个或多个实施例中,可以使用像素级准确的图像分割和分类方法来保持准确性。在一个或多个实施例中,光束控制可以基于例如通过相机获取的环境。一个或多个实施例可以被应用于其中可以检测光敏区域并相应地调整激光束的各种上下文。附图说明现在将仅通过示例的方式参考附图来描述一个或多个实施例,其中:图1是一个或多个实施例的示例性框图,图2和图3是根据一个或多个实施例的示例性图像处理,以及图4是一个或多个实施例的示例性框图。具体实施方式在接下来的描述中,说明了一个或多个具体细节,目的在于提供对本说明书的实施例的示例的深入理解。可以在没有具体细节中的一个或多个具体细节的情况下、或者利用其他方法、组件、材料等来获得实施例。在其他情况下,未详细说明或描述已知的结构、材料或操作,使得实施例的某些方面将不被遮蔽。在本说明书的框架中对“实施例”或“一个实施例”的参考旨在表示关于该实施例描述的特定配置、结构或特性被包括在至少一个实施例中。因此,可能存在于本说明书的一个或多个点中的诸如“在实施例中”或“在一个实施例中”的短语不一定指代同一个实施例。此外,在一个或多个实施例中,特定构造、结构或特性可以以任何适当的方式进行组合。提供了本文所使用的附图标记仅为了方便,并且因此不限定实施例的保护程度或范围。用于检测敏感对象的出现的被动检测方法可以能够仅在对象暴露于(高功率)光束之后通过测量吸收的功率来检测对象的存在。被动方法因此固有地可能无法应对在暴露于可能不期望的状况之前保护例如人眼的技术问题。在一个或多个实施例中,如图1所例示的,装置10可以包括从一个或多个相机c接收图像(例如,来自机动车辆的周围环境,在图中不可见)的图像处理设备100。在一个或多个实施例中,图像处理设备100可以包括各种处理电路或模块,诸如例如:用于接收图像的一个或多个接口101、一个或多个处理核103、一个或多个存储器105、图像分割电路或模块102、对象检测电路模块104以及域特定的标签电路或模块106。例如,接口101可以接收一个或多个图像,一个或多个图像由一个或多个处理核103处理,以执行诸如图像分割、对象检测或域特定的分割的功能中的一个或多个功能。一个或多个存储器105可以存储例如可以被一个或多个处理核103用于处理图像的图像数据、查找表、指令等。在一个或多个实施例中,这些模块可以如下面所讨论的那样进行协作,以根据光流110产生像素占据地图108。占据地图是例如在概率机器人中使用的工具,以将环境的(3d)地图表示为表示障碍物在环境中的某个位置处存在的二进制随机变量的均匀间隔的字段(例如,近似作为这些随机变量的后验估算)。在一个或多个实施例中,诸如108的像素占据地图可以提供表示周围区域(例如,汽车周围的区域)的相机的像素空间中的(2d)地图,作为指示激光敏感对象(例如,行人的眼睛、或单独行走或与行人一起行走的动物的眼睛)的存在的二进制随机变量的字段。附图标记200表示致动系统200,致动系统200在一个或多个实施例中可以包括例如旨在控制激光系统300(例如,lidar系统)的光束控制器电路202(例如,在lidar空间中操作)、光束偏转器电路204、以及功率适配器电路206。在一个或多个实施例中,激光系统300可以包括——例如以本身已知的方式——激光源(可能包括激光发生器阵列)、光接受器模块、以及计算模块(以计算到对象的距离,用于重现周围环境)。在一个或多个实施例中,像素占据地图108可以被提供为图像处理设备100(例如,数字图像处理器)的输出,以被致动系统200利用,(例如,当光束的轨迹在像素占据地图108中标识的敏感区域附近时),例如通过经由光束偏转器204偏转光束和/或通过例如经由功率调制器206衰减光束的功率,致动系统200可以对由激光系统300发射的光束起作用。如指示的,像素占据地图108中的旨在避开的敏感区域可以包括可能受到激光系统的辐射的不利影响的对象(例如,人或动物)所位于的图像中区域。只是为了制作与汽车领域相关的非限制性示例,这样的对象可以是在配备有基于lidar的adas装置的机动车前面的斑马线上行走的一个或多个行人的头部(例如,眼睛)。将注意,一个或多个实施例可以提供保护,而不管这些主体是高还是矮(例如,儿童)。此外,保护可以延伸到动物,例如,在行人附近或者汽车路径中行走的动物。另外将理解,虽然为了简单和易于说明在这里作为不同的实体呈现,但是在一个或多个实施例中,实体c、100、200、300中的某些实体可以并入到集成实体,例如其中,图像处理设备100和/或致动系统200分别与相机c和激光系统300集成。在一个或多个实施例中,可以使用具有视频图形加速器/适配器(vga)分辨率(例如,640×480像素)或甚至更高分辨率的相机c。在一个或多个实施例中,(视频)相机c可以显示高帧速率(例如,30-60fps(帧/秒)),以最小化检测延时(捕获图像和检测敏感区域之间的延迟)。在一个或多个实施例中,图像处理设备100可以接收从相机c获得的图像作为输入,并在像素占据地图108中生成条目作为输出。在一个或多个实施例中,像素占据地图108可以包括二进制图像,二进制图像存储关于周围环境和敏感区域的信息(例如,1=敏感的、0=非敏感的),并且可以基于以下方法中的一个或多个生成像素占据地图108:-语义图像分割(例如,电路或模块102),-通过像素级识别过程的对象检测(例如,电路或模块104),以及-域特定的分割(例如,电路或模块106)。先前的电路或模块(其可以基于本领域已知的原理操作)中的每一个可以产生其可以贡献于最终占据地图108的部分占据地图。一个或多个实施例可以利用检测模块或子系统102、104、106中的仅一个或备选地其部分或全部组合。例如,在一个或多个实施例中,或(or)运算符可以被应用于来自模块102、104、106的部分占据地图,以获得最终像素占据地图108。因此,在各种实施例中,如果部分地图中的至少一个部分地图示出相同的值,则值1(例如,避开)可以存在于最终占据地图108中。在一个或多个实施例中,另一方法可以是以级联布置来实现各种子系统/模块:例如,这种可能的级联布置可以包括图像分割102(返回关于例如人所处位置的信息)和对象检测104(识别例如面部在已经获得的区域中可能处于的区域)。在这种示例性情况下,就像馈送到与(and)运算符一样,可以处理两个部分占据地图,使得像素占据地图108将对应于级联中的最后部分占据地图。这种方法可能更有效,因为级联对象检测(例如,模块104)可以仅在先前选择(例如,在模块102中)的区域上执行。此外,该方法可以更准确,因为它可以减少误报(例如,没有检测到人的情况下的面部的存在)的数量。这种级联处理的另一示例可以包括:-提供关于人的存在的信息的图像分割(例如,102处),-对象检测(例如,104处),识别面部的存在,以及-诸如眼睛分类器的更具体的图像分割(例如,再次在102处执行)。在一个或多个实施例的简单实现中,包围所检测的对象的敏感区域可以包括位于敏感对象周围的矩形形状。在一个或多个实施例中的更复杂的方法中,图像处理设备100可以利用诸如例如面部标志检测(参见例如,x.zhuandd.ramanan,“facedetection,poseestimation,andlandmarklocalizationinthewild,”2012ieeeconferenceoncomputervisionandpatternrecognition,providence,ri,2012,pp.2879-2886)的所谓的主动外观模型(参见例如,cootes,t.(2001),activeappearancemodels,patternanalysisandmachineintelligence,23(6),681–685),主动外观模型能够适合对象的形状,面部标志检测可以返回眼睛和嘴周围的点的集合,这可以用于生成相当准确的占据地图108。一个或多个实施例可以利用包括例如皮肤分割算法(参见例如,p.kakumanu,s.makrogiannis,n.bourbakis,“asurveyofskin-colormodelinganddetectionmethods,”patternrecognition,volume40,issue3,march2007,pages1106-1122)的可靠地标识图像中的手和面部中所使用类型的域特定的分割(例如,模块106)方法。如先前讨论的情况,可以生成部分占据地图,从而检测例如皮肤区域/无皮肤区域并选择敏感标签。在一个或多个实施例中,图像处理设备100中的电路或模块102可以包括快速且准确的分割过程(任何已知类型的,参见例如,paszke,a.,chaurasia,a.,kim,s.,&culurciello,e.(2016),enet:adeepneuralnetworkarchitectureforreal-timesemanticsegmentation,arxiv.computervisionandpatternrecognition,arxiv:1606.02147v1[cscv](june2016)),也可以针对当前应用来自定义该分割过程:这些过程可以被配置为不仅检测面部,而且还可以例如检测面部中的具体特征(诸如,眼睛)。例如,这种(语义)图像分割过程可以从相机c接收图像作为输入,并返回具有所选择的标签0...l的输出图像,其中l是分割可识别的对象的数量。只是通过说明性示例的方式,l=4可以是1=天空,2=道路,3=人,4=树木,0=未知(当类别不可以被自信地分配时)。作为进一步的说明性示例,可以将一个或多个这样的标签的集合av={l1,...,lk}(例如,人和/或狗)标识为敏感的,并且可以将部分像素占据地图设置为例如对应于这些敏感标签的区域中落在标签集合av内的一个区域。当然,这里给出的那些仅仅是图像分割处理的可能流程的示例,其中类别适合于是更具体的(例如,敏感区域被识别为眼睛的身体部分)。一个或多个实施例因此可以包括生成像素占据地图108,像素占据地图108提供关于对象的类别和所计算的预测的置信度的信息。例如,一个或多个实施例可以不限于“二进制”(即,1=避开;0=非避开)的部分或像素占据地图108。在一个或多个实施例中,图像处理设备100可以生成指示例如可能的负面影响的水平的一种“模糊”像素占据地图108,或甚至保留关于可以由致动系统200使用的其他操作特征的信息。例如通过系统100中与激光系统300的光束扫描周围环境的速度相当(并且可选地更快)的处理,一个或多个实施例可以受益于图像处理步骤的效率。在一个或多个实施例中,这可以通过本领域已知的技术来实现,诸如用于对象检测和图像分割的卷积神经网络(cnn),其可以实现每帧300-400亿次操作(大约1tops——每秒兆次操作)的速率。一个或多个实施例可以采用:如已经提出的用于先进驾驶辅助系统(adas)的高性能平台,促进以24tops操作的px2平台的nvidia以及促进以12tops操作的eyeq5平台的mobileye可以是这样的平台的示例。在一个或多个实施例中,时间一致性是在调整光束200时可以考虑的因素。由于拍摄图像的固定速率和/或可以处理每个像素的速度,图像处理设备100可以呈现固有的延时。在处理将受到像素读取速率的限制的情况下,即使在考虑与读取图像像素同时进行的处理的可能理想场景时,这种延时也可能不会消除。此外,激光束可以以其自己的独立速率来扫描场景,使得可以例如在占据地图108生成之后的几十毫秒发生偏转。占据地图108因此可以在该时间段之后过时,并且可能不能令人满意地反映待保护对象的实际位置。在一个或多个实施例中,可以通过使用当前的像素占据作为计算后续占据地图的基础来解决该问题。在一个或多个实施例中,例如由图1中的框110表示的,这样的方法可以经由(例如根据帧对所估算的)场景的光流来实现。在一个或多个实施例中,可以通过使用运动矢量的密集场,在采集帧时从像素占据地图108外推占据地图108',来估算lidar扫描时的对象位置。光流计算布置目前已被考虑用于adas系统(先进驾驶辅助系统)。通过对一个或多个实施例中可能使用的这种布置的可能操作的示例性说明的方式,像素占据地图108可以由如图2所示的像素椭圆来表示。利用像素的第二椭圆图示的估算(例如,外推)占据地图108'可以表示在生成占据地图108的时间与区域可能暴露于激光束的时间之间的估算延迟之后的地图的可能变化。可以针对每个像素计算估算的运动矢量(例如v(x,y)——单位为每秒的像素),其中矢量可能从一个像素到另一个像素明显变化。可以将估算的延迟δt与估算的运动矢量一起使用,以根据占据地图108计算外推的占据地图108':例如,占据地图108可以被移位例如v(x,y)*δt个像素,从而产生外推的占据地图108'。如前所述,像素运动在图2中由箭头18例示。箭头从占据地图108中的像素处开始,并指向与外推的占据地图108'中的相同特征对应的像素。在一个或多个实施例中,可以例如使用半径等于估算的标准偏差(例如,5个像素)的扩张形态运算符18'来考虑一定程度的不确定性,即,例如通过使用像素附近的运动矢量的平均标准偏差,标准偏差涉及外推的不确定性。如图3例示的,扩张操作可以使用扩张形态运算符18'来探测和扩展外推的占据地图108'的边界,以计算考虑到不确定性的扩展的占据地图108”。在一个或多个实施例中,这样的光流110可以提供反馈机制,其中扩展的占据地图108”取决于先前的计算机占据地图108和场景的运动矢量。在一个或多个实施例中,像素占据地图(例如108”、108'或108)中的一个或多个由光束控制器202转换,以计算用于修改(例如,经由模块204、206)扫描周围环境的激光系统300的光束的空间地图。例如,在正常操作条件下,这种光束在水平方向上以高频并且在垂直方向上以较低的频率逐行扫描周围环境。发射的光束可以在“目标”对象处被反射,并且这种反射可以由光接受器(例如,雪崩光电二极管(apd))测量。可以使用光脉冲的发射与通过光接受器检测来自目标对象的对应“回波”之间的延迟,以通过tof——飞行时间——方法估算到对象的距离。这种方法是本领域众所周知的,并且根据(光)速度、距离和时间来计算。在一个或多个实施例中,光束偏转器204可以实现两种不同类型的控制:-第一控制,其可以用于正常的tof操作,-第二控制,其可以在检测到敏感区域的情况下使用,以避免该区域暴露于激光束。在一个或多个实施例中,这两种不同类型的控制可以经由不同的光束偏转器单元来实现,例如,一个光束偏转器单元用于“普通”扫描移动,并且一个光束偏转器单元用于“避开”操作。这种方法可以便于相对于另外的偏转光束控制来将系统300的tof操作去耦。在一个或多个实施例中,这两种不同类型的控制可以诉诸于不同的光束偏转技术。例如,在一个或多个实施例中,基于相控光学阵列(参见例如,m.r.watts,“towardsanintegratedphotoniclidarchip,”imagingandappliedoptics2015,osatechnicaldigest(online)(opticalsocietyofamerica,2015),paperaiw4c.1),lidar阵列可以在具有例如51°的最大偏转角的光子集成电路(pic)上实现。虽然在常规实现中,相关联的“调谐”频率可以是例如100hz,但是具有例如40mhz(其完全在本文所例示的实施例的操作范围中)范围中的操作频率的布置在本领域中是已知的(参见例如,w.ronnyhuang,juanmontoya,jane.kansky,shawnm.redmond,georgew.turner,andantoniosanchez-rubio,“highspeed,highpowerone-dimensionalbeamsteeringfroma6-elementopticalphasedarray,”opt.express20,17311-17318(2012))。另一可行的方法(参见例如,j.c.hulme,j.k.doylend,m.j.r.heck,j.d.peters,m.l.davenport,j.t.bovington,l.a.coldren,andj.e.bowers,“fullyintegratedhybridsiliconfree-spacebeamsteeringsourcewith32channelphasedarray,”spieopto,internationalsocietyforopticsandphotonics,sanfrancisco(ca),february2014)可以包括集成在同一芯片中的无源激光器和光放大级,从而生成具有高调谐频率(50mhz)的完全集成系统。其他解决方案可以使用适当设计的硅器件来允许在60ghz范围中的调谐频率。而且,在一个或多个实施例中,反射镜或转镜可用于创建可由微机电系统(mems)或声光调制器(aom)控制的偏转光束。在一个或多个实施例中,可以使用波导设计作为偏转光束,其中例如经由双折射材料通过光偏振来控制偏转(参见例如,s.slussarenko,a.alberucci,c.p.jisha,b.piccirillo,e.santamato,g.assantoandl.marrucci,“guidinglightviageometricphases,”naturephotonicsvol.10,571-575(2016))。因为许多优点(例如,较低的功率消耗、可调整的调节以及在每个步骤处控制光束的方向的能力),一个或多个实施例可以使用单个光束而不是激光矩阵。本领域当前可获得的各种激光束扫描布置可以符合一个或多个实施例的操作要求。仍然通过示例性参考的方式,在具有200万像素分辨率和30fps扫描速率的应用中,可以以至少30khz的频率扫描每行,并以60mhz的频率扫描每个像素。另外,可以合理地假设敏感区域将不限于一个像素的尺寸,而是可以包括例如十个像素或更多个像素,使得曝光发生的频率将为约6mhz。在一个实施例中,偏转光束的响应速度的规格因此是6mhz(或更高),这与上述讨论的各种实现完全兼容。如图4所例示的,一个或多个实施例可以被实现用于先进驾驶辅助系统(adas),adas通常基于使用多个广角同步相机ca、cb、...、cn和/或基于360°视图(例如,围绕例如汽车的所有方向上的视图)的合成。这样的系统可以能够覆盖例如驾驶员的全部可能的盲点。在一个或多个实施例中,例如在广角系统中,多于一个的相机ca、cb、...、cn可以将图像馈送到图像处理设备100。在一个或多个实施例中,可以基于归一化空间对合成的视图执行图像处理,该归一化空间由图像处理电路112a、...、112n对不同相机ca、cb、...、cn获取的图像的法向投影来获得。在一个或多个实施例中,例如在广角系统中,多个相机输入可以被合并在一起,并且不同的lidar单元可以由相同的像素占据地图108来控制。等待高分辨率的准确视图的合成可能不期望地影响延时;在一个或多个实施例中,例如,一旦相机被校准,来自相机的地图和归一化像素空间就可获得,以在获取整个帧之前被应用;此外,可以用于分割的卷积神经网络(cnn)可以涉及局部卷积以计算分割地图,并且因此不需要整个图像可用于操作。在一个或多个实施例中,像素占据地图108可以驱动多个激光系统300a、300b、...、300n。为了清楚和简单起见,这些激光系统被例示为具有与系统10中描绘的相机相同的数量;然而,在一个或多个实施例中,激光系统300的数量可以与相机c的数量不同。在图4中,附图标记202、204和300再次表示诸如图1中遇到的那些的光束控制器、光束偏转器和激光系统,因此使得不需要进一步解释其性质。在图4中,下标字母突出显示了具有相关联控制的多于一个的激光系统的存在。基于集成光子学的lidar技术可能呈现有限的角度范围(例如,50°);一个或多个实施例因此可以使用具有重叠覆盖的多个lidar单元,其中像素地图被投影在每个单独单元的工作空间中(参见例如图2和图3中的图)。再次,如先前已经指出的,在一个或多个实施例中,考虑到预期应用更方便,可以将贯穿附图所例示的单独的框细分或集成。在一个或多个实施例中,方法可以包括:-接收(例如,100)激光束源(例如,300)(诸如,机动车辆中的adas系统中的lidar系统)周围的环境的至少一个图像(例如,c),-通过检测其中至少一个激光敏感区域(例如,人或动物的眼睛)的存在并计算指示所述至少一个区域在至少一个图像中的位置的像素占据地图(例如,108),来处理(例如,102、104、106)至少一个图像,以及-根据所述像素占据地图来控制(例如,200)激光束源。在一个或多个实施例中,根据所述像素占据地图来控制激光束源可以包括以下中的至少一个:-使激光束偏转(例如,204)远离所述至少一个激光敏感区域,和/或-降低(例如,206)指向所述至少一个激光敏感区域的激光束的强度。在一个或多个实施例中,计算所述像素占据地图可以包括向至少一个图像应用以下中的至少一个:-语义图像分割(例如,102),和/或-对象检测(例如,104),和/或-域特定的分割(例如,106)。在一个或多个实施例中,计算所述像素占据地图可以包括:-i)通过向至少一个图像应用以下中的一个,来计算多个部分占据地图(例如,102、104、106):-语义图像分割,和/或-对象检测,和/或-域特定的分割,-ii)将所述像素占据地图计算为所述多个部分占据地图中的部分占据地图的组合。一个或多个实施例可以包括:-将所述部分占据地图计算为二进制地图,-将所述像素占据地图计算为所述多个部分占据地图中的所述部分占据地图的逻辑组合(例如,or或and)。一个或多个实施例可以包括:-接收激光束源周围的所述环境的图像的时间序列,-将运动矢量估算(例如,18)应用于针对所述序列中的图像的像素占据地图,以计算针对所述序列中的后续图像的估算占据地图(例如,图2和图3中的108'、108”)。一个或多个实施例可以包括将扩张运算符(例如,18')应用于所述估算占据地图。一个或多个实施例可以包括:-从多个图像源(例如,相机ca、cb、...、cn)接收激光束源周围的环境的图像,-在归一化空间(例如,112a、...、112n)中投影来自所述多个图像源的图像,以及-根据投影在所述归一化空间中的图像来计算所述像素占据地图。根据一个或多个实施例的设备可以包括:-用于接收激光束源周围的环境的至少一个图像的接收器,-与接收器耦合的处理器,用于检测至少一个图像中的至少一个激光敏感区域的存在,并计算指示所述区域在至少一个图像中的位置的像素占据地图;以及-用于根据所述像素占据地图来控制激光束源的控制器,其中该设备被配置为利用一个或多个实施例的方法进行操作。根据一个或多个实施例的装置可以包括:-用于捕获激光束源周围的环境的至少一个图像的至少一个图像捕获设备(例如,相机c),以及-根据一个或多个实施例的设备,所述设备耦合到至少一个图像捕获设备,其中设备中的接收器从至少一个图像捕获设备(c)接收所述至少一个图像。根据一个或多个实施例的装置还可以包括耦合到所述设备的所述激光束源,其中激光束源由所述控制器根据所述像素占据地图来控制。在一个或多个实施例中:-激光束源可以包括lidar源,和/或-控制器可以包括选择性可控的(例如“普通”/“避开”)至少一个光束偏转器,以扫描激光束源周围的所述环境,并且使激光束偏转远离所述至少一个激光敏感区域。在不损害底层原理的情况下,在不脱离保护范围的情况下,细节和实施例可以相对于仅通过示例的方式所公开的内容变化甚至显著变化。一些实施例可以采取计算机程序产品的形式或包括计算机程序产品。例如,根据一个实施例,提供了包括适于执行上述方法或功能中的一个或多个的计算机程序的计算机可读介质。介质可以是诸如例如只读存储器(rom)芯片的物理存储介质、或诸如数字通用盘(dvd-rom)、紧凑盘(cd-rom)、硬盘之类的盘、存储器、网络、或要由适当的驱动器或经由适当的连接来读取的便携式介质物品,便携式介质物品包括在一个或多个条形码或一个或多个这样的计算机可读介质上存储的其他相关代码中编码,并且可由适当的读取器设备读取。此外,在一些实施例中,系统和/或模块和/或电路和/或框中的一些可以以其他方式、诸如至少部分地在固件和/或硬件中实现或提供,固件和/或硬件包括但不限于:一个或多个专用集成电路(asic)、数字信号处理器、分立电路、逻辑门、标准集成电路、状态机、查找表、控制器(例如,通过执行适当的指令,并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld)等、以及采用rfid技术的设备、及其各种组合。上述各种实施例可以被组合以提供其他实施例。如果需要使用各种专利、申请和公开物的概念来提供又一些另外的实施例,则可以修改实施例的各个方面。可以根据上述详细描述对实施例进行这些变化以及其他变化。通常,在所附权利要求中,所使用的术语不应被解释为将权利要求限制于说明书和权利要求书中所公开的具体实施例,而应被解释为包括所有可能的实施例以及这样的权利要求有权享有的等同物的全范围。因此,权利要求不受本公开的限制。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1