一种线光束发射模组、深度相机及深度相机的控制方法与流程

1.本发明属于深度相机技术领域，尤其涉及一种线光束发射模组、深度相机及深度相机的控制方法。


背景技术：

2.随着社会的发展，人们越来越追求智能化的生活，智能家居于生活中无处不在。比较常见的是扫地机器人，可以自动清扫垃圾，并且具有避障功能。
3.机器人中会使用到很多传感器，需要多个传感器来实现导航和避障功能。常见的是单线激光雷达来测量周边环境和辅助机器人实现导航；双目、结构光、itof(indirect time-of-flight，间接光飞行时间)等3d传感器进行近距深度测量和辅助机器人实现近距的避障功能。因此，当扫地机器人需要进行导航、避障等多项感知功能时，需要安装多个传感器，增加了成本高。
4.其中，低成本传感器以机械式激光雷达为主，但是，机械式激光雷达的可靠性与抗震动撞击能力低、尺寸大、以及扫描速度慢。特别是在扫地机器人上，需要在结构上给其避空处理，以及安装在扫地机的顶部增加扫地机高度，从而让扫地机更难进入空间高度较小的位置进行清扫。又因为机器人经常碰撞到其他物体，所以一般需要在结构或者其他方面增加抗震动和碰撞设计，增加了结构复杂度的同时也增加了成本。
5.而视觉传感器中也存在诸多问题，现有的基于itof技术的深度相机，主要使用泛光发射模组和面阵图像传感器，使得深度相机可以获得更高的有效空间分辨率，但是发射泛光光束进行深度探测会产生多路径效应，在墙角等粗糙表面的地方对深度测量精度有较大影响，而且，面阵图像传感器相对而言功耗较高。特别是应用到扫地机器人中，对于以电池作为动力的机器人，对机器人的功耗产生较大影响。基于主动双目结构光技术的深度相机由于有两个接收模组和一个发射模组，成本相对较高，基于被动双目技术的对白墙、地面等纹理信息较少的场景和暗环境下，不能较好的得到深度信息。
6.如何有效解决这些问题是当前关注的重点。


技术实现要素：

7.本发明提供一种
8.线光束发射模组、深度相机及深度相机的控制方法，至少能够解决相关技术中深度相机信息采集准确率低的问题。
9.本技术实施例第一方面提供了一种线光束发射模组，包括：光源阵列、掩膜和准直透镜；掩膜设在光源阵列与准直透镜之间，光源阵列用于发射多个斑点光束，多个斑点光束经过掩膜调制形成线状光束；线状光束经过准直透镜准直后投射到目标区域中形成线状光场。
10.在一些实施例中，掩膜包括透光区域和非透光区域，透光区域包括多个线透光区域。在一些实施例中，光源阵列包括多个列光源，每个列光源包括多个光源，列光源与线透
光区域一一对应。
11.本技术实施例第二方面提供了一种深度相机，包括：线光束发射模组、itof图像传感器、驱动单元、电路板以及控制与处理电路；线光束发射模组和itof图像传感器安装在电路板上；控制与处理电路用于控制驱动单元驱动线光束发射模组向目标区域发射线状光束；itof图像传感器用于采集目标物体反射回的线状光束并生成电信号；控制与处理电路对电信号进行处理计算得到目标物体的深度信息。
12.在一些实施例中，控制与处理电路还用于控制驱动单元驱动线光束发射模组执行线扫描发射模式。
13.在一些实施例中，深度相机还包括面光束发射模组，用于朝向目标区域发射面光束。深度相机还包括分时控制单元，分时控制单元用于控制线光束发射模组或面光束发射模组开启。控制与处理电路根据工作模式生成激活信号同步到itof图像传感器和分时控制单元；分时控制单元根据激活信号调控线光束发射模组或面光束发射模组启动；itof图像传感器输出启动信号到驱动单元；驱动单元输出激光驱动电流用于驱动线光束发射模组或面光束发射模组发射光信号。其中，工作模式包括线扫描探测模式和面光束探测模式。
14.本技术实施例第三方面提供了一种应用于深度相机的深度测量方法，其特征在于，所述方法包括：根据工作模式启动线光束发射模组向目标区域投射线状光束，或启动面光束发射模组向目标区域发射面光束；接收被目标反射回的线状光束或面光束并生成电信号；接收电信号并进行处理计算出目标对应的深度信息。
15.由上可见，根据本技术方案所提供的一种线光束发射模组、深度相机、深度相机的深度测量方法，通过光源阵列发射多个斑点光束，多个斑点光束经过掩膜调制形成线状光束，再经过准直透镜准直后投射到目标区域中形成线状光场，在接收模组进行光源接收时，可以有效的降低多路效应对深度信息采集的影响，从而提高了深度信息的探测精确度。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例提供的深度相机的结构示意图；
18.图2为本技术实施例提供的线光束发射模组的结构示意图；
19.图3为本技术实施例提供的线阵区域与列光源的关系图；
20.图4为本技术实施例提供的深度相机的线状光束的效果图；
21.图5为本技术实施例提供的深度相机的框架示意图；
22.图6为本技术实施例提供的深度相机的另一结构示意图。
具体实施方式
23.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.图1是根据本发明一个实施例的深度相机的结构示意图。深度相机10包括发射器11、采集器12以及连接于发射器与采集器的控制与处理电路13。其中，发射器11用于向目标物体连续发射时序上振幅被调制的发射光束，至少部分发射光束经过目标点反射形成反射光束，反射光束中的至少部分光束被采集器12接收并生成电信号，控制与处理电路13同步发射器11与采集器12的触发信号，并接收电信号进行处理计算出反射光束相对发射光束的飞行时间，进一步根据飞行时间计算出目标的深度信息。
25.发射器11包括光源111、发射光学元件112以及驱动器113等。光源111可以是发光二极管(led)、边发射激光器(eel)、垂直腔面发射激光器(vcsel)等单个光源，也可以是在单块半导体基底上生成多个vcsel光源以形成的vcsel阵列光源芯片。其中，光源111可以在驱动器113(其可以进一步被控制和处理电路13控制)的控制下以一定的时序振幅被调制向外发射光束，比如在一个实施例中，光源111在控制下以一定的频率发射脉冲调制光束、方波调制光束、正弦波调制光束等光束。发射光学元件112接收光源111发射的光束并向外发射，并同时可以对光束进行准直、扩束、衍射等调制后向外发射光束30。发射光学元件112可以是一片或多片透镜、微透镜阵列、衍射光学元件(doe)、扩散片(diffuser)等其中的一种或多种。
26.采集器12包括itof图像传感器121、过滤单元122和透镜单元123，透镜单元123接收并将由目标物体反射回的至少部分反射光束成像到itof图像传感器121上，过滤单元122设置为与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。在一个实施例中，itof图像传感器121包括至少一个像素，与传统的仅用于拍照的图像传感器相比，这里每个像素则包含两个及以上的抽头(tap，用于在相应电极的控制下存储并读取或者排出由入射光子产生的电荷信号)，比如包括3个抽头，在单个帧周期(或单次曝光时间内)内以一定的次序依次切换抽头以采集相应的光信号并转换成电信号，使得itof图像传感器121在每个帧周期内输出一张rawphase图，rawphase图中的像素值即为每个抽头积累的电荷量，该rawphase图包含反射光束相对发射光束的相位差信息，根据相位差信息即可以对应确定出光束的飞行时间。
27.控制与处理电路13可以是独立的专用电路，比如包含cpu、存储器、总线等组成的专用soc芯片、fpga芯片、asic芯片等等，也可以包含通用处理电路，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理电路可以作为该控制与处理电路13的至少一部分。
28.图2为本实施例提供的一种线光束发射模组的结构示意图，线光束发射模组20包括顺次设置的光源阵列21、掩膜22以及准直透镜23，其中，光源阵列21包括多个列光源，每个列光源包括多个光源，每个列光源发射多个斑点光束，经过掩膜22调制形成线状光束，线状光束经过准直透镜23准直后投射到目标区域中。掩膜22包括透光区域和非透光区域，透光区域包括多个线透光区域，其中，光源与线透光区域一一对应，图3示出了线透光区域221与列光源211的示意图,。本技术中的线状光束主要指投射出去的线状光束的水平视场角远大于垂直视场角，图4a示出了对应的线状光束的效果图，每个列光源211发射的光束经过线透光区域211形成线状光束41，其中，水平视场角即对应线状光束的长度方向，垂直视场角即对应线状光束的宽度方向。在一些其他的实施例中，还可以通过设计线透光区域211的形
状来调制出射的线状光束的形状，例如图4b和图4c所述的折线型线状光束42、43，线状光束的图案可以根据具体的需求进行设计。
29.结合图2和图3所示，为了使得线光束发射模组20能够发射出光强度分布均匀、且视场角满足要求的线状光束，需要对模组的各项参数进行配置，以满足产品需求。具体的，配置光源阵列21与掩膜22之间的距离为d1，掩膜22与准直透镜23之间的距离为d2且掩膜22和准直透镜23之间的距离等于准直透镜23的焦距。在一个实施例中，如图3所示，光源阵列21包括m个列光源，每个列光源包括n个光源，相邻光源之间的距离为d0，在本技术实施例中，相邻光源之间的距离定义为光源中心之间的连线距离，则列光源的长度d＝(n-1)d0。对应的，掩膜22上设置有透光区域，透光区域也包括m个线透光区域，每个线透光区域的宽度为n0，相邻线透光区域的间距为v0，透光区域的长度为hm(对应线透光区域的长度)，透光区域的宽度为vm。为了保证每个列光源发射出的激光光束投射到掩膜22后经过线透光区域出射的激光光束需要融合到一起且出射线光束光强度分布均匀，则配置的各项参数进具体包括：
30.(1)光源阵列21与掩膜22之间的距离为d1满足：d1＞d0/2*tan(theta/2)；
31.(2)每个线透光区域的宽度n0满足如下关系：n0《d0/2*tan(theta/2)，否则会导致输出的光场边缘光场不均匀；优选地，n0＝d0/2*tan(theta/2)*α，α为常数，根据光源发射出的光斑大小确定；
32.(3)准直透镜23的焦距满足：f0＝n0/(2*tan(delta/2))；
33.(4)相邻线透光区域的间距满足:v0＝f0*2*tan(t0/2)；
34.(5)透光区域长度满足：hm＝f0*2*tan(h)；透光区域的宽度满足为：vm＝f0*2*tan(v)。
35.其中，theta为光源的激光发射角度，delta和t0分别为预定义的线光束发射模组投射出每条线的宽度投射角以及相邻线状光束之间的间隔角度；h、v分别为预定义的线光源投射模组投射出的线状光束的水平视场角和垂直视场角。
36.图5为本实施例提供的一种深度相机的结构示意图。在一些实施例中，包括线光束发射模组20、采集模组30、驱动单元50、电路板60以及控制与处理电路(未图示)。采集模组30包括itof图像传感器31、滤光片32和成像透镜33，成像透镜33接收并将由目标物体反射回的至少部分反射光束成像到itof图像传感器31上，滤光片32设置为与光源波长相匹配的窄带滤光片，用于抑制其余波段的背景光噪声。在一个实施例中，光源阵列21与itof图像传感器通过cob(chip on board)工艺贴附于电路板60的上表面，即通过粘着剂贴附于电路板60的上表面。
37.控制与处理电路用于控制驱动单元50驱动线光束发射模组20向目标区域投射线状光束；并控制itof图像传感器31采集目标物体反射回的线状光束生成电信号，控制与处理电路对电信号进行计算得到目标物体的深度信息。这样较大的水平投射视场角能够获得很大的水平测距范围，而较小的垂直投射视场角又能够减小地面反射而提高深度相机的探测精度。在一些实施例中，控制与处理电路还用于控制驱动单元50驱动线光束发射模组执行多种不同的光束发射模式，例如单线光束发射模式、多线光束发射模式、线扫描发射模式等。在一个实施例中，驱动线光束发射模组执行线扫描模式，即依次序控制每个列光源发射光束使得线光束发射模组向目标场景投射一条线状光束，如图3所示，可以按照从上往下或
者从下往上的顺序控制每个列光源依次发射光束。相对应的，控制与处理电路可以根据线状光束在itof图像传感器31上的成像位置对像素阵列进行工作区域的划分，即每个列光源与像素阵列中的一个工作区域一一对应，当开启列光源时即开启对应的工作区域，这种分区发光和分区接收的方式可以降低单帧的总功耗、提高帧率。通过设置发射线状光束进行深度测量，可以提高探测距离和探测精度，特别是在近地面探测场景中，由于缩小了垂直视场角，可以有效的降低地面反射光信号对探测精度的影响，减少多路径干扰；而配置发射多条线状光束还可以提高光功率密度，并采用逐线扫描的方式，也可以降低相邻线光束产生的串扰。
38.在一些其他实施例中，除了可采用逐线扫描的方式，还可以进行分区控制，分区的方式可以沿着水平视场角的方向，也可以沿着垂直视场角的方向，如图4b中虚线所示，可以将投射出的线状光束分成三个区域，每个区域内线状光束的数量相同，或者图4c中虚线所示，将投射出的线状光束分成六个区域，且每个区域内的线状光束的数量并不等，这种分区方式也有利于调控深度相机具有不同的探测视场，每个区域作为一个子探测视场，可根据实际应用需要动态调节深度相机的探测视场范围。相比于现有技术中可投射线状光束的深度相机，主要使用波浪片、doe或者diffuser来调制形成线状光束，形成的线状光束形状固定且输出的光场呈弧线型，只能逐线调控进行扫描，无法进行分区控制。而采用掩膜调制形成线状光束，可投射出任意形状的线状光束，且可进行分区探测，每个区域内投射线状光束的形状、数量、光强度都可结合实际应用场景做具体的设计，还可以设计非对称的输出光场，提高光能量的综合利用效率。
39.在一些实施例中，深度相机还包括面光束发射模组40，用于朝向目标区域发射面光束。相比于利用线状光束进行深度测量，采用面光束测量时分辨率较高但测量精度略低，主要是面光束探测时多路径效应较高，在墙角等粗糙表面的地方对深度测量精度有较大影响，并且相对而言功耗较高。因此，将面光束发射模组与线光束发射模组有机结合在一起形成的一个深度相机，更有利于应用于终端产品中，并且可根据具体的工作模式进行动态调节。在一个实施例中，面光束发射模组40包括点光源，点光源可以是光电二极管、激光二极管等。在又一个实施例中，面光束发射模组40包括光源阵列和扩散元件，光源阵列发射的斑点光束经过扩散元件调制形成面光束。在一个实施例中，由于面光束发射模组40小于线光束发射模组20，还可以利用支架垫高面光束发射模组40以使得面光束发射模组的出光面与线光束发射模组的出光面平齐。
40.在一些实施例中，还包括分时控制单元70，控制与处理电路与分时控制单元70连接，分时控制单元70分别与线光束发射模组、面光束发射模组连接，用于控制线光束发射模组、面光束发射模组的开启使得深度相机具有两种工作模式，即线扫描探测模式和面光束探测模式。如图6所示，在一个实施例中，控制与处理电路选择工作模式(线扫描探测模式或面光束探测模式)，并同步激活采集器30和分时控制单元70，分时控制单元70用于切换线光束发射模组与面光束发射模组的开启，采集器30用于输出同步启动信号。具体的，采集器30输出启动信号到驱动单元50，驱动单元50进行激光驱动电流调制和输出，其中线光束发射模组和面光束发射模组对应的驱动电流大小不一样，驱动电流的大小可根据启动信号的确定。在一个实施例中，分时控制单元包括两个输出端口，第一输出端口与线光束发射模组连接，第二输出端口与面光束发射模组连接，两个输出端口配置为反向输出模式，即若第一输
出端口为高电平输出时，则第二输出端口为低电平输出，反之亦然。控制与处理电路选择线扫描探测模式时，发送第一激活信号到采集器30和分时控制单元70，分时控制单元70的第一端口输出高电平，第二端口输出低电平，采集器30输出第一启动信号到驱动单元50，驱动单元50调制输出第一驱动电流以使得线光束发射模组输出合适功率的第一光信号；若控制与处理电路选择面光束探测模式时，发送第二激活信号到采集器30和分时控制单元70，分时控制单元70的第一端口输出低电平，第二端口输出高电平，采集器30输出第二启动信号到驱动单元50，驱动单元50调制输出第二驱动电流以使得面光束发射模组输出合适功率的第二光信号。当控制面光束发射光束时，分时控制单元驱动面光束发射模组发射面光束照射到目标区域进行深度测量；当控制线光束发射模组发射光束时，分时控制单元控制线光束发射模组依次发射线光束对空间区域进行扫描式的深度测量。
41.本技术实施例还提供了一种智能终端，例如扫地机器人，该扫地机器人包括处理器以及上述实施例中的深度相机。在扫地机工作中，通常需要导航以及避障的功能，通过配置本技术实施例的深度相机，即可同时实现导航和避障的功能。其中，面光束发射模组工作时，深度相机可以提供更高的有效空间分辨率，用于细小物体的识别，根据识别信息扫地机器人可进行近距避障；线光束发射模组工作时，可以提供更高精度的深度信息，用于进行三维重建以进行远距导航。
42.本实施例中，电路板为fpc(flexible printed circuit board，柔性印刷电路板)电路板，可以根据扫地机器人的结构进行适应性的弯折。用户可以从设备主体上的显示屏上或者功能按键上选定目标工作模式。也可以通过移动终端进行选定，相应的扫地机器人上设有无线通信单元，移动终端通过无线通信单元与处理器进行数据传输。
43.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
44.作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
45.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
46.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
47.以上为对本发明所提供的深度相机的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。