RGBD立体相机及成像方法与流程

rgbd立体相机及成像方法
技术领域
1.本发明涉及光学成像技术领域，尤其涉及一种rgbd立体相机及成像方法。


背景技术：

2.rgbd立体相机包含了三维信息和色彩信息，因此与传统的二维彩色相机或深度相机相比，可以为各种后端开发提供更多维度的数据输入，具有更重要的应用价值。随着人工智能、机器视觉技术的蓬勃发展，rgbd立体相机必然成为一种不可或缺的信息获取基础设备，在工业制造、自动驾驶以及军事导航等领域都有着广阔的应用前景。
3.当相机具有高分辨率时，所获取的每张图像的数据量十分庞大，在传输接口能够传输的数据带宽有限的情况下，在单位时间内能传输的图像数量会变少，即帧率降低。
4.现有技术中，基于光栅结构光的深度相机测量方案具有精度高的优势，然而其帧率很低，一般不大于5fps。基于tof(time of flight)的立体相机测量方案虽然精度较低，但是其帧率较高，最高可达到30fps帧率。然而，对比于传统二维彩色相机，在相同分辨率下，tof立体相机的帧率远低于二维彩色相机。由此可见，现有技术无法实现高分辨率、高帧率的三维信息和色彩信息同步获取。


技术实现要素：

5.本发明提供一种rgbd立体相机及成像方法，用以解决现有技术中无法实现高分辨率、高帧率的三维信息和色彩信息同步获取的缺陷，实现在帧率不变的情况下提升rgbd图像的帧率。
6.本发明提供一种rgbd立体相机，包括：镜头、第一分光模组、rgb成像模组、第二分光模组、多个tof成像模组和时序控制模块；
7.所述第一分光模组，用于将通过所述镜头入射的第一光束分为第二光束和第三光束；
8.所述rgb成像模组，用于根据入射的所述第二光束，获取所述目标对象的彩色信息；
9.所述第二分光模组，用于将所述第三光束分为多束第四光束，并将每一束所述第四光束分别投射至对应的所述tof成像模组；
10.所述tof成像模组，用于根据入射的所述第四光束，获取所述目标对象的深度信息；
11.所述时序控制模块，与所述rgb成像模组和所述tof成像模组连接，用于控制各所述tof成像模组以目标时序交替输出所述目标对象的深度信息；
12.所述时序控制模块，还用于基于所述目标对象的所述彩色信息和每一所述深度信息，获取rgbd图像；
13.其中，所述第一光束为所述目标对象反射的、通过所述镜头入射的光束，所述第二光束为所述第一光束中的可见光，所述第三光束为所述第一光束中的激光，所述第四光束
的个数与所述tof成像模组的个数一致。
14.根据本发明提供一种的rgbd立体相机，所述第一分光模组包括二向色镜。
15.根据本发明提供的一种rgbd立体相机，所述tof成像模组的数量为两个。
16.根据本发明提供的一种rgbd立体相机，所述tof成像模组包括：tof成像镜头和tof传感芯片。
17.根据本发明提供的一种rgbd立体相机，所述第二分光模组包括若干个分光镜。
18.根据本发明提供的一种rgbd立体相机，所述目标时序为等间隔的时间顺序。
19.根据本发明提供的一种rgbd立体相机，还包括激光发射模块；
20.所述激光发射模块，用于生成第五光束，并投射至所述目标对象。
21.本发明还提供一种rgbd立体相机的成像方法，包括：
22.第一分光模组将通过镜头入射的第一光束分为第二光束和第三光束，以使得第二分光模组将所述第三光束分为多束第四光束，并将每一束所述第四光束分别投射至对应的tof成像模组；
23.rgb成像模组基于入射的第二光束，获取目标对象的彩色信息，并且时序控制模块控制各tof成像模组以目标时序，交替基于入射的第四光束，输出所述目标对象的深度信息；
24.所述时序控制模块基于所述目标对象的所述彩色信息和每一所述深度信息，获取所述rgbd图像；
25.其中，所述第一光束为所述目标对象反射的、通过所述镜头入射的光束，所述第二光束为所述第一光束中的可见光，所述第三光束为所述第一光束中的激光，所述第四光束的个数与所述tof成像模组以及所述深度信息的数量一致。
26.根据本发明提供的一种rgbd立体相机的成像方法，基于所述目标对象的所述彩色信息和所述深度信息，获取所述rgbd图像，包括：
27.基于所述目标对象的所述深度信息、所述彩色信息以及目标映射关系进行图像融合，获取所述rgbd图像；
28.其中，所述目标映射关系为目标对象在所述rgb成像模组和所述tof成像模组之间的像素坐标对应关系。
29.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述成像方法的步骤。
30.本发明提供的rgbd立体相机及成像方法，基于采用多个tof成像模组在周期时间内以目标时序对同一目标进行交替测量，将得到的多组深度信息进行时域补充融合，获取帧率增大的深度信息，并依次将每一组深度信息与色彩信息进行融合，在周期时间内获取数量与tof成像模组个数一致的rgbd图像，能够同时获取高分辨率、高帧率的rgbd图像。
附图说明
31.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
32.图1是本发明提供的rgbd立体相机的结构示意图之一；
33.图2是本发明提供的rgbd立体相机的结构示意图之二；
34.图3是本发明提供的rgbd立体相机的成像方法的流程示意图；
35.图4是本发明提供的tof成像模组接收的激光与发射的激光之间的关系示意图；
36.图5是本发明提供的电子设备的结构示意图。
具体实施方式
37.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.图1是本发明提供的rgbd立体相机的结构示意图之一。如图1所示，本发明实施例提供的rgbd立体相机，包括：镜头110、第一分光模组120、rgb成像模组130、第二分光模组140、多个tof成像模组150和时序控制模块160。
39.可以理解的是，图1中的标有箭头的虚线并不代表模块间的连接关系，仅表示具有方向的光路，而无箭头的实线表示模块之间的连接关系。
40.需要说明的是，由于帧率(frame rate)是用于测量显示帧数的量度，其测量单位为每秒显示帧数(frames per second，fps)。每一帧都是静止的画面，快速连续的多帧形成运动的动态效果。在分辨率不变的情况下，较高的帧率可以在单位时间内得到数量更多的画面。
41.对于rgbd立体相机的应用场景，本发明实施例对此不作具体限定。例如，可以是工业生产线在线检测、智能交通监控或者军事科技等。
42.对于任一应用场景，包括rgbd立体相机、待拍摄的对象、可见光光源和激光光源，其中，rgbd立体相机的测量光路是接收由两种光源在当前环境下在待拍摄的对象上的反射光束，并将其转换成对应的数字信号。
43.具体地，rgbd立体相机设置有镜头110、第一分光模组120、rgb成像模组130、第二分光模组140、多个tof成像模组150和时序控制模块160，时序控制模块160可以将不同tof成像模组的测量周期错开，以使得多个tof成像模组150在单位时间内能够交替输出深度信息，并与rgb成像模组130输出的彩色信息进行融合，在单位时间能够得到多个rgbd图片信息。
44.优选地，tof成像模组150的数量至少为两个。
45.第一分光模组120，用于将通过镜头110入射的第一光束分为第二光束和第三光束。
46.其中，第一光束为目标对象反射的、通过镜头入射的光束，第二光束为第一光束中的可见光，第三光束为第一光束中的激光。
47.需要说明的是，在第一分光模组120工作之前，镜头110接收由待拍摄的对象的反射光束，并将该光束传输至第一分光模组120。其中，光束包括自然光投射至待拍摄的对象的反射光和光源投射至待拍摄的对象的反射光。
48.第一光束，是指待拍摄的对象的反射光束，用于作为镜头110的入射光束。
49.第二光束，是指从第一光束中剥离出的波长处于可见光波长范围内的光。
50.第三光束，是指从第一光束中剥离出的波长处于激光波长范围内的光，其中，按照波长分激光有中远红外激光、近红外激光、可见光激光、紫外激光等多种类别，本发明实施例对激光的类型不作具体限定。
51.优选地，激光是经过在不同时间下按照正弦周期进行光强调制的激光。
52.具体地，第一分光模组120接收到经由镜头110的第一光束，可以对第一光束进行分光，分别得到第二光束和第三光束，并将第二光束投射至rgb成像模组130，而第三光束投射至第二分光模组140。
53.其中，第一分光模组120用于对可见光和激光进行分离，本发明实施例对第一分光模组120的工作方法不作具体限定。
54.例如，第一分光模组120可以包含普通分光棱镜和多个滤光片，通过镜头110的可见光和激光混合后，会被分光棱镜均匀分为两份，每一份中都包含等量的可见光和激光。在rgb成像模组130之前设置滤光片，使得rgb成像模组130只接收可见光并成像，以屏蔽激光干扰。在tof成像模组150之前设置另一个滤光片，使得tof成像模组150只接收激光并成像，以屏蔽激光波段中意外光束干扰。
55.rgb成像模组130，用于根据入射的第二光束，获取目标对象的彩色信息。
56.需要说明的是，目标对象是指任一应用场景中的待拍摄的对象，该对象可以是生物(人、动物等)或者物体。
57.具体地，rgb成像模组130接收由第一分光模组120分出的可见光(即第二光束)，并经由rgb成像模组130可以将入射的光信号转换为rgb数字信号，并能够依此获得目标对象的彩色信息。
58.rgb数字信号为rgb彩色图像中的像素信息，每一个像素的颜色均使用红(r)、绿(g)、蓝(b)三个分量进行合成。对一个任意尺寸n*m的彩色图像来说，其像素信息为一个n*m*3的多维数据数组，其中数组中的元素定义了图像中每一个像素的彩色信息(即每一个像素的红、绿、蓝颜色值)。
59.第二分光模组140，用于将第三光束分为多束第四光束，并将每一束第四光束分别投射至对应的tof成像模组150。
60.第四光束的个数与tof成像模组150的个数一致。
61.具体地，第二分光模组140接收来自第一分光模组120剥离出的激光(即第三光束)，并把第二光束分为两束或多束的第四光束，使每一束第三光束作为一个tof成像模组150的入射光。
62.可以理解的是，第二分光模组140用于对第三光束进行分光，本发明实施例对第二分光模组140的工作方法不作具体限定。
63.例如，第二分光模组140可以包括普通的分光棱镜，通过第一分光模组120的第三光束，会被第二分光模组140中的分光棱镜均匀分为两束等份的第四光束或者多束等份的第四光束，并投射至tof成像模组150。其中，每一份第四光束中的光强都相等，且第四光束的数量与tof成像模组150的数量对应，本发明实施例对第四光束的数量不作具体限定。
64.tof成像模组150，用于根据入射的第四光束，获取目标对象的深度信息。
65.需要说明的是，飞行时间(time of flight，tof)法3d成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行往返时间来得到目标物距离。
66.深度信息是深度图(depth map)中包含的每个像素值的信息。其中，深度图(depth map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，与灰度图像类似，但不同于灰度图的是深度图的每个像素值是传感器距离物体的实际距离。
67.具体地，tof成像模组150接收由第二分光模组140分出的第四光束，并经由tof成像模组150可以将光信号转换为depth数字信号，并能够依此获得目标对象的深度信息。
68.depth数字信号为深度图(depth map)中的像素信息，每一个像素值类似灰度图像，即只有一个通道，其灰度级代表像素点的亮暗差别。但不同于灰度图的是，depth数字信号中的每一个像素值是tof传感器距离物体的实际距离，即深度值越小(即越接近于0)，tof传感器距离物体的实际距离越近，反之则实际距离越远。
69.可以理解的是，通常rgb图像和深度图(depth map)是配准的，即像素点之间具有一对一的对应关系。
70.时序控制模块160，与rgb成像模组130和tof成像模组150连接，用于控制各tof成像模组以目标时序交替输出目标对象的深度信息。
71.需要说明的是，时序控制模块160分别与rgb成像模组130和tof成像模组150连接。
72.对于与rgb成像模组130的连接，用于接收rgb成像模组130生成的彩色信息。
73.对于与tof成像模组150的连接，一方面以目标时序发送指令，控制tof成像模组150进行成像，另一方面在目标时序接收对应的tof成像模组150生成的深度信息。
74.目标时序是各个tof成像模组150以相同的相位延迟的时间窗口上各自进行测量的时间顺序。
75.具体地，时序控制模块160可以以目标时序向对应的tof成像模组150发送指令，以使得各个tof成像模组150在测量周期内按照目标时序交替工作，获取对应的深度信息。
76.优选地，相位延迟是根据测量周期与tof成像模组150的数量获取的，即将周期按照tof成像模组150的数量进行等分，本发明实施例对相位延迟的取值不作具体限定。
77.时序控制模块160，还用于基于目标对象的彩色信息和每一组深度信息，获取rgbd图像。
78.需要说明的是，由于rgb图像和深度图(depth map)是配准的，所以二者之间的坐标具有一一对应的映射关系。
79.rgbd图像，实质上是两幅图像。其中，一幅是普通的rgb三通道彩色图像，用于反映物体在真实环境中的彩色信息。另一幅是单通道的深度图，用于反映物体表面的各个点在真实环境中的距离信息，从而反映了物体表面的几何形状。
80.具体地，在目标时序中，时序控制模块160利用rgb成像模组130获取到的彩色信息分别与对应的tof成像模组150得到的深度信息之间的坐标映射关系，将色彩信息融合到深度信息中，直至将固定的时间周期内的多个tof成像模组150获取的深度信息均分别与rgb成像模组130获取的彩色信息融合成完毕，生成多组彩色深度信息，即多幅rgbd图像。
81.其中，每个周期内输出的rgbd图像的数量和tof成像模组150的数量一致，本发明实施例对此不作具体限定。
82.下面举例说明rgbd立体相机中交替生成深度信息的具体实施方式。
83.例如，rgbd立体相机可以包含三个tof成像模组150，三个tof成像模组之间的相位延迟则为360
°
/3＝120
°
，即第一个tof成像模组150的一个周期内四次采样时刻t1、t2、t3、t4分别比第二个成像模组的对应采样时刻t1′
、t2′
、t3′
、t4′
延迟120
°
相位的时间间隔。同理，第二个tof成像模组150的一个周期内四次采样时刻分别比第三个tof成像模组150延迟120
°
相位的时间间隔。
84.在第一时刻t1，时序控制模块160驱动第一个tof成像模组150工作，并将获取的深度信息与rgb成像模组130获取彩色信息融合成对应的第一幅rgbd图像。在第二时刻t2＝t1+δt，时序控制模块160驱动第二个tof成像模组150工作，并将获取的深度信息与rgb成像模组130获取彩色信息融合成对应的第二幅rgbd图像，同理在第三时刻t3＝t2+δt会合成对应的第三幅rgbd图像。其中，δt是采样周期延迟120
°
相位的时间间隔。
85.一般的rgbd立体相机的测量光路只包括一个tof成像模组，在某一分辨率下，在周期时间内进行采样后只能输出一张深度图进行rgbd图像的融合，进而导致在获取高分辨率的图像时，单位时间内可以获取的图像少，即帧率低。而在获取高帧率的图像时，为了使单位时间内可以获取更多的图像，需要缩短每一幅图像传输的周期时间，即降低图像分辨率。
86.本发明实施例基于采用多个tof成像模组在周期时间内以目标时序对同一目标进行交替测量，将得到的多组深度信息进行时域补充融合，获取帧率增大的深度信息，并依次将每一组深度信息与色彩信息进行融合，在周期时间内获取数量与tof成像模组个数一致的rgbd图像，能够同时获取高分辨率、高帧率的rgbd图像。
87.图2是本发明提供的rgbd立体相机的结构示意图之二。如图2所示，在上述任一实施例的基础上，第一分光模组230包括二向色镜。
88.需要说明的是，二向色镜对一定波长的光几乎完全透过，而对另一些波长的光几乎完全反射。
89.具体地，将第一分光模组230设置为二向色镜，接收到经由镜头220的第一光束，可以将该第一光束进行光谱分光，得到第二光束和第三光束。
90.其中，由于二向色镜在可见光波段的透射率高，第一光束可以以极低的衰减透过二向色镜成为第二光束，而二向色镜在激光的波段反射率高，第一光束可以以极低的衰减被二向色镜反射得到第三光束。
91.本发明实施例基于二向色镜对接收的光束进行光谱分光，降低了分光过程中造成的激光损耗。
92.在上述任一实施例的基础上，tof成像模组260的数量为两个。
93.具体地，rgbd立体相机设置两个tof成像模组260，每一个tof成像模组260接收由第二分光模组250分出的第四光束，并进行成像，能够获得目标对象的两组深度信息。
94.本发明实施例基于两个tof成像模组，能够输出两组深度信息。二者内容近乎一致，且测量周期相同，又由于二者的测量时序相差了半个周期，所以当二者交替输出深度信息时，在原有的测量周期内可以输出两组深度信息。设置两个tof成像模组组成的测量光路较为简单，能过度避免增加相机的体积，还能提高帧率。
95.在上述任一实施例的基础上，tof成像模组260包括：tof成像镜头261和tof传感芯片262。
96.具体地，rgbd立体相机中的每一个tof成像模组260都是由一个tof成像镜头261和tof传感芯片262组成，精密调节tof成像镜头261和tof传感芯片262，使tof传感芯片262上可以清晰获得目标对象的深度信息。
97.tof成像镜头261用于对任一tof成像模组260对应的第四光束进行变换(调制)。
98.tof传感芯片用于对由tof成像镜头261调制后的第四光束，在tof传感芯片262上成像，并获得目标对象的深度信息。
99.其工作原理是利用感光二极管(photodiode)进行光与电的转换，将图像转换为数字信息，其中，不同类型的传感芯片区别在于数字信号传送方式的不同。
100.例如tof传感芯片262可以为电荷耦合元件(ccd传感芯片)或者互补金属氧化物半导体(complementary metal oxide semiconductor，cmos传感芯片)，本发明实施例对tof传感芯片的类型不作具体限定。
101.相应地，rgb成像模组240也同样包括：rgb成像镜头241和rgb传感芯片242。
102.具体地，rgbd立体相机中的rgb成像模组240是由一个rgb成像镜头241和rgb传感芯片242组成，精密调节rgb成像镜头241和rgb传感芯片242，使rgb传感芯片242上可以清晰获得目标对象的彩色信息。
103.rgb成像镜头241用于对rgb成像模组240对应的第二光束进行变换(调制)。
104.rgb传感芯片用于对由rgb成像镜头241调制后的第二光束，在rgb传感芯片242上成像，并获得目标对象的彩色信息。
105.rgb传感芯片242可以为电荷耦合元件(ccd传感芯片)或者互补金属氧化物半导体(complementary metal oxide semiconductor，cmos传感芯片)，本发明实施例对rgb传感芯片的类型不作具体限定。
106.本发明实施例基于每束第四光束入射至tof成像模组后，精密调节tof成像镜头与tof传感芯片，使tof传感芯片上可以清晰成像，并获得用于表征目标对象三维信息的深度信息。利用tof成像镜头和tof传感芯片对入射光调制并成像，能够提高成像的分辨率。
107.在上述任一实施例的基础上，第二分光模组250包括若干个分光镜。
108.具体地，将第二分光模组250中可以设置若干个分光镜，以使得经由第二分光模组250的第三光束能够被平均分为与tof成像模组260个数一致的第四光束，本发明实施例对分光镜的个数不作具体限定。
109.优选地，第二分光模组250中可以设置一个分光镜，第三光束被分光镜以1:1比例分为两束第四光束，每束第四光束经由各自的tof成像镜头261后，在tof传感芯片262上成像。
110.本发明实施例基于对分出的第三光束，可以利用若干个分光镜进行分光，得到与tof成像模组数量一致的第四光束。进而，在测量周期内使能多的tof成像模组交替输出深度信息，能够在光路设计简单的前提下提高帧率。
111.在上述任一实施例的基础上，所述目标时序为等间隔的时间顺序。
112.具体地，目标时序是根据测量周期与tof成像模组150的数量获取的，即将周期按照tof成像模组150的数量进行等分。
113.时序控制模块160可以以等间隔目标时序向对应的tof成像模组150发送指令，以使得各个tof成像模组150在测量周期内按照目标时序交替工作，获取对应的深度信息。
114.本发明实施例基于等间隔的时间顺序，使得多个tof成像模组交替工作，能够提高成像的帧率。
115.在上述任一实施例的基础上，rgbd立体相机还包括激光发射模块210。
116.具体地，rgbd立体相机可以在外部设置激光光源，也可以在rgbd立体相机内部设置激光发射模块210，本发明实施例对激光光源的设置位置不作具体限定。
117.优选地，在rgbd立体相机内部设置激光发射模块210，能够根据发射的激光光源和tof成像模组260获取目标对象的深度信息。
118.激光发射模块210，用于生成第五光束，并投射至目标对象。
119.可选地，第五光束为正弦调制连续激光光束。
120.具体地，激光发射模块210将第五光束投射至目标对象并反射生成第一光束，第一光束经由镜头220接收并传输到第一分光模组230。
121.其中，第一光束包含目标对象反射的激光光束和可见光光束。
122.本发明实施例基于在rgbd立体相机内部设置激光发射模块，由该模块发射的激光可以接近于垂直投射在目标对象表面，能够避免光路浪费。
123.图3是根据本发明实施例提供的rgbd立体相机的成像方法的流程示意图。如图3所示，基于上述任一实施例的内容，rgbd立体相机的成像方法，包括：步骤s301、第一分光模组将通过镜头入射的第一光束分为第二光束和第三光束，以使得第二分光模组将第三光束分为多束第四光束，并将每一束第四光束分别投射至对应的tof成像模组。
124.其中，第一光束为目标对象反射的、通过镜头入射的光束，第二光束为第一光束中的可见光，第三光束为第一光束中的激光，第四光束的个数与tof成像模组的数量一致。
125.需要说明的是，rgbd立体相机的光路设计方案为调制激光投射至目标对象并产生的反射光为第一光束，以第一光束作为rgbd立体相机镜头的入射光。
126.其中，第一光束包含两部分，一部分是可见光在目标对象表面形成的反射光，另一部分是调制激光在目标对象表面形成的反射光。
127.具体地，将经由rgbd立体相机镜头调制的第一光束作为第一分光模组进行光谱分光，从其中剥离出具有可见光波段的第二光束和具有调制激光波段的第三光束。
128.第二光束作为rgb成像模组的入射光并成像，第三光束经由第二分光模组分为多束第四光束，并由第四光束作为tof成像模组的入射光并成像。
129.优选地，将正弦调制连续激光光束发射到目标对象表面并反射，反射的激光光束和可见光经由rgbd立体相机的镜头接收并传输到二向色镜。使用二向色镜对反射的可见光和反射的激光进行光谱分光。
130.对于分出的可见光光束，使用rgb成像模组对可见光光束进行测量。
131.对于分出的激光光束，再用普通分光镜进行分光，得到两束包含有目标对象的三维信息的激光光束，使用两个tof成像模组分别对两束激光光束进行测量。
132.步骤s302、rgb成像模组基于入射的第二光束，获取目标对象的彩色信息，并且时序控制模块控制各tof成像模组以目标时序，交替基于入射的第四光束，输出目标对象的深度信息。
133.第四光束的个数与tof成像模组以及深度信息的数量一致。
134.需要说明的是，目标对象是rgbd立体相机的拍摄物体。
135.目标时序是各个tof成像模组以相同的相位延迟的时间窗口上各自进行测量的时间顺序。
136.具体地，rgb成像模组可以直接对入射的第二光束进行成像，能够获取目标对象的彩色信息。同时，时序控制模块向各tof成像模组发送指令，以控制各tof成像模组可以按照目标时序对对应的第四光束成像，能够获取目标对象的深度信息
137.优选地，二向色镜分出的第二光束由rgb成像模组进行调制后成像，输出目标对象的彩色信息。使用两个tof成像模组分别对两束第四光束进行测量，并输出同一目标对象的深度信息。在输出深度信息的过程中，时序控制模块驱动两个tof成像模组分时工作，并将获得的深度信息进行时域上的补充融合，本发明实施例对深度信息的时域融合不作具体限定。
138.图4是tof成像模组接收的激光与发射的激光之间的关系示意图。如图4所示，下面举例说明深度信息进行时域融合的具体实施方式。
139.例如，每个tof成像模组中的tof传感芯片像素的深度信息可以由对应的发射激光和接收激光之间的相位延迟表征：
[0140][0141]
其中，d为每个像素的深度信息，f
m
为正弦激光光束的频率，c为光速，i1、i2、i3、i4为该像素在t1、t2、t3、t4四个依次相差90
°
相位延迟的时间窗口上的积分电信号。
[0142]
时序控制模块控制rgbd立体相机中的两个tof传感芯片之间的测量时序，令二者在差距180
°
相位延迟的时间窗口上各自进行测量，即一个tof传感芯片的一个周期内四次采样时刻t1、t2、t3、t4分别比另一个tof传感芯片的对应采样时刻t1′
、t2′
、t3′
、t4′
延迟180
°
相位的时间间隔。至此，两个tof成像模组可以获得关于同一目标对象的两组深度信息。
[0143]
可以理解的是，在步骤s303之前，需要对两组深度信息校准和标定，以使得对于同一目标对象的两组深度信息统一。
[0144]
通过精密调节两个tof成像镜头与各自对应的tof深度传感芯片，使两个tof深度传感芯片获得的目标图像近似一致。
[0145]
再通过标定操作，进一步获取两个芯片之间二维像素坐标系下的像素坐标对应关系，统一二维像素坐标系。
[0146]
同时，采用深度校准方法，建立两个传感芯片测量得到的深度信息与真实深度的检索关系，并以此统一两个传感芯片之间获得的深度信息。最终，使得两个tof深度传感芯片对于同一个目标的深度测量结果近乎一致。
[0147]
两个tof传感芯片输出深度信息的周期相同，且输出深度信息近乎一致，又由于二者的测量时序相差了半个周期，所以当二者交替输出深度信息时，可以使测量帧率提升为单一tof传感芯片测量帧率的一倍，且二者使用同一套激光发射模块，无需额外引入新激光光源。
[0148]
步骤s303、时序控制模块基于目标对象的彩色信息和每一深度信息，获取rgbd图像。
[0149]
需要说明的是，任一tof传感芯片以目标时序输出对应的深度信息，并将深度信息发送至时序控制模块。同理，rgb传感芯片输出的彩色信息也发送至时序控制模块。
[0150]
具体地，时序控制模块在目标时序中接收对应tof传感芯片输出每一个对应的深度信息后，都要与rgb传感芯片输出的彩色信息进行融合，能够获取与目标时序对应的rgbd图像。
[0151]
可以理解的是，在深度信息和彩色信息融合的过程，也需要对二者进行校准和标定，以使得对于同一目标对象输出的信息具有统一性。
[0152]
一般的rgbd立体相机的测量光路只包括一个tof成像模组，在某一分辨率下，在周期时间内进行采样后只能输出一张深度图进行rgbd图像的融合，进而导致在获取高分辨率的图像时，单位时间内可以获取的图像少，即帧率低。而在获取高帧率的图像时，为了使单位时间内可以获取更多的图像，需要缩短每一幅图像传输的周期时间，即降低图像分辨率。
[0153]
本发明实施例基于采用多个tof成像模组在周期时间内以目标时序对同一目标进行交替测量，将得到的多组深度信息进行时域补充融合，获取帧率增大的深度信息，并依次将每一组深度信息与色彩信息进行融合，在周期时间内获取数量与tof成像模组个数一致的rgbd图像，能够同时获取高分辨率、高帧率的rgbd图像。
[0154]
在上述任一实施例的基础上，基于目标对象的彩色信息和深度信息，获取rgbd图像，包括：基于目标对象的深度信息、彩色信息以及目标映射关系进行图像融合，获取rgbd图像。
[0155]
其中，目标映射关系为目标对象在rgb成像模组和tof成像模组之间的像素坐标对应关系。
[0156]
需要说明的是，由于rgb图像和深度图(depth map)的坐标具有一一对应的映射关系，所以根据这种映射关系对深度信息和彩色信息进行融合。
[0157]
具体地，时序控制模块在目标时序中接收对应tof传感芯片输出每一个对应的深度信息后，根据目标映射关系，将具有相同像素坐标点的深度信息和彩色信息进行拼接融合，获得rgbd图像中对应像素坐标内的rgbd信息。
[0158]
可以理解的是，深度信息与彩色信息融合中也需要较准和标定，本发明实施例对此过程不作具体限定。
[0159]
优选地，通过标定操作，获取目标图像在rgb传感芯片和任一tof传感芯片之间的像素坐标对应关系，即完成双目标定。从而可获得两个传感芯片像素坐标系之间的旋转矩阵、平移矩阵。
[0160]
利用该旋转矩阵、平移矩阵，即可完成同一目标像素点在rgb传感芯片和tof传感芯片之间对应像素的坐标映射，将rgb传感芯片上目标像素点的色彩信息映射、融合到tof深度传感芯片上对应像素点的深度信息上。
[0161]
本发明实施例基于目标映射关系对任一深度信息和彩色信息进行图像在完成校准标定的基础上进行rgbd图像的融合，能够提高rgbd图像的质量。
[0162]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communicationsinterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行rgbd立体相机的成像方法，该方法包括：第一分光模组将通过镜头入射的第一光束分为第二光束和第三光束，以使得第二分光模组将第三光束分为多束第四光束，并将每一束第四光束分别投射至对应的tof成像模
组；rgb成像模组基于入射的第二光束，获取目标对象的彩色信息，并且时序控制模块控制各tof成像模组以目标时序，交替基于入射的第四光束，输出目标对象的深度信息；时序控制模块基于目标对象的彩色信息和每一深度信息，获取rgbd图像；其中，第一光束为目标对象反射的、通过镜头入射的光束，第二光束为第一光束中的可见光，第三光束为第一光束中的激光，第四光束的个数与tof成像模组以及深度信息的数量一致。
[0163]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0164]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的rgbd立体相机的成像方法，该方法包括：第一分光模组将通过镜头入射的第一光束分为第二光束和第三光束，以使得第二分光模组将第三光束分为多束第四光束，并将每一束第四光束分别投射至对应的tof成像模组；rgb成像模组基于入射的第二光束，获取目标对象的彩色信息，并且时序控制模块控制各tof成像模组以目标时序，交替基于入射的第四光束，输出目标对象的深度信息；时序控制模块基于目标对象的彩色信息和每一深度信息，获取rgbd图像；其中，第一光束为目标对象反射的、通过镜头入射的光束，第二光束为第一光束中的可见光，第三光束为第一光束中的激光，第四光束的个数与tof成像模组以及深度信息的数量一致。
[0165]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的rgbd立体相机的成像方法，该方法包括：第一分光模组将通过镜头入射的第一光束分为第二光束和第三光束，以使得第二分光模组将第三光束分为多束第四光束，并将每一束第四光束分别投射至对应的tof成像模组；rgb成像模组基于入射的第二光束，获取目标对象的彩色信息，并且时序控制模块控制各tof成像模组以目标时序，交替基于入射的第四光束，输出目标对象的深度信息；时序控制模块基于目标对象的彩色信息和每一深度信息，获取rgbd图像；其中，第一光束为目标对象反射的、通过镜头入射的光束，第二光束为第一光束中的可见光，第三光束为第一光束中的激光，第四光束的个数与tof成像模组以及深度信息的数量一致。
[0166]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0167]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0168]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。