一种深度融合的深度相机及智能设备的制作方法

本发明涉及深度测量，具体地，涉及一种深度融合的深度相机及智能设备。

背景技术：

1、深度测量技术可以获得目标对象的深度数据，从而可以获得rgbd等带有深度信息的3d图像。相比于2d图像，3d图像包含更多的数据，可以实现对目标的更好识别，并且由于技术的发展，目前已经在人脸识别、3d建模、vr等领域获得应用。深度测量技术以双目技术成本最低，设备最成熟，但因其计算量大，计算过程复杂导致其应用受限。

2、双目立体视觉在获得原始数据后的深度测量过程，如下：

3、1、对原始图像校正，校正后的两张图像位于同一平面且互相平行。

4、2、对校正后的两张图像进行像素点匹配。

5、3、根据匹配结果计算每个像素的深度，从而获得深度图。

6、在过程2中，对像素点进行匹配的过程是耗时最长的过程，也是众多研究的关键所在。目前对于双目立体视觉的像素点匹配，主要有两种方案：

7、1)基于滑动窗口的图像匹配；

8、2)基于能量优化的图像匹配。

9、基于滑动窗口的匹配方法可以计算得到深度图，但是这种方法匹配效果并不好，而且由于要逐点进行滑动窗口匹配，计算效率也很低。

10、基于能量优化的匹配方法利用图像的全局约束信息，通过构建包括匹配代价的数据项和平滑项的全局能量函数，然后通过对其最小化以求得最终视差图。全局算法一般有置信度传播、图割、动态规划等算法，目前为止全局算法都是在这几种算法的基础上进行改进的。

技术实现思路

1、为此，本发明通过与激光投射器同时使用的第一接收器和第二接收器，在获得tof深度数据的同时，也获得双目图像数据，在较少的设备下可以同时获得两种不同类型的数据，提高了数据的获取效率，同时利用tof深度数据对对应的双目深度数据进行限定，使得全局能量函数的匹配范围大大减小，大大减少了局部极值问题，同时也减少了计算量，在提高数据质量的同时，提高了响应速度。

2、第一方面，本发明提供一种深度融合的深度相机，其特征在于，包括：

3、激光投射器，用于向目标对象投射红外光线；

4、第一接收器，用于接收所述红外光线的第一反射信号；其中，所述第一反射信号用于获得所述目标对象的tof深度数据；

5、第二接收器，用于接收所述红外光线的第二反射信号；其中，所述第一接收器与所述第二接收器同时曝光，构成双目系统；

6、处理器，用于对所述第一反射信号和所述第二反射信号生成的双目图像数据根据能量函数进行匹配，并利用所述tof深度数据对每次匹配的范围进行限制，从而快速得到准确的匹配结果。

7、可选地，所述的一种深度融合的深度相机，其特征在于，所述处理器的处理步骤包括：

8、步骤s1:获得相对应的tof深度数据和双目图像数据；

9、步骤s2：获取所述双目图像上每一像素所对应的所述tof深度数据，并将所述tof深度数据作为该像素的双目初始深度测量值；

10、步骤s3：根据拍摄参数，计算所述初始深度测量值对应的视差；

11、步骤s4：在所述双目图像上，以所述视差为中心，设置窗口进行匹配；

12、步骤s5：在所述窗口内根据能量函数得到最佳匹配得分位置，作为最终匹配结果；

13、步骤s6：遍历双目图像上所有像素点，得到所有图像像素的匹配结果。

14、可选地，所述的一种深度融合的深度相机，其特征在于，所述步骤s4包括：

15、步骤s41：在所述双目图像上，将所述视差设置为中心；

16、步骤s44：围绕所述中心设置固定大小的第一窗口；

17、步骤s45：对窗口内的像素点的tof深度数据进行判断，并将与所述中心对应的tof深度数据在第一阈值内的像素点作为集合，形成第二窗口；

18、步骤s46：对所述第二窗口内的所有位置进行匹配。

19、可选地，所述的一种深度融合的深度相机，其特征在于，所述步骤s4包括：

20、步骤s41：在所述双目图像上，将所述视差设置为中心；

21、步骤s47：围绕所述中心设置窗口；所述窗口的大小与所述tof深度数据的误差成正比；

22、步骤s48：对所述窗口内的所有位置进行匹配。

23、可选地，所述的一种深度融合的深度相机，其特征在于，在所述步骤s6中，按照所述tof深度数据将所述双目图像分为若干个区域，并按区域对所述双目图像的像素点进行匹配，且所述若干个区域之间有重叠。

24、可选地，所述的一种深度融合的深度相机，其特征在于，所述第一接收器与所述第二接收器等距离地布置在所述激光投射器两侧。

25、可选地，所述的一种深度融合的深度相机，其特征在于，所述第一接收器为红外接收器，所述第二接收器为rgb传感器。

26、可选地，所述的一种深度融合的深度相机，其特征在于，所述rgb传感器位于所述红外接收器与所述激光投射器构成的tof系统的光轴上。

27、第二方面，本发明提供一种深度融合的深度相机，其特征在于，包括：

28、激光投射器，用于向目标对象投射红外光线；

29、第一接收器，用于接收所述红外光线的第一反射信号；其中，所述第一反射信号用于获得所述目标对象的tof深度数据；

30、第二接收器，用于接收所述红外光线的第二反射信号；其中，所述第一接收器与所述第二接收器构成双目系统；

31、处理器，用于对所述tof深度数据进行判断，若所述tof深度数据的值在第一范围，则以所述tof深度数据的值为所述位置的最终深度值；若所述tof深度数据的值在第二范围，则计算所述位置的双目系统的深度数据，并作为所述位置的最终深度值；其中，在计算所述双目系统的深度数据时，对所述第一反射信号和所述第二反射信号生成的双目图像数据根据能量函数进行匹配，并利用所述tof深度数据对每次匹配的范围进行限制，从而快速得到准确的匹配结果。

32、第三方面，本发明提供一种智能设备，其特征在于，包含上述任意一项所述深度融合的深度相机。

33、与现有技术相比，本发明具有如下的有益效果：

34、本发明通过第一接收器与第二接收器同时与激光投射器配合使用，可以在更小的空间内实现更多的数据获取，提高数据获取效率，并节省设备空间，有利于设备的小型化。

35、本发明利用tof深度数据获得快，无需复杂计算的特点，通过对tof深度数据的处理，降低双目深度数据处理的量，从而节约了时间，提高了出图速度，降低了响应时间。

36、本发明对tof深度数据作为双目深度数据的初始值，可以大大缩小匹配的范围，充分利用算力，快速得到最终匹配结果，可以更好地应用于各种需要双目的场景。

37、本发明通过对匹配范围的限制，使得基于能量优化的全局算法在局部进行匹配，解决了局部极值问题，使得匹配更加准确。

技术特征：

1.一种深度融合的深度相机，其特征在于，包括：

2.根据权利要求1所述的一种深度融合的深度相机，其特征在于，所述处理器的处理步骤包括：

3.根据权利要求2所述的一种深度融合的深度相机，其特征在于，所述步骤s4包括：

4.根据权利要求2所述的一种深度融合的深度相机，其特征在于，所述步骤s4包括：

5.根据权利要求1所述的一种深度融合的深度相机，其特征在于，在所述步骤s6中，按照所述tof深度数据将所述双目图像分为若干个区域，并按区域对所述双目图像的像素点进行匹配，且所述若干个区域之间有重叠。

6.根据权利要求1所述的一种深度融合的深度相机，其特征在于，所述第一接收器与所述第二接收器等距离地布置在所述激光投射器两侧。

7.根据权利要求1所述的一种深度融合的深度相机，其特征在于，所述第一接收器为红外接收器，所述第二接收器为rgb传感器。

8.根据权利要求7所述的一种深度融合的深度相机，其特征在于，所述rgb传感器位于所述红外接收器与所述激光投射器构成的tof系统的光轴上。

9.一种深度融合的深度相机，其特征在于，包括：

10.一种智能设备，其特征在于，包含权利要求1至9中任意一项所述深度融合的深度相机。

技术总结
一种深度融合的深度相机及智能设备。一种深度融合的深度相机，包括：激光投射器，用于向目标对象投射红外光线；第一接收器，用于接收所述红外光线的第一反射信号；其中，所述第一反射信号用于获得所述目标对象的TOF深度数据；第二接收器，用于接收所述红外光线的第二反射信号；其中，所述第一接收器与所述第二接收器同时曝光，构成双目系统；处理器，用于对所述第一反射信号和所述第二反射信号生成的双目图像数据根据能量函数进行匹配，并利用所述TOF深度数据对每次匹配的范围进行限制，从而快速得到准确的匹配结果。本发明利用TOF深度数据对应的双目深度数据进行限定，大大减小了双目数据的计算量，可以更快地获得双目深度数据，在提高数据质量的同时，也提高了响应速度。

技术研发人员：杨煦,黄龙祥,侯俊峰,王刚,朱力,吕方璐,汪博
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：
技术公布日：2024/2/19