一种结构光数据与TOF数据深度融合的深度相机的制作方法

本发明涉及图像数据处理领域，具体地，涉及一种结构光数据与tof数据深度融合的深度相机。

背景技术：

1、随着“懒人经济”的发展，家用扫地机的市场规模越来越大，其智能程度也一直在提高，自动导航、自动避障，自动清洁，这些功能越来越常见。其中自动避障功能主要依赖3d视觉传感器，主流的如线结构光传感器、双目立体相机、tof相机、单目散斑结构光深度传感器。

2、这些传感器各有优缺点，线结构光可以完整的重建出激光亮条纹处的场景深度，但其深度视场小；双目立体相机在弱纹理处容易匹配失败导致深度重建失败，且计算量大；tof相机会有多径效应，导致墙角等场景容易深度失真，影响测距结果，且飞点较多，干扰障碍物分割；单目散斑结构光在细小障碍物处容易深度缺失。

3、为了能够使得扫地机避障效果能够尽可能的满足家庭各种常见场景，提高用户的使用体验，需要解决上述单一视觉传感器带来的各种弊端，为此，我们发明了一种深度融合算法，能够很好的将单目散斑结构光深度数据与tof深度数据进行融合，发挥各自的长处，规避各自的缺点。

技术实现思路

1、为此，本发明将结构光技术与tof技术结合使用，获取同一场景的两种深度数据，通过对点云数据的处理，获得高精度、完整、准确的深度数据，使得三维重建效果更好。

2、第一方面，本发明提供一种结构光数据与tof数据深度融合的深度相机，其特征在于，包括：

3、激光投射器，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；

4、光束接收器，用于接收经所述目标物体反射的所述激光光束；

5、处理器，用于根据所述激光光束发射信号与接收信号的相位差获得tof深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述tof深度数据和所述结构光深度数据重建得到tof3d点云和结构光3d点云，再根据所述结构光3d点云对所述tof3d点云进行校正,将所述结构光深度数据与所述tof深度数据融合得到高精度深度数据。

6、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述处理器包括：

7、获取模块，用于获取同一场景的结构光深度数据和tof深度数据，并分别生成结构光3d点云和tof3d点云；

8、结构光模块，用于在所述结构光3d点云中识别出平面，并进行平面拟合；

9、tof模块，用于在所述tof3d点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

10、校正模块，用于利用所述结构光深度数据校正所述tof深度数据中所述障碍物的深度值；

11、融合模块，用于融合所述结构光深度数据与校正后的所述tof深度数据，得到高精度深度数据。

12、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述结构光模块包括：

13、中心点单元，用于在所述结构光3d点云中识别出地面，并识别出相邻地面的分割线；

14、分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

15、拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

16、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述结构光模块包括：

17、继承单元，用于获取前一图像中分割线位置；

18、微调单元，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

19、分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

20、拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

21、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述tof模块包括：

22、对齐单元，用于将所述结构光深度数据与所述tof深度数据对齐；

23、第一标记单元，用于在所述tof3d点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

24、法向量单元，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

25、第二标记单元，用于当夹角a大于第二阈值时，将该像素点标记为第一像素；

26、第三标记单元，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

27、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述校正模块包括：

28、对齐单元，用于将所述结构光深度数据和所述tof深度数据对齐；

29、第一校正单元，用于所述结构光深度数据，对所述障碍物的对应的所述tof深度数据进行校正；

30、第二校正单元，用于根据校正过的所述tof深度数据，对未校正的所述tof深度数据进行校正。

31、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：1。

32、可选地，所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：2。

33、第二方面，本发明提供一种机器人，其特征在于，包含上述任一项所述的一种长距离测量深度相机。

34、第三方面，本发明提供一种车辆，其特征在于，包含上述任一项所述的一种长距离测量深度相机。

35、与现有技术相比，本发明具有如下的有益效果：

36、本发明同时采用结构光技术和tof技术，利用了两种技术各自的特点，互相取长补短，使得最终的深度数据质量优于单一技术的质量，可以获得更准确、全面的三维重建效果，从而使得避障、导航等应用更加准确。

37、本发明通过将3d点云划分为地面附近部分和地面附近以上部分，可以更好地对障碍物进行辨别，尤其对于小体积、小高度的障碍物具有较好的识别效果，从而使得对目标的判断更加准确，从而使得如扫地机器人等设备对于目标对象的判断更加准确。

38、本发明利用结构光技术与tof技术结合，使得三维重建中存在的噪点、不连续等问题得到非常好的解决，提升了数据的连续性与一致性，从而使得数据与真实场景更加一致，可以用于更加精确的探测、检测业务。

技术特征：

1.一种结构光数据与tof数据深度融合的深度相机，其特征在于，包括：

2.根据权利要求1所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述处理器包括：

3.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述结构光模块包括：

4.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述结构光模块包括：

5.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述tof模块包括：

6.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述校正模块包括：

7.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：1。

8.根据权利要求2所述的一种结构光数据与tof数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：2。

9.一种机器人，其特征在于，包含权利要求1-8任一项所述的一种长距离测量深度相机。

10.一种车辆，其特征在于，包含权利要求1-8任一项所述的一种长距离测量深度相机。

技术总结
一种结构光数据与TOF数据深度融合的深度相机，其特征在于，包括：激光投射器，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；光束接收器，用于接收经所述目标物体反射的所述激光光束；处理器，用于根据所述激光光束发射信号与接收信号的相位差获得TOF深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述TOF深度数据和所述结构光深度数据重建得到TOF3D点云和结构光3D点云，再根据所述结构光3D点云对所述TOF3D点云进行校正,将所述结构光深度数据与所述TOF深度数据融合得到高精度深度数据。本发明将结构光技术与TOF技术结合使用，使得三维重建效果更好。

技术研发人员：姚想,王刚,黄龙祥,汪博,朱力,吕方璐
受保护的技术使用者：深圳市光鉴科技有限公司
技术研发日：
技术公布日：2024/1/15