深度图像获取装置和深度图像获取方法与流程

本发明涉及机器视觉领域，具体涉及一种深度图像获取装置和深度图像获取方法。

背景技术：

随着劳动力成本的不断提高以及自动化设备的不断完善，使用自动化设备代替人工进行生产的比率越来越高。最初的自动化设备不安装任何的传感器，只能在固定的场景中进行一些固定的动作。随着应用环境越来越复杂多变，需要在自动化设备上安装一些传感器，以便能够观察到物体的信息。深度相机是传感器的一种，能够观察到物体的深度信息，因而能够更加准确的确定物体在空间中的位置。但是由于主动投射光源，深度相机拍摄金属等反光物体时会出现明显的反光，导致获取的深度图像上出现孔洞。

技术实现要素：

有鉴于此，本发明提供一种深度图像获取装置和深度图像获取方法，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。

第一方面，提供一种深度图像获取装置，包括：

第一深度相机；

第二深度相机；

第一支撑架和第二支撑架，分别用于固定和调节所述第一深度相机和所述第二深度相机；

处理器，用于控制融合所述第一深度相机和所述第二深度相机获取的深度图像获取融合深度图像。

优选地，所述第一支撑架和所述第二支撑架包括电机，通过所述电机驱动支撑架进行角度调节。

优选地，所述深度图像获取装置还包括外壳，所述第一支撑架和所述第二支撑架可转动地连接在所述外壳内。

优选地，所述处理器被配置为执行如下步骤：

获取所述第一深度相机的内参矩阵和所述第一深度相机坐标系到机器人坐标系的转换矩阵以及所述第二深度相机的内参矩阵和所述第二深度相机坐标系到机器人坐标系的转换矩阵；

根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；

获取所述第一深度相机和所述第二深度相机分别拍摄目标获得的深度图像；

融合所述第一深度相机获得的深度图像和所述第二深度相机获得的深度图像，获取融合深度图像；

其中，所述第二深度相机到所述第一深度相机的转换矩阵的公式为：

t3＝a1×(t1)^-1×t2×(a2)^-1

其中a1为所述第一深度相机的内参矩阵，a2为所述第二深度相机的内参矩阵，t1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，t2为所述第二深度相机坐标系到机器人坐标系的转换矩阵。

第二方面，提供一种深度图像获取方法，包括：

对第一深度相机和第二深度相机进行标定获取第一深度相机的内参矩阵和第一深度相机坐标系到机器人坐标系的转换矩阵以及第二深度相机的内参矩阵和第二深度相机坐标系到机器人坐标系的转换矩阵，其中，所述第一深度相机和所述第二深度相机在不同的位置以不同的角度朝向拍摄目标；

根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；

所述第一深度相机和所述第二深度相机分别获取拍摄目标的深度图像；

将所述第二深度相机获得的深度图像通过转换矩阵映射到所述第一深度相机的坐标系后与所述第一深度相机获得的深度图像融合，获取融合深度图像；

其中，所述第二深度相机到所述第一深度相机的转换矩阵的公式为：

t3＝a1×(t1)^-1×t2×(a2)^-1

其中a1为所述第一深度相机的内参矩阵，a2为所述第二深度相机的内参矩阵，t1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，t2为所述第二深度相机坐标系到机器人坐标系的转换矩阵。

优选地，所述标定还包括多次采集标定板中斑点的位置，分别获取斑点在所述第一深度相机和所述第二深度相机坐标系的位置。

优选地，所述斑点在所述第一深度相机和所述第二深度相机坐标系的位置是通过滤波、识别以及对应的深度值获取。

优选地，所述深度相机的坐标系到机器人坐标系的转换矩阵通过标定板上的斑点在相机视野中均匀分布后计算获取。

优选地，根据融合深度图像将所述第一深度相机的rgb图像和所述第二深度相机的rgb图像进行融合，获取融合彩色图。

优选地，所述第一深度相机的深度图像和所述第二深度相机的深度图像具有不同深度值时，融合后的深度图像的深度值通过计算获得；

其中，融合后的深度图像的深度值的计算公式为：

其中，d3和d2分别为所述第一深度相机和所述第二深度相机的深度图像的深度值，a为深度系数。

本申请提供一种深度图像获取装置和深度图像获取方法，通过调整支撑架将两个深度相机调整到预定的角度，通过处理器进行标定、融合获取融合深度图像。本申请深度图像获取装置结构简单，便于使用，基于深度图像获取装置的深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的深度图像获取装置的结构示意图；

图2是现有技术的单深度相机拍摄获取的深度图像；

图3是本发明实施例的深度图像获取装置的深度图像；

图4是本发明实施例的深度图像获取方法的流程图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图及具体实施方式对本发明作进一步说明。

本实施例的深度图像获取装置如图1所示，深度图像装置包括第一深度相机1、第二深度相机2、处理器3、第一支撑架4、第二支撑架5以及外壳6。第一深度相机1固定在第一支撑架4上，第二深度相机2固定在第二支撑架5上。本领域技术人员应理解，深度相机和支撑架的固定连接方式可以通过螺栓连接或者卡槽连接，只要能够使得深度相机和支撑架实现固定连接，深度相机可跟随支撑架进行移动或者旋转。外壳6包括顺序连接的第一部分、第二部分和第三部分，并形成一定的角度。在本实施例中，外壳6的第一部分和第三部分相对于第二部分在同侧弯折相同的角度。第一支撑架4可转动地连接在外壳6的第一部分，第二支撑架5可转动地连接在外壳6的第三部分，处理器3固定安装在外壳6的第二部分。连接后第一支撑架4和第二支撑架5相对于处理器3对称。处理器3为一种高性能图像采集与信号处理单元，能够对第一深度相机1和第二深度相机2进行快速地标定、融合以及后续处理等。第一支撑架4和第二支撑架5包括电机，通过电机驱动第一支撑架4和第二支撑架5进行角度的调节，由于第一深度相机1和第二深度相机2分别固定在第一支撑架4和第二支撑架5上，因此，通过调整第一支撑架4和第二支撑架5的角度间接地调整第一深度相机1和第二深度相机2的角度。

通过本实施例设置的深度图像获取装置，可以获得目标的深度图像。具体地，深度图像获取方法如图4所示，所述获取方法包括：

步骤s100、调整第一深度相机和第二深度相机的角度。

具体地，通过第一支撑架4和第二支撑架5将第一深度相机1和第二深度相机2的角度调整至能够使得第一深度相机1和第二深度相机2分别拍摄的深度图像融合后得到的融合深度图像能够在给定的工作范围内获得最高的精度。

步骤s200、分别标定获取第一深度相机的内参矩阵和第二深度相机的内参矩阵。

将第一深度相机1和第二深度相机2切换到红外模式，利用棋盘格以及相机标定方法，可以分别标定出两个深度相机的内参矩阵，然后将其编号保存到文件中。

步骤s300、多次采集标定板中斑点的位置，分别获取斑点在第一深度相机和第二深度相机坐标系的位置。

标定过程中，将具有高精度的非对称圆斑点板安装在机器人的末端，每次采集可以得到斑点在机器人的位置，然后利用深度相机的红外模式对圆形斑点进行滤波及识别，最后加上对应的深度值，可以得到斑点在深度相机坐标系的位置。

步骤s400、多次移动标定板，分别计算获得两个深度相机坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵。

将第一深度相机1和第二深度相机2通过第一支撑架4和第二支撑架5移动多次位置，使得斑点在第一深度相机1和第二深度相机2的视野中均匀分布，然后计算获取深度相机坐标系到机器人坐标系的转换矩阵。

步骤s500、根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取第二深度相机到第一深度相机的转换矩阵。

根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵通过矩阵之间的变换处理即可计算获取到第二深度相机2到第一深度相机1的转换矩阵。

其中，所述第二深度相机2到第一深度相机1的转换矩阵的公式为：

t3＝a1×(t1)^-1×t2×(a2)^-1

其中a1为第一深度相机1的内参矩阵，a2为第二深度相机2的内参矩阵，t1为第一深度相机1的坐标系到机器人坐标系的转换矩阵，t2为第二深度相机2的坐标系到机器人坐标系的转换矩阵。

步骤s600、第一深度相机和第二深度相机分别获取拍摄目标的深度图像。

将上述标定好的第一深度相机1和第二深度相机2分别拍摄获取目标的深度图像。

步骤s700、将第二深度相机获得的深度图像通过转换矩阵映射到第一深度相机的坐标系后与第一深度相机获得的深度图像融合，获取融合深度图像。

第二深度相机2的深度图像通过映射公式先映射到以第一深度相机1为坐标系的一个480*640的方格里面，将映射点的位置和深度值通过加权平均法，计算得到一个映射好的深度图像。其中，映射公式如下：

其中，d0u、d0v为映射后映射点的平面坐标，d0为映射后映射点的深度值，d1u、d1v为映射前映射点的平面坐标，d1为映射前映射点的深度值，t2为第二深度相机2的坐标系到机器人坐标系的转换矩阵。

第一深度相机1和第二深度相机2在某一位置的深度图像的深度值不同时，第二深度相机2的深度图像与第一深度相机1的深度图像融合后的深度图像的深度值d的计算公式如下：

其中，d3和d2分别为第一深度相机1和第二深度相机2拍摄某一相同位置时的深度值，a为深度系数。

深度图像的是由无数个点组成，第二深度相机2的深度图像与第一深度相机1的深度图像融合的过程是两个深度图像通过无数的点进行融合，每个融合点通过上述公式获取具有深度值的融合点，融合后的点形成融合深度图像。

本领域技术人员应理解，本实施例的第一深度相机1的深度图像和第二深度相机2的深度图像进行融合，获取融合深度图像。其融合方法也可采用专利申请号为201510644681.x和201010290934.5的专利所公开的融合方法进行深度图像的融合。

如图2和图3所示，通过现有技术单深度相机获取的深度图像与本申请的深度图像获取装置拍摄获取的深度图像对比可以明显看出，本申请有效减少了反光物体在深度图像上出现的孔洞，提高了深度相机的精度。

本申请提供一种深度图像获取装置和深度图像获取方法，通过调整支撑架将两个深度相机调整到预定的角度，通过处理器进行标定、融合获取融合深度图像。本申请深度图像获取装置结构简单，便于使用，基于深度图像获取装置的深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。