基于多传感器融合的三维空间自动标定的方法与流程

本发明涉及三维空间标定领域，具体地，涉及基于多传感器融合的三维空间自动标定的方法。

背景技术：

在机器人SLAM技术及应用过程中，机器人需要对其所处的三维环境空间进行重建，而这项工作主要需要依靠机器人的视觉系统，即机器人上安装的若干个摄像头。在大多数三维空间重建工作中，需要提前对所使用的摄像头进行标定，即在某一特定PTZ状态下计算摄像头的参数矩阵，这些工作通常需要人工干预、需要使用棋盘格之类的已知目标辅助，因此，现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐。

为此，提供一种在使用过程中，可以对任意PTZ状态下的三维全空间进行自动标定，而且标定结果准确，操作方便的基于多传感器融合的三维空间自动标定的方法是本发明亟需解决的问题。

技术实现要素：

针对上述技术问题，本发明的目的是克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题，从而提供一种在使用过程中，可以对三维空间进行自动标定，而且标定结果准确，操作方便的基于多传感器融合的三维空间自动标定的方法。

为了实现上述目的，本发明提供了一种基于多传感器融合的三维空间自动标定的方法，所述方法包括：步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；步骤2，使用Kinect设备的深度图像序列对三维空间进行标定；步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的三维空间标定；步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行标定；步骤5，使用标定好的所述网络摄像头对三维空间进行标定，即三维空间建模与重建。

优选地，所述步骤3中的匹配处理采用变换矩阵计算和误差最小化方法进行处理。

优选地，所述步骤4所述图像匹配算法为基于特征匹配的算法。

优选地，所述图像匹配算法中的特征匹配基元包括点、线、区域。

优选地，所述图像匹配算法使用SIFT特征匹配算法。

优选地，所述支架上安装两个所述网络摄像头。

根据上述技术方案，本发明提供的基于多传感器融合的三维空间自动标定的方法通过所述Kinect设备的深度图像序列对三维空间进行标定，然后将所述Kinect设备的深度图像和可见光图像进行匹配处理，并实现基于Kinect可见光图像的三维空间标定，再使用图像匹配算法对所述网络摄像头进行标定，最后使用标定好的所述网络摄像头对三维空间进行标定。本发明提供的基于多传感器融合的三维空间自动标定的方法克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明在一种优选实施方式下基于多传感器融合的三维空间自动标定的方法的流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1，本发明提供了一种基于多传感器融合的三维空间自动标定的方法，其特征在于，所述方法包括：步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；步骤2，使用Kinect设备的深度图像序列对近距离、小范围的三维空间进行标定；步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的大范围三维空间标定；步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行不同PTZ参数下的全空间标定，同时在多摄像头之间进行标定以形成双目摄像头的特性；步骤5，使用标定好的所述网络摄像头对当前视场进行空间标定，即三维空间建模与重建。

根据上述技术方案，本发明提供的基于多传感器融合的三维空间自动标定的方法通过所述Kinect设备的深度图像序列对近距离、小范围的三维空间进行标定，然后将所述Kinect设备的深度图像和可见光图像进行匹配处理，并实现基于Kinect可见光图像的大范围三维空间标定，再使用图像匹配算法对所述网络摄像头进行不同PTZ参数下的全空间标定，同时在多摄像头之间进行标定以形成双目摄像头的特性，最后使用标定好的所述网络摄像头对当前视场进行空间标定。本发明提供的基于多传感器融合的三维空间自动标定的方法克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题。

本发明中对于所述步骤3中的匹配处理，因Kinect上的传感器之间相对位置固定，而采用变换矩阵计算和误差最小化方法进行逼近。具体包括：对图像进行分割、目标匹配、坐标变换，并依靠误差最小化来对上述过程进行不断迭代。

本发明中对于所述步骤4中的图像匹配算法可以采用相关匹配算法，但是为了使得对所述网络摄像头能进行不同PTZ参数下的全空间标定，且结果更加的准确，操作更加的方便，在本发明的一种优选地实施方式中，所述图像匹配算法为基于特征匹配的算法。

在本发明的一种优选地实施方式中，所述图像匹配算法中的特征匹配基元包括点、线、区域，使用时，对比所述图像中的点、线、区域的特征，而且将所述图像进行对比匹配，再将匹配的结果和使用Kinect可见光图像标定的结果相结合来对所述网络摄像头进行标定。之后再对不同PTZ参数下的视场进行扩展与匹配，以完成对全空间的标定。最后，对机器人上所安装的网络摄像头之间进行标定，以形成多目摄像头的特性，供后续工作中使用。

本发明中对于所述支架上安装的网络摄像头的数量不作具体地限定，但是为了使得所述网络摄像头能够有效地对三维空间进行标定，在本发明的一种优选地实施方式中，所述支架上安装两个所述网络摄像头。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。