一种用于二维相机与三维传感器的标定装置及标定方法与流程

本发明涉及机器视觉领域，尤其涉及一种用于二维相机与三维传感器的标定装置及标定方法。

背景技术：

目前机器人被广泛地应用于工业生产中，视觉作为机器人获取外部环境信息的一种重要方式，基于视觉的智能感知技术越来越广泛地被应用与机器人作业系统中，进一步提高了生产线的自动化程度。在工业生产中，视觉传感器应用比较广泛的主要有两种，一种是二维相机，用来获取环境的二维信息，这类传感器主要应用在缺陷检测、特征识别等领域。另一类是三维传感器，用来获取环境的三维点云信息，这类传感器主要应用在三维重建、位姿估计、智能分拣识别等领域。

利用二维相机采集得到的图像丢失了三维空间的一个维度信息，即深度信息，因此仅仅依靠二维相机只能做简单地平面上的图像处理，无法应对复杂的三维工业自动化场景。随着硬件技术的提升，三维传感器的出现很好地解决了这一问题，三维传感器扫描得到的点云包含有场景的三维信息。目前市场上常见的三维传感器得到的点云只包含点的三维空间坐标，不能很好地得到场景的纹理、颜色等信息，因此需要将彩色图像和点云进行配准得到场景的rgb-d图像。

二维彩色图像和点云的配准本质上是计算相机坐标系和三维传感器坐标系之间的变换关系。坐标转换过程通常分2步，先由公共点坐标解算转换参数，再由转换参数转换非公共点。坐标系转换常用的方法有奇异值分解、四元数法及罗德里格矩阵法。奇异值分解的方法比较依赖于矩阵的性质，四元数解算速度较快，但是精度不容易控制，而罗德里格斯矩阵在求解过程中仅有3个旋转参数，计算过程无需线性化，且适用于坐标系之间旋转角度较大的情况。

因此，本领域的技术人员致力于开发一种用于二维相机与三维传感器的标定装置及标定方法，用于快速实现彩色图像和点云的配准，从而得到场景的rgb-d图像。

技术实现要素：

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何快速实现二维相机和三维传感器的标定，得出变换矩阵，使得二维彩色图像和点云的配准快速实现，从而得到场景的rgb-d图像。

为实现上述目的，本发明提供了一种用于二维相机与三维传感器的标定装置，包括待二维相机、三维传感器和标定板模块；所述标定板模块同时位于所述二维相机和所述三维传感器的视场内；所述标定板模块包括物理尺寸已知的二维靶标板和至少三个物理尺寸已知的三维工件；所述二维靶标板包括若干个位置已知的二维特征点；所述三维工件位于所述二维靶标板上，所述三维工件的三维特征点相对于所述二维特征点的位置关系是已知的。

进一步地，所述二维靶标板为二维棋盘格，所述二维棋盘格包括若干个呈矩形分布的黑白相间的方格，所述二维特征点为所述二位棋盘格的角点。

进一步地，所述三维工件为三维半球形工件，所述三维特征点为所述三维半球形工件的球心。

进一步地，所述二维棋盘格的角点数量为5×6。

进一步地，所述方格的尺寸为20mm×20mm。

进一步地，所述三维半球形工件的半径为20mm。

本发明还提供了一种用于二维相机和三维传感器的标定方法，包括以下步骤：

s1：放置标定板模块，使其同时位于待标定的二维相机和三维传感器的视场内；

s2：二维相机图像采集，通过特征点检测，得到所述标定板模块的二维靶标板的二维特征点在相机坐标系下的坐标；

s3：三维传感器点云采集，进行模版匹配，得到所述标定板模块的三维工件的三维特征点在传感器坐标系下的位置坐标；

s4：根据所述三维特征点与所述二维特征点的位置关系以及所述二维特征点在所述相机坐标系中的坐标，得到所述三维特征点在所述相机坐标系和所述传感器坐标系下的对应点集；

s5：利用基于rodrigues(罗德里格斯)的空间坐标转换求解得到所述相机坐标系和所述传感器坐标系之间的变换矩阵。

进一步地，所述s3中，根据所述三维工件的三维模型点云和所述三维传感器扫描得到的点云，基于模版匹配算法，得到所述三维特征点在所述传感器坐标系下的位置。

进一步地，至少需要三对所述三维特征点在所述相机坐标系和所述传感器坐标系的对应点集。

进一步地，所述s4中，采用最小二乘法计算rodrigues(罗德里格斯)矩阵，由所述rodrigues(罗德里格斯)矩阵计算得到所述变换矩阵。

本发明的有益效果在于，针对二维相机和三维传感器联合标定的问题，提供一种标定装置及标定方法，用于快速得到相机坐标系和三维传感器坐标系之间变换关系，从而实现彩色图像和点云的配准得到场景的rgb-d图像。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的标定装置示意图；

图2是本发明的一个较佳实施例的标定板模块俯视图；

图3是本发明的一个较佳实施例的标定方法流程图；

图4是本发明的一个较佳实施例的三维工件点云示意图；

图5是本发明的一个较佳实施例的工件识别结果效果图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明的标定装置，包括二维相机1、三维传感器2和标定板模块3。在具体实施时，调整二维相机1和三维传感器2的视场位置，使得标定板模块3能够同时出现在二维相机1和三维传感器2的视场内，同时保证光照环境良好，使得二维相机采集到的二维图像中的特征点清晰，三维传感器2获得的点云完整。

如图2所示，标定板模块3包括二维靶标板和三维工件。二维靶标板选用物理尺寸已知的二维棋盘格31，二维棋盘格31由黑白相间的方格组成，方格的物理尺寸已知，本实施例中选用方格尺寸为20mm×20mm。根据二维棋盘格31的物理尺寸及方格尺寸，二维棋盘格31的角点位置能够准确获得，作为二维特征点。本实施例中，选用的角点数量为5(宽)×6(长)。

三维工件选用三维半球形工件32，其物理尺寸已知，本实施例中选用三维半球形工件32的半径为20mm，其球心作为三维特征点，用于确定三维半球形工件32的位置。由于基于rodrigues(罗德里格斯)矩阵计算变换矩阵，rodrigues(罗德里格斯)矩阵至少需要三对点集，因此，本发明中的三维半球形工件32的数量至少为三个。在本实施例中，选用了4个三维半球形工件32。四个三维半球形工件32分别分布于二位棋盘格31的方格区域的周边，确保每个三维半球形工件32的球心位置相对于二维棋盘格31的角点的位置是已知的。

图3为本发明的标定方法的流程图，具体实施方式如下：

通过二维相机1采集，获得包含有二维棋盘格31的彩色图像，对获得的图像进行角点检测，结合二维相机1的外参，得到角点在相机坐标系下的坐标。由于三维半球形工件32的球心相对于二维棋盘格31的角点位置已知，通过变换，得到三维半球形工件32的球心在相机坐标系下的坐标；通过三维传感器2扫描，获得包含有三维半球形工件32的点云数据，如图4所示；利用模版匹配算法，根据三维半球形工件32的三维cad模型点云和三维传感器2扫描得到的场景点云，得到三维半球心工件32的球心在传感器坐标系下的位置和姿态。本实施例的三维半球形工件32的数量为4个，因此可以得到四组公共点对。

根据得到的四组点对，利用最小二乘原理，计算罗德里格斯矩阵，从而得到两坐标系之间变换矩阵。具体实施方式如下：

假设相机坐标系o-uvw和传感器坐标系o-xyz变换矩阵为t：

点对变换关系包含了六个自由度，其中平移向量t包含三个自由度，代表位置，旋转矩阵r包含三个自由度，代表姿态。

为了求解r和t，引入一个具有3个独立元素的反对称矩阵s：

则r＝(i+s)(i-s)^-1是个正交矩阵，其中i是3阶单位阵。这个正交矩阵就是罗德里格斯矩阵。

在解算旋转参数a，b，c时，可以先消去平移参数，将两个公共点的坐标代入，求差得到：

上式两端同时左乘(i-s)得到：

整理得到：

其中：

这个方程组的左边系数矩阵为奇异矩阵，且秩为2，3个方程里仅有2个独立，需要至少2个这样的方程组才可以解算出a，b，c，因此至少需要3个公共点，可以计算出两个坐标系之间的变换矩阵。采用最小二乘法，当点对数量为n(n>3)时，共有3(n-1)个方程。本实施例中三维半球形工件32的数量为4个，因此共有9个方程，其总误差为：

其中：

x3×1＝[abc]^t

l9×1＝[u21-x21v21-y21w21-z21…un1-xn1vn1-yn1wn1-zn1]^t

按照最小二乘法原理，计算得到：

x3×1＝(b^tb)^-1b^tl

根据a，b，c的值，求得罗德里格斯变换矩阵，即是旋转矩阵，从四组点对中任意选择一组点对计算平移向量如下：

在本实施例中，求得的传感器坐标系到相机坐标系的变换矩阵如下：

使用本发明提供的标定装置和标定方法，不需要频繁调整标定板模块3的位置以获得不同视角下的二维图像和三维点云；同时，标定装置的搭建简便快捷。在标定过程中，使用罗德里格斯变换矩阵，其求解过程中仅有3个旋转参数，计算过程无需线性化，不仅适用于坐标系之间旋转角度较大的情况，而且减少了计算量，有利于实现快速标定，得到相机坐标系和传感器坐标系之间的变换关系，从而实现彩色图像和点云的配准得到场景的rgb-d图像。本实施例的三维工件识别结果的效果图如图5所示。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。