一种基于2D相机与3D相机的图像配准方法及系统与流程

本发明涉及机器视觉技术领域，尤其涉及一种基于2d相机与3d相机的图像配准方法及系统。

背景技术：

图像配准是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程。其中，计算图像空间的坐标变换参数至关重要。

3d相机因具有深度信息、能够测量目标物体的形状而被广泛应用于测量、检测等工作中，但是3d相机获得的2d图像分辨率较低，不利于后续2d定位算法的应用，无法对目标物体的表面进行精确检测。因此，为了获得目标物体的准确信息，将2d相机与3d相机组合起来进行检测，首先通过2d相机获取目标物体的灰度图像，再通过3d相机获取目标物体的深度图像，将灰度图像和深度图像进行配准获得目标物体的三维信息。现有技术中的图像配准方法，通常先分别采集两张图像中的特征点进行匹配，再对相互匹配的特征点进行计算获得图像空间的坐标变换参数，根据坐标变换参数进行匹配，但是配准过程中计算量大、耗时长，配准精度不高，不利于工业生产应用。

技术实现要素：

为了减少2d相机灰度图像和3d相机深度图像配准过程中的计算量和配准时间，提高配准精度，本发明提供一种基于2d相机与3d相机的图像配准方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种基于2d相机与3d相机的图像配准方法，所述方法包括：

步骤1：获取2d相机采集的目标物体的灰度图像，以及3d相机采集的所述目标物体的深度图像。

步骤2：根据所述灰度图像标定出所述2d相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3d相机的第二内参矩阵和第二外参矩阵。

步骤3：提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2d相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3d相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2d相机坐标系到所述3d相机坐标系的第一变换矩阵。

步骤4：根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。

步骤5：根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

第二方面，本发明提供了一种基于2d相机与3d相机的图像配准系统，所述系统包括：

获取模块，获取2d相机采集的目标物体的灰度图像，以及3d相机采集的所述目标物体的深度图像。

标定模块，根据所述灰度图像标定出所述2d相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3d相机的第二内参矩阵和第二外参矩阵。

第一计算模块，提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2d相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3d相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2d相机坐标系到所述3d相机坐标系的第一变换矩阵。

第二计算模块，根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。

配准模块，根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

本发明的一种基于2d相机与3d相机的图像配准方法及系统的有益效果是：根据获取的2d相机的灰度图像和3d相机的深度图像，利用现有技术中的标定算法分别对2d相机和3d相机进行标定，标定算法可采用张氏标定法，根据标定结果计算目标物体上指定特征点分别在2d相机坐标系和3d相机坐标系上的坐标，据此建立2d相机坐标系到3d相机坐标系的第一变换矩阵，再根据标定结果和该特征点在2d相机坐标系上的坐标计算出该特征点在2d相机灰度图像像素坐标系上的坐标，同理计算出该特征点在3d相机深度图像像素坐标系上的坐标，据此，结合第一变换矩阵计算出2d相机灰度图像像素坐标系到3d相机深度图像像素坐标系的第二变换矩阵，根据第二变换矩阵对2d相机灰度图像中的所有像素点进行几何变换，得到变换后的图像，在3d相机深度图像像素坐标系下，将变换后的图像与3d相机深度图像匹配，实现配准。本发明的技术方案根据标定结果分别计算特征点在各个坐标系上的坐标，从而建立坐标系之间的变换关系矩阵，不需要提取所有特征点进行匹配，计算量少、计算速度快，能够快速实现2d相机灰度图像到3d相机深度图像的配准，并且配准精度高，能够实现三维物体的信息获取，简单高效。

附图说明

图1为本发明实施例的一种基于2d相机与3d相机的图像配准方法的流程示意图；

图2为本发明实施例的一种基于2d相机与3d相机的图像配准系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的一种基于2d相机与3d相机的图像配准方法，所述方法包括：

步骤1：获取2d相机采集的目标物体的灰度图像，以及3d相机采集的所述目标物体的深度图像。

步骤2：根据所述灰度图像标定出所述2d相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3d相机的第二内参矩阵和第二外参矩阵。

步骤3：提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2d相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3d相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2d相机坐标系到所述3d相机坐标系的第一变换矩阵。

步骤4：根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。

步骤5：根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

本实施例中，根据获取的2d相机的灰度图像和3d相机的深度图像，利用现有技术中的标定算法分别对2d相机和3d相机进行标定，标定算法可采用张氏标定法，根据标定结果计算目标物体上指定特征点分别在2d相机坐标系和3d相机坐标系上的坐标，据此建立2d相机坐标系到3d相机坐标系的第一变换矩阵，再根据标定结果和该特征点在2d相机坐标系上的坐标计算出该特征点在2d相机灰度图像像素坐标系上的坐标，同理计算出该特征点在3d相机深度图像像素坐标系上的坐标，据此，结合第一变换矩阵计算出2d相机灰度图像像素坐标系到3d相机深度图像像素坐标系的第二变换矩阵，根据第二变换矩阵对2d相机灰度图像中所有像素点进行几何变换，得到变换后的图像，在3d相机深度图像像素坐标系下，将变换后的图像与3d相机深度图像匹配，实现配准。本发明的技术方案根据标定结果分别计算特征点在各个坐标系上的坐标，从而建立坐标系之间的变换关系矩阵，不需要提取所有特征点进行匹配，计算量少、计算速度快，能够快速实现2d相机灰度图像到3d相机深度图像的配准，并且配准精度高，能够实现三维物体的信息获取，简单高效。

需要说明的是，本发明的基于2d相机与3d相机的图像配准方法可应用于工业机器人的抓取与拆垛等作业中。

具体地，2d相机可采用basler相机，3d相机可采用photoneo相机。由于2d相机灰度图像中的像素根据第二变换矩阵变换后的坐标不一定是整数，因此，可插值法计算变换后的坐标，例如可采用最近邻插值法、双线性插值法和高斯插值法等。世界坐标系为用户定义的空间三维坐标系，用于描述三维空间中的目标物体与相机之间的坐标位置，满足右手法则。相机坐标系以相机的光点为原点，z轴与光轴重合，并垂直于成像平面，且取摄像方向为正方向，x、y轴与图像物理坐标系的x、y轴平行，且原点之间的距离为相机的焦距。像素坐标系是以图像的左上方为原点建立的以像素为单位的直接坐标系。

优选地，所述步骤2的具体实现为：

基于张氏标定算法，根据所述灰度图像计算出所述第一内参矩阵mrgbi和所述第一外参矩阵mrgbe。

其中，(u0rgb,v0rgb,αrgb,βrgb)为2d相机的内部参数，

mrgbe＝[rrgb|trgb]，rrgb为3×3旋转矩阵，trgb为3×1平移向量。

基于张氏标定算法，根据所述深度图像计算出所述3d相机的第二内参矩阵miri和第二外参矩阵mire。

其中，(u0ir,v0ir,αir,βir)称为3d相机的内部参数，

mire＝[rir|tir]，rir为3×3旋转矩阵，tir为3×1平移向量。

具体地，张氏标定算法克服了传统标定法需要高精度标定物的确定，仅需使用一个打印的棋盘格图像即可，方法简单，并且标定精度高。本实施例中，标定板的棋盘格可包括6×9个角点，角点之间的间距设置为20mm，将标定板转动10次，每次都使用2d相机和3d相机拍摄棋盘格图像，根据拍摄到的棋盘格图像，利用opencv和张氏标定算法对2d相机和3d相机进行标定，得到2d相机的内参矩阵和外参矩阵以及3d相机的内参矩阵和外参矩阵。其中，opencv是一个基于bsd许可发行的跨平台计算机视觉库，可以运行在linux、windows、android和macos操作系统上，由一系列c函数和少量c++类构成，轻量级而且高效，同时提供了python、ruby、matlab等语言的接口，能够实现图像处理和计算机视觉方面的很多通用算法。

优选地，所述特征点由p^w表示，所述特征点在世界坐标系中的坐标为p^w＝[x^w,y^w,z^w]^t，所述步骤3的具体实现为：

根据所述第一外参矩阵mrgbe，计算所述特征点p^w在所述2d相机坐标系上的第一坐标所述第一坐标由第一公式确定，所述第一公式为：

将所述第一公式转化为齐次坐标形式，得到第二公式，所述第二公式为：

根据所述第二外参矩阵mire，计算所述特征点p^w在所述3d相机坐标系上的第二坐标所述第二坐标由第三公式确定，所述第三公式为：

将所述第三公式转化为齐次坐标形式，得到第四公式，所述第四公式为：

根据所述第一坐标和所述第二坐标进行计算，获得所述2d相机坐标系到所述3d相机坐标系的第一变换关系，所述第一变换关系由第五公式确定，所述第五公式为：

其中，m为所述第一变换矩阵，

根据第一公式和第三公式可得，

r为3×3旋转矩阵，t为3×1平移向量，

具体地，根据2d相机的外参矩阵计算特征点在2d相机坐标系上的坐标，再根据3d相机的外参矩阵计算特征点在3d相机坐标系上的坐标，以此计算出2d相机坐标系到3d相机坐标系的变换矩阵，不需提取所有特征点进行匹配，大幅减少了计算量和配准时间。例如：采用basler相机作为2d相机，采用photoneo相机作为3d相机，使用棋格盘有6×9个角点、角点间距20mm的标定板，将标定板转动10次，每次都使用2d相机和3d相机拍摄棋盘格图像，根据拍摄到的棋盘格图像，利用opencv和张氏标定算法对2d相机和3d相机进行标定，得到2d相机的内参矩阵和外参矩阵以及3d相机的内参矩阵和外参矩阵，然后进行计算，得到2d相机坐标系到3d相机坐标系的第一变换矩阵m＝[0.9912,-0.0018,0.1326,174.2232；-0.0009,0.9998,0.0206,-62.5616；-0.1326,-0.0205,0.9910,-23.9552；0,0,0,1]。

优选地，所述步骤4的具体实现为：

基于相机标定原理，根据所述第一内参矩阵mrgbi和所述第一坐标计算所述特征点p^w在所述第一像素坐标系上的第三坐标所述第三坐标由第六公式确定，所述第六公式为：

基于相机标定原理，根据所述第二内参矩阵miri和所述第二坐标计算所述特征点p^w在所述第二像素坐标系的第四坐标所述第四坐标由第七公式确定，所述第七公式为：

结合所述第一公式到所述第七公式进行计算，建立所述第一像素坐标系到所述第二像素坐标系的第二变换关系，所述第二变换关系由第八公式确定，所述第八公式为：

其中，n＝mirimm^-1rgbi，n为所述第二变换矩阵。

具体地，将所有矩阵变换为齐次坐标形式进行计算，能够减少计算量，统一旋转矩阵和平移矩阵。其中，齐次坐标就是将n维的向量用n+1维向量来表示。

优选地，还包括以下步骤：

提取多个不同的所述特征点进行计算，获得多个所述第一变换矩阵，所述第一变换矩阵与所述特征点一一对应。

基于最小二乘法，对多个所述第一变换矩阵进行优化，获得优化后的所述第一变换矩阵。

具体地，最小二乘法是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数搭配。采用最小二乘法对2d相机坐标系到3d相机坐标系的多个第一变换矩阵进行优化，获得精确的第一变换矩阵，进而可以根据该精确的第一变换矩阵获得精确的第二变换矩阵，据此实现2d相机灰色图像到3d相机深度图像的精确配准。

如图2所示，本发明实施例提供的一种基于2d相机与3d相机的图像配准系统，所述系统包括：

获取模块，获取2d相机采集的目标物体的灰度图像，以及3d相机采集的所述目标物体的深度图像。

标定模块，根据所述灰度图像标定出所述2d相机的第一内参矩阵和第一外参矩阵，根据所述深度图像标定出所述3d相机的第二内参矩阵和第二外参矩阵。

第一计算模块，提取所述目标物体上的一个特征点，根据所述第一外参矩阵确定所述特征点在2d相机坐标系上的第一坐标，并根据所述第二外参矩阵确定所述特征点在3d相机坐标系上的第二坐标，根据所述第一坐标和所述第二坐标获得所述2d相机坐标系到所述3d相机坐标系的第一变换矩阵。

第二计算模块，根据所述第一内参矩阵和所述第一坐标确定所述特征点在所述灰度图像的第一像素坐标系上的第三坐标，并根据所述第二内参矩阵和所述第二坐标确定所述特征点在所述深度图像的第二像素坐标系上的第四坐标，根据所述第三坐标、所述第四坐标和所述第一变换矩阵获得所述第一像素坐标系到所述第二像素坐标系的第二变换矩阵。

配准模块，根据所述第二变换矩阵对所述灰度图像和所述深度图像进行匹配。

优选地，所述标定模块具体用于：

基于张氏标定算法，根据所述灰度图像计算出所述第一内参矩阵mrgbi和所述第一外参矩阵mrgbe。

基于张氏标定算法，根据所述深度图像计算出所述3d相机的第二内参矩阵miri和第二外参矩阵mire。

优选地，所述特征点由p^w表示，所述第一计算模块具体用于：

根据所述第一外参矩阵mrgbe，计算所述特征点p^w在所述2d相机坐标系上的第一坐标所述第一坐标由第一公式确定，所述第一公式为：

根据所述第二外参矩阵mire，计算所述特征点p^w在所述3d相机坐标系上的第二坐标所述第二坐标由第二公式确定，所述第二公式为：

结合所述第一坐标和所述第二坐标进行计算，获得所述2d相机坐标系到所述3d相机坐标系的第一变换关系，所述第一变换关系由第三公式确定，所述第三公式为：

其中，m为所述第一变换矩阵，

优选地，所述第二计算模块具体用于：

根据所述第一内参矩阵mrgbi和所述第一坐标计算所述特征点p^w在所述第一像素坐标系上的第三坐标所述第三坐标由第四公式确定，所述第四公式为：

根据所述第二内参矩阵miri和所述第二坐标计算所述特征点p^w在所述第二像素坐标系的第四坐标所述第四坐标由第五公式确定，所述第五公式为：

结合所述第一公式到所述第五公式进行计算，获得所述第一像素坐标系到所述第二像素坐标系的第二变换关系，所述第二变换关系由第六公式确定，所述第六公式为：

其中，n＝mirimm^-1rgbi，n为所述第二变换矩阵。

优选地，所述第一计算模块还具体用于：

对提取的多个不同的所述特征点进行计算，获得多个所述第一变换矩阵，所述第一变换矩阵与所述特征点一一对应。

基于最小二乘法，对多个所述第一变换矩阵进行优化，获得优化后的所述第一变换矩阵。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。