一种多目相机三维系统及其标定方法与流程

本发明涉及工业三维视觉领域，具体涉及一种多目相机三维系统及其标定方法。

背景技术：

目前现有的工业领域的视觉技术主要以单目，双目或者结构光模组为主，单目结构光缺乏深度方向的信息，双目视觉和结构光模组容易出现测量盲区，难以实现大范围，高精度，信息度完备的测量。非工业领域的全景重建，主要以sfm(运动结构重建)为主，并不适用于工业领域。目前的多目视觉大多配合运动连杆机构，连杆机构的动态误差具有多自由度，实变性及传递性等特点，其测量精度会受很大限制。

其中单目视觉主要原理为小孔成像，将三维空间的物体投射到相平面上，并根据物体的表面轮廓特征进行检测定位，主要应用于物品的表面检测，粗定位及配合工装的测量；双目视觉主要原理为三角测量法，配合散斑光点做作角点的先验知识进行角点匹配，从而计算出深度和空间坐标。结构光模组主要原理为激光或者编码光幕与相机成像之间的耦合。这两者都用于一般物体的三维定位和检测场景。

现有技术存在以下不足：1、单目结构光缺乏深度方向的信息，双目和结构光模组容易出现测量盲区；

2、sfm全景重建耗时且精度难以保证,不适用于工业场景；

3、现有的多目视觉限制于连杆机构，会有无法控制的连杆误差。

因此，发明一种多目相机三维系统及其标定方法很有必要。

技术实现要素：

为此，本发明实施例提供一种多目相机三维系统及其标定方法，通过本发明通过提供一套高精度的标定方案，和提供提供一种结构可调，精度可控，单次重建时间在100ms以内的多目视觉方案，以解决传统三维视觉方案中的由于视野盲区而导致的深度信息缺失的问题。

为了实现上述目的，本发明实施例提供如下技术方案：一种多目相机三维系统及其标定方法，包括

相机模组：所述相机模组包括相机和用于调节相机的直杆，所述相机之间通过可调节的直杆来固定；

图像采集模块：用于获取多目立体视频采集系统中各个相机的内外参数，通过获取图像来得到图像的基本数据；

图像预处理模块：用于对所述图像采集模块中的图像进行预处理，使得图像的信噪比得以提高，减小后期的处理压力；

相机标定模块：用于通过相机的图像坐标系与空间物体的三维坐标系之间的关系，从而得到相机的参数，当一个物体只出现在两个相机内部时，按照双目视觉系统进行深度计算，出现在更多相机范围内，则以三目视觉为基本单元，目标点的三维坐标可以表示为：

x＝cotα1·(cotα1+cotα2)·1/2d

y＝(cotα1+cotα2)/2d

其中：camera为三个相机光心所在位置，p为被测都西昂位置，pxy为物体在xy平面的投影，定义camera1与x轴的夹角为α1，camera2与x轴夹角为α2，而camera3与xoy平面的夹角为α3；

通过上述坐标获取相机的参数矩阵，进而通过求解这个参数矩阵来获得标定的参数；

三维重建模块：用于对多视点二维图像中恢复出空间物体的几何信息，根据空间一点在多幅图像中的对应坐标，结合相机的参数矩阵，对空间点进行重建。

优选的，所述三维重建模块具体的重建方法为：

s1:开始，载入标定的系统参数，物品进入测量区域，触发相机拍摄；

s2：存储并记录散斑结构光的兴趣角点；

s3：根据s2中的角点，多视角角点按照光束平差法，结合相机标定参数进行生成点云数据，双视角角点按照一般双目测量原理生成点云数据，且分别传输给下一步；

s4：缺失点根据泊松重建原理进行稠密话；

s5：匹配工艺需求并输出相关的数据结果，结束。

优选的，所述还包括优化模块，所述优化模块用于根据三维空间点云坐标和所述相机的内外参数获得重投影误差，并优化所述重投影误差和所述相机的内外参数。

一种多目相机三维系统的标定方法，具体标定步骤如下：

s1：开始，通过直杆调节相机之间的位置关系，多次放入标定板；

s2：标定相机的内部参数，并且每两组相机之间进行双目标定；

s3：输出相机组两两之间的关系，进行非线性的优化，求解系统之间的关系矩阵；

s4：优化相机组之间的关系，结束。

本发明实施例具有如下优点：

1、其相机之间的位置和姿态关系可以根据实际应用场景调节；

2、相机组之间通过标定后，相较于可以通过标定参数可在100ms左右获得重建结果；

3、避免了现有3d视觉模组的盲区和信息丢失的情况。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明提供的标定流程图；

图2为本发明提供的相机和直杆图；

图3为本发明提供的三目视觉基础原理图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照说明书附图1-3，该实施例的一种多目相机三维系统及其标定方法，包括

相机模组：所述相机模组包括相机和用于调节相机的直杆，所述相机之间通过可调节的直杆来固定；

图像采集模块：用于获取多目立体视频采集系统中各个相机的内外参数，通过获取图像来得到图像的基本数据；

图像预处理模块：用于对所述图像采集模块中的图像进行预处理，使得图像的信噪比得以提高，减小后期的处理压力；

相机标定模块：用于通过相机的图像坐标系与空间物体的三维坐标系之间的关系，从而得到相机的参数，当一个物体只出现在两个相机内部时，按照双目视觉系统进行深度计算，出现在更多相机范围内，则以三目视觉为基本单元，目标点的三维坐标可以表示为(如图3所示)：

x＝cotα1·(cotα1+cotα2)·1/2d

y＝(cotα1+cotα2)/2d

其中：camera为三个相机光心所在位置，p为被测都西昂位置，pxy为物体在xy平面的投影，定义camera1与x轴的夹角为α1，camera2与x轴夹角为α2，而camera3与xoy平面的夹角为α3；

通过上述坐标获取相机的参数矩阵，进而通过求解这个参数矩阵来获得标定的参数；

对于多目视觉而言，若有m个场景点xi(i＝1,2,...m)，有m个摄像机m^j(j＝1,2,.....m)，场景点投射到摄像机图像满足其中第i个图像点在第j个图像，对于整个重建过程而言，其场景点xi由图像拍摄本身决定，相机组之间的参数外参可以大致确定共同场景点在不同图像的位置，对于多个相机共同区域，在重投影过程中为求解xi和m^j的方程组，共同区域内会有远多于所需数目的对应点，因此需要最小化二次投影误差即

根据相机已有的基础参数给一个初始估计，使用非线性最小二乘法(levenberg-marquart算法)进行优化求解，即可求解得出参数矩阵；

三维重建模块：用于对多视点二维图像中恢复出空间物体的几何信息，根据空间一点在多幅图像中的对应坐标，结合相机的参数矩阵，对空间点进行重建。

进一步的，所述三维重建模块具体的重建方法为：

s1:开始，载入标定的系统参数，物品进入测量区域，触发相机拍摄；

s2：存储并记录散斑结构光的兴趣角点；

s3：根据s2中的角点，多视角角点按照光束平差法，结合相机标定参数进行生成点云数据，双视角角点按照一般双目测量原理生成点云数据，且分别传输给下一步；

s4：缺失点根据泊松重建原理进行稠密话；

s5：匹配工艺需求并输出相关的数据结果，结束。

进一步的，所述还包括优化模块，所述优化模块用于根据三维空间点云坐标和所述相机的内外参数获得重投影误差，并优化所述重投影误差和所述相机的内外参数。

一种多目相机三维系统的标定方法，具体标定步骤如下：

s1：开始，通过直杆调节相机之间的位置关系，多次放入标定板；

s2：标定相机的内部参数，并且每两组相机之间进行双目标定；

s3：输出相机组两两之间的关系，进行非线性的优化，求解系统之间的关系矩阵；

s4：优化相机组之间的关系，结束。

实施场景具体为：本发明通过提供一套高精度的标定方案，和提供提供一种结构可调，精度可控，单次重建时间在100ms以内的多目视觉方案，解决了传统三维视觉方案中的由于视野盲区而导致的深度信息缺失问题。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。