一种基于多立体跟踪器的大型物体三维建模系统及方法与流程

本发明属于三维测量技术领域，涉及一种大型物体三维建模系统及方法，特别是一种基于多立体跟踪器的大型物体三维建模系统及方法。

技术背景

在工业生产中，往往有很多大型工件，例如船舶外板、船舶曲面分段、飞机外壳等，在生产过程中，往往需要获取这些大型工件的三维形状。获取大型物体的三维数据的基本思路是：分别获取局部区域的三维数据，然后拼接局部数据，形成完成的数据。目前的三维形状获取方法，主要包括以下几种。一是采用结构光技术，结构光技术适合于获取小型物体的三维形状，速度快、精度高，但在测量大型物体时，局部建模结果拼接问题仍然无法有效解决，往往存在较大误差。二是采用激光技术实现测量，激光测量技术在测量大型物体时，虽然精度较高，但是速度较慢。

文献“三维点云对齐中基于结构光立体成像的基准标记检测(Three-dimensional point cloud alignment detecting fiducial markers by structured light stereo imaging)”【Barone,S.,Paoli,A.,Razionale,A.V.:Three-dimensional point cloud alignment detecting fiducial markers by structured light stereo imaging.Mach.Vis.Appl.23(2),217–229(2012)】，公开了一种测量大型物体的方法，该方法首先在被测的大型物体表面粘贴标记，然后利用结构光三维扫描仪逐次测量局部数据，再根据标记将局部数据拼接在一起后完成整体测量。但是这种方法，存在以下缺陷：一是需要手工方式粘贴标记，并且对于加工中船舶外板类工件，由于表面温度较高，贴标记比较困难。二是建模不能一次完成，需分多次测量，然后拼接，致使整个建模过程操作复杂，效率低下，测量精确度低。

技术实现要素：

本发明的目的在于克服现有技术存在的不足之处，提供一种基于多立体跟踪器的大型物体三维建模系统及方法，无需在被建模物体表面手工贴标记，可一次性完成大型物体的三维形状建模与测量，效率高，简便易行，测量精确度高。

为了解决上述现有技术的问题，本发明采用以下技术方案。

本发明的一种基于多立体跟踪器的大型物体三维建模系统，其特征在于，包括：

一台含有两个工业相机和一个投影仪的三维扫描仪、多台立体跟踪器、分别设置于被测大型物体两侧的两条互为平行的导轨、一台GPU服务器；

所述的三维扫描仪设置于一个支架上，所述支架可沿导轨直线运动；

所述的多台立体跟踪器，通过各自的支承件沿被测大型物体一侧导轨的外侧纵向依次间隔放置；每台立体跟踪器设置有两个工业相机；

所述的三维扫描仪和每台立体跟踪器上均安装有多个LED标记；

所述的工业相机和投影仪分别通过千兆网线和USB接口连接到所述的GPU服务器；

所述的系统通过所述的三维扫描仪依次测量物体的各局部区域，利用多台立体跟踪器定位三维扫描仪的姿态，然后拼接所述的三维扫描仪依次测量物体的各局部形状数据，从而实现大型物体的三维形状建模。

所述的多台立体跟踪器从距离所述的三维扫描仪最近处，依次分别标记为：T₁，T2，…T_k，其放置原则是：所述的立体跟踪器T_k-1可以看到立体跟踪器T_k上的所有LED标记；所述的k∈{2，…，n}。

所述的n个立体跟踪器按顺序放置后，位置固定不动。

所述的立体跟踪器T₁上不安装LED标记。

本发明的一种基于多立体跟踪器的大型物体三维建模方法，其特征在于，包括以下步骤：

(1)三维扫描仪安放在支架上，支架安装于平行导轨上，可以沿导轨直线运动；在三维扫描仪上，安装多个发光LED标记，作为被跟踪标记；

(2)沿被测大型物体一侧导轨的外侧，纵向依次间隔放置多个立体跟踪器，令T_k表示第k个立体跟踪器，所述的k∈{2，…，n}；在立体跟踪器T_k上安装多个LED标记，但立体跟踪器T₁上不安装LED标记。所述的多台立体跟踪器放置原则是：所述的立体跟踪器T_k-1可以看到立体跟踪器T_k上的所有LED标记。

所述的n个立体跟踪器按顺序放置后，位置固定不动。

(3)在建模大型物体之前，对三维扫描仪和立体跟踪器T_k上的LED标记进行检测、匹配和标定，从而计算立体跟踪器的姿态；

(4)开始测量大型物体时，T₁为工作立体跟踪器；三维扫描仪的投影仪向物体投射特殊纹理图像，工业相机拍摄投影仪所投影区域的照片，并将照片传至GPU服务器，在GPU服务器上重建大型物体的局部三维数据；

(5)三维扫描仪沿导轨向前移动，重建被测大型物体的下一个局部三维数据；立体跟踪器T_k将依次检测到三维扫描仪的出现，从而成为工作跟踪器；

(6)当T_k变成工作跟踪器后，T_k采用KLT跟踪算法，跟踪三维扫描仪上LED标记的移动，从而计算三维扫描仪的姿态；

(7)根据三维扫描仪姿态，拼接局部测量数据；重复步骤(4)—(7)，直到整个被测大型物体建模结束。

与现有技术相比，本发明包括以下优点和有益效果：

1.本发明以结构光三维扫描仪为基本测量单元，利用多个立体跟踪器构建拼接现场、跟踪三维扫描仪的运动，计算三维扫描仪的姿态，拼接三维扫描仪获取的局部建模数据，完成大型物体的三维形状建模。本发明不用接触物体表面，能自动、及时、方便、精确地获取大型物体三维形状，其建模范围大、速度快、精度高、使用方便。

2.本发明不需要在被建模物体表面手工贴标记，增加了系统的实用性，将为船舶外板制造、飞机外板制造、大型海洋工程装备制造中的三维建模提供一种有效的手段。

附图说明

图1是本发明的一个实施例的系统构成示意图。

图2是本发明的一个实施例的方法流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

图1是本发明的一个实施例的基于多立体跟踪器的大型物体三维建模系统构成示意图。如图1所示，一台含有两个工业相机1和一个高亮度投影仪2的三维扫描仪、多台立体跟踪器、分别设置于被测大型物体两侧的两条互为平行的导轨4、一台GPU服务器；

所述的三维扫描仪设置于一个支架6上，所述支架可沿导轨直线运动；

所述的多台立体跟踪器，通过各自的支承件沿被测大型物体一侧导轨的外侧纵向依次间隔放置；每台立体跟踪器设置有两个工业相机；

所述的三维扫描仪和每台立体跟踪器上均安装有多个LED标记3；

所述的工业相机和投影仪分别通过千兆网线和USB接口连接到所述的GPU服务器；工业相机的分辨率为500万像素以上、帧率15fps以上。

所述的系统通过所述的三维扫描仪依次测量物体的各局部区域，利用多台立体跟踪器定位三维扫描仪的姿态，然后拼接所述的三维扫描仪依次测量物体的各局部形状数据，从而实现大型物体的三维形状建模。

所述的多台立体跟踪器从距离所述的三维扫描仪最近处，依次分别标记为：T₁，T2，…T_k，其放置原则是：所述的立体跟踪器T_k-1可以看到立体跟踪器T_k上的所有LED标记；所述的k∈{2，…，n}。各立体跟踪器一旦按顺序放置后，位置即固定不动。

图2是本发明的一个实施例的基于多立体跟踪器的大型物体三维建模方法流程图。如图2所示，本实施例方法包括以下步骤：

(1)三维扫描仪安放在支架上，支架安装于平行导轨上，可以沿导轨直线运动；在三维扫描仪上，安装m个发光LED标记(m>12)，作为跟踪标记，每个LED标记的功率为3瓦，可以发射出较强的光；

(2)沿被测大型物体一侧导轨的外侧，纵向依次间隔放置n个立体跟踪器(n的值取决于建模物体的尺寸，以建模12米长的物体为例，每隔4米放置一个立体跟踪器，需要放置3个立体跟踪器)，令T_k(k∈{2,..,n})表示第k个立体跟踪器。在立体跟踪器T_k(k∈{2,..,n})，上安装m个LED标记(m>12)，T₁不需要安装LED标记；放置立体跟踪器时，要确保立体跟踪器T_k-1可以看到立体跟踪器T_k上的所有LED标记；n个立体跟踪器放置好后，位置固定不动。

(3)在建模大型物体之前，针对三维扫描仪和立体跟踪器T_k(k∈{2,..,n})上的LED标记，采用SIFT(Scale-invariant feature transform)算法检测、匹配LED标记，并采用张正友的棋盘格标定算法标定LED标记。根据标定的数据，计算立体跟踪器T_k(k∈{2,..,n})的姿态(即相对于第一个立体跟踪器T₁的位置)。因为立体跟踪器T_k-1可以看到立体跟踪器T_k上的所有LED标记，因此，根据标定结果，即可以计算出跟踪器T_k-1和T_k之间的坐标变换关系。假设T_k-1和T_k之间变换关系为P_(k-1)k(是一个4行4列的坐标变换矩阵)，则立体跟踪器T_k的姿态可以用以下公式表示，姿态也是一个4行4列的坐标变换矩阵：

(4)开始测量大型物体时，T₁为工作立体跟踪器，即T₁直接跟踪三维扫描仪上的LED标记，三维扫描仪的投影仪向物体投射特殊纹理图像，工相机拍摄投影仪所投影区域的照片，并将照片传至GPU服务器，在GPU服务器上重建大型物体的局部三维数据；

(5)三维扫描仪沿导轨向前移动，重建被测大型物体的下一个局部三维数据；立体跟踪器T_k将依次检测到三维扫描仪的出现，从而成为工作跟踪器；假设在时刻t，三维扫描仪的投影仪向物体投射特殊结构光纹理图像，工业相机拍摄投影区域的照片，并将照片传至GPU服务器，利用结构光算法和三角测量算法，重建大型物体的局部三维数据，假设t时刻，局部三维数据用X_t表示；

(6)如果立体跟踪器T_k(k∈{2,..,n})，检测到三维扫描仪，T_k便成为工作跟踪器，取代前一个立体跟踪器。当T_k变成工作跟踪器后，T_k采用KLT(Kanade-Lucas-Tomasi)跟踪算法，跟踪三维扫描仪上LED标记的移动，从而计算三维扫描仪的姿态Q_S。三维扫描仪沿导轨向前推进，对大型物体的下一个局部区域进行建模。

(7)根据立体跟踪器的姿态和三维扫描仪的姿态Q_S，利用公式转换在时刻t获取的局部数据X_t，完成局部数据拼接；重复步骤(5)—(7)，直到整个被测大型物体建模结束。

总之，本发明以结构光三维扫描仪为基本测量单元，利用多个立体跟踪器构建拼接视场、跟踪三维扫描仪的运动，计算三维扫描仪的姿态，拼接三维扫描仪获取的局部建模数据，完成大型物体的三维形状建模。本发明具有建模范围大、速度快、精度高、使用方便的优点。