一种三维扫描系统及其扫描方法与流程

本发明涉及一种三维扫描系统及扫描方法，尤其涉及一种用于手持多条纹三维扫描系统的三维数字成像传感器、三维扫描系统及扫描方法。

背景技术：

三维数字化技术是近年来国际上活跃研究的一个新兴交叉学科领域，被广泛的应用到逆向工程、文物保护、工业检测及虚拟现实等诸多领域。而手持便携式三维扫描仪以其便捷性，灵活性的优点在三维扫描领域被广泛应用。现有手持式三维扫描仪的原理主要是基于结构光的主动立体视觉方式，结构光的模式可以有多种，如红外激光散斑、DLP(Digital Light Processing)投影散斑、DLP投影的模拟激光条纹、激光条纹等。这些结构光模式中以DLP投影的模拟激光条纹，激光条纹为结构光的手持三维扫描仪的精度最高、扫描细节最好。

以DLP投影的模拟激光条纹，激光条纹为结构光为例的基本工作流程是：

(1)对投射的条纹进行平面拟合；

(2)根据采集到的条纹图进行标志点提取及条纹中心提取；

(3)对条纹中心进行连通域分割，根据平面方程对左右相机图像上的条纹进行对应点匹配；

(4)利用两相机的极线约束关系查找左右相机图像上对应的标志点中心；

(5)根据扫描系统的标定参数，采用三维重建算法对已经匹配好的对应条纹及对应标志点中心进行三维重建；

(6)标志点拼接及条纹三维点旋转平移实现手持三维扫描。

然而，该扫描过程中左右相机图像上的对应条纹匹配主要是基于光平面或条纹平面方程的指导，该方法在条纹数量大于15的时候左右相机图像上的对应条纹的匹配错误率将显著提高，进而增加噪声，降低扫描数据的准确性。当条纹数量小于15时，扫描效率得不到有效提高。故而在固有的扫描帧率限制下提高扫描效率的有效方法是增加条纹数量同时提高条纹匹配的准确性。另外，该扫描的拼接需要标志点实现，两两帧之间需要一定数量的公共标志点，需要贴满整个扫描模型。

技术实现要素：

有鉴于此，有必要提供一种手持多条纹三维扫描系统及其扫描方法，以解决现有手持三维扫描系统无法兼顾高扫描效率和高扫描数据准确性的问题，同时在扫描过程中无需标志点进行拼接。

一种三维扫描系统，用于获取被测物体的三维条纹点云数据，其包括：光源，用于在所述被测物体先后交替投射多个散斑图案及条纹图案。左、右相机，用于同步采集所述被测物体的左、右散斑图像及左、右条纹图像。散斑数据及标志点数据重构模组，用于根据所述散斑图像得到散斑三维数据及标志点三维数据。条纹匹配模块，用于根据所述散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像条纹进行匹配。三维重构模块，用于将左、右条纹图像匹配好的对应条纹，重建为三维条纹点云数据。

所述条纹图案为自然光条纹图案。

所述条纹图案中的条纹条数大于15。

所述三维扫描系统为手持式三维扫描系统。

所述三维扫描系统进一步包括散斑拼接模块，用于利用前后两帧散斑数据公共区域的点云的进行ICP拼接，计算出两帧之间的旋转平移矩阵R、T。

所述三维扫描系统进一步包括数据融合模块，用于根据散斑拼接所得到的旋转平移矩阵R、T作用到三维条纹点云数据上进行融合，从而实现条纹图像的三维扫描。

一种三维扫描系统，用于获取被测物体的三维条纹点云数据，其包括：一光源，用于在所述被测物体先后交替投射多个散斑图案及条纹图案。左、右相机，用于同步采集所述被测物体的左、右散斑图像及左、右条纹图像。一数据处理单元，用于根据所述散斑图像得到散斑三维数据及标志点三维数据，同时根据所述散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像的条纹进行匹配，进而将左、右条纹图像匹配好的对应条纹，重建为三维条纹点云数据。

一种三维扫描方法，其包括如下步骤：

(1)设备构建：构建由两个相机和光源组成的三维数字成像传感器；

(2)系统标定：对左右相机进行标定，获得标定参数；

(3)投影与图像采集：先后交替生成散斑图案及条纹图案，并用光源向被测物体投射，所述散斑图案及条纹图案被被测物体的高度调制发生变形，产生调制后的散斑图案及条纹图案，左右相机同步采集调制后的散斑图案得到左、右散斑图像，左右相机同步采集调制后的条纹图案得到左、右条纹图像；

(4)散斑及标志点三维数据重构：根据采集到的左、右散斑图像，进行三维重构得到散斑三维数据PtS及标志点三维数据PtM；

(5)条纹匹配：将所述散斑三维数据PtS及标志点三维数据PtM反投影到左、右条纹图像并指导左、右条纹图像进行匹配；

(6)三维重构：将左、右条纹图像匹配好的对应条纹，利用左、右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系，然后根据所述标定参数，将对应点重建为三维条纹点云数据。

所述系统标定进一步包括如下步骤：对左右相机进行标定从而获取相机的内外参及相机之间的相对位置对应的旋转平移矩阵Mc。

所述散斑及标志点三维数据重构进一步包括散斑三维数据重构步骤：根据采集到的散斑图像，在所述左散斑图像上的某一个图像坐标点pi处，以pi为中心去5x5～11x11的矩形子图；根据所述标定参数计算对应的右散斑图像极线，在对应的右散斑图像极线上所有坐标点(q1～qn)为中心取同样大小的矩阵子图，计算左散斑图像pi处子图与右散斑图像极线上所有子图之间的相关系数C1～Cn；比较相关系数大小，定义相关系数最大的为Cmax，设定相关系数阈值T，如果Cmax大于T，则可以确定左相机的pi在右相机上唯一的对应匹配点为pr；遍历左散斑图像上所有的像素坐标点根据上述方法寻找右散斑图像对应匹配点，根据所述标定参数，将对应点重构成三维数据PtS。

所述散斑及标志点三维数据重构进一步包括标志点三维数据重构步骤：根据采集到的散斑图像，提取左、右散斑图像上所有的标志点中心；根据极线约束准则寻找左、右散斑图像上对应匹配的标志点中心对；然后根据标定参数，将标志点对应点重建成标志点三维数据PtM。

所述条纹匹配进一步包括标志点反投影偏差补偿步骤，包括：对所述左、右条纹图像进行标志点中心提取，记录其标志点对PtMultiCoor；根据极线约束准则寻找左右条纹图像上对应匹配的标志点中心对；将散斑图上的标志点三维数据PtM依次根据左右相机各自的标定内参反投影到调制后的左、右条纹图像上，记录其二维坐标对PtMacthCoor，计算PtMacthCoor上每对反投影标志点图像坐标在条纹图像上提取的最近的标志点中心对的像素坐标偏差，依次计算左、右条纹图像上各自偏差的均值，记录左条纹图像像素偏差均值pixDivL及右条纹图像素偏差均值pixDivR。

所述三维匹配进一步包括如下步骤：重建完散斑三维数据PtS及对应的标志点三维数据PtM后，对左、右条纹图像进行中心线提取；对每条中心线连通域的分割形成多条独立线段，然后将散斑三维数据PtS及对应的标志点三维数据PtM依次根据左右相机各自的标定参数反投影到左、右条纹图像上；所述左、右条纹图像的反投影坐标依次加上左条纹图像素偏差均值pixDivL及右条纹图像素偏差均值pixDivR实现偏差补偿；对偏差补偿后的反投影坐标对进行编号，每个对应点均有相应的序号，形成条纹左右图像坐标对应的查找表；遍历左条纹图像上每个条纹线段每个点的所对应的序号，根据查找表可直接查找到右条纹图像相匹配的条纹线段，如此即可实现左、右条纹图像线段的准确匹配。

所述三维重构进一步包括如下步骤：将左右图像匹配好的对应条纹中心线段，利用左右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系，然后根据系统的标定参数，将对应点对重建为三维条纹点云数据。

进一步包括散斑拼接步骤：利用前后两帧散斑数据的公共区域的点云进行icp拼接，计算出两帧之间的旋转平移矩阵R、T。

进一步包括数据融合步骤：根据散斑拼接所求得的旋转平移矩阵R、T作用到三维条纹点云数据上进行融合，从而实现条纹图像的三维扫描。

与现有技术相比，本发明的三维扫描仪及其扫描方法中，通过被测物体的散斑图像得到散斑三维数据及标志点三维数据，然后将该散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像条纹进行匹配，从而获得三维条纹点云数据。该三维扫描仪相对传统的三维扫描仪具有如下优点：1、条纹匹配的精度或准确性较高，从而可通过增加匹配的条纹数量来提高三维扫描系统的扫描效率；2、不用借助标志点即可实现实时拼接；3、无需标定条纹光平面，即无需通过光平面来指导左右图像的匹配，对硬件的相对位置的安装精度要求较低，降低了系统成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举实施例，并配合附图，详细说明如下。

附图说明

以下结合附图描述本发明的实施例，其中：

图1是本发明实施例提供的三维扫描系统的结构示意图。

图2是图1中三维扫描仪投射到被测物体上的左、右散斑图。

图3是图1中三维扫描系统左、右相机采集到的左、右条纹图像。

图4是根据图1中的散斑图进行三维重构得到的的散斑三维数据。

图5是将散斑三维数据及标志点三维数据依次反投影到左、右条纹图像所得到的反投影。

图6是极线几何约束示意图。

具体实施方式

以下基于附图对本发明的具体实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅作为实施例，并不用于限定本发明的保护范围。

请参照图1，本发明实施例提供一种三维扫描系统，用于获取或采集被测物体105的三维条纹点云数据。所述三维扫描系统的类型不限，包括固定式三维扫描系统和手持式三维扫描系统，优选地，所述三维扫描系统为手持多条纹双目三维扫描系统。可以理解，当所述三维扫描系统为手持时多条纹双目三维扫描系统时，在工作过程中，不同时段获得到的图像因为抖动会有误差。

该三维扫描系统包括光源101，左相机102、右相机103及数据处理单元104。所述光源101、左相机102、右相机103之间的相互位置不限，只要可以投射或采集到被测物体105即可。且在工作时，所述光源101，左相机102、右相机103的位置相对固定。优选地，所述光源101设置在所述左相机102与右相机103正中间。

所述光源101用于在所述被测物体105先后交替投射多个散斑图案及条纹图案。所谓先后交替投射，即第一幅投射的图案为散斑图案，且所述光源101每两幅散斑图案之间需投射一幅条纹图案，反之亦然，每两幅条纹图案之间需投射一幅散斑图案，且第一幅图案为散斑图案。所述光源101包括激光、投影仪或其他光源，当所述光源101为投影仪时，所述投影仪为数字投影仪。所述条纹图案包括模拟激光条纹图案、激光条纹图案及其他条纹图案等。优选地，所述光源101为投影仪，且所述条纹图案为自然光条纹图案。相对激光条纹图案，所述自然光条纹图案对人眼无伤害，且投射到标志点时，黑色边缘部分不会过亮，从而能提高标志点中心的准确提取，从而提高拼接精度。所述光源101所投射的条纹的数量不限，但为了提高扫描效率，通常需要大于15条，本实施例中，所述条纹数量大于80条。

所述左相机102、右相机103用于同步采集所述被测物体105的左、右散斑图像及左、右条纹图像。所述左右相机103、104的类型不限，只要能采集到所述被测物体105的二维图像即可。可以理解，由于所述光源101向被测物体105投射的散斑图案及条纹图案，被被测物体105的高度调制发生变形，产生调制后的散斑图案及条纹图案。而所述左右相机103、104则通过采集调制后的条纹图案得到左、右散斑图像及左、右条纹图案。

所述数据处理单元104，用于根据所述散斑图像得到散斑三维数据及标志点三维数据，同时根据所述散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像的条纹进行匹配，进而将左、右条纹图像匹配好的对应条纹，重建为三维条纹点云数据。

具体地，所述数据处理单元104包括散斑数据及标志点数据重构模组、条纹匹配模块及三维重构模块。所述散斑数据及标志点数据重构模组用于根据所述散斑图像得到散斑三维数据及标志点三维数据。所述条纹匹配模块用于根据所述散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像条纹进行匹配。所述三维重构模块，用于将左、右条纹图像匹配好的对应条纹，重建为三维条纹点云数据。而所述三维重构模块用于将左右条纹图像匹配好的对应条纹，利用左、右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系，然后根据所述标定参数，将对应点重建为三维条纹点云数据。当然，所述三维重构模块重建三维条纹点云数据的方式或技术不限，只要能将匹配好的左右条纹图像重建为三维条纹点云数据即可。

进一步地，所述所述数据处理单元104还可包括散斑拼接模块及数据融合模块，所述散斑拼接模块用于利用前后两帧散斑数据公共区域的点云的进行ICP拼接，计算出两帧之间的旋转平移矩阵R、T。所述数据融合模块用于根据散斑拼接所得到的旋转平移矩阵R、T作用到三维条纹点云数据上进行融合，从而实现条纹图像的三维扫描。

一种用上述三维扫描系统获取或采集被测物体105的三维点云数据的扫描方法，其包括如下步骤：

(1)设备构建：构建由两个相机和光源组成的三维数字成像传感器。

(2)系统标定：对左右相机进行标定，获得标定参数。

所述系统标定进一步包括如下步骤：对左右相机进行标定从而获取相机的内外参及相机之间的相对位置对应的旋转平移矩阵Mc。

(3)投影与图像采集：先后交替生成散斑图案及条纹图案，并用光源向被测物体投射，所述散斑图案及条纹图案被被测物体的高度调制发生变形，产生调制后的散斑图案及条纹图案，左右相机同步采集调制后的散斑图案得到左、右散斑图像，左右相机同步采集调制后的条纹图案得到左、右条纹图像。

(4)散斑及标志点三维数据重构：根据采集到的左、右散斑图像，进行三维重构得到散斑三维数据PtS及标志点三维数据PtM。

所述散斑三维数据PtS重构包括如下步骤：根据采集到的散斑图像，在所述左散斑图像上的某一个图像坐标点pi处，以pi为中心去5x5～11x11的矩形子图；根据所述标定参数计算对应的右散斑图像极线，在对应的右散斑图像极线上所有坐标点(q1～qn)为中心取同样大小的矩阵子图，计算左散斑图像pi处子图与右散斑图像极线上所有子图之间的相关系数C1～Cn；比较相关系数大小，定义相关系数最大的为Cmax，设定相关系数阈值T，如果Cmax大于T，则可以确定左相机的pi在右相机上唯一的对应匹配点为pr；遍历左散斑图像上所有的像素坐标点根据上述方法寻找右散斑图像对应匹配点，根据所述标定参数，将对应点重构成三维数据PtS。

所述标志点三维数据PtM重构包括如下步骤：根据采集到的散斑图像，提取左、右散斑图像上所有的标志点中心；根据极线约束准则寻找左、右散斑图像上对应匹配的标志点中心对；然后根据标定参数，将标志点对应点重建成标志点三维数据PtM。

(5)条纹匹配：将所述散斑三维数据PtS及标志点三维数据PtM反投影到左、右条纹图像并指导左、右条纹图像进行匹配。

所述条纹匹配进一步包括标志点反投影偏差补偿步骤，包括：(a)对所述左、右条纹图像进行标志点中心提取，记录其标志点对PtMultiCoor。(b)根据极线约束准则寻找左右条纹图像上对应匹配的标志点中心对。(c)将散斑图上的标志点三维数据PtM依次根据左右相机各自的标定内参反投影到调制后的左、右条纹图像上，记录其二维坐标对PtMacthCoor，计算PtMacthCoor上每对反投影标志点图像坐标在条纹图像上提取的最近的标志点中心对的像素坐标偏差，依次计算左、右条纹图像上各自偏差的均值，记录左条纹图像像素偏差均值pixDivL及右条纹图像素偏差均值pixDivR。(d)对左、右条纹图像进行中心线提取；对每条中心线连通域的分割形成多条独立线段，然后将散斑三维数据PtS及对应的标志点三维数据PtM依次根据左右相机各自的标定参数反投影到左、右条纹图像上。(e)所述左、右条纹图像的反投影坐标依次加上左条纹图像素偏差均值pixDivL及右条纹图像素偏差均值pixDivR实现偏差补偿。(f)对偏差补偿后的反投影坐标对进行编号，每个对应点均有相应的序号，形成条纹左右图像坐标对应的查找表。(g)遍历左条纹图像上每个条纹线段每个点的所对应的序号，根据查找表可直接查找到右条纹图像相匹配的条纹线段，如此即可实现左、右条纹图像线段的准确匹配。

(6)三维重构：将左、右条纹图像匹配好的对应条纹，利用左、右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系，然后根据所述标定参数，将对应点重建为三维条纹点云数据。所述三维重构进一步包括如下步骤：将左右图像匹配好的对应条纹中心线段，利用左右两个相机的极线几何约束关系，查找对应条纹中心线段中单个点对应关系，然后根据系统的标定参数，将对应点对重建为三维条纹点云数据。

所述三维扫描方法进一步包括：

(7)散斑拼接：利用前后两帧散斑数据的公共区域的点云进行icp拼接，计算出两帧之间的旋转平移矩阵R、T。

(8)数据融合：根据散斑拼接所求得的旋转平移矩阵R、T作用到三维条纹点云数据上进行融合，从而实现条纹图像的三维扫描。

与现有技术相比，本发明的三维扫描仪及其扫描方法中，通过被测物体的散斑图像得到散斑三维数据及标志点三维数据，然后将该散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像条纹进行匹配，从而获得三维条纹点云数据。该三维扫描仪相对传统的三维扫描仪具有如下优点：1、条纹匹配的精度或准确性较高，从而可通过增加匹配的条纹数量来提高三维扫描系统的扫描效率；2、不用借助标志点即可实现实时拼接；3、无需标定条纹光平面，即无需通过光平面来指导左右图像的匹配，对硬件的相对位置的安装精度要求较低，降低了系统成本。

为进一步阐述本发明的三维扫描系统及其扫描方法，下面以具体的实施例给予说明。

请参照图1，实际设计的手持多条纹双目三维扫描系统的结构如图1所示。101为数字投影仪，102为相机，103位右相机，104为计算机(数据处理单元)，105为被测物体。

标定后的左相机的内部参数为：

标定后的右相机的内部参数为：

左相机和右相机之间的系统结构参数为：

R＝[8.749981e-001，6.547051e-003，4.840819e-001，

-2.904034e-003，9.999615e-001，-8.274993e-003，

-4.841175e-001，5.834813e-003，8.749835e-001]

T＝[-1.778995e+002，-4.162821e-001，5.074737e+001]

按照上面的叙述的步骤，对被测物体105投射数字散斑图案，左、右相机102、103同步采集调制后的散斑图案得到左、右散斑图像如图2所示。然后投射数字多线条纹图案，左、右相机102、103同步采集调制后的条纹图案得到左、右条纹图像如图3所示。根据采集到的数字散斑图像进行三维重构取得散斑三维数据如图4所示及标志点三维数据，同时根据标定参数将该散斑三维数据及标志点三维数据依次反投影到左、右条纹图像上如图5所示，左右对应点上赋予序号，形成序号查找表。提取所述左、右条纹图像上条纹中心并进行连通域分割，根据序号查找表进行条纹对应线段的匹配。匹配完的线段对根据左、右相机的极线几何约束关系进行对应点查找如图6所示，然后根据标定参数进行三维重构，生成三维条纹点云数据。重复上述步骤利用散斑数据进行实时拼接，将拼接矩阵作用到三维条纹点云数据上实现条纹图像的实时扫描。

与现有技术相比，本发明的三维扫描仪及其扫描方法中，通过被测物体的散斑图像得到散斑三维数据及标志点三维数据，然后将该散斑三维数据及标志点三维数据反投影到左、右条纹图像并指导左、右条纹图像条纹进行匹配，从而获得三维条纹点云数据。该三维扫描仪相对传统的三维扫描仪具有如下优点：1、条纹匹配的精度或准确性较高，从而可通过增加匹配的条纹数量来提高三维扫描系统的扫描效率；2、不用借助标志点即可实现实时拼接；3、无需标定条纹光平面，即无需通过光平面来指导左右图像的匹配，对硬件的相对位置的安装精度要求较低，降低了系统成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。