一种自由移动式三维扫描方法

一种自由移动式三维扫描方法
【专利摘要】本发明一种自由移动式三维扫描方法，属于光学检测领域，涉及一种全场三维轮廓测量方法、一种手持式测量设备和一种基于纹理和曲面曲率和法线方向的多角度拼接方法。移动手持式的高精度三维扫描一直是扫描领域的难题，本发明采用三频彩色条纹投影的方法通过投影设备投影1∶4∶12的三频彩色条纹到被测物表面，相机单帧曝光拍摄变形条纹图。一方面，变形条纹图采用三频相位展方法计算出高频载频展开相位，由系统标定参数得到被测物的三维点云。另一方面，从变形条纹图可以恢复被测物表面的纹理图。手持式扫描对多角度拼接提出了更高的要求，本发明采用根据彩色纹理特征，以及测量曲面曲率和法线方向约束，实现了多角度点云的无标志拼接。
【专利说明】一种自由移动式三维扫描方法

【技术领域】
[0001] 本发明属于光学检测领域，涉及一种全场三维轮廓测量方法、一种手持式测量设 备和一种基于纹理和曲面曲率和法线方向的多角度拼接方法。

【背景技术】
[0002] 目前市面上已有的便携式扫描仪，一些只是体积较小、便于携带，但是每次测量需 要多帧连续曝光采集变形条纹图才可以重建三维点云，操作方式一般是：选好位置，固定仪 器，测量，移动位置，固定，测量，·· ·。这种工作方式测量效率很低，也无法实现手持式连 续扫描，不且不适于对动态物体进行扫描。还有一些便携式扫描仪，虽然可以采用手持式扫 描方式，借助于立体视觉技术，但测量前需要在被测物上贴标志点，导致测量效率低、工作 量大，而且机器视觉的方法重建的点与所贴标志点多少？位置？相关，因此无法重建密集 点云。激光三维扫描仪也可以做成便携式扫描仪，这种便携式扫描仪同样要求自身在测量 过程中保持静止，因而无法实现手持式扫描，此外，激光扫描仪为点扫描或线扫描，因此扫 描效率低。
[0003] 就上述几种技术而言，手持式三维扫描仪的多角度拼接也是存在的一个重要问 题。一方面，可以通过标定多次测量扫描仪的位置或被测物的位置实现拼接，但是标定需要 辅助设备，例如位移台，既增加成本又限制了适用场合。另一方面，通过在被测物表面贴一 些标志点来辅助拼接，会导致测量周期变长，测量复杂化。
[0004] 综上所述，就技术和市场需求而言，急需一种既满足手持式测量，又能够动态测量 的手持式三维实时扫描仪，并且可以很好拼接各角度测量结果的扫描方法。


【发明内容】

[0005] 本发明的目的在于实现一种便于携带和操作的手持式扫描方法，适用于大多数测 量对象，且不需要大量标志点，同时很好的实现多角度测量的拼接问题。
[0006] 提供一种自由移动式三维扫描方法，包括一个彩色相机、一个彩色投影设备，控制 器等，其特征在于，相机和投影设备呈锐角夹角布置，由控制按钮控制发开始和停止测量， 投影设备投影三频彩色正弦条纹到被测物表面，控制器来控制相机触发拍摄，经相机单帧 曝光拍摄彩色变形条纹图。一方面，变形条纹图采用三频相位展方法计算出高频载频展开 相位，由系统标定参数得到被测物的三维点云。另一方面，变形条纹图采用频域最小化方 法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量恢复被测物表面的 纹理图。相邻两帧纹理图用SIFT交点提取的方法可以获得两两对应的稀疏角点，用这些 角点所对应的空间点计算出相邻两巾贞测量点云之间的初始坐标变换矩阵P1，通过坐标变 换将两个三维点云统一到前一个点云坐标系下；每帧测量的被测物三维点云进行三角面 片划分，并计算每个三角面片的曲率和法线，将统一坐标系后的三维曲面采用全局曲率最 大相关和法线方向最大相关求解出将两个点云进一步拼接的坐标变换矩阵P2,并进行坐 标变换；坐标变换后的两个点云采用ICP(Iterative Closest Point)方法进行迭代，找 到两个点云更准确拼接在一起的坐标变换矩阵p3 ;所以，第i+1帧所测得三维点云左乘矩 阵pi = ρ? · ρ2 · p3,就完成了将其与第i巾贞曝光所测得三维点云拼接到一起，左乘氏= P1 · P2 · P3.....Pi将其第1帧测量结果拼接在一起，所有测量的点云都与第1帧测 量结果拼在一起，就完成了本次测量的完整拼接。
[0007] 根据权利要求1所述的一种自由移动式三维扫描方法，根据权利要求1所述的一 种手持式3d实时扫描仪，其特征在于，相机曝光可根据条纹调制度自动调节。具体的，采用 经验模式分解和二维希尔伯特变换得到三频彩色条纹的高频分量，采用二维希尔伯特提取 高频分量的二维振幅，计算二维振幅的最大值和最小值，计算最大值和最小与设置值的差 值，调节曝光时间使得差值为最小。从而达到调节曝光的目的。
[0008] 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，只有在标定 的测量距离内扫描仪才可以被触发，操作者要合理控制扫描仪到被测物之间的距离，指示 灯1、2分别表示测量距离是否在测量范围内。同时，测量可分为点动测量和连续测量。
[0009] (1)点动测量按钮，即每按一次按钮，完成一次测量，如果多次测量结果需要拼接， 则操作者需要保证被测物相邻两次测量有60%以上的重合率。
[0010] (2)连续测量，控制器连续触发相机，操作者将扫描仪连续运动，即可以实现连续 测量；可根据视场大小，移动者速度来调节帧速率，以保证60%以上的重合率。例如，对于 0. 5mX0. 5m的视场大小，假设操作者的移动速度为lm/s，信号发生器触发速度为4帧/s， 即可保证相邻两次测量之间的重合率为60%以上。为了避免重合部分过多，造成数据量过 大，人手持测量时，触发速度设为5?10帧/s即可。
[0011] (3)只有在标定的测量距离内才可以触发，操作者要合理控制扫描仪到被测物之 间的距离，
[0012] 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，本发明可以 实现动态物体的测量，被测物在测量范围内，固定扫描仪，设置帧速率，使用连续测量模式， 就可以记录被测曲面的每一时刻的位置和形状，这些数据可以用于运动状态分析和运动变 形分析。
[0013] 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，投影设备投 影三频彩色条纹图，彩色条纹图由计算机生成，其RGB三个颜色通道分别由低、中、高三种 载频的正弦条纹生成，三频彩色正弦条纹的频率比为1 : 4 : 12。
[0014] 根据权利要求1所述的一种手持式3d实时扫描仪，其特征在于，分解高、中、低三 频分量是通过，将变形彩色条纹图中含高频条纹的颜色通道与含中频条纹的颜色通道相减 以消减背景光强，得到高、低频复合的条纹图。继而用傅里叶变换分离高、中载频分量。同 理，分解得到中、低载频分量。变形条纹图分解得到的高、中、低三载频分量，以二维短时傅 立叶变换解调得到的高、中、低各载频分量包裹相位，最后以变精度去包裹算法按低、中、高 载频分量依次完成包裹相位展开，得到高频载频项的展开相位。由此展开相位根据标定结 果可恢复物体高度。
[0015] 本发明的优点在于：
[0016] 1)用投影三频彩色正弦条纹图的方法实现单帧曝光即可完成三维点云测量，测量 结果点云密集，精度高；
[0017] 2)根据被测物的颜色、纹理、反射率等信息自动调节相机曝光时间；
[0018] 3)可以实现点动测量和连续测量两种测量模式，在连续测量模式下，扫描仪会以 一定的帧速率连续曝光，实现连续测量；
[0019] 4)可以实现运动曲面的单角度三维测量；
[0020] 5)用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频正弦条 纹分量，以恢复被测物表面的纹理图；
[0021] 6)根据从变形条纹图中恢复的纹理图，、曲面的曲率和法线方向等信息，实现多角 度、多帧曝光测量的拼接。

【专利附图】

【附图说明】
[0022] 图1示出手持式三维扫描方法技术路线图；
[0023] 图2示例出投影彩色正弦条纹图（R : G : B = 1 : 4 : 12);
[0024] 图3示例出三频彩色正弦条纹轮廓术及彩色纹理恢复技术路线；
[0025] 图4示例出相邻两角度测量结果拼接方法；
[0026] 图5示出多角度扫描结果拼接方法；
[0027] 图6示例出人脸6角度扫描模型；
[0028] 图7示例出拼接后模型的多角度展示。

【具体实施方式】
[0029] 下面结合附图详细说明本发明。
[0030] 1.总技术路线图
[0031] 本专利描述的手持式三维扫描方法是一种应用于移动、手持式、便携的三维扫描 仪的方法，扫描仪对被测物多角度进行扫描后拼接，生成完整的三维模型。本专利所描述的 手持式三维扫描方法有两种测量模式，点动测量测量和连续测量。在两种测量方式下，测量 过程和技术方案相同，总技术路线如附图1所示。
[0032] (1)选择测量模式，点动测量或连续测量；其中，点动测量，选择好测量角度，每触 发一次，进行测量一次；连续测量，相机连续曝光，连续移动扫描仪，实现连续测量，例如，对 于0. 5m*0. 5m的视场大小，假设操作者的移动速度为，信号发生器触发速度为4帧/s，即可 保证相邻两次测量之间的重合率为60%以上。为了避免重合部分过多，造成数据量过大，人 手持测量时，触发速度设为5?10帧/s即可。
[0033] (2)选择被测物的测量角度，相邻角度重合率大于60% ;
[0034] (3)相机根据不同角度的光照、反射率等信息自动调整曝光时间，调节方法在下面 2中详细描述；
[0035] (4)在（1)中选择好的角度进行扫描测量，采用三频彩色相移轮廓术和彩色条纹 解耦的方法获得各角度的三维点云和纹理图，详细步骤如附图3所示；
[0036] (5)将⑵中获得的不同角度三维点云拼接成一个完整的模型，拼接方法如附图4 和附图5所示。
[0037] 2.曝光自动调节
[0038] 采用经验模式分解和二维希尔伯特变换得到三频彩色条纹的高频分量，采用二维 希尔伯特提取高频分量的二维振幅，计算二维振幅的最大值和最小值，计算最大值和最小 与设置值的差值，调节曝光时间使得该差值为最小。从而达到调节曝光的目的。
[0039] 3.三频彩色相移轮廓术和纹理恢复
[0040] 本专利所描述的手持式三维扫描方法，采用彩色光栅投影技术，投影如附图2所 示的三频彩色正弦条纹图到被测物表面，RGB三通道频率比为1 : 4 : 12，，用彩色相机 拍摄投影在物体表面的变形条纹图，用傅里叶变换分离出高中低三个载频，接着将三频相 位分别展开，进行相位解包裹，恢复出高频载频相位，最后通过系统标定的参数得到三维点 云。变形条纹图采用频域最小化方法得到三频正弦条纹分量，从彩色变形条纹图减去三频 正弦条纹分量恢复被测物表面的纹理图。获得三维点云的具体步骤如附图3所示：
[0041] (1)投影设备投影彩色三频彩色条纹到被测物表面，如附图2所示；
[0042] (2)彩色相机拍摄被测物表面的变形条纹图；
[0043] (3)采用傅立叶变化分离高中低三载频，得到高、中、低三幅变形条纹图；
[0044] (4)采用HHT(希尔伯特-黄变换）进行条纹自适应分析和相位提取，得到高、中、 低二频的包裹相位；
[0045] (5)通过时域变精度去包裹的方法得到高精度的绝对相位；
[0046] (6)步骤（5)得到的绝对相位，由系统标定参数得到被测物的三维点云。
[0047] 获得纹理图的步骤为：
[0048] (7)以上步骤（2)所得的彩色变形条纹图减去上述步骤（3)所得的高中低三频分 量得到背景分量；
[0049] 步骤（7)所得的背景分量通过纹理光照分离恢复得到被测物原本的纹理图。
[0050] 4.自动拼接的实施方案
[0051] 本发明描述的手持式三维扫描方法可以实现无标志点的自动无缝拼接，其拼接主 要依靠从变形条纹图中恢复的纹理信息，测得点云划分曲面的曲率和法线方向为约束，寻 找相邻两帧测量结果之间的位置关系，最终实现全局拼接。
[0052] 每个角度扫描的点云的坐标系与当时扫描位置的相机坐标系重合，所以，不同角 度扫描的点云坐标不在同一个坐标系下，将不同坐标系下的点云转换到同一个坐标系下 的过程，就是点云的拼接。假设世界坐标系与第1个角度下的相机坐标系重合，将每次测量 的η个角度所得点云豆转换到世界坐标系下，就实现了多角度的拼接。世界坐标系表示为 〇(^'2'(/)，每个角度下相机坐标系表示为〇^，夂^的，同时 〇('^1，2'(/) = 〇(1，^， Ζ1，01);点云的表示为

【权利要求】
1. 一种自由移动式三维扫描方法，包括一个彩色相机、一个彩色投影设备，控制器等， 其特征在于，相机和投影设备呈锐角夹角布置，由控制按钮控制发开始和停止测量，投影设 备投影三频彩色正弦条纹到被测物表面，控制器来控制相机触发拍摄，经相机单帧曝光拍 摄彩色变形条纹图。一方面，变形条纹图采用三频相位展方法计算出高频载频展开相位，由 系统标定参数得到被测物的三维点云。另一方面，变形条纹图采用频域最小化方法得到三 频正弦条纹分量，从彩色变形条纹图减去三频正弦条纹分量恢复被测物表面的纹理图。相 邻两帧纹理图用SIFT交点提取的方法可以获得两两对应的稀疏角点，用这些角点所对应 的空间点计算出相邻两帧测量点云之间的初始坐标变换矩阵pl，通过坐标变换将两个三维 点云统一到前一个点云坐标系下；每帧测量的被测物三维点云进行三角面片划分，并计算 每个三角面片的曲率和法线，将统一坐标系后的三维曲面采用全局曲率最大相关和法线方 向最大相关求解出将两个点云进一步拼接的坐标变换矩阵P2,并进行坐标变换；坐标变换 后的两个点云采用ICP(Iterative Closest Point)方法进行迭代，找到两个点云更准确拼 接在一起的坐标变换矩阵p3 ;所以，第i+Ι巾贞所测得三维点云左乘矩阵Pi = ρ? · ρ2 · p3, 就完成了将其与第i帧曝光所测得三维点云拼接到一起，左乘& = PI · P2 · P3……Pi将 其第1帧测量结果拼接在一起，所有测量的点云都与第1帧测量结果拼在一起，就完成了本 次测量的完整拼接。
2. 根据权利要求1所述的一种自由移动式三维扫描方法,根据权利要求1所述的一种 手持式3d实时扫描仪，其特征在于，相机曝光可根据条纹调制度自动调节。具体的，采用 经验模式分解和二维希尔伯特变换得到三频彩色条纹的高频分量，采用二维希尔伯特提取 高频分量的二维振幅，计算二维振幅的最大值和最小值，计算最大值和最小与设置值的差 值，调节曝光时间使得该差值为最小。从而达到调节曝光的目的。
3. 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，只有在标定的 测量距离内扫描仪才可以被触发，操作者要合理控制扫描仪到被测物之间的距离，指示灯 1、2分别表示测量距离是否在测量范围内。同时，测量可分为点动测量和连续测量。 (1) 点动测量按钮，即每按一次按钮，完成一次测量，如果多次测量结果需要拼接，则操 作者需要保证被测物相邻两次测量有60%以上的重合率。 (2) 连续测量，控制器连续触发相机，操作者将扫描仪连续运动，即可以实现连续测 量；可根据视场大小，移动者速度来调节帧速率，以保证60%以上的重合率。例如，对于 0. 5mX0. 5m的视场大小，假设操作者的移动速度为lm/s，信号发生器触发速度为4帧/s， 即可保证相邻两次测量之间的重合率为60%以上。为了避免重合部分过多，造成数据量过 大，人手持测量时，触发速度设为5?10帧/s即可。 (3) 只有在标定的测量距离内才可以触发，操作者要合理控制扫描仪到被测物之间的 距离。
4. 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，本发明可以实 现动态物体的测量，被测物在测量范围内，固定扫描仪，设置帧速率，使用连续测量模式， 就可以记录被测曲面的每一时刻的位置和形状，这些数据可以用于运动状态分析和运动变 形分析。
5. 根据权利要求1所述的一种自由移动式三维扫描方法，其特征在于，投影设备投影 三频彩色条纹图，彩色条纹图由计算机生成，其RGB三个颜色通道分别由低、中、高三种载 频的正弦条纹生成，三频彩色正弦条纹的频率比为1 : 4 : 12。
6.根据权利要求1所述的一种手持式3d实时扫描仪，其特征在于，分解高、中、低三频 分量是通过，将变形彩色条纹图中含高频条纹的颜色通道与含中频条纹的颜色通道相减以 消减背景光强，得到高、低频复合的条纹图。继而用傅里叶变换分离高、中载频分量。同理， 分解得到中、低载频分量。变形条纹图分解得到的高、中、低三载频分量，以二维短时傅立叶 变换解调得到的高、中、低各载频分量包裹相位，最后以变精度去包裹算法按低、中、高载频 分量依次完成包裹相位展开，得到高频载频项的展开相位。由此展开相位根据标定结果可 恢复物体高度。
【文档编号】G06T15/00GK104299211SQ201410494897
【公开日】2015年1月21日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】周翔, 李欢欢, 郭家玉, 李玉勤, 王超, 赵磊, 杨涛 申请人:周翔