一种基于标记点轨迹跟踪的手持激光三维扫描方法及设备的制作方法
【专利摘要】一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，包括以下步骤：1)在单个摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系；2)利用所述初步匹配关系计算出仪器当前相对坐标系Oc到世界坐标Ow的RT转换矩阵，利用重投影方法对之前的初步匹配关系进行校验；3)在当前帧图像中提取激光投影轮廓，通过RT转换矩阵转换为世界坐标系Ow下的三维坐标。以及一种手持激光三维扫描设备。本发明降低对系统硬件配置的要求、移动拼接时的顺畅性良好、精度较高、成本较低。
【专利说明】-种基于标巧点轨迹跟踪的手持激光H维扫描方法及设备
【技术领域】
[0001] 本发明属于=维扫描【技术领域】，设及一种手持激光=维扫描方法及设备。
【背景技术】
[0002] 目前已有的双摄像头手持扫描技术（如加拿大形创有限公司《S维扫描自动参 考系统和设备》，发明专利申请号；200680014069. 3 ;沈阳雅克科技有限公司《一种手持式 =维型面信息提取方法及提取仪》，发明专利申请号：201010173849.0)均利用经过标定的 双摄像头分别对被测物体进行图形采集，并分别提取图像中的特征标记点进行立体视觉匹 配，重构左右摄像头共同视野内的标记点在仪器坐标系下的S维坐标及拓扑结构，利用该 些标记点的拓扑结构与在世界坐标系中已知标记点库（已知标记点库可W是先前扫描获 得，也可W是通过其他方法，如摄影测量法，预先扫描得到的标记点集合）进行匹配，如果 匹配成功就可W反推出当前仪器的位置及姿态参数。在得出当前仪器的位置姿态信息后可 W使用两种方法来获得投影到被测物体上激光线的=维坐标；1)可W利用某个摄像头拍 摄的图像中提取激光轮廓线，并根据已标定好的该摄像头与线状激光发生器所发射激光面 的位置关系获得激光轮廓线在仪器坐标系下的=维坐标。2)可W利用两个摄像头获得的两 幅图像中提取激光轮廓线，采用与处理标记点类似的方法进行立体视觉匹配得到激光轮廓 线的=维的坐标值。上述原理描述了两个摄像头一次同步曝光采集图像的处理过程，由于 手持激光=维扫描仪进行的是六自由度移动的非接触式扫描，被测物体表面在摄像头的视 野范围内连续移动时需要实现仪器不同位置和角度所获得的物体表面标记点=维拓扑结 构与已知标记点库内的标记点拓扑结构进行连续循环匹配，如果有增加则更新标记点库。
[0003] 上述激光扫描的方法可W实现W手持方式对被测物体非接触任意角度的扫描，但 由于被扫描的中大型物体（如汽车外轮廓、汽轮机叶片等）可能贴有几百个甚至上千个标 记点，扫描仪每秒几十次曝光所采集的每一帖图案中的标记点均需要与已记录标记点库中 的所有标记点的拓扑结构进行一一匹配；计算当前帖中每个标记点与周围标记点的拓扑关 系（距离和角度）并逐个与标记点库中的每个标记点进行对比，匹配过程需消耗大量的CPU 运算时间。另外为防止图像运动模糊W及保证激光投影轮廓线在物体表面移动的连贯性， 手持扫描的方式对摄像头的曝光时间和频率有一定的要求，一般曝光时间为几毫秒、曝光 频率为几十赫兹，因此计算机需要在几毫秒的时间内完成对两幅图像的标记点识别、两幅 图像上识别出的标记点相互匹配获得共同视野标记点集合的相对=维坐标W及与标记点 库匹配获得共同视野标记点集合的世界坐标从而计算出仪器的位置和形态，还需要识别激 光轮廓线W及轮廓线上的激光点的坐标变换等运算。所W需要有很高配置的计算机作为仪 器的运算单元W支持其扫描时的实时运算（目前市场上一款主流手持激光扫描仪配套笔 记本电脑的标准配置需要4核8线程CPU W及8G内存，在扫描时其CPU占用率超过95% )， 如此高的CPU性能要求制约了其微型化和轻量化，无法使用性能较弱的嵌入式CPU与微型 摄像头作为扫描仪的运算和采集部件，阻碍了该原理的手持=维扫描技术在民用消费领域 和智能感知领域的进一步扩展。
[0004] 另外，使用双摄像头=维扫描的被测物体表面的有效检测区域为两个摄像头视野 重合的部分，限制了其扫描的范围，特别是在扫描有转角的被测物体表面时，两个成一定角 度的摄像头的视野很大程度上被转角对称遮挡，从而减少了同一帖获得的标记点的个数和 投射的激光轮廓区域，进而降低了扫描移动拼接的顺畅性，影响了标记点拼接的精度和激 光轮廓线的出点速度。
【发明内容】
[0005] 为了克服已有双摄像头手持扫描技术的系统硬件配置要求较高、移动拼接时的顺 畅性较差、精度较低的不足，本发明提供了一种降低对系统硬件配置的要求、移动拼接时的 顺畅性良好、精度较高、成本较低的基于标记点轨迹跟踪的手持激光=维扫描方法及设备。
[0006] 本发明解决其技术问题所采用的技术方案是；
[0007] 一种基于单摄像头标记点轨迹跟踪的手持激光=维扫描方法，所述扫描方法包括 W下步骤：
[000引 1)在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设 定数量帖中标记点的运动轨迹预判得到当前帖中的目标位置，再在目标位置周围捜索得出 其对应标记点，建立当前帖中的标记点与原标记点库的初步匹配关系；
[0009] 2)利用当前帖中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐 标系化到世界坐标0，的RT转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周 边邻近标记点重投影到当前帖的二维图像平面坐标系〇t中，对之前的初步匹配关系进行校 验，如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配 度最差的标记点，重新迭代计算RT转换矩阵后再进行投影评估；
[0010] 3)在获得仪器当前位置的RT转换矩阵后，在当前帖图像中提取激光投影轮廓并 根据已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器 坐标系0。下的相对S维坐标通过RT转换矩阵转换为世界坐标系0,下的S维坐标。
[0011] 进一步，所述扫描方法还包括如下步骤：
[0012] 4)如果当前帖的标记点重投影校验失败，则需要启动另一台相互位置已经过标定 的辅助摄像头获得共同视野内的标记点在两个摄像头图像中的二维坐标，根据对极线约束 原理得出该些标记点在仪器当前坐标系0。下的坐标值，再与世界坐标系0,下的标记点库中 的标记点集合进行一一匹配重新得出当前仪器坐标系0。相对于世界坐标系0,的RT转换矩 阵；
[0013] 在得到仪器的位置信息后关闭辅助摄像头，继续只用原单个工作摄像头通过标记 点轨迹跟踪方法获得后续帖的=维轮廓信息。
[0014] 再进一步，所述之前设定数量帖为前两帖或者前S帖图像，利用一次或二次函数 分别对前两帖或者前=帖图像中每个标记点的运行轨迹进行拟合，结合该标记点在之前连 续多帖图像中的位移速度，计算出每个标记点在当前帖中的预判断目标位置，W该位置作 为中屯、捜索当前帖中周围是否有相应的标记点与之相对应，从而建立当前帖标记点与标记 点库的匹配关系。
[0015] 更进一步，所述步骤1)中，将每一帖图像中的标记点二维信息记录在一种允许空 节点的非满四叉树中。
[0016] 所述步骤1)中，所述标记点库为预先贴在被测物体表面的标记点在=维世界坐 标系0,下的坐标值组成的标记点库，将标记点库中的标记点S维信息记录在一种允许空节 点的非满八叉树中。
[0017] 所述步骤1)中，在开始扫描的原始位置利用已标定好相互位置的辅助摄像头和 单个工作摄像头获得同步的两帖起始图像，在两幅图像中得到各自识别出的标记点的二维 坐标后再根据对极线约束原理重构出辅助摄像头和单个工作摄像头共同视野范围内的标 记点在仪器当前坐标系0。下的S维坐标位置及拓扑结构。
[001引再者，根据该些相对S维坐标系0。下的标记点拓扑结构与世界坐标系0,下标记点 库中的标记点进行匹配，获得第一帖起始图像中的标记点在世界坐标系0,中的坐标，并关 闭所述辅助摄像头。
[0019] 一种基于单摄像头标记点轨迹跟踪的手持激光=维扫描设备，所述设备包括单个 工作摄像头、辅助摄像头、激光发生器、支座、控制电路板、高亮补光发生器W及用于根据获 得视频图像后进行标记点轨迹跟踪的轨迹跟踪扫描处理系统，所述单个工作摄像头、辅助 摄像头的光轴与激光发生器发射出激光面的交点位于摄像头的最佳景深平面位置，所述单 个工作摄像头和辅助摄像头的景深范围为扫描仪的测量深度范围，所述激光发生器的景深 范围涵盖扫描仪的测量深度范围，所述单个工作摄像头、辅助摄像头和激光发生器均安装 在所述支座上，所述单个工作摄像头、辅助摄像头和激光发生器均与所述控制电路板连接， 所述控制电路板与所述高亮补光发生器连接，所述高亮补光发生器放置在单个工作摄像 头、辅助摄像头的镜头外圈，所述控制电路板与所述轨迹跟踪扫描处理系统连接。
[0020] 优选的，所述控制电路板包括主控巧片、信号隔离电路、激光驱动电路、高亮补光 驱动电路和数据交换电路，主控巧片与数据交换电路连接，所述数据交换电路的输出端与 所述轨迹跟踪扫描处理系统连接，所述数据交换电路的输入端与单个工作摄像头、辅助摄 像头连接，所述主控巧片与单个工作摄像头、辅助摄像头之间经过信号隔离电路进行连接； 所述主控巧片通过信号隔离电路与激光驱动电路连接，所述激光驱动电路与激光发生器连 接，所述主控巧片通过信号隔离电路与高亮补光驱动电路连接，所述高亮补光驱动电路与 高亮补光发生器连接。
[0021] 进一步，所述述控制电路板还包括同步触发控制模块，用于在一个图像采集周期 的开始触发激光器和单个工作摄像头或者触发单个工作摄像头和辅助摄像头。激光器和单 个工作摄像头的同时触发使得在单个工作摄像头开始曝光的同时激光器开始投射激光图 案，经过设定的激光开启时间后关闭激光，再经过设定的摄像头曝光时间后结束摄像头曝 光完成该帖的图像采集；单个工作摄像头和辅助摄像头的同时触发使得系统可W同一时刻 获得不同角度的图像，用于对其相同视野的标记点进行立体视觉匹配。
[0022] 本发明的技术构思为：如图2中a部分所示，由于本发明在扫描时只使用一个摄 像头与激光器组合13进行图像采集，因此的测量范围11比需要两个或W上摄像头进行= 维扫描的系统14的测量范围12更大，相应的同一帖得到的图像中被测物体表面的有效标 记点个数也更多，该将有助于提高前后帖标记点拼接的成功概率和拼接精度。尤其在扫描 物体转角处时，如图2中b部分所示，由于物体转角处存在视角遮挡，双摄像头测量范围19 内部的标记点18个数少于单摄像头扫描时测量范围17内的标记点16的数目，而如果一次 图像采集获得标记点数目少于3个时将无法与标记点库中的标记点拓扑结构进行匹配，也 就无法获得当前仪器位置和形态的RT转换矩阵。此时用户需要调整仪器位置和角度将视 野，重新对准之前扫描拼接成功的被测物体表面区域得到仪器的RT转换矩阵后，使用不同 视角重新扫描；或者暂停扫描，重新在无法扫描的区域增加新的标记点后再进行重新扫描。 该种情况将会很大程度上降低双摄像头方式扫描过程的连贯性和出点速度，同时双摄像头 较小的共同视野导致数量较少的标记点，会不同程度的降低拼接精度。本发明所采用的单 摄像头标记点跟踪方法可显著避免此种情况的发生，使扫描过程更为流畅，扫描拼接精度 也因为有更多参与拼接的标记点而得到有效的提高。
[0023] 本发明所述方法在扫描时利用单个工作摄像头进行图像获取，因此在原始视频数 据传输环节相比双摄像头或多摄像头方式减少占用一半W上的传输带宽，该在高分辨率摄 像头（如500万像素30帖/秒摄像头需要的传输带宽为1200Mbps)用于高精度S维扫描上 显得尤为重要。在图形图像识别环节本发明所述方法也只需对一幅图像的标记点进行跟踪 识别，而且标记点轨迹跟踪算法的时间复杂度要远小于将相对=维坐标系中的标记点拓扑 结构与世界坐标系下的标记点库中的标记点拓扑结构进行两两匹配的双目扫描拼接算法。 如图3所示，标记点双目拼接匹配算法是将每个标记点与周边一定距离范围内的相邻标记 点的有向线段L1?Ln (距离和角度）在两个坐标系下进行对比，得出相对坐标系下的每个 标记点在世界坐标系下标记点库中相关度最大的关联标记点。由于比较过程中设及到求 距离和角度，假设当前获得的标记点有n个，每个标记点周围有m个邻近点，标记点库中有 N个标记点，则匹配一个标记点需要进行nXmXN次的循环，每次循环需对两点间的距离角 度等进行计算和比较，大约需要200个指令周期。W摄像头的采样频率为30帖/秒、每一 帖获得30个标记点W及每个标记点捜索周围15个邻近点作为拓扑结构信息为例，则每秒 需要占用CPU的指令周期为；200X30X30X15XN。如图4中CPU占用率曲线31所示，手 持双摄像头激光=维扫描中仅双目拼接匹配算法在标记点库容量（标记点个数）为500的 情况下已经占用CPU中一个1. 8G核接近75%的计算能力。而本发明所提出的标记点轨迹 跟踪算法在扫描过程中除非跟踪失败，均只需启用单个工作摄像头结合之前帖对标记点轨 迹进行预测，再利用非满四叉树数据结构对标记点进行快速跟踪匹配，得到当前图像帖中 的标记点与库中标记点的对应匹配关系。也W摄像头的采样频率为30帖/秒、每一帖获得 30个标记点为例，跟踪标记点包含捜索保存当前标记点的非满四叉树K-邻域算法，假设捜 索标记点预测目标位置周围两层的非满四叉树节点，则最多需要进行24次从树根到叶子 的遍历，每帖30个标记点的所构建的四叉树从根到叶子的树高在7层左右，捜索一次最多 需要大约350个CPU指令周期；此外还包含捜索保存库标记点的非满八叉树K-邻域算法， 在标记点库中的捜索当前获得的标记点的K-邻域周围标记点并重投影到仪器当前帖图像 平面进行校验，随着标记点库容量（标记点个数）的增加，非满八叉树的树高缓慢增大，树 高为数节点的函数；h = H(N)，如N = 400时h = 11，每个标记点捜索非满八叉树周边两层 除自身外共124个节点，每次捜索占用H (脚*10个指令周期，加上捜索得到的标记点进行重 投影比较约占50个指令周期，因此本发明中在扫描时的标记点跟踪匹配算法每秒占用CPU 的指令周期大约为；350X30X30+124X化(脚X10巧0) X30X30,如图4中曲线32所示。
[0024] 本发明的有益效果主要表现在；本发明所提出的单摄像头标记点跟踪匹配算法相 比传统的双摄像头标记点拼接匹配算法占用更少的CPU时间，特别是库中标记点较多的情 况下更为显著，所W本发明所述的扫描系统可W采用更低端的CPU(如嵌入式CPU) W及像 素更高、刷新频率更快的摄像头，获得更快的扫描速度和结果呈现，使得手持激光=维扫描 技术可W在更多领域得到应用。
【专利附图】
【附图说明】
[0025] 图1为本发明的手持激光S维扫描设备的原理图。
[0026] 图2为单摄像头扫描系统与双摄像头扫描系统的扫描测量范围比较，其中，（a)为 扫描平面区域；化）为扫描S维区域。
[0027] 图3为双摄像头扫描获得在仪器当前S维坐标系0。下的标记拓扑结构说明。
[002引图4为本发明所述的标记点跟踪匹配算法与双摄像头标记点立体匹配算法在运 行时CPU占有率的比较图。
[0029] 图5为本发明摄像头与激光发生器的触发时序说明图。
[0030] 图6为本发明模块互联示意图。
[0031] 图7为本发明标记点轨迹跟踪匹配方法的流程图。
[003引图8为本发明记录标记点的非满四叉树捜索K-邻域示例图。
[003引图9为本发明标记点轨迹跟随的两种方式，（a)是一次轨迹；化）是二次轨迹。
[0034] 图10为本发明仪器当前位置RT转换矩阵计算原理图。
[0035] 图11为本发明评估跟踪匹配结果的重投影校验示意图。
[0036] 图12为本发明的控制电路板的实现框图。
【具体实施方式】
[0037] 下面结合附图对本发明作进一步描述。
[003引参照图1?图12, 一种基于单摄像头标记点轨迹跟踪的手持激光S维扫描方法， 所述扫描方法包括W下步骤：
[0039] 1)在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设 定数量帖中标记点的运动轨迹预判得到当前帖中的目标位置，再在目标位置周围捜索得出 其对应标记点，建立当前帖中的标记点与原标记点库的初步匹配关系；
[0040] 2)利用当前帖中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐 标系化到世界坐标0，的RT转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周 边邻近标记点重投影到当前帖的二维图像平面坐标系〇t中，对之前的初步匹配关系进行校 验，如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配 度最差的标记点，重新迭代计算RT转换矩阵后再进行投影评估；
[0041] 3)在获得仪器当前位置的RT转换矩阵后，在当前帖图像中提取激光投影轮廓并 根据已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器 坐标系0。下的相对S维坐标通过RT转换矩阵转换为世界坐标系0,下的S维坐标。
[0042] 进一步，所述扫描方法还包括如下步骤：
[0043] 4)如果当前帖的标记点重投影校验失败，则需要启动另一台相互位置已经过标定 的辅助摄像头获得共同视野内的标记点在两个摄像头图像中的二维坐标，根据对极线约束 原理得出该些标记点在仪器当前坐标系0。下的坐标值，再与世界坐标系0,下的标记点库中 的标记点集合进行一一匹配重新得出当前仪器坐标系0。相对于世界坐标系0,的RT转换矩 阵；
[0044] 在得到仪器的位置信息后关闭辅助摄像头，继续只用原单个工作摄像头通过标记 点轨迹跟踪方法获得后续帖的=维轮廓信息。
[0045] 如图1所示，本发明所采用的摄像头01的光轴沿线与激光发生器03发射出激光 面的交点距离为H，交点应位于摄像头的最佳景深平面位置。所述的摄像头光轴沿线与激 光器发射出激光面的交点取决于摄像头与激光器的距离L W及夹角a。所述的摄像头光轴 沿线与线状激光发生器发射的激光面成夹角，该夹角在0°到90°之间，夹角越小摄像头 的测量盲区就越小，但深度测量精度会降低；该夹角越大深度测量精度就越高但摄像头的 测量盲区会增大。所述的摄像头01为全帖曝光CCD或者CMOS摄像头，并配备与扫描视野 和扫描精度相匹配的定焦镜头，镜头的景深范围即为仪器的测量深度范围。所述的激光发 生器03为半导体线状激光器，其景深范围应涵盖仪器的测量范围。所述的高亮补光发生器 05为沿摄像头镜头外圈等角度均匀排布数颗高亮L邸灯珠的侣基板，在扫描时照亮被扫描 物体表面预先贴好的标记点。
[0046] 本发明所述的控制电路板控制摄像头和激光器按照如图5所示序触发。在一个周 期的开始时同时触发摄像头和激光器，使摄像头开始曝光的同时激光器开始发射激光，经 过tl时间后关闭激光再经过t2时间后结束摄像头曝光完成该帖的图像采集。激光的点亮 持续时间tl为系统根据被测物体表面材质对激光的反光程度自动匹配，过长或过短会导 致摄像头感光元件相应区域过曝光或曝光不足。系统对所拍摄的图像中的激光线上的轮廓 点像素的亮度进行综合评估，如果超出一定的阀值则控制电路板相应延长或减短激光的开 启时间。由于摄像头非曝光时间不拍摄图像，因此tl《t2, W减少激光的总体点亮时间， 降低激光发射的总能量，减少对操作者眼睛的影响。摄像头的曝光时间t2决定于所述高亮 补光发生器的照射亮度W及被测物体表面标记点的反光效率，其最长曝光时间一般控制在 1/60秒内，否则会导致手持扫描时图像出现运动模糊。t3为摄像头的拍摄触发周期，该周 期越小则扫描速度越快，但需要摄像头的刷新频率的W及后端数据处理能力的支持，摄像 头拍摄和传输一帖图像的时间加上扫描处理计算所消耗的时间须小于t3。
[0047] 如图6所示，所述的控制电路板02通过控制线和数据线与工作摄像头01与辅助 摄像头07连接，在扫描初始或者标记点跟踪失败时同时对两个摄像头进行同步触发，在正 常扫描过程中仅对工作摄像头进行触发控制。摄像头的数据通过W太网线或USB线与控制 电路板连接，控制电路板将图像视频数据汇集上传。所述的激光发生器由控制电路板提供 电源并控制其与摄像头曝光周期同步进行启停，用于提供物体表面的轮廓特征。所述的高 亮补光发生器05由控制电路板提供电源并控制其启停，其发射的高亮补光照亮物体表面 的标记点，用于扫描过程的定位和拼接。所述的轨迹跟踪扫描处理系统〇6(可W采用运算 处理计算机）与控制电路板通过无线或有线方式连接，接收其上传的实时视频数据并下传 控制指令。
[0048] 如图12所示，所述控制电路板02包括主控巧片60、信号隔离电路61、激光驱动电 路62、高亮补光驱动电路63和数据交换电路64,其中主控巧片可采用32位的MCU (如ST公 司的STM32系列巧片），也可采用16位的MCU (如TI公司的MSP430系列巧片），甚至采用 主频较高的8位MCU(如STC公司的STC12系列巧片）。主控巧片60与数据交换电路64通 过串行总线进行连接，由于控制信息的数据量不大，控制频率也不高，因此可W采用中低速 的通讯接口如UART或者SPI等实现。数据交换电路64可采用类似W太网交换机或者USB HUB原理实现（比如可W用Realtek公司的RTL8367N巧片进行千兆W太网数据交换），同 时实现将串行总线上的通讯协议转换后与运算处理计算机进行控制数据交互和将摄像头 的视频数据汇集上传到运算处理计算机进行图像处理。主控巧片60与工作摄像头和辅助 摄像头通过信号隔离电路61进行连接，输出脉冲触发信号控制摄像头的同步曝光；主控巧 片60通过信号隔离电路61与激光驱动电路62连接，实现电平转换并提供大电流驱动激光 发生器；主控巧片60通过信号隔离电路61与高亮补光驱动电路63连接，实现电平的转换 并提供大电流驱动高亮补光发生器。由于触发摄像头和激光器的频率在0. IKHz W下，因此 信号隔离电路61可W采用截止频率高于该频率的隔离巧片，如化817或者6N137等光禪巧 片。激光驱动电路62、高亮补光驱动电路63可W采用功率MOS管实现对大电流的控制，如 IRF3205 元件。
[0049] 主控巧片60包括同步触发控制模块，用于在一个图像采集周期的开始触发激光 器和单个工作摄像头或者触发单个工作摄像头和辅助摄像头。激光器和单个工作摄像头的 同时触发使得在单个工作摄像头开始曝光的同时激光器开始投射激光图案，经过设定的激 光开启时间后关闭激光，再经过设定的摄像头曝光时间后结束摄像头曝光完成该帖的图像 采集；单个工作摄像头和辅助摄像头的同时触发使得系统可W同一时刻获得不同角度的图 像，用于对其相同视野的标记点进行立体视觉匹配。激光器的开启持续时间为系统根据被 测物体表面材质对激光的反光程度自动进行匹配。摄像头的曝光时间由所述高亮补光发生 器的照射亮度W及被测物体表面标记点的反光效率所决定。
[0050] 如图7所示，本发明所述的标记点轨迹跟踪匹配方法的执行流程如下：
[0化1] 第一步，首先本算法实现=维扫描前需要建立预先贴在被测物体表面的标记点在 立维世界坐标系0,下的坐标值组成的标记点库；利用摄影测量方法得到被测物体表面所有 标记点的=维世界坐标，建立标记点库；或者利用辅助摄像头与工作摄像头配合进行标记 点预扫描，利用双目视觉原理建立标记点库。所获得的标记点库存入内存的非满八叉树中， 用于后续执行标记点匹配算法时进行快速捜索。非满八叉树是对传统八叉树结构的一种变 种，对于S维空间中没有信息的节点不申请空间而是作为NU化指针存入其父节点中。该种 方式可W减少信息所占的存储空间同时因为不用遍历节点的空分支而提高捜索效率，特别 是对于离散的空间数据一一如本发明所设及的S维标记点拓扑结构。
[0052] 第二步，在开始扫描的原始位置利用已标定好相互位置的辅助摄像头和工作摄像 头获得同步的两帖起始图像，在两幅图像中识别出标记点的相对二维坐标，并相互匹配得 到相对=维坐标值后映射回世界坐标系0，。标记点的识别是利用图像中像素边缘梯度亚像 素提取法提取标记点的边缘，并用楠圆拟合方法得出标记点中屯、的图像位置。得到两幅图 像中各自识别出的标记点的二维坐标后再根据对极线约束原理重构出两个摄像头共同视 野范围内的标记点在仪器当前坐标系0。下的=维坐标位置及拓扑结构。根据该些相对= 维坐标系0。下的标记点拓扑结构与世界坐标系0,下标记点库中的标记点进行匹配，获得第 一帖起始图像中的标记点在世界坐标系0,中的坐标。
[0化3] 第=步，在获得第一帖中的标记点集合与标记点库的匹配对应关系后，将一个摄 像头作为工作摄像头（用于后续扫描），并可关闭辅助摄像头。将工作摄像头获得的第一 帖数据中的标记点在图像中的二维坐标保存在一棵非满四叉树的数据结构中，用于后续帖 的轨迹捜索。如图8所示，传统定义的四叉树为满树，即将二维空间等步长分割为众多正方 形，每个正方形对应一个树节点，四个相邻的节点作为其共同父节点的子节点，W此来保存 该区域内的图像信息。由于系统须处理的标记点二维拓扑具有很大的离散性，因此如果使 用传统不允许空节点存在的四叉树将导致存储空间和捜索时间上的无谓消耗，所W本发明 将空的节点21作为NU化指针保存于其父节点中，在捜索时将跳过对空节点分支的遍历，该 可W大大减少捜索相邻标记点的计算量。如捜索位于i = 2, j = 2节点20的周围K-邻域 (如周围一层），只须捜索其四叉树的i = 1?3且j = 1?3除自身外的8个节点，而除 了节22外，其余节点均为空节点而不用须捜索，其K-邻域捜索时间复杂度只与捜索的范围 和树的层数有关而与节点总数无关。
[0054] 第四步，在工作摄像头获得的第2帖图像中识别出标记点，并与第1帖中的标记点 建立对应关系。由于摄像头的触发频率在几十赫兹，而手持仪器的移动轨迹为平滑的模拟 曲线，因此连续两帖图像中同一标记点在各自图像中的轨迹位置存在连贯性，所W在建立 前后帖对应关系时可W在前一帖每个标记点的四叉树节点的K-邻域捜索其在后一帖中的 位置，该样可W减少捜索的计算量W及错误匹配的概率。在得到第2帖标记点与第1帖标 记点的对应关系后，将第2帖标记点在其二维图像的位置信息存入非满四叉树中，并将每 个标记点在第1帖中的位置信息也保存到该标记点的节点中，W用于后续对标记点移动轨 迹的判断。
[0055] 第五步，在得到前两帖图像中的每个相关标记点的图像二维相对坐标后，便可W 利用两点确定的向量并沿该向量位移的方法预先判断每个标记点在随后帖图像中出现的 位置；当得到工作摄像头的第m帖图像并将识别出的标记点存入非满四叉树结构后，根据 m-1帖中每个标记点所计算出的轨迹预判断目标位置在当前m帖的非满四叉树中进行K-邻 域捜索，得到的标记点与第m-1帖的标记点直接建立匹配关系。标记点轨迹预判方法如图 9所示，将之前两帖中某个标记点（40为某标记点在第m-2帖出现的位置，41为其在第m-1 帖出现的位置）的连线沿其先后次序的一次轨迹方向移动d距离得到该标记点的一次轨迹 预判断目标位置，利用该目标位置便可队陕速在当前第m帖的非满四叉树的K-邻域中捜索 到该标记点42。d该标记点在m-1和m-2两帖图像中的距离。在处理完当前第m帖的标记 点后，将第m-1帖每个标记点的位置信息存入当前第m帖中对应标记点的非满四叉树节点 中，并删除第m-2帖的非满四叉树结构。
[0化6] 第六步，在某些包含变扫描移动速度或变扫描移动轨迹作较多的扫描实例中可W 采用如下方法提高标记点移动轨迹预判断的命中率：利用二次轨迹方法对前=帖中相同标 记点的位置轨迹进行二次曲线拟合，然后将该标记点在最近一帖的坐标处沿曲线的切线方 向延长一定距离得到二次轨迹目标位置，该样可W在增加一定计算量的代价下增大轨迹预 判断的命中率：将某标记点的第m-3帖的位置43和第m-2帖的位置44保存在第m-1帖该 节点的四叉树节点中，并在收到第m帖后，根据m-1帖中每个标记点节点所保存的该标记点 前两帖的位置信息再加上本帖（第m-1帖）的位置信息，根据S个二维坐标可W拟合出一 条Y = aX2+bX+c的二次方程曲线，再求出过第m-1帖该标记点坐标成Ym_i)的切线方程： Y' = 2aX+b，如果预判断的目标位置46的坐标为成，Ym)，目标位置离成_。Ym_i)的距离为 D，则计算得到的目标位置为：
[0057]
【权利要求】
1. 一种基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特征在于：所述扫 描方法包括以下步骤： 1) 在单个工作摄像头拍摄的图像中识别提取标记点的二维位置信息，根据之前设定数 量帧中标记点的运动轨迹预判得到当前帧中的目标位置，再在目标位置周围搜索得出其对 应标记点，建立当前帧中的标记点与原标记点库的初步匹配关系； 2) 利用当前帧中的标记点与原标记点库的初步匹配关系计算出仪器当前相对坐标系 0。到世界坐标〇￥的訂转换矩阵，根据该转换矩阵将标记点库中的对应标记点及其周边邻 近标记点重投影到当前帧的二维图像平面坐标系(^中，对之前的初步匹配关系进行校验， 如果整体误差大于系统设定的阀值，则剔除当前标记点集合中与标记点库对应的匹配度最 差的标记点，重新迭代计算RT转换矩阵后再进行投影评估； 3) 在获得仪器当前位置的RT转换矩阵后，在当前帧图像中提取激光投影轮廓并根据 已标定好的摄像头与激光器所发射激光面的位置关系，将获得激光投影轮廓点在仪器坐标 系0。下的相对三维坐标通过RT转换矩阵转换为世界坐标系0￥下的三维坐标。
2. 如权利要求1所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特 征在于：所述扫描方法还包括如下步骤： 4) 如果当前帧的标记点重投影校验失败，则需要启动另一台相互位置已经过标定的辅 助摄像头获得共同视野内的标记点在两个摄像头图像中的二维坐标，根据对极线约束原理 得出这些标记点在仪器当前坐标系0。下的坐标值，再与世界坐标系〇w下的标记点库中的标 记点集合进行一一匹配重新得出当前仪器坐标系〇。相对于世界坐标系〇￥的RT转换矩阵； 在得到仪器的位置信息后关闭辅助摄像头，继续只用原单个工作摄像头通过标记点轨 迹跟踪方法获得后续帧的二维轮廓彳目息。
3. 如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法， 其特征在于：所述之前设定数量帧为前两帧或者前三帧图像，利用一次或二次函数分别对 前两帧或者前三帧图像中每个标记点的运行轨迹进行拟合，结合该标记点在之前连续多帧 图像中的位移速度，计算出每个标记点在当前帧中的预判断目标位置，以该位置作为中心 搜索当前帧中周围是否有相应的标记点与之相对应，从而建立当前帧标记点与标记点库的 匹配关系。
4. 如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法， 其特征在于：所述步骤1)中，将每一帧图像中的标记点二维信息记录在一种允许空节点的 非满四叉树中。
5. 如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法， 其特征在于：所述步骤1)中，所述标记点库为预先贴在被测物体表面的标记点在三维世界 坐标系〇w下的坐标值组成的标记点库，将标记点库中的标记点三维信息记录在一种允许空 节点的非满八叉树中。
6. 如权利要求1或2所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法， 其特征在于：所述步骤1)中，在开始扫描的原始位置利用已标定好相互位置的辅助摄像头 和单个工作摄像头获得同步的两帧起始图像，在两幅图像中得到各自识别出的标记点的二 维坐标后再根据对极线约束原理重构出辅助摄像头和单个工作摄像头共同视野范围内的 标记点在仪器当前坐标系0。下的三维坐标位置及拓扑结构。
7. 如权利要求6所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法，其特 征在于：根据这些相对三维坐标系0。下的标记点拓扑结构与世界坐标系〇￥下标记点库中的 标记点进行匹配，获得第一帧起始图像中的标记点在世界坐标系〇￥中的坐标，并关闭所述 辅助摄像头。
8. -种如权利要求1所述的基于单摄像头标记点轨迹跟踪的手持激光三维扫描方法 实现的设备，其特征在于：所述设备包括单个工作摄像头、辅助摄像头、激光发生器、支座、 控制电路板、高亮补光发生器以及用于根据获得视频图像后进行标记点轨迹跟踪的轨迹跟 踪扫描处理系统，所述单个工作摄像头、辅助摄像头的光轴与激光发生器发射出激光面的 交点位于摄像头的最佳景深平面位置，所述单个工作摄像头和辅助摄像头的景深范围为扫 描仪的测量深度范围，所述激光发生器的景深范围涵盖扫描仪的测量深度范围，所述单个 工作摄像头、辅助摄像头和激光发生器均安装在所述支座上，所述单个工作摄像头、辅助摄 像头和激光发生器均与所述控制电路板连接，所述控制电路板与所述高亮补光发生器连 接，所述高亮补光发生器放置在单个工作摄像头、辅助摄像头的镜头外圈，所述控制电路板 与所述轨迹跟踪扫描处理系统连接。
9. 如权利要求8所述的设备，其特征在于：所述控制电路板包括主控芯片、信号隔离 电路、激光驱动电路、高亮补光驱动电路和数据交换电路，主控芯片与数据交换电路连接， 所述数据交换电路的输出端与所述轨迹跟踪扫描处理系统连接，所述数据交换电路的输入 端与单个工作摄像头、辅助摄像头连接，所述主控芯片与单个工作摄像头、辅助摄像头之间 经过信号隔离电路进行连接；所述主控芯片通过信号隔离电路与激光驱动电路连接，所述 激光驱动电路与激光发生器连接，所述主控芯片通过信号隔离电路与高亮补光驱动电路连 接，所述高亮补光驱动电路与高亮补光发生器连接。
10. 如权利要求8或9所述的设备，其特征在于：所述述控制电路板还包括同步触发控 制模块，用于在一个图像采集周期的开始触发激光器和单个工作摄像头或者触发单个工作 摄像头和辅助摄像头。
【文档编号】G01B11/25GK104501740SQ201410794661
【公开日】2015年4月8日 申请日期:2014年12月18日 优先权日:2014年12月18日
【发明者】郑俊, 王江峰, 陈尚俭 申请人:杭州鼎热科技有限公司