3d扫描以及定位界面的制作方法
【专利摘要】本发明描述一种用于提供关于定位不可靠性的指示的系统以及方法。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用基于形状的定位累积每一帧的3D点；位姿估计器，所述位姿估计器用于使用所述3D点估计所述扫描仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所述所估计位姿是否具有约束不足的定位；以及指示产生器，所述指示产生器用于产生检测到所述不可靠位姿估计的指示。在一个实施例中，自由度识别器识别所述所估计位姿中的有疑问自由度。在一个实施例中，特征点检测器检测可再观察到的特征点，并且所述位姿估计器使用所述特征点和所述3D点来估计所述所估计位姿，并且所述不可靠位姿检测器使用所述特征点将所述所估计位姿识别为不可靠位姿估计。
【专利说明】3D扫描以及定位界面
【技术领域】
[0001] 本发明大体上涉及对象的表面几何形状的三维扫描的领域，并且更确切地说涉及 结构光立体视觉。
【背景技术】
[0002] 对象的表面几何形状的三维扫描以及数字化通常在许多工业以及服务中使用，并 且所述三维扫描以及数字化的应用众多。对象的形状使用测距传感器来扫描并且数字化， 所述测距传感器测量传感器与表面上的点集之间的距离。所述传感器从给定视点捕获对象 的表面的区段。为了扩展经扫描区段或为了扫描整个表面，传感器或对象移动到若干视点 中的一者，并且获得在传感器与对象之间的所有相对位姿之间的空间关系。
[0003] 存在用于测量并且计算这些空间关系的若干方法。这些方法中的一者利用所观察 对象的形状来计算空间中的相对传感器位置以及定向（即，其位姿）。这些基于形状的方法 缩短设置获取的时间，因为不需要在场景中附加目标或额外参考。所观察形状区段的形状 可能仍不够复杂以确保可靠地估计位姿。存在不可能明确地确定传感器位姿的六个自由度 的例如平面、球形、圆柱形表面和其它形状等众所周知的情形。在存在噪声的情况下，即使 非理想情况也可能导致不可靠的位姿估计。
【发明内容】
[0004] 根据本发明的一个广义方面，提供一种用于提供关于定位不可靠性的指示的系 统。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用扫描仪的基 于形状的定位累积多个帧中的每一帧的3D点集；位姿估计器，所述位姿估计器用于使用3D 点估计扫描仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所估计 位姿是否具有约束不足的（undercontstrained)定位，并且如果所估计位姿具有约束不足 的定位，那么将所估计位姿识别为不可靠位姿估计；指示产生器，所述指示产生器用于产生 检测到不可靠位姿估计的指示。
[0005] 在一个实施例中，所述系统进一步包括自由度识别器，所述自由度识别器用于识 别所估计位姿中的至少一个有疑问自由度，所述自由度识别器由不可靠位姿检测器触发， 并且其中由指示产生器产生的指示随所述指示包含关于至少一个有疑问自由度的信息。
[0006] 在一个实施例中，由指示产生器产生的指示包含关于所有有疑问自由度的信息。
[0007] 在一个实施例中，所述系统进一步包括特征点检测器，所述特征点检测器用于检 测在所述多个帧中的至少两者中可由扫描仪再观察到的特征点的存在，其中位姿估计器使 用特征点和3D点来估计所估计位姿，并且其中不可靠位姿检测器使用特征点将所估计位 姿识别为不可靠位姿估计。
[0008] 在一个实施例中，所述系统进一步包括扬声器，其中指示产生器致使扬声器发出 可听指示。
[0009] 在一个实施例中，所述系统进一步包括可视界面，其中指示产生器致使可视界面 显示可视指示，其中可视指示是文本消息以及图形消息中的至少一者。
[0010] 在一个实施例中，所述系统进一步包括模型构建器，所述模型构建器使用3D点集 构建表面的几何形状的累加模型，其中可视界面显示累加模型的图形表示，并且其中可视 指示叠加在累加模型的图形表示上。
[0011] 在一个实施例中，所述系统进一步包括三维像素（voxel)灵敏度水平计算器，所 述三维像素灵敏度水平计算器用于累积由3D点集修改的累加模型的所有三维像素中的三 维像素灵敏度水平的平均值，其中可视界面以对应于三维像素灵敏度水平的颜色显示累加 模型的图形表示。
[0012] 在一个实施例中，所述系统进一步包括帧选择器，所述帧选择器用于确定不可靠 位姿估计的不可靠性水平；将所述不可靠性水平与预定不可靠性阈值进行比较；仅在所述 不可靠性水平低于预定不可靠性阈值的情况下将每一帧的3D点集传递到模型构建器。
[0013] 在一个实施例中，可视界面显示扫描的当前帧的图形表示，并且其中可视指示叠 加在当前帧的图形表示上。
[0014] 在一个实施例中，所述系统进一步包括位姿灵敏度水平归属器（attributor)，所 述位姿灵敏度水平归属器用于使用所估计位姿将位姿灵敏度水平归于所估计位姿，所述位 姿灵敏度水平归属器由不可靠位姿检测器触发，并且其中由指示产生器产生的指示包含 关于所述指示的位姿灵敏度水平的信息，其中关于位姿灵敏度水平的信息是可视指示的颜 色。
[0015] 在一个实施例中，所述系统进一步包括自由度识别器，所述自由度识别器用于识 别所估计位姿中的至少一个有疑问自由度，不可靠性自由度识别器由不可靠位姿检测器 触发，并且其中由指示产生器产生的指示随所述指示包含关于至少一个有疑问自由度的信 息，其中图形消息包含至少一个箭头，所述箭头以对应于所述有疑问自由度的定向显示。
[0016] 在一个实施例中，所述系统进一步包括用户命令界面，所述用户命令界面接收来 自用户的命令以执行定位可靠性验证，其中不可靠位姿检测器以及指示产生器由所述命令 触发以产生检测到不可靠位姿估计的指示。
[0017] 根据本发明的另一广义方面，提供一种用于提供关于定位不可靠性的指示的方 法。所述方法包括：扫描对象的表面几何形状并且使用基于形状的定位累积多个帧中的每 一帧的3D点集；使用3D点估计扫描仪的所估计位姿；确定所估计位姿是否具有约束不足 的定位，并且如果所估计位姿具有约束不足的定位，那么将所估计位姿识别为不可靠位姿 估计；产生检测到不可靠位姿估计的指示。
[0018] 在一个实施例中，确定所估计位姿是否具有约束不足的定位包括：通过使用协方 差矩阵确定表面几何形状类型，所述协方差矩阵根据所估计位姿的变化描述帧的拟合质 量；提取协方差矩阵的本征（eigenvalue)向量；计算本征向量的对应本征值的比率；使用 预定阈值识别所述比率中的至少一个高比率；从所述高比率中提取至少一个有疑问本征向 量；如果存在单一高比率，那么确定表面几何形状类型对应于线性拉伸、回转面以及螺旋形 中的一者；如果存在两个高比率，那么确认表面几何形状类型对应于圆柱形；如果存在三 个高比率，那么确定表面几何形状类型对应于平面以及球形中的一者。
[0019] 在一个实施例中，所述系统进一步包括时域滤波器，当在所述多个帧的n个最新 帧中具有不可靠位姿估计的帧的数目u达到预定阈值时所述时域滤波器触发所述指示产 生器以产生所述指示。
[0020] 根据本发明的另一广义方面，提供一种用于提供关于定位不可靠性的指示的系统 以及方法。所述系统包括：扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用基于 形状的定位累积每一帧的3D点集；位姿估计器，所述位姿估计器用于使用3D点估计扫描 仪的所估计位姿；不可靠位姿检测器，所述不可靠位姿检测器用于确定所估计位姿是否具 有约束不足的定位；以及指示产生器，所述指示产生器用于产生检测到不可靠位姿估计的 指示。在一个实施例中，自由度识别器识别所估计位姿中的有疑问自由度。在一个实施例 中，特征点检测器检测可再观察到的特征点，并且位姿估计器使用特征点和3D点来估计所 估计位姿，并且不可靠位姿检测器使用特征点将所估计位姿识别为不可靠位姿估计。
【专利附图】
【附图说明】
[0021] 经包含以提供对本发明的主要方面的更好理解并且并入本说明书中且构成本说 明书的一部分的附图图示了本发明的实例实施例，并且与描述一起用以说明本发明的原 理。附图并不意图按比例绘制。在所述图式中：
[0022] 图1 (现有技术）是对象的扫描过程的图示；
[0023] 图2示出在基于形状的定位中可引起位姿的不确定性的理想表面情况；
[0024] 图3图示圆柱形对象区段上的无约束自由度的视觉反馈；
[0025] 图4图示平面对象区段上的无约束自由度的视觉反馈；
[0026] 图5图示线性拉伸对象区段上的无约束自由度的视觉反馈；
[0027] 图6图示球形对象区段上的无约束自由度的视觉反馈；
[0028] 图7图示旋转对称对象区段的无约束自由度的视觉反馈；
[0029] 图8图示经扫描对象的全局视觉反馈；
[0030] 图9包含图9A以及图9B，图9A中是用于确定表面几何形状类型的方法的实例步 骤的流程图以及图9B中是用于识别表面滑移的情况的方法的实例步骤的流程图；
[0031] 图10图示平面表面的视觉反馈的替代实施例；
[0032] 图11图示提示添加目标的视觉反馈的替代实施例；
[0033] 图12图示使用文本消息的视觉反馈的替代实施例；
[0034] 图13图示线性拉伸对象区段的帧上的无约束自由度的诊断模式中的视觉反馈；
[0035] 图14图示不适当传感器定位的潜在结果；
[0036] 图15是用于提供关于定位不可靠性的指示的系统的实例组件的框图。
【具体实施方式】
[0037] 在以下对实施例的描述中，参考附图是为了说明实例，本发明可以通过所述实例 来实践。应理解，可以在不脱离所揭示的本发明的范围的情况下实施其它实施例。
[0038] 图1 (现有技术）示出对象102,其表面使用范围传感器101进行测量100。传感器 捕获其自身坐标系中视场103内的3D点集。接着，传感器相对于对象的相对位置以及定向 稍许改变。传感器观察对象的新区段，同时确保与已捕获的表面区段重叠。累加观察到的 区段因此在每一新帧中延伸。假定对象的表面形状保持刚性，当前3D帧可与已观察到的区 段拟合以获得传感器相对于先前帧的坐标系或相对于累积表面模型的坐标系的刚体变换。 存在针对所述目的的众所周知的方法。举例来说，假设P和Q为具有相关联法线的两个网 格或点集。寻求使每一点Pi到Q的切平面（?处）的平方距离之和最小化的由3x3旋转矩 阵R和3x1平移向量t组成的刚体变换：
[0039]
【权利要求】
1. 一种用于提供关于定位不可靠性的指示的系统，所述系统包括： 扫描仪，所述扫描仪用于扫描对象的表面几何形状并且使用所述扫描仪的基于形状的 定位累积多个帧中的每一帧的3D点集； 位姿估计器，所述位姿估计器用于使用所述3D点估计所述扫描仪的估计位姿； 不可靠位姿检测器，所述不可靠位姿检测器用于确定所述所估计位姿是否具有约束不 足的定位，并且如果所述估计位姿具有约束不足的定位，那么将所述估计位姿识别为不可 靠位姿估计；以及 指示产生器，所述指示产生器用于产生检测到所述不可靠位姿估计的指示。
2. 根据权利要求1所述的系统，进一步包括自由度识别器，所述自由度识别器用于识 别所述估计位姿中的至少一个有疑问自由度，所述自由度识别器由所述不可靠位姿检测器 触发，并且其中，由所述指示产生器产生的所述指示随所述指示包含关于至少一个有疑问 自由度的信息。
3. 根据权利要求2所述的系统，其中，由所述指示产生器产生的所述指示包含关于所 有所述至少一个有疑问自由度的信息。
4. 根据权利要求1到3中任一权利要求所述的系统，进一步包括特征点检测器，所述特 征点检测器用于检测在所述多个帧中的至少两个帧中能够由所述扫描仪再观察到的特征 点的存在，其中，所述位姿估计器使用所述特征点与所述3D点来估计所述估计位姿，并且 其中，所述不可靠位姿检测器使用所述特征点将所述估计位姿识别为不可靠位姿估计。
5. 根据权利要求1到4中任一权利要求所述的系统，进一步包括扬声器，其中，所述指 示产生器致使所述扬声器发出可听指示。
6. 根据权利要求1到5中任一权利要求所述的系统，进一步包括可视界面，其中，所述 指示产生器致使所述可视界面显示可视指示，其中，所述可视指示是文本消息以及图形消 息中的至少一者。
7. 根据权利要求6所述的系统，进一步包括模型构建器，所述模型构建器使用所述3D 点集构建所述表面的所述几何形状的累加模型，其中，所述可视界面显示所述累加模型的 图形表示，并且其中，所述可视指示叠加在所述累加模型的所述图形表示上。
8. 根据权利要求6和7中任一权利要求所述的系统，进一步包括三维像素灵敏度水平 计算器，所述三维像素灵敏度水平计算器用于累积由所述3D点集修改的所述累加模型的 所有三维像素中的三维像素灵敏度水平的平均值，其中，所述可视界面以对应于所述三维 像素灵敏度水平的颜色显示所述累加模型的所述图形表示。
9. 根据权利要求6到8中任一权利要求所述的系统，进一步包括帧选择器，所述帧选择 器用于确定所述不可靠位姿估计的不可靠性水平；将所述不可靠性水平与预定不可靠性阈 值进行比较；仅在所述不可靠性水平低于所述预定不可靠性阈值的情况下将每一所述帧的 所述3D点集传递到所述模型构建器。
10. 根据权利要求6到9中任一权利要求所述的系统，其中，所述可视界面显示所述扫 描的当前帧的图形表示，并且其中，所述可视指示叠加在所述当前帧的所述图形表示上。
11. 根据权利要求6到10中任一权利要求所述的系统，进一步包括位姿灵敏度水平归 属器，所述位姿灵敏度水平归属器用于使用所述估计位姿将位姿灵敏度水平归于所述估计 位姿，所述位姿灵敏度水平归属器由所述不可靠位姿检测器触发，并且其中，由所述指示产 生器产生的所述指示随所述指示包含关于所述位姿灵敏度水平的信息，其中，关于所述位 姿灵敏度水平的所述信息是所述可视指示的颜色。
12. 根据权利要求6到11中任一权利要求所述的系统，进一步包括 自由度识别器，所述自由度识别器用于识别所述估计位姿中的至少一个有疑问自由 度，所述不可靠性自由度识别器由所述不可靠位姿检测器触发，并且其中由所述指示产生 器产生的所述指示随所述指示包含关于所述至少一个有疑问自由度中的至少一者的信 息； 其中，所述图形消息包含至少一个箭头，所述至少一个箭头以对应于所述有疑问自由 度中的所述至少一者的定向显示。
13. 根据权利要求1到12中任一权利要求所述的系统，进一步包括用户命令界面，所述 用户命令界面接收来自用户的命令以执行定位可靠性验证，其中，所述不可靠位姿检测器 以及所述指示产生器由所述命令触发以产生检测到所述不可靠位姿估计的所述指示。
14. 根据权利要求1到13中任一权利要求所述的系统，进一步包括时域滤波器，当在所 述多个帧的n个最新帧中具有不可靠位姿估计的帧的数目u达到预定阈值时所述时域滤波 器触发所述指示产生器以产生所述指示。
15. -种用于提供关于定位不可靠性的指示的方法，所述方法包括： 扫描对象的表面几何形状并且使用基于形状的定位累积多个帧中的每一帧的3D点 集； 使用所述3D点估计所述扫描仪的估计位姿； 确定所述估计位姿是否具有约束不足的定位，并且如果所述估计位姿具有约束不足的 定位，那么将所述估计位姿识别为不可靠位姿估计；以及 产生检测到所述不可靠位姿估计的指示。
16. 根据权利要求15所述的方法，其中，所述估计位姿是否具有所述约束不足的定位 的所述确定包含通过以下操作确定表面几何形状类型： 使用根据所述估计位姿的变化描述帧的拟合质量的协方差矩阵； 提取所述协方差矩阵的本征向量； 计算所述本征向量的对应本征值的比率； 使用预定阈值识别所述比率中的至少一个高比率； 从所述高比率中提取至少一个有疑问本征向量； 如果存在单一高比率，那么确定所述表面几何形状类型对应于线性拉伸、回转面以及 螺旋形中的一者； 如果存在两个高比率，那么确认所述表面几何形状类型对应于圆柱形； 如果存在三个高比率，那么确定所述表面几何形状类型对应于平面以及球形中的一 者。
【文档编号】G01B21/20GK104335006SQ201380029999
【公开日】2015年2月4日 申请日期:2013年6月26日 优先权日:2012年7月18日
【发明者】帕特里克·赫伯特, 亚历山大·卡雷特, 埃里克·圣-皮埃尔 申请人:形创有限公司