用于3d扫描的传感器定位的制作方法

用于3d扫描的传感器定位的制作方法
【专利摘要】一种获得用于3D传感器的优雅姿态的方法，该传感器用于对象的表面几何图形的在线3D建模，该姿态包含六个自由度(DOF)，这六个自由度包括三个平移参数和三个定向参数，该方法包括：提供该3D传感器，该3D传感器被适配成用于从一个视点捕捉该对象的该表面的3D点测量值；提供该表面的至少一部分的一个几何模型；用该3D传感器观测该对象的该表面的一部分；通过定位设备姿态测量、预测姿态追踪和目标观测中的至少一个为该3D传感器测量一种初始化姿态；使用该初始化姿态、在该几何模型中找到这些3D点测量值的一个最佳拟合安排；使用该最佳拟合安排为该3D传感器生成该优雅姿态。
【专利说明】用于3D扫描的传感器定位
相关申请的交叉引用
[0001]本申请要求于2011年6月7日提交的美国临时专利申请号61/494,075在35USC§ 119(e)下的优先权，该申请的说明书通过引用结合在此。
【技术领域】
[0002]本发明总体上涉及对象的表面几何图形的3D扫描和建模领域，并且更具体地涉及用于3D扫描的传感器姿态的确定。
技术背景
[0003]3D传感器在一个对象或场景的表面上捕捉3D点。这些3D点测量值是在该3D传感器的坐标系中获得的。由于3D传感器具有一个有限的视场，因此通常可以从一个单一视点仅观测该对象表面的表面的一个区域。为了捕捉该表面的一个更宽的区域，在一个公共坐标系中变换这些最新捕捉的3D点之前，移动该3D传感器、从该新视点捕捉3D点、测量并计算3D传感器的位移。在3D扫描中或者更精确地在基于3D扫描的3D建模领域中的一个难题在于尽可能高效地执行这项任务同时为目标应用保持适当的准确度水平。
[0004]3D建模应用有很`多，并且从用于设计、零件检验、反向工程的产业跨度蔓延到被适配成用于医学领域的用于矫正术、假体、或人体计测文档的生产的建模系统。3D扫描和建模有助于若干其他领域，总体上包括艺术、传媒、考古学以及科技。
[0005]通常，两个传感器位置之间的空间关系将包含六个自由度(DOF)，这个六个自由度包括三个平移参数和三个定向参数。在一些情况下，可以将3D传感器的运动约束到更少的参数。例如，3D传感器的运动可以限于一个平移。没有任何限制，在下文中考虑了六个DOF的情况。
[0006]已经开发和实施了不同的方法，用于获得两个3D传感器视点之间的空间关系。已经开发了若干类型的定位设备并且它们是可商购的。
[0007]在这些设备中，机械手允许人们将3D传感器附装到它的末端执行器。该机械手系统将在它的末端执行器和一个固定坐标系之间提供该空间关系的参数。尺寸、可用性、便携性、和精确度是将会影响成本的一些特征。
[0008]由于不需要将一个机械结构附装到3D传感器上，因此光学追踪设备具有更好的灵活性和更大的工作容积。在一些情况下，活动或被动目标被贴附到3D传感器上并且这些目标被追踪系统追踪。然而，这强制一个最小目标子集对追踪系统可见。这些光学追踪系统可以是主动追踪器或摄影测量系统。
[0009]在光学设备类别中，还可以将一个或多个光学传感器(照相机)贴附到3D传感器上。这些照相机将会追踪在环境中设置的活动或被动目标。这些照相机在环境中追踪所贴附的特征，与追踪3D传感器本身截然相反。
[0010]其他类型的定位设备存于在并且它们包括电磁系统、声学系统和惯性系统。惯性系统不提供相对于固定参考物的空间关系；它们提供设备的相对运动参数。[0011]对模态进行组合在本领域中也是已知的。例如，可以采用与光学系统相结合的惯性系统。
[0012]一些系统不需要额外的外部硬件来测量它们在空间中的位置，在这种意义上，它们被称为是自参考的。例如，形创(Creaform?)的文档扫描器(Handyscan?)技术采用在3D传感器中集成的照相机，既用于获得3D点集合又用于测量被贴附到场景上的目标的位置。这些目标被设计成用于在这些图像中以高精度提取。此外，这些3D传感器在扫描的过程中可以获悉目标位置集合并且提供可与昂贵的定位设备相媲美的精确度水平。然而，需要以足以确保系统将始终立刻观测至少三个目标点的密度将目标贴附到该场景上，三个是所需用来估算一个六个DOF空间关系的最少的目标数量。
[0013]通过消除在该场景中贴附目标的必要性可以进一步提高自参考系统的灵活性。一种方法是用一个全视场3D传感器采用对象的测量的几何图形。的确，当对象是刚性的(至少对于扫描的持续时间而言)并且在每个视点之间的位移是小的但具有一个大的视场重叠时，这些3D补丁集合在空间中几乎是可以被移动的，从而找到最佳拟合安排。例如，一旦计算了这些表面补丁的位置和定向，在可以被附装到一个选定的补丁上的一个坐标系中获得3D传感器空间关系。一些众所周知的算法(如迭代最近点(ICP)及其许多变体)已经被提出用于这种类型的姿态优化。
[0014]一些方法也已经被提出用于粗略配准，并且当不能在两个3D传感器位置之间假定一个小的位移时被应用。粗略配准可以依赖于几何特征识别。这些采用对象几何图形来计算传感器空间关系的方法的主要限制是对象几何图形。实际上，假定几何图形是足够复杂的并且不包含对称性。否则定位将易于出错。例如，在一个圆柱体或球体上，可靠地计算这六个自由度是不可能的。此外，很难确保一个在许多计量应用中至关重要的给定的精确度水平。此外，对于实时建模应用而言，粗略配准对于更大或更复杂的对象可能会变得棘手。
[0015]可以将纹理与几何信息相结合。可以在视点之间提取和匹配纹理像素或一些特征点，从而改善这些所计算的传感器位置。然而，依赖于这些不受控制的特征可能不足以维持精确度。使用一个相对加权因子来高效地利用两个模态也是不简单的。
MM
[0016]根据本发明的一个宽泛的方面，提供了一种获得用于3D传感器的优雅姿态的方法，该传感器用于对象的表面几何图形的在线3D建模，该姿态包含六个自由度(DOF)，这六个自由度包括三个平移参数和三个定向参数，该方法包括:提供该3D传感器，该3D传感器被适配成用于从一个视点捕捉该对象的该表面的3D点测量值；提供该表面的至少一部分的一个几何模型；用该3D传感器观测该对象的该表面的一部分；通过定位设备姿态测量、预测姿态追踪和目标观测中的至少一个为该3D传感器测量一种初始化姿态；使用该初始化姿态在该几何模型中找到这些3D点测量值的一个最佳拟合安排；使用该最佳拟合安排生成该3D传感器的优雅姿态。
[0017]在一个实施例中，该定位设备姿态测量包括:提供一个定位设备；并且使用该定位设备测量相对于该几何模型指示该3D传感器的一种设备姿态的传感器位置信息。
[0018]在一个实施例中，该预测姿态追踪包括:从这些3D点测量值的该捕捉的一个前一实例中检索一个先前追踪姿态；以及将一个预测姿态分配给该初始化姿态，使用该先前追踪姿态对该预测姿态进行预测。
[0019]在一个实施例中，该目标观测包括:在该对象上提供至少一个目标；为该对象提供一个目标模型，该目标模型包括先前观测的多个目标；观测该表面包括观测至少一个当前观测的目标；使用该目标模型将该当前观测的目标与一个相应的先前观测的目标相匹配；通过为所述额外的初始化参数赋予一个值为所述初始化姿态生成至少一个额外的初始化参数；从该匹配的目标和该目标模型获得该初始化姿态。
[0020]在一个实施例中，该方法进一步包括:如果该初始化姿态包括少于六个自由度，为该初始化姿态生成多个缺失的初始化参数，其中，该生成多个缺失的初始化参数包括为该缺失的初始化参数赋予一个值。
[0021]在一个实施例中，生成多个缺失的初始化参数包括对该初始化姿态的一个参数空间进行采样，以及找到该最佳拟合安排包括使用每个采样的初始化参数和选择一个收敛的最佳拟合安排。
[0022]在一个实施例中，该优雅姿态包括该初始化姿态的至少一个参数。
[0023]在一个实施例中，找到一个最佳拟合安排包括对一些几何表面点和目标点进行加权，从而找到该最佳拟合安排。
[0024]在一个实施例中，该初始化姿态包括由该定位设备姿态测量所测量的至少一个参数和由该目标观测所测量的至少一个参数。
[0025]在一个实施例中，该目标是被贴附到该对象的该表面上、被贴附到该对象的一个休戚相关的环境中、在该对象的该表面上被创建、在该对象的该休戚相关的环境中被创建、该对象的一个独特形状特征的一部分和该对象的该休戚相关的环境的一个独特形状特征的一部分中的至少一个。
[0026]在一个实施例中，该目标是摄影测量目标、后向反射目标、编码目标、圆形目标、简单反射目标、绘图标记和独特的形状特征中的至少一个。
[0027]在一个实施例中，该定位设备是被引用的机械设备、光学追踪设备、电磁系统、声学系统和惯性系统中的至少一种。
[0028]在一个实施例中，从该匹配的目标和该目标模型获得该初始化姿态包括为该目标
获得一条表面法线。
[0029]在一个实施例中，这些目标中的两个是当前观测的目标，该目标观测进一步包括在该目标模型中对该当前观测的目标之间的距离与先前观测的目标之间的距离进行比较，从而为该匹配消除候选位点。
[0030]在一个实施例中，目标观测进一步包括在该目标模型中基于一些当前观测的目标为该匹配选择一个候选位点；其中，该匹配包括在该目标模型中用相同数量的先前观测的目标在每个候选位点处为该匹配顺序地测试当前观测的目标，以及找到该最佳拟合安排包括使用每个测试的匹配和选择一个收敛的最佳拟合安排。
附图简要说明
[0031]所包含的用于提供对本发明的主要方面的一个更好的理解以及结合在本说明书中并且构成其一部分的这些附图展示了本发明的示例实施例，并且连同该说明书用来解释本发明的原理。这些附图并不是有意按比例绘制的。在这些附图中:
[0032]图1示出了用两个框架扫描一个对象，包括观测一个目标；[0033]图2示出了用两个框架扫描一个对象，包括观测一个目标以及平移这两个坐标系，从而与该目标相符；
[0034]图3示出了用两个框架扫描一个对象，包括观测两个目标点以及平移和旋转这两个坐标系，从而与这些目标相符；
[0035]图4(现有技术)示出了编码目标的两个示例(图4A、图4B)；
[0036]图5不出了有待与多个孤立目标位点一起被扫描的一个对象的一个不例；
[0037]图6是一种用于获得用于3D传感器的优雅姿态的示例方法的流程图，该传感器用于对象的表面几何图形的在线3D建模；
[0038]图7是定位设备姿态测量的一种示例方法的流程图；
[0039]图8是预测姿态追踪的一种示例方法的流程图；
[0040]图9是目标观测的一种示例方法的流程图；以及
[0041]图10示出了一种用于获得3D传感器的优雅姿态的示例系统的主要组件的方框图，该传感器用于对象的表面几何图形的在线3D建模。
[0042]应注意的是，在所有的附图中，相同的特征由相同的参考数字标记。
详细说明
[0043]在这些实施例的下列描述中，通过示例的图示的方式参考附图，本发明可以通过这种方式被实践。将被理解的是，可以不背离所披露的本发明的范围而作出其他实施例。
[0044]基于几何图形的配准方法是相当灵活的。摄影测量系统能够在这些图像中采用准确的目标位置。这些特征对于3D传感器而言均是有用的。本系统和方法考虑到基于几何图形的配准，该配准能够从这两种类型的方法中采用部分定位约束。
[0045]具体地，甚至可以将少量的目标贴附到一个对象上并且维持一个高的精确度水平。这些目标可以是摄影测量目标、圆形后向反射或简单反射、绘图目标、或者在图像中可以被准确地检测和定位的任何其他类型。
[0046]—个示意性示例是圆柱形的或近似为圆柱形的对象(如人体的躯干、手臂或腿)的情况。将理解的是，身体部分不一定是恒定刚性的。然而，通过要求这个人在扫描的过程中不移动，可以在短时间段内(例如，在该3D扫描的过程中)使该身体部分是刚性的。然后，该身体部分在该建模方法的持续时间被认为是刚性的。
[0047]除了一些自由度(如沿着该近似圆柱轴的平移或围绕这个轴的旋转)之外，应用一种基于几何图形的配准方法用于一个近似于圆柱形的对象(如一个身体部分)的建模将是准确的。然后，可以沿着该对象的长度贴附一个目标或仅仅极少数的目标。一般地，一个可识别目标图案应该包括至少三个存在于同一幅图像中的未对准的固定目标。如果在该对象上仅仅使用了几个目标，在该图像中的目标的数目可能会低于识别和可靠地计算一个6D0F空间关系所需要的数目。然而，通过将从该表面几何图形和这些目标的位置这两者中提取的信息进行组合，可以在一个单一的公共坐标系中计算每个3D框架的空间关系。
[0048]当使用一个外部定位设备时，该外部定位设备的一些定位参数被人熟知于承受可靠性问题。例如，一个惯性测量系统将为这些旋转参数而非这些平移参数提供更好的测量值。从这些目标的位置提取的信息可以允许计算该空间关系。
[0049]该姿态也可以使用从定位设备、一些目标和该对象的几何图形的组合中检索出来的信息进行计算。[0050]基于几何图形的配准算法通常是迭代的。当在一个在线3D建模过程中应用时，这些算法将会实时地、迅速地收敛于该优雅传感器姿态。从至少一个目标或者从由一个外部定位设备提供的姿态来设置约束或初始化该姿态对于扫描过程中的快速对准和一个中断或相当大的位移之后的扫描恢复而言将是有益的。
用ICP的基于几何图形的配准的基本法则
[0051]用于精密对准的迭代最近点(ICP)算法可以将一个点集合与一个表面模型对准。在多数情况下，在一个单一的框架中捕捉这些有待对准的3D点集合。这个表面模型可以由先前捕捉的一个单一的3D点集合建造。在这个过程中，两个图像框架被对准，这被称为成对配准。当前框架也可以与一个表面模型对准，该表面模型由若干观测的框架建造，这些框架在当前的3D点集合(也就是当前框架)之前被捕捉。可以将当前框架与由若干框架建造的一个表面模型对准。的确，当前框架和该表面模型之间的重叠将会更大，并且这将会产生该空间关系的一个更好的估计。例如，在这些框架的捕捉过程中，该表面模型将会被在线累积。在这种情况下，该ICP也将会被在线应用。
[0052]存在许多ICP变体，但是对于在当前框架中的每个控制点而言，该基本原理首先在于在该表面模型上确定它的最近点。控制点是被选择用于配准的点。这些点在此被称为3D点。在该表面模型上,该最近点被假定为对应点。然后,计算将该3D点集合与该表面模型进行最佳对准的刚性变换。最后，该变换被应用于这些点并且重复该过程直到收敛。被最小化的函数是:
【权利要求】
1.一种获得用于3D传感器的优雅姿态的方法，该传感器用于对象的表面几何图形的在线3D建模，所述姿态包含六个自由度(DOF)，这六个自由度包括三个平移参数和三个定向参数，该方法包括: 提供所述3d传感器，所述3d传感器被适配成用于从一个视点捕捉所述对象的所述表面的多个3d点测量值； 提供所述表面的至少一部分的一个几何模型； 用所述3d传感器观测所述对象的所述表面的一部分； 通过定位设备姿态测量、预测姿态追踪和目标观测中的至少一个为所述3d传感器测量一种初始化姿态； 使用所述初始化姿态在所述几何模型中找到所述3d点测量值的一个最佳拟合安排； 使用所述最佳拟合安排为所述3d传感器生成所述优雅姿态； 其中，所述定位设备姿态测量包括: 提供一个定位设备； 使用所述定位设备测量指示所述3d传感器相对于该几何模型的一种设备姿态的传感器位置信息； 其中，所述预测姿态追踪包括: 从所述3d点测量值的所述捕捉的一个前一实例中检索一个先前追踪姿态； 将一个预测姿态分配给所述初始化姿态，所述预测姿态使用所述先前追踪姿态进行预测； 其中，所述 目标观测包括: 在所述对象上提供至少一个目标； 为所述对象提供一个目标模型，所述目标模型包括先前观测的多个目标； 所述观测所述表面包括观测至少一个当前观测的目标； 使用所述目标模型将所述当前观测的目标与一个相应的先前观测的目标相匹配；通过为所述额外的初始化参数赋予一个值为所述初始化姿态生成至少一个额外的初始化参数； 从所述匹配的目标、所述额外的初始化参数和所述目标模型中获得所述初始化姿态。
2.如权利要求1所述的用于获得优雅姿态的方法，进一步包括:如果所述初始化姿态包括少于所述六个自由度，为所述初始化姿态生成多个缺失的初始化参数，其中，所述生成多个缺失的初始化参数包括为所述缺失的初始化参数赋予一个值。
3.如权利要求2所述的用于获得优雅姿态的方法，其中，所述生成多个缺失的初始化参数包括对所述初始化姿态的一个参数空间进行采样，以及所述找到所述最佳拟合安排包括使用每个采样的初始化参数和选择一个收敛的最佳拟合安排。
4.如权利要求1所述的用于获得优雅姿态的方法，其中，所述优雅姿态包括所述初始化姿态的至少一个参数。
5.如权利要求1所述的用于获得优雅姿态的方法，其中，所述找到一个最佳拟合安排包括对多个几何表面点和目标点进行加权，从而找到所述最佳拟合安排。
6.如权利要求1所述的用于获得优雅姿态的方法，其中，所述初始化姿态包括由所述定位设备姿态测量所测量的至少一个参数和由所述目标观测所测量的至少一个参数。
7.如权利要求1所述的用于获得优雅姿态的方法，其中，所述目标是被贴附到所述对象的所述表面上、被贴附到所述对象的一个休戚相关的环境中、在所述对象的所述表面上被创建、在所述对象的所述休戚相关的环境中被创建、所述对象的一个独特的形状特征的一部分和所述对象的所述休戚相关的环境的一个独特的形状特征的一部分中的至少一个。
8.如权利要求1所述的用于获得优雅姿态的方法，其中，所述目标是摄影测量目标、后向反射目标、编码目标、圆形目标、简单反射目标、绘图标记和独特的形状特征中的至少一个。
9.如权利要求1所述的用于获得优雅姿态的方法，其中，所述定位设备是被引用的机械设备、光学追踪设备、电磁系统、声学系统和惯性系统中的至少一种。
10.如权利要求1所述的用于获得优雅姿态的方法，其中，所述从所述匹配的目标和所述目标模型中获得所述初始化姿态包括为所述目标获得一条表面法线。
11.如权利要求1所述的用于获得优雅姿态的方法，其中，所述目标中的两个是当前观测的目标，所述目标观测进一步包括在所述目标模型中对所述当前观测的目标之间的距离与先前观测的目标之间的距离进行比较，从而为所述匹配消除候选位点。
12.如权利要求1所述的用于获得优雅姿态的方法，其中，所述目标观测进一步包括在所述目标模型中基于一些所述当前观测的目标为所述匹配选择一个候选位点；其中，所述匹配包括在所述目标模型中用相同数量的先前观测的目标在每个所述候选位点处为所述匹配顺序地测试所述当前观测的目标，以及所述找到所述最佳拟合安排包括使用每个测试的匹配和选择一个收敛的最佳拟合安排。
【文档编号】G01B21/20GK103649680SQ201280023545
【公开日】2014年3月19日 申请日期:2012年6月7日 优先权日:2011年6月7日
【发明者】P·赫伯特, 德拉甘·图比克, O·吉尼亚克, 埃里克·圣-皮埃尔, F·罗谢特, A·卡雷特 申请人:形创有限公司