用于确定物体的三维坐标的方法和装置的制造方法
【专利说明】用于确定物体的三维坐标的方法和装置
[0001]本发明涉及用于确定物体的三维坐标的方法和装置。
[0002]在多个技术领域中，存在大量需要精确地确定物体的三维(3D)坐标的应用；这些技术领域是，例如，机械工程、汽车、陶瓷、采矿、骨科、口腔修复以及珠宝。待测量的物体可以具有任意形状和尺寸。
[0003]确定物体的3D坐标的一个特别应用涉及土方工程操作，其中，运土机械(诸如，带铲斗的挖掘机或带刮铲的推土机)改变一个地点的地势。土方工程操作的进展由确定地点实际3D形状和运土机械的铲斗或刮铲的3D位置的光学测量装置勘测。基于重复地确定地点的3D形状表示以及铲斗或刮铲的3D位置表示，检测到该地点的取平后的3D形状表示的差异和偏差并且确定了土方工程操作的进展。
[0004]光学测量装置利用无接触传感器(诸如，结构光3D扫描仪)。在这种系统中，投影仪用来以预定的图案照射物体。照相机捕捉从该物体反射的该图案的二维(2D)图像。捕捉的图案相对于已知的参考图案失真。这种失真是由物体的3D形状表示引起的。每个物点的标识可以被空间编码(以单一图案)、时间编码(以图案序列)或以空间和时间两者的组合编码。物点的数目越大，带有独立码字的图像点的数目越大，因此该图案的结构越复杂O
[0005]通过以时变图案(诸如，以二进制编码或格雷编码的条纹图案)序列照射物体，捕捉到具有反射的条纹图案的黑和白亮度值的2D图像的时间序列。测量捕捉到的2D图像序列中的一个相同2D图像点的亮度值，允许将该2D图像点与从物点反射的单独条纹相关联。由于投影仪的条纹图案上的单独条纹和照相机的2D图像点被间隔开设备距离，并且由于投影的以及捕捉的条纹图案的投影仪设备的轴线围成一个照射角，知道设备距离和照射角使得能够对相关联的物点3D坐标进行三角测量。
[0006]在WO 2008/046663 A2中，公开了一种现有技术的结构光3D扫描仪，该结构光3D扫描仪具有位于一个公共壳体中的投影仪和两个光电传感器阵列(PSA)照相机。所述两个PSA照相机具有拥有数百万像素的电荷耦合器件(CCD)传感器。每个PSA照相机的2D图像捕捉到从物体反射的、分辨率为数百万个图像点的条纹图案。PSA照相机同时从不同的视点捕捉条纹图案。PSA照相机的光轴具有5°到20°的偏移角。PSA照相机以稳固的方式安装在所述壳体内，并且与所述壳体具有恒定的相互距离。根据极线约束，两个PSA照相机中的第一个的每个2D像点在两个PSA照相机中的第二个的已知极线上具有对应的2D图像点。在已知相互距离和已知偏移角的情况下，可以应用正弦定理针对两个PSA照相机的相应2D图像点的测定的亮度值序列来计算相关物点的3D坐标。
[0007]按照WO 2008/046663 A2中描述的解决方案，为了精确地确定物体的3D坐标，必须以5到10个条纹的图案的序列照射物体。对于具有典型的重复率30Hz的投影仪而言，物体的3D坐标的所得的测量时间在160ms和370ms的范围中，并且因此相当低。对于被嵌入到地点的物体的完全确定，来自不同视点的多个序列的组合是必要的。因此，对嵌入的物体的3D坐标的确定是更加费时的，并且另外针对来自不同视点的多个序列的组合需要提高的计算性能。然而，这个解决方案是非常昂贵的。
[0008]此外，环境光线的强度和性质可以影响捕捉的2D图像的置信水平。在工作条件下，在户外以及在任何气候条件下，环境光线可以诱发所捕捉的2D图像的模糊，环境光线改变了黑白亮度图案，并且使得正确地测量亮度值和计算相关物体的3D坐标变得困难。
[0009]此外，即使没有环境光线的影响，用2D图像也不能明确地分辨物体的特定形状。这种模糊随后可导致物体特征的位置或形状的错误解释。例如，在某些情况下，在没有捕捉另外的2D图像的情况下，不能发现球体的表面是否是正拱形或负拱形，或者斜线墙(diagonal wall)的表面哪一边距离更远。
[0010]因此，需要快速且低成本地确定物体的3D坐标。还需要即使是在土方工程操作的条件下同样可靠地确定物体的3D坐标。此外，需要无模糊地确定物体的3D坐标。
[0011]因此，本发明的目的是为了提供一种用于清晰地和可靠地确定物体3D坐标的方法和装置。
[0012]进一步的目的是为了提供这样一种用于在环境光线条件下和土方工程操作条件下使用的方法和设备。
[0013]本发明的另一个目的是为了提供这样一种允许较快速地确定物体的3D坐标且成本低的方法和装置。
[0014]这些目的中的至少一个通过根据权利要求1的用于确定物体3D坐标的方法、根据权利要求8的光学测量装置和/或本发明从属权利要求实现。
[0015]根据本发明，一种使用光电传感器阵列(PSA)照相机通过结构光来确定物体的3D坐标的装置另外包括范围照相机(range camera)，该范围照相机具有传感器阵列形式的范围图像(range image)传感器。这种范围照相机例如在WO 2010/136 507 Al中被公开。根据本发明的范围照相机适于指向物体，并且能够提供物体的范围图像，例如，通过飞行时间(TOF)测量。范围图像的范围像素对应于物体的物点的3D位置，并且可以用于创建物体的点云。词语“范围图像”在本发明的术语中通常意味着范围图像序列拍摄，但是也意味由流式范围照相机拍摄的范围图像流。
[0016]范围成像(RM)通常被认为是一种用于产生显示从特定点到场景中的点的距离的2D图像的技术。所生成的图像通常被叫做范围图像，所述图像具有对应于物体上的各个物点的距离的像素值。例如，较亮的值意味着较短的距离或反之亦然。甚至可能正确地校正产生这种使得可以直接以诸如米的物理单位给出像素值的范围图像的传感器。针对范围图像的每个像素(范围像素)，分配了一个能够测量距离的单独传感器。由于分配到各个传感器的物点的距离是已知的，物点的3D位置可以被精确地确定。因此，通过使用范围成像技术，可以标识物体的每个测量点，并且甚至确定每个测量点的3D数据。然而，用这种方式确定的3D位置可能不足够精确，因为相比于SPA照相机，范围图像的像素量相当少，信息仍然足够用来确定范围图像中的待测量物体的形状。
[0017]采用物体的范围图像，使得减少或消除在对于物体形状的结构光测量中的模糊是可能的。
[0018]根据本发明，一种用于通过光学测量设备确定物体3D坐标的方法包括结构光测量，其中:
[0019]?以预定图案或预定图案序列照射物体；
[0020]籲捕捉从物体反射的图案的2D图像或2D图像序列；
[0021]?从所述2D图像测量至少一个2D图像点的亮度值；以及
[0022]籲计算与所述2D图像点的测得的亮度值序列相关联的物点的3D坐标。
[0023]根据本发明，该方法还包括用范围照相机捕捉所述物体的至少一个范围图像，所述范围图像包括物体的多个点的距离信息。根据本发明，随后在3D坐标的计算中考虑该范围图像。具体地，该范围照相机根据飞行时间原理工作。
[0024]根据本发明，彩色图案也可以被投影；术语“亮度值”因此也以这种方式理解，即，它可包括反射光的其他属性，诸如波长或颜色。
[0025]在优选实施方式中，范围图像被用于在计算3D坐标的过程中消除模糊:如果结构光测量在物体的特定特征上的一组物点的3D坐标中产生模糊，则范围图像点或一组范围图像点的距离信息可以用于快速并可信赖地消除模糊。
[0026]例如，如果特征的形状或这组物点的位置不能仅通过结构光测量没有模糊地确定，-即，如果存在能够从由结构光测量产生的数据计算出的超过一个可能形状或位置-一个或更多个范围图像点传递关于特有特征的(粗)形状和/或该组图像点的至少一个图像点的精确的位置的信息，以使得模糊被消除-即，检测到多个可能形状中的正确形状或多个可能位置中的正确位置。
[0027]可以通过验证模糊的可能性中的一个或通过证明除了一种可能性以外都是假的来消除模糊。如果由于范围图像的较低分辨率，没有针对特定模糊的一组图像点的匹配数据，则也可以通过基于范围图像验证每个图像的拟真性来消除模糊。
[0028]在一个实施方式中，该方法还包括:
[0029]籲确定特定的2D图像点的亮度值或亮度值序列是否包含模糊；以及
[0030]籲在包含模糊的情况下，使用物体的多个点中的至少一个点的距离信息来消除模糊。
[0031]根据本发明的另一个方面，该方法包括使用范围照相机捕捉物体的幅度图像，所述幅度图像包括多个点中的每个点的亮度信息，特别是其中，用于消除在3D坐标计算中的模糊，范围图像和幅度图像组合成物体的3D图像。因此，本发明提供额外的物体3D图像捕捉以及基于来自额外地捕捉的3D图像的距离信息的相关物点的3D坐标的提取。
[0032]根据本发明的又一个方面，如果在捕捉的2D图像中存在模糊，则阻止与2D图像中的2D图像点相关的物点的3D坐标的计算。针对每个3D图像点，3D图像包括所述3D图像点和物点之间的径向测得的距离信息。由于一个3D图像包括数千个图像点，因此可以对多个物点重复这种方法，使得能够快速、低成本且可信赖地确定物体的3D坐标。
[0033]根据本发明的又一个方面，该方法包括确定特定的2D图像点的亮度值序列是否包含模糊；以及在包含模糊的情况下，将特定的2D图像点与特定相关物点的特定3D图像点链接起来，并且从链接的特定3D图像点提取特定相关物点的3D坐标。
[0034]所以，在模糊的情况下，如果从特定的2D图像点的亮度值序列计算特定相关物点的3D坐标是不可能的，则捕捉包含特定相关物点的特定3D图像点的3D图像。特定2D图像点被链接到所捕捉的特定3D图像点以提取特定相关物点的3D坐标，链接是通过使用链接的特定3D图像点和特定相关物点之间的径向测定距离信息实现的。此外，可以对多个物点重复这种方法，使得能够快速、低成本且可信赖地确定物体的3D坐标。
[0035]下面将通过参考具有附图的示例性实施方式进行详细说明本发明，其中，
[0036]图1a至图1b示意性地示出现有技术的光学测量装置；
[0037]图2示意性地示出根据图1a至图1d的具有额外的TOF照相机的光学测量装置；
[0038]图3a至图3d示意性地示出在产生模糊的不同测量条件下投影仪装置的预定图案；
[0039]图4a至图4b示意性地示出现有技术的光学测量装置；
[0040]图5示意性地示出根据图4a至图4d的具有额外的TOF照相机的光学测量装置；
[0041]图6示意性地示出根据本发明光学测量装置的