6自由度位置和取向确定的制作方法
【专利摘要】一种通过利用深度成像相机拍摄深度图像并利用数字相机拍摄视觉照片来确定场景中的三维已知形状的六自由度位置和取向的方法。所述深度成像相机包括具有传感器阵列的深度图像模块，所述传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从所述传感器到所述场景的点的深度信息，从而得到3D点群。所述数字相机包括图像传感器，该图像传感器具有第二数量的像素，从而得到2D照片。所述第一像素视场和所述第二像素视场的关系是已知的。所述方法包括以下步骤：存储的已知形状的3D数字表示在虚拟空间中几何拟合，以与2D照片和3D点群中的已知对象的再现匹配，并且根据虚拟匹配来确定所述场景中的所述已知形状的六自由度位置和取向。
【专利说明】6自由度位置和取向确定
[0001]本发明总体上涉及根据权利要求1的前序部分所述的一种三维的已知形状的六自由度位置和取向确定方法以及根据权利要求15的前序部分所述的六自由度空间位置和取向确定装置。
[0002]在许多应用中，需要确定目标对象在3D空间中的位置和取向。其中，必须通过测量目标对象的空间坐标及其空间取向来确定目标对象在空间中的空间姿态，从而导致需要评估最多达六个自由度。目标对象可以是关注对象本身，或者是附着到关注对象的专用目标对象。
[0003]例如，在W02005/039836中，提出了通过相机系统观测附着到机械臂的加工工具在3D空间中的位置和取向的机械臂定位控制。
[0004]工程机械的控制是另一应用，例如，如US5，771，978中描述的，其中，跟踪站跟踪回射器，该回射器作为目标标记附着到机器的加工工具(在此示例中，是用于将土移为期望的形状的推土机的推铲)。
[0005]文献EP1171752(_获得2010年欧洲发明奖)描述了另一应用，其中，通过跟踪装置以六个自由度确定用于坐标测量的测量探针的位置和取向，所述跟踪装置跟踪附着到探针的多个专用离散奇异参考点，以用于以六个自由度确定测量探针尖端的姿态。
[0006]目标对象的上述高精度姿态确定方法需要相当复杂且昂贵的测绘设备，例如，诸如激光扫描仪、全站仪、跟踪站等的装置。
[0007]另选地，诸如立体成像，需要复杂的多个相机和照明设备(setup)，具有相对低的精度并且在测量中遭受歧义问题。
[0008]图案投影系统(类似布伦瑞克工业大学(TU-Braunschweig)的DAVID激光扫描仪项目)也是已知的。例如，如WWW.david-laserscanner.com上公布的,在目标上扫描激光图案(例如，线)，数字视频相机记录所得到的图像，由此创建扫描对象的3D点云模型。还可使用相机的拍摄图像来将所得到的3D模型纹理化。由于扫描，相机的整个视场的数字化花费时间，因此不适于评估或观测不稳定对象。
[0009]在微软关于相机校准的技术报告中(公布于“IEEE transactions on patternanalysis and machine intelligence”,第 22 卷,第 11 期,2000 年 11 月)，描述了一种用于3D计算机视觉的数码照片相机的校准系统，其以不同取向观测单个平面图案以实现相机校准，从而使得能够从相机拍摄的2D图像更精确地提取度量(metric)信息。
[0010]在US2005/0002555中，将存储的第一组工件图像(从不同方向拍摄)与工件的实际图像进行比较。然后移动相机以与存储的第一组图像非常相似，并且进行与存储的第二组图像(以较窄间距拍摄)的第二次比较，以确定工件的位置和姿态。
[0011]对于通过收集3D点云的3D测量，使用深度成像模块(Range Imaging Module,RIM)也是已知技术，其可将“一次拍摄(one shot) ”中的整个场景数字化。原则上，RM相机包括像素阵列，所述像素阵列(例如)通过本领域已知的脉冲、相位、信号形状或干涉测量原理(例如)基于光福射的飞行时间测量(TOF)用作光电测距仪(例如，参见J.M.Rueger的 “Electronic Distance Measurement”，第 4 版，Springer-Verlag,柏林，海德堡，1996年)。由这种R頂相机拍摄的深度图像包括相机的各个像素的距离信息，从而得到从单个视点拍摄的场景的3D图像。由此在极坐标下根据相机像素的角视场以及以长度为单位随之确定的距离进行测量。
[0012]测量的RM图像的图形视图可(例如)通过冷光或距离的颜色键控以二维表示呈现为RM图像的视图的2D画面。另选地，测量的RM图像的图形视图可以按照轴测视图或由真实3D显示来呈现。除了深度信息之外，散射后距离测量辐射的强度也可通过RIM相机确定并在图像中提供。
[0013]然而，可用RM装置常常遭受相对低的分辨率和精度，例如，视场的分辨率目前远低于I百万像素(例如，176X144像素=0.025百万像素)，cm范围的距离分辨率是常见值。存在特定的已知技术来改进这些参数，类似变焦和视场的角运动，但是这些技术均经受类似再次延长测量时间(这是重要参数)的缺点，特别是在测量潜在移动的目标的情况下。
[0014]例如，W02006/075017提出了一种测绘至少一个目标的方法和大地测量设备。其中，使用包括成矩阵排列的传感器(例如，32X32传感器)的深度成像模块(RIM)来提供深度图像。深度图像提供所谓的点群或点云信息，其包括由传感器的各个像素成像的目标点的深度。为了提高深度图像的精度，可拍摄随后尺寸减小的详细深度图像。然而，尽管这可以按照特定方式提高深度图像的精度，但是由于深度图像的相对低的分辨率，仍难以精确处理目标的独特目标点，这在较小和/或在被测绘时改变其取向和位置的移动目标的情况下会极其重要。另一缺点是延长了以各个高分辨率和精度测量完整场景的测量时间。
[0015]在CN102252653中，使用TOF相机，并且从目标对象的坐标信息数据库选择三个可识别对象作为标记点以用于位置和姿态参数确定。
[0016]如所提及的，RIM成像的普遍缺点常常是可用RIM相机的低图像分辨率，特别是与分辨率高达几十百万像素及更高的最先进数字摄影相机相比。
[0017]“3DPVT’08_第四届3D数据处理、可视化和传输国际研讨会”(佐治亚理工学院，2008年6月)的会议录提出了将来自2D图像的边缘或轮廓提示与RIM相机数据一起使用，以增强对象的3D重构。其中，使用多个相机从多个视点拍摄RM图像和视频画面，由此可推导3D模型-还可推导已知通过立体成像非常难以处理的凹面。
[0018]US2010/0046802的系统描述了一种方法，其使用RM相机和摄像机的组合来增强3D分辨率，从而通过所提出的距离估计设备增强摄影机或照相机的深度感。该文献包括这种方法的不同方面和实施方式，可用作本发明一些基础原理的参考。尤其是，其中详细说明了边缘提取技术以及匹配深度图像和对应视觉画面的其它方面。
[0019]现有技术的设计或者需要复杂且昂贵的测量设备，或者具有低精度或需要长的测量时间。
[0020]本发明的目的在于提供一种以六自由度确定观察场景中，特别是3D空间中的对象的位置和取向的改进的方法和设备。
[0021 ] 本发明的目的在于在保持测量设备简单的同时实现目标对象的高精度六自由度测量，优选地通过单个设备从单个视点进行测量。
[0022]本发明的另一目的在于提供测量时间短的改进的位置和取向确定。
[0023]本发明的另一目的在于提供一种以高精度确定评估场景内已知形状的对象的六自由度的位置和取向的方法。[0024]另一目的是测量时间减少的6自由度测量，特别是使得能够测量移动对象。
[0025]本发明的特定目的在于提供一种3D测量方法，其尤其可用于优选地通过触觉手段来精确测量测量对象的独特点，从而增强记录的点云的位置测量精度。
[0026]本发明的另一目的还在于提供一种测量方法，其能够对测量对象被遮挡于测量装置视点外的部分进行测量。
[0027]这些目的通过实现独立权利要求的特征来实现。在从属权利要求中描述以替代或有利方式拓展本发明的特征。
[0028]本发明涉及一种确定场景中的三维已知形状的六自由度位置和取向的方法。
[0029]根据本发明，所述方法包括以下步骤:利用深度成像相机拍摄深度图像。所述深度成像相机包括具有传感器阵列的深度图像模块(RIM)，所述传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从传感器到场景的点的深度信息，从而得到3D点群。如本领域已知的，RM可通过在至少一个可见(或优选不可见)光谱范围内发射调制的光辐射并指向测量目标的发光装置以及用于将从测量目标散射回的光辐射的一部分转换为电信号的光电传感器装置阵列来实现。
[0030]根据辐射的传播速度以及辐射在模块与目标之间来回传播所花费的飞行时间，可确定距离，尤其是根据从发送到接收的光脉冲的延迟或者根据调制光信号或者调制光信号的突发的相位差。已知参考距离可用作校准手段。例如，可通过使用不同的调制频率来解决歧义问题。阵列的接收传感器元件被构建为在朝向目标对象的方向上覆盖各个角视场(优选以不交叠的方式)，因此在像素中按照与传感器阵列的行和列相等的分辨率分辨RIM的视场。
[0031]由此，在距离中分辨RM的视场中的目标的三维分辨率，因此三个一组的所述距离和像素视场的光轴的方向得到目标对象的表面点的极坐标，作为包括目标对象的R頂视场的点群或点云表示。另外，对于各个像素，还可评估并进一步处理散射回的辐射的强度信肩、O
[0032]所述方法还包括以下步骤:利用数字相机(CAM)拍摄视觉照片。所述数字相机包括具有第二数量的像素的图像传感器(例如，CCD或CMOS阵列等)，其中，所述数字相机的第二数量的像素可以高于第一数量的像素，从而得到具有相机视场的第二角分辨率的2D照片，该分辨率可高于RIM的分辨率。所述照片是数字拍照图像，尤其包括像素阵列的强度和光谱信息，包括根据像素视场的各个像素的角信息以及亮度和色度信息。由此，可观测到数字相机的光谱范围内的目标的光学图案或纹理，以及目标对象的阴影效果、不同颜色部分。
[0033]数字相机的视场以及RM的视场可通过一些光学器件来形成，例如包括光学器件领域已知的透镜、滤光器、反射镜等。可通过光学手段或者评估软件中的数值手段来补偿像素阵列视场的可能的光学或几何失真。
[0034]根据本发明，第一像素视场和第二像素视场的关系是已知的，或者通过利用RM和拍照相机二者观测参考对象进行校准以使其已知。
[0035]场景可被定义为从包括RIM和CAM的测量仪器的视点看到的关注区域，目标对象的至少一部分驻留于其中，并且其可被RM和CAM视场覆盖。为了增大场景的范围，RM和/或CAM视场可以是可移动的，其中，移动的量必须是可确定的，或者通过专用测量手段确定或者通过从RM数据和/或CAM数据提取移动信息来确定。
[0036]所提及的三维已知形状是已知的，使得可在测量所涉及的计算系统中获得已知形状的3D数字表示。数字表示可作为由形状和尺寸的数值信息表示的几何CAD模型提供。另选地，此信息可通过“学习”其形状并使其已知的所谓的校准测量来收集。
[0037]通过已知形状的存储的3D数字表示或已知模型在虚拟空间中的几何拟合，可实现与2D照片和3D点群中的已知形状的再现的匹配。其中，使对象的数字表示在虚拟空间中对准(例如，移动并旋转)，以得到与已知形状在实际空间中的姿态相同的姿态，其通过计算的数字数值表示中的形状在虚拟空间中的虚拟视图与从CAM和/或RIM看到的以它们所采集的2D/3D信息的形式再现的视图的匹配来限定。
[0038]根据如上所述的虚拟匹配，通过从在虚拟空间中被几何操纵的已知形状的数字表示的虚拟对准获得的信息来确定场景中的已知形状的六自由度位置和取向，然后其对应于已知形状在通过所述方法观测的实际场景中的实际位置和取向。
[0039]下面参照附图中示意性地示出的工作示例完全以示例的方式更详细地描述或说明根据本发明的方法以及根据本发明的装置和设置。具体地讲，
[0040]图1示出根据本发明的测量设备的实施方式；
[0041]图2示出根据本发明的装置的示例性实施方式的抽象图；
[0042]图3示出根据本发明的装置的实施方式，其中RM单元和图像单元同轴布置；
[0043]图4示出由根据本发明的装置收集的信息的示例；
[0044]图5示出用于确定空间信息的匹配和拟合的步骤；
[0045]图6示出根据本发明的方法的示例性流程图；
[0046]图7不出本发明可覆盖的应用和测量任务的不例；
[0047]图8示出根据本发明的一方面的后视特征的示例；
[0048]附图不应被视为按比例绘制。
[0049]图1示出根据本发明的六自由度空间位置和取向确定装置I的实施方式，所述装置包括:R頂单元4,其包括深度成像相机以用于确定深度图像(range image)作为具有第一分辨率的三维点云信息；CAM单元5，其包括视觉照片相机以用于确定具有第二分辨率(尤其是多种颜色)的场景的二维视觉照片。在进一步描述的实施方式中，第二分辨率大于第一分辨率，第一分辨率也可大于第二分辨率，或者两个分辨率也可相等。另一种选择是在CAM传感器和/或RM传感器的读数中跳过一些像素，其中，例如为了增大评估速度，物理传感器分辨率可能不同于实际评估的分辨率。
[0050]装置I还包括:数字图像处理单元66，尤其被构建为确定视觉照片中的边和面信息；以及六维已知形状匹配单元67，其被构建为确定深度图像内的已知形状的3D数字表示与视觉照片的三维最佳拟合并提取已知形状的位置和取向。
[0051]还示出根据本发明的系统，其包括装置I和作为已知形状2的参考对象。其中，参考对象的外形被形成为能够从单个视点唯一地识别其在空间中的位置和取向。优选地，参考对象对于深度成像相机4的测量波长而言是反射性的，并且在由视觉相机5捕获的波长中具有特性可识别的光学特征。
[0052]如图3所示，视觉照片14和深度图像13可从单个测量设备1，尤其是利用单个视线9拍摄，优选地其中，深度图像和视觉照片的拍摄在时间上同步。示意图示出使用用于RM测量的光源3和RIM传感器4，其被引导穿过与拍摄图像拾取装置5相同的装置I的物镜8。在此示例中，深度成像和视觉拍照的波长通过二向色镜7分离。照片包括用于各个像素的光谱或颜色信息10、11、12，深度图像包括各个像素的深度信息13，所述深度信息可以与散射回的辐射的强度信息14组合。视觉匹配和拟合中可包括:评估这种强度信息，所述强度信息从深度相机所接收的深度成像光的反射强度确定，尤其是作为被已知形状散射回的距离测量光的单色强度值。
[0053]图4示出根据本发明的收集的数据。其中，已知形状2由其数字表示11 (示出为CAD模型)来表示。拍照CAM单元拍摄如所示的照片14，其优选为2D彩色图像。RIM单元3、4确定由点示出的对象的点云表示13，针对其评估距离。可从CAM信息和RM信息提取边15和/或面16。在此实施方式中，由于来自CAM单元的视觉照片的高分辨率，可利用比RIM单元高的空间精度来确定边和面。可通过在虚拟3D空间中操纵来使提取出的那些数据与数字表示11匹配，以实现最佳拟合。由此可通过最大似然算法等处理并组合多个信息。虚拟空间中的最佳拟合的位置和取向揭示场景中的已知形状2的位置和取向。
[0054]图5示出根据本发明的空间位置和姿态或六自由度位置和取向确定的方法的基本原理的示意性草图。
[0055]其中，通过深度成像相机4观测设置在场景中的三维已知形状2 (作为已知几何形状的容积对象)。深度相机4利用深度图像模块RIM拍摄场景的深度图像，深度图像模块RIM具有传感器阵列，所述传感器阵列具有第一数量的像素。对于各个第一像素，确定从传感器到场景的点的深度信息，从而得到三维点信息群13，其表示通过RIM视场从深度相机看到的3D表面信息。
[0056]通过利用数字相机5拍摄视觉照片来进一步观测已知几何形状的对象2。相机包括具有第二数量的像素的图像传感器，其可根据在图像传感器视场内接收的光记录包括各个像素的强度和光谱信息的2D照片14，尤其是彩色照片。其中，2D照片相机5的第二数量的像素可高于R頂相机的第一数量的像素，由此，2D表示14中的场景的视场以及其中包括的已知形状2的角分辨率高于3D点云13。
[0057]第一像素视场和第二像素视场的关系是已知的，RIM像素和CAM像素的角视场可被指派给彼此。第一像素和第二像素的视场的这种关系可用于已知形状的存储的3D数字表示11在虚拟空间中的几何拟合，以与已知形状的再现虚拟匹配，和/或所述关系可用于确定已知形状2的六自由度位置和取向。
[0058]已知形状2以这样的方式已知:可(例如)以存储的CAD模型的形式获得或生成已知形状2的3D数字表示11。该数字表示11可在计算系统中的虚拟空间中移动或旋转，并且已知形状的数字表示的虚拟视图可作为二维和/或三维数据以数字方式生成。
[0059]在虚拟空间中通过平移和旋转在六自由度上几何操纵已知形状2的3D数字表示11，使得其虚拟视图与2D照片和3D点群中的已知对象的再现匹配12。
[0060]根据匹配虚拟对准,能够确定场景中的已知形状的六自由度位置和取向，由此可在六自由度上测绘已知形状2，并且可测量场景中的已知形状的位置和取向。
[0061]RIM相机4还可以是彩色RM，其具有在(例如)RGB颜色空间(类似于2D数字成像装置)以及RGB照明(通过(顺序或并行)发射红绿蓝光脉冲来具体实现)下工作的传感器。在这种情况下，RM分辨率将等于CAM分辨率，或者(例如，当将一组三种颜色的CAM像素解释为具有这三种颜色的混合颜色的单个图像像素时)，3D-RIM分辨率也可高于彩色照片的分辨率。这得到三个深度图像一一每种颜色一个。总彩色化实现彩色的3D图像。三个RM图像的深度可被组合(如果三个图像全部具有相同的视场，则确定均值，或者如果三个图像的像素的视场在子像素范围内移位以增强3D分辨率，则进行几何插值。
[0062]除了 RGB颜色空间之外，还已知其它颜色空间，例如也具有超过三种颜色。另一种选择可以是增加专用于RM测量的“第四颜色”，例如，单个R+G+B+红外传感器，由此单片硬件可具体实现(例如)具有相等分辨率的红外R頂单元和彩色CAM单元二者。由于3D-RM评估仅可(例如，由于较高的计算量)实现比CAM照片评估低的帧频，在评估期间可跳过一些RM像素。尤其是当忽略像素时，在评估中评估/跳过的RM像素的顺序可交替。这可导致低分辨率下的快速帧频(由于通过在评估中省略像素而增大的帧频)以及同时，较低帧频下的较高分辨率(因为多个帧将连续覆盖所有像素)二者，从而得到全传感器分辨率。
[0063]可通过将来自视觉照片14的信息和来自深度图像13的信息组合提供3D几何信息，尤其其中，所述组合包括使深度图像13和视觉照片14 二者中的已知形状2的至少一个几何特征匹配，并且进一步使3D数字表示11中的几何特征在组合的信息内匹配。
[0064]这可通过3D数字表示11与视觉照片14的第一匹配以及3D数字表示11与深度图像13的第二匹配来实现。由此，尤其是根据调节演算(adjustment calculus)或最大似然算法，可通过将第一匹配和第二匹配的结果进行组合来确定位置和取向。
[0065]匹配12可包括以下步骤:通过将视觉照片14中的面的边/面提取15、16和/或深度图像13中的边/面检测15、16进行组合(优选通过拟合点群中的平面)来识别面。
[0066]然后，在匹配处理中，尤其根据最小二乘或最大似然算法，可使识别出的面和/或边信息与3D数字表示11的对应面或边匹配，以用于拟合图像和RM信息14、13。优选地，使多个面和/或边三维匹配，将结果组合并插值，以提高测量精度。
[0067]另外，确定步骤中可包括以下步骤:识别视觉照片内的纹理结构，尤其是已知形状上的纹理结构。由此，所述方法还可包括以下步骤:根据视觉照片14中的已知形状2的视觉大小和/或其纹理来附加确定位置和取向。例如，已知对象的已知纹理和/或颜色可用于得到位置和取向确定中的唯一性。尤其是，在已知对象的几何形状存在歧义的情况下，可包括纹理信息。
[0068]可利用深度相机的光轴相对于数字相机的光轴在第一像素的亚分辨率内的定向抖动来增强分辨率。这种(例如)RM4相对于CAM5的光轴抖动可利用反着使用的(或者说错用的)光学图像稳定单元(例如，已知用于数字摄像和视频相机的那些(类似索尼的“steady-shot”技术，或者来自其它供应商的类似方法))以简单的方式引入。由此，可将多个定向抖动的低分辨率深度图像进行组合以增大点群的分辨率使其超过第一像素的分辨率。显然，代价是测量时间由于需要在各个抖动方向上的多次测量而增加。
[0069]可选地，RIM单元4和CAM单元5能够相对于其支架(例如所示的三脚架6)移动，尤其是能够电动移动。由此，装置的视场可移动(例如)以保持已知形状在视场内或者另选地实现上述抖动。
[0070]图6示出根据本发明的方法的简化流程图。其中，拍摄RIM图像200和CAM照片201，捕获视觉照片203(包括强度和(可选地)光谱数据的角阵列)和点云202 (包括深度和(可选地)强度数据的角阵列)。所述拍摄优选地在时间上同步。由捕获的信息生成已知形状的再现，并且在步骤208中在虚拟空间中与已知形状2的数字表示209 (例如，存储的CAD数据210的形式)匹配。
[0071]然后，如步骤211所示，使用虚拟匹配来确定装置I所捕获的场景中的已知形状的6自由度位置和取向。
[0072]上述步骤可被描述为在由RM单元和CAM单元收集并由数字图像处理单元(尤其被构建为确定视觉照片中的边和面信息)处理的几何信息中已知形状的数字表示的三维识别和拟合，其可涉及提取场景的向量信息，例如包括通过边检测从视觉照片提取向量信息以及将边信息与来自RM图像和/或向量面检测的点云信息组合。可使用强化模块来将来自RIM单元和CAM单元的信息组合以确定场景的精确三维几何信息，优选地包括使向量信息和点云信息与已知数字表示匹配。由于更高阶的几何对象与点相比可更好(尤其是更快)地匹配，所以测量速率和/或匹配精度可提高。
[0073]例如，可按照简化方式将匹配和拟合解释为：与2D视觉图像组合使用来自深度图像的支持点，并且通过来自深度图像的至少三个支持点来确定参考对象的面上的平面。然后，根据在视觉照片中检测到的面的边和/或参考对象的面上的纹理结构来精细调节所述平面。
[0074]另外，根据视觉照片中的对象的视觉大小作为附加信息推导参考对象的深度信息可用来获得附加信息。可随之使用相机校准(例如上述微软文献中提出的)。另外，还可在评估中包括目标对象的阴影或半阴影表面的灰度值以改进3D重构。
[0075]还可通过设备自己确定已知形状来通过参考对象的示教(teaching-1n)建立已知形状的数字表示。参考对象的示教还可通过经由几何数据的数值输入或者虚拟参考对象的数值参数化限定已知形状来完成。
[0076]如图7通过使用示例的示意图所示，根据本发明的方法可用于确定附着到已知形状2的物体的相关位置和取向。其中，已知形状(作为已知的三维固体容积体，其具有便于能够以六自由度精确且唯一地确定已知形状2的空间位置和取向的三维外部构造)可用于确定其所附着到的物体的6自由度空间信息。显然，所述物体或其一部分也可以是已知形状2本身。
[0077]在左上侧示例中，附着的物体是测量探针，尤其是触觉坐标测量探针106，所述方法是测量测量探针所接近的测量对象的空间坐标。以类似方式，所示的臂也可以是致动的机械臂，其在空间中的姿态(尤其是臂的顶端的姿态)根据本发明的方法来确定。机械臂在空间中的姿态根据已知形状的位置和取向来确定。
[0078]右上侧示意图示出携带手持测量探针102的工人,所述探针102是、包括或者附着到已知形状2的对象。由此，可测量车身101所示的测量对象。根据本发明的一方面，这揭示了通过将测量对象的外形数字化来进行三维建模的附加方法。
[0079]此附加方法涉及粗略的3D建模。粗略建模包括以下步骤:拍摄测量对象101的深度图像，并且可选地拍摄测量对象101的视觉照片；以及尤其通过将深度图像和视觉图像的信息组合，来生成所收集的数据的粗略3D模型。
[0080]所述附加方法还涉及精细的3D建模。精细建模包括以下步骤:通过如上所述利用组合的RIM信息和CAM信息的已知形状2的6自由度确定，利用触觉探针102测量测量对象的至少一个表面点。由此，与粗略建模相比，根据已知形状的位置和取向以增加的精度确定通过触觉探针测量的表面点的精确空间位置和取向。
[0081]所述附加方法然后根据精细建模的所述至少一个表面点精细调节粗略3D模型的至少一个点，来根据所述至少一个表面点细化粗略模型的测量点。
[0082]图7的右下部示出施工现场机械104的加工工具105，作为附着到已知形状2的物体，其空间坐标被确定。所示的工地机械是被具体实现为挖土机104的土方机械，但是其还可以是推土机、平地机、挖掘机等。
[0083]在右下角，示出根据本发明的装置I，其用于其视场内的已知形状2的6自由度确定。尤其是，根据本发明的这种六自由度空间位置和取向确定装置I可包括:
[0084] 3D深度成像单元，其具有深度成像相机4，该相机具有第一数量的像素，以用于确定场景的深度图像13作为具有第一角分辨率的三维点云202信息， [0085] 2D相机成像单元，其具有视觉照片相机5，该相机具有第二数量的像素，以用于确定具有第二角分辨率的场景的至少一部分的二维视觉照片14，
[0086]数字图像处理单元66，以及
[0087]六维已知形状匹配单元67。
[0088]其中，六维已知形状匹配单元67被构建为确定已知形状2的3D数字表示11在深度图像13和视觉照片14内，或者在深度图像13和视觉照片14的组合内的三维虚拟匹配，并根据所述虚拟匹配来提取场景中的已知形状2的六自由度位置和取向。
[0089]熟悉本文所提及的设备的使用的人员将知道许多其它应用场景。
[0090]图8示出根据本发明的方法为实现所谓的后视(look behind)测量的特殊用途。这种生成测量对象的三维模型的特殊方法包括以下步骤:
[0091 ] 如上所述确定第一已知形状2A的空间位置和取向，其中，第一已知形状2A附着到反射镜73并位于包括在装置I中的深度相机和视觉相机的主视场中。尤其是，第一已知形状2是围绕反射镜73的框架，反射镜73对于视觉相机5和深度相机4 二者的波长而言是反射性的。
[0092]这种布置方式确定深度相机和视觉相机的副视场(主视场的子集)。副视场将根据第一已知形状2A的位置和取向来通过反射镜重新导向。
[0093]由此，可通过深度成像装置4和/或视觉相机5测量副视场，尤其是第二已知形状在副视场中的位置和取向确定(例如，在目标对象2B的后面，因此未示出第二已知形状)。
[0094]根据确定的反射镜73的位置和取向(通过其框架2A确定)计算副视场中的测量值向第一视场的坐标系的变换。然后，将来自主视场和副视场的测量值组合(或者根据测量值生成三维模型)。
[0095]由此，可测量在主视场中不可见或者无法唯一地测量的测量对象部分。尤其是，其中，测量设备I和测量对象2B相对于彼此固定，并且反射镜73可移动。反射镜可通过马达来移动或者通过手移动(作为手持物体)，或者如果不需要或者不经常需要重新布置反射镜，则反射镜可被固定到三脚架75。
[0096]在后视测量的特殊实施方式中，较低分辨率的RIM相机可被变焦(可选地，还被位置对准-或跟踪)至反射镜的视场，以实现较高的3D分辨率，而较高分辨率的CAM单元评估包括反射镜的较宽的场景并根据其(或者具体地讲，其框架的)已知形状来确定其位置和取向。在该变焦和/或跟踪中，RIM相机的视场优选地还可覆盖反射镜的框架或其一部分，以改进根据本发明的反射镜的位置和取向确定。
[0097]例如，可通过这种方式实现从侧面、后面或内部对测量对象的形状数字化或建模。
[0098]根据本发明的方法可被至少部分地具体实现为具有程序代码的计算机程序产品，所述程序代码被存储在机器可读介质上或者被具体实现为电磁波，所述程序代码被配置为自动执行并操作如上所述的已知形状的六自由度位置和取向确定方法，尤其是所述程序在作为六自由度空间位置和取向确定装置I的数字计算单元的数字图像处理单元66上执行。
[0099]尤其是，本发明涉及一种六自由度空间位置和取向确定装置1，该装置包括:
[0100] 3D深度成像单元，其包括具有第一数量的像素的深度成像相机4，以用于确定场景的深度图像13作为具有第一角分辨率的三维点云202信息，
[0101] 2D相机成像单元，其包括具有第二数量的像素的视觉照片相机5，以用于确定具有第二角分辨率的所述场景的至少一部分的二维视觉照片14，
[0102]数字图像处理单66，以及
[0103]六维已知形状匹配单元67。
[0104]其中，所述六维已知形状匹配单元67被构建为确定已知形状2的3D数字表示11在深度图像13和视觉照片14内或者在深度图像13和视觉照片14的组合内的三维虚拟匹配，并根据所述虚拟匹配提取场景中的已知形状2的六自由度位置和取向。
【权利要求】
1.一种用于通过以下步骤确定场景中的三维已知形状(2)的六自由度位置和取向的方法: □利用具有深度图像模块的深度成像相机(4)拍摄深度图像(13)，所述深度图像模块具有传感器阵列，该传感器阵列具有第一数量的像素，其中，针对各个第一像素，确定从所述传感器到所述场景的点的深度信息，从而得到3D点群(202)， □利用具有图像传感器的数字相机(5)拍摄视觉照片(14)，所述图像传感器具有第二数量的像素，从而得到尤其包括强度和光谱信息的2D照片(203)，其中，第一像素视场和第二像素视场的关系是已知的，尤其其中，所述第二数量的像素高于所述第一数量的像素，□存储的所述已知形状的3D数字表示(11)在虚拟空间中几何拟合，以与所拍摄的2D照片(203)和所拍摄的3D点群(202)中的所述已知形状的再现虚拟匹配，以及 □根据所述虚拟匹配来确定所述场景中的所述已知形状(2)的六自由度位置(x，y，z)和取向(A，B，C)。
2.根据权利要求1所述的方法，该方法的特征在于， 通过将来自所述视觉照片(14)的信息和来自所述深度图像(13)的信息进行组合来提取3D几何信息，尤其其中，所述组合步骤包括以下步骤:使所述深度图像(13)和所述视觉照片(14) 二者中的所述已知形状的至少一个几何特征匹配，并且进一步使所述3D数字表示(11)中的几何特征在所组合的信息内匹配。
3.根据权利要求1所述的方法，该方法的特征在于， 所述3D数字表示(11)与所 述视觉照片(14)的第一匹配，以及 所述3D数字表示(11)与所述深度图像(13)的第二匹配， 并且通过尤其根据调节演算或最大似然算法，将所述第一匹配和所述第二匹配的结果进行组合，来确定位置和取向。
4.根据权利要求1至3中的任一项所述的方法，该方法的特征在于， 所述匹配包括以下步骤: □通过将以下项组合来识别面 ο所述视觉照片中的面的边缘提取，和/或 ο所述深度图像中的面检测，优选地通过拟合所述点群中的平面，以及□尤其根据最小二乘或最大似然算法，使所识别出的面和/或边与所述3D数字表示的对应面匹配， 优选地其中，多个面和/或边是三维匹配的。
5.根据权利要求1至4中的任一项所述的方法，该方法的特征在于， 识别所述视觉照片(14)内，尤其是所述已知形状上的纹理结构， 优选地包括根据所述视觉照片中的所述已知形状的视觉大小和/或所述已知形状的纹理的附加位置和取向确定，优选地用于根据所述纹理信息得到位置和取向确定的唯一性。
6.根据权利要求1至5中的任一项所述的方法，该方法的特征在于， 从单个测量设备(I)，尤其是利用单个视线，拍摄所述视觉照片(14)和所述深度图像(13)，优选地其中，所述深度图像和所述视觉照片的拍摄在时间上同步。
7.根据权利要求1至6中的任一项所述的方法，该方法的特征在于，尤其利用反着使用的光学图像稳定单元来引入，使深度相机的光轴相对于数字相机的光轴在所述第一像素的亚分辨率内定向抖动，并且将多个定向抖动的低分辨率深度图像组合，以用于增大所述点群的分辨率使其超过所述第一像素的分辨率。
8.根据权利要求1至7中的任一项所述的方法，该方法的特征在于， 评估从深度相机(4)所接收到的深度成像光的反射强度确定的强度信息，尤其作为被所述已知形状散射回的距离测量光的强度值，并且包括所述虚拟匹配中的强度信息。
9.根据权利要求1至8中的任一项所述的方法，该方法的特征在于， 确定附着到所述已知形状⑵的物体(106，100, 102，105，2A)的相关位置和取向，所述已知形状(2)是已知的三维固体容积体，该三维固体容积体具有便于能够以六自由度精确且唯一地确定所述已知形状(2)的空间位置和取向的三维外部构造。
10.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是测量探针(106)，尤其是触觉坐标测量探针，并且所述方法是测量测量对象(101)的空间坐标。
11.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是根据所述已知形状的位置和取向确定空间中的姿态的机械臂(100)，并且所述方法是确定所述机械臂的位置和取向。
12.根据权利要求9所述的方法，该方法的特征在于，所附着的物体是空间坐标被确定的施工现场机械(104)的加工工具(105)，所述机械尤其是土方机械，优选地是推土机、平地机或挖掘机，所述方法是确定所述加工工具(105)的位置和取向。
13.根据权利要求1至12中的任一项所述的方法，该方法的特征在于， 在拟合和/或确定的步骤中使用所述第一像素和所述第二像素的已知关系。
14.一种通过以下步骤将测量对象(101)的外形数字化来进行三维建模的方法: ·粗略3D建模，其包括以下步骤: ο拍摄所述测量对象(101)的深度图像(13)， ο拍摄所述测量对象(101)的视觉照片(14)，以及 ο通过将所述深度图像和视觉图像的信息进行组合来生成粗略3D模型， ·通过以下步骤进行精细3D建模: ο利用触觉探针(102)测量所述测量对象(101)的至少一个表面点，其中，根据权利要求I至9中的任一项所述的方法来确定所述触觉探针(102)的测量点的精确空间位置和取向，以及 ·通过根据精细建模的所述至少一个表面点精细调节所述粗略3D模型的至少一个点，来根据所述至少一个表面点细化粗略模型的测量点。
15.一种生成测量对象(2B)的三维模型的方法，该方法包括以下步骤: ·根据权利要求1至8中的任一项所述确定第一已知形状(2A)的空间位置和取向，其中，所述第一已知形状(2A)附着到反射镜(73)并位于所述深度相机(4)和所述视觉相机(5)的主视场中， 尤其所述第一已知 形状(2A)是围绕所述反射镜(73)的框架，并且所述反射镜(73)对于所述视觉相机(5)和所述深度相机(4) 二者的波长而言是反射性的， ·根据所述第一已知形状(2A)的位置和取向来确定所述深度相机(4)和所述视觉相机(5)的副视场，该副视场是被所述反射镜(73)重新定向的所述主视场的子集，通过所述深度相机(4)和/或所述视觉相机(5)在所述副视场中进行测量，尤其是根据权利要求1至10中的任一项所述在所述副视场中确定第二已知形状的位置和取向， 根据所确定的所述反射镜(73)的位置和取向将在所述副视场中获得的测量值变换到第一视场的坐标系，以及 根据来自所述主视场和所述副视场的测量值生成所述三维模型， 尤其用于测量所述测量对象(2B)的在所述主视场中不可见或者无法唯一地测量的部分， 优选地其中，所述测量设备(I)和所述测量对象(2B)相对于彼此固定，并且所述反射镜(73)是可移动的， 例如用于从侧面、后面或内部对所述测量对象(2B)进行建模。
16.—种六自由度空间位置和取向确定装置(I)，该六自由度空间位置和取向确定装置⑴包括: 3D深度成像单元，其包括具有第一数量的像素的深度成像相机(4)，以用于确定场景的深度图像(13)作为具有第一角分辨率的三维点云(202)信息， 2D相机 成像CAM单元，其包括具有第二数量的像素的视觉照片相机(5)，以用于确定具有第二角分辨率的所述场景的至少一部分的二维视觉照片(14)，所述照片尤其是多种颜色的，尤其其中，所述第二分辨率高于所述第一分辨率， 数字图像处理单元(66)， 尤其被构建为确定所述视觉照片(14)中的边和面信息，以及 六维已知形状匹配单元(67)，其被构建为确定已知形状(2)的3D数字表示(11)在所述深度图像(13)和所述视觉照片(14)内或者在所述深度图像(13)和所述视觉照片(14)的组合内的三维虚拟匹配，并且根据所述虚拟匹配来提取所述场景中的所述已知形状(2)的六自由度位置(x，y，z)和取向(A，B，C)。
17.—种系统，该系统包括根据权利要求16所述的装置⑴以及作为已知形状(2)的参考对象， 其中，所述参考对象(2)被形成为使得能够从单个视点唯一地识别所述参考对象(2)在空间中的位置(x，y，z)和取向(A, B, C), 优选地对于深度成像相机(4)的测量波长而言是反射性的，并且在视觉相机(5)所捕获的波长中具有特性可识别的光学特征。
18.一种具有程序代码的计算机程序产品，所述程序代码被存储在机器可读介质上或者被具体实现为电磁波，所述程序代码被配置为自动执行并操作根据权利要求1至13中的任一项所述的已知形状的六自由度位置和取向确定方法，尤其是如果所述程序在根据权利要求16或17所述的六自由度空间位置和取向确定装置(I)的数字计算单元上执行。
19.一种六自由度空间位置和取向确定装置(I)，该六自由度空间位置和取向确定装置⑴包括: RIM单元，其包括深度成像相机(4)，以用于确定深度图像(13)作为具有第一分辨率的三维点云(202)信息， CAM单元，其包括视觉照片相机(5)，以用于确定具有第二分辨率的二维视觉照片(14)，所述照片尤其是多种颜色的，尤其其中，所述第二分辨率高于所述第一分辨率，数字图像处理单元(66)， 尤其被构建为确定视觉照片(14)中的边和面信息，以及 六维已知形状匹配单元(67)，其被构建为确定已知形状(2)的3D数字表示(11)在深度图像(13)和视觉照片(14)内的三维最佳拟合，并提取所述已知形状(2)的位置(X，y, z)和取向(A, B, C) ο
20.一种系统，该系统包括根据权利要求19所述的装置(I)以及作为已知形状(2)的参考对象， 其中，所述参考对象(2)被形成为使得能够从单个视点唯一地识别所述参考对象(2)在空间中的位置(x，y，z)和取向(A, B, C), 优选地对于深度成像相机(4)的测量波长而言是反射性的，并且在视觉相机(5)所捕获的波长中具有特性可识别的光学特征。
【文档编号】B25J9/16GK103959012SQ201280059710
【公开日】2014年7月30日 申请日期:2012年12月5日 优先权日:2011年12月6日
【发明者】波·佩特尔松, 克努特·西尔克斯, E·沃伊特, J·辛德林, 贝内迪克特·泽布霍塞尔, 克劳斯·施奈德 申请人:赫克斯冈技术中心