用测量仪器和像机装置提供点云的制作方法

用测量仪器和像机装置提供点云的制作方法
【专利摘要】用测量仪器和像机装置提供点云。方法包括：根据部分覆盖物体的扫描区，用测量仪器扫描周围，参照仪器的坐标系，生成与扫描区对应的扫描点云，在仪器侧生成覆盖对应于扫描区的区域的、表示参照图像的第一图像，由于仪器用于获取第一图像所基于的数据的位置和取向，参照测量坐标系获知参照图像的姿势。第一系列图像被图像捕捉单元从相应姿势捕捉并部分覆盖扫描区。应用算法，包括：基于参照图像和第一系列至少两个图像，识别表示第一组参照点的第一组图像点，第一组参照点中的各点出现在参照图像和第一系列的至少一个图像中，关于第一组参照点中的点的位置信息由扫描点云提供，用第一组参照点和位置信息，参照坐标系确定第一系列的图像的第二姿势。
【专利说明】
用测量仪器和像机装置提供点云
技术领域
[0001]本发明涉及利用具体为激光扫描仪的大地测量装置以及结构上分离的像机来提供物体的点云的方法和系统。
【背景技术】
[0002]为了收集有关物体的具体为地形信息的尺度信息，通常可以利用按预定方式在该物体上方移动的激光束来扫描这种物体的表面。对物体的精确扫描例如通过像地面激光扫描仪或者全站仪的大地测量装置(例如，Leica P20、Leica Multi Stat1n 50)来提供。通过扫描物体来创建所谓的(3D)点云，3D点云通过公共坐标系中的具有限定位置的一定量的点来表示该物体。
[0003]点云通过确定每一个测量点的距离和在确定该距离时激光束的关联方向来导出。这种测量点的点至点分辨率和得到的点云分别根据在表面上移动激光束的速度和用于触发单个测量(例如，针对每一个测量点一个测量)的触发间隔来限定。
[0004]除了生成点云以外，经常通过大地测量装置的捕捉单元来捕捉物体的图像。图像提供有关物体的进一步信息，例如，有关物体的颜色或纹理。
[0005]由于通常从一个站点仅可测量到物体的一部分，而其它表面隐藏，因而变得必需在相对于物体的至少两个不同位置来设立测量装置，使得通过组合可以测量到物体的整个表面。
[0006]测量仪器需要到物体的直接视线以进行测量。在具有障碍物的情况下，例如，建筑物前面的、遮蔽正面的一部分的树木导致所谓的“扫描阴影”(参见图la)。在实践中，在这种情况下，测量仪器还设立在提供了到缺失部分的直接视线的不同位置处。因此，需要超过一次地设立测量仪器，并且每一次额外的设立都费时并且减少了用户的生产率。
[0007]而且，利用地面激光扫描仪的最高分辨率的全圆顶扫描(S卩，在水平方向上从0°至360°并且在垂直方向上-45°至90°的扫描区域)可能花费多达几个小时。在该分辨率中，100米中的的点之间的距离为1.0mm。针对仪器的每一次新设立，通常获取完整的360°全景图像，这也花费几分钟。因此，重新安置激光扫描仪或类似测量仪器(例如，全站仪)并且记录第二组测量数据(第二点云)非常耗时，而且需要专家至少相对于第二点云参照第一点云。
[0008]EP I 903 303 BI公开了一种将点云数据与图像数据组合以便添充点云的缺失部分的方法。像机单元被用于记录一组图像，该组图像被划分成一组立体图像对。每一个图像对都被独立处理。而且，由激光扫描仪获取的全景图像(所谓的“主图像”)被用于与一个立体图像对进行成对匹配，并由此向点云提供相应立体图像对的增加的尺度信息。整个处理在具有该组图像的全部数据并且激光扫描仪对于处理就绪的后处理步骤中执行。
[0009]已知用于登记点云的下述几种方法，例如，首先用于粗略登记的基于标记或基于图像的登记，并且此后用于精细调节的基于几何学的登记(迭代最近点):
[0010]基于标记的登记:
[0011]用户围绕物体放置三个或更多个标记。利用测量仪器来测量标记的位置(通过标记上的无反射器测量或者利用测量杆或者通过扫描)。
[0012]利用激光扫描仪或者全站仪来扫描这些标记，而且每一个标记应当至少在移动像机单元的一个图像或视频帧上可见。这种编码的标记在基于激光的点云或全景图像中并且在来自移动像机单元的图像上被自动(优选)地检测(另选为人工地检测)。使用基于图像与基于激光的坐标帧中的标记位置间的对应来进行登记。
[0013]在非编码的标记的情况下，可以通过分析标记对之间的距离来自动执行对应标记位置的识别。
[0014]基于图像的登记:
[0015]登记任务可通过利用图像处理寻找图像中的一组共同点来解决。图像上的对应点与3D点相关的事实被用于计算Helmert变换。至少三个测量图像点应当在关联点云中具有对应3D点。
[0016]基于几何学的登记:
[0017]登记任务可通过利用3D特征描述符寻找点云中的一组共同点来解决。另选的是，基于几何学的方法可被用于登记。两个登记的点云应当覆盖交叠的物体表面。这种方法比较点云之间的几何相似性以寻找最佳变换。
[0018]人工登记:
[0019]这里，人工地选择基于图像和基于激光的点云中的三个或更多个公共点，例如通过显示点云并且使用户能够挑选对应点。登记任务通过利用共同点对应性来计算刚体运动(或He Imert)变换来解决。
[0020]上述方法的主要缺点在于，由于后处理并且由于立体图像的独立处理，随着不与扫描点云直接相关的图像的数量增加，关于点位置的准确度的误差增加。而且，对于源于捕捉处理之后的立体图像处理的位置误差的补偿不可行或者仅稍稍可行。另外，根据现有技术的处理需要按后处理方式来执行，即，不是直接在测量过程期间现场执行，因此无法向用户提供例如有关所执行的测量的质量的实际信息。

【发明内容】

[0021]因此，本发明的目的是，提供一种用于使能现场进行数据处理(在测量处理期间直接进行)并且向用户提供实时测量数据以便改进测量处理的效率的方法和系统。
[0022]另一目的是提供一种用于在现场特别是在测量处理期间直接生成物体的公共点云的改进方法，其中，为了数据获取而由分离的装置收集的数据被考虑用于生成点云。
[0023]本发明的另一目的是提供一种用于使能特别是从所有侧面更灵活且更容易测量物体的方法和系统。
[0024]该目的通过实现独立权利要求的特征来实现。以另选或有利方式进一步发展本发明的特征在从属专利权利要求中进行了描述。
[0025]本发明涉及同时使用大地测量仪器与移动图像捕捉单元(例如，移动数字像机)，其中，由测量仪器和图像拍摄单元记录的图像在从运动恢复结构(SfM: Structure-from-Mot1n)或SLAM算法内一起自动处理。由此，相对于由测量仪器限定的坐标系参照由图像拍摄单元提供的图像数据可以利用从运动恢复结构(SfM)或SLAM算法的执行来自动且直接地提供，即，在不需要附加缩放步骤的情况下，测量仪器提供的位置信息被用作对从运动恢复结构(SfM)或SLAM算法的输入，使得利用该算法计算或导出的每一个数据还包括相应的位置信息。
[0026]本发明涉及一种用于利用具体为激光扫描仪或全站仪的大地测量仪器以及图像拍摄单元来提供特别是物体的3D点云的方法。该方法包括以下步骤:根据限定的扫描区域(例如，至少部分地覆盖所述物体)，利用所述测量仪器扫描周围，并且参照由所述测量仪器限定的测量坐标系，生成与所述扫描区域相对应的扫描点云。因此，所述扫描点云包括一些3D点，这些3D点表示所述周围和例如所述物体的至少一部分，并且所述3D点云在指定测量坐标系中被参照。
[0027]而且，在所述测量仪器的覆盖与所述扫描区域至少基本对应的区域的一侧生成第一图像，其中，所述第一图像表示参照图像，由于用于获取数据(第一图像基于该数据)的所述测量仪器(在所述测量坐标系中的)(已知)位置和取向，参照所述测量坐标系获知了参照图像的姿势。所述参照图像可以用所述测量仪器的像机捕捉的可视图像表示，或者可以采用人工图像的形式从扫描点云的强度值导出。由于所述测量坐标系由所述测量仪器限定并且所述像机被指配给该仪器，因而基于相机图像知道了所述参照图像关于所述测量坐标系的的姿势。
[0028]所述第一图像可以是单个图像、一组像机图像(例如，图像的拼接，像立方体图像那样)、或者全景图像(作为组合一组单个图像的结果)。在所有情况下，在所述测量仪器的坐标系中给出所述姿势或多个姿势。
[0029]另外，根据相应姿势，利用所述图像捕捉单元捕捉第一系列的至少两个图像，所述第一系列的至少两个图像中的图像部分地覆盖所述扫描区域(即，该区域的同样被所述第一图像覆盖的部分)和成像区域。因此，这些图像被捕捉，以使得例如所述物体的未被所述第一图像覆盖的额外区域同样被覆盖(例如，扫描阴影)。
[0030]而且，从运动恢复结构(SfM)或SLAM算法被应用，至少包括:基于所述参照图像和所述第一系列的至少两个图像，识别第一组图像点，所述图像点表示参照点场的第一组参照点，其中，所述第一组参照点中的每一个点都出现在所述参照图像中和所述第一系列的至少两个图像中的至少一个图像中。具体地，在所述图像中识别所捕捉周围的相同(类似(homologous))点。有关所述第一组参照点中的点的位置信息由所述扫描点云提供。
[0031]而且，利用所述第一组参照点和所述位置信息(由所述扫描点云提供)，参照所述测量坐标系，特别是基于后方交会法(resect1n)来确定所述第一系列的至少两个图像中的图像的姿势，所述姿势表示在捕捉所述第一系列的至少两个图像中的图像时，所述图像捕捉单元相对于所述测量仪器的位置和取向。
[0032]因此，那两个图像被所述图像捕捉单元捕捉，所述两个图像还被利用SLAM或SfM算法参照至所述测量仪器的坐标系。
[0033]根据本发明的方法的一个主要优点是，最初由所述测量仪器提供的所述位置信息利用从运动恢复结构(SfM)或SLAM算法来考虑。由此，所述第一系列图像中的图像的姿势(和通过进一步的处理步骤导出的姿势和位置)可以利用相对于所述参照坐标系(扫描坐标系)的已知位置和/或取向来确定。因此，利用这些图像及其姿势，可能确定的另一些点可以用关于所述参照坐标系的精确位置信息导出。
[0034]对于这种数据来说，另一参照或缩放步骤不再是必需的。
[0035]而且，所述参照点(具有来自所述测量仪器的位置信息)形成了用于利用所述像机装置捕捉的所述图像的姿势估计的框架。在连续地将一个图像对准至另一图像时的误差传播导致的漂移可以通过引入来自于该参照点的全局约束来减小。
[0036]在本发明的背景下，“参照点”要被理解为通过执行根据本发明的方法而限定的点，即，所述“参照点”特别是通过基于至少两个图像的某种图像处理来导出，并且例如根据位于像机视野的某些突出特征得出，例如，参照点是通过识别至少两个图像中的相似点而得出的。由此，这种点不应被理解为最初获知的点，例如，用于设立大地测量仪器的比较点(基于所述比较点，可确定这种装置的绝对位置和取向)。
[0037]换句话说，利用测量仪器获取点云(对应图像数据=参照图像)。另外，利用所述像机模块捕捉一系列的至少两个图像。生成第一组3d点(R1、R2、R3)，S卩，在所述系列的至少两个图像中的图像以及所述参照图像中可见的特定点。从所述扫描数据导出那些点的对应深度值。基于所述第一组3d点(R1、R2、R3)，特别是通过后方交会法来计算所述系列的至少两个图像中的第一组图像的姿势。基于所述系列的至少两个图像中的、具有已知姿势的第一组图像中的相似点，通过前方交会法来生成第二组3d点(S1、S2、S3)。可以基于第二组3d点(51、32、33)或者基于第一组3(1点(1?1、1?2、1?3)与第二组3(1点的组合，特别是通过后方交会法来计算所述系列的至少两个图像中的另一些图像的姿势。后两个步骤可以重复，直到大致确定第一系列的至少两个图像中的所有图像的姿势为止。
[0038]根据本发明的实施方式，所述测量仪器的像机的视野与标准扫描区域交叠或者基本上对应于标准扫描区域，具体来说，其中，所述测量仪器的像机被构建为提供水平最大360°和垂直最大270°的视野的概览(overview)像机。另选的是，所述像机被构建为具有较小视野的同轴像机。特别地，拍摄一组图像以覆盖整个扫描区域。
[0039]根据【具体实施方式】，所述物体的限定部分被所述参照图像和第二图像共同覆盖。另选的是，所述参照图像和所述第二图像覆盖所述物体的不同部分(没有交叠区)，但两者还覆盖周围(背景)的相同区域。
[0040]根据本发明的特定实施方式，该图像捕捉单元(像机模块)包含像机，并且特别是包含处理(和控制)单元以及显示器。另外，该图像捕捉单元可以包含数据传输单元。所述像机是可移动的，而非固定至测量(扫描)仪器主体。另外，该图像捕捉单元可以包含GNSS接收器模块。另外或另选地，该图像捕捉单元可以包含内部测量单元。另外或另选地，该图像捕捉单元可以包含测量反射器，该测量反射器的位置可利用全站仪(例如，Leica MultiStat1n 50)或跟踪仪(例如，Leica Absolute Tracker AT901)通过跟踪来测量。另外或另选地，该图像捕捉单元可以包含用于将所有输入数据保存在所述图像捕捉单元上的内部数据存储部。
[0041]所述图像拍摄单元可以处于用于激光扫描仪、全站仪或GNSS测量系统的控制器的一侧。在该情况下，所述测量数据(例如，参照目标的坐标)可以例如经由无线电或者线缆从全站仪或GNSS系统直接发送至控制器，并由此直接集成在该处理中。
[0042]根据本发明，具体来说，所述计算(例如，SLAM算法)可以在所述图像捕捉单元的所述处理单元上执行。另选的是，所述处理单元设置在所述测量仪器处或者集成在另一移动处理装置中，并且如现有技术已知的那样，所述数据例如经由无线电或者线缆(例如，WiF1、Bluetooth等)从和向处理单元发送。另选的是，所述数据可以传递至计算服务器，计算服务器可以是靠近所述像机模块定位的计算机或智能电话，或者是连接至因特网的服务器(云计算)。
[0043]根据本发明的特定实施方式，所述图像捕捉单元包括固定在所述像机单元的主体中的4至6个像机，例如被构建为全景像机。
[0044]根据本发明的另一特定实施方式，所述图像捕捉单元可以由单个像机组成。特别地，所述图像捕捉单元包括全向(全景)像机。
[0045]所述图像捕捉单元可以具有集成扫描装置，例如，基于图案投影的断面仪(profiler)或扫描仪，或者所述捕捉单元可以被构建为边缘摄像机(rim-camera)。所述捕捉单元提供至少一个(优选为可视的)像机图像，该相机图像表示用于姿势确定的相应基础。而且，这种特定捕捉单元特别地提供在所述捕捉单元一侧生成的深度图像或局部点云。这种局部点云可以基于上述SfM或SLAM算法与最初由所述测量仪器提供的全局点云合并，即，确定相对姿势。
[0046]而且，所述捕捉单元可以包括IMU(惯性测量单元)，MU用于连续提供其位置和取向(姿势)的变化，并由此相对于确定姿势所基于的两个连续像机图像提供姿势内插。因此，这种IMU数据使能在相应姿势计算之间，更精确地利用扫描装置来收集深度信息，或者校正因此获取的扫描数据。
[0047]所述图像捕捉单元可以被设计成，使得其可以被无人驾驶飞行器(UAV)携带，例如，所述图像捕捉单元包括特定联接部件。
[0048]具有这种捕捉单元的UAV使能自动检测扫描场景的点云中的间隙(在所述测量仪器一侧)，自动控制UAV(例如，通过利用GNSS信号或者通过所述测量仪器遥控)接近所述场景中的与所述识别的间隙相对应的区域，并且利用所述捕捉单元获取与所述间隙有关的相应测量数据。
[0049]根据本发明的另一实施方式，基于所述第一系列图像中的图像的姿势，特别是通过前方交会法来确定成像区域中的第二组参照点，其中，所述成像区域不同于所述扫描区域(当然，交叠是可能的)，并且导出与所述第二组参照点中的至少一个点的3D位置有关的位置信息，所述位置信息被参照至所述测量坐标系。具体地，所述扫描点云通过将所导出的3D位置信息添加至所述扫描点云来实现。
[0050]由于所述第二图像和第三图像(作为所述第一系列的至少两个图像的一部分)都(仅)部分地覆盖所述扫描区域，并且另外共同覆盖不同的成像区域，因而，提供对所述第二图像和第三图像的图像信息的这种处理，以导出没有位于所述扫描区域内部的点的3D位置。可以导出3D位置信息，其使能扩展有关其覆盖区域的扫描点云，例如，有关其尺度，其例如使能填充通过扫描周围而得到或出现的间隙(扫描阴影)。按该方式自动确定的附加3D位置信息在所述测量坐标系中被参照(存在)(而不需要进一步的参照步骤)。而且，所导出的3D位置信息提供了用于另一组参照点中的随后识别的参照点的基础，使得可以将相应位置信息指配给这种随后参照点(并且可以通过利用这些随后的参照点来计算用于随后图像的其它姿势)。
[0051]由此，作为本发明的另一实施方式，利用所述图像捕捉单元捕捉第二系列的至少一个图像，其中，所述第二系列的至少一个图像中的所述至少一个图像至少部分地覆盖所述第二组参照点和/或所述第一组参照点中的至少一个点。而且，利用所述第一和/或第二组参照点中的、被所述至少一个图像覆盖的至少三个参照点(总体上表示至少三个参照点特别地被部分地关联至所述第一和第二组参照点)并且利用相应位置信息，参照所述测量坐标系，特别是基于后方交会法来确定针对所述第二系列的所述至少一个图像的所述姿势。
[0052]具体来说，单独利用所述第二组参照点中的参照点，参照所述测量坐标系来确定所述第二系列图像中的至少一个图像的所述姿势。
[0053]根据本发明的特定实施方式，所述第二系列的至少一个图像中的至少一个图像部分地覆盖所述扫描区域，其中，基于所述参照图像和所述第二系列的至少一个图像中的所述至少一个图像来确定另一参照点。
[0054]就提供高精度位置数据而言，可以基于所述第一系列的至少两个图像、所述第二系列的至少一个图像中的图像的姿势以及所述第一和所述第二组参照点，具体来说，所述另一参照点和/或所述扫描点云数据，来应用束调节过程。
[0055]利用上述从运动恢复结构(SfM)或SLAM算法为考虑利用上述移动图像捕捉单元捕捉的超过一个图像作准备。可以确定所述系列的图像中的每一个图像的姿势，并由此可以利用那些图像中的至少两个的图像数据来生成基于扩展图像的点云。所述姿势可以基于通过利用所述测量仪器生成的初始扫描点云所给出的参照点的已知位置信息来确定，但另选或另外地，参照点的这种位置信息利用通过图像捕捉单元拍摄的至少两个图像通过前方交会法来创建(在这种图像的姿势再次基于通过所述扫描点云所提供的位置信息计算之后)。要理解的是，这种参照点不必位于所述扫描区域/扫描点云内或者作为其一部分，而是具体位于扫描区域之外，并且在所述至少两个图像中被标识为相似点。
[0056]特别地，利用所述参照点的位置信息来计算使用所述图像捕捉装置拍摄的图像的姿势，所述位置信息通过所述扫描点云提供(两者都是可能的:位置信息通过所述测量仪器生成和/或通过利用至少两个图像的前方交会法导出)，特别是其中，有关所述测量坐标系的缩放随着每一个处理步骤利用位置信息来提供，特别是有关所述参照点的和/或所述图像捕捉单元的位置。
[0057]优选地，通过利用这种位置信息，针对要基于通过一系列图像提供的图像数据来生成的点云(基于图像的点云)的缩放可用。而且，所述图像捕捉单元相对于所述测量仪器的位置(在捕捉相应图像时)可以精确且绝对地确定(在所述测量坐标系中)。
[0058]考虑到生成超出所述扫描点云的数据的点的位置信息，本发明的特定实施方式涉及如下执行这种计算:基于所述参照图像和至少一个另一图像的姿势，利用所述参照图像和所述至少另一图像，通过前方交会法导出有关所述物体的点的3D位置的信息，并且通过将所导出的位置信息添加至所述扫描点云来实现所述扫描点云。特别地，所述扫描点云通过有关所述点的3D位置的所导出的信息来扩展。具体地，这种计算通过执行用于执行上述步骤而实现的相应算法来执行。
[0059]另选或另外地，根据本发明的另一实施方式，可以基于测量图像和移动图像来生成点云。换句话说，基于利用所述图像捕捉单元(20、22)捕捉的所述图像中的至少两个图像的姿势，特别是通过前方交会法，针对所述成像区域中的至少一部分，来计算图像点云，特别是通过应用密集匹配算法，，所述图像点云至少包括根据特别是被所述物体的所述至少两个拍摄图像的相应的公共覆盖区域的3D位置信息，并且被关于所述测量坐标系参照。[ΟΟ?Ο] 这种图像点云的计算特别是通过执行稠密匹配(dense matching)算法来提供，其中，这种稠密匹配算法特别被实现为单独的算法，或者与所述从运动恢复结构(SfM)或SLAM算法相组合(例如作为稠密光学流算法来集成)。特别地，这种稠密匹配在执行了所述从运动恢复结构(SfM)或SLAM算法之后在单独的步骤中执行。
[0061]为了执行所述从运动恢复结构(SfM)或SLAM算法，特别是执行稠密匹配算法，利用使用所述图像捕捉单元捕捉的至少两个图像(所述两个图像覆盖所述物体的未被所述测量仪器覆盖的公共部分，可以导出(所述物体的)点的附加3D位置，所述点的3D位置已经被参照至所述测量坐标系。
[0062]通过额外使用来自所述扫描点云的位置信息(有关本发明)，基于图像地导出位置数据分别为更精确(并且已经缩放)确定3D位置并且为可以连续且瞬时补偿位置数据作准备。
[0063]在该背景下，根据本发明的另一特定实施方式，基于扫描点云数据补偿随着计算所述3D位置信息或所述图像的姿势而出现的位置误差，特别是其中，针对使用所述图像捕捉单元连续捕捉的图像提供的每一个连续图像数据来执行所述补偿。
[0064]由此，可以在收集相应图像数据之后直接应用针对点的3D位置(利用至少两个图像(特别是最初所述参照图像和另两个图像，通过前方交会法而导出)的补偿，即，初始地，基于来自所述第一系列图像的图像数据导出的点位置利用由所述扫描点云提供的信息来补偿。在捕捉另一(第三)图像(第二系列图像)和利用相应的另一图像数据以利用所述第一系列图像基于前方交会法导出新的(附加的)3D点时，取决于被用于确定所述第二系列图像中的一个图像的所述姿势的相应参照点(包括在所点云中和/或在所述另一图像中识别)，考虑到先前步骤(针对所述另一图像)的已经补偿的点位置，和/或考虑到由所述扫描点云提供的所述信息，补偿这种新的3D点的位置。
[0065]具体来说，就用户引导而言，根据本发明的另一实施方式，生成涉及所述扫描点云中的点和所述图像点云中的点的位置准确度的质量信息。因此，使得用户或所述系统能够引入另一些测量步骤(例如，过滤数据或捕捉附加图像)，来提供满足限定的测量条件的测量数据。
[0066]在该背景下，根据本发明的特定实施方式，所述质量信息被显示在图像中，其中，表示所述扫描点云的(所述图像的)第一区域被第一标记覆盖，而表示所述图像点云的第二区域被第二标记覆盖，所述标记特别是由不同颜色的区域来表示。根据这种输出，使得用户能够决定是否要执行另一些处理步骤，以便完成有关指定需求的测量处理。
[0067]特别地，被所述扫描点云和图像点云两者覆盖的区域被第三标记覆盖，或者被所述扫描点云和图像点云两者覆盖的所述区域中的所述点被筛选，使得所得到的点云仅提供所述扫描点云中的点或者仅提供所述图像点云中的点，特别是其中，所述筛选通过操作员的输入而引起。
[0068]根据上述实施方式，操作员(在执行所述测量步骤期间，特别是在捕捉附加图像期间)可以直接在所述显示器上看到哪些受关注区域已被测量(即，被所述图像和计算出的点云覆盖)，并且针对特定区域实现了哪个点至点准确度。而且，用户可以根据准确度需求来决定哪个点数据源应当被用于生成所得到的点云。
[0069]关于扫描周围、捕捉图像和执行所述处理算法的时间方面，根据本发明，所述方法(即，所述方法的每一个步骤)在测量过程期间直接且瞬时(特别是自动地)进行，其中，数据处理，特别是与从运动恢复结构(SfM)或SLAM算法有关的数据处理，在所述测量过程期间由处理单元执行。所述处理单元接收有关扫描周围、利用所述测量仪器的所述像机捕捉第一图像及利用所述图像捕捉单元捕捉至少另两个图像的数据。
[0070]与根据现有技术已知的解决方案相反，这里，在执行所述测量期间，现场直接执行对所有数据的处置。现有技术教导对现场收集的数据进行后处理，其中，例如没有在线反馈能够被生成以便向用户提供实时测量信息。作为本发明的一个大的优点，继续考虑向要处理的数据集连续添加图像数据，使能用于对基于图像的位置数据的在线和更精确补偿。
[0071]关于用户引导，根据本发明的特定实施方式，在将所述图像捕捉单元的实际视野成像的所述图像捕捉单元一侧显示实时图像，其中，实际被所述图像捕捉单元成像而且(已经)被所述扫描点云覆盖或未覆盖的区域在所述实时图像中被标记。
[0072]特别地，所述物体的、被使用所述图像捕捉单元捕捉的所述图像之一覆盖的部分在所述实时图像中被标记。
[0073]通过根据相应信息(例如，有关该实际图像的哪些部分已被扫描点云或图像点云覆盖)这样显示和交叠实际图像，向用户提供完整性检查，并且帮助用户计划进一步的测量步骤。
[0074]S卩，用户可以实时看到与生长图像点云结合的扫描点云，并且可以观察到例如该结合的点云中的间隙，和在该用户移动期间怎样立即填充所述间隙。因此，使得用户能够实时检查测量任务的进展。
[0075]根据本发明的实施方式，利用由所述扫描点云提供的所述参照点的所述位置信息，基于后方交会法来确定图像中的至少一个图像的姿势，特别是其中，提供有关所述测量坐标系的缩放。
[0076]下面，参照根据本发明的涉及所述移动图像捕捉单元和所述测量仪器的结构性实施方式，所述测量仪器和所述图像捕捉单元在结构上彼此分离，特别是其中，所述图像捕捉单元被具体实施为移动数字像机或者被具体实施为移动电话或由移动电话提供，和/或所述测量仪器包括用于捕捉所述参照图像的像机。
[0077]本发明还涉及一种用于提供特别是要测量的物体的3D点云的系统，该系统包括大地测量仪器，特别是激光扫描仪或全站仪，所述大地测量仪器具有支承结构，该支承结构安装在所述测量仪器的基部上，使得所述支承结构可围绕由所述基部限定的第一轴枢转。另夕卜，所述大地测量仪器包括用于生成测量射束的电磁辐射源以及用于引导所述测量射束的引导单元，所述引导单元设置在所述支承结构处，以向所述引导单元提供围绕由所述支承结构限定的第二轴的枢转性，所述第二轴基本上垂直于所述第一轴。
[0078]而且，所述大地测量仪器包括扫描功能，该扫描功能用于按预定方式提供所述测量射束的引导和定向并相应地测量距离，其中，根据限定的扫描区域(例如，至少部分地覆盖所述物体)的周围是可测量的，并且其中，参照由所述测量仪器限定的测量坐标系，扫描点云可基于所述周围生成。提供了用于生成第一图像的图像生成功能，其中，至少基本上对应于所述扫描区域的区域可被覆盖，并且其中，所述第一图像表示参照图像，因所述测量仪器为了获取生成第一图像所依据的数据的位置和取向而导致该参照图像的姿势参照所述测量坐标系已知。
[0079]具体来说，所述测量仪器包括用于捕捉所述第一图像的像机，因此所述像机提供所述第一图像的相应数据。另选或另外地，所述第一图像可以基于由所述扫描点云的扫描数据提供的强度测量来导出，其例如导致具有根据反向散射测量光的强度的强或弱的亮区域或暗区域的单色图像。
[0080]所述系统还包括图像捕捉单元(例如，所述测量系统的控制器)，该图像捕捉单元用于捕捉具有相应姿势的第一系列的至少两个图像，所述第一系列的至少两个图像可被捕捉，使得扫描区域被所述至少两个图像部分地覆盖，所述图像捕捉单元在结构上与所述激光扫描仪分离。
[0081 ] 而且，该系统包括:控制与处理单元，该控制与处理单元用于接收和处理来自所述测量仪器和所述图像捕捉单元的数据。
[0082]根据本发明，所述控制与处理单元提供从运动恢复结构(SfM)或SLAM算法，所述算法至少通过提供执行以下步骤来限定:
[0083].基于所述参照图像和所述第一系列的至少两个图像，识别第一组图像点，所述图像点表示参照点场的第一组参照点，其中，所述第一组参照点中的各个点都出现在所述参照图像中和所述第一系列的至少两个图像中的至少一个图像中，并且其中，有关所述第一组参照点的位置信息由所述扫描点云提供，并且
[0084].利用所述第一组参照点和所述位置信息(由所述扫描点云给出)，参照所述测量坐标系，特别是基于后方交会法，确定所述第一系列图像中的图像的姿势，所述姿势表示在捕捉所述第一系列的至少两个图像中的所述图像时，所述图像捕捉单元相对于所述测量仪器的位置和取向。
[0085]根据本发明的特定实施方式，所述控制与处理单元被集成在所述测量仪器中或所述图像捕捉单元中。根据其它实施方式，所述控制与处理单元由外部单元提供，并且向和从该单元发送数据(例如，无线地)，或者所述控制与处理单元由连接至因特网的服务器单元来提供，其中，通过因特网执行数据通信，并且在所述服务器一侧进行数据处理(例如，云计算)O
[0086]根据本发明，所述测量仪器可以被具体实施为地面激光扫描仪或全站仪，优选地具有像机。
[0087]特别地，被构建为相应激光扫描仪的所述测量仪器包括:反射旋转部件(例如，镜子或棱镜)，其被设置在所述支承结构处，以提供所述旋转部件围绕由所述支承结构限定的第二轴的旋转；以及光学系统，其用于将所述测量射束引导到所述反射旋转部件上。
[0088]根据本发明的特定实施方式，所述处理与控制单元被配置成使得在运行相应配置时执行根据上述那些方法中任一个所述的方法。
[0089]本发明还涉及一种具有计算机可执行指令的计算机程序产品，所述计算机可执行指令被执行以特别是在运行于根据上面描述的系统的控制与处理单元上时，基于
[0090]?接收扫描点云，
[0091]?接收参照图像，以及
[0092].接收所述第一系列的至少两个中的至少一个图像，
[0093]来根据如上所述方法执行从运动恢复结构(SfM)或SLAM算法。
[0094]为连续执行所述计算机程序产品的相应算法，提供有关所述扫描点云、所述参照图像以及至少另一图像(和/或所述第一系列图像中的更多个图像)的信息。
【附图说明】
[0095]下面，参照附图中示意性地示出的工作示例，完全以示例的方式，对根据本发明的方法和系统进行更详细描述或说明。具体地，
[0096]图la、图1b示出了操作员利用根据本发明的激光扫描仪和移动图像捕捉单元导出点云；
[0097]图2例示了根据本发明的扫描点云和基于图像的点云以及一起处理来自扫描仪和像机的数据的结果点云；
[0098]图3a、图3b例示了根据本发明实施方式的、利用激光扫描仪和移动捕捉机单元生成关注物体的点云；
[0099]图4示出了根据本发明的、用于更精确地生成点云的图案投影；
[0100]图5a、图5b例示了根据本发明实施方式的、使能提供物体的扩展点云的第一工作流程；
[0101]图6例示了根据本发明实施方式的、使能利用标记来提供物体的点云的另选工作流程；
[0102]图7示出了根据本发明的生成点云的原理；
[0103]图8例示了针对来自不同的源的图像数据的基于图像的登记；
[0104]图9a、图9b示出了根据本发明的另一实施方式，其中，根据本发明向用户提供完整性检查；
[0105]图10a、图1Ob例示了根据本发明的不同类型位置数据的结合；
[0106]图11示出了根据本发明的显示点云质量的另选方式；
[0107]图12示出了根据本发明的另一实施方式和用于生成点云的相应方法;并且
[0108]图13示出了用于基于两组图像来进行特征匹配的另选方法。
【具体实施方式】
[0109]图1a示出了操作员100利用根据本发明的地面激光扫描仪I来测量物体10。利用这种测量生成点云，所述点云表示物体10的表面，并且覆盖物体10的这些部分，这些部分可以根据激光扫描仪I的相对位置和从扫描仪I至物体10的相应视线来测量(S卩，可见)。地面扫描仪器I使能在很短时间以极高精度获取数百万个点。
[0110]如可以在图1a中看到的，障碍物15(这里:树)位于激光扫描仪I与要测量的物体10之间。因此，到物体10的视线不是针对物体10的整个前表面而给出的。树15制造了针对扫描测量和针对物体10的要捕捉的图像的扫描阴影15a。换句话说，利用激光扫描仪I生成的物体10的点云包括具有与物体10无关的点的区域，或者包括没有点的区域(取决于测量条件)。物体数据的这种间隙还随着利用激光扫描仪I 一侧的像机拍摄物体的图像而显现。
[0111]而且，初始坐标系由激光扫描仪I限定，S卩，在该初始系统中自动参照该点云和利用扫描仪I捕捉的图像。
[0112]根据本发明的一个方面，通过生成与物体10有关的另一些测量点的进一步3D位置信息，在测量处理期间扩展由激光扫描仪I生成的点云。通过附加使用(对于激光扫描仪I来说，附加的)分离且移动的图像捕捉单元20(例如，移动数字像机或移动(智能)电话)来收集这种进一步的位置数据。
[0113]图1b示出了操作员100手持这种图像捕捉单元20并且在执行完扫描和捕捉之后捕捉物体10的一部分的至少一个图像，例如，覆盖物体10的多个部分的全景图像。另一激光扫描仪I生成的数据提供进一步的3D数据获取的基础(参照)。
[0114]基于所测量的扫描仪点云，使得操作员100能够确定与物体10有关的、可能没有如所需地被点云覆盖的一个或更多个区域。结果，操作员100使用移动图像捕捉单元20来捕捉图像，移动图像捕捉单元20成像至少一个识别的关注区域，并且另外包括被已利用激光扫描仪I拍摄的图像或被在获取扫描仪点云的过程期间从测量的强度值导出的图像所覆盖的区域(物体1)的一部分。
[0115]根据本发明，在使用激光扫描仪I和图像捕捉单元20执行测量的同时执行SfM(从运动恢复结构)或SLAM(即时定位与地图构建(Simul taneous Localisat1n andMapping))算法，其中，来自激光扫描仪I和图像捕捉单元20二者的图像数据(捕捉或处理的图像)(特别是涉及一系列图像)被相互地处理。在执行该算法时，利用扫描仪拍摄的图像和利用捕捉单元20拍摄的至少一个图像(优选为至少两个图像)被处理，使得基于这些图像识别一组图像点，其中，所述图像点表示参照点场的参照点，并且各个参照点都出现在所述两个图像中。因此，识别出相似点。而且，利用所述参照点，基于后方交会法，关于扫描仪坐标系来确定利用图像捕捉单元20捕捉的至少一个图像的姿势，该姿势表示图像捕捉单元20为了所捕捉的图像与激光扫描仪I相对的位置和取向。
[0116]参照点的位置从激光扫描仪I的测量获知，S卩，所述位置由扫描点云给出。
[0117]在下一步骤中，具体地，基于所述系列图像(这里:利用图像捕捉单元20捕捉的至少两个图像，姿势已经预先导出)和参照图像，通过应用前方交会法来导出新的3D点，新的3D点涉及物体10上的、激光扫描仪I不可见的区域。可以将这种附加位置信息添加至扫描点云，以便生成包括有关物体10的地形的更多和/或更精确信息的点云。
[0118]通过激光扫描仪I的测量功能与移动图像捕捉单元20的图像捕捉功能的这样组合，可以将图像捕捉单元20用于填充基于激光的点云(=利用激光扫描仪I生成的点云)中的间隙或隐藏区域，或者使能简单地扩展基于激光的点云。结果，创建包括基于激光和基于图像的3D点的新点云。所有这种3D点最初自动(由于图像的共同处理)登记到同一(扫描仪)坐标系中。
[0119]根据所使用的登记方法，基于图像的点云不需要与基于激光的点云具有交叠区，只要在对应的图像数据中存在交叠即可。
[0120]根据本发明的上述工作流程可以应用于室内和室外环境两者。
[0121]本发明在实践中可以用于生成从测量仪器不可见但可以利用像机并应用SFM或SLAM算法(特别是与根据本发明的稠密匹配算法(例如，SGM)组合地应用)测量的区域。
[0122]另选的是，本发明可以被用于详细的高分辨率扫描，例如，较小的关注物体可以从高分辨率地移动像机模块靠近关注的物体时利用像机模块获取的图像数据来重建。例如，利用测量仪器低分辨率地扫描整个房间(即，环境)，接着利用具有高分辨率的图像重建某些物体(比较图3a和图3b)。
[0123]在缺失物体上的纹理的情况下，可以使用静态投影仪将附加纹理图案投影在物体表面上(参见图4)。这帮助得到基于图像的3D重建的更好结果，特别是在重建全息或无纹理表面方面。
[0124]图2示出了根据本发明的与利用图1a的激光扫描仪设置扫描物体10的结果的第一点云11和由利用根据图1b的图像捕捉单元20收集的图像数据(特别是由一系列图像提供)并处理该数据(与来自扫描仪的图像一起)所获得的第二点云21。第二点云21至少覆盖该物体的区域11a，区域Ila未被第一点云11覆盖或者未被正确覆盖。通过利用SfM或SLAM算法处理图像数据并且另外应用根据本发明的稠密匹配算法(其使能利用至少两个图像实现前方交会法)，导出新的点云31，点云31包括来自第一点云11和来自第二点云21两者的数据，并由此提供有关该物体的所有关注部分的完整地形信息。
[0125]图3a和图3b示出了根据本发明的实施方式的对物体1a的测量，其中，利用激光扫描仪I和移动像机单元20在室内执行该测量。生成该房间的和物体1a的一部分的(参照扫描仪I的视野、与物体1a有关的部分，S卩，该部分从扫描仪的姿势可见)扫描仪点云12和至少覆盖该房间的墙壁的和/或物体10的一部分的对应图像。在随后的步骤中，操作员在围绕物体1a移动的同时拍摄一系列图像，基本上每个图像都覆盖物体1a的一部分。在捕捉该系列图像的同时执行根据本发明的算法，其中，该系列图像中的至少一个图像被与扫描仪图像一起处理以识别图像中的与捕捉的周围中的相同点有关的点。即，两个图像中的相应相同点可位于物体1a上或房间的墙壁上。
[0126]基于所确定的相同点，利用后方交会法计算相应像机图像的姿势，其中，为了计算这些姿势，不是必须考虑位于物体1a上的必要点，而是必须获知相应(参照)点的位置，例如，根据扫描点云或者根据先前执行的前方交会法，以生成附加(对于扫描点云来说)3D位置信息。在下一步骤中，基于相应的像机图像的计算出的姿势(和激光扫描仪I的参照图像的已知姿势)，利用像机图像，通过前方交会法导出有关物体1a的至少一部分的点(被像机图像覆盖，但未被扫描仪点云覆盖)的3D位置的信息。通过将所导出的位置信息添加至扫描点云并由此扩展点云数据来实现扫描点云。
[0127]针对通过移动像机20拍摄的该系列图像中的每一个图像执行这种处理，特别是其中，基于像机图像数据导出表示物体20的点云13。为了处理连续的图像，不必要必须还考虑扫描仪的图像信息。
[0128]利用通过图像捕捉单元捕捉的两个图像的姿势信息，可以导出进一步的参照点，那些进一步的参照点是与扫描区域不同的成像区域的部分。这些参照点的位置信息可以利用所述至少两个图像根据前方交会法获知。
[0129]另选的是，扫描仪点云通过添加至少利用一个像机图像导出的进一步3D点而变得稠密，或者扫描仪点云可以针对涉及物体1a的点来替换，由此以更高的准确度来提供物体的信息，这可以通过分别处理所捕捉的图像来达到(根据测量条件，例如，激光扫描仪I与物体1a之间的距离和该物体处的扫描仪点云的点至点分辨率)。
[0130]图4示出了本发明的另一实施方式，其中，利用图案投影仪40至少将图案41投影到要测量的物体上。图像捕捉单元20被用于捕捉该物体的图像，其中，该图案为收集具有改进的纹理信息的图像作准备。根据本发明，在图案投影和利用图像捕捉单元20捕捉图像之前，利用测量仪器(例如，利用全站仪或者多站(multi stat1n))扫描该物体，并且从该扫描显现的点云表示用于缩放利用所捕捉图像处理的数据的基础。而且，利用测量仪器拍摄的相应图像形成用于与一个或更多个捕捉的图像一起处理的参照图像。
[0131]图5a和图5b例示了如下根据本发明的实施方式的第一工作流程:
[0132]1、用户100利用测量仪器2(这里:全站仪2，例如，Leica Multi Stat1n 50)执行扫描。在全站仪2的显示器上示出了结果点云，并且使得用户100能够关于要测量的物体5识别点云的尺寸和尺度，和/或该点云中的间隙的位置。该点云至少表示物体5的表面的、从测量位置可见的第一部分5a。
[0133]2、生成物体5的概览图像，例如，利用全站仪2的概览像机拍摄的单个图像或者被组合成图像拼接的一组图像。图像和点云被发送至处理单元4。处理单元在此由具有用于接收和发送数据的通信装置的移动外部单元(例如，集成到测量仪器的手提箱中)提供。另选地，(在此未示出)处理单元可以通过测量仪器2或移动像机模块4提供。
[0134]3、用户100根据物体表面的需要另外覆盖的区域(例如，考虑点云中的间隙)，通过围绕物体5(图5b)移动像机模块20(例如，智能电话)来获取图像数据(对应于第一组图像)。该图像数据应当至少部分地覆盖物体5的、未被覆盖的区域5b(S卩，测量仪器2不可见的区域)，而且还覆盖邻近区域(即，该区域的同样被测量仪器覆盖的某些部分)或者物体5的背景中的区域。将所述获取数据发送至处理单元4。
[0135]4、从利用测量仪器2获取的图像数据和点云(和利用移动像机单元20捕捉的图像数据)生成点云。所述图像(即，像机单元20的图像)和来自测量仪器2的图像的姿势基于从运动恢复结构SfM或SLAM算法来确定(从利用测量仪器2捕捉的图像开始，并由此向测量坐标系提供参照)。
[0136]5、在测量仪器2的图像中检测到的点特征的3D坐标从利用测量仪器2生成的点云(基于激光的点云)导出。为了检测该组图像中的点特征(表示参照点场的参照点的图像点)，可以应用特征匹配算法，例如，SIFT、SURF等。从扫描数据导出对应的3d信息并且在从运动恢复结构SfM或SLAM算法中引入这些点作为“地面控制点”，来自移动像机单元4的图像的姿势在由测量仪器2限定的坐标系中被确定(参见图7)。
[0137]6、而且，还可选的是，可以应用稠密匹配算法，这导致在测量仪器2的坐标系中给出的稠密的点云。
[0138]图6例示了如下根据本发明另一实施方式的另选工作流程:
[0139]1、用户围绕物体5放置三个或更多个标记6a_c。标记6a_c可以利用独特ID来编码，这使能向每一个标记6a_c指配单独的ID。
[0140]2、利用测量仪器2(例如，全站仪或激光扫描仪)来测量标记6a_c的位置，通过标记上的无反射器测量或利用测量杆或通过扫描。这种扫描可以通过用户人工执行，或者可以是自动化处理的一部分(自动搜索标记)。
[0141]3、用户利用测量仪器2执行物体5的扫描。在显示器上示出了结果点云，并且该点云使用户能够确定点云的关于要测量的物体5的尺寸和尺度，和/或该点云中的间隙的位置。该点云至少表示物体5的表面的、从测量位置可见的第一部分5a。测量仪器2的控制在控制单元22—侧执行，控制单元22还提供移动像机单元并且特别是处理单元。
[0142]4、用户根据物体表面的另外要覆盖的区域(例如，考虑点云中的间隙)，通过围绕物体5移动像机单元(S卩，具有相应像机的控制单元22)来获取图像数据。该图像数据应当至少部分地覆盖物体5的、未被覆盖的区域5b(S卩，测量仪器2不可见的区域，如点云中的间隙)，而且覆盖邻近区域或物体的背景中的区域。而且，该图像应当包含至少三个或更多个标记6a_c。将所述获取数据发送至处理单元。
[0143]5、借助于图像处理自动地或者通过用户100人工地在来自像机单元的图像中检测标记6a_c ο
[0144]6、从利用测量仪器2获取的图像数据和点云和利用控制单元22捕捉的图像数据，生成点云。所述图像(即，控制单元22的图像)和来自测量仪器2的图像的姿势基于从运动恢复结构SfM或SLAM算法来确定。标记6a-c的位置可以被引入为“地面控制点”(参照点场的参照点)。
[0145]7、而且，还可选的是，可以应用稠密匹配算法，这导致在测量仪器2的坐标系中给出的稠密的点云。
[0146]图7示出了根据本发明的点云生成原理，其中，在测量仪器一侧捕捉物体5(例如，与图5a、图5b、图6之一的类似的料堆)的图像51而开始。
[0147]接下来，利用移动图像捕捉装置(例如，数字像机、用于测量仪器的控制器或智能电话)来捕捉图像52a和52b，作为第一系列图像的前两个图像。图像52a和52b覆盖物体5的一部分，其还出现在利用测量仪器拍摄的图像51中。由于执行SLAM或SfM算法，因而在三个图像51、52a和52b中识别出第一组图像点，这些点表示参照点场的参照点53b-d。由于这些点的附加位置信息已经通过测量仪器获得，因而这些第一参照点还被已知为所谓的“地面控制点”。
[0148]测量仪器根据其用于捕捉图像51(=测量图像51的已知姿势)的位置及其取向限定坐标系。
[0149]利用所识别的参照点和后方交会法的几何原理，计算图像52a和52b的姿势。计算该姿势，使得与所限定的测量坐标系有关地获知其位置和取向。具体来说，对于这种计算来说，针对利用图像捕捉装置捕捉的每一个图像52a确定投影中心52a’。对于测量仪器的图像来说，已经获知姿势51’。
[0150]该姿势计算可以基于三个公共的参照点53b_d，或者可以利用点53a_c针对图像52a和利用点53b-d针对图像52b来进行。所有这些点53a-d的位置信息由测量仪器提供。直至该阶段使用的所有参照点都位于物体5上。
[0151]在确定了图像52a_b的姿势之后，利用那些图像52a_b执行前方交会法，以便导出物体5上的点的进一步位置信息。据此，可以确定点54a的3D位置。该点54a可以用作附加参照点。
[0152]接着，该处理可以通过捕捉第二系列图像中的下一图像52c_h并利用附加地基于图像的导出参照点(未示出)计算它们的姿势来继续，其中，附加的新点的进一步位置信息例如由物体上的点和/或背景(周围)中的点(55a_b)导出。例如，点55a的坐标可以利用图像52e和52f通过前方交会法来确定，其中，点55a接着可被用作用于计算图像52g的姿势的另一参照点。
[0153]计算图像的姿势可以不仅基于利用具有已知姿势的一个或更多个图像，而可以利用所捕捉的图像(及其姿势)的组合来执行。
[0154]在捕捉一些图像(未覆盖物体5的、已被扫描点云(及其相应图像)覆盖的那些部分)期间计算的位置数据的总体补偿至少在最近捕捉的图像(再次)覆盖物体的、已被激光扫描仪覆盖(“闭合图像的圆圈”)的区域时执行。
[0155]从图像52a_c(覆盖至少一个地面控制点53b_d)，通过前方交会法计算新的参照点54a-c的位置数据。该处理可引入某些误差。下一图像52d的姿势基于那些计算出的(基于图像)的参照点54a_c通过后方交会法来计算，结果也包括某些误差。总之，在随后计算出的姿势的所导出的姿势中引入了某些附加误差。对于新的参照点的前方交会法来说，同样向前传播该姿势的误差。
[0156]到该循环结束(“闭合图像圆圈”)时，为了计算图像52g和52h的姿势，再一次使用地面控制点52a、b、d( =参照点)。由于那些点是利用测量仪器测量的，因而那些点提供更精确的位置信息(没有处理误差)。因此，利用SLAM或SfM算法使用那些点52a、b、d为缩减和/或补偿传播位置误差作准备。
[0157]不仅基于来自测量仪器的数据而且基于由图像捕捉单元提供的图像数据(图像52a_h)的新的或附加的点云特别是利用由相应图像提供的图像数据的前方交会法来继续计算或扩展。由此，通过将图像数据连续添加至SLAM或SfM算法并且相应考虑用于处理的这种数据，迭代地生成整个物体5的点云。特别地，有关图像52a-h的系列(除了测量仪器的图像51以外)覆盖关注物体5的所有区域。
[0158]在所收集的数据上应用束调节(特别是同样连续地)为用于参照点的高度准确的位置数据而且为用于所生成的点云的3D位置作准备。由此，提供所计算出的位置数据的补偿。而且，根据最终的束调节，通过测量仪器收集的参照点被引入为“地面控制点”。这种地面控制点构建束调节的基础，并且被视为关于它们的位置是正确的(没有显著误差)，并由此不调整它们的位置。另选的是，考虑地面控制点的某些较小位置误差，例如，5_的可能误差。这种不确定性可以被引入为束调节中的加权，其可以导致这些点的位置的较小调整。而且，与基于图像的点的误差有关的相应加权同样可以引入，例如，半像素的可能误差，其中，接受在该限制内的那些点的位置调整。所谓“连接点(tie points)”(=参照点，位置在利用图像的前方交会法的基础上确定(例如，点54a_c))的位置借助于这种束调节来校正。
[0159]下面，参照与利用测量仪器生成的数据(例如，激光扫描仪或全站仪)相对地登记利用移动图像捕捉单元收集的数据方面，对于登记来说，必须确定七个参数(三个平移、三个旋转以及一个缩放)，所述参数相对于基于激光的点云(利用测量仪器生成)来限定基于图像的点云(利用来自所捕捉的系列图像的数据生成)的相对姿势。这可以明确地或隐含地来执行(按照根据本发明的上述工作流程之一)，其中，来自测量仪器的参照数据已在从运动恢复结构或SLAM算法中引入。
[0160]涉及测量仪器的坐标系被视为参照系。用于登记的输入可以是一个或更多个基于激光的点云、来自图像捕捉单元的图像数据、来自测量仪器的图像数据或标记测量等。
[0161]在根据本发明的方法中，该点云从一开始直接在测量仪器的坐标系中生成。基于图像的位置数据的附加登记步骤由此是不必要的。另外，由于位置数据可用于扫描仪点云，而且由于该信息在SfM或SLAM算法内处理，因而点坐标的结果姿势具有正确位置和/或已经缩放。
[0162]关于参照点的识别，(自动)识别这种参照点(例如，“地面控制点”或“连接点”，其如上所述接着被用于SfM或SLAM算法中)可以执行如下:
[0163]基于标记的识别:
[0164]用户在周围(例如，围绕物体)放置三个或更多个标记。所述标记的位置利用测量仪器来测量，通过标记上的无反射器测量或利用测量杆或通过扫描。另选的是，这些标记可以通过仪器像机来观察，被像机自动检测并且被激光扫描仪自动测量。该方法提高了自动化水平。
[0165]这些标记利用激光扫描仪或全站仪来扫描，而且每一个标记应当至少在来自移动像机单元的一个图像或视频帧上可见。这种编码标记在基于激光的点云或全景图像中和在来自移动像机单元的图像中被自动(优选)地检测(另选地，人工地检测)。由此，在两个图像中识别对应标记。基于参照图像中的图像点的坐标和扫描数据，导出3d坐标。这些3d坐标被引入为用于移动像机图像中的对应图像点的参照点(地面控制点)，并且被用于其姿势的后方交会法。
[0166]基于图像的识别:
[0167]该识别任务可通过利用特征点检测器和描述符(例如，SIFT、SURF等)寻找图像上的一组公共点来解决。至少两个图像中的至少三个点应在所捕捉的周围中具有对应3D点。
[0168]参照图8，第一组图像61a_d表示利用测量仪器捕捉的图像，例如，来自立方图的四个图像，其中，图像61 c示出了对应于图1 a的物体1与障碍物15 (树)一起。第二组图像62a-d对应于来自移动像机单元的图像序列62a_d，每个图像都至少部分地示出了物体15(没有树15，以便完成点云)。
[0169]利用基于图像的自动登记方法，在图像61c和图像62a_d中的一个或更多个中识别出相似点63(例如，通过特征匹配)(这里示例性地示出基于图像62b的特征匹配)。据此，可以确定参照点(地面控制点和/或连接点)。
[0170]人工识别:
[0171]这里，至少两个图像中的三个或更多个公共点被人工地选择，例如通过显示所述图像并且使用户能够挑选对应点。由此，用户可以在来自像机单元和测量仪器的图像中挑选对应点。针对图像中的选择的点，从该点云导出对应的3D坐标。为避免错误挑选，被点云覆盖的区域可以被显示为叠加在图像上。
[0172]图9a和图9b示出了根据本发明的另一实施方式，其中，向用户提供了一种完整性检查。在利用移动像机单元20的图像获取期间，可以确定像机单元20相对于从测量仪器获取的点云的姿势，例如基于特征匹配技术或者标记6a、6b的检测。这使得基于激光的点云或缺失部分能够显示为移动像机单元20(这里:智能电话)的显示器20’上的实时图像中的交叠16。这帮助用户识别缺失部分16，并且指导他们例如填充相应的间隙16，S卩，捕捉提供用于扩展或完成测量点云的图像数据的图像。
[0173]而且，由于基于图像的点云特别是实时生成的，因而该点云还可以显示在像机单元上以指导用户。由此，向用户提供物体10及其部分的实时显示，所述部分已被点云数据覆盖(尚未覆盖)。
[0174]根据本发明的另一方面涉及如图1Oa和图1Ob所示的不同种类的位置数据的合并。
[0175]基于图像的位置数据21和基于激光的位置数据11可以具有不同质量，S卩，这些点的3D坐标的准确度可能不同。根据本发明的当前实施方式，在基于激光的位置数据与基于图像的位置数据的合并方面考虑了这个方面。关于存在具有例如利用测量仪器获取的较高质量的点(基于激光的)和例如利用像机单元获取的低质量点(基于图像的)的交叠区域24，应用基于点质量的筛选。例如，在交叠区域24中，可以擦除低质量的点，而保持较高质量的点。在图1Ob中，示出了组合的点云，其中，关于交叠区域24，仅存在来自测量仪器的较高质量的点(与点云11相对应的点云数据)。
[0176]图11示出了根据本发明的显示点云质量的另选方式。这里，针对物体的不同区域23a_d，不同点云质量可用。根据给定的测量条件，要达到针对所生成点云的期望准确度。例如，存在其中20_的准确度就足够的区域，在其它区域中，需要至少5_的准确度。质量的可视化(例如，颜色编码)帮助用户决定是否得到针对特定区域的所需质量，或者是否必须进行某一附加操作以实现所需质量，例如附加扫描或捕捉更多图像。这里:区域23a的点至点准确度为5mm、区域23b的点至点准确度为20mm、区域23c的点至点准确度为15mm，而区域23d的点至点准确度为I Omm。
[0177]图12示出了根据本发明的另一实施方式和用于生成点云的相应方法。
[0178]在该背景下，识别来自测量仪器51的图像和来自像机的前两个图像52a_b(属于第一系列图像)中的相似点R1_R3(例如，通过特征匹配)。执行对这些图像52a_b的姿势的计算(通过包括从测量仪器的测量导出的点R1-R3的3d坐标)。
[0179]接着，基于图像52a_b，通过前方交会法来计算点S1-S3的3d坐标。在此基础上，计算基于点S1-S3的第三图像52c(属于第二系列图像)的姿势。如果另一图像52d(也属于第二系列图像)将包含点R1-R3或T中的任一个，而且该点也将被用于其姿势确定。由此，图像52d的姿势基于点S2、S3以及T来确定。
[0180]最后，计算束调节，其中，优化了图像52a_d的姿势和点S1-S3的3d坐标。点R1-R3和T作为地面控制点被包括在束调节中。
[0181]而且，可以将稠密匹配应用于至少部分地覆盖扫描阴影30的图像(例如，图像52a-d)，以得到该区域的点云。
[0182]图13示出了用于基于两组图像来进行纯特征匹配的另选方法，一组图像由激光扫描仪I捕捉，并且另一组图像由像机20捕捉，该方法可以利用激光扫描仪I本身作为特征生成器来实现。更确切地，提出在投影模式中使用激光扫描仪I，其中，其根据特定图案60(例如，像棋盘的静止图案)通过同步旋转并触发其瞄准激光系统，生成特定图案60。该图案本身可以是任意的，例如，编码标记，单个点、交叉线以及其生成。特别地，该生成不限于上述过程(旋转和触发激光束)，如其还可以投影利用公知的固定图案/利用模板(不需要旋转扫描仪)生成的几何形状补充的单一测量点。
[0183]所提出的策略在这样的情况有用，S卩，场景/环境没有提供像机系统20可按稳定方式跟踪的特征点，例如，平坦的同源表面。主要优点在于，不需要在两个系统(扫描仪I和像机20)的图像/点云中而仅在像机图像20中搜索特征，因为所投影的特征点在扫描仪坐标系统中已经获知(特别是被标注)，并且高度准确地参照。
[0184]可能的工作流程可以如下:首先，通过利用激光扫描仪I进行扫描来捕捉场景。当完成该任务时，激光扫描仪I被切换到投影模式，并且将图案投影到表面上(在已经扫描区域中不必要)。第二，将移动像机20用于执行另一区域(例如，与第一扫描区域不相交)的附加扫描，使得在记录期间，激光扫描仪I的投影图案60在像机图像中至少被看到一次。最后，自动(优选)或人工地检测图案60的所有特征点，可以确定在扫描仪坐标系中参照的、像机20的绝对取向和位置。具体来说，可以将高级算法用于最准确和可靠的特征检测，例如，基于颜色和/或基于模板的检测。
[0185]另选或另外地，代替在物体或场景周围中使用标记来扫描，提出使用扫描仪外壳本身来定位标记(未示出)。此外，该提议的优点是获知相对于激光扫描仪的坐标系在标记上跟踪的明确定义的锚点(特征点)，因为标记的位置和取向可以在工厂预先校准。该工作流程类似于一个上述的工作流程，其中，用户在利用移动像机的第二扫描期间必须确保该扫描仪外壳在记录图像中被至少看到一次。利用针对标记的自动(优选)或人工检测算法，获知像机关于激光扫描仪的坐标系的位置和取向，并且随后可以容易地合并所生成的点云(扫描仪和摄像机)。
[0186]尽管上面部分参照一些【具体实施方式】地例示了本发明，但必须理解，可以做出这些实施方式的不同特征的许多变型例和组合，并且这些不同特征可以与根据现有技术已知的测量原理和/或测量仪器相组合。
【主权项】
1.一种用于利用特别是激光扫描仪或全站仪的大地测量仪器(1、2)和图像捕捉单元(20、22)来提供特别是物体(5、10、1a)的3D点云(11、21、31、12、13)的方法，该方法包括以下步骤: ?根据限定的扫描区域(5、10、10&)，利用所述大地测量仪器(1、2)对周围环境进行扫描，并且参照由所述大地测量仪器(1、2)限定的测量坐标系来生成与所述扫描区域相对应的扫描点云(5a、ll、12)， ?在所述测量仪器(1、2)侧生成覆盖与所述扫描区域至少基本对应的区域的第一图像(51、61&-(1)，所述第一图像(51、61&-(1)表示参照图像，由于所述大地测量仪器(1、2)的、用于获取所述第一图像(51、61a-d)所基于的数据的位置和取向，参照所述测量坐标系而获知所述参照图像的姿势， ?利用所述图像捕捉单元(20、22)捕捉第一系列的至少两个图像(52a-c、52g-h、62a-d)，所述第一系列的至少两个图像(52a-c、52g-h、62a-d)具有相应的姿势并且部分地覆盖所述扫描区域以及成像区域，以及 ?应用从运动恢复结构(SfM)或SLAM算法，其至少包括: □基于所述参照图像(51、61a-d)并且基于所述第一系列的至少两个图像(52a-c、52g-h、62a-d)，识别第一组图像点(53a-d、Rl-R3、63)，所述第一组图像点(53a-d、Rl-R3、63)表示参照点场的第一组参照点(53a-d、Rl-R3、63)，其中，所述第一组参照点(53a_d、Rl-R3)中的每一个参照点都出现在所述参照图像(51、61a-d)中和所述第一系列的至少两个图像(52a-c、52g-h、62a-d)中的至少一个图像中，并且关于所述第一组参照点(53a-d、Rl-R3)中的参照点的位置信息由所述扫描点云(5a、ll、12)提供，以及 □利用所述第一组参照点(53a-d、Rl-R3)以及所述位置信息，特别是基于后方交会法，参照所述测量坐标系来确定用于所述第一系列的至少两个图像(52a-c、52g-h、62a-d)中的图像的姿势，所述姿势表示在捕捉所述第一系列的至少两个图像(52a-c、52g-h、62a-d)中的图像时，所述图像捕捉单元(20、22)相对于所述大地测量仪器(1、2)的相应位置和取向。2.根据权利要求1所述的方法， 其特征在于: 基于用于所述第一系列的至少两个图像(52&-0、528-11、623-(1)中的图像的姿势，特别是通过前方交会法来确定成像区域中的第二组参照点(54a-c、55a-b、Sl-S3)，其中， ?所述成像区域与所述扫描区域不同，并且 ?导出关于所述第二组参照点(54a-c、55a-b、S1-S3)中的至少一个参照点的3D位置的位置信息，所述位置信息被参照到所述测量坐标系， 特别是其中，通过将所导出的3D位置信息添加至所述扫描点云(5a、ll、12)来实现所述扫描点云(5a、11、12)。3.根据权利要求2所述的方法， 其特征在于: ?利用所述图像捕捉单元(20、22)捕捉第二系列的至少一个图像(52c-f)，其中，所述第二系列中的所述至少一个图像至少部分地覆盖所述第二组参照点(54a-c、55a-b、Sl-S3)和/或覆盖所述第一组参照点(53a-d、Rl-R3、63)中的至少一个参照点， ?利用所述第一组参照点(53a-d、R1-R3、63)和/或所述第二组参照点(54a_c、55a_b、S1-S3)中的、被所述第二系列中的所述至少一个图像(52c-f)覆盖的至少三个参照点并且利用相应的位置信息，特别是基于后方交会法，参照所述测量坐标系来确定用于所述第二系列中的所述至少一个图像(52c-f)的姿势。4.根据权利要求3所述的方法， 其特征在于: 单独利用所述第二组参照点(54a-c、55a-b、Sl-S3)中的参照点，参照所述测量坐标系来确定用于所述第二系列中的所述至少一个图像(52c-f)的姿势。5.根据权利要求3或4所述的方法， 其特征在于， 所述第二系列的至少一个图像(52c-f)中的至少一个图像部分地覆盖所述扫描区域，其中，基于所述参照图像(51、61a-d)以及所述第二系列的至少一个图像(52c-f)中的所述至少一个图像来确定另一参照点(T)。6.根据权利要求3至5中任一项所述的方法， 其特征在于: 基于所述第一系列的至少两个图像(52a-c、52g-h、62a-d)中的图像的姿势和所述第二系列的至少一个图像(52c-f)中的图像的姿势以及所述第一组参照点(53a-d、Rl-R3、63)和所述第二组参照点(54a-c、55a-b、Sl-S3)、特别是所述另一参照点(T)和/或所述扫描点云数据，应用束调节过程。7.根据权利要求1至6中任一项所述的方法， 其特征在于: 基于利用所述图像捕捉单元(20、22)捕捉的图像(51、52a-h、62a-d)中的至少两个图像的姿势，特别是通过前方交会法，针对所述成像区域的至少一部分，特别是通过应用稠密匹配算法，来计算图像点云(513、13、21)，所述图像点云(513、13、21)至少包括根据特别是所述物体(5、1、I Oa)的所捕捉的至少两个图像(51、61 a-d、5 2a-h、6 2a-d)的相应公共覆盖区域的3D位置信息并且关于所述测量坐标系被参照。8.根据权利要求1至7中任一项所述的方法， 其特征在于: 基于扫描点云数据来补偿随着计算所述3D位置信息或图像的姿势而出现的位置误差，特别是其中，针对由利用所述图像捕捉单元(20、22)连续捕捉的图像(52a-h、62a-d)提供的每一个连续图像数据执行所述补偿。9.根据权利要求7或8所述的方法， 其特征在于， 生成关于所述扫描点云(5a、ll、12)中的点的位置准确度和所述图像点云(5b、13、21)中的点的位置准确度的质量信息。10.根据权利要求9所述的方法， 其特征在于， 所述质量信息显示在图像中，其中，表示所述扫描点云(5a、ll、12)的第一区域覆盖有第一标记，并且表示所述图像点云(5b、13、21)的第二区域覆盖有第二标记，所述标记特别是通过不同颜色的区域来表示，特别是其中， ?被所述扫描点云和所述图像点云两者覆盖的区域(24)覆盖有第三标记，或者?被所述扫描点云和所述图像点云两者覆盖的所述区域(24)中的点被筛选，使得仅所述扫描点云(5a、ll、12)中的点或者仅所述图像点云(5b、13、21)中的点被提供，特别是其中，所述筛选由操作员(100)的输入引起。11.根据权利要求1至10中任一项所述的方法， 其特征在于， 所述大地测量仪器(1、2)和所述图像捕捉单元(20、22)在结构上彼此分立，特别是其中，所述图像捕捉单元被具体实施为移动数字像机或者由移动电话提供。12.根据权利要求1至11中任一项所述的方法， 其特征在于， 所述方法在测量处理期间直接且即刻地执行，特别是自动地执行，其中，数据处理，特别是关于从运动恢复结构(SfM)或SLAM算法的数据处理，在所述测量处理期间由处理单元执行，所述处理单元接收有关以下的数据?对所述周围环境的扫描， ?在所述大地测量仪器(1、2)侧生成所述第一图像(51、61a-d)，以及 ?利用所述图像捕捉单元(20、22)捕捉至少两个其它图像(52a-c、52g-h、62a-d)。13.根据权利要求1至12中任一项所述的方法， 其特征在于， 在所述图像捕捉单元(20、22)侧显示现场图像，所述现场图像将所述图像捕捉单元(20、22)的实际视野成像，其中，既被所述图像捕捉单元实际成像也被所述扫描点云(5a、11、12)覆盖或不覆盖的区域(16)在所述现场图像中被标记，特别是其中，所述物体的、被利用所述图像捕捉单元(20、22)捕捉的所述图像(51、5 2a-h、62a_d)中的一个图像覆盖的部分在所述现场图像中被标记。14.一种用于提供特别是要测量的物体(5、10、10a)的3D点云的系统，该系统包括 ?大地测量仪器(1、2)，特别是激光扫描仪或全站仪，该大地测量仪器具有 □支承结构，该支承结构安装在所述大地测量仪器(1、2)的基部上，使得所述支承结构能够围绕由所述基部限定的第一轴枢转， □用于生成测量射束的电磁辐射源， □用于引导所述测量射束的引导单元，所述引导单元设置在所述支承结构处，以提供所述引导单元围绕由所述支承结构限定的第二轴的枢转性，所述第二轴基本上垂直于所述第一轴， □扫描功能，该扫描功能用于按预定方式提供所述测量射束的引导和导向并对应地测量距离，其中，根据限定的扫描区域的周围环境能够被测量，并且其中，参照由所述大地测量仪器(1、2)限定的测量坐标系，能够基于所述周围环境产生扫描点云(5&、11、12)，以及□用于生成第一图像(51、61a-d)的图像生成功能，其中，与所述扫描区域至少基本对应的区域被覆盖，并且其中，所述第一图像表示参照图像(51、61a-d)，由于所述大地测量仪器(1、2)的、用于获取所述第一图像(51、61a-d)所基于的数据的位置和取向，参照所述测量坐标系而获知所述参照图像的姿势， ?图像捕捉单元(20、22)，该图像捕捉单元用于以相应姿势捕捉第一系列的至少两个图像(52&-(:、528-11、623-(1)，所述第一系列的至少两个图像(523-(3、528-11、623-(1)能够被捕捉为使得部分地覆盖所述扫描区域，所述图像捕捉单元(20、22)在结构上与所述大地测量仪器(1、2)分立，以及 ?控制与处理单元(4)，该控制与处理单元用于接收和处理来自所述大地测量仪器(1、2)和所述图像捕捉单元(20、22)的数据， 其特征在于， 所述控制与处理单元(4)提供从运动恢复结构(SfM)或SLAM算法，所述SfM或SLAM算法至少通过提供以下步骤的执行来限定: ?基于所述参照图像(51、61a_d)和所述第一系列的至少两个图像(SSa-cdSg-hdSa-cl )，识别第一组图像点(53a-d、R1-R3、63)，所述第一组图像点(53a_d、R1-R3、63)表示参照点场的第一组参照点(53a-d)，其中，所述第一组参照点(53a-d、Rl-R3)中的每一个参照点都出现在所述参照图像(51、6 la-d)中和所述第一系列的至少两个图像(52a-c、52g_h、62a-d)中的至少一个图像中，并且关于所述第一组参照点(53a-d、Rl-R3)的位置信息由所述扫描点云(5a、11、12)提供，并且 ?利用所述第一组参照点(53a-d、Rl-R3)和所述位置信息，特别是基于后方交会法，参照所述测量坐标系来确定用于所述第一系列的至少两个图像(52a-c、52g-h、62a_d)中的图像的姿势，所述姿势表示在捕捉所述第一系列的至少两个图像(52a-c、52g-h、62a-d)中的图像时，所述图像捕捉单元(20、22)的、相对于所述大地测量仪器(1、2)的位置和取向。15.—种具有计算机可执行指令的计算机程序产品，该计算机可执行指令被实现以特别是在运行于根据权利要求14所述的系统的控制与处理单元(4)上时基于?接收扫描点云， ?接收参照图像，以及 ?接收所述第一系列的至少两个图像中的至少两个图像来执行根据权利要求1至13中任一项所述的方法的从运动恢复结构(SfM)或SLAM算法。
【文档编号】G01C15/00GK106066173SQ201610247861
【公开日】2016年11月2日
【申请日】2016年4月20日 公开号201610247861.9, CN 106066173 A, CN 106066173A, CN 201610247861, CN-A-106066173, CN106066173 A, CN106066173A, CN201610247861, CN201610247861.9
【发明人】伯恩哈德·麦茨勒, A·韦利赫夫, T·菲德勒
【申请人】赫克斯冈技术中心