限定扫描区域的基于图像的方法与流程

本发明涉及根据权利要求1所述的利用光电测量装置来限定用于扫描的扫描区域(scanning area)的方法。

背景技术：

1、已知多种形式的具有扫描功能的光电测量装置，利用所述光电测量装置基于诸如激光的光学辐射来确定位置。示例是大地测量装置，诸如被用于测量和/或生成表面的3d坐标的全站仪或大地测量或计量激光扫描器(诸如leica p20或leica multistation 50、激光跟踪仪、或轮廓仪)、或者用于大地测量或工业测量目的的激光扫描器。3d扫描是在几分钟或几秒钟内生成对象的数百万空间测量点的非常有效的技术。典型的计量测量任务是记录诸如船舶、汽车或飞机的对象或其特定关注区域(比如齿轮、机翼或翼片)、或者诸如工业厂房、房屋外立面、或历史建筑物的对象或其细节，但也记录事故地点和犯罪现场。为此目的，它们必须能够在表面上引导测距装置的测量射束，并且同时获取与测量点有关的方向和距离。借助于数据处理，针对各个点，从距离和与其相关的方向信息生成所谓的3d点云。

2、为此目的，这种测量装置具有生成光学测量辐射(通常是激光辐射(由此，这种测量通常被概括为激光扫描))的至少一个辐射源和光学装置(诸如透镜、棱镜、反射镜、导光纤维、或准直器)，借助于此，所生成的测量辐射可以在自由空间中被发射到待测量目标上，因此，这些装置也被称为所谓的自由射束传感器。在这种情况下，光学测量辐射被理解为电磁辐射，不仅指可见光谱范围内的辐射，而且还指紫外、红外以及太赫兹范围内的辐射。已知光电测量装置使用具有405nm、532nm、635nm、650nm-690nm、780nm或785nm、795nm、808nm-850nm、905nm、980nm、1064nm，或者1500nm与1570nm之间的波长的测量辐射。

3、而且，这种装置具有射束偏转单元，借助于该射束偏转单元，测量辐射可以围绕至少一个轴线(通常为彼此垂直对准的两个轴线，例如，竖直轴线和水平轴线)枢转。射束偏转器可以采用移动反射镜的形式来实现，或者另选地还通过适于控制光学辐射的角度偏转的其它部件(例如，可旋转棱镜、可移动光导管、可变形光学组件、可移动照准仪以及望远镜等)来实现。

4、待测量目标例如是对象的表面的多个点。被照射目标以漫射或定向方式反射测量辐射，使得所述测量辐射的至少一部分被反射回测量装置。该测量装置具有光电传感器(其被设计为至少时间分辨检测测量辐射)，例如，apd二极管、spad阵列、或spad阵列的阵列。所希望测量的变量是基于所检测到的测量辐射来确定的。各种测量原理可用于该目的，例如，干涉测量或运行时间测量(飞行时间，tof)，其确定单独激光脉冲的运行时间，并由此确定(利用光速的知识)离目标对象的距离。

5、测量某一点或区域至少包括确定距所述点或者距所述区域中的一个或更多个点的距离。特别地，该测量包括在测量装置的参考坐标系中确定所述点或者所述区域中的多个点的三维(3d)坐标。

6、通过扫描，目标对象或目标区域的多个表面点是通过枢转来连续采样的，由此，例如，生成3d信息项，特别是关于作为整体的对象和/或扫描区域的3d点云。测量通常是在确定距离和角度的情况下来执行的，即，以球坐标来执行的，其也可以被变换成笛卡尔坐标以用于显示和进一步处理。

7、对于快速且准确的扫描器，特别是需要短测量时间，同时具有高测量准确度，例如，在亚微秒到毫秒范围内的单独点的测量时间的毫米范围或更小的距离准确度。在这种情况下，空间测量分辨率具有特殊的重要性。其确定仍然可以识别哪些细节，而且还确定扫描过程的持续时间和在这种情况下产生的数据量。利用现代高速扫描器测量项目生成具有例如几亿或几十亿个对象点及以上的强度的3d点云。

8、特别是在具有相应较长的扫描持续时间和高数据量的这种高准确度扫描的情况下，高数据量导致较长的数据传递和处理时间，从而希望将扫描区域限制成主要仅覆盖对象或关注区域，并且尽可能地减少不必要的背景。

9、现今，在激光扫描中，由操作者通过在从测量对象捕获的图像上选择边界框来限定扫描区域。在许多情况下，该矩形只是较差地表示待扫描目标区域的形状，并且无意地扫描了许多背景点。

10、另选地，代替用于更精确选择的矩形，用户可以通过限定图像上的多边形来限定关注区域。然而，这需要手动选择表示正确形状的许多点，这会花费一些时间并且对于用户来说是麻烦的。

技术实现思路

1、因此，本发明的目的是提供一种用于限定基于激光的测量装置的扫描区域的改进方法。

2、另一目的是，提供这样一种方法，即，该方法允许关于关注区域收窄地限定扫描区域的方法。

3、另一目的是，提供这样一种方法，即，该方法基本上是自动化的。

4、这些目的中的至少一个目的是通过根据权利要求1所述的方法、根据权利要求14所述的装置和/或本发明的从属权利要求来实现的。

5、本发明的第一方面涉及一种基于图像的方法，该方法利用基于光电辐射(优选基于激光)的测量装置(例如，激光跟踪仪、扫描全站仪或激光扫描器)来通过扫描限定基于关注区域的扫描区域，该扫描区域用于大地测量和/或用于诸如计量测量的技术目的。所述(第一)关注区域具有相干视觉属性，举例来说，诸如均匀的颜色或均匀的图案或纹理的光学均匀性。在任何情况下，关注区域在视觉上都是相干的并且可从环境的其它部分辨别。

6、所述方法包括：捕获覆盖关注区域的(第一)图像，该(第一)图像具有与测量装置的瞄准轴线的已知取向或空间关系，并且被显示给用户。用户例如通过在所显示的图像上指出，来手动选择或标记该图像中的表示(第一)关注区域的(第一)像素组中的至少一个像素。

7、然后，使用机器学习算法，基于与所述至少一个所选像素的相似性，来自动地分割该像素组，由此，响应于用户的点选择/标记，可以可选地立即发起或开始自动选择。即，由于表示关注区域的其余像素或其它像素与由关注区域的视觉相干性给出的手动选择像素的相似性，因此，自动地选择或标识表示该关注区域的其余像素或其它像素。由此，像素相似性优选地涉及颜色和/或纹理以及相应地涉及颜色值，包括颜色梯度、饱和度和/或亮度。

8、基于被分割像素组中的边界或边缘像素来自动限定扫描区域。例如，将图像或边界像素的像素位置转换成用于瞄准轴线对准的(成对的)竖直外角和水平外角，这是通过到瞄准轴线的图像获取的已知取向来实现的。

9、作为选项，在捕获第一图像之前，将瞄准轴线朝向第一关注区域手动地粗略对准。另选地或者另外地，第一图像是在瞄准轴线正被自动地对准或取向的情况下在自动、特别是360°全景成像的过程中捕获的。

10、作为优选选项，使用嵌入矢量来确定所述像素相似性。例如，对于图像中的各个像素，计算嵌入矢量，该嵌入矢量将被映射到n维嵌入空间中。然后，使用聚类算法来对在嵌入空间中邻近的嵌入矢量进行聚类或分组，并且根据包括被标记像素的嵌入矢量的簇(cluster)来分割/选择相似的像素组。

11、作为另一示例，自动分割的步骤包括：对于第一图像中的各个像素，计算嵌入矢量；从被标记像素开始，连续地或接连地对邻近像素的嵌入矢量与初始或中心像素进行比较；只要/如果根据嵌入矢量的比较表明低于所定义阈值的差异，就将像素添加至所述像素组。当没有标识出具有低于所定义阈值的差异的嵌入矢量时，可以完成该像素组。

12、作为选项，扫描区域被限定成包括缓冲范围或缓冲区或者根据该缓冲范围或缓冲区来限定，所述缓冲范围或缓冲区延伸由所述像素组中的边界/边缘像素给出的范围。即，扫描区域保持或多或少地超出由所述像素组给出的限制，特别是为了确信没有关注区域中的区块(region)被遗漏或者包括与关注区域相关但视觉上不同的区块，例如，帧。

13、作为另一选项，通过在所述像素组周围添加像素带或像素范围/像素区，和/或通过将相应角度值或角度区间(interval)添加至从边界像素导出的用于瞄准轴线对准的外角，来建立缓冲范围。另选地或者另外地，缓冲范围取决于所述像素组的或其子组的属性，诸如大小、形状、位置、饱和度和/或亮度。即，缓冲范围可以根据图像内容而改变。

14、作为另一选项，在开始扫描过程之前，基于所选像素组的中心或尺寸，来将瞄准轴线对中至所限定的扫描区域。因此，如果瞄准轴线没有相对于所识别的关注区域最佳地对准，则可以在开始扫描之前更好地自动对准。作为另一选项，像素组中的边界像素是使用被拟合至该像素组的边界的几何形状(诸如多边形)来限定的。

15、在所述方法的进一步开发中，以及对于在第一图像中对具有与该第一关注区域相似的视觉属性并且与该第一关注区域在空间上分离的第二关注区域进行成像的情况来说，所述方法包括以下步骤：使用机器学习算法，基于与所述至少一个被标记像素的相似性，来自动地分割表示第二关注区域的第二像素组；以及基于第二像素组中的边界像素，来限定扫描区域或另一扫描区域。另外，关注区域不必是封闭的或连续的区域，而是可以在整个图像中以分离部分进行分割或分布的，并且仍然通过仅标记该关注区域的一部分被完全自动地扫描，而不必手动标记所有单个片段。

16、非常类似地，该原理不仅可以应用于一个图像或者更特别地应用于一个对象或关注区域或布点(stationing)，而且可以应用于多个图像或者多个对象或关注区域或布点。因此，可选地，存储与第一像素组相关的信息，特别是至少存储手动选择的像素的嵌入矢量；以相对于瞄准轴线的已知取向关系来捕获具有与第一关注区域相似的视觉属性的另一关注区域的第二图像，由此，第一图像和第二图像例如是从不同位置捕获的。然后，在无需手动选择另一图像中的像素的情况下，基于该另一图像和所存储的信息来限定另一扫描区域或第二扫描区域。

17、因此，视觉上相似的对象或关注区域可以以有针对性的方式被自动地扫描，并且只有一次必须在这些对象或关注区域中的一者的图像中标记一个点。例如，可以自动地扫描一系列工件，而仅必须在第一工件处进行用户输入。或者，仅在第一位置处标记因其大小(例如，机翼)或几何形状而必须从多个位置扫描的相干区块。

18、作为又一选项，扫描区域的限定是根据用户的手动输入选择的，使得在扫描区域中包括或排除被直接附着至关注区域和/或被关注区域包围的但具有不同视觉属性的区域。即，限定可以被选择成仅扫描相干关注区域，或者也包括由该扫描区域包围的区块或者直接处于该扫描区域的邻域的区块。因此，根据用户的选择，限定可以(仅)基于外边界像素以排除视觉上不同的区块，或者基于外边界像素和内边界像素以包括这些像素。例如，如果要扫描车轮并且选择黑色轮胎，那么可以将扫描区域选择成排除或包括银轮圈。

19、在第二方面，本发明涉及一种基于光电辐射的扫描测量装置，特别是计量和/或大地测量装置，该测量装置具有：瞄准轴线；摄像机，该摄像机具有与瞄准轴线的已知取向或空间关系；以及控制和评估单元。

20、控制和评估单元被配置成使用机器学习算法，基于与由用户在利用摄像机拍摄的关注区域的图像内选择的至少一个像素的相似性，来自动地分割该图像内的像素组；基于第一像素组中的边界像素，特别是通过限定用于瞄准轴线对准的成对的竖直外角和水平外角，来自动地限定扫描区域；以及自动地发起或执行对扫描区域的测量。

21、本发明的第三方面涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码被存储在机器可读介质上或者通过包括程序代码段的电磁波来具体实施，并且该计算机程序产品具有计算机可执行指令，该计算机可执行指令特别是在根据本发明的第二方面的测量装置的计算机单元上运行时，执行根据本发明的第一方面的方法。

22、本发明提供了这样的优点，即，可以以精细的有针对性的或者精确选择的方式来扫描相干视觉属性的关注区域，从而使用户的工作量最小。在进一步开发中，即使在关注区域被分区成在空间上分离的多个部分，或者存在具有在视觉上或在光学上限定的/可识别的相同类型的多于一个关注区域(例如，在汽车的一侧上的两个车轮)的情况下，这也是可行的。于是，自动地避免了不必要的扫描时间和扫描数据(不相关区域的时间和数据)，也减少了数据传递和处理的时间。

23、在进一步开发中，使得能够对相似的关注区域进行特定自动扫描，而不必标记这样的相似区域。例如，如果要扫描汽车的所有四个车轮，那么仅一侧上的一个车轮必须由用户通过指出该车轮的一个成像点来进行标记。不仅同一侧上的第二车轮然后被特定地扫描(无需扫描汽车的整个一侧，而是仅扫描两个车轮)，而且当转向另一侧上的另外两个车轮时，这些另外的车轮也被自动地标识为关注区域并且被特定地扫描，而不需要在图像中指向它们，因此不需要任何附加的用户输入。