用于记录检验数据的方法与流程

本发明涉及一种用于在比例绘图空间中记录环境的检验数据的方法以及用于执行该方法的检验系统。

背景技术：

1、现代社会依赖于建筑物，诸如房屋、办公楼、工业建筑、桥梁、街道、管道和线缆，这些建筑物需要维护并保持良好状况，以确保其内部和周围的人们的安全。为了及早检测到建筑物中的缺陷，执行检验。常规检验包括检验员在建筑物内或周围行走，并且例如通过肉眼和/或通过非破坏性测试(ndt)方法对其进行检验。检验的文档编制通常通过获取检验数据(例如，通过拍摄照片和/或ndt数据)来完成，并且手动地将它们与检验位置(即，获取检验数据的位置)相关联。理想地，文档编制包括在比例绘图中它们各自的检验位置所关联的检验数据，无论其是在平面图空间中(即，在建筑物的平面图的坐标系中，如果比例绘图是平面图的话)还是在地图空间中(即，在环境的地图的坐标系中)。这种常规检验是乏味且耗时的，因为它要求检验员进行大量的手动交互，特别是位置记录。

2、最近对检验并且特别是对检验员工作流程的改进如下：对于户外检验以及在全球导航卫星系统(gnss)定位(例如，通过gps)可行的情况下，检验数据可以自动与通过gnss测得的检验位置相关联，即，无需检验员为了定位而进行额外的交互。但是，简单的gnss定位对于检验目的可能不够精确，例如出于可重复性的原因，可能要求米级或以下的精度。另外，由于通过建筑物的gnss卫星的视线的遮蔽，因此gnss定位可能失败。

3、对于gnss定位通常不可行的室内检验，检验员仍然需要手动提供指示检验位置的数据，例如通过轻击检验位置处的被检验建筑物的所显示平面图。虽然这个过程比常规检验更快，但它仍然存在几个缺点：手动为每个检验数据提供检验位置不仅仍然繁琐且耗时，而且由于就检验员而言容易出错而不太可靠。

技术实现思路

1、因此，本发明要解决的问题是提供一种用于记录环境的检验数据的方法，该方法是快速的并且同时将可靠的检验位置与相应的检验数据相关联，特别是在室内使用中。另外，本发明的目的可以是提供一种用于记录环境的检验数据的方法，该方法在不存在绝对定位系统的情况下工作，特别是在不存在gnss数据或gnss数据不充分的情况下工作。

2、这个问题通过以下用于在比例绘图空间中记录环境的检验数据的方法来解决。例如，比例绘图可以是平面图。在这种情况下，环境通常是建筑物，诸如房屋、办公楼、工业建筑或桥梁，并且比例绘图空间可以被称为平面图空间，如贯穿以下描述的那样。

3、在替代实施例中，比例绘图可以例如是地图，特别是物理地图。在这种情况下，环境通常是室外环境或室内外混合环境，例如具有建筑物、街道、路径、管道和线缆，并且比例绘图空间可以被称为地图空间。这样的环境可以例如包括建筑工地，特别是在例如出于非破坏性测试或出于文档编制原因而执行检验的地方。一般而言，结合平面图和平面图空间公开的以下特征也适用于具有地图和地图空间的替代实施例。

4、特别地，平面图包括平面图空间中的环境的二维、按比例表示。平面图空间通常被两个坐标轴(特别是水平坐标轴)跨越。有利地，平面图指定平面图空间中的环境中的物理特征的位置和尺寸，特别是墙壁、门、窗、柱子和楼梯中的至少一个的位置和尺寸。平面图空间中的位置和尺寸可以例如以像素或米为单位给出。在室外或室内外混合环境的替代实施例中，地图空间中的位置和尺寸可以例如以米或度(纬度、经度)为单位给出，特别是建筑物、街道、路径和植被中的至少一个的位置和尺寸。

5、根据本发明的一方面，该方法包括以下步骤：

6、-从相机接收图像序列，当相机沿着相机路径移动通过环境时图像序列由相机捕获：相机可以例如由用户(例如，检验员)

7、沿着相机路径携带，或者它可以是沿着相机路径移动的无人机的一部分，特别是被自主或远程控制。

8、-基于图像序列生成传感器空间中的相机路径的估计：下面给出可以如何完成这个的技术。传感器空间特别地是真实空间的表示，它是三维的，如由相机在二个(有利地为水平)维度中感测到的。传感器空间中的位置可以例如以米来表达。

9、-对于在相机路径上的第一位置处拍摄的图像序列中的第一图像，获得传感器空间中的第一位置并且接收指示相机在平面图空间中的第一位置的第一用户输入：换句话说，第一位置表示用于确定传感器空间与平面图空间之间的变换的第一校准点。

10、-对于在相机路径上的第二位置处拍摄的图像序列中的第二图像，获得传感器空间中的第二位置并且接收指示相机在平面图空间中的第二位置的第二用户输入：换句话说，第二位置表示用于确定传感器空间与平面图空间之间的变换的第二校准点。

11、-基于传感器空间中的第一位置和第二位置以及平面图空间中的第一位置和第二位置来计算传感器空间与平面图空间之间的第一变换：通常，第一变换可以由第一矩阵表示。特别地，

12、变换描述平移、旋转和缩放中的至少一种。

13、-在相机路径上的检验位置处，接收检验数据：如后面详细描述的，检验数据的获取可以由用户手动触发，或者在不同的实施例中，当满足某些条件时自动触发。

14、-将检验数据与指示平面图空间中的检验位置的数据一起存储：

15、换句话说，检验数据与它们各自的检验位置相关联或者用它们各自的检验位置进行标记。指示平面图空间中的检验位置的数据特别地是可从其导出平面图空间中的检验位置的数据。

16、因而，指示平面图空间中的检验位置的数据可以例如包括以下至少之一：平面图空间中的检验位置；传感器空间中的检验位置以及传感器空间与平面图空间之间的第一(或其它适用的)变换；检验数据的时间戳和平面图空间中相机路径的第一估计的带时间戳版本；检验数据的时间戳和传感器空间中相机路径的第一估计的带时间戳版本以及传感器空间与平面图空间之间的第一(或其它适用的)变换。

17、显然，这种用于在平面图空间中记录检验数据的方法产生了检验数据的快速、可靠且一致的定位：在检验开始时，为了建立传感器空间与平面图空间之间的变换，基于(至少)第一和第二位置的校准是必要的。在建立变换之后，只需要沿着相机路径移动相机，并且获取检验数据，而无需进一步的用户交互来记录检验位置。由于没有进一步的用户交互，该方法不太容易因错误的用户输入而出现定位错误。

18、当传感器空间中的相机路径的估计的至少一部分在不考虑gnss位置数据的情况下被生成时，这种方法特别有利。这通常是室内检验中(即在建筑物内部)的情况，其中由于gnss信号被建筑物衰减而无法获得gnss数据。另外，这种情形通常发生在建筑区域中的户外检验中，例如，其中建筑物阻碍足够的gnss数据接收。而且，所描述的方法提供了足够的定位精度，特别是米级或以下，这是例如在不使用基站的情况下通过标准gnss定位无法达到的。在那方面，本发明的方法提供了室内以及室外的检验数据的精确、可靠和一致的定位。

19、有利的实施例

20、有利地，传感器空间中的相机路径的估计以及传感器空间与平面图空间之间的第一变换是在与相机一起沿着相机路径移动的设备中计算的。相机可以是该设备的组成部分。特别地，该设备可以是平板计算机或智能电话。可替代地，相机可以与设备分离，例如，穿戴在用户的胸部或头上的相机。在这种情况下，相机通过无线或者通过线缆连接到设备。

21、在有利的实施例中，该设备包括被配置为显示检验数据和/或平面图的图形表示的显示器。

22、检验数据可以是不同类型：检验数据可以例如包括从相机(即，拍摄图像序列的同一相机)接收的图像。此外，检验数据可以包括来自例如安装在用户的头盔上的360度相机的图像。另外，检验数据可以包括非破坏性测试数据，特别是硬度值、超声数据、探地雷达(gpr)数据、涡流数据中的至少一种。

23、在特别有利的实施例中，实时地计算相机路径的估计、第一变换和指示平面图空间中的检验位置的数据。在本上下文中，“实时”意味着在检验期间，特别是在获取相关数据后不到1秒内，相关数据分别是图像序列中的最新图像、第一和第二用户输入以及检验数据。

24、这种实时定位，特别是与平面图的显示相结合，允许用户查看并检查他在平面图空间中的当前位置，例如，通过比较他在现实与平面图空间之间关于建筑物的物理特征的相对位置。这在定位中的漂移的情况下(即，当传感器空间中(因此也在平面图空间中)的相机路径的第一估计偏离现实中的实际相机路径时)可能特别令人感兴趣。在这种情况下，用户可以实时地注意到漂移并实时地校正它。下面给出了可以如何完成这个的示例。

25、实时定位的进一步优点在于可以向用户显示先前的相机路径或直到现在遵循的相机路径。可替代地或附加地，用户可以例如通过查看他在平面图空间中相对于预定检验位置的当前位置的显示来导航至预定检验位置，即，应获取检验数据的位置。

26、视觉测距

27、在实施例中，传感器空间中相机路径的第一估计是通过对图像序列执行视觉测距(vo)(特别是基于特征的vo)来生成的。在本上下文中，vo特别地是指通过分析由相机拍摄的图像来确定相机的位置以及可选地还确定相机的朝向的过程。换句话说，vo是通过检查运动在相机拍摄的图像上引起的改变来逐步估计运动中的相机的位置和朝向的过程。

28、由于当沿着相机路径移动时vo还促进确定相机的朝向(即，相机观察方向)，因此该方法可以有利地扩展为包括以下步骤：

29、-基于图像序列实时地生成相机观察方向的估计，

30、-将检验数据与指示平面图空间中检验位置处的相机观察方向的数据一起存储。

31、可以实时显示相机观察方向的估计，以便支持他在环境中的导航。另外，所存储的在检验位置处的相机观察方向使得检验数据的评估以及在相同检验位置处的重复检验更加容易。

32、其它基于图像序列的定位解决方案(诸如同步定位和测绘(slam))旨在实现相机路径的估计的全局一致性并且特别地需要相机路径中的闭环，而vo仅旨在实现相机路径的估计中的局部一致性。这释放了slam中所需的跟踪所有图像序列的需要，并且使vo在所需的计算能力方面减轻了负担。因此，vo(特别是具有如上所述的两点校准)可以实时地和在诸如平板计算机或智能电话之类的移动设备上执行。

33、在有利的实施例中，传感器空间中的相机路径的第一估计是通过执行基于特征的vo而生成的。在这种基于特征的方法中，在图像序列中的后续图像中提取并跟踪显著且可重复的特征。可替代地，可以应用基于外观的vo(其使用后续图像中所有像素的强度信息)来生成相机路径的第一估计。但是，基于特征的方法一般比基于外观的方法更准确和更快。为了估计序列中后续图像之间的运动，众所周知的随机样本共识(ransac)算法由于其在存在异常值的情况下的鲁棒性而被有利地使用。

34、在一般的三维情况下，对于序列中的每个图像，针对相机要估计六个自由度(dof)，即，例如，传感器空间中的位置的三个坐标和朝向的三个角度。在这种情况下，将需要传感器空间和平面图空间中的五个对应位置来估计传感器空间与平面图空间之间的变换。

35、但是，在平面图的二维情况下，其根据定义仅示出一个楼层或一层，可以假设平面运动。因此，在生成传感器空间中的相机路径的估计中，相机路径的垂直分量被忽略。在这种情况下，仅需要估计三个参数，即，例如相机在后续图像之间行进的角度和距离以及观察方向。因此，只需要两个点，这再次在计算上更便宜。这导致上述方法所需的利用两个用户输入的两点校准。相同的原理可以应用于比例绘图是地图的情况，特别是室外环境的情况：即使在检验区域中发生标高(即，垂直分量)的微小变化(例如，小于1m的标高在10m的水平距离上改变)，也可以假设平面运动并忽略相机路径的垂直分量。

36、在有利的实施例中，相机路径上的第一位置和第二位置分开至少最小距离，特别是至少1m或至少3m。这确保传感器空间和平面图空间之间确定的变换是可靠且准确的。

37、多点校准

38、vo中的一个挑战是序列中每个图像到图像运动引入的误差会随着时间的推移而累积。这产生上面提到的相机路径的第一估计相对于实际相机路径的漂移。对漂移问题的解决方案是通过如下在第三位置处建立第三(或另外的)校准点来执行重新校准。

39、有利地，上述方法附加地包括以下步骤：

40、-对于在相机路径上的第三位置处拍摄的图像序列中的第三图像，获得传感器空间中的第三位置并且接收指示相机在平面图空间中的第三位置的第三用户输入，

41、-基于传感器空间中的第二位置和第三位置以及平面图空间中的第二位置和第三位置来计算传感器空间与平面图空间之间的第二变换，

42、-应用第二变换来计算指示平面图空间中的位置的数据，这些位置位于第三位置之后的相机路径上。

43、以这种方式，相机路径的第一估计中的漂移在第三位置处被校正，即，归零。对于第三位置，相机在平面图空间中的位置(再次)与其在环境中的实际位置对应。显然，例如以规则的时间或距离间隔重复这种重新校准是有利的。由于这将校准从两点扩展到多点，因此这种方法被称为多点校准。

44、这种方法还可以扩展为包括以下步骤：

45、-实时生成用于相机路径的估计的误差测量，

46、-如果误差测量在当前位置处超过定义的误差阈值，那么：

47、输出警告或触发用户生成指示相机在平面图空间中的当前位置的另外的用户输入，

48、基于传感器空间中所述另外的位置和平面图空间中所述另外的位置来计算传感器空间与平面图空间之间的另外的变换。

49、另外，有可能将第二或另外的变换不仅分别应用于第三或另外的位置之后的相机路径上的位置，而且还应用于自变换的先前计算(即，先前的校准)以来确定的位置的一部分或全部。这是基于如下假设：那些位置在某种程度上已经受到漂移的影响。

50、因而，上述方法可以附加地包括以下步骤：

51、-回溯性地应用第二变换来计算指示平面图空间中的位置的数据，这些位置位于第二位置和第三位置之间的相机路径上，

52、-特别地，对于位于第二位置和第三位置之间的相机路径上的检验数据，改变所存储的指示平面图空间中的检验位置的数据。

53、以这种方式，也可以对于已经存储的检验数据的检验位置校正漂移。

54、视觉惯性测距

55、可以通过附加地包括惯性测量单元(imu)(例如，加速度计或陀螺仪)和/或磁力计(例如，罗盘)的数据来提高传感器空间中的相机路径的第一估计的准确性。在这种实施例中，该方法附加地包括：

56、-当它们与相机一起沿着相机路径移动时，接收由惯性测量单元捕获的加速度数据和/或由磁力计捕获的朝向数据，

57、-附加地使用加速度数据和/或朝向数据来计算传感器空间中的相机路径的估计。

58、在这种情况下，传感器空间中的相机路径的估计可以通过对图像序列以及加速度和朝向数据中的至少一个执行视觉惯性测距(vio)来生成。这提高了准确性并使相机路径的估计更加鲁棒，尤其是在图像序列的后续图像中总体特征很少或可重复特征很少的情形下，如可能是长走廊中或差光线条件下的情况。

59、显示信息

60、如前面所提到的，可以通过向用户(即，检验员)显示各种信息来促进检验。

61、在实施例中，该方法还包括在平面图的图形表示上实时显示检验位置和相机在平面图空间中的当前位置。这支持用户的导航。

62、另外，该方法可以包括在平面图的图形表示上实时显示平面图空间中的相机路径的估计。应该理解的是，这种估计可以是通过对相机路径的相应部分应用不同变换来计算的聚合估计。相机路径的这种显示可以再次促进用户的导航。而且，它支持用户跟踪检验的进度，即，环境的哪些部分已被检验。

63、在估计相机观察方向的情况下，该方法还可以包括在平面图的图形表示上实时显示在平面图空间中当前位置处的相机观察方向的估计。这再次促进导航。

64、而且，可以通过向用户显示平面图来以简单且节省时间的方式布置两点或多点校准。在该方法的这种实施例中，接收第一和/或第二用户输入的步骤包括以下步骤：在屏幕上显示平面图的图形表示，以及从用户接收指示相机在平面图的表示上的当前位置的输入事件。输入事件可以例如是屏幕上的轻击或双击。可替代地，特别是在室外或室内外混合检验的情况下，输入事件可以包括地图或平面图的绝对坐标中的当前位置的输入，例如，在gnss坐标的情况下以纬度和经度的度数为单位。此类坐标可以从地图或平面图获得，或者它们可以从检验系统的gnss接收器接收，该接收器基本上与相机位于同一位置。

65、检验工作流程

66、用于记录检验数据的方法以及因此检验工作流程可以通过以下方式进一步自动化：

67、在实施例中，该方法附加地包括触发沿着相机路径以定义的时间间隔和/或以定义的空间间隔自动获取检验数据。以这种方式，可以获取更多的检验数据，例如由相机拍摄的图像，这导致对环境的更好检验覆盖。

68、可替代地或附加地，该方法可以包括在到达预定检验位置后，特别是当相机的当前位置与预定检验位置之间的距离降至低于定义的阈值(例如，1m)时，自动触发获取检验数据。当例如如下那样用户被引导通过环境时，这特别有用。

69、在实施例中，该方法附加地包括生成用于将用户引导到预定检验位置的引导信息。这可以例如通过在平面图的图形表示上显示平面图空间中的预定检验位置来完成。另一种可能性是例如以箭头的形式显示到预定检验位置的方向。这种方法使得有可能沿着预定的、特别是优化的路线引导用户，以便覆盖所有预定的检验位置和/或节省时间。

70、后处理和报告

71、所描述的方法可以被扩展以允许有用的后处理和报告选项。

72、在实施例中，该方法还包括存储指示传感器空间中的相机路径的估计的未加工数据。特别地，未加工数据可以作为相机路径的三个房间坐标被给出。此外，设备的三个旋转角度可以包括在未加工数据中。可替代地，设备的朝向或旋转可以表达为四元数。因而，未加工数据可以特别地包括四元数，即，描述朝向或旋转的四个数字。另外，可以计算相机路径上的估计位置的准确性的置信度测量并将其存储在未加工数据中。

73、另外，该方法可以包括存储指示传感器空间中的第一、第二和任何另外的位置以及平面图空间中的第一、第二和任何另外的位置的数据。这意味着校准点与未加工数据一起存储。使未加工数据和校准点可用允许各种后处理选项，例如，生成相机路径的重放、确定检验区域(特别地，检验区域可以是当沿着相机路径移动时相机成像的区域)、或者在后处理期间(即，在检验或相机路径完成之后)校正相机路径或特定检验位置的估计。

74、在另外的实施例中，该方法包括自动生成检验报告。由于诸如检验数据、检验位置和平面图之类的所有相关数据是可得的，因此可以以标准化的形式输出这样的检验报告。这节省了用户的时间。而且，它允许执行检验数据的完整性的快速检查，例如，刚好在完成检验(或者换句话说，相机路径)之后。

75、特别地，检验报告可以包含以下至少之一：

76、-平面图的图形表示，具有检验位置的位置标记，

77、-平面图的图形表示，具有相机路径的指示(例如，作为线或热图)，或被检验区域的指示(例如，作为阴影区域或热图)，

78、-与平面图上相应检验位置的图形表示一起的检验数据(例如相机图像或获取的ndt数据)。

79、冷起动

80、该方法的另外的实施例促进在冷起动之后(即，在执行该方法的设备已经被关闭并再次打开之后、或者在相机路径的估计已经以其它方式丢失或损坏之后)的自动重新定位。这种方法要求在相同的环境中拍摄图像序列并且在冷起动之前执行如上所述的两点校准。特别地，冷起动后捕获的另外的图像序列需要将环境的对应特性特征描绘为冷起动之前捕获的图像序列。

81、该方法的这种实施例还包括：

82、-基于图像序列生成并存储传感器空间中环境的表示：特别地，

83、该表示可以包含环境的特性特征，诸如颜色或强度的改变。

84、-在冷起动后，从位于冷起动位置的相机接收另外的图像序列，

85、-基于所述另外的图像序列和环境的表示来生成传感器空间中的冷起动位置的估计：这可以通过将图像序列和所述另外的图像序列中的相应特性特征相关联(即，基于特征)来完成。可以考虑另外的加速度数据和/或朝向数据以生成传感器空间中的冷起动位置的估计。

86、-基于传感器空间中的冷起动位置的估计以及冷起动之前计算出的传感器空间与平面图空间之间的变换来确定平面图空间中的冷起动位置：在如上所述的多点校准的情况下，有利地应用冷起动之前最后计算出的变换。

87、显然，这种方法避免了冷起动之后对其它两点校准的需要，从而节省了用户的时间。

88、计算机程序产品

89、本发明的第二方面涉及一种包括指令的计算机程序产品，当程序由计算机执行时，该指令使得计算机执行任何上述方法。

90、特别地，计算机程序产品可以在apple的arkit 4或类似产品中实现，例如，以方便地提供用于基于图像序列生成传感器空间中的相机路径的估计的算法，例如通过vo或vio。

91、检验系统

92、本发明的另一方面涉及一种检验系统，该检验系统包括被配置为捕获图像序列的相机，例如摄像机，以及与该相机通信耦合并被配置为执行上述方法中的任一种的处理器。检验系统可以例如是诸如ipad之类的平板计算机或诸如iphone之类的智能电话。在这种情况下，相机可以被用于捕获用于生成相机路径的估计的图像序列以及获取照片形式的检验数据两者。

93、检验可以被扩展为还包括被配置为获取检验数据的360度相机。特别地，360度是经由无线或有线连接与处理器连接。

94、如上面所讨论的，有利的是，检验系统还包括与处理器通信的显示器，特别是触摸屏。这种检验系统可以包括具有其相应显示器的平板计算机或智能电话。

95、另外，该系统可以包括惯性测量单元(imu)(特别是加速度计和/或陀螺仪)和/或磁力计中的至少一种。通过考虑分别由imu和磁力计获取的惯性数据和/或朝向数据，vio作为如上面所讨论的生成相机路径的估计的方法被促进。特别是对于室外检验，该系统还可以包括与处理器通信的gnss接收器。gnss接收器有利地被配置为提供例如绝对坐标形式(诸如纬度和经度的度数)的gnss定位数据。提供gnss定位数据对于校准的第一和第二位置特别有用。此外，如果足够的质量和精度可得，那么可以通过执行如前所述的多点校准，在沿着相机路径的另外的位置处考虑另外的gnss定位数据。

96、其它有利的实施例在从属权利要求以及下面的描述中列出。