具有周界限定功能的基于增强现实的系统的制作方法

本发明涉及一种包括坐标测量仪器和增强现实(ar)装置的检查系统。

背景技术：

根据本发明的系统的坐标测量仪器可以是激光跟踪仪、激光扫描器、摄像机系统、铰接臂、视距仪、经纬仪或全站仪。这种坐标测量仪器特色为近距离和远距离物体的单点测量(并且具体还跟踪近距离和远距离物体)，并且基于飞行时间激光技术、图像处理技术或角度编码器技术工作。

利用这种坐标测量仪器的测量处理可能非常复杂且耗时，并且通常需要高水平的技能。特别困难的是检测待测量物体和瞄准本身。

遗憾的是，本领域的检查系统缺乏用于这种瞄准过程的自动化和人类工程学(ergonomics)。尤其是市场上可获的检查系统不提供用户与坐标测量仪器之间的无缝且直接的交互。

因此，本发明的一个目的是，提供一种在人类工程学和效率方面的改进的检查系统。

技术实现要素：

本发明涉及一种基于增强现实(ar)的检查系统，该基于ar的检查系统包括：坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元；以及ar装置，该ar装置具有第二摄像单元、第二计算机单元以及第二通信单元，其中，所述第一通信单元和所述第二通信单元是可连接的，所述坐标测量仪器和所述ar装置各被配置为建立相对于背景环境(setting)的参照状态，所述第一计算机单元和所述第二计算机单元中的至少一个被配置为检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的二维或三维结构化形状，并且所述ar装置被配置为提供所述背景环境的真实视图，根据相应的ar数据将覆层(overlay)设置到所述真实视图上，其中，所述ar数据与所检测到的结构化形状至少部分在空间上相关联，接收覆层的选择，并且基于所选择的覆层向所述坐标测量仪器发送触发信号，其中，所述触发信号被配置成致使所述坐标测量仪器测量所述结构化形状的至少一部分，该结构化形状与对应于所选择的覆层的ar数据相关联。

结构化形状可以是任何有方法地/系统性地形成的轮廓、外形或边缘。具体的例子是几何形状，像线条、表面、曲线、流形、对称性、矩形、圆形以及椭圆体。可以通过图像信息的对比度或颜色分析或者通过其它图像处理算法来检测这种结构。

建立相对于所述背景环境的参照状态例如可以通过计算机视觉技术和/或借助于放置在所述背景环境中的参照标记来实现。具体来说，所述ar装置可以另外或另选地被配置为建立相对于所述坐标测量仪器的参照状态。针对该参照功能，所述坐标测量仪器可以包括标识特征，该标识特征可以由所述ar装置检测并被用于确定所述ar装置相对于所述坐标测量仪器的姿态。一旦参照所述坐标测量仪器，所述ar装置可以将姿态数据传送至所述坐标测量仪器。在所述坐标测量仪器一侧，建立相对于所述背景环境的参照状态例如可以通过扫描已知其3d模型的所述背景环境的点云，或者通过瞄准并精确测量已知其3d坐标的多个参照目标来实现。

如果所述ar装置通过透明面盔(visor)(诸如，处于眼镜上或者在头戴式显示器头盔上)来提供所述背景环境的真实视图，所述覆层可以是通过所述ar装置所包括的投影仪投射到所述面盔上的投影。如果所述ar装置在屏幕(诸如，处于智能电话、平板计算机或显示护目镜上)上提供所述背景环境的真实视图，所述覆层可以是显示在所述屏幕上的视频流上的图形。

所述覆层根据ar数据来提供，所述ar数据至少包括关于所述覆层的视觉外观以及由3d坐标定义的覆层的形状和尺寸的信息。由于所述ar装置相对于所述背景环境的参照状态并且由于所述ar数据的可用性，因而，所述ar装置的计算机单元能够参照用户的视野确定在何处提供所述覆层。通常，所述ar数据在空间上与所述背景环境中的某些位置相关联。所述ar数据中的至少部分在空间上与所述背景环境中的结构化形状相关联，该结构化形状已经借助于图像处理在由所述第一摄像单元和/或第二摄像单元中记录的图像中被检测到。

可以以许多不同方式实现对覆层的选择的接收。在根据本发明的检查系统的特定示例中，这样的选择可以由用户(该用户正携带所述ar装置)执行，因为该用户用手指或任何指示装置指向他所感知的，作为与所检测到的结构化形状相关联的覆层。所述第一摄像单元和第二摄像单元中的至少一个可以被配置为识别该指向手势并将该指尖的位置与因此定位的覆层匹配。选择覆层的另一示例可以是ar装置上的滚轮，通过该滚轮，用户可以滚动分配给所检测到的结构化形状的多个覆层，其中当前选择的可以以图形方式标记。利用另一控制功能(例如，按下滚轮)，可以确认当前选择的覆层的选择，其自动地使ar装置发送触发信号。

手势触发信号可以包括触发成分和坐标成分(coordinatewisecomponent)。

所述触发成分可以实施为关于要进行的特定任务(即，测量命令)的、采用机器语言的信息。然后，所述触发信号的所述坐标成分可以仅包括所述坐标测量仪器可以瞄准并测量的至少一个3d坐标。

所述第一通信单元可以被配置为接收所述触发信号，并且所述第一计算机单元可以被配置为将所述触发信号转换成所述坐标测量仪器的控制参数。

所述ar装置的第二通信单元因此可以被配置为将所述触发信号发送至所述坐标测量仪器的第一通信单元。

将所述触发信号转换成控制参数可以包括对所述触发信号的所述触发成分后面的命令的解释，以及将所述触发信号的坐标成分(coordinativecomponent)后面的3d坐标从所述ar装置的坐标系变换成所述坐标测量仪器的坐标系。还可以的是，所述3d坐标已经参照全局坐标系加以表达，该全局坐标系可以链接至所述背景环境。

在本发明的具体实施方式中，所述第二计算机单元被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述ar数据。

在本发明的另一实施方式中，所述第一计算机单元被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述ar数据。

所述第一计算机和所述第二计算机也可以被配置为检测所述结构化形状，并且基于所检测到的结构化形状生成所述ar数据。

所述坐标测量仪器可以被配置为判定与所生成的ar数据相关联的结构化形状是可通过所述坐标测量仪器达到的还是从所述坐标测量仪器的视角看被障碍物遮挡。

在(所述ar装置的)第二摄像单元已经检测到所述结构化形状的情况下，该功能是有用的，因为所述结构化形状可能是在所述ar装置的视野中，但是从所述坐标测量仪器的视角看被遮挡。

例如，当所述坐标测量仪器发送的测量射束可以到达所述结构化形状时，或者当所述坐标测量仪器的测量探针可以到达所述结构化形状时，可通过所述坐标测量仪器来达到所述结构化形状。

所述坐标测量仪器、所述ar装置以及外部计算机中的至少一个可以被配置为生成基于障碍物的ar数据。

可以将外部计算机实施为与至少所述ar装置并且具体还与所述坐标测量仪器无线地连接的服务器，从而管理检查过程。

基于障碍物的这种ar数据可以包括以下中的至少一个：警告通知，该警告通知声明所述选择结构化形状处于从所述坐标测量仪器的视角看到的视图之外(并且因此，所选择的结构化形状的测量是不可能的)；以及指示符，该指示符表明应该把所述坐标测量仪器放置在何处(代替地，以使所选择的结构化形状不再处于从所述坐标测量仪器的视角看到的视图之外)。

例如，所述坐标测量仪器可以被实施为以下中的一种：激光跟踪仪、激光扫描器、全站仪、铰接臂坐标测量机以及摄像机系统。

另一方面，所述ar装置可以被实施为以下中的一种：平板计算机、智能电话、ar眼镜以及ar头盔。

本发明还涉及一种对背景环境中的结构化形状进行基于增强现实(ar)的检查的方法，该方法包括以下步骤：设置坐标测量仪器，该坐标测量仪器具有第一摄像单元、第一计算机单元以及第一通信单元；设置ar装置，该ar装置具有第二摄像单元、第二计算机单元以及第二通信单元；连接所述第一通信单元和所述第二通信单元；，利用所述坐标测量仪器和所述ar装置中的每一个，建立相对于背景环境的参照状态；利用所述第一计算机单元和所述第二计算机单元中的至少一个，检测由所述第一摄像单元和所述第二摄像单元中的至少一个拍摄的图像中的结构的结构化形状；以及利用所述ar装置：提供所述背景环境的真实视图，根据相应的ar数据将覆层设置到所述真实视图上，其中，所述ar数据与所检测到的结构化形状至少部分在空间上相关联，接收覆层的选择，并且基于所选择的覆层向所述坐标测量仪器发送触发信号，其中，所述触发信号被配置成，致使所述坐标测量仪器测量所述结构化形状的至少一部分，该结构化形状与对应于所选择的覆层的ar数据相关联。

所述方法可以包括以下步骤：利用所述第二通信单元，接收所述触发信号，并且利用所述第二计算机单元，将所述触发信号转换成所述坐标测量仪器的控制参数。

所述方法可以包括以下步骤：利用所述第二计算机单元，检测所述结构化形状，并且基于所检测到的结构化形状生成所述ar数据。

所述方法可以包括以下步骤：利用所述第一计算机单元，检测所述结构化形状，并且基于所检测到的结构化形状生成所述ar数据。

所述方法还可以包括以下步骤：利用所述坐标测量仪器，判定与所生成的ar数据相关联的结构化形状是可通过所述坐标测量仪器达到还是从所述坐标测量仪器的视角看被障碍物遮挡，并且生成基于所述障碍物的ar数据，其中，所述ar数据包括以下中的至少一个：警告通知，该警告通知声明所选择的结构化形状处于从所述坐标测量仪器的视角看到的视图之外；以及指示符，该指示符表明应该把所述坐标测量仪器放置在何处以使所选择的结构化形状不再处于从所述坐标测量仪器的视角看到的视图之外。

附图说明

下面，通过参照伴随附图的示例性实施方式，将对本发明进行详细描述，其中：

图1：从通过示例性ar装置的视图示出了设立根据本发明的示例性系统的背景环境；

图2：示出了根据本发明的方法的实施方式的一部分，其中，在图1的视图中，提供了标记所检测到的结构化形状的覆层和一个所选择的结构化形状；

图3：示出了根据本发明的方法的实施方式的一部分，其中，坐标测量仪器正在测量所选择的结构化形状；

图4：示出了根据本发明的方法的实施方式的一部分，其中，建议用户重新定位坐标测量仪器；

具体实施方式

图1示出了示例性背景环境s，其中，ar装置由用户佩戴(未示出，因为图1示出了用户在通过ar装置或者在ar装置处观察时正看到的内容)，并且其中，坐标测量仪器1被放置在背景环境的地板。在所述检查系统的该实施方式中，坐标测量仪器应为激光跟踪仪，该激光跟踪仪是一种具有激光单元、升降单元(elevativeunit)以及方位单元的测量仪器。该方位单元被放置在三脚架上，并且可绕竖直轴旋转，其中，第一角度编码器可以测量该方位旋转。升降单元被设置在方位单元上并且可绕水平轴旋转，其中，第二角度编码器可以测量该升降旋转。通过这两种旋转，由激光器单元发射的激光束可以指向各种立体角。激光跟踪仪可以通过距离测量(例如，飞行时间、多频相移、干涉量度学、激光雷达或调频连续波)和由第一角度编码器和第二角度编码器测量的角度来测量所述背景环境中的点。

ar装置和坐标测量仪器都被配置为相对于所述背景环境参照自身。例如，如果将所述背景环境的3d模型提供给ar装置或坐标测量仪器的计算机单元，则可以将由相应摄像单元拍摄的结构与该已知3d模型进行比较。另选参照方法可以基于vslam、参照标记识别、图像特征检测或其它基于计算机视觉的方法。

背景环境s是具有多个物体边缘e作为结构化形状的厨房。借助于ar装置的摄像单元或坐标测量仪的摄像单元，可以借助于图像处理来识别相应摄像单元可观察的结构化形状。可以设计图像处理算法来检测至少一种特定类型的形状(诸如，直线或曲线)，但具体为各种不同的几何形状。

图2示出了如何在ar装置所提供的视图中标记所检测到的结构化形状，使得用户可以立即感知它们。从当前立场来看，坐标测量仪器的摄像单元已经检测到该结构化形状。可以认识到，从坐标测量仪器的视角看，被遮挡的结构化形状没有在ar装置所提供的视图中被标记，因为它们尚未被坐标测量仪器检测到。该标记可以借助于彩色线或类似图形突出显示来进行。该标记以空间链接的方式覆盖在背景环境的真实视图上，使得用户感知链接至现实世界位置的覆层。当他转动头部时，覆层将保持其在该背景环境中的所分配位置，即，图2中的线标记将仍保持覆盖到厨房的结构化形状上。

在所示实施方式中，该系统允许用户通过用他的手3指向所检测到的结构化形状中的一个或更多个来选择它。在这种情况下，ar装置或更具体地说，ar装置所包含的摄像单元被配置为检测用户手势(像指向物体)。由于ar装置的摄像单元具有与用户的眼睛相似的原点(或者至少两者之间的视差是已知的)，因而，可以基于拍摄指向手指的像素来判定手指指向什么。

然而，选择也可以以不同的方式进行。例如，用户可以借助于除手势识别之外的其它用户界面在所检测到的结构化形状之间切换。作为反馈，与未选择的结构化形状相比，当前选择的结构化形状可以不同地突出显示。随着进一步确认输入，用户最终可以选择当前选择的结构化形状。

所选择的边缘x可以在由ar装置所提供的视图中按与其它所检测到的(和“未选择的”)结构化形状的标记不同的方式标记为结构化形状。在所示示例中，所选择的结构化形状用突出显示的虚线标记。

图3中示出了该选择正在触发的内容。在选择窗口边缘x(见图2)之后，坐标测量仪器1瞄准所选择的边缘并开始测量它。例如，仅测量边缘x的一个点，或测量整个边缘。在后一情况下，坐标测量仪可以沿着该边缘引导激光束，从而连续进行测量。

图4正示出了本发明的实施方式，其中，该背景环境中的结构化形状由ar装置所包含的摄像单元检测。结果，由于ar装置的摄像单元的视角不同于坐标测量仪器的视角，因此检测到更多/其它结构化形状。

如果ar装置然后接收到该坐标测量仪器无法达到的结构化形状y的选择，该系统可以被配置成识别该冲突并提供覆层(基于相应的ar数据)，该覆层向佩戴ar装置的用户指示将需要重新定位坐标测量仪器，来执行对所选择的结构化形状的测量。

尽管上面部分地参照一些优选实施方式例示了本发明，但必须明白，可以进行这些实施方式的许多修改例和不同特征的组合。这些修改例全部落入所附权利要求书的范围内。