自主移动飞行器检查系统的制作方法

1.本发明涉及自主检查系统和自主检查的方法。特别地，但不排他地，实施方式涉及飞行器结构检查。


背景技术：

2.自动化在制造中具有越来越重要的作用，例如，用于提高制造效率或改善安全性。自动化系统在许多行业例如汽车制造中是常见的。然而，在一些行业中，自动化系统可能是昂贵的并且难以实现，例如，航空航天制造(并且特别是商用飞行器制造)，在航空航天制造中，由于产品的尺寸和规模以及各种不同的制造和组装过程的复杂度和数目，设施通常占据大的占用空间。对于这样的行业，自主系统提供了与自动化系统相比大得多的益处。自主系统可以与自动化系统形成对比，这是因为自主系统能够以更大程度的独立性来执行任务，例如，自主系统可以是适应性的、能够学习的并且具有做“决定”的能力。因此，自主系统可以例如能够在其中先前没有使用过该系统的位置中工作，或者在其中其他的系统或项目(item)不在已知位置的动态环境中工作。相比之下，自动化系统(例如，汽车制造中的制造机器人)通常将专用于在高度受控的环境中执行重复性任务。
3.其中使用自主交通工具或自主机器人可能有益的一个领域是航空结构(aerostructure)的检查。例如，在飞行器制造期间(例如，在最终组装线中)以及也在飞行器维护、修理和检修设施(其在本文中将通过标准首字母缩略词“mro”指代)处，可能例行地需要这样的检查。用于自动化解决方案的已知解决方案通常需要使用昂贵的三维扫描仪或摄像装置，例如3d光定向与测距(lidar)扫描仪。这样的扫描仪可以例如在即时定位与地图构建(slam)设备中使用。为了降低复杂度和/或成本，已知一些系统例如手持系统用移动的2d扫描仪(例如，可以跨被扫描的项目进行扫描的柔性安装件上的扫描仪)来代替3d扫描仪。然而，这样的系统可能无法提供良好的响应时间并且导致更长的检查时间。此外，在工业环境中，在这样的系统的使用中可能出现健康和安全问题。
4.飞行器mro应用中潜在的自动化的一个示例是“air
‑
cobot”项目，该项目正在开发轮式协作移动机器人以用于在检查活动中协助人类(并且如例如在论文“air
‑
cobot:aircraft enhanced inspection by smart and collaborative robot”中所描述的，该论文可在以下处获取：http://laris.univ
‑
angers.fr/_resources/ifac2017/ifac_paper_3176.pdf)。air
‑
cobot机器人能够自主地执行导航任务以及例行地执行检查任务。air
‑
cobot机器人设置有包括导航传感器和无损测试传感器的感测系统的阵列，该导航传感器包括四个摄像装置、两个激光测距仪、全球定位系统(gps)接收器和初始测量单元(imu)，该无损测试传感器包括平移
‑
倾斜
‑
变焦(ptz)摄像装置和3d扫描仪。
5.本发明的至少一些实施方式旨在提供替选的检查机器人，例如，可以期望提供更有成本效益的机器人系统或具有降低的复杂度的机器人系统以使得能够在更广泛的应用范围中使用自主检查，或者提供具有更好范围、准确度和速度的系统。


技术实现要素：

6.本发明的一个方面提供了一种自主检查系统，该自主检查系统包括：至少一个自主移动机器人，该机器人具有多个二维lidar扫描仪，每个扫描仪具有二维扫描平面，多个扫描仪以非共面的扫描平面取向被安装在自主移动机器人上；以及处理器，该处理器包括：输入，用于接收来自多个lidar阵列的点数据；输出，用于提供检查数据；该处理器被配置成：将来自多个lidar扫描仪的点数据编译成自主移动机器人的周围的三维图，以及识别三维图内的物品的尺寸和轮廓。特别地，实施方式提供了一种自主移动飞行器检查系统。
7.本发明的另一方面提供了一种扫描机身的方法，该方法包括：提供具有多个二维lidar扫描仪的自主移动机器人，多个阵列以处于非共面取向的扫描平面被安装在自主移动机器人上；围绕机身周围的空间对自主移动机器人进行导航，同时使用lidar扫描仪对自主移动机器人周围的空间扫描；根据lidar扫描仪的点数据，对机身的图像进行编译。
8.本发明的又一方面提供了一种机器可读存储介质，该机器可读存储介质包括能够由处理器执行以进行下述处理的指令：接收来自多个lidar扫描的二维点数据；拼接该二维点数据以形成三维图；将lidar扫描数据与存储的地图构建数据组合；以及识别三维图内的对象的特征，并且将所识别的特征的尺寸和/或轮廓进行比较，以标记所扫描的对象中的缺陷或不合格部分(non
‑
conformities)。
9.本发明的又一方面提供了一种自主移动机器人，包括：多个二维lidar扫描仪，每个扫描仪具有从机器人向外延伸的固定的二维扫描平面，其中，对多个二维lidar扫描仪进行定位，使得三维扫描包络被限定成围绕自主移动机器人、沿水平方向和竖直方向向外延伸超出自主移动机器人的外周；以及处理，该处理被配置成接收来自多个lidar扫描仪的二维点数据，并且拼接该二维点数据，以形成自主移动机器人周围的空间的三维图。
10.以非共面的扫描平面取向被安装在自主移动机器人上的多个扫描仪还具有非平行的扫描平面取向。
11.本发明的实施方式有利地使得能够在不需要提供专用的3d扫描仪的情况下执行三维扫描检查活动。这在降低扫描系统的成本方面提供了优势，这是因为二维lidar扫描仪能够容易地在市场上买到，而且成本显著低于市场上可买到的三维扫描系统。应当理解，本发明的实施方式中扫描设备的成本与复杂度的降低可以因此使得自主扫描能够被更广泛地实现。
12.特别地，本发明与使用专用3d扫描仪的领域中的常规方法相悖，这是因为发明人惊奇地发现当前的二维lidar扫描仪提供了足够准确的扫描细节(例如，低至20μm至30μm的准确度)以使得可靠的三维图能够建立。实施方式可以提供产生的三维数据，该三维数据既对于一般检查足够准确，又甚至可以提供与常规检查或测量技术例如专用的大体积计量装备至少一样好的数据质量。
13.与现有的或手动或自动化测量系统相比，使用自主移动机器人平台上固定的二维lidar扫描仪进行扫描还可以使得能够节省大量时间。例如，可以注意到，二维lidar扫描仪可以在距扫描仪高达20m至25m的区域的范围内提供准确的位置数据。因此，应当理解，实施方式可以快速扫描大的项目，同时也提供高质量数据。由于飞行器和机身结构的规模，这在飞行器制造或mro设施中特别有用。因此，本发明的实施方式可以特别地被配置成用于在航空航天检查中使用。例如，对于mro设施等，本发明的实施方式可以用于表面缺陷识别和检
查。在飞行器制造应用中，实施方式可以例如用于确认飞行器结构的形状合格。
14.多个二维lidar扫描仪可以各自检测点数据，该点数据表示扫描仪对准的相应平面的横截面。
15.多个二维lidar扫描仪具有相对于自主移动机器人的固定取向。虽然该固定取向可以是可调整的(例如，在初始配置期间)，但是为了简单起见，实施方式不需要lidar扫描仪在使用期间相对于自主移动机器人的任何移动。这可以有助于减少扫描时间。例如，与使用移动的(例如，平移的、倾斜的或旋转的)二维扫描仪建立三维信息的系统相比，固定扫描仪可以减少扫描时间。
16.在本发明的实施方式中，多个二维lidar扫描仪包括具有在机器人上方竖直延伸的扫描平面的至少一个扫描仪。这确保了系统扫描不仅围绕自主移动机器人水平延伸而且在机器人上方延伸的包络，并有助于建立完整的三维图。这可以与其中二维lidar扫描仪仅用于导航和/或避免碰撞(使得在机器人上方竖直延伸扫描可能被视为不必要)的方法形成对比。
17.特别地，本发明的实施方式包括具有靠近竖直轴(或更具体地，垂直于延伸穿过自主移动机器人的参考平面的轴)的扫描平面的至少一个扫描仪。例如，至少一个扫描平面可以相对于竖直面以小于45度来对准(换句话说，扫描平面可以具有比水平分量大的竖直分量)。
18.二维lidar扫描仪对可以布置有竖直延伸的非共面扫描平面。例如，每个扫描平面可以在垂直于机器人的平面的轴的相对侧上倾斜。二维lidar扫描仪对可以具有绕垂直于机器人平面的轴相对于彼此成锐角的平面。具有竖直延伸的非共面扫描平面的二维lidar扫描仪对也可以各自相对于机器人的纵轴旋转。扫描平面的旋转可以增加机器人周围的包络的扫描覆盖范围。
19.多个二维lidar扫描仪还可以包括布置有总体水平延伸的扫描平面(或更具体地，平行于延伸穿过自主移动机器人的参考平面的轴)的至少一个扫描仪。在一些实施方式中，可以提供多个总体水平的扫描仪。例如，每个扫描仪可以具有扫描弧(每个扫描仪的扫描区域通常是位于扫描平面中并且绕扫描仪延伸约由扫描仪的配置限定的弧长的扇区)。可以对准多个总体水平的扫描仪以围绕机器人提供360度的扫描覆盖范围。
20.处理器还可以被配置成将点数据与存储的地图数据组合。自主移动机器人相对于存储的地图数据的已知位置可以与点数据相关联以用于将地图数据与点数据组合。例如，可以从自主移动机器人的导航系统提供已知的位置数据。时间戳数据也可以记录在点数据和产生的三维图中。例如，时间数据可以用于使得能够测量项目的实时变形和/或移动(这在制造的情况下可能特别有用)。
21.处理器可以通过包括机器可读介质来配置，该机器可读介质包括能够由处理器执行以执行以下步骤的指令：将来自多个lidar扫描仪的点数据编译成自主移动机器人的周围的三维图，以及识别三维图内的物品的尺寸和轮廓(例如，通过将该图与存储的项目数据进行比较)。
22.处理器可以是自主移动机器人的处理器。替选地或附加地，处理器可以是与自主移动机器人通信的集中式处理器。集中式处理器可以例如是云计算系统的一部分。中央处理器可以例如累积来自多个自主移动机器人的数据。例如，在一些实施方式中，检查系统可
以包括根据实施方式的多个自主移动机器人，并且处理器可以将来自每个移动机器人上的多个lidar扫描仪的点数据编译成组合的三维图。
23.虽然上面已经描述了本发明的各方面，但是本发明延伸至上文或者下文的描述中所述的特征的任何创造性组合。
附图说明
24.现在将参照附图仅通过示例的方式来描述本发明的实施方式，在附图中：
25.图1示出了用于在本发明的实施方式中使用的自主移动机器人的示意图；
26.图2示出了用于图1的自主移动机器人的示例导航图的示意图；
27.图3示出了接近对象的自主移动机器人以及产生的对应扫描数据的示例；
28.图4示出了表示根据实施方式的方法的流程图。
具体实施方式
29.为了清楚起见，在本文中使用术语“水平”和“竖直”，并且可以理解为是对于相对于使用中的自主移动机器人的总体方向的参考，并且不旨在被狭隘地解释。特别地，应当理解，水平方向总体平行于延伸穿过自主移动机器人的x
‑
y参考平面，并且基本上平行于机器人在其上进行操作的基板(如果基板倾斜，则可能不是真正的水平)。类似地，竖直方向将总体平行于垂直于x
‑
y参考平面延伸的z轴。为了准确的数据捕获的目的，扫描系统可以具有用于识别自主移动机器人的取向的导航系统，使得相对于使用中的自主移动机器人的轴捕获的数据可以被校正至通用轴。
30.图1中示出了根据本发明实施方式的自主移动飞行器检查系统1。该系统包括至少一个自主移动机器人10。自主移动机器人包括多个(在所示示例中为四个)二维lidar(光定向与测距)扫描仪50。每个扫描仪可以是市场上可买到的安全等级的lidar设备，每个扫描仪具有二维扫描平面22、24、32、34。扫描仪50共同限定了在机器人10周围的三个维度中延伸的扫描包络。特别地，可以注意到，扫描仪被布置成使得包络在水平轴上完全包围机器人10，并且在竖直轴上也完全围绕机器人10延伸(至少从地面向上延伸)。在所示的示例中，机器人10设置有：第一扫描仪对，其具有在总体水平的平面中的扫描平面22和扫描平面24；以及第二扫描仪对，其具有在总体竖直的平面中的扫描平面32和扫描平面34。使用市场上可买到的二维安全等级的lidar扫描仪，已经发现扫描平面22、24、32、34可以具有高达约20m至25m的范围，并且可以提供约20μm至30μm的扫描准确度。
31.两个总体水平的扫描平面22、24在竖直方向上间隔开。扫描平面22和扫描平面24可以是平行平面，并且可以平行于机器人10的x
‑
y参考平面。通常，每个扫描仪具有覆盖扫描平面中小于360度的扇区的扫描弧。因此，为了最小化或者去除来自扫描的任何盲点，两个扫描平面22和24绕竖直(z)轴相对于彼此旋转。例如，每个扫描平面32、34的未被扫描的小扇区可以是径向相对的。
32.两个总体竖直的扫描平面32和扫描平面34被设置成相对于彼此成角度，以使包络的扫描区域最大化。扫描平面32和扫描平面34可以各自相对于竖直轴以及相对于彼此倾斜，例如可以绕y轴在两个扫描平面32与34之间提供锐角β，使得每个扫描平面具有相对于竖直方向的若干度(例如，小于10度)的倾斜。扫描平面32和扫描平面34也可以相对于z轴相
对地旋转，使得它们相对于机器人10的纵轴成角度。
33.自主移动机器人10将包括用于控制其导航移动和扫描的处理器。通常，机器人10还将可通信地耦接至网络(例如，经由无线网络)，并且可以在该网络中提供集中式控制器。因此，可以理解，根据特定的系统配置，针对来自扫描仪50的数据，可以优选地由机器人10的处理器处理，或者数据是否以基本格式传输并且被单独地处理。
34.如图2所示，本发明的实施方式可以以与现有系统类似的方式利用水平扫描仪对进行定位，并且图2示出了x
‑
y平面中的典型导航图。可以提供先前记录的环境的地图，其包括先前观察到的项目210，如图2中以黑色像素所示的。地图还可以限定机器人10将不会行进至的区域或边界250。深色像素220指示由协助导航的水平lidar扫描仪识别的障碍物。根据本发明的实施方式，机器人还通过具有识别出的对象的扫描包络获取附加的信息，该识别出的对象在图2中以浅灰色阴影230示出。
35.根据实施方式，来自每个扫描仪的点数据可以拼接在一起，并且可选地，与存储的地图数据组合。这使得能够以快速并且准确的方式来累积环境的详细3d图。
36.图3中示出了多扫描仪方法的示例。这在图3中示出。在图3a中，照片示出了根据本发明的实施方式的具有二维lidar扫描仪50的阵列的自主移动机器人10，其位于悬垂的障碍物(工作台的形式)的前方。二维lidar扫描仪可以记录如图3b所示的桌子的横截面，其可以例如表示警告区310和紧急停止区320以及盲点340。
37.通过拼接来自每个扫描平面22、24、32、34的横截面并且使用自主移动机器人在扫描空间内的已知位置，本发明的实施方式可以形成环境的三维点云。现有的二维地图可以用于形成复合图。所产生的图可以用于改善导航，例如通过使自动化移动机器人在规划路线时能够避开悬垂的对象。然而，申请人还确认：该图足够准确以还用于测量扫描区域内的对象。因此，实施方式的自主移动机器人可以在航空结构的物品周围进行导航并且形成三维地图，以用于测量结构的特征或者用于缺陷或形状不合格部分的检查和识别。该系统可以例如具有机器可读存储系统，其包含关于要检查的航空结构的数据。可以将三维图与存储的数据进行比较，以例如识别和分类对象和/或对象中的缺陷，以及/或者对象的尺寸和/或轮廓相对于设计规范的合格。
38.本发明的实施方式可以在使得能够在短时间内精确地检查诸如飞行器部件的较大零件并且无需附加的劳动力成本方面提供明显的优势。这可以例如使得能够进行与当前可行的检查相比更频繁的检查。还可以理解，因为实施方式的系统和方法能够同时跟踪多个点，所以跟踪可以使得能够在组装阶段期间看到部件中的实时变形或移动。与诸如手动测量或者使用激光跟踪器或雷达的常规方法相比，本发明的系统和方法例如可以节约高达80％的时间。
39.本发明的实施方式还可以包括：机器可读存储介质，其包括能够由处理器执行的指令。这样的指令可以用于使用合适的自主移动机器人来实现本发明的实施方式的方法。
40.虽然上面已经参照优选的实施方式描述了本发明，但是应当理解，在不脱离如所附权利要求中限定的本发明的范围的情况下，可以进行各种修改。例如，虽然所描述的实施方式涉及单个自主受控机器人，但是应当理解，可以在单个系统中使用多个这样的机器人，其中网络控制被用于组合和映射所捕获的数据。
41.虽然本文描述的实施方式使用术语“自主移动机器人”，但是可以理解，这可以包
括其他形式的自主引导交通工具。例如，在本发明的一些实施方式中，可以利用多用途自主交通工具以使用二维扫描仪阵列来执行扫描，同时也出于另一目的(例如，传送或移动零件或结构)对设施进行导航。
42.注意，除非另有明确说明，否则本文中使用的术语“或”将被解释为意指“和/或”。