多传感器环境地图构建的制作方法
【专利说明】多传感器环境地图构建
【背景技术】
[0001] 诸如无人飞行器OJAV)等无人载具可用于在多种环境下执行监视、侦查和勘探任 务W供军事和民用应用。UAV可由远程用户手动控制，或者可W按半自主或全自主的方式操 作。运样的UAV可W包括被配置用于从周围环境收集数据的传感器。
[0002] 在一些情况下，用于获取环境数据的现有方法可能并非最优。例如，环境数据的准 确度可能基于用W收集数据的特定传感器类型的能力而受到限制。不准确的环境数据可能 会对UAV功能产生不利影响。
【发明内容】
[0003] 本文所公开的实施方式提供了用于在环境内控制诸如UAV等可移动物体的改进 的方法。在许多实施方式中，UAV包含多种不同的传感器类型，用于收集关于周围环境的信 息。从所述每种不同类型的传感器获取的数据可W组合，W便生成所述周围环境的表示，诸 如二维（2D)或=维（3D)环境地图，并且所述数据还可W用于促进导航、物体识别和避障。 有利地，本文所描述的方法可W用于改进多样化环境类型和操作条件下的UAV功能性。
[0004] 因此，在一方面，提供了一种用于在环境内控制可移动物体的方法。所述方法包 括：使用由所述可移动物体携带的多个传感器中的至少一个传感器来确定所述可移动物体 的初始位置；生成第一信号W使所述可移动物体在所述环境内航行；使用所述多个传感器 中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感测数据，生成表示 所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令；W及基于所述环境 地图，生成第二信号W使所述可移动物体返航至所述初始位置。 阳〇化]在一些实施方式中，所述可移动物体是无人飞行器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。所述 无人飞行器可W是多旋翼航空器。
[0006] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0007] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0008] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图（metric map)。 所述尺度地图可W包括W下至少一种：点云、3D网格地图、2D网格地图或2. 5D网格地图。 可选地，所述尺度地图可W包括占据网格地图（occupancy grid map)。
[0009] 在一些实施方式中，生成所述第二信号包括：使用所述多个传感器中的至少一个 传感器来确定所述可移动物体的当前位置；基于所述环境地图，确定从所述当前位置到所 述初始位置的路径；W及生成信号W使所述可移动物体沿着所述路径移动W返航至所述初 始位置。确定所述路径可W包括确定从所述当前位置到所述初始位置的最短路径。备选地 或组合地，确定所述路径可W包括确定从所述当前位置到所述初始位置的、避开所述环境 内的一个或多个障碍物的路径。所述路径可W包括由所述可移动物体先前行进过的一个或 多个部分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可 W是所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和方向。
[0010] 在一些实施方式中，所述路径包括对应于所述可移动物体先前行进过的位置的多 个航点，所述多个航点是当所述可移动物体在所述环境内航行时被记录的。当所述可移动 物体在所述环境内航行时，可W实时地记录所述多个航点。或者，当所述可移动物体在所述 环境内航行时，可W按预定时间间隔记录所述多个航点。可W将所述多个航点储存在列表 数据结构中。
[0011] 在一些实施方式中，生成所述信号W使所述可移动物体沿着所述路径移动可W包 括：检测所述环境中沿着所述路径定位的障碍物；修改所述路径W便避开所述障碍物；W 及生成信号W使所述可移动物体沿着经修改的路径移动。
[0012] 在另一方面，提供了一种用于在环境内控制可移动物体的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用所述多个传感器中的至少一个传感器来确定所述可移 动物体的初始位置；生成第一信号，该第一信号使所述可移动物体在所述环境内航行；使 用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；基于所述感 测数据，生成表示所述环境的至少一部分的环境地图；接收返航至所述初始位置的指令； W及基于所述环境地图生成第二信号，该第二信号使所述可移动物体航行W返航至所述初 始位置。
[0013] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：生 成第一信号W使所述无人飞行器在所述环境内航行；使用由所述无人飞行器携带的多个传 感器来接收关于所述环境的至少一部分的感测数据；基于所述感测数据，生成表示所述环 境的所述至少一部分的环境地图；使用所述环境地图来检测位于所述环境的所述部分中的 一个或多个障碍物；W及使用所述环境地图来生成第二信号W使所述无人飞行器航行，W 便避开所述一个或多个障碍物。
[0014] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0015] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0016] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。所述感测数 据可W包括相对于多个不同坐标系的数据，并且生成所述环境地图包括将所述数据映射到 单一坐标系上。
[0017] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0018] 在一些实施方式中，基于从与所述无人飞行器通信的远程终端接收到的指令来生 成所述第一信号。所述指令可W由用户输入到所述远程终端中。或者，所述第一信号可W 由所述无人飞行器自主生成。
[0019] 在一些实施方式中，所述感测数据包括相对于多个不同坐标系的数据，并且生成 所述环境地图包括将所述数据映射到单一坐标系上。生成所述第一信号可W包括为所述无 人飞行器生成的飞行路径，并且生成所述第二信号可W包括基于所述环境地图来修改所述 飞行路径，W便避开所述一个或多个障碍物。所述飞行路径可被配置用于将所述无人飞行 器从当前位置引导至先前位置。
[0020] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括：由 所述无人飞行器携带的多个传感器W及一个或多个处理器。所述一个或多个处理器可被单 个地或共同地配置用于：生成第一信号W使所述无人飞行器在所述环境内航行；使用由所 述无人飞行器携带的多个传感器来接收关于所述环境的至少一部分的感测数据；基于所述 感测数据，生成表示所述环境的所述至少一部分的环境地图；使用所述环境地图来检测位 于所述环境的所述部分中的一个或多个障碍物；W及使用所述环境地图来生成第二信号W 使所述无人飞行器航行，W便避开所述一个或多个障碍物。
[0021] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：从 第一传感器接收关于所述环境的第一感测信号，并从第二传感器接收关于所述环境的第二 感测信号，其中所述第一传感器和第二传感器是不同的传感器类型，并且其中所述第一传 感器和第二传感器由无人飞行器携带；使用所述第一感测信号来生成第一环境地图并使用 所述第二感测信号来生成第二环境地图，所述第一环境地图和第二环境地图各自包括所述 环境的障碍物占据信息；W及组合所述第一环境地图和第二环境地图，从而生成包含所述 环境的障碍物占据信息的最终环境地图。
[0022] 在一些实施方式中，所述方法进一步包括至少部分基于所述最终环境地图中的障 碍物占据信息，生成信号W使所述无人飞行器在所述环境内航行。
[0023] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0024] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[00巧]在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[00%] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0027] 在一些实施方式中，相对于第一坐标系提供所述第一环境地图并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二环境地图。所述第一坐标系可W是全局坐标系 而所述第二坐标系可W是局部坐标系。组合所述第一环境地图和第二环境地图可W包括将 所述第一环境地图和第二环境地图转换至单一坐标系。
[0028] 在一些实施方式中，所述第一传感器的感测范围不同于所述第二传感器的感测范 围。
[0029] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统包括： 第一传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第一感测信 号；第二传感器，其由所述无人飞行器携带并且被配置用于生成关于所述环境的第二感测 信号，所述第二传感器和所述第一传感器是不同的传感器类型；W及一个或多个处理器。所 述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测信号和第二感测信 号；使用所述第一感测信号来生成第一环境地图并使用所述第二感测信号来生成第二环境 地图，所述第一环境地图和第二环境地图各自包含所述环境的障碍物占据信息；W及组合 所述第一环境地图和第二环境地图，从而生成包含所述环境的障碍物占据信息的最终环境 地图。
[0030] 在另一方面，提供了一种用于在环境内控制无人飞行器的方法。所述方法包括：使 用由所述无人飞行器携带的多个传感器中的至少一个传感器来确定所述无人飞行器的初 始位置；生成第一信号W使所述无人飞行器在所述环境内航行；使用所述多个传感器中的 所述至少一个传感器来接收关于所述环境的感测数据；接收返航至所述初始位置的指令； W及生成第二信号W使所述无人飞行器沿着路径返航至所述初始位置，其中当所述多个传 感器中的所述至少一个传感器检测到位于沿着所述路径的所述环境中的障碍物时，修改所 述路径W避开所述障碍物。
[0031] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0032] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0033] 在一些实施方式中，所述多个传感器可W包括全球定位系统（GP巧传感器、视觉 传感器或距离传感器。所述距离传感器可W包括W下至少一种：激光雷达传感器、超声传感 器或飞行时间相机传感器。所述多个传感器可W包括多种不同的传感器类型。
[0034] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0035] 在一些实施方式中，所述路径包括由所述可移动物体先前行进过的一个或多个部 分。所述路径可W不同于由所述可移动物体先前行进过的路径。可选地，所述路径可W是 所述可移动物体的飞行路径。所述路径可W包括所述可移动物体的空间位置和定向。
[0036] 在另一方面，提供了一种用于在环境内控制无人飞行器的系统。所述系统可W包 括：由所述可移动物体携带的多个传感器W及一个或多个处理器。所述一个或多个处理器 可被单个地或共同地配置用于：使用由所述无人飞行器携带的多个传感器中的至少一个传 感器来确定所述可移动物体的初始位置；生成第一信号W使所述无人飞行器在所述环境内 航行；使用所述多个传感器中的所述至少一个传感器来接收关于所述环境的感测数据；接 收返航至所述初始位置的指令；W及生成第二信号W使所述无人飞行器沿着路径返航至所 述初始位置，其中当所述多个传感器中的所述至少一个传感器检测到位于沿着所述路径的 所述环境中的障碍物时，修改所述路径W避开所述障碍物。
[0037] 在另一方面，提供了一种用于生成环境的地图的方法。所述方法包括：从由无人飞 行器携带的一个或多个视觉传感器接收第一感测数据，所述第一感测数据包含所述环境的 深度信息；从由所述无人飞行器携带的一个或多个距离传感器接收第二感测数据，所述第 二感测数据包含所述环境的深度信息；W及使用所述第一感测数据和第二感测数据来生成 包含所述环境的深度信息的环境地图。
[0038] 在一些实施方式中，所述第一感测数据和第二感测数据各自包括具有多个像素的 至少一个图像，所述多个像素中的每个像素与二维图像坐标和深度值相关联。所述多个像 素中的每个像素可W与色值相关联。所述第一感测数据和第二感测数据可W各自包含所述 环境中的一个或多个物体的轮廓信息。
[0039] 在一些实施方式中，所述方法进一步包括：至少部分地基于所述环境地图中的深 度信息，生成信号W使所述无人飞行器在所述环境内导航。
[0040] 在一些实施方式中，所述无人飞行器是旋翼航空器。所述无人飞行器可W不超过 IOkg重。所述无人飞行器的最大尺寸可W不超过1.5m。所述无人飞行器可被配置用于在 不超过400m的高度上飞行。可选地，所述无人飞行器可被配置用于检测限制飞行区域的存 在，并且不在所述限制飞行区域的预定距离内飞行。所述限制飞行区域可W是机场。
[0041] 在一些实施方式中，所述环境可W是室内环境或低空环境。
[0042] 在一些实施方式中，所述一个或多个视觉传感器仅包括一个相机。或者，所述一个 或多个视觉传感器可W包括两个或更多个相机。所述一个或多个距离传感器可W包括至少 一个超声传感器或至少一个激光雷达传感器。所述第一感测数据可W包括第一组深度图 像而所述第二感测数据可W包括第二组深度图像。生成所述环境地图可W包括：辨别存在 于所述第一组深度图像中的第一多个特征点；辨别存在于所述第二组深度图像中的第二多 个特征点，所述第二多个特征点中的每个特征点对应于所述第一多个特征点中的一个特征 点；确定所述第一多个特征点与第二多个特征点之间的对应；W及基于所述对应，通过组 合所述第一组深度图像和第二组深度图像而生成所述环境地图。
[0043] 在一些实施方式中，相对于第一坐标系提供所述第一感测数据并且相对于与所述 第一坐标系不同的第二坐标系提供所述第二感测数据。生成所述环境地图可W包括相对于 第=坐标系来表示所述第一感测数据和第二感测数据。所述第=坐标系可W是所述第一坐 标系或所述第二坐标系。或者，所述第=坐标系可W不同于所述第一坐标系和所述第二坐 柄系。
[0044] 在一些实施方式中，所述环境地图可W包括拓扑地图或尺度地图。所述尺度地图 可W包括W下至少一种：点云、3D网格地图、2D网格地图或2.抓网格地图。可选地，所述尺 度地图可W包括占据网格地图。
[0045] 在另一方面，提供了一种用于生成环境的地图的系统。所述系统可W包括：一个或 多个视觉传感器，其由无人飞行器携带并且被配置用于生成第一感测数据，所述第一感测 数据包含所述环境的深度信息；一个或多个距离传感器，其由所述无人飞行器携带并且被 配置用于生成第二感测数据，所述第二感测数据包含所述环境的深度信息；W及一个或多 个处理器。所述一个或多个处理器可被单个地或共同地配置用于：接收所述第一感测数据 和第二感测数据；W及使用所述第一感测数据和第二感测数据来生成包含所述环境的深度 信息的环境地图。
[0046] 应当明白，本发明的不同方面可W被单独地、共同地或彼此结合地理解。本文所描 述的本发明的各个方面可W适用于下文阐述的任何特定应用或者适用于任何其他类型的 可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。 另外，本文在空中运动（例如，飞行）的情景下公开的系统、设备和方法还可W适用于其他 类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此外， 本文对旋翼或旋翼总成的任何描述均可适用于和用于任何被配置用于通过旋转而生成推 进力的推进系统、设备或机构（例如，螺旋奖、轮子、轮轴）。
[0047] 通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易 见。
[0048] 操引并入
[0049] 本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程 度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
【附图说明】
[0050] 在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本 发明原理的说明性实施方式加 W阐述的W下详细描述和附图，将会对本发明的特征和优点 获得更好的理解；在附图中：
[0051] 图IA图示了根据实施方式中的在户外环境中操作的UAV ;
[0052] 图IB图示了根据实施方式中的在室内环境中操作的UAV ;
[0053] 图2A图示了根据实施方式中的用于使用传感器融合来估计UAV姿态的方案；
[0054] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案；
[0055] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方 案；
[0056] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境地图的方法；
[0057] 图4图示了根据实施方式中的用于使用不同传感器类型来进行环境地图构建的 方法；
[005引图5图示了根据实施方式中的用于控制UAV W躲避障碍物的方法；
[0059] 图6图示了根据实施方式中的用于控制UAV W返航至初始位置的方法；
[0060] 图7图示了根据实施方式中的用于控制UAV在避开障碍物的同时返航至初始位置 的方法；
[0061] 图8A和图8B图示了根据实施方式中的用于使用航点来控制UAV W返航至初始位 置的算法；
[0062] 图9A和图9B图示了根据实施方式中的用于使用拓扑地图来控制UAV W返航至目 标位置的算法；
[0063] 图10图示了根据实施方式中的UAV ;
[0064] 图11图示了根据实施方式中的包括载体和载荷的可移动物体；W及 阳0化]图12图示了根据实施方式中的用于控制可移动物体的系统。
【具体实施方式】
[0066] 本公开内容提供了用于控制诸如无人飞行器OJAV)等可移动物体的系统和方法。 在一些实施方式中，UAV可适于携带被配置用于收集环境数据的多个传感器。其中的一些