W 按拓扑描绘，而其他部分可W按尺度描绘。
[0091] 可W W任何合适的格式提供环境地图。例如，可W作为具有表示位置的顶点和表 示位置之间的路径的边的图表来提供拓扑环境地图。拓扑环境地图的边可W与对应路径 的距离信息相关联。尺度环境地图可W是描绘环境位置和物体的空间坐标的任何表示，如 点云、拓扑地图、2D网格地图、2. 5D网格地图或3D网格地图。所述空间坐标可W是3D坐标 (例如，x、y和Z坐标），其表示环境物体的表面上的点的空间位置。在一些实施方式中，尺 度环境地图可W是占据网格地图。占据网格地图可W将环境表示成多个容积体。所述体积 可W具有相同的大小或者具有不同的大小。占据网格地图可W针对每个体积指示出该体积 是否基本上被障碍物占据，从而提供对环境内被阻挡的和未被阻挡的空间的精确表示。
[0092] 可W使用任何合适的方法来生成本文所描述的环境地图。例如，环境地图的一个 或多个部分可W在UAV操作期间（例如，飞行期间）生成，诸如通过使用同时定位与地图构 建（SLAM)或者其他机器人地图构建技术来生成。或者，可W在UAV操作之前生成所述地 图的一个或多个部分，并在飞行之前或飞行期间将其提供给UAV(例如，从远程计算系统传 输）。可W基于由UAV在飞行期间获取的数据来修改运样的地图，从而提供对地图数据的进 一步精化。
[0093] 在一些实施方式中，可W使用传感器融合来执行环境地图构建，W组合由多个传 感器类型收集到的环境信息。该方法可W有利于补偿单个传感器类型的局限性。例如，当 UAV处于室内环境中时，GI^感测数据可W是不准确的或者不可用的。视觉传感器可能未针 对检测透明物体（例如，玻璃）或者针对相对较暗的环境（例如，夜间）而优化。在一些实 施方式中，相比于其他传感器类型，激光雷达传感器可能具有相对较短的检测范围。本文所 描述的多传感器融合的使用可W在多样化环境类型和操作条件下提供准确的地图构建，从 而提高UAV操作的稳健性和灵活性。
[0094] 图3A图示了根据实施方式中的用于使用传感器融合来进行环境地图构建的方案 300。方案300可W用于生成本文所描述的环境地图的任何实施方式。在方案300中，感测 数据从多个传感器302接收。所述多个传感器302可W包括一种或多种不同的传感器类型。 传感器302可由UAV携带，例如，禪合至UAV的机身。可选地，可W对来自每个传感器302 的感测数据进行预处理，W通过滤波、降噪、图像崎变校正等来提高数据质量。在一些实施 方式中，可W相对于相应的坐标系来表示由每个传感器302提供的感测数据（例如，基于相 对于UAV机身的传感器位置和方向）。因此，可W通过将所有的感测数据转换至单一坐标系 304中而组合来自每个传感器的感测数据。例如，可W将相对于局部坐标系提供的感测数据 转换至全局坐标系，或者反之亦然。坐标系转换304可W基于传感器校准数据306而得W 完成。可W使用任何合适的技术来执行传感器校准，并且可W在UAV的操作之前（离线校 准）或者在UAV的操作期间（在线校准）执行。在一些实施方式中，传感器校准设及确定 传感器302的外部参数，诸如每个传感器302之间的空间关系（例如，相对位置和方向）。 继而可W基于所确定的传感器参数，来确定用于将感测数据转化至单一坐标系中的转换计 算。
[00巧]在坐标系转换304之后，继而可W使用传感器融合308来组合经转换的感测数据 W获取单一感测结果。可W使用各种技术来执行传感器融合，诸如卡尔曼滤波（例如，卡尔 曼滤波器、扩展卡尔曼滤波器、无迹卡尔曼滤波器）、粒子滤波或者本领域技术人员已知的 其他滤波技术。所使用的方法可W根据所使用的传感器的特定组合和类型而有所变化。在 一些实施方式中，传感器融合308可W利用来自所有传感器302的感测数据。相反地，传感 器融合308可W利用仅来自传感器302的子集的数据。后一种方法可W有利于忽略不充分 的或不可靠的传感器数据（例如，当UAV在室内时的GI^感测数据）。经融合的感测数据继 而可W用于环境地图生成310。
[0096] 可W基于来自传感器的任何合适组合的感测数据，来执行环境地图构建。例如， 在一些实施方式中，本文所描述的地图构建方法由携带激光雷达传感器和视觉传感器（例 如，诸如单相机等单目视觉传感器）的UAV来执行。激光雷达传感器可W用于获取环境物 体相对于UAV的距离数据，而视觉传感器可W用于捕捉周围环境物体的图像数据。用于激 光雷达和视觉传感器的传感器校准数据可W包括指示出激光雷达与视觉传感器之间的空 间关系的传感器参数。例如，对于由激光雷达传感器确定为距UAV为距离Mi,并且对应于由 视觉传感器捕捉的图像数据中的坐标Hii处的环境物体，Hii与Mi之间的关系可W由下式表 示：
[0097] SiIIii=K(Rit)Mi
[0098] 其中R为旋转矩阵，t为变换矩阵，Si为未知标量，并且K为视觉传感器的内部矩 阵（由先前的校准所确定的内部参数）。在上述方程中，Ml、Hii和K是已知的，而R和t是 未知的。如果已经进行了 N次测量，则由于R和t是恒定的（激光雷达传感器和视觉传感 器的相对位置和方向是固定的），因此问题是n点透视（PN巧问题并且可W使用本领域技术 人员已知的技术来求解，W便获得传感器参数R和t。
[0099] 一旦已经获取传感器校准数据，则可W将激光雷达感测数据和视觉感测数据转换 至同一坐标系（"世界"坐标系）中：
[0100] JW =化JV,巧化 0)巧，(知化，(祖)巧，…！。 阳101] X"为相对于世界坐标系的数据（其对应于本实施方式中的视觉传感器坐标系）， X?"为相对于世界坐标系的视觉感测数据，为相对于视觉传感器坐标系的视觉感测数 据，Zf为相对于世界坐标系的激光雷达感测数据，Xf为相对于激光雷达传感器坐标系的 激光雷达感测数据，并且献呀日t 为用于在视觉传感器坐标系与激光雷达传感器坐标系之 间进行转换的旋转矩阵和变换矩阵（对应于上述R和t)。E为对角矩阵 阳 102]
阳103] 其中S为未知的比例因子。
[0104] 继而可W使用传感器融合技术来组合经转换的感测数据。例如，相对于视觉坐标 系的视觉感测数据与相对于世界坐标系的视觉感测数据义之间的关系可W由下式表 示：
[0105] 邱' =S巧。
[0106] 使用激光雷达感测数据，可W获取沿着激光雷达传感器的感测方向CZf 上最 靠近UAV的点（表示为点i)。因此，由于
[0107] 織=牌Of =公脚),. 阳1〇8]并且巧f 和(巧）f是已知的（由于=巧肌，t肌)巧），可W确定S的 值。因此，局部传感器数据Zf和又f可W转换成相应的世界坐标《f和并且融合W生 成单一结果X"。经融合的数据继而可W用于生成UAV周围环境的地图。
[0109] 图3B图示了根据实施方式中的用于使用传感器融合来生成环境的地图的方法 350。方法350可W由本文提供的任何系统和设备来执行，诸如由UAV的一个或多个处理器 来执行。
[0110] 在步骤360中，从一个或多个视觉传感器接收第一感测数据，所述第一感测数据 包括环境的深度信息。例如，视觉传感器可W仅包括一个相机（单目视觉传感器）。或者， 视觉传感器可W包括两个（双目视觉传感器）或更多个相机。视觉传感器可W由UAV携带， 诸如由UAV机身携带。在使用多个视觉传感器的实施方式中，每个传感器可W位于UAV的 不同部分上，并且由每个传感器收集到的图像数据之间的视差可W用于提供环境的深度信 息。本文中可W使用深度信息来指代关于一个或多个物体距UAV和/或传感器的距离的信 息。在使用单一视觉传感器的实施方式中，可W通过捕捉针对视觉传感器多个不同位置和 方向的图像数据并继而使用合适的图像分析技术（例如，运动中恢复结构）重建深度信息， 来获取深度信息。 阳111] 在步骤370中，从一个或多个距离传感器接收第二感测数据，所述第二感测数据 包括环境的深度信息。距离传感器可W包括至少一个超声传感器（例如，广角传感器、阵列 传感器）和/或至少一个激光雷达传感器。在一些实施方式中，相比于其他类型的超声传 感器，超声阵列传感器可W提供更好的检测准确度。距离传感器也可W由UAV携带。距离 传感器可W位于视觉传感器附近。可选地，距离传感器可W位于UAV的与用于携带视觉传 感器的部分不同的部分上。
[0112] 在步骤380中，使用第一感测数据和第二感测数据来生成包括环境的深度信息 的环境地图。如本文所描述，第一感测数据和第二感测数据可W各自包括环境的深度信 息。可选地，第一感测数据和第二感测数据还可W包括环境中的一个或多个物体的轮廓信 息。本文中可W使用轮廓信息来指代关于环境物体的外形、轮廓或边缘的信息。由一个或 多个距离传感器生成的感测数据可供作为像素深度图，同时可W使用诸如运动中恢复结构 (structure from motion)、结构光法（structured light)、光片（sheet of light)、飞行 时间或者立体视觉视差映射等技术从由一个或多个视觉传感器收集到的图像数据中提取 深度信息。在一些实施方式中，第一感测数据和第二感测数据各自包括至少一个具有多个 像素的图像，每个像素关联于2D图像坐标（例如，X和y坐标）、深度值（例如，对应于像素 的环境物体与UAV和/或传感器之间的距离）和/或色值（例如，RGB色值）。运样的图像 在本文中可称为深度图像。
[0113] 考虑到融合过程期间每种类型的感测数据的相对可靠性和准确度，可W在空间上 对准并组合与每组感测数据相关联的深度信息（例如，使用合适的传感器融合方法，诸如 卡尔曼滤波）W便生成包括深度信息（例如，3D环境表示，诸如占据网格地图）的地图。在 一些实施方式中，环境地图的生成可W设及辨别存在于由视觉传感器提供的一组深度图像 中的多个特征点、辨别存在于由距离传感器提供的一组深度图像中的对应的多个特征点、 W及确定所述的多个特征点之间的对应。所述对应可W包括关于可适用于将距离深度图像 映射至视觉深度图像上或者反之亦然的一种或多种变换（例如，平移、旋转、缩放）的信息。 继而可W基于运样的对应来组合所述深度图像，W便生成环境地图。备选地或组合地，可W 相对于不同坐标系提供第一感测数据和第二感测数据，并且可W通过在同一坐标系中表示 第一感测数据和第二感测数据来生成环境地图。该坐标系可W是与第一感测数据相关联的 坐标系、与第二感测数据相关联的坐标系或者完全不同的坐标系。一旦已经生成环境地图， 则可W基于该环境地图中所包含的深度信息而在环境内导航UAV。
[0114] 本文所描述的距离感测和视觉感测的组合可W补偿单个传感器类型的局限性，从 而提高地图生成的准确度。例如，视觉传感器可W产生相对较高分辨率的彩色图像，但是当 使用单目相机时或者当双目相机的距离相对较小时（例如当相机安装在小型UAV上时可能 发生），可能相对难W从图像数据中获取准确的深度数据。另外，当照明很亮或者具有高对 比度时，或者在不利的环境条件下（诸如雨、雾或烟雾），视觉传感器可能无法提供符合要 求的图像数据。相反地，诸如超声传感器等距离传感器可W提供准确的深度数据，但是相比 于视觉传感器可能具有较低的分辨率。并且，在一些情况下，超声传感器和其他距离传感器 类型可能无法检测具有小反射面的物体（例如，细枝、角落、栏杆）或吸收性物体（例如，地 毯），或者可能无法在具有许多物体的复杂环境（例如，室内环境）中分辨距离。然而，视觉 感测数据一般可W作为距离感测数据的补充，运是因为在距离传感器正在生成并非最优数 据的情况下，视觉传感器能够产生可靠的数据，并且反之亦然。因此，视觉传感器和距离传 感器的组合使用可W用于在多种操作条件下并且针对多样类型的环境生成准确的环境地 图。
[0115] 图4图示了根据实施方式中的用于使用不同的传感器类型来进行环境地图构建 的方法400。与本文所公开的所有方法一样，方法400可W使用本文介绍的系统和设备的任 何实施方式来实践，诸如由UAV机上携带的一个或多个处理器来实践。另外，与本文所公开 的所有方法一样，方法400的任何步骤均可与本文其他方法的任何步骤相结合或者由其所 替代。
[0116] 在步骤410中，从由UAV携带的第一传感器接收第一感测信号。第一感测信号可W 包含UAV正在操作的所在环境有关的信息，诸如指示出环境物体（例如，障碍物）的位置和 几何结构的环境数据。类似地，在步骤420中，从由UAV携带的第二传感器接收第二信号。 在一些实施方式中，第一传感器和第二传感器可W是不同的传感器类型，包括前文所描述 的任何传感器类型（例如，激光雷达传感器和视觉传感器、超声传感器和视觉传感器等）。
[0117] 在步骤430中，使用第一感测信号来生成第一环境地图，该第一环境地图包括环 境的占据信息。在步骤440中，使用第二感测信号来生成第二环境地图，该第二环境地图包 括环境的占据信息。第一环境地图和第二环境地图可W分别包括环境的障碍物占据信息， W使得所述环境地图可W用于确定障碍物相对于UAV的位置。例如，第一环境地图和第二 环境地图可W是占据网格地图或者包含关于环境内被阻挡和未被阻挡的空间的信息的任 何其他地图类型。
[0118] 可选地，第一环境地图可W表示不同于第二环境地图的环境部分。例如，第一环境 地图可W表示相对靠近UAV的环境部分，而第二环境地图可W表示相对远离UAV的环境部 分。在一些实施方式中，可W使用不同的感测信号来生成跨越环境的不同部分的地图。对 于所要用于生成不同地图的信号的选择可W基于任何合适的准则，诸如针对所述环境的特 定部分的第一感测信号和第二感测信号的相对信号质量和/或准确度。感测数据的质量和 准确度可取决于每个传感器的具体特性，并且可根据环境类型（例如，室内、户外、低空、高 空）、天气状况（例如，晴朗、下雨、有雾）、感测到的环境物体的相对位置（例如，近距离、远 距离）W及感测到的环境物体的性质（例如，透明度、反射率、吸收率、形状、大小、材料、移 动性等）而有所变化。例如，第一传感器在近距离上可能比第二传感器更准确，而第二传感 器在远距离上可能比第一传感器更准确。因此，第一传感器可W用于生成相对靠近UAV的 环境部分的地图，而第二传感器可W用于生成相对远离UAV的环境部分的地图。备选地或 组合地，对信号的选择可W基于所述环境部分是否位于对应的传感器的感测范围内。该方 法在第一传感器和第二传感器具有不同感测范围的实施方式中可能是有利的。例如，近距 离传感器可W用于生成相对靠近UAV的环境部分的地图，而远距离传感器可W用于生成相 对远离UAV的、处于近距离传感器的范围之外的部分的地图。
[0119] 在步骤450中，组合第一环境地图和第二环境地图，从而生成包含环境的占据信 息的最终环境地图。可W使用本文所描述的传感器融合技术来组合环境地图。在相对于不 同坐标系（例如，局部坐标系和全局坐标系）提供感测信号的实施方式中，地图部分的生成 可W设及将所述两个感测信号转换至单一的坐标系中，W便对准相应的环境数据，从而产 生最终环境地图。随后，UAV可W基于最终环境地图而在该环境内导航行。例如，UAV可W 至少部分地基于在最终环境地图中所表示的障碍物占据信息来航行，W便避免碰撞。UAV可 由用户、由自动化控制系统或者其合适的组合来导航。下文进一步详述了基于环境地图数 据的UAV导航的附加示例。
[0120] 虽然W上步骤示出了根据实施方式的环境地图构建的方法400,但本领域普通技 术人员将会认识到基于本文所描述的教导的许多变体。一些步骤可W包括子步骤。在一些 实施方式中，可W根据需要（例如，连续地或者W预定的时间间隔）重复方法400的步骤， W使得所产生的环境地图随着UAV在环境内导航而得W更新和精化。运样的实时地图构建 方法可W使得UAV能够快速地检测环境物体并适应于变化的操作条件。 阳121] 本文所描述的传感器融合方法可适用于各种类型的UAV功能，包括导航、物体识 别和避障。在一些实施方式中，使用传感器融合结果而获得的环境数据可W用于通过提供 准确的位置信息W及关于潜在障碍的信息来提高UAV操作的稳健性、安全性和灵活性。可 W将环境数据提供给用户（例如，经由遥控器或终端、移动设备或者其他用户设备），W便 为用户对UAV的手动控制提供信息。备选地或组合地，环境数据可W用于半自主或全自主 控制系统W引导UAV的自动化飞行。
[0122] 例如，本文所公开的实施方式可W用于执行避障机动，W便防止UAV与环境物体 相碰撞。在一些实施方式中，障碍物检测和避障可W是自动化的，从而提高UAV的安全性并 减少用户对于避免碰撞的责任。对于缺乏经验的操作者W及在用户不能轻易察觉到UAV附 近障碍物的存在的情况下，运样的方法可W是有利的。另外，自动化避障的实现可W降低与 半自主或全自主UAV导航相关联的安全风险。此外，本文所描述的多传感器融合技术可W 用于生成更准确的环境表示，从而提高运样的自动化防撞机制的可靠性。 阳123] 图5图示了根据实施方式中的用于控制UAV W避开障碍物的方法500。方法500 可由UAV携带的一个或多个处理器来实现。如前文所述，方法500可W是完全自动化的或 者至少部分地自动化的，从而提供自动障碍物检测和避障能力。
[0124] 在步骤510中，生成第一信号W使UAV在环境内导航。第一信号可W包括针对UAV 的推进系统（例如，旋翼）的控制信号。可W基于输入到远程终端或其他用户设备中并于 随后传输至UAV的用户命令来生成第一信号。或者，第一信号可由UAV(例如，自动化机载 控制器）自主地生成。在一些情况下，可W利用来自用户输入W及自动化路径确定机制的 贡献而半自主地生成第一信号。例如，用户可W指示出UAV的一系列航点，而该UAV可W自 动计算飞行路径W穿过所有航点。
[0125] 在一些实施方式中，飞行路径可W为UAV指示出一系列期望的位置和/或方向 (例如，关于多达六个自由度）。例如，飞行路径可W至少包括UAV的初始位置和目标位置。 可选地，飞行路径可被配置用于将UAV从当前位置引导至先前位置。又例如，飞行路径可W 包括UAV的目标飞行方向。在一些实施方式中，指令可W指定UAV的速度和/或加速度（例 如，关于多达六个自由度），W使其沿着飞行路径移动。
[01%] 在步骤520中，使用多个传感器来接收关于环境的至少一部分的感测数据。所述 多个传感器可W包括不同类型的传感器（例如，视觉、激光雷达、超声、GI^等）。感测数据 可W包含关于障碍物和/或其他环境物体的位置和特性的信息。例如，感测数据可W包含 距离信息，该距离信息指示出UAV到附近障碍物的距离。可选地，感测数据可W包含与沿着 UAV的飞行路径的环境的部分（诸如与飞行路径重叠或者靠近飞行路径的部分）有关的信 息。
[0127] 在步骤530中，基于感测数据来生成表示环境的至少一部分的环境地图。该环境 地图可W是局部地图，其表示紧靠 UAV周围的环境部分（例如，距UAV约2m、5m、10m、15m、 20m、25m或50m的半径内）。或者，环境地图可W是全局地图，其还表示相对远离UAV的环 境部分（例如，距 UAV约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、 1000m、2000m或5000m的半径内）。如前文所述，可W基于在步骤510中使用的传感器的 有效范围来确定环境地图的大小。在一些实施方式中，可W使用前文所描述的基于传感器 融合的方法（例如，方案300和/或方法400)来产生环境地图。例如，感测数据可W包括 相对于多个不同坐标系的数据，并且环境地图生成可W设及将所述数据映射到单一坐标系 上，W便促进感测数据的融合。
[0128] 在步骤540中，使用环境地图来检测位于环境的所述部分中的一个或多个障碍 物。可W使用各种策略，诸如通过特征提取或模式识别技术等，来执行从地图信息的障碍物 检测。可选地，可W执行合适的机器学习算法W完成障碍物检测。在一些实施方式中，如果 环境地图是占据网格地图，则可W通过检测占据网格地图中被连续占据的体积来辨别障碍 物。障碍物检测结果可W提供关于每个障碍物的位置、方向、大小、距离和/或类型的信息， W及结果的对应置信度信息。可W分析地图W辨别对UAV构成碰撞风险的障碍物（例如， 位于沿着或靠近飞行路径处的障碍物）。
[0129] 在步骤550中，使用环境地图来生成第二信号W使UAV航行，W便避开所