传感器可W是不同类型（例如，与距离传感器组合使用的视觉传感器）。由所述多个传感 器获取的数据可W组合W生成表示周围环境的环境地图。在一些实施方式中，环境地图可 W包括关于环境中物体（诸如物体或障碍物）位置的信息。UAV可W使用所生成的地图来 执行各种操作，其中一些可W是半自动化的或全自动化的。例如，在一些实施方式中，环境 地图可W用于自动为UAV确定一个飞行路径，W从其当前位置航行至目标位置。又例如，环 境地图可W用于确定一个或多个障碍物的空间排列，并从而使得UAV能够执行避障机动。 有利地，如本文所公开的用于收集环境数据的多种传感器类型的使用可W提高环境地图构 建的准确度，即使是在多样化的环境和操作条件下亦如此，从而增强诸如导航和避障等UAV 功能性的稳健性和灵活性。
[0067] 本文提供的实施方式可适用于各种类型的UAV。例如，UAV可W是不超过IOkg重 和/或具有不超过1. 5m的最大尺寸的小型UAV。在一些实施方式中，UAV可W是旋翼航空 器，诸如由多个螺旋奖推动W在空中移动的多旋翼航空器（例如，四轴飞行器）。下文进一 步详述了适合随本文介绍的实施方式一起使用的UAV和其他可移动物体的附加示例。
[0068] 本文所描述的UAV可W完全自主地（例如，通过诸如机载控制器等合适的计算系 统）、半自主地或者手动地（例如，由人类用户）操作。UAV可W从合适的实体（例如，人 类用户或自主控制系统）接收命令并通过执行一个或多个动作来响应运样的命令。例如， 可W控制UAV从地面起飞、在空中移动（例如，W多达=个平移自由度和多达=个旋转自由 度）、移动至目标位置或一系列目标位置、在空中悬停、降落在地面上等。又例如，可W控制 UAV W指定速度和/或加速度（例如，W多达S个平移自由度和多达S个旋转自由度）或者 沿着指定移动路径移动。此外，所述命令可W用于控制一个或多个UAV部件，诸如本文所描 述的部件（例如，传感器、致动器、推进单元、载荷等）。例如，一些命令可W用于控制诸如相 机等UAV载荷的位置、方向和/或操作。可选地，UAV可被配置用于根据一个或多个预定操 作规则来操作。所述操作规则可W用于控制UAV的任何合适的方面，诸如UAV的位置（例 如，缔度、经度、高度）、方向（例如，横滚、俯仰、偏航）、速度（例如，平移和/或角度）和/ 或加速度（例如，平移和/或角度）。例如，可W设计操作规则W使得不允许UAV飞到阔值 高度之外，例如，UAV可被配置成在距地面不超过400m的高度上飞行。在一些实施方式中， 操作规则可适于提供自动化机制，用于提高UAV的安全性并防止安全事故。例如，UAV可被 配置用于检测限制飞行区域（例如，机场）并且不在该限制飞行区域的预定距离内飞行，从 而避免与飞行器和其他障碍物的潜在碰撞。 W例现转到附图，图IA图示了根据实施方式中的在户外环境100中操作的UAV 102。 户外环境100可W是城市、郊区或乡村环境或者是不至少部分地位于建筑物内的任何其他 环境。UAV 102可W相对靠近地面104(例如，低空）或者相对远离地面104(例如，高空） 而操作。例如，在距地面小于或等于约IOm处操作的UAV 102可被认为是在低空，而在距地 面大于或等于约IOm处操作的UAV 102可被认为是在高空。
[0070] 在一些实施方式中，户外环境100包括一个或多个障碍物108a-障碍物108d。障 碍物可W包括可阻碍UAV 102移动的任何物体或实体。一些障碍物（例如，障碍物108a、 108d)可能位于地面104上，诸如建筑物、地面载具（例如，轿车、摩托车、卡车、自行车）、人 类、动物、植物（例如，树木、灌木）和其他人造或自然构造物。一些障碍物可能与地面104、 水、人造构造物或自然构造物相接触和/或由其所支撑。或者，一些障碍物（例如，障碍物 108b、108c)可能完全位于空中106,包括飞行器（例如，飞机、直升机、热气球、其他UAV)或 鸟类。空中障碍物可能不由地面104或由水或由任何自然或人造构造物所支撑。位于地面 104上的障碍物可能包括显著延伸至空中106的部分（例如，高层建筑物诸如塔、摩天大楼、 灯柱、无线电发射塔、输电线、树木等）。 阳071] 图IB图示了根据实施方式中的在室内环境150中操作的UAV 152。室内环境150 位于建筑物154的内部中，其具有地板156、一面或多面墙壁158 W及/或者天花板或屋顶 160。示例性建筑物包括住宅、商业或工业建筑物，诸如房屋、公寓、办公楼、生产设施、仓储 设施等。建筑物154的内部可由地板156、墙壁158和天花板160完全封闭，使得UAV 152 被约束到室内空间。相反地，可能不存在地板156、墙壁158或天花板160中的至少一个，从 而使得UAV 152能够从内部飞到外部，或者反之亦然。备选地或组合地，在地板156、墙壁 158或天花板160中可能形成一个或多个缺口 164(例如，n、窗、天窗）。
[0072] 类似于户外环境100,室内环境150可能包含一个或多个障碍物162a-障碍物 162d。一些障碍物可能位于地板156上（例如，障碍物162a)，诸如家具、电器用具、人类、动 物、植物或者其他人造物体或自然物体。相反地，一些障碍物可能位于空中（例如，障碍物 16化），诸如鸟类或其他UAV。室内环境150中的一些障碍物可由其他构造物或物体所支撑。 障碍物还可附着于天花板160 (例如，障碍物162c)，诸如灯具、吊扇、屋梁或其他安装在天 花板上的电器用具或构造物。在一些实施方式中，障碍物可能附着于墙壁158(例如，障碍 物162d)，诸如灯具、搁架、楓柜或其他安装在墙壁上的电器用具或构造物。值得注意的是， 建筑物154的构造物组件也可被认为是障碍物，包括地板156、墙壁158和天花板160。
[0073] 本文所描述的障碍物可能是基本上静止的（例如，建筑物、植物、构造物）或者是 基本上移动的（例如，人类、动物、载具，或者其他能够移动的物体）。一些障碍物可能包括 静止组件和移动组件的组合（例如，风车）。移动障碍物或障碍物组件可W根据预定的或 可预测的路径或模式而移动。例如，轿车的移动可能是相对可预测的（例如，根据道路的形 状）。或者，一些移动障碍物或障碍物组件可W沿着随机的轨迹或W其他方式不可预测的轨 迹移动。例如，诸如动物等生物可能按相对不可预测的方式移动。
[0074] 为了确保安全和有效的操作，为UAV提供用于检测和辨别诸如障碍物等环境物体 的机制可能是有益的。此外，对诸如地标和特征等环境物体的识别可促进导航，特别是当 UAV W半自主或全自主方式操作时尤为如此。此外，对UAV在环境内的精确位置及其与周围 环境物体的空间关系的了解对于多种UAV功能性可能是有价值的。
[00巧]因此，本文所描述的UAV可W包括一个或多个传感器，所述传感器被配置用于收 集相关数据，诸如与UAV状态、周围环境或者该环境内的物体有关的信息。适用于本文所 公开的实施方式的示例性传感器包括位置传感器（例如，全球定位系统（GP巧传感器、支 持位置=角测量法的移动设备发射器）、视觉传感器（例如，能够检测可见光、红外光或紫 外光的成像设备，诸如相机）、距离或范围传感器（例如，超声传感器、激光雷达、飞行时间 相机）、惯性传感器（例如，加速度计、巧螺仪、惯性测量单元（IMUs))、高度传感器、姿态传 感器（罗盘）、压力传感器（例如，气压计）、音频传感器（例如，麦克风）或场传感器（例 如，磁力计、电磁传感器）。可W使用任何合适数目和组合的传感器，诸如一个、两个、=个、 四个、五个或更多个传感器。可选地，可W从不同类型（例如，两种、=种、四种、五种或更多 种类型）的传感器接收数据。不同类型的传感器可W测量不同类型的信号或信息（例如， 位置、方向、速度、加速度、距离、压力等）W及/或者利用不同类型的测量技术来获取数据。 例如，传感器可W包括主动式传感器（例如，生成和测量来自其自身能源的能量的传感器） 和被动式传感器（例如，检测可用能量的传感器）的任何合适的组合。又例如，一些传感器 可W生成依据全局坐标系提供的绝对测量数据（例如，由GI^传感器提供的位置数据、由罗 盘或磁力计提供的姿态数据），而其他传感器可W生成依据局部坐标系提供的相对测量数 据（例如，由巧螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器 提供的相对姿态信息；由超声传感器、激光雷达或飞行时间相机提供的相对距离信息）。在 一些情况下，局部坐标系可W是相对于UAV定义的机体坐标系。
[0076] 本文所描述的传感器可由UAV携带。传感器可位于UAV的任何合适的部分，诸如 在UAV上部、底部、一个或多个侧面上或在机体内。一些传感器可W机械禪合至UAV，W使得 UAV的空间安排和/或运动对应于传感器的空间排列和/或运动。传感器可经由刚性禪合 而禪合至UAV，W使得该传感器不相对于其所附着至的UAV的部分而移动。或者，传感器与 UAV之间的禪合可W允许该传感器相对于UAV的移动。禪合可W是永久禪合或非永久（例 如，可拆卸）禪合。合适的禪合方法可W包括粘合剂、粘结、焊接和/或紧固件（例如，螺钉、 钉、销等）。可选地，传感器可与UAV的一部分一体形成。此外，传感器可W与UAV的一部 分（例如，处理单元、控制系统、数据存储）电禪合，W便使得由传感器收集的数据能够用于 UAV的各种功能（例如，导航、控制、推进、与用户或其他设备通信等），诸如本文所讨论的实 施方式。
[0077] 传感器可被配置用于收集各种类型的数据，诸如与UAV、周围环境或该环境内的物 体有关的数据。例如，至少一些传感器可被配置用于提供关于UAV的状态的数据。由传感 器提供的状态信息可W包括关于UAV的空间排列的信息（例如，诸如经度、缔度和/或高度 等地点或位置信息；诸如横滚、俯仰和/或偏航等方向或姿态信息）。状态信息还可W包括 关于UAV的运动的信息（例如，平移速度、平移加速度、角速度、角加速度等）。例如，传感器 可被配置用于确定UAV关于多达六个自由度（例如，=个位置和/或平移自由度、=个方向 和/或旋转自由度）的空间排列和/或运动。可W相对于全局坐标系或相对于局部坐标系 (例如，相对于UAV或另一实体）来提供状态信息。例如，传感器可被配置用于确定UAV与 控制该UAV的用户之间的距离，或者UAV与该UAV的飞行起始点之间的距离。
[007引由传感器获取的数据可W提供各种类型的环境信息。例如，传感器数据可W是环 境类型的指示，诸如室内环境、户外环境、低空环境或高空环境。传感器数据还可W提供关 于当前的环境状况的信息，包括天气（例如，晴朗、下雨、下雪）、能见度状况、风速、当日时 间等。此外，由传感器收集的环境信息可W包括关于该环境中物体（诸如本文所描述的障 碍物）的信息。障碍物信息可W包括关于环境中障碍物的数目、密度、几何结构和/或空间 排列的信息。
[0079] 在一些实施方式中，通过组合由多个传感器获取的传感器数据（亦称为"传感器 融合"）来生成感测结果。例如，传感器融合可W用于组合由不同的传感器类型获取的感测 数据，所述不同传感器类型包括GI^传感器、惯性传感器、视觉传感器、激光雷达、超声传感 器等。又例如，传感器融合可W用于组合不同类型的感测数据，诸如绝对测量数据（例如， 相对于全局坐标系而提供的数据，诸如GI^数据）和相对测量数据（例如，相对于局部坐标 系而提供的数据，诸如视觉感测数据、激光雷达数据或超声感测数据）。传感器融合可W用 于补偿与单个传感器类型相关联的局限性或误差，从而提高最终感测结果的准确度和可靠 性。
[0080] 图2A图示了根据许多实施方式中的用于使用传感器融合来估计UAV姿态的方案 200。虽然图2A的实施方式设及对UAV偏航角的估计，但应当理解，方案200中描述的方法 还可适用于对UAV的横滚角或俯仰角的估计。方案200利用IMU 202、至少一个相对定向传 感器204和磁力计206。IMU 202和磁力计206可W用于提供对UAV偏航角208、210的相 应的绝对估计。相对定向传感器204可W是提供关于局部坐标系（例如，UAV机体坐标系） 而不是全局坐标系的姿态信息的任何传感器。示例性相对定向传感器包括视觉传感器、激 光雷达、超声传感器W及飞行时间或深度相机。可W分析相对定向传感器数据W便提供对 偏航率212和相对偏航角214的估计。
[0081] 在相对定向传感器204是被配置用于捕捉图像序列（"帖"）的视觉传感器的实 施方式中，可W使用选自所述序列的一个或多个图像（"关键帖"）来确定偏航率212和偏 航角214。可W使用任何合适的方法来选择关键帖。例如，可W按预定间隔来选择关键帖， 诸如按预定时间间隔、预定距离间隔、预定位移间隔、预定姿态间隔或者关键帖之间的预定 平均视差间隔。又例如，可W基于连续的关键帖之间的关系（例如，关键帖之间的重叠面积 量）来选择关键帖。可选地，可W基于本文所提供的参数的组合来选择关键帖。在一些实 施方式中，至少一些关键帖可W包括连续的图像帖。或者，关键帖可W不包括任何连续的图 像帖。后一种方法在减少存在于连续关键帖中的估计误差的传播方面可能是有利的。
[0082] 可W使用任何合适数目的关键帖，诸如一个、两个、=个、四个或更多个关键帖，来 估计给定时间处的偏航率212和偏航角214。可W使用任何合适的方法（诸如图像分析） 来确定偏航率212和偏航角214。在一些实施方式中，可W假定W不同偏航角捕捉同一场 景的两个关键帖将会有所不同。可W通过数学建模技术来确定不同的关键帖之间的偏航 角。例如，可W通过辨别和匹配存在于全部两个关键帖中的特征点来确定关键帖之间的差 异。基于全部两个关键帖中特征点的坐标，可W确定两个关键帖的相似变换矩阵，并且从该 相似变换矩阵获取偏航角212。继而可W使用偏航角214 W及两个关键帖之间的时间间隔 来计算偏航率212。
[0083] 可W融合由传感器202、204、206提供的绝对估计值和相对估计值（例如，使用扩 展卡尔曼滤波器216或者其他类型的卡尔曼滤波器），W便提供最终偏航角结果218。可W 实施任何合适的方法W便融合所述估计值。例如，可W将偏航率估计值212的积分与相对 偏航角估计值214融合，W便更新相对偏航角估计值214。可W将相对偏航角估计值214分 别与来自IMU 202和磁力计206的绝对偏航角估计值208、210相融合，W确定UAV的偏航 角。可W提供最终偏航角结果218作为相对偏航角（例如，相对于UAV的机体坐标系）或 者作为绝对偏航角。如前文所述，不同类型的测量数据的组合可W提高最终结果218的准 确度。例如，在由磁力计206提供的数据不满足要求的情况下（例如，由于外部磁场），对来 自IMU 202和/或相对定位传感器204的数据的使用可W减少磁力计误差对最终结果的影 响程度。
[0084] 图2B图示了根据实施方式中的用于使用传感器融合来估计UAV位置和速度的方 案250。方案250利用IMU 252、至少一个相对位置和/或速度传感器254 W及GPS传感器 256。IMU 252可W提供对UAV加速度258的估计。GPS传感器256可W提供对UAV 260的 绝对位置的估计。可W使用相对位置和/或速度传感器254 (例如，视觉传感器、激光雷达、 超声传感器、飞行时间或深度相机或者任何其他提供相对位置和/或速度信息的传感器） 来获取对UAV速度262和相对UAV位置264的估计。类似于图2A的相对定向传感器204， 在其中相对位置和/或速度传感器254是视觉传感器的实施方式中，可W基于由该视觉传 感器获取的一个或多个关键帖来确定速度和相对位置估计值262、264。例如，可W使用图像 分析和数学建模来评估连续关键帖之间的差异，并从而确定将会产生运些差异的UAV的平 移移动。继而可W基于关键帖之间经过的时间来估计UAV速度。
[0085] 可W使用扩展卡尔曼滤波器266或者其他合适的卡尔曼滤波器类型来融合由传 感器252、254和256提供的估计值，从而获取UAV的最终位置和速度结果268。例如，可W 将加速度估计值258的积分与UAV速度估计值262相融合，W便确定UAV速度。可W将所 确定的UAV速度的积分与相对位置估计值264和绝对位置估计值260相融合，W便确定UAV 位置。可W相对于局部坐标系或全局坐标系来表示位置和速度结果268。
[0086] 可选地，利用卡尔曼滤波器266的传感器融合还可W用于确定校准数据，W用于 在相对速度和/或位置传感器254的局部坐标系与IMU252和GPS 256的全局坐标系之间 进行转换。校准数据可W用于将IMU252和/或GPS 256所获取的绝对感测数据映射到传 感器254所获取的相对感测数据上，或者反之亦然。例如，IMU 252和/或GPS 256可W用 于W绝对坐标确定UAV行进的路径，而相对传感器254可W用于获取指示UAV在相对坐标 中行进的路径的感测数据。本文提供的传感器融合方法可适用于确定将绝对路径数据投射 到相对路径数据上所需的校准参数（例如，比例因子、旋转、平移），或者反之亦然。例如，可 W通过数学建模来表示校准参数、绝对路径数据和相对路径数据之间的关系。继而可W将 传感器所获取的绝对路径数据和相对路径数据输入到模型中W便求解校准参数。本文所描 述的绝对路径数据和相对路径数据的组合可W用于提高路径确定的准确度，从而改善UAV 航行。
[0087] 本文所描述的传感器融合方法可适用于提供对UAV状态W及环境信息的更准确 的估计值。在一些实施方式中，对UAV状态信息和环境信息的估计可W如此相互依赖，使得 UAV状态信息用于估计环境信息，并且反之亦然。例如，一些传感器可W用于获取绝对环境 信息，而其他传感器可W用于获取相对环境信息。可W基于关系/?pf'+r=乂， 将绝对环境信息投影到相对环境信息上（或者反之亦然），其中R表示全局坐标系与局部坐 标系之间的旋转矩阵，并且T表示从全局坐标系的原点到局部坐标系的原点的平移矢量。 在一些实施方式中，关于UAV的机体坐标系提供/7,6 t W便可W分别基于UAV的位置和定 向而确定T和R。因此，可W使用UAV位置和方向信息来组合绝对环境数据和相对环境数 据，从而生成环境信息的估计值。相反地，绝对环境数据和相对环境数据可W用于使用上述 关系来估计UAV位置和方向。可W迭代该方法，W便提供UAV状态和环境信息的更新的估 计值。
[0088] 在一些实施方式中，传感器数据可W用于生成环境或者其至少一部分环境的表 示。运样的表示在本文中可称为"环境地图"。环境地图可W表示紧邻UAV的环境的部分 (局部地图），或者还可W表示相对远离UAV的部分（全局地图）。例如，局部地图可W表 不距UAV约2m、5m、10m、15m、20m、25m或50m的半径内的环境部分。全局地图可W表不距 UAV 约 25m、50m、75m、100m、125m、150m、200m、225m、250m、300m、400m、500m、1000m、2000m 或 5000m的半径内的部分。基于用W生成地图的传感器的有效范围，可W确定环境地图的大 小。传感器的有效范围可W根据传感器类型而变化。例如，视觉传感器可W用于检测距UAV 约10m、15m、20m或25m的半径内的物体。激光雷达传感器可W用于检测距UAV约2m、5m、 8m、IOm或15m的半径内的物体。超声传感器可W用于检测距UAV约2m、5m、8m、IOm或15m 的半径内的物体。在一些实施方式中，环境地图可W仅表示UAV先前行进过的部分。或者， 在其他实施方式中，环境地图还可W表示UAV尚未行进过的环境部分。
[0089] 环境地图可W用于表示各种类型的环境信息。例如，地图可W提供指示出诸如障 碍物、构造物、地标或特征等环境物体的几何结构（例如，长度、宽度、高度、厚度、形状、表 面积、体积）、空间排列（例如，位置、方向）和类型的信息。又例如，地图可W提供指示出环 境的哪些部分被阻挡（例如，不可由UAV穿过）W及哪些部分未被阻挡（例如，可由UAV穿 过）的信息。此外，地图可W提供关于UAV相对于各个环境物体的当前位置和/或其空间 排列的信息。
[0090] 可W使用任何合适类型的环境地图，诸如尺度地图或拓扑地图。拓扑地图可W描 绘环境内的位置之间的连通性，而尺度地图可W描绘环境内的物体的几何结构。可选地，环 境地图可W包括尺度信息和拓扑信息的组合。例如，环境地图可W描绘环境物体和/或位 置之间的连通性W及绝对空间关系（例如，距离）。备选地或组合地，地图的一些部分可