传感器的自动标定系统及方法

传感器的自动标定系统及方法
【专利摘要】提供一种用于在线传感器标定的方法，包括：当无人飞行器(UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获取传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置(401)；借助处理器，基于所述传感器数据来检测所述多个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化(402)；确定所述随后的空间配置(403)；以及当所述无人飞行器在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个传感器的数据(404)。还提供一种用于传感器标定的装置。
【专利说明】传感器的自动标定系统及方法
【背景技术】
[0001 ] 现代的无人飞行器(Unmanned Aerial Vehicles，UAVs)具有尺寸小、灵活性高的 特性，而被广泛地用于各种民用领域，如监视和跟踪，遥感，搜索和救援，科研，娱乐和爱好， 等等。无人飞行器通常是被遥控设备无线控制和/或通过通信链路被机载控制程序控制。这 样的通信链路的性能对于无人飞行器的飞行任务的安全性和有效性来说可能有直接的影 响。在无人飞行器的飞行任务期间，如果传感器偏离初始配置时，其将会面临挑战。

【发明内容】

[0002] 当无人飞行器(Unmanned Aerial Vehicle，UAV)装备有多个传感器时，所述UAV的 一个有用的应用是收集大量数据。非限制性的例子包括对地形拍照，获取音频数据，测量空 气污染程度，和监测一个地区的空气质量。在无人飞行器起飞前，通常其会被标定完成数据 收集。当所述无人飞行器处于操作中时（包括但不限于当无人飞行器在飞行时），可以通过 无线通信进行远程标定。然而，在许多场合，所述无人飞行器可能会行驶出无线通信的范 围，所以远程标定不可行。所述无人飞行器可具有一个传感器装置，所述传感器装置具有内 部配置或传感器的一套参数。当所述传感器装置的设置偏离了最初或最佳配置时，所收集 的数据会变得不可靠或不精确。为了克服这个难题，本文所描述的主题揭示了机载系统和 方法以自动化地标定无人飞行器和传感器。所述自动化标定可以在无人飞行器的一次飞行 期间发生(例如，在线标定），并且可以简化数据收集过程。具体而言，避免收集无用的数据 或提高数据质量可以显著地降低成本。
[0003] 在一个方面，本文公开了一种传感器标定的方法。所述方法包括当无人飞行器 (UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获取传感器数据，其中 所述多个传感器具有相对于彼此的初始空间配置;借助处理器，基于所述传感器数据来检 测所述多个传感器从所述初始空间配置到一个随后的空间配置相对于彼此的空间配置变 化;确定随后的空间配置；以及当UAV在飞行时，基于所述随后的空间配置调整来自所述多 个传感器中至少一个传感器的数据。
[0004] 在另一方面，本文公开了一种用于在线传感器标定的装置，所述装置包括：（a)多 个不同类型的传感器，其（in)连接于无人飞行器(UAV)，且（ii)用于当所述无人飞行器飞行 时提供传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置;和(b) -个或多 个处理器，其单独地或全体地用于（in)基于传感器数据检测所述多个传感器从所述初始空 间配置到随后的空间配置相对于彼此的空间配置变化；（ii)确定所述随后的空间配置;和 (iii)当所述UAV在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至少一个 传感器的数据。
[0005] 在另一方面，本文公开了一种传感器标定方法，所述方法包括:从连接于无人飞行 器(UAV)的多个不同类型的传感器获得传感器数据;选择参考坐标系;借助处理器且基于所 述传感器之间的预测空间关系，在参考坐标系中显示来自所述多个传感器的传感器数据； 借助所述处理器来检测所述多个传感器之间的传感器数据的差异，所述差异表示所述传感 器之间在所述预测空间关系中的误差；（e)确定实际空间配置；以及(f)基于所述实际空间 配置调整来自所述多个传感器中至少一个传感器的数据。
[0006] 在另一方面，本文公开了一种用于传感器标定的装置，所述装置包括：（a)多个不 同类型的传感器，其（in)连接于一个无人飞行器(UAV)，并且（ii)用于提供传感器数据;和 (b)-个或多个处理器，所述处理器单独地或全体地用于（in)选择一个参考坐标系；（ii)基 于所述传感器之间的预测空间关系，在所述参考坐标系中显示来自所述多个传感器的传感 器数据；（iii)检测所述多个传感器之间的传感器数据的差异，所述差异表示所述传感器之 间在所述预测空间关系中的误差；（iv)确定实际空间配置；以及(v)基于所述实际空间配置 调整来自所述多个传感器中至少一个传感器的数据。
[0007] 在另一方面，本文公开了一种传感器标定方法，所述方法包括:从连接于无人飞行 器(UAV)的多个不同类型的传感器获得传感器数据;借助处理器，将所述多个传感器分组为 多个子集，每个子集具有（in)至少两个传感器，以及（ii)不同的传感器组合;借助所述处理 器，基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系；基于 所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系;借助于所 述处理器，基于每个子集中所述至少两个传感器之间的实际空间关系，计算所述多个传感 器相对于彼此的空间配置。
[0008] 另一方面，本文公开了一种用于传感器标定的装置，所述装置包括：（a)多个不同 类型的传感器，其（in)连接于一个无人飞行器(UAV)，并且（ii)用于提供传感器数据;和(b) 一个或多个处理器，其单独地或全体地用于：（in)将所述多个传感器分组为多个子集，每个 子集具有（in)至少两个传感器，和（ii)不同的传感器组合；（ii)基于所述传感器数据计算 每个子集中所述至少两个传感器之间的预测空间关系；（iii)基于所述预测空间关系，确定 每个子集中所述至少两个传感器之间的实际空间关系；以及 (iv)基于每个子集中所述至少 两个传感器之间的实际空间关系，计算所述多个传感器相对于彼此的空间配置。
[0009] 在另一方面，本文公开了一种传感器的标定方法，所述方法包括:从多个不同类型 的传感器获得传感器数据;借助处理器，将所述多个传感器分组为多个子集，每个子集具有 (in)至少两个传感器，包括一个参考传感器和一个或多个测量传感器，和（ii)不同的传感 器组合，其中所述多个子集的至少两个子集具有不同的参考传感器;借助于所述处理器，基 于传感器数据，使用每个子集中至少一个卡尔曼滤波器来确定每个子集中所述至少两个传 感器之间的实际空间关系；借助所述处理器，基于每个子集中所述至少两个传感器之间的 实际空间关系计算所述多个传感器相对于彼此的空间配置。
[0010] 在另一方面，本发明公开了一种用于传感器标定的装置，所述装置包括：（a)用于 提供传感器数据的多个不同类型的传感器;和(b)-个或多个处理器，其单独地或全体地用 于：（1)将所述多个传感器分组为多个子集，每个子集具有（in)至少两个传感器，包括一个 参考传感器和一个或多个测量传感器，和（ii)不同的传感器组合，其中所述多个子集的至 少两个子集具有不同的参考传感器；（2)基于传感器数据，每个子集使用至少一个卡尔曼滤 波器来确定每个子集中所述至少两个传感器之间的实际空间关系；以及(3)基于每个子集 中所述至少两个传感器之间的实际空间关系计算所述多个传感器相对于彼此的空间配置。
[0011] 某些或所有的系统和方法包括多个不同类型的传感器。所述多个不同类型的传感 器包括以下至少两个:视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或 激光雷达传感器。所述多个传感器中至少一个是惯性传感器，其中在与所述惯性传感器有 关的坐标系中提供来自多个传感器的传感器数据。
[0012] 在一些实施例中，所述系统和方法的初始空间配置包括所述多个传感器中每个传 感器相对于彼此的初始位置和初始方向。所述在空间配置上的变化包括所述多个传感器中 的至少一个相对于所述多个传感器中的其他传感器在所述初始位置上和/或在所述初始方 向上的变化。
[0013] 在一些实施例中，在所述无人飞行器起飞之前提供所述系统和方法的初始空间配 置。备选地，在所述无人飞行器飞行期间提供所述初始空间配置。
[0014] 在一些实施例中，所述系统和方法的空间配置变化是由所述无人飞行器的移动引 起的。在另外的实施例中，空间配置变化是由所述无人飞行器的振动引起的。
[0015] 在一些实例中，所述一个或多个处理器使用多个卡尔曼滤波器来确定所述随后的 空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤 波器。
[0016] 在一些实施例中，所述系统和方法的一个或多个处理器可以机载于所述无人飞行 器。备选地，所述一个或多个处理器位于在所述无人飞行器飞行时与无人飞行器通信的装 置上，且所述装置位于所述无人飞行器外部。
[0017] 在一些实施例中，所述系统和方法的多个不同类型的传感器包括以下至少两个： 视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。所述 多个传感器中至少一个是惯性传感器。在某些实例中，所述参考坐标系是一个与惯性传感 器相关的坐标系。
[0018] 在一些实施例中，所述传感器之间的预测空间关系是基于所述传感器的初始空间 配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中每个传感器相对 于彼此的初始位置和初始方向。在另一实施例中，在所述无人飞行器起飞之前或所述无人 飞行器飞行期间提供所述初始空间配置。
[0019] 在一些实施例中，空间位置和所述传感器的相对空间方向彼此相对。
[0020] 在一些应用中，在所述无人飞行器处于操作中时确定所述传感器的实际空间配 置。在所述无人飞行器飞行时确定所述传感器的实际空间配置。在某些实例中，在所述无人 飞行器处于操作中时调整来自所述多个传感器的所述数据。
[0021] 在某些实施例中，所述基于实际空间配置校正的数据是由视觉传感器所获取的图 像数据。
[0022] 在不同的实例中，每个子集有一个参考传感器和一个或多个测量传感器。对于每 个子集来说其参考传感器是相同的或不同的。
[0023] 在一些实施例中，所述系统和方法进一步地包括基于所述空间配置调整来自所述 多个传感器中至少一个传感器的数据。另外，所述基于实际空间配置调整的数据是由视觉 传感器所获取的图像数据。
[0024] 在不同的实施例中，每个子集中传感器之间的所述预测空间关系是基于所述传感 器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器中每 个传感器相对于彼此的初始位置和初始方向。在进一步的实施例中，在所述无人飞行器起 飞之前或所述无人飞行器飞行期间提供所述初始空间配置。
[0025] -些或所有的系统和/或方法包括所述传感器之间的预测空间关系，其包括所述 传感器相对于彼此的相对空间位置和相对空间方向。
[0026] 在一些实施方式中，所述系统和/或方法将多个传感器分组为多个子集。此外，所 述系统和/或方法基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空 间关系，其中所述卡尔曼滤波器基于所述预测空间关系确定实际空间关系。
[0027]应当理解，可以单独地、全体地或相互结合地来领会本发明的不同方面。本发明所 描述的不同方面可以应用于下述描述的任何具体应用中，也可以应用于任何其它类型的可 移动物体和/或静止物体之间的数据通信。
[0028] 通过对说明书、权利要求以及附图的综述，即可了解本发明的其他目的以及特征。
[0029] 援引加入
[0030] 本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文中，其引用 程度就如同明确且单独地指示将各个单独的公布、专利或专利申请通过引用并入本文中。
【附图说明】
[0031] 在所附权利要求书中具体阐明了本发明的新颖特征。通过参考以下阐述利用了本 发明原理的示例性实施方式的详细描述和附图，将会更好地理解本发明的特征和优势，在 附图中：
[0032] 图1是本发明一个实施例中安装有多个机载传感器的无人飞行器的一个例子。
[0033] 图2是本发明一个实施例中参考坐标系变换的一个例子。
[0034] 图3是本发明一个实施例中带有第一相机和第二相机的立体视觉相机的一个例 子。
[0035] 图4是本发明一个实施例中总的自动化误差检测和在线标定的过程的流程图。
[0036] 图5是本发明一个实施例中检测传感器误差的方法的流程图。
[0037] 图6是本发明一个实施例中在线标定的方法的流程图。
[0038] 图7是本发明一个实施例中带有一个统一的参考传感器的系统架构的一个例子。
[0039] 图8是本发明一个实施例中带有多个参考传感器的系统架构的一个例子。
[0040] 图9是本发明一个实施例中无人飞行器的一个例子。
[0041] 图10是本发明一个实施例中包括载具和搭载物的可移动物体的一个例子。
[0042] 图11是本发明一个实施例中控制可移动物体的系统的模块示意图。
【具体实施方式】
[0043] 本发明的系统，设备及方法提供了无人飞行器(UAV)的机载传感器和标定所述无 人飞行器的机载传感器的方法。所述无人飞行器的描述可以适用于任何其他类型的无人载 运工具，或任何其他类型的可移动物体。所述载运工具的描述可以适用于在无人飞行器的 任何机载传感器。无人飞行器的机载传感器的例子可以包括视觉传感器，全球定位系统 (GPS)或惯性测量单元（MJ)。
[0044] 本发明的系统，设备及方法提供了无人飞行器(UAV)的机载传感器和标定所述无 人飞行器的机载传感器的方法。所公开的各个方面可以适用于除了包括传感器的任何载运 工具之外的在此认定的任何应用。应当理解，本发明的不同方面可以单独地、全体地或相互 结合地被领会。
[0045] 图1显示了一个无人飞行器(UAV)的一个例子。本文关于无人飞行器101的任何描 述可以适用于任何类型的可移动物体。所述无人飞行器的描述可以适用于任何类型的无人 驾驶的可移动物体(例如，其可以穿越空气、土地、水或空间）。所述无人飞行器能够响应来 自远程控制器的命令。所述远程控制器可能没有连接到所述无人飞行器，所述远程控制器 可以从远处与所述无人飞行器进行无线通信。在某些实例中，所述无人飞行器能够自主式 地或半自主式地进行操作。所述无人飞行器能够遵循一套预编程指令。在某些实例中，所述 无人飞行器可以通过响应来自于远程控制器的一个或多个命令进行半自动地操作，或者是 进行自主式地操作。例如，来自远程控制器的一个或多个命令可以依照一个或多个参数且 通过所述无人飞行器启动一系列的自主的或半自主的动作。
[0046] 所述无人飞行器101可以是飞行器。所述无人飞行器101可以具有一个或多个动力 单元102,其可以允许所述无人飞行器101在空中四处移动。所述一个或多个动力单元102可 以使所述无人飞行器101移动一个或更多、两个或更多、三个或更多、四个或更多、五个或更 多、六个或更多的自由度。在某些实例中，所述无人飞行器101可以绕一个、两个、三个或更 多的旋转轴旋转。所述旋转轴可以是彼此正交的。所述旋转轴可能在整个飞行过程中保持 彼此是正交的。所述旋转轴可以包括俯仰轴、滚动轴和/或偏航轴。所述无人飞行器101可以 沿一个或多个维度移动。例如，由于一个或多个转子所产生的升力，所述无人飞行器101能 够向上移动。在某些实施例中，所述无人飞行器能够沿Z轴运动（其相对于无人飞行器的方 向可以是向上的）、χ轴和/或Y轴(其可以是横向的）。所述无人飞行器能够沿一个、两个或三 个可以彼此正交的轴进行移动。
[0047] 所述无人飞行器101可以是旋翼机。在某些实例中，所述无人飞行器101可以是包 括多个转子的多旋翼飞行器。所述多个转子能够旋转而为所述无人飞行器产生升力。所述 多个转子可以是动力单元，其可使所述无人飞行器在空中自由移动。所述多个转子可以以 相同的速度旋转和/或可以产生相同的升力或推力。所述多个转子可以以不同的速度旋转， 这样可以产生不同量的升力或推力和/或允许所述无人飞行器旋转。在某些实例中，所述无 人飞行器上可以设置有一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或更多的 转子。可以布置所述多个转子使得所述多个转子的旋转轴相互平行。在某些实例中，所述多 个转子可以具有多个旋转轴，所述多个旋转轴相对于彼此可具有任何角度，其可影响所述 无人飞行器的运动。
[0048] 所述无人飞行器101可具有机载传感器用以收集无人飞行器处于操作中时的数 据。所述传感器可以具有初始配置。所述传感器的初始配置可以偏离初始和/或最佳设置。 因此，在无人飞行器飞行时所述传感器的自动在线标定可以是有益的，在某些情况下，有必 要维持所收集数据的质量和可靠性。本文所描述的主题公开了机载系统和方法以自动标定 无人飞行器和传感器。所述自动在线标定系统和方法可以简化所述数据收集的过程以提高 效率。
[0049] 所述无人飞行器101可以包括视觉传感器，例如图像传感器，可以是单目相机、立 体视觉相机、雷达、声纳，或红外相机。所述无人飞行器101可以进一步地包括位置传感器， 例如GPS、頂U或LIDAR。所述无人飞行器的机载传感器可以收集信息，如所述无人飞行器的 位置、其他物体的位置、所述无人飞行器101的方向，或环境信息。单个的传感器可能能够完 全确定上述参数中的任意一个，或者，一组传感器可以一起工作以确定上述列出的参数。传 感器可以用于位置的映射、位置之间的导航、障碍物的检测，或目标检测。
[0050] 所述传感器可位于所述无人飞行器上或不在无人飞行器上。所述机载传感器可以 位于所述无人飞行器101的主体上。所述传感器103可以附接在所述无人飞行器101的主体 的外部和/或所述传感器104可以附接在所述无人飞行器101的主体的内部。所述传感器可 以集中地位于所述主体上的一个单个区域。备选地，所述传感器可以位于所述主体上不同 的位置。所述传感器可以永久地或可拆卸地附接在所述无人飞行器101上。所述无人飞行器 101可具有载具105,其可用于承载负荷。所述传感器可附接在载具106上。
[0051] 所述传感器的特点在于可具有一个或多个传感器参数。所述传感器参数可以是内 部或外部参数。内部参数可能涉及到传感器的内部配置。内部参数的例子包括焦距、比例因 子、径向畸变系数和切向畸变系数。所述内部参数可以是依赖于硬件配置的任何参数，在某 些情况下，所述内部参数可以通过传感器的出厂设置进行设置。外部参数可以与任何两个 或多个传感器之间的空间关系有关。每个传感器可以具有一个独立于无人飞行器其他机载 传感器的相对坐标系。对于传感器融合，结合来自无人飞行器上不同位置的传感器数据而 言，外部特性是很重要的。传感器融合可能涉及到转换给定传感器的相对坐标以匹配另一 传感器的参考系的过程。
[0052]图2描述了转换给定的传感器的相对坐标以匹配另一传感器的参考坐标系的过 程。图2显示了在传感器1的坐标系202中被传感器1看到的立方体201以及在传感器2的坐标 系204中被传感器2看到的立方体203。可以执行转换以使得传感器2的坐标系204被旋转以 匹配传感器1的坐标系202。所述转换可以通过转换矩阵进行数学上的解释。
[0053] 内部特性可以是传感器特有的且很少发生改变。内部特性的重新标定可在无人飞 行器不处于操作中时周期性地进行。当所述无人飞行器101处于操作中时，重新标定内部特 性可能不是关键的，这是因为与外部特性相比，这些内部特性在所述无人飞行器101处于操 作中时会保持相对地一致性。内部特性可以通过解读一个已知标定标准或目标的图像来进 行标定。在标定标准或目标上消失的线或点可以用于标定所述内部特性，如焦距和畸变。
[0054] 相较于内部特性，外部特性可能会以较高的频率进行改变。在所述无人飞行器着 陆和起飞期间的移动、振动及热漂移都可能会导致所述传感器在外部特性上的变化。例如 相机的位置可能会由于所述无人飞行器飞行期间的振动而移动。在所述无人飞行器处于操 作中时，外部特性可能偏离其初始配置;因此，可较佳地在无人飞行器处于操作中时执行外 部特性的重新标定。当所述无人飞行器101处于操作中时所述外部特性的重新标定可能需 要计算资源，所述计算资源可以是在所述无人飞行器101上或不在所述无人飞行器101上。 所述外部特性的重新标定可以设定的时间频率发生，例如，所述外部特性可以每1分钟、5分 钟、10分钟、20分钟、30分钟、40分钟、50分钟、1小时、2小时、3小时、4小时、5小时、10小时、12 小时或每一天进行一次重新标定。备选地，外部特性的重新标定可以设定的距离频率发生， 例如，每当所述无人飞行器101从初始起始位置行驶了额外的0.5英里、1英里、2英里、3英 里、4英里、5英里、10英里、15英里、20英里、25英里、30英里、35英里、40英里、45英里、50英里 或100英里时，可进行所述重新标定。所述外部特性机上标定的频率可以基于可用的计算资 源、燃料或电力需求，或飞行条件决定。一些飞行条件可能会减少或增加外部传感器在标定 中的所期望的漂移，例如，如果所述无人飞行器以较低的速度飞行，所述无人飞行器的主体 可能振动较小，因此外部传感器的标定中的漂移也较小。
[0055] 所述外部参数可以有初始标定。所述外部参数的初始标定可能会描述传感器之间 的相对差异，例如，两个或多个传感器的相对位置、旋转和/或位移。所述参数可以包括传感 器随着时间过去的变化，如在某一时间和随后的时间之间的传感器的位移。所述位移可包 括平移位移和/或旋转位移。所述平移位移可以沿着三轴中的一个或多个轴发生。同样的， 所述旋转位移可以沿着三轴中的一个或多个轴发生。通常，所述标定是通过滤波过程实现 的。非限制性的例子包括各种类型的卡尔曼滤波器。
[0056] 所述外部参数的标定可以在所述无人飞行器101处于操作中时（如飞行中）进行调 整。外部参数标定的方法可包括借助处理器来检测、从初始空间配置到随后的空间配置、两 个或多个传感器相对于彼此在空间配置上的变化。在进一步的实施例中，所述方法使用滤 波器，如卡尔曼滤波器，来确定随后的空间配置。最后，所述方法可以包括基于所述随后的 空间配置，在所述无人飞行器飞行时，调整来自至少一个传感器的数据。
[0057] 所述无人飞行器可以有一个或多个机载处理器。所述处理器可以单独地或全体地 用于（i)基于传感器数据检测、从初始空间配置到随后的空间配置、一个或多个传感器相对 于彼此在空间配置上的变化；（ii)使用多个卡尔曼滤波器确定随后的空间配置;和（iii)基 于所述随后的空间配置，在所述无人飞行器飞行时，调整来自至少一个传感器的数据。备选 地，所述处理器或多个处理器可能不在所述无人飞行器上。所述无人飞行器可以将与给定 的传感器的空间配置有关的信息发送至非机载处理器，所述处理器用于执行上述步骤(i)_ (iii)和将信息传回至无人飞行器。
[0058] 多个相机的标定
[0059] 在一些实施例中，所述系统和方法可以包括多个传感器。多个传感器的标定可以 包括整合传感器数据。参考图3,相机可以拍摄如301所示的图像，和另一相机可以以不同的 位移和不同的方向拍摄第二图像302。因此，所述两个相机需要标定，且所述标定可以利用 第一相机拍摄的图像301和第二相机拍摄的第二图像302。以下将揭露标定的数学公式。
[0060] 在一个实施例中，两个或多个相机被组装成立体相机系统。所述两个或多个相机 的标定如下:首先，每个相机拍摄一张图像;然后，识别系统选取N个特征，就数学公式而言， 让α和β表示两个相机，在其所拍摄的图像中所识别的特征可以用向量xf = Uf.、vf)和 xf = (A'f s yf)表示，其中i = 1，· · ·，N。所述特征和xf分别由相机α和β的坐标系确定。为了 找到可靠的映射，需要在相同的坐标系乂:二⑷丨^^中分析所述特征^述特征寸和?^ 与所述参考坐标系X:之间的关系可以采用投影对％严為以及@来描述，其中对 和是在归一化坐标中表述的特征，即，ff = ◎IMi}以及tf = 分别 是所述相机α与β的投影，且其可由内部参数Κ和外部参数(例如，旋转R和平移Τ)确定的:Ρα =Ka[rr]与，一旦计算得到所述投影且内部参数κ^κβ均是已知的，外 部参数R和Τ可以通过以下公式计算得到：
[0061] R = Re(Ra)-、
[0062] x = xP_RP(R?)-ix?〇
[0063] 当得到参数R和T时，所述标定完成。
[0064]通常，所述内部参数口与#不会改变。即使所述内部参数变化，其变化量也是很小 的。因此，内部参数可以离线标定。即，在一些应用中，所述内部参数可以在所述无人飞行器 起飞前被确定。在实例中，在飞行期间，所述内部参数1^与妒保持不变。所以所述标定是为了 计算所述?°与? 6的最佳解。在一个例子中，使用减少投影误差来求解：
[0066] 上述问题是非线性优化问题。各种解法可以包括在所述实施例中。在一些应用中， 所述解答通过光束法平差方法实现。在光束法平差方法中，投影?°与? 6是给定的初始值。使 用极线约束以得出本质矩阵E，随后通过分解(例如，奇异值分解)得到$ = 1??，其中ΙΓ|Χ 是Τ的斜对称矩阵。
[0067] 上述解答找到所述特征与另一相机所拍摄的另一图片中的特征之间的对应的映 射。
[0068] 在一些实施例中，形成立体相机系统的两个相机α和β的空间配置为一个相机设置 在左手边而另一相机设置在右手边。
[0069] 跨越相机和惯性测量单元的标定
[0070]在一些实施例中，所述系统和方法包括跨越相机和惯性测量单元的标定。所述标 定的原理是基于利用所述相机获取随着时间过去的多个图像和利用所述相机估计自身位 置的变化。在某些实例中，通过将所述相机在不同时间点i和i'拍摄的两张照片看作是两个 相机α与β拍摄的两张照片，自标定的方法类似于标定两个独立的相机。类似的，自标定方案 可以适用于惯性测量单元。使Α和Β分别表示相机和惯性测量单元的自身坐标变化。下标i表 示在时间i = 1，2，…，η时所述坐标系映射Ai与Bi。因此，与时间1有关的在时间2的映射为： A = j一疒和孖=馬琴Γ5·。使X表示相机与惯性测量单元之间的映射。手眼标定公式会导致 AX = XB，其中A，Β，X以以下形式被归一化地映射：
[0072] 此外，RARx = RxRB以及(RA-I)tx = RxtB_tA。在这些方程和考虑到旋转矩阵的特性后， 有多种方法来求解Rx和tx。为了保证唯一的解答，η多3的需求必须执行。
[0073] 在一些实施例中，所述标定是在立体相机系统和惯性测量单元之间执行的。所述 标定通过标定具有惯性测量单元的系统中的相机来实现。
[0074] 所述无人飞行器可以包括用于解读传感器数据以确定所述传感器是否需要重新 标定的装置。所述装置可以实时解读传感器数据。所述装置可以解读所述无人飞行器的任 何或所有机载传感器的传感器数据。所述装置可以包括一个或多个连接于所述无人飞行器 的传感器。所述传感器可以将有关环境的信息、附近的物体、所述无人飞行器的位置和/或 有关附近物体或障碍物的信息提供给所述无人飞行器。所述传感器可具有已知的初始配 置，其可包括内部特性和外部特性。所述初始配置可包括一个传感器相对于至少一个其他 传感器的初始位置和方向。在所述无人飞行器起飞之前或无人飞行器飞行时，所述传感器 的初始配置可以与机载于无人飞行器上或处于无人飞行器外部的处理器通信。为了在所述 传感器配置变化的事件中执行在线传感器标定，处理器可以监测所述传感器的配置上的变 化，所述变化可能由于所述无人飞行器的移动或振动而发生。
[0075] 机载于无人飞行器上或处于无人飞行器外部的处理器可以连续地或在离散地时 间间隔获取传感器数据。图4显示了描述由处理器执行在线传感器标定的步骤的流程图。首 先所述处理器可以获取传感器数据(401)。所述传感器可以有相对于彼此的初始空间配置。 所述传感器的初始空间配置可以是事先已知的。在所述无人飞行器起飞前或起飞后，可以 在无人飞行器的机载内存里记录和存储所述初始空间配置。所述初始配置可以是一个传感 器相对于无人飞行器上的其他传感器的初始位置和初始方向。基于所述处理器接收的传感 器数据，所述处理器可以检测一个或多个传感器在空间配置上的变化(402)。一个或多个传 感器在空间配置上的变化可以是相对于已知的初始配置的变化。接下来，所述处理器可以 确定新的空间配置相对于初始空间配置的偏差(403)。所述处理器可以使用一个或多个卡 尔曼滤波器来确定新的空间配置相对于初始空间配置的偏差。所述卡尔曼滤波器可以是扩 展卡尔曼滤波器或无迹卡尔曼滤波器。所述卡尔曼滤波器可以都是同一类型的，或者也可 以是不同类型的，例如一小部分滤波器为扩展卡尔曼滤波器而其余部分可以是无迹卡尔曼 滤波器。在已确定所述偏差后，所述处理器可以纠正或调整来自所述传感器的数据以反映 所述传感器相对于彼此的新确定的位置(404)。可以在所述无人飞行器处于操作中时（例 如，当无人飞行器飞行时）进行所述数据的调整。图4中所描述的步骤可以由包括所述传感 器和所述处理器的装置来执行。所述装置可以连接于所述无人飞行器。
[0076] 所述处理器，或处理器的系统，其可安装于所述无人飞行器上或在远离所述无人 飞行器的位置处，且可与所述无人飞行器进行有线或无线通信，可以用来检测一个或多个 传感器的空间配置相对于初始空间配置的偏差。空间配置的偏差的检测可能涉及传感器数 据的一个或多个统计方法的应用。可以用于检测空间配置的偏差的统计方法的一个例子是 马氏距离法。
[0077]所述处理器可以使用图5所示的方法来检测一个或多个传感器在空间配置上的差 异。所述处理器可以从所述无人飞行器的一个或多个机载传感器接收数据(501)。所述传感 器可具有相对于彼此不同的空间方向，使得每个传感器的数据可具有不同的相对坐标系。 为了解读所述的数据，可优选地将所述数据转换为一致的统一参考坐标系。所述参考坐标 系可以是任意的坐标系或可以是其中一个传感器的相对坐标系，例如惯性测量单元（MU) 的坐标系。所述处理器可以选择参考坐标系以在解释数据之前在所述参考坐标系中转换数 据(402)。可以在所述无人飞行器起飞前或飞行时选择所述参考坐标系。所述参考坐标系在 所述无人飞行器处于操作状态的整个期间是一致的或其可以随时间而变化。在某些情况 下，所述惯性测量单元的相对坐标系可以被选为参考坐标系。所述处理器可以收集传感器 数据并在统一的参考坐标系中显示所有的数据(503)。在数据被转换到统一的参考坐标系 之后，可以分析所述数据以检测一个或多个传感器在空间配置上的差异(504)。一个差异可 表示一个或多个传感器之间的预期或预测的空间配置上的误差。所检测到的差异可表明所 述传感器或多个传感器需要重新标定。
[0078]所述一个或多个传感器在空间配置上的差异的检测可使用一个或多个统计方法 进行。在一个例子中，所述一个或多个传感器在空间配置上的差异的检测可以采用马氏距 离法。所述马氏距离法可以在不同传感器的测量已被转换到统一的参考坐标系后，比较不 同传感器的测量。所述处理器可以使用马氏距离的方法通过在统一参考坐标系中不同传感 器的测量之间产生协方差矩阵来检测差异。随着处理器从所述传感器接收测量数据，可以 实时地更新所述协方差矩阵。所述处理器可以计算在统一参考坐标系中的不同传感器的测 量之间的马氏距离。如果马氏距离超过预设阈值，所述马氏距离可以表示所述传感器异常， 其可表示所述传感器已经偏移其初始标定。用于表示误差的马氏距离的预设阈值可以至少 为1、2、3、4、5、6、7、8、9、10、15或20。所述阈值对于所有的传感器来说可以是统一数值或所 述阈值的值可以针对每个传感器而变化。所述阈值可以是固定的或相对于一个独立的变量 (例如所述无人飞行器行驶的时间或距离)是可以改变的。
[0079] 由大于预定阈值的马氏距离的计算所表示的差异的检测可以启动具有所检测差 异的传感器的重新标定。传感器远离所述传感器的初始方向到新的空间方向的移动可以引 起差异检测。传感器在无人飞行器起飞和降落期间，以及在飞行时由于所述无人飞行器的 振动或在飞行时由于与另一物体的交互(例如，与动物或昆虫的交互，与自然特征如树，悬 崖，瀑布的交互，或与另一无人飞行器的交互)时会移动。
[0080] 所述传感器的重新标定可能需要一个确定所述传感器的新的空间方向的步骤。所 述传感器的新的空间方向可以使用一个或多个卡尔曼滤波器进行确定。所述卡尔曼滤波器 可以是扩展卡尔曼滤波器或无迹卡尔曼滤波器。所述卡尔曼滤波器确定的新的空间方向可 以用于更新一个或多个传感器的外部特性，其可以对应于具有检测到的差异的所述传感器 或多个传感器的空间方向。所更新的外部特性可以用于调整来自传感器或多个传感器的数 据。
[0081] 所述卡尔曼滤波器可以使用一种递归方法连续地更新所述传感器标定。所述卡尔 曼滤波器可以使用来自传感器的测量数据和测量数据之间的约束作为测量公式。
[0082] 所有的传感器可以使用单一的卡尔曼滤波器来实现标定。备选地，所述标定可以 通过将多个相互平行的卡尔曼滤波器连接来实现。并行结构中的每个卡尔曼滤波器可以独 立于其他的滤波器。每个卡尔曼滤波器可以为一个或多个传感器进行标定。在所述卡尔曼 滤波器负责不止一个传感器的标定的情况下，由所述卡尔曼滤波器标定的传感器可以是相 关的。并行的卡尔曼滤波器可以提高系统的可扩展性。此外，并行的卡尔曼滤波器可以提高 系统的可扩展性，也可以在减少标定所述传感器所需要的计算资源的同时提高反应速度。
[0083] 图6示出可以用本文所描述的系统执行的传感器标定的方法的一个例子。所述方 法的第一步骤可以是获取无人飞行器上一个或多个传感器的数据(601)。所述数据可以由 处理器收集，所述处理器可以在所述无人飞行器上，也可以在不在所述无人飞行器上的位 置上，当不在所述无人飞行器上时，所述处理器可以与所述无人飞行器无线通信或通过有 线连接进行通信。所述处理器可以将所述传感器分组为一个或多个子集，每个子集具有至 少有两个传感器(602)。每个子集可以包含一组测量传感器。所述子集可以额外地具有一个 参考传感器，每个子集的所述参考传感器可以是相同的或每个子集具有一个唯一的参考传 感器。所述传感器的子集可以是相关的传感器，例如其可以是具有相关功能的传感器。每个 子集可以包括测量传感器的一个不同子集，这样每个子集是离散的且所述测量子集之间没 有重叠。例如，如果有五个传感器A、B、C、D和E，可以使用这些传感器产生两个子集。子集1可 以包括传感器A和B，而子集2可以包括传感器C、D和E。子集1包括A、B和C及子集2包括A、D和E 这样的分组是不允许的，因为传感器A被包含在两个子集中。当将传感器分组为子集后，下 一步可以是基于来自传感器的数据计算所述传感器之间预期的空间关系(603)。接下来，可 利用至少一个卡尔曼滤波器来确定所述传感器之间的实际空间关系（604)。每个子集可以 有至少一个卡尔曼滤波器以使用传感器数据进行计算。在最后的步骤中，可以使用处理器 计算一个或多个传感器的空间配置(605)。所述传感器的空间配置的计算可以基于一个或 多个卡尔曼滤波器所确定的在子集中的传感器之间的实际空间关系进行确定。
[0084] 无人飞行器可以包含多个不同类型的传感器。所述多个传感器可以进一步组织成 传感器的分组或子集;每个子集包括至少两个传感器，其包括一个参考传感器和一个或多 个测量传感器。每个子集可以包括测量传感器的一个不同子集，这样每个子集是离散的且 所述测量子集之间没有重叠。所有的子集可具有一个统一的参考传感器。例如，可以相对于 惯性测量单元来分析所有的子集，而所述惯性测量单元可被选为参考传感器。备选地，每个 子集可具有一个不同的参考传感器。每个子集的至少一个卡尔曼滤波器可以基于传感器数 据确定每个子集中至少两个传感器之间的实际空间关系。多个卡尔曼滤波器可以并行工作 来确定多个子集中传感器之间的实际空间关系。可以执行额外的计算以基于每个子集中的 至少两个传感器之间的实际空间关系来确定所述多个传感器相对彼此的空间配置。
[0085] 图7图表式地描述了可能的系统架构的一个例子。在顶层，所述系统可以包括传感 器或传感器子集的系统(701)。其中一个传感器可被指定为参考传感器(701a)。剩下的测量 传感器（710b)可以收集在相对坐标系中的数据，所述相对坐标系不同于所述参考传感器 (710a)的相对坐标系。所述测量传感器(701b)的测量(702)可以在层703转化为参考传感器 701a的坐标系。当每个子集的数据转换后，其可代入卡尔曼滤波器(704)。每个子集的滤波 器可以将数据代入到不同的卡尔曼滤波器(704)。所述卡尔曼滤波器可以确定在每个子集 中传感器的准确的空间关系（705)，然后确定系统中传感器的准确的关系（706)。卡尔曼滤 波器可以并联。
[0086] 传感器可以由卡尔曼滤波器通过首先建立一个描述系统运动的动态公式与一个 选定的传感器和参考传感器之间的转换公式来标定。所述系统运动的动态公式可能主要取 决于惯性测量单元的数据，其包括系统的加速度和角加速度。接下来，可以确定所述卡尔曼 滤波器的初始状态，例如从出厂设置确定。所述初始状态可由状态变量矢量和协方差矩阵 描述。对于内感受传感器(例如，IMU)，所测量的数据可以直接读取，对于外感受传感器(如 相机），所测量的数据可以基于先前时间步骤的外部参数通过选择合适的观察点来获得。最 后一步，卡尔曼滤波器的状态可以通过将所述测量数据代入到所述卡尔曼滤波器中的一个 更新公式中来进行更新。所述更新公式可以取决于所述卡尔曼滤波器的类型（例如扩展型 或无迹型）。
[0087]图8图表式地显示可能的系统架构的另一个例子。所述系统可以具有多个传感器， 所述多个传感器可以分组为多个子集。每个子集可能具有一个参考传感器。一个参考传感 器可以被用于一个或多个子集。在图8所示的例子中，左侧的相机801和惯性测量单元802可 以是参考传感器。剩余的传感器(例如，右侧的相机、GPS和超声波)可以是测量传感器803。 与图7概述的过程类似，每个传感器的测量可以转化至相应的参考坐标系统804。所述转化 的测量可以使用卡尔曼滤波器来连续地标定(805)。所述卡尔曼滤波器可以是无迹卡尔曼 滤波器或扩展卡尔曼滤波器。所述卡尔曼滤波器可以确定在子集中所述传感器的准确的空 间关系(806)，然后确定所述系统中传感器的准确关系(807)。
[0088]本文所描述的系统，装置及方法可以适用于各种各样的可移动物体。如前所述，本 文有关飞行器的任何描述，例如无人飞行器，可以适用于以及用于任何可移动物体。本文对 飞行器的任何描述可特别应用于无人飞行器。本发明中可移动物体可以配置为在任何合适 的环境中移动，如在空气中（例如，固定翼飞行器、旋转翼飞行器或既没有固定翼也没有旋 转翼的飞行器）、在水中（例如，船或潜艇）、在陆地上(例如，机动载运工具，如汽车、卡车、客 车、货车、摩托车、自行车;可移动的结构或框架如棒、钓鱼竿;或火车）、在地面下（例如，地 铁）、在太空（例如，太空飞机、卫星或探测器），或这些环境的任何组合。所述可移动物体可 以是载运工具，如本文其他地方所描述的载运工具。在一些实施例中，所述可移动物体可以 被一个生物携带，或可以是被一生物所抛出的物体，例如，人类或动物。任选地，适当的动物 可以包括鸟类动物、犬科动物、猫科动物、马科动物、牛科动物、羊属动物、猪科动物、豚科动 物、啮齿类动物、昆虫类动物。
[0089] 所述可移动物体可以在环境中相对于六个自由度进行自由移动（例如，三个平移 的自由度和三个旋转的自由度）。备选地，可移动物体的移动可以是受限于一个或多个自由 度，如被预定的路径、跟踪或方向限定。所述移动可以由任何合适的致动机构而致动，如引 擎或马达。所述可移动物体的致动机构可以任何合适的能源作为动力，例如电能、磁能、太 阳能、风能、重力能、化学能、核能，或上述任何合适的组合。如本文其他地方所述，所述可移 动物体可以通过动力系统进行自动力。所述动力系统任选地利用如下能源来运作，如电能、 磁能、太阳能、风能、重力能、化学能、核能，或上述任何合适的组合。备选地，可移动物体可 以被一个生物携带。
[0090] 在一些实例中，所述可移动物体可以是飞行器。例如，所述飞行器可以是固定翼飞 行器(例如，飞机、滑翔机）、旋转翼飞行器(例如，直升机、旋翼机)或没有固定翼和旋转翼的 飞行器(如，飞艇、热气球）。飞行器可以是自动力的，如通过空气自动力。自动力式的飞行器 可以利用一个动力系统，如包括一个或多个引擎、马达、轮子、轮轴、磁铁、转子、螺旋桨、桨 叶、喷嘴，或上述任何合适组合的动力系统。在一些实例中，所述动力系统可以用于使可移 动物体从一个表面起飞、着陆到一个表面上、保持其当前位置和/或方向（例如，悬停）、改变 方向和/或改变位置。
[0091] 所述可移动物体可以由用户进行远程控制或由可移动物体内或上的乘客进行本 地控制。所述可移动物体可以通过在单独的载运工具内的乘员进行远程控制。在一些实施 例中，所述可移动物体是无人的可移动物体，如无人飞行器。无人驾驶的可移动物体，如无 人飞行器，所述可移动物体上可能没有乘客。所述可移动物体可以由一个人或一个自主控 制系统（例如，计算机控制系统)或任何合适的组合控制。所述可移动物体可以是自主式的 或半自主的机器人，如配置有人工智能的机器人。
[0092] 所述可移动物体可以有任意合适的大小和/或尺寸。在一些实施例中，所述可移动 物体可以具有允许人类乘客在载运工具内或载运工具上的大小和/或尺寸。备选地，所述可 移动物体可以具有小于允许人类乘客在载运工具内或载运工具上的大小和/或尺寸。所述 可移动物体可以具有适合被人类举起或携带的大小和/或尺寸。备选地，所述可移动物体可 以大于适合被人类举起或携带的大小和/或尺寸。在一些实例中，可移动物体可以有小于或 等于约2cm、5cm、10cm、50cm、lm、2m、5m或10m的最大尺寸(例如长度、宽度、高度、直径、对角 线）。所述最大尺寸可以大于或等于约2cm、5cm、10cm、50cm、lm、2m、5m或10m。例如，可移动物 体的相对转子的轴之间的距离可以小于或等于约2cm、5cm、10cm、50cm、lm、2m、5m或10m。备 选地，所述相对转子的轴之间的距离可以大于或等于约2cm、5 cm、10cm、50cm、lm、2m、5m或 10m〇
[0093] 在一些实施例中，所述可移动物体可以具有小于lOOcmX lOOcmX 100cm、小于50cm X 50cm X 30cm或小于5cm X 5cm X 3cm的体积。所述可移动物体的总体积可以是小于或等于 约lcm3、2cm3、5cm 3、10cm3、20 cm3、30 cm3、40cm3、50cm3、60cm3、70 cm3、80 cm3、90cm3、100cm3、 150 cm3、200cm3、300cm3、500cm3、750cm 3、1000cm3、5000cm3、10，000cm3、100，000 cm3、lm3或 l〇m3。相反地，所述可移动物体的总体积可以大于或等于约1 cm3、2cm3、5cm3、10cm3、20cm 3、 30 cm3、40cm3、50 cm3、60cm3、70 cm3、80cm3、90 cm3、100 cm3、150 cm3、200 cm3、300 cm3、500 cm3、 750cm3、1000cm3、5000cm 3、10，000cm3、100，000cm3、lm3 或 10m3 〇
[0094] 在一些实施例中，所述可移动物体可能具有小于或等于约32,000cm2、20,000cm 2、 10，000cm2、1，000cm2、500cm2、100cm 2、50cm2、10cm2 或 5cm2的占地面积(可能是指可移动物体 所包含的横截面面积）。相反地，所述占地面积可以大于或等于约32,000 Cm2、20,000cm2、10， 000cm2、1，000cm 2、500cm2、100cm2、50cm2、10cm 2 或 5cm2〇
[0095] 在一些实例中，可移动物体的重量可能不超过1000kg。所述可移动物体的重量可 以小于或等于 l〇〇〇kg、7 50kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、 40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、 0 · 5kg、0 · lkg、0.05kg或0 · 01kg。相反地，所述重量可以大于或等于1000kg、750kg、500kg、 200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、 12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、0·5kg、0·lkg、0·05kg或0·01kg。
[0096] 在一些实施例中，可移动物体相对于其携带的负载是比较小的。所述负载可以包 括搭载物和/或载具，本文其他地方会作进一步地详细描述。在一些例子中，可移动物体的 重量与负载重量的比值可以大于、小于或等于约1:1。任选地，载具重量与负载重量的比值 可以大于、小于或等于约1:1。需要时，可移动物体的重量与负载重量的比值可小于或等于 约1:2、1:3、1:4、1:5、1:10或甚至更少。相反地，可移动物体的重量与负载重量的比值可以 大于或等于约2:1、3:1、4:1、5:1、10:1或甚至更大。
[0097] 在一些实施方式中，可移动物体可具有低能耗。例如，所述可移动物体可以使用小 于约5W/h、4W/h、3W/h、2W/h、lW/h或更少的能耗。在一些实例中，可移动物体的载具可具有 低能耗。例如，所述载具可以使用小于约51/11、41/11、31/11、21/11、11/11或更少的能耗。任选 地，所述可移动物体的搭载物可具有低能耗，如低于约5W/h、4W/h、3W/h、2W/h、lW/h或更少 的能耗。
[0098] 图9说明根据本发明实施方式的无人飞行器(UAV)900。所述无人飞行器可以作为 本文所描述的可移动物体的一个例子。所述无人飞行器900可以包括具有四个转子902、 904、906和908的动力系统。可以设置任何数量的转子(例如，一个、两个、三个、四个、五个、 六个或更多）。所述无人飞行器的转子、转子组件或动力系统可使无人飞行器悬停/保持位 置、改变朝向和/或改变位置。相对转子的轴之间的距离可以是任何合适的长度910。例如， 所述长度910可以小于等于2m或小于等于5m。在一些实施方式中，所述长度910可以在从 40cm到lm、从10cm到2m或从5cm到5m的范围内。本文关于无人飞行器的任何描述可以适用于 可移动物体，例如不同类型的可移动物体，反之亦然。所述无人飞行器可以使用本文所描述 的辅助起飞系统或方法。
[0099] 在一些实施方式中，可移动物体可以配置为携带一个负载。所述负载可包括一个 或更多的乘客、货物、设备、仪器等。所述负载可以设置在一个外壳内。所述负载可以与可移 动物体的外壳分离，或是可移动物体的外壳的一部分。备选地，所述负载可以与外壳一同提 供而所述可移动物体不具有外壳。备选地，所述负载的部分或整个负载可以没有外壳。所述 负载相对于可移动物体可以是刚性地固定的。任选地，所述负载相对于可移动物体可以是 可移动的（例如，可相对于可移动物体平移或旋转）。所述负载可以包括搭载物和/或载具， 如本文其他地方所描述的。
[0100] 在一些实施方式中，相对于固定参考框架(例如，周围的环境)和/或相对于彼此的 可移动物体、载具和/或搭载物的移动是可以通过终端控制的。所述终端可以是远离所述可 移动物体、载具和/或搭载物的远程控制装置。所述终端可以设置或固定在支撑平台上。备 选地，所述终端可以是手持式或可穿戴式装置。例如，终端可以包括智能手机、平板电脑、笔 记本电脑、计算机、眼镜、手套、头盔、麦克风或上述适合的组合。所述终端可以包括用户接 口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入可以用于与终端进行交 互，例如，手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或 者倾斜）。
[0101] 所述终端可以用来控制可移动物体、载具和/或搭载物的任何合适的状态。例如， 所述终端可以用来控制相对于固定参考和/或相对于彼此的可移动物体、载具和/或搭载物 的位置和/或朝向。在一些实施方式中，所述终端可以用来控制可移动物体、载具和/或搭载 物的单个部件，例如所述载具的驱动组件、所述搭载物的传感器或所述搭载物的发射体。所 述终端可以包括无线通信装置，其适用于与一个或多个可移动物体、载具和/或搭载物通 {目。
[0102] 所述终端可以包括合适的显示单元以查看可移动物体、载具和/或搭载物的信息。 例如，所述终端可用于显示可移动物体、载具和/或搭载物的与位置、平移速度、平移加速 度、朝向、角速度、角加速度或上述任何合适的组合相关的信息。在一些实施方式中，所述终 端可以显示搭载物所提供的信息，如功能性的搭载物所提供的数据(例如，相机或其他图像 获取设备装置所记录的图像）。
[0103] 任选地，同一个终端可以同时控制可移动物体、载具和/或搭载物，或可移动物体、 载具和/或搭载物的状态，以及从可移动物体、载具和/或搭载物接收和/或显示信息。例如， 终端可以控制所述搭载物相对于环境的定位，而同时显示搭载物获取的图像数据或有关搭 载物的位置信息。备选地，不同的终端可用于不同的功能。例如，第一终端可以控制可移动 物体、载具和/或搭载物的移动或状态，而第二终端可以从可移动物体、载具和/或搭载物接 收和/或显示信息。例如，第一终端可用于控制所述搭载物相对于环境的定位而第二终端显 示搭载物获取的图像数据。可移动物体与集成终端之间可以利用多种通信模式以同时控制 可移动物体和接收数据，或在所述可移动物体与多个终端之间同时控制可移动物体和接收 数据。例如，可以在可移动物体和所述终端之间形成至少两种不同的通信模式以控制可移 动物体和从可移动物体接收数据。
[0104] 图10说明根据本发明实施例的包括载具1002和搭载物1004的可移动物体1000。虽 然可移动物体1000被描绘成飞行器，这个描述并不是限制性的，且如先前所描述的，其他任 何合适类型的可移动物体都可以使用。本领域技术人员应了解，本文所描述的任何实施例 中所描述的飞行器系统的情形可以应用于任何合适的可移动物体(例如，UAV)。在一些实例 中，搭载物1004可以提供在可移动物体1000上而不需要所述载具1002。可移动物体1000可 以包括动力机构1006,感测系统1008,和通信系统1010。
[0105]所述动力机构1006可以包括如前所述一个或多个转子、螺旋桨、桨叶、引擎、马达、 轮子、轮轴、磁铁或喷嘴。可移动物体可以有一个或更多、两个或更多、三个或更多或四个或 更多的动力机构。所述动力机构可以都是同一类型的。备选地，一个或更多的动力机构可以 是不同类型的动力机构。所述动力机构1006可以使用适当的方法安装在可移动物体1000 上，如本文其他地方所描述的支撑元件(例如，驱动轴）。所述动力机构1006可安装在可移动 物体1000任何合适的部分，例如在顶部、底部、前端、后端、侧面或上述的适当组合。
[0106] 在一些实施例中，上述动力机构1006可以使可移动物体1000从一个表面垂直起飞 或垂直降落于一个表面上而无需可移动物体1000任何的水平运动（例如，不需要沿着飞机 跑道而下）。任选地，可操作所述动力机构1006以允许可移动物体1000在空中悬停在指定的 位置和/或朝向。可以独立地控制一个或多个动力机构1000而与其它动力机构无关。备选 地，所述动力机构1006可配置为被同时控制。例如，可移动物体1000可以有多个水平定向转 子，其可以为可移动物体提供升力/推力。可以驱动所述多个水平定向转子从而为可移动物 体1000提供垂直起飞，垂直降落，和悬停的能力。在一些实施方式中，一个或多个的水平定 向转子可以顺时针方向旋转，而一个或多个水平转子可以逆时针方向旋转。例如，顺时针旋 转的转子的数量可以与逆时针旋转的转子的数量相等。为了控制每个转子所产生的升力/ 推力，每个水平定向转子的旋转速度可以独立变化，从而调整可移动物体1000的空间布局， 速度和/或加速度(例如，关于多达三个自由度的平移和多达三个自由度的旋转）。
[0107] 所述感测系统1008可以包括一个或多个传感器，其可以感测可移动物体1000的空 间布局、速度和/或加速度（例如，关于多达三个自由度的平移和多达三个自由度的旋转）。 所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距 离传感器或图像传感器。所述感测系统1008提供的感测数据可以用来控制可移动物体1000 的空间布局、速度和/或朝向（例如，如下所述使用合适的处理单元和/或控制模块）。备选 地，所述感测系统1008可以用于提供关于可移动物体的周围环境的数据，例如天气条件、到 潜在障碍物的距离、地理特征的位置、人造结构的位置等。
[0108] 所述通信系统1010能够通过无线信号1016与具有通信系统1014的终端1012进行 通信。所述通信系统1〇1〇，1〇14可以包括适用于无线通信的任何数量的发射器、接收器和/ 或收发器。所述通信可以是单向通信，这样可使得数据可以只在一个方向传输。例如，单向 通信可能只涉及所述可移动物体1000将数据传输到终端1012,或反之亦然。数据也可以从 所述通信系统1010的一个或多个发射器传输到所述通信系统1014的一个或多个接收器，或 反之亦然。备选地，所述通信可以是双向通信，这样可以使得数据可以在可移动物体1000和 所述终端1012之间双向传送。双向通信可涉及所述通信系统1010的一个或多个发射器传输 数据到所述通信系统1014的一个或多个接收器，及反之亦然。
[0109] 在一些实施例中，所述终端1012可以将控制数据提供给一个或多个可移动物体 1000、载具1002和/或搭载物1004,以及从一个或多个可移动物体1000、载具1002和/或搭载 物1004接收信息（例如，可移动物体、载具和/或搭载物的位置和/或运动信息;搭载物所感 测到的数据如搭载物相机所获取的图像数据）。在一些实例中，来自终端的控制数据可以包 括可移动物体、载具和/或搭载物的相对位置、移动、致动或控制的指令。例如，所述控制数 据会导致在可移动物体的位置和/或朝向上的改变(例如，通过动力机构1006的控制），或搭 载物关于可移动物体的移动（例如，通过载具1002的控制）。所述终端的控制数据会导致对 搭载物的控制，如相机或其他图像获取设备操作的控制(例如，拍摄静止的或移动的图片、 缩放、打开或关闭、切换图像模式、改变图像的分辨率、改变焦点、改变景深、改变曝光时间、 改变观察视角或视野）。在一些实例中，可移动物体、载具和/或搭载物的通信可包括来自 (例如，感测系统1008的或搭载物1004的）一个或多个传感器的信息。所述通信可以包括从 一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器、图 像传感器)获取的感测信息。这些信息可能会涉及到可移动物体、载具和/或搭载物的位置 (例如，位置、朝向）、运动或加速度。搭载物的这类信息可以包括搭载物获取的数据或搭载 物的感测状态。终端1012传输的控制数据可以被配置为用于控制一个或多个可移动物体 1000、载具1002或搭载物1004的状态。备选地或组合地，所述载具1002和搭载物1004也可各 包括一个配置用于与终端1012通信的通信模块，这样可以使得终端能够独立地与每个可移 动物体1000、载具1002和/或搭载物1004进行通信和控制。
[0110] 在一些实施例中，所述可移动物体1000可以配置为与终端1012以及另一个远程设 备进行通信，或与所述终端1012之外的另一个远程装置进行通信。所述终端1012也可以配 置为既与另一个远程设备通信又与所述可移动物体1000通信。例如，所述可移动物体1000 和/或所述终端1012可以与另一个可移动物体进行通信，或另一个可移动物体的载具或搭 载物进行通信。需要时，所述远程设备可以是第二终端或其他计算设备(例如，电脑、笔记本 电脑、平板电脑、智能手机或其他移动设备）。所述远程装置可以用于将数据传输到可移动 物体1000、从可移动物体1000接收数据、将数据传输到终端1012和/或从终端1012接收数 据。任选地，所述远程装置可以连接到互联网或其他通信网络，使得从可移动物体1000和/ 或终端1012接收的数据可以上传到网站或服务器。
[0111] 图11是根据本发明实施方式的控制可移动物体的系统1100的示意性方块图。所述 系统1100可以与本文所揭露的系统、装置和方法的任何合适的实施例结合使用。所述系统 1100包括感测模块1102,处理单元1104,非暂时性计算机可读介质1106,控制模块1108,以 及通讯模块1110。
[0112] 所述感测模块1102可以使用不同类型的传感器来以不同的方式收集有关可移动 物体的信息。不同类型的传感器可以感测不同类型的信号或不同来源的信号。例如，所述传 感器可以包括惯性传感器、GPS传感器、距离传感器（例如，激光雷达)或视觉/图像传感器 (例如，相机）。感测模块1102可以可操作地连接到具有多个处理器的处理单元1104。在一些 实施例中，所述感测模块1102可以可操作地耦合到传输模块1112(例如，Wi-Fi图像传输模 块），用于直接传输感测数据到合适的外部装置或系统。例如，所述传输模块1112可用于将 所述感测模块1102的相机拍摄的图像传输到远程终端。
[0113] 所述处理单元1104可以具有一个或多个处理器，如可编程的处理器(例如，中央处 理器(CPU))。所述处理单元1104可以可操作地耦合到非暂时性计算机可读介质1106。所述 非暂时性计算机可读介质1106可以存储能够被处理单元1104所执行的逻辑、代码和/或程 序指令以执行一个或多个步骤。所述非暂时性计算机可读介质可以包括一个或多个存储单 元(例如，可移动介质或外部存储，如SD卡或随机存取存储器(RAM))。在一些实施例中，所述 感测模块1102的数据可以直接地传送到并存储在所述非暂时性计算机可读介质的1106的 存储单元内。所述非暂时性计算机可读介质1106的存储单元可以存储能够被处理单元1104 所执行的逻辑、代码和/或程序指令以执行本文所描述的方法的任何合适的实施方式。例 如，所述处理单元1104可以用于执行使得所述处理单元1104的一个或多个处理器分析感测 模块产生的感测数据的指令。所述存储单元可以存储由处理单元1104处理的来自所述感测 模块的感测数据。在一些实施例中，所述非暂时性计算机可读介质1106的存储单元可以用 来存储处理单元1104产生的处理结果。
[0114] 在一些实施例中，所述处理单元1104可以可操作地耦合到控制模块1108，其配置 成控制所述可移动物体的状态。例如，所述控制模块1108可以配置为控制可移动物体的动 力机构以调整可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合 地，所述控制模块1108可以控制一个或多个载具、搭载物或感测模块的状态。
[0115] 所述处理单元1104可以可操作地耦合到通信模块1110,用于向和/或从一个或多 个外部装置(例如，终端、显示装置或其他远程控制器)发送和/或接收数据。可以使用任何 合适的通信方法，如有线通信或无线通信。例如，所述通信模块1110可利用一个或多个局域 网（LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等。任选 地，可以使用中继站，如信号塔、卫星或移动站。无线通信可以是不独立地接近或独立地接 近。在一些实施例中，通信可以需要也可以不需要视线。所述通信模块1110可以向和/或从 一个或多个感测模块1102发送和/或接收一个或多个感测数据、处理单元1104产生的处理 结果、预定的控制数据、终端或远程控制器的用户命令等。
[0116] 所述系统1100的组件可以任意合适的配置进行布置。例如，所述系统1100的一个 或多个组件可以定位于可移动物体、载具、搭载物、终端、感测系统或与上述一个或多个通 信的额外外部装置上。此外，尽管图11示出了单一的处理单元1104和单一的非暂时性计算 机可读介质1106,本领域技术人员应了解这并不具限制性，并且所述系统1100可以包括多 个处理单元和/或非暂时性计算机可读介质。在一些实施例中，多个处理单元和/或非暂时 性计算机可读介质中的一个或多个可以位于不同位置，例如在可移动物体、载具、搭载物、 终端、感测模块、与上述一个或多个通信的额外外部装置，或上述的适当组合上，以使得由 系统1100执行的处理和/或存储功能的任何合适的方面可以发生在一个或多个前述的位置 处。
[0117] 尽管本文中已经示出且描述了本发明的优选实施方式，但本领域技术人员将显而 易见，这些实施方式只是通过举例的方式来提供的。本领域技术人员在不脱离本发明的情 况下目前可以想到众多变化、修改和替换。应了解，本文所述的本发明实施方式的各种替代 选择可用于实施本发明。所附权利要求书意在界定本发明的范畴并且因此涵盖属于这些权 利要求和其等效形式的范畴内的方法和结构。
【主权项】
1. 一种在线传感器标定的方法，所述方法包括： 当无人飞行器(UAV)在飞行时，从连接于所述无人飞行器的多个不同类型的传感器获 取传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置； 借助处理器，基于所述传感器数据来检测所述多个传感器从所述初始空间配置到随后 的空间配置相对于彼此的空间配置变化； 确定所述随后的空间配置；以及 当所述无人飞行器在飞行时，基于所述随后的空间配置调整来自所述多个传感器中至 少一个传感器的数据。2. 如权利要求1所述的方法，其中所述多个不同类型的传感器包括以下至少两个:视觉 传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。3. 如权利要求2所述的方法，其中所述多个传感器中的至少一个是惯性传感器。4. 如权利要求3所述的方法，其中来自所述多个传感器的所述传感器数据是由所述惯 性传感器相关的坐标系提供的。5. 如权利要求1所述的方法，其中所述初始空间配置包括所述多个传感器中的每一个 相对于彼此的初始位置和初始方向。6. 如权利要求5所述的方法，其中所述空间配置变化包括所述多个传感器中的至少一 个相对于所述多个传感器中的其他传感器的所述初始位置和/或所述初始方向的变化。7. 如权利要求1所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配置。8. 如权利要求1所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配置。9. 如权利要求1所述的方法，其中所述空间配置变化是由所述无人飞行器的移动引起 的。10. 如权利要求9所述的方法，其中所述空间配置变化是由所述无人飞行器的振动引起 的。11. 如权利要求1所述的方法，进一步包括:借助所述处理器，使用多个卡尔曼滤波器来 确定所述随后的空间配置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器 和/或无迹卡尔曼滤波器。12. 如权利要求1所述的方法，其中所述处理器机载于所述无人飞行器上。13. 如权利要求11所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述 无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。14. 一种用于在线传感器标定的装置，所述装置包括： (a) 多个不同类型的传感器，其（i)连接于无人飞行器(UAV)，且（ii)用于当所述无人飞 行器飞行时提供传感器数据，其中所述多个传感器具有相对于彼此的初始空间配置；以及 (b) -个或多个处理器，其单独地或全体地用于（i)基于所述传感器数据来检测所述多 个传感器从所述初始空间配置到随后的空间配置相对于彼此的空间配置变化；（ii)确定所 述随后的空间配置;和（iii)当所述无人飞行器在飞行时，基于所述随后的空间配置调整来 自所述多个传感器中至少一个传感器的数据。15. 如权利要求14所述的装置，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。16. 如权利要求15所述的装置，其中所述多个传感器中的至少一个是惯性传感器。17. 如权利要求16所述的装置，其中所述多个传感器的所述传感器数据是由所述惯性 传感器相关的坐标系提供的。18. 如权利要求14所述的装置，其中所述初始空间配置包括所述多个传感器中的每一 个相对于彼此的初始位置和初始方向。19. 如权利要求18所述的装置，其中所述空间配置变化包括所述多个传感器中的至少 一个相对于所述多个传感器中的其他传感器的所述初始位置和/或所述初始方向的变化。20. 如权利要求14所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配 置。21. 如权利要求14所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配 置。22. 如权利要求14所述的装置，其中所述空间配置变化是由所述无人飞行器的移动引 起的。23. 如权利要求22所述的装置，其中所述空间配置变化是由所述无人飞行器的振动引 起的。24. 如权利要求14所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来 确定所述随后的空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/ 或无迹卡尔曼滤波器。25. 如权利要求14所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。26. 如权利要求14所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞 行时与无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。27. -种传感器标定的方法，所述方法包括： 从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据； 选择参考坐标系； 借助处理器，基于所述传感器之间的预测空间关系，在所述参考坐标系中显示所述多 个传感器的所述传感器数据； 借助所述处理器检测所述多个传感器之间的所述传感器数据的差异，所述差异表示所 述传感器之间在所述预测空间关系中的误差； 确定实际空间配置；以及 基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。28. 如权利要求27所述的方法，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。29. 如权利要求28所述的方法，其中所述多个传感器中的至少一个是惯性传感器。30. 如权利要求29所述的方法，其中所述参考坐标系是与所述惯性传感器相关的坐标 系。31. 如权利要求27所述的方法，其中所述传感器之间的所述预测空间关系是基于所述 传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器 中的每一个相对于彼此的初始位置和初始方向。32. 如权利要求31所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配 置。33. 如权利要求31所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配 置。34. 如权利要求27所述的方法，其中所述传感器之间的所述预测空间关系包括所述传 感器相对于彼此的相对空间位置和相对空间方向。35. 如权利要求27所述的方法，进一步包括:借助所述处理器，使用多个卡尔曼滤波器 来确定所述随后的空间配置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波 器和/或无迹卡尔曼滤波器。36. 如权利要求27所述的方法，其中所述处理器机载于所述无人飞行器上。37. 如权利要求27所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述 无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。38. 如权利要求27所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器 的所述实际空间配置。39. 如权利要求38所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述 实际空间配置。40. 如权利要求27所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多 个传感器的所述数据。41. 如权利要求27所述的方法，其中基于所述实际空间配置调整的所述数据是由视觉 传感器所获取的图像数据。42. -种用于传感器标定的装置，所述装置包括： (a) 多个不同类型的传感器，其（i)连接于无人飞行器(UAV)，且（ii)用于提供传感器数 据；以及 (b) -个或多个处理器，其单独地或全体地用于： (i) 选择参考坐标系； (ii) 基于所述传感器之间的预测空间关系，在所述参考坐标系中显示来自所述多个传 感器的所述传感器数据； (i i i)检测所述多个传感器之间的所述传感器数据的差异， 所述差异表示所述传感器之间在所述预测空间关系中的误差； (iv) 确定实际空间配置；以及 (v) 基于所述实际空间配置调整来自所述多个传感器中至少一个传感器的数据。43. 如权利要求42所述的装置，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。44. 如权利要求43所述的装置，其中所述多个传感器中的至少一个是惯性传感器。45. 如权利要求44所述的装置，其中所述参考坐标系是与所述惯性传感器相关的坐标 系。46. 如权利要求42所述的装置，其中所述传感器之间的所述预测空间关系是基于所述 传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述多个传感器 中的每一个相对于彼此的初始位置和初始方向。47. 如权利要求46所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配 置。48. 如权利要求46所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配 置。49. 如权利要求42所述的装置，其中所述传感器之间的所述预测空间关系包括所述传 感器相对于彼此的相对空间位置和相对空间方向。50. 如权利要求42所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来 确定所述随后的空间配置，所述多个卡尔曼滤波器包括一个或多个扩展卡尔曼滤波器和/ 或无迹卡尔曼滤波器。51. 如权利要求42所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。52. 如权利要求42所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞 行时与所述无人飞行器通信的装置上且所述装置所述无人飞行器外部。53. 如权利要求42所述的装置，其中在所述无人飞行器处于操作中时确定所述传感器 的所述实际空间配置。54. 如权利要求53所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所述 实际空间配置。55. 如权利要求42所述的装置，其中在所述无人飞行器处于操作中时调整来自所述多 个传感器中所述至少一个的所述数据。56. 如权利要求42所述的装置，其中基于所述实际空间配置调整的所述数据是由视觉 传感器所获取的图像数据。57. -种传感器标定的方法，所述方法包括： 从连接于无人飞行器(UAV)的多个不同类型的传感器获得传感器数据； 借助处理器，将所述多个传感器分组为多个子集，每个子集具有（i)至少两个传感器， 以及（ii)不同的传感器组合； 借助所述处理器，基于所述传感器数据计算每个子集中所述至少两个传感器之间的预 测空间关系； 基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间关系； 借助于所述处理器，基于每个子集中所述至少两个传感器之间的所述实际空间关系， 计算所述多个传感器相对于彼此的空间配置。58. 如权利要求57所述的方法，其中每个子集包括一个参考传感器和一个或多个测量 传感器。59. 如权利要求58所述的方法，其中每个子集的所述参考传感器是相同的。60. 如权利要求58所述的方法，其中每个子集的所述参考传感器是不同的。61. 如权利要求57所述的方法，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。62. 如权利要求61所述的方法，其中所述多个传感器中的至少一个是惯性传感器。63. 如权利要求58所述的方法，其中每个子集中所述传感器之间的所述预测空间关系 是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述 多个传感器中的每一个相对于彼此的初始位置和初始方向。64. 如权利要求63所述的方法，其中在所述无人飞行器起飞之前提供所述初始空间配 置。65. 如权利要求63所述的方法，其中在所述无人飞行器飞行期间提供所述初始空间配 置。66. 如权利要求58所述的方法，其中所述传感器之间的所述预测空间关系包括所述传 感器相对于彼此的相对空间位置和相对空间方向。67. 如权利要求58所述的方法，其中所述处理器使用多个卡尔曼滤波器来确定每个子 集中所述至少两个传感器之间的实际空间关系，所述多个卡尔曼滤波器包括一个或多个扩 展卡尔曼滤波器和/或无迹卡尔曼滤波器。68. 如权利要求58所述的方法，其中所述处理器机载于所述无人飞行器上。69. 如权利要求58所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述 无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。70. 如权利要求58所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器 的所述实际空间配置。71. 如权利要求58所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述 实际空间配置。72. 如权利要求58所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多 个传感器的所述数据。73. 如权利要求57所述的方法，进一步包括:基于所述空间配置调整所述来自多个传感 器中至少一个传感器的数据，以及借助所述处理器基于每个子集中所述至少两个传感器之 间的所述实际空间关系，计算所述多个传感器相对于彼此的空间配置。74. 如权利要求73所述的方法，其中基于所述实际空间配置调整的所述数据是由视觉 传感器所获取的图像数据。75. -种用于传感器标定的装置，所述设备包括： (a) 多个不同类型的传感器，其（i)连接于无人飞行器(UAV)，且（ii)用于提供传感器数 据；以及 (b) -个或多个处理器，其单独地或全体地用于： (i) 将所述多个传感器分组为多个子集，每个子集具有（i)至少两个传感器，和（ii)不 同的传感器组合； (ii) 基于所述传感器数据，计算每个子集中所述至少两个传感器之间的预测空间关 系； (iii) 基于所述预测空间关系，确定每个子集中所述至少两个传感器之间的实际空间 关系；以及 (iv) 基于每个子集中所述至少两个传感器之间的所述实际空间关系，计算所述多个传 感器相对于彼此的空间配置。76. 如权利要求75所述的装置，其中每个子集包括一个参考传感器和一个或多个测量 传感器。77. 如权利要求76所述的装置，其中每个子集的所述参考传感器是相同的。78. 如权利要求76所述的装置，其中每个子集的所述参考传感器是不同的。79. 如权利要求75所述的装置，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。80. 如权利要求79所述的装置，其中所述多个传感器中的至少一个是惯性传感器。81. 如权利要求75所述的装置，其中每个子集中所述传感器之间的所述预测空间关系 是基于所述传感器的初始空间配置在配置上的预测空间变化，所述初始空间配置包括所述 多个传感器中的每一个相对于彼此的初始位置和初始方向。82. 如权利要求81所述的装置，其中在所述无人飞行器起飞之前提供所述初始空间配 置。83. 如权利要求81所述的装置，其中在所述无人飞行器飞行期间提供所述初始空间配 置。84. 如权利要求75所述的装置，其中所述传感器之间的所述预测空间关系包括所述传 感器相对于彼此的相对空间位置和相对空间方向。85. 如权利要求75所述的装置，其中所述一个或多个处理器使用多个卡尔曼滤波器来 确定每个子集中所述至少两个传感器之间的实际空间关系，所述多个卡尔曼滤波器包括一 个或多个扩展卡尔曼滤波器和/或无迹卡尔曼滤波器。86. 如权利要求75所述的装置，其中所述一个或多个处理器机载于所述无人飞行器上。87. 如权利要求75所述的装置，其中所述一个或多个处理器位于在所述无人飞行器飞 行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。88. 如权利要求75所述的装置，其中在所述无人飞行器处于操作中时确定所述传感器 的所述实际空间配置。89. 如权利要求75所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所述 实际空间配置。90. 如权利要求75所述的设备，其中在所述无人飞行器处于操作中时调整来自所述多 个传感器中所述至少一个的所述数据。91. 一种传感器标定的方法，所述方法包括： 从多个不同类型的传感器获得传感器数据； 借助处理器，将所述多个传感器分组为多个子集，每个子集具有（i)至少两个传感器， 包括一个参考传感器和一个或多个测量传感器，和（ii)不同的传感器组合，其中所述多个 子集的至少两个子集具有不同的参考传感器； 借助于所述处理器，基于所述传感器数据，每个子集使用至少一个卡尔曼滤波器来确 定每个子集中所述至少两个传感器之间的实际空间关系；以及 借助所述处理器，基于每个子集中所述至少两个传感器之间的所述实际空间关系计算 所述多个传感器相对于彼此的空间配置。92. 如权利要求91所述的方法，其中所述多个传感器连接于无人飞行器(UAV)。93. 如权利要求92所述的方法，其中所述处理器机载于所述无人飞行器上。94. 如权利要求92所述的方法，其中所述处理器位于在所述无人飞行器飞行时与所述 无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。95. 如权利要求92所述的方法，其中在所述无人飞行器处于操作中时确定所述传感器 的所述实际空间配置。96. 如权利要求92所述的方法，其中在所述无人飞行器飞行时确定所述传感器的所述 实际空间配置。97. 如权利要求92所述的方法，其中在所述无人飞行器处于操作中时调整来自所述多 个传感器的所述数据。98. 如权利要求91所述的方法，其中所述多个不同类型的传感器包括以下至少两个:视 觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。99. 如权利要求98所述的方法，其中所述多个传感器中的至少一个是惯性传感器。100. 如权利要求98所述的方法，其中所述多个传感器中的至少一个是视觉传感器。101. 如权利要求91所述的方法，其中所述多个卡尔曼滤波器包括一个或多个扩展卡尔 曼滤波器和/或无迹卡尔曼滤波器。102. 如权利要求91所述的方法，进一步包括:在将所述多个传感器分组为多个子集后， 基于所述传感器数据计算每个子集中所述至少两个传感器之间的预测空间关系，其中所述 卡尔曼滤波器基于所述预测空间关系确定所述实际空间关系。103. 如权利要求91所述的方法，其中所述传感器之间的所述预测空间关系包括所述传 感器相对于彼此的相对空间位置和相对空间方向。104. -种用于传感器标定的装置，所述设备包括： (a) 多个不同类型的传感器，用于提供传感器数据；以及 (b) -个或多个处理器，其单独地或全体地用于： (1) 将所述多个传感器分组为多个子集，每个子集具有（i)至少两个传感器，包括一个 参考传感器和一个或多个测量传感器，和（ii)不同的传感器组合，其中所述多个子集的至 少两个子集具有不同的参考传感器； (2) 基于所述传感器数据，每个子集使用至少一个卡尔曼滤波器来确定每个子集中所 述至少两个传感器之间的实际空间关系；以及 (3) 基于每个子集中所述至少两个传感器之间的所述实际空间关系计算所述多个传感 器相对于彼此的空间配置。105. 如权利要求104所述的装置，其中所述多个传感器连接于无人飞行器(UAV)。106. 如权利要求105所述的装置，其中所述一个或多个处理器机载于所述无人飞行器 上。107. 如权利要求105所述的装置，其中所述一个或多个处理器位于在所述无人飞行器 飞行时与所述无人飞行器通信的装置上且所述装置位于所述无人飞行器外部。108. 如权利要求105所述的装置，其中在所述无人飞行器处于操作中时确定所述传感 器的所述实际空间配置。109. 如权利要求105所述的装置，其中在所述无人飞行器飞行时确定所述传感器的所 述实际空间配置。110. 如权利要求105所述的装置，其中在所述无人飞行器处于操作中时调整来自所述 多个传感器中所述至少一个的所述数据。111. 如权利要求104所述的装置，其中所述多个不同类型的传感器包括以下至少两个： 视觉传感器、GPS传感器、惯性传感器、红外传感器、超声波传感器或激光雷达传感器。112. 如权利要求111所述的装置，其中所述多个传感器中的至少一个是惯性传感器。113. 如权利要求111所述的装置，其中所述多个传感器中的至少一个是视觉传感器。114. 如权利要求104所述的装置，其中所述多个卡尔曼滤波器包括一个或多个扩展卡 尔曼滤波器和/或无迹卡尔曼滤波器。
【文档编号】G05D1/00GK106030431SQ201480074620
【公开日】2016年10月12日
【申请日】2014年8月15日
【发明人】唐克坦, 赵永建, 李兵, 周谷越
【申请人】深圳市大疆创新科技有限公司