传统上，空中摄影采用单个相机，这致使在载运工具已经行进过的位置处采集的图像被分割。例如，飞行器可以是相机面朝前方地向北飞行，并且可以记录北面的图像。当飞行器转弯并向南返回时，面朝前方的相机可能指向南并且仅可以记录南面的图像。这些图像中的差异可能会阻止飞行器使用视觉认知来自动返航。
技术实现要素：
需要一种可以依赖视觉认知进行自动返航的经改善的系统和方法。多个相机可以支撑在飞行器上以辅助收集可以用于自动返航的图像数据。所述多个相机可以面向不同方向以便具有不同的视野，从而获得广泛的覆盖范围，使得无论uav的取向如何，所述uav都可以使用所述图像数据来确定如何沿着其初始路径返航。
可能越来越需要对来自多个相机的图像进行处理和存储器存储，所述图像是在uav行进时进行收集并评定的。为了减少系统的负担，可以存储从选定图像中选出的特征和/或将其用于辅助导航。在一些情形下，所述特征可以是可以用来引导自动返航的特征点。所述特征可以是基于其存在于或不存在于多个相机中来进行选择。存储特征的间隔可以是基于各种参数来选择。
本发明的一个方面针对一种用于控制无人飞行器(uav)的飞行的方法，所述方法包括：使用多个图像捕捉装置来收集与所述uav周围环境的不同视野相对应的第一组图像，在穿越飞行路径时所述多个图像捕捉装置中的每一者具有所述不同视野；在穿越所述飞行路径时从所述第一组图像中提取第一组特征点；在穿越返航路径时使用所述多个图像捕捉装置收集与不同视野相对应的第二组图像；以及通过将在所述飞行路径过程中提取的所述第一组特征点与从所述第二组图像中提取的第二组特征点进行比较来穿越所述返航路径。
另外，本发明的方面针对一种用于控制无人飞行器(uav)的飞行的设备，所述设备包括：多个图像捕捉装置，所述多个图像捕捉装置中的每一者具有不同的视野、被配置成用于：(1)在穿越飞行路径时收集与所述uav周围环境的不同视野相对应的第一组图像，并且(2)在穿越返航路径时收集与所述不同视野相对应的第二组图像；以及一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：(1)在穿越所述飞行路径时从所述第一组图像中提取第一组特征点，并且(2)通过将在所述飞行路径过程中提取的所述第一组特征点与从所述第二组图像中提取的第二组特征点进行比较来生成致使所述uav穿越所述返航路径的信号。
根据本发明的另外多个方面，提供了一种用于控制无人飞行器(uav)的飞行的方法。所述方法可以包括：在穿越飞行路径时收集一组图像；在穿越所述飞行路径时从该组图像中提取一组特征点；以及基于以下各项来从该组特征点中选择一个特征点子集以便存储用于导航辅助：(1)所述uav的移动，(2)该组图像内的图像之间的重叠程度，(3)该组特征点内的特征点之间的重叠程度，或(4)关于所述特征点是否是静止的确定。
此外，本发明的多个方面可以包括一种用于控制无人飞行器(uav)的飞行的设备，所述设备包括：一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：在穿越所述飞行路径时接收由所述uav收集的一组图像；在穿越所述飞行路径时从该组图像中提取一组特征点；以及基于以下各项来从该组特征点中选择一个特征点子集以便存储用于导航辅助：(1)所述uav的移动，(2)该组图像内的图像之间的重叠程度，(3)该组特征点内的特征点之间的重叠程度，或(4)关于所述特征点是否是静止的确定。
本发明的另一方面针对一种用于控制无人飞行器(uav)的飞行的方法，所述方法包括：使用多个图像捕捉装置来收集与所述uav周围环境的不同视野相对应的一组图像，在穿越飞行路径时所述多个图像捕捉装置中的每一者具有不同的视野；在穿越所述飞行路径时从该组图像中提取一组特征点；以及基于收集包括所述特征点的图像的所述多个图像捕捉装置来从该组特征点中选择一个特征点子集来存储用于导航辅助。
此外，本发明的多个方面可以针对一种用于控制无人飞行器(uav)的飞行的设备，所述设备包括：一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成用于：接收用多个图像捕捉装置收集的与所述uav周围环境的不同视野相对应的一组图像，在穿越飞行路径时所述多个图像捕捉装置中的每一者具有所述不同视野；在穿越所述飞行路径时从该组图像中提取一组特征点；以及基于收集包括所述特征点的图像的所述多个图像捕捉装置来从该组特征点中选择一个特征点子集来存储用于导航辅助。
应当理解的是，本发明的不同方面可以单独地、整体地或者相互结合地来进行了解。本文所描述的本发明各个方面可以应用于以下阐述的任何特定应用或用于任何其他类型的可移动物体。本文对飞行器的任何描述都可以应用于并且使用于任何可移动物体，例如任何载运工具。此外，在本文中在空中运动(例如，飞行)的背景下披露的装置和方法也可以适用于其他类型移动的背景中，例如，在地面上或水上的移动、水下的运动、或在太空中的运动。
通过浏览说明书、权利要求书及附图，将清楚本发明的其他目的和特征。
援引并入
本说明书所提到的所有出版物、专利和专利申请以引用方式并入本文，就如同每个单独的出版物、专利或专利申请被明确地且单独地指明为是通过全文引用的方式并入。
附图说明
在所附权利要求书中具体陈述了本发明的新颖性特征。通过参考以下对利用了本发明原理的示例性实施方式进行阐释的详细说明并参照附图，将获得对本发明特征和优点的更好理解，在附图中：
图1示出了根据本发明实施方式具有面向不同方向的多个相机的无人飞行器(uav)的示意性俯视图。
图2示出了根据本发明实施方式可以在空间上设置在uav主体上的相机的示意性示例。
图3示出了根据本发明实施方式的示例性自动返航过程的流程图。
图4示出了根据本发明实施方式在一个环境内穿越飞行路径的uav的示例。
图5示出了根据本发明实施方式当uav穿越环境时借助于所述uav上的多个相机可以捕捉到的图像的示例。
图6示出了根据本发明实施方式的图像序列以及可以如何选择图像的示例。
图7示出了根据本发明实施方式的图像序列以及可以如何选择特征的示例。
图8示出了根据本发明实施方式由uav上携带的多个相机可以捕捉到的物体的示例，每一相机具有不同视场。
图9示出了根据本发明实施方式穿越返航路径的uav的示例。
图10展示了根据本发明实施方式的无人飞行器(uav)。
图11展示了根据本发明实施方式的包括载体和有效载荷的可移动物体。
图12是根据本发明实施方式的用于控制可移动物体的系统的框图示意图。
具体实施方式
无人飞行器(uav)可以穿越环境。uav可以记录关于其飞行路径的信息。uav可以具有可使所述uav能够返回至其飞行路径的起点的自动返航功能。在一些情形下，可能会发生希望初始化初始化uav的初始化自动返航功能的事件，或者可能会接收到这种命令。视觉认知对自动返航而言可以是有用的工具，因为它可以不依赖于与外部物体的通信。而uav自身的导航工具(例如，全球定位系统(gps))在与一个或多个卫星的信号可能被切断的情况下可能是不可靠的。
本文提供了用于基于视觉的自动返航的系统和方法。在一些实施方式中，uav可以依赖于对视觉数据的收集和分析来进行自动返航功能。uav可以使用所述uav所支撑的多个相机来收集可以辅助所述uav的导航的图像数据。所述多个相机可以相对于彼此以不同方向来取向，并且可以具有不同的视野。所述多个相机可以覆盖侧向360度区域。在一些实施方式中，所述多个相机可以覆盖球形360度空间场。uav可以使用所收集到的图像数据来执行其自动返航功能。
随着多个相机可以并行地收集图像数据，可以对图像数据进行存储和/或处理以辅助uav导航。当uav执行其自动返航时，uav可以基本上实时地收集图像数据并且分析所存储的图像数据。这可能对uav的处理能力和存储器存储能力提出严格要求。本文所描述的自动返航系统和方法可以采用选择性存储图像数据来降低所述要求。例如，可以存储来自图像的选定特征(例如，特征点)。在其他情形下，可以存储来自选定图像的选定特征。
任选地，此类选择可以基于一个或多个参数。例如，所述选择可以基于其中出现了特定特征或物体的相机的数量。所述选择可以取决于在基于时间的图像序列中与其他图像的比较。例如，所述选择可以取决于图像序列中的图像之间的重叠程度、或一组特征点内的特征点之间的重叠程度。在一些情形下，可以仅存储与环境内静止物体有关的图像数据。例如，可以仅存储环境内的静止特征点。所述选择可以基于uav的移动特性，例如uav的速度或方向。
图1示出了根据本发明实施方式具有面向不同方向的多个相机的无人飞行器(uav)的示意性俯视图。具有多个相机可以使uav能够从环境的较大部分中收集图像数据。所述多个相机可以使uav能够在一个环境中进行导航，无论所述uav的取向如何。
uav100可以具有uav主体110。所述uav主体可以支撑一个或多个相机120a、120b、120c、120d。每个相机可以具有对应的视野130a、130b、130c、130d。任选地，可能存在或可能不存在没有被相机视野覆盖的盲点140。
本文中关于uav100的任何描述都可以应用于任何类型的飞行器，并且反之亦然。飞行器可以是或可以不是无人的。类似地，本文中关于uav的任何描述都可以应用于任何类型的可移动物体，并且反之亦然。可移动物体可以是能够自推进式移动的载运工具。所述载运工具可以具有可以能够准许所述载运工具在环境内移动的一个或多个推进单元。可移动物体可以能够穿越陆地上或地下、水面或水中、空中、太空中、或其任何组合。可移动物体可以是空中载运工具(例如，飞机、旋翼机、轻于空气的载运工具)、基于陆地的载运工具(例如，汽车、卡车、客车、火车、越野车、地铁)、基于水的载运工具(例如，船只、轮船、潜艇)、或基于太空的载运工具(例如，卫星、航天飞机、火箭)。可移动物体可以是载人的或无人的。
uav可以具有uav主体110。所述uav主体可以任选地包括可以围封uav的一个或多个部件的壳体。例如，壳体可以围封uav的一个或多个电气部件。电气部件的示例可以包括但不限于：uav的飞行控制器、惯性测量单元、供电单元、存储器存储单元、一个或多个处理器、导航单元(例如，gps)、通信单元、一个或多个电子速度控制器(esc)、一个或多个致动器、或一个或多个传感器。传感器的示例可以包括但不限于位置传感器(例如，全球定位系统(gps)传感器、能够实现位置三角测量的移动装置发射机)、视觉传感器(例如，能够检测可见光、红外光、或紫外光的成像装置，例如相机)、接近度传感器(例如，超声传感器、激光雷达、飞行时间相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(imu))、高度传感器、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力仪、电磁传感器)。可以使用任何合适数量的传感器以及任何合适的传感器组合，例如一个、两个、三个、四个、五个、或更多个传感器。任选地，可以从不同类型(例如，两种、三种、四种、五种、或更多种类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获得数据。例如，所述传感器可以包括有源传感器(例如，从其电源处产生能量并且测量所述能量的传感器)与无源传感器(例如，检测可用能量的传感器)的任何合适的组合。所述uav主体可以支撑一个或多个部件，例如所述电气部件中的一个或多个部件。所述一个或多个部件可以在壳体内、在壳体外、嵌入壳体之中、或其任何组合。
所述uav主体可以是中央主体。任选地，可以从所述中央主体延伸出一个或多个臂。所述臂可以支撑可辅助uav飞行的一个或多个推进单元。所述推进单元可以包括可以为uav产生升力的一个或多个旋翼。所述推进单元可以包括旋翼叶片和可以实现旋翼叶片绕轴线旋转的相应致动器。升力可以是在所述轴线的方向上。在一些实施方式中，可以从所述中央主体延伸出一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个、七个或更多个、八个或更多个、十个或更多个、十二个或更多个、二十个或更多个、或三十个或更多个臂。每个臂可以具有被所述臂支撑的一个或多个、两个或更多个、三个或更多个、四个或更多个、或五个或更多个推进单元。
uav可以具有在本文其他地方更详细描述的任何其他特性。本文关于uav的任何描述都可以应用于具有如在本文其他地方更详细描述的特征的任何可移动物体。
所述uav可以支撑一个或多个相机120a、120b、120c、120d。本文关于相机的任何描述都可以应用于任何类型的图像捕捉装置，并且反之亦然。相机可以是物理成像装置。成像装置可以被配置成用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并基于检测到的电磁辐射生成图像数据。成像装置可以包括响应于光的波长生成电信号的图像传感器，例如，电荷耦合装置(ccd)传感器或互补型金属氧化物半导体(cmos)传感器。可以处理所产生的电信号来产生图像数据。由成像装置生成的图像数据可以包括一张或多张图像，所述一张或多张图像可以是静态图像(例如，照片)、动态图像(例如，视频)、或其合适的组合。图像数据可以是多色的(例如，rgb、cmyk、hsv)或单色的(例如，灰度、黑白、棕褐)。所述成像装置可以包括被配置成将光引导到图像传感器上的镜头。
相机可以是捕捉动态图像数据(例如，视频)的电影摄影机或视频相机。相机可以是捕捉静态图像(例如，照片)的静物相机。相机可以捕捉动态图像数据和静态图像两者。相机可以在捕捉动态图像数据和静态图像之间切换。虽然本文提供的某些实施方式是在相机的背景下描述的，但是应理解的是，本披露可以适用于任何适合的成像装置，并且本文关于相机的任何描述也可以适用于任何适合的成像装置，并且本文关于相机的任何描述也可以适用于其他类型的成像装置。可以用相机来生成3d场景(例如，环境、一个或多个物体等等)的2d图像。由相机生成的图像可以表示3d场景投射到2d图像平面上的投影。因此，2d图像中的各点与场景中的3d空间坐标相对应。相机可以包括光学元件(例如，镜头、反射镜、滤镜等)。相机可以捕捉彩色图像、灰度图像、红外图像等等。
相机可以按特定图像分辨率来捕捉一个图像或一系列图像。在一些实施方式中，图像分辨率可以是由图像中的像素数目限定。在一些实施方式中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素、或15360×8640像素。在一些实施方式中，相机可以是4k相机或者具有更高分辨率的相机。
相机能够以特定捕捉速率捕捉一系列图像。在一些实施方式中，能够以如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i、或60i的标准视频帧速率捕捉此系列图像。在一些实施方式中，能够以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一张图像的速率捕捉此系列图像。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，雨、雪、风、环境的不明显的表面纹理)而改变。
相机可以具有多个可调参数。以不同的参数，成像装置可以在经历相同的外部条件(例如，位置、光照)时捕捉不同的图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、伽玛值、兴趣区、像素合并/子采样、像素时钟、偏移、触发、iso等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。iso可以控制相机对可用光的灵敏度水平。控制曝光和增益的参数在本文中可以统一被认为并且被称作expo。
由uav支撑的一个或多个相机可以具有相同参数、相同特性或相同特征中的一项或多项。在一些情形下，由uav支撑的所有相机可以具有相同的特性或特征。备选地，由uav支撑的相机中的一个或多个可以具有不同的特性或特征。在一些情形下，由uav支撑的相机各自可以具有不同的特性或特征。
所述一个或多个相机可以是由uav主体支撑。所述一个或多个相机可以支撑在uav的中央主体上。所述一个或多个相机可以是或可以不是支撑在uav的一个或多个臂上。所述一个或多个相机可以是由uav的壳体支撑。所述一个或多个相机可以是附接至uav壳体的外表面。所述一个或多个相机可以是嵌入uav壳体的外表面内。所述一个或多个相机可以具有可暴露在uav的外部环境中的光学元件(例如，镜头)。可以任选地借助于盖子来保护所述光学元件以免受uav的外部环境影响。所述盖子可以是透明的。所述盖子可以包括或可以不包括光学滤镜。
可以提供任何数量的相机。例如，uav可以支撑1个或多个、2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个、10个或更多个、12个或更多个、15个或更多个、18个或更多个、20个或更多个、21个或更多个、22个或更多个、24个或更多个、25个或更多个、27个或更多个、30个或更多个、35个或更多个、40个或更多个、45个或更多个、50个或更多个、60个或更多个、70个或更多个、或100个或更多个相机。
所述相机可以相对于uav主体静止。所述相机可以被配置成使得它们在uav的操作过程中(例如，uav飞行时)不相对于uav主体发生移动。所述相机可以被配置成使得它们在相机的操作过程中(例如，相机在捕捉图像时)不相对于uav主体发生移动。所述相机可以相对于uav是固定的。在一些实施方式中，由uav支撑的所有相机可以是相对于uav静止的。备选地，仅有选定数量的由uav支撑的相机或没有相机可以是相对于uav静止的。
所述相机可以是可相对于uav主体移动。所述相机可以被配置成使得它们能够在uav的操作过程中(例如，uav飞行时)相对于uav主体移动。所述相机可以被配置成使得它们能够在相机的操作过程中(例如，相机在捕捉图像时)相对于uav主体移动。所述相机可以包括可使所述相机能够相对于uav主体移动的一个或多个载体或部件。例如，相机可以相对于uav主体沿着一个、两个、或三个方向平移，或相对于uav主体绕一条、两条、或三条轴线进行旋转。所述相机可以是由具有云台框架组件的载体支撑。可以应用在本文其他地方针对有效载荷和载体所描述的任何特征。相机可以借助于一个或多个致动器来相对于uav主体移动。在一些实施方式中，由uav支撑的所有相机可以是可相对于uav移动。备选地，可以仅有选定数量的由uav支撑的相机或没有相机是可相对于uav移动。
所述多个相机120a、120b、120c、120d可以被设置成使得它们相对于彼此具有不同的视野130a、130b、130c、130d。在一些实施方式中，由uav主体支撑的所述多个相机中的每一个可以相对于彼此具有不同视野。备选地，由uav主体支撑的相机中的一个或多个相机可以相对于彼此具有相同视野。所述相机中的一个或多个相机可以相对于彼此具有不同取向。任选地，由uav支撑的相机中的每一者可以相对于彼此具有不同取向。备选地，所述相机中的一个或多个相机可以具有相同取向。相机可以具有可以穿过所述相机的镜头的光轴。所述相机中的一个或多个相机或全部相机的光轴可以相对于彼此处于不同取向。在一些实施方式中，所述相机的取向可以相差至少1、2、3、4、5、6、7、8、10、12、15、20、25、30、35、40、45、60、或90度。在一些实施方式中，所述相机的取向可以相差小于在此所描述的角度测量值中的任一者。所述相机的取向相差的度数可以落入在此所描述的任两个值之间的范围内。
所述相机可以被设置成使得不同的视野穿越绕uav的360度全景视域。可以提供绕uav的360度全景视域以使得在绕uav360度区域内在侧向上几乎没有盲点或没有盲点。所述相机可以被设置成使得不同的视野穿越绕uav的360度垂直视域。可以提供绕uav的360垂直视域以使得在绕uav360度区域内在垂直方向上几乎没有盲点或没有盲点。所述相机可以被设置成使得不同的视野穿越绕uav的球体空间。可以提供绕uav的球体视域以使得在绕uav的360度侧向视域中在水平方向上以及在绕uav的360度区域中在垂直方向上几乎没有盲点或没有盲点。
图1仅通过举例提供了其中在uav的侧面可能设置有一个或多个盲点140的图示。在一些实施方式中，离开uav多于1cm、5cm、10cm、15cm、20cm、25cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、1m、1.5m、2m、3m、5m、10m、20m、30m、或50m，此类盲点就可能不存在。例如，在离uav表面任一所述距离处，所有空间视域可以被至少一个相机覆盖。所述视域可以重叠以防止盲点存在。在一些情形下，在绕uav的整个球体空间内可能不存在盲点。在绕uav的360度侧向跨度和/或360度垂直跨度内可能不存在盲点。
所述不同视野中的一者或多者可以彼此重叠。例如，多个相机可以同时捕捉环境中的一部分的图像。在一些情形下，每个视野可以与另一个相邻视野部分地重叠。
因此，通过使用多个相机，uav能够获得所述uav穿越的环境的多方向图像信息。在从所有方向采集图像数据时，uav可以获得所述环境的基本上全向图像数据。即使载运工具在操作过程中改变取向，所述相机中的至少一者仍可以捕捉到相符的图像信息，这将显著改善生成自动返航路径的可靠性。仅使用单个相机将会增大错误转航的风险。通过使用所述多个相机(例如，覆盖了绕uav的全部空间的相机)，降低了返航错误的风险。
图2示出了根据本发明实施方式可以在空间上设置在uav主体210上的相机220的示意性示例。如之前所描述的，在一些实施方式中，所述多个相机可以被定向成使得相机可以捕捉绕uav的基本上整个球体空间。
可以选择相机的数量和/或定位以防止盲点的存在。在一些情形下，在离开uav指定距离处(例如，在之前在上文所描述的那些距离处)可能不会有盲点。可以在空间上设置任何数量的相机以穿越球体空间，例如在本文其他地方所描述的任一数量。在一个示例中，可以在uav主体上分布21个相机。每个相机或相机子集可以具有与其他相机不同的空间取向。所述空间取向可以不同于uav的偏航轴线、横滚轴线、和/或俯仰轴线。
可以基于相机的视野来选择相机的数量和/或定位。例如，如果相机具有较广阔的视野，则可能需要较少的相机来从相机周围的期望空间捕捉图像。如果相机具有较窄的视野，则可能需要较大数量的相机来从相机周围的期望空间捕捉图像。在一些情形下，可以利用广角相机来减小相机的数量。
可以选择相机的数量和/或定位以提供多个视野之间的所期望的重叠量。可能期望的是，相邻相机具有至少1％、3％、5％、10％、15％、20％、25％、30％、40％、50％、60％、70％、80％、或90％的重叠视野。在其他情形下，可能期望的是，相邻相机具有小于在此所描述的任何百分数的重叠视野。相邻相机的视野的重叠百分数可以落入在此所描述的任两个值之间的范围内。
图3示出了根据本发明实施方式的示例性自动返航过程的流程图。在uav穿越环境时，可以使用多个相机310来捕获图像。可以生成一个或多个图像特征的描述符320。可以将所述图像特征与图像特征库进行比较330。如果图像特征是未知的，则可以将所述图像特征添加至图像特征库340。如果图像是已知的，则可以确定是否启动自动返航程序350。如果不自动返航，则所述多个相机310可以在uav的飞行过程中继续捕捉图像。如果将初始化自动返航程序，则将当前收集到的图像与前一个图像进行比较来计算返航方向360。
在uav穿越环境时可以使用多个相机310来捕获图像。在给定位置或时间点，所述多个相机中的每一者可以捕捉图像。所述多个相机中的每一者可以基本上同时捕捉图像(例如，在彼此相差不到0.001、0.005、0.01、0.05、0.1、0.3、0.5、1、1.5、2、3、5、7、10、15、或20秒以内)。所述多个相机中的每一者可以在uav基本上处于同一位置处时捕捉图像(例如，uav的偏移相差不到0.001、0.005、0.01、0.05、0.1、0.5、1、2、3、5、10、15、20、30、40、50、70、100、200、300、500、或1,000cm以内)。在一些实施方式中，一组图像可以对应于由所述多个相机在基本上同一时刻或地点收集到的图像。例如，第一组图像可以是基本上在第一时刻和/或第一位置收集的，而第二组图像可以是基本上在第二时刻和/或第二位置收集的。
可以将多组图像与关于在哪里捕捉到图像的位置信息一起存储。在一些情形下，所述位置信息可以是借助于一个或多个导航传感器来提供。例如，可以将gps坐标与相应的多组图像数据一起存储。gps坐标可以是uav的gps坐标。可以将多组图像与关于何时捕捉到图像的时间信息一起存储。例如，时间戳可以与一组图像或该组图像内的每个独立图像一起定位。在一些实施方式中，关于哪个相机收集到各个图像的信息可以与该组图像内的每个独立图像相关联。例如，相应的相机标识符可以与每一图像一起存储。可以提供关于相机相对于uav或惯性参照系(例如，环境)的定位(例如，相机的取向)的信息。在一些情形下，可以为该组图像提供uav的定位(例如，可以为该组图像提供uav相对于惯性参照系的取向)。各相机相对于uav的定位可以是已知的，并且可以计算出每个相机相对于惯性参照系的定位。因此，可以计算出或存储与该组图像中的各图像相关联的定位(例如，取向)。
所述图像可以是基本上实时地作为流式图像捕捉到。所述图像可以是以任何频率(例如，至少1hz、3hz、5hz、10hz、20hz、30hz、40hz、50hz、60hz、70hz、80hz、或100hz)捕捉到。在一些情形下，所述图像可以是以均匀的时间间隔捕捉到。备选地，可以改变图像捕捉的间隔。图像捕捉的间隔可以取决于uav的移动特性(例如，uav的线速度、线性加速度、旋转速度、和/或旋转方向)而改变。例如，如果uav行进较快，则可以用较高的频率来捕捉图像。备选地，可以无论uav如何移动都以同一频率来捕捉图像。任选地，所述多个相机中的每一个相机可以是以相同频率来操作。备选地，所述多个相机中的不同相机可以用不同的频率来操作。
在uav穿越环境时可以捕捉多组图像。此类图像可以被存储和/或被传输至外部装置。在一些情形下，可以存储所有的图像数据，或可以仅存储所述图像数据中的选定部分。在一些情形下，可以存储所有图像数据以用于重播，而可以仅使用所述图像数据中的选定部分来辅助导航。
可以生成一个或多个图像特征的描述符320。所述图像特征可以根据用于辅助导航的所述图像数据中的选定部分而生成。关于一组图像的图像特征的数据可以少于关于该组图像整体的数据。在一些实施方式中，图像特征可以是在逐组的基础上提取的。例如，可以从第一组图像数据中提取第一组图像特征。可以从第二组图像数据中提取第二组图像特征。所述第一组图像数据可以是在收集第二组图像数据之前、之时、或之后提取。在一些实施方式中，图像特征的示例可以是图像的特征点，如在本文其他地方更详细地描述。
在一些示例中，所述图像特征可以是如本文其他地方描述的选定图像数据。例如，可以提取并且存储所述图像特征以用于导航辅助，而无需存储该组图像来用于导航辅助。该组图像可以存储在存储器中或根本不存储。
图像的描述符可以包括图像特征。在一些实施方式中，所述描述符可以包括对图像的分析。例如，描述符可以是基于图像数据而生成的直方图。所述描述符可以是基于来自一组的所有图像数据而生成、或可以是基于来自该组的图像特征信息而生成。所述描述符可以包括与该组图像中的特征点有关的直方图。所述描述符可以与所述特征的选定子集(例如，该组图像中的特征点)有关。直方图可以比较一组图像或一系列图像内特征(例如，特征点)在空间上和/或时间上的分布。
可以将来自一组图像的一个或多个描述符(例如，图像特征)与图像特征库进行比较330。图像特征库可以包括来自先前多组图像数据的图像或图像特征。所述图像库可以是在uav穿越所述环境时添加的。所述图像特征库可以存储来自uav的当前行程或操作的图像或图像特征。所述图像特征库可以存储或可以不存储来自uav的先前行程或操作的图像或图像特征。例如，针对行程的图像特征库数据可以仅是在uav的这个行程过程中存储。针对uav的特定操作的图像特征库数据可以仅是存储用于所述uav的这个操作(例如，当uav上电时)。
在一个示例中，可以将来自该组图像的图像特征与图像特征库进行比较以便确定这些图像特征是否已经存在于图像特征库中。可以进行所述比较以确定是否先前已经经过了一个环境内的类似区域或位置或所述类似区域或位置已经被捕捉在图像库中。可以进行所述比较以确定是否所述环境内的特定场景、物体或地标先前已被存储在图像库中。
所述比较可以关注描述符与历史图像数据的相似度(例如，来自当前图像组的图像特征与从先前多组图像数据中收集到的历史图像特征之间的相似度)。如果相似度超过特定阈值(例如，阈值比值)，则确定所述图像是相似的。例如，如果相似度超过10％、20％、30％、40％、50％、60％、70％、80％、90％、95％、97％、或99％的匹配，则可以确定所述图像(或场景、物体、或地标)就是同一个。
如果图像特征是未知的，则可以将所述图像特征添加至图像特征库340。如果相似度没有超过所述阈值，则可以将描述符(例如，图像特征或图像)添加至图像特征库。在添加至图像特征库之后，可以确定是否初始化自动返航程序350。
如果图像是已知的(例如，相似度超过阈值)，则不需要将描述符(例如，图像特征或图像)添加至所述图像特征库。然后可以确定是否初始化自动返航程序350。所述确定可以是基于uav是处于自动返航模式还是仍处于常规飞行模式而作出。
可以响应于事件而进入自动返航模式。例如，uav可以响应于来自外部装置的命令而进入自动返航模式。例如，用户可以借助于遥控器来操作uav。用户可以使用遥控器来选择选项来初始化自动返航模式。
在另一个示例中，可以在uav到达目标位置时发生自动返航。在一些情形下，目标位置可以是在uav飞行之前、或过程中指定。目标位置可以是由uav的用户指定。目标位置可以任选地通过使用遥控器来指定。用户可以在uav的操作过程中改变所述目标位置。目标位置可以借助于uav机载的或非uav机载的一个或多个处理器来指定。目标位置可以是自动地指定而无需用户输入。目标位置可以被表示为惯性参照系内的地理位置。例如，可以选择地图上的一个点，或可以对目标位置提供一组坐标。目标位置可以被指定为可以是静止或移动的目标物体。当确认uav到达目标位置时，可以自动初始化自动返航功能。
所述自动返航功能可以是在uav上检测到错误或故障时初始化。例如，如果检测到传感器错误或危险情况，则可以命令uav进行自动返航。
当检测到失控条件或其他类似条件时，可以初始化自动返航功能。例如，当检测到uav正在颠簸或用户不能控制uav时，可以进入自动返航模式。
可以响应于检测到的条件来进入自动返航模式。例如，uav可以飞行指定的时间长度，然后可能需要进入自动返航模式。指定的时间长度可以是由uav的用户确定。例如，用户可以在uav初始化飞行之前指定用户想要所述uav在飞行一小时之后返航。在其他情形下，飞行时间可以由外部装置或系统、或借助于uav机载的一个或多个处理器来确定。可以自动确定飞行时间而无需人的介入。
任选地，可以在uav与一个或多个外部物体失去联系时初始化初始化自动返航模式。例如，当uav与遥控器、远程卫星、远程塔、或其他类型的外部物体失去联系时，所述uav可以自动初始化自动返航过程。例如，如果uav失去gps信号，所述uav可以初始化自动返航过程。
可以评定uav的电力水平以确定是否初始化自动返航模式。例如，如果供电水平下降至具体阈值或百分比之下，则可以自动初始化自动返航功能。以此来确保uav具有足够的电力返回至起点。
任何其他条件也可以致使进入自动返航模式。视觉自动返航系统和方法可以评定是否已进入了自动返航模式。如果还没进入自动返航模式，则所述多个相机310可以在uav的飞行过程中继续捕捉图像。可以收集另外多组图像。在一些情形下，对是否已进入自动返航模式的评定可以是在收集每一组图像之后发生。备选地，对是否可能已发生自动返航模式的评定可以不那么频繁地发生，而是可以收集若干轮的图像组。
如果检测到自动返航模式，则可以利用所述多个相机所捕捉到的图像数据来确定返航路线。所述图像数据可以单独地或与其他导航辅助或传感器组合使用，如在本文其他地方更详细地描述。例如，可以将当前收集到的图像组与较早的图像组相比较以计算出返航方向360。当沿着自动返航路径飞行时，uav可以寻找其在初始飞行路径过程中所经过的同一场景、物体、或地标。所述比较将评定是否可以找到相同的图像或图像特征，并且将基于所述比较确定uav在其自动返航路径中的行进方向。所述自动返航路径可以是在将uav在其返航行程中正在收集的多组图像与在初始出航过程中所收集到的多组图像相比较时实时地生成。
可以生成所述自动返航路径而使得uav在自动返航路径中的行进方向是通过使用某种表决和/或平均算法来确定采用哪条路径而生成。基于所述图像的比较而使得所述路径可以被选择为试图并紧密地匹配初始飞行路径。所述系统可以通过使用uav与来自所述图像的特征之间的几何关系来计算出uav的当前相对位置，以致使uav接近之前捕捉所述图像的位置。可以利用迭代方法(例如，随机抽样一致(ransac)算法方法)来进行这种确定，如在本文其他地方更详细地提供。
在一个示例中，uav可以在穿越飞行路径时使用多个相机来收集第一组图像，所述第一组图像对应于uav周围环境的不同视野。接着可以从所述第一组图像中提取第一组图像特征。这种提取可以是在uav沿着飞行路径行进时发生的。这种提取可以基本上是实时地发生。当uav沿着返航路径行进时，uav可以使用多个相机来收集与不同视野相对应的第二组图像。任选地，可以从所述第二组图像中提取第二组特征点。这种提取可以是在uav沿着所述返航路径行进时发生。这种提取可以基本上是实时地发生。
所生成的自动返航路径可以基本上反向地遵循所述初始飞行路径。例如，所述自动返航路径可以保持在偏离初始飞行路径1、3、5、10、20、30、50、100、200、400、600、或800米以内。备选地，所述自动返航路径可以与所述初始飞行路径不同。所述自动返航路径可以与所述初始飞行路径偏离超过所描述的任何值。本文所描述的系统和方法通过利用所述多个相机可以准许uav在穿越所述返航路径时与在穿越所述初始飞行路径时相比具有不同的取向。
图4示出了根据本发明实施方式的uav在环境400内穿越飞行路径的示例。uav410可以在起点420开始并且可以具有去往终点位置440的初始飞行路径430，在所述终点位置处可以初始化自动返航功能。uav可以任选地具有多个相机415。uav可以经过环境内的一个或多个视觉地标450a、450b、450c。uav的多个相机可以捕捉多种不同视觉标记460，甚至在uav不一定经过所述视觉标记时也是如此。
uav410可以具有本文其他地方所描述的任何特征或特性。所述uav可以支撑多个相机415。所述相机可以面向不同方向。所述相机可以捕捉不同视野以便捕捉环境的多个图像。所述相机可以被设置成使得uav具有全360度侧向全景视域和/或全360度垂直视域。所述相机可以被设置成给所述uav绕uav的全球体空间视域。因此，无论uav的取向如何，所述uav都能够收集uav周围环境的全视域。
uav可以在起点420处初始化飞行路径。所述起点可以是uav开机的位置。所述起点可以是uav从下伏面起飞的位置。所述起点可以是uav初始化飞行的位置。所述起点可以是由用户界定为飞行路径起点的位置(所述位置可以与起飞位置相同或不同)。所述起点可以是由用户界定为uav自动返航到的位置的参考点。
uav可以穿越初始飞行路径430。初始飞行路径可以在起点处开始并且可以在终点位置440处终止。
所述飞行路径可以是由用户手动地控制。用户可以实时地控制uav的飞行并且在所述uav跨过飞行路径时生成所述路径。备选地，所述飞行路径可以是预先规划的。uav可以自动地遵循所述预先规划的飞行路径。uav可以在检测到静止或移动的障碍物时偏离预先规划的飞行路径。uav可以采用防撞机动飞行，但可以基本上返回至预先规划的飞行路径。当uav在遵循预先规划的飞行路径时，用户可以对所述uav采取手动控制并且可以偏离所述预先规划的飞行路径。在其他情形下，可以取消用户的控制并且uav可以用自动的方式沿着所述预先规划的飞行路径飞行或沿着可以是在uav穿越飞行路径时借助于一个或多个处理器而生成的飞行路径来飞行。uav可以沿着所述飞行路径以手动的、自主的、或半自主的方式飞行。所述飞行路径可以是或不是预先确定的。所述飞行路径可以是或不是在飞行期间确定。
所述飞行路径可以在终点位置440处终止。所述终点位置可以是进入自动返航模式的位置。所述终点位置可以是或不是预先确定的目标位置或目标物体(例如，静止的或移动的目标物体)的位置。所述终点位置可以响应于uav进入自动返航模式来实时地确定。所述终点位置可以响应于检测到的致使uav进入自动返航模式的条件而实时地确定。用户可以是或可以不是提前或实时地指定终点位置。
uav在穿越环境时可能会经过一个或多个视觉地标450a、450b、450c。所述一个或多个视觉地标可以被捕捉在由uav相机中的一个或多个相机所捕捉到的一个或多个图像中。可以对由uav相机所捕捉的图像进行一个或多个图像特征的评定。视觉地标可以具有一个或多个可辨别特征。例如，视觉地标可以准许提取可被存储的一个或多个特征点，如在本文其他地方更详细讨论的。视觉地标可以是或可以不是独特的。视觉地标可以是可从背景特征中辨别出的。视觉地标可以是彼此可区分的。在一些实施方式中，视觉地标可以是基本上静止的。
当uav在穿越飞行路径时收集多组图像时，所述相机可以捕捉视觉地标的图像。可以从视觉地标中提取一个或多个图像特征并且将所述图像特征存储和/或用于导航辅助。
uav的多个相机可以捕捉多种视觉标记460，甚至在uav未必经过所述视觉标记时也是如此。所述视觉标记可以是uav无需一定经过的视觉地标。例如，uav可以接近视觉标记或背离视觉标记而行进。当uav接近视觉标记时，所述视觉标记的图像可能变大。当uav背离所述视觉标记行进时，所述视觉标记的图像可能变小。当uav经过视觉标记(例如，视觉地标)时，所述视觉标记在图像内的位置可能会改变。视觉地标的大小和/或位置改变的任何组合均可以指示uav相对于所述视觉标记的移动。
图5示出了根据本发明实施方式当uav穿越环境时借助于所述uav上的多个相机可以捕捉到的图像的示例。可以在多个时刻ta、tb、tc、td、te捕捉多组图像。各组图像可以包括来自多个相机(相机1、相机2、相机3、相机4、…)的图像。仅通过展示方式示出了若干个相机，可以利用任何数量的相机来捕捉各种视野。
在uav的飞行过程中可以收集任何数量的图像组。在一个示例中，可以在uav沿着初始飞行路径飞行时收集若干个组(例如，在ta、tb、tc时收集的组)。在ta、tb、tc之前、在ta、tb、tc之后、或在ta、tb、tc之间可以收集另外的多组图像。提供了来自于这些相应的图像组的各个相机的图像的示例。例如，相机1可以捕捉视觉地标的图像，例如第一树、建筑物、和第二树。在另一个示例中，相机2可以捕捉视觉标记的图像，例如逐渐靠近的山脉。一些相机(例如，相机3、相机4)可以捕捉环境的相对无特征部分的图像。
在一个示例中，可以在uav沿着返航路径飞行时收集若干个组(例如，在td、te时收集的组)。可以在td、te之前、在td、te之后、或在td、te之间收集另外的多组图像。提供了来自用于这些相应的图像组的各个相机的图像的示例。例如，相机3可以捕捉视觉地标的图像，例如第一树、建筑物、和第二树。这些视觉地标可以是按在初始飞行路径过程中使用相机1收集所述视觉地标的相反顺序提供。在另一个示例中，相机4可以捕捉视觉标记的图像，例如逐渐远离的山脉。这些图像可以是基本上与在初始飞行路径过程中使用相机2收集到的山脉的图像相反。一些相机(例如，相机1、相机2)可以捕捉环境的相对无特征部分的图像。
无论uav的取向如何，通过使用多个相机，可以捕捉到相关的图像并进行比较。例如，由于uav在初始飞行路径与返航路径之间的取向改变，在返航过程中，相机3可能面向相机1初始面向的方向，相机4可能面向相机2初始面向的方向，相机1可能面向相机3初始面向的方向，并且相机2可能面向相机4初始面向的方向。uav的这种取向改变可以是绕uav的偏航轴线、uav的俯仰轴线、和/或uav的的横滚轴线发生。
如之前所描述的，在uav的返航飞行过程中捕捉到的图像可以与先前在初始飞行过程中捕捉到的那些图像进行比较以确定uav的相对位置以及uav在返航飞行过程中应当继续的方向。例如，如果uav在初始飞行过程中经过第一树、建筑物、和第二树，则所述uav可以在其返航路径中尝试经过所述第二树、建筑物、和第一树，从而使得所述uav在返航路径的过程中相对于这些地标具有相对类似的位置。
图6示出了根据本发明实施方式的图像序列以及可以如何选择图像的示例。如之前所描述的，可以在沿着飞行路径和/或返航路径的多个位置/时刻捕捉多个图像组。各图像组可以包括由一个或多个相应的相机所捕捉到的一个或多个图像。在一些实施方式中，各图像组可以包括使用多个相应的相机捕捉到的多个图像。
在一些实施方式中，仅图像数据的选定部分可以用于导航辅助。仅图像数据的选定部分可以被存储以用于导航辅助。对于多种其他目的，可以存储或不存储全部图像数据。在一些实施方式中，只有图像与之前存储的图像之间存在明显差异时可以存储所述图像。这样的选择性存储和/或处理可以减小对uav机载资源(例如机载存储器或处理器)的要求。
例如，相机1随着时间的变化(例如，在ta、tb、tc、td、te时)捕捉一系列图像。在一些实施方式中，可以针对不同特征或物体对所述图像进行分析。例如，ta时的图像示出了树与建筑物的一部分。tb时的图像示出了树的一部分与整个建筑物。这些图像可以被确定为具有足够不同的特征来保证这两个图像被保存或用于导航辅助。图像帧周围的粗边框可以用来指示所述图像被保存或用于导航辅助。在一些情形下，可以保存完整图像。备选地，可以不保存完整图像，而是可以保存一个或多个提取出的图像特征(例如特征点)。
tc时的图像示出了偏移后的同一建筑物，并且td时的图像示出了进一步偏移后的同一建筑物。在一些情形下，由于已经存储了所述建筑物，所以可以确定这些图像没有足够的不同的特征来保证这些图像也能被保存并且用于导航辅助。可以用所述图像帧周围没有黑边框，来指示这些图像没有被保存或没有用于导航辅助。相比之下，te时的图像示出了一棵新的树。可以认为这棵新的树提供了足够不同的特征来保证所述图像能被存储或用于导航辅助，如由黑边框所指示的。
在另一个示例中，相机2随着时间的变化(例如，在ta、tb、tc、td、te时)捕捉一系列图像。也可以针对不同特征或物体来分析这些图像。这些图像可以是独立于相机1所收集的图像来进行分析。例如，在ta时的图像示出了塔。所述塔的第一图像可以被存储或用于导航辅助。在tb时的图像示出了偏移后的同一个塔。在tc时的图像示出了进一步偏移后的同一个塔。在一些情形下，由于已经存储了所述塔，所以可以确定这些图像没有足够不同的特征来保证这些图像也被保存并且用于导航辅助。在td时的图像示出了相对无特征的图像。缺少明显的视觉地标或特征可能致使所述图像被确定为没有足够不同的单元特征来保证这个图像也能被保存并且用于导航辅助。相比之下，在te时的图像示出了新的结构。可以认为所述新的结构提供了足够不同的特征来保证所述图像能被存储或用于导航辅助。
可以将一个序列内的图像进行比较以确定是否存在显著差异，从而选择将哪些图像或图像特征进行存储或用于导航辅助。所述序列内被比较的图像可以来自同一相机。备选地，所述序列内被比较的图像可以来自不同的相机。可以在所述序列内对来自各相机的图像单独地进行评定。在这种情况下，如果第一相机捕捉了建筑物的图像并且第二相机稍后也捕捉了同一建筑物的图像，则可以不进行这样的比较或评定，并且这两个图像都可以被保存或用于导航辅助。备选地，可以在所述序列内对来自所有相机或一组相机的图像共同进行评定。因此，如果第一相机捕捉了建筑物的图像并且第二相机稍后也捕捉了同一建筑物的图像，则可以进行比较或评定，并且如果不存在足够差异，则仅所述第一图像可以被保存或用于导航辅助。
在一些情形下，图像之间的比较可以是一个或多个图像作为整体的比较。可以确定所述图像重叠的程度。在一些实施方式中，如果图像重叠多于阈值量，则随后的图像不需要进行保存或用于导航辅助、而可以被充分认为是已经被表示过。例如，随后的图像可以不添加至图像特征库。在一些情形下，所述阈值量可以是所述图像的约5％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％、60％、65％、70％、75％、80％、85％、90％、95％、或97％。
备选地，图像之间的比较可以是一个序列内的一个或多个图像的图像特征的比较。例如，所述比较可以是从图像中提取的一个或多个特征点的比较。在本文其他地方更详细地提供了特征提取和比较的进一步描述。在一些情形下，所述比较可以是基于图像的像素来提供的。例如，所述图像可以是逐像素地进行比较以确定重叠程度或是否存在足够差异来保存图像。所述图像在进行逐像素分析之前可以经过处理、平衡、或自动校正。图像特征可以包括像素。
在一些实施方式中，如果图像特征重叠多于阈值量，则随后的图像特征不需要进行保存或用于导航辅助、而可以被充分认为是已经被表示过。例如，随后的图像特征可以不添加至图像特征库。在一些情形下，所述阈值量可以是所述图像特征的约5％、10％、15％、20％、25％、30％、35％、40％、45％、50％、55％、60％、65％、70％、75％、80％、85％、90％、95％、或97％。
如果图像或图像特征低于阈值，例如在此所描述的阈值，则它们可以被存储或用于导航辅助。图像之间的重叠可以是基于不同时间点拍摄的多个图像(例如，一个序列中的图像)的比较。被比较的图像可以是由同一相机或不同相机拍摄。重叠可以是在图像特征之间、并且可以是在不同时间点收集或提取的图像特征的比较(例如，成序列地收集图像之后)。
所述阈值可以是静态阈值。备选地，所述阈值可以是可变阈值。所述阈值可以根据用户输入而改变。例如，如果用户想要使用较少的处理空间或uav机载存储器，则用户可以提供较高的阈值；或如果用户较不关心处理空间或所述uav机载存储器而更关心准确性，则用户可以提供较低的阈值。在一些实施方式中，所述阈值可以是借助于一个或多个处理器来确定或改变。所述一个或多个处理器可以基于风险预测、环境的复杂性、uav的移动特性、或任何其他参数来单独地或共同地确定所述阈值。躲避风险程度越高可能导致阈值越低。环境越复杂可能导致阈值越高以保持存储器或处理的能力、或可能导致阈值越低以保持较小的丢失特征的可能性。uav的移动越快或越复杂可能导致阈值越低。
在一些实施方式中，对供存储或用于导航辅助的图像或图像特征的选择可以是仅在初始飞行路径过程中进行。在返航路径过程中可能不需要这样的选择和/或存储。可以对照预先存储的数据来分析将在返航路径过程中实时收集到的图像。在一些替代性实施方式中，这样的选择和/或存储可以是在返航路径过程中进行的。
在uav穿越飞行路径时可以收集一组或多组图像。可以从所述相应的一组或多组图像中提取一组或多组图像特征(例如，特征点)。可以在uav穿越飞行路径时从相应的一组图像中提取一组图像特征。这种提取可以基本上实时地发生。来自该组图像特征的图像特征(例如，特征点)的子集可以被存储或用于导航辅助。所述图像特征子集可以是基于图像或图像特征的重叠程度来选择，如之前所描述的。
在一些实施方式中，可以基于uav的移动来选择图像特征子集。例如，uav的直线或旋转移动越快，就可能导致一个序列内的图像之间的重叠越少。可以评定uav的移动(例如，线速度、线加速度、角速度、角加速度)。uav的定位和/或移动可以是借助于一个或多个传感器来确定。来自所述相机的图像可以辅助或不辅助确定uav的定位和/或移动。与速度较低时相比，速度越高时，可以选择越大百分比的图像特征或越大的图像特征子集来进行存储或用于导航辅助。
确定图像特征是否静止也可以影响所选定的图像特征子集。在一些情形下，仅静止的图像特征可以被存储或用于导航辅助。移动的图像特征可以任选地不被存储或用于导航辅助。静止的图像特征可以包括与可能在环境内保持静止的视觉地标有关的特征。移动的图像特征可以包括与可以在环境内移动的物体有关的特征。例如，当特征点被确定为静止特征点时可以将所述特征点存储或用于导航辅助，而当所述特征点被确定为移动特征点时就不将其存储或用于导航辅助。
可以基于图像特征在不同时间点被拍摄到的多个图像的比较来确定所述图像特征是否为静止的。所述多个图像可以是由同一相机或由不同相机捕捉。在不同时间点拍摄的图像之间的多个特征(例如，背景/静止特征和移动特征)之间的相对移动的比较可以有助于确定图像特征是静止的还是移动的。在一些情形下，可以使用逐特征点的比较来进行所述比较。在其他情形下，可以使用逐像素的比较来进行所述比较。
在替代实施方式中，可以利用物体识别算法。所述物体识别算法可以分析图像来确定所述图像中的哪些部分是静止的物体并且哪些部分是移动的物体。这可以用来确定哪些图像特征是静止图像特征并且哪些是移动图像特征。这种物体识别可以不要求按顺序使用多个图像。备选地，可以与按顺序对多个图像进行分析相结合来分析它们。
所述静止图像特征可以被存储或用于导航辅助，因为它们在uav进行初始飞行时与uav进行返航飞行时不大可能有移动。如果地标发生显著移动，则uav可能难以找到其返回路径、或可能采取一条不同的路径。如果可靠的图像特征是静止的，则这可以有助于uav返航时更准确地确定所述uav沿着返航路径时的定位。
图7示出了根据本发明实施方式的图像序列以及可以如何选择特征的示例。如之前所描述的，可以由一个相机或一组相机捕捉一个或多个图像。所述图像可以随着时间的变化(例如，ta、tb、tc)被捕捉以形成图像序列。
在一些实施方式中，来自所述图像序列的所有图像数据可以被存储或用于导航辅助(例如，在uav的初始飞行过程中或在uav的自动返航飞行过程中)。备选地，来自所述图像序列的所有图像数据没有被存储或用于导航辅助。可以将选定的图像数据子集(例如，与图像的选定特征相对应)存储或用于导航辅助。
在一个示例中，所述图像特征可以是图像的特征点。特征点可以是图像的一部分(例如，边缘、拐角、兴趣点、斑点、脊等等)，所述部分独特地可区别于图像中的其余部分和/或图像中的其他特征点。任选地，特征点可以是对于所成像物体的变换(例如，平移、旋转、缩放)和/或所述图像特性(例如，亮度、曝光)的改变相对不变的。特征点可以是在图像中信息内容丰富的部分(例如，显著的2d纹理)中检测到。特征点可以是扰动下在图像中(例如，当改变图像的照度和亮度时)稳定的部分中检测到。如在此所描述的特征检测可以是使用多种算法来实现，所述算法可以从图像数据中提取一个或多个特征点并且计算出特征点的总个数、或“特征点个数”。所述算法可以是边缘检测算法、角点检测算法、斑点检测算法、或脊检测算法。在一些实施方式中，角点检测算法可以是“加速分割检测特征”(fast)。在一些实施方式中，特征检测器可以提取多个特征点并且使用fast计算特征点个数。在一些实施方式中，所述特征检测器可以是canny边缘检测器、sobel算子、harris和stephens/plessy/shi-tomasi角点检测算法、susan角点检测器，等位曲线曲率方法、高斯-拉普拉斯算子、高斯差值、hessian行列式、mser、pcbr、或灰度等级斑点、orb、freak、或者其适当组合。在一些实施方式中，尺度不变特征交换(sift)算法可以单独地使用或与用于检测和描述图像局部特征的任何其他算法结合使用。
在一些实施方式中，所有的特征点都可以被存储或用于导航辅助。备选地，可以选择所述特征点中的一个子集来进行存储或用于导航辅助。选定特征点可以是基于所述序列内的特征点之间的重叠程度来确定。例如，在ta时，物体可以具有一个或多个特征点710。所述特征点可以与物体相关。在随后的时刻tb，图像可以示出同一组特征点以及另外的特征点720。在一些实施方式中，特征点之间的高重叠程度可以指示：后续的图像特征点需要进行存储或用于导航辅助，因为它们被初始图像充分地覆盖。如之前所描述的，阈值重叠程度可以用来确定是否选择后续的图像特征点。阈值重叠程度可以是静态的或可变的。
选定的特征点可以是基于对特征点是静止的还是移动的评定来确定的。在一些实施方式中，第一组特征点710可以被认为是静止特征点和/或第二组特征点720可以被认为是移动特征点。在一些情形下，可以在一个序列中对图像进行分析以确定哪些特征点是静止的而哪些是移动的。例如，贯穿所述图像序列都一致的和/或以可预测的方式移动的特征点可以被认为是静止特征点。如果所述特征点出现和消失、或以不可预测的方式移动，则它们可以被认为是移动特征点。在一些情形下，可以用物体识别算法或图案识别算法来确定特定点是静止的还是移动的。在一些情形下，仅静止特征点可以被存储或用于导航辅助。静止特征点可以被确定为可靠地大致保持在相同位置以便辅助uav找到其返航路径。移动特征点可以任选地不被存储或用于导航辅助。移动点可能不是可靠的，并且在uav处于其初始飞行路径时与它遵循其返航路径时的时间之间可能发生移动。如果uav寻找的移动物体已经不在那里，则它可能分辨不清并且不能准确地遵循返航路径。
在一些实施方式中，可以在uav遵循返航路径时评定特征点是静止特征点还是移动特征点。如果特征点是静止特征点，则可以将所述静止特征点与之前存储的特征点进行比较来辅助uav进行导航。如果所述特征点是移动特征点，则它可以被忽略并且不将其与之前存储的静止特征点进行比较。
选定特征点可以是基于对特征点的强度评定来确定。在一些实施方式中，可以向特征点指定特征点的确定性。所述特征点只有在被确认通过了确定性阈值时才可以被存储。在一些实施方式中，特征点的强度评定可以取决于特征点在所述序列内的多个图像帧中的出现。即使所述序列内的所有图像的特征点都没有被存储，另一个证实性特征点的存在仍可以准许所述特征点在初始时被存储。因此，例如，经证实的特征点710可以致使来自第一图像帧(ta)的至少第一组特征点被存储。在tb或tc时存在的证实性特征点可以确认所述第一组特征点的存储。
图像和/或来自图像的特征(例如，特征点)可以是以规律的间隔或可变间隔来捕捉。在一些情形下，它们可以是取决于uav的操作参数以可变间隔来捕捉。uav的操作参数可以是uav的移动特性，例如线速度、角速度、线加速度和/或角加速度。例如，如果uav在更快速地移动或在旋转的话，可以更频繁地捕捉图像和/或特征。
在一些实施方式中，图像和/或来自图像的特征(例如，特征点)可以是取决于环境条件以可变间隔来捕捉。例如，快速改变的光条件可以致使更频繁地捕捉图像和/或特征。可能影响图像品质或图像从帧到帧的一致性的任何环境条件都可以影响所述间隔。其他因素(例如，风、灰尘、降水、温度差)也可以影响间隔。
图8示出了根据本发明实施方式由uav上携带的多个相机可以捕捉到的物体的示例，每一相机具有不同视场。在一些实施方式中，所述多个相机的视场可以在某种程度上重叠。在一些实施方式中，可以从图像中提取一组图像特征(例如，图像特征点)。在一些情形下，基于收集包括所述特征(例如，特征点)的图像的图像捕捉装置的数量，可以选择图像特征子集(例如，图像特征点子集)来进行存储或用于导航辅助。
例如，多个相机可以在同一组图像内捕捉到同一棵树的图像(例如，在时刻＝ta时)。这同一个组内的图像可以是由同一uav所支撑的多个相机在基本上同一时间(例如，之前展示的小的时间范围内)或位置(如之前所描述的)捕捉的。如果捕捉同一物体的相机数量超过阈值，则所述物体可以被认为足够显著以进行存储或用于导航辅助。在一些情形下，可以从图像中提取特征点。例如，特征点可以对应于这棵树的特征。如果捕捉同一组特征点的相机数量超过阈值，则所述特征点可以被存储或用于导航辅助。
相机的阈值数量可以是任何相机数量，包括但不限于2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个、10个或更多个、12个或更多个、15个或更多个、或20个或更多个。在一些情形下，相机的阈值数量可以是至少阈值百分比的相机，包括但不限于相机捕捉一个图像组中的图像的1％、3％、5％、7％、10％、12％、15％、20％、25％、30％、35％、40％、或50％。
在一个示例中，树同时出现在所述相机中的至少六个相机中。从树提取的特征可以被确定为已出现在足够多的相机中而使所述特征能被存储来进行导航辅助。在一些情形下，可以仅存储来自所述相机中的一个相机的、或所述相机中的一个组合的单一组特征。例如，可以存储基于来自单个相机或多个相机的数据的代表所述树的一整组特征。备选地，可以存储与多个相机相对应的多组特征。
在另一个示例中，若干个相机可以捕捉同一组图像内的图像(例如，在时刻＝tb时)。在这种情况下，图像特征可以仅同时出现在所述相机中的两个相机中。在一些情形下，这两个相机可能不是满足阈值的足够相机。所述图像特征可能不被存储或用于导航辅助。
相机的数量越多可以指示越有可能准确地提取所述特征而不错误地提取所述特征。相机的数量越多还可以指示所述特征对自动返航而言是有价值且有用的。如果所述特征可能出现在多个相机中，则在返程中将更可能检测到所述特征。并且，如果所述特征是从大量相机中提取出的，则在返程中将更可能提取和/或识别出所述特征。
图9示出了根据本发明实施方式的uav穿越返航路径的示例。uav可以穿越环境900。uav910可以在起点920启动并且具有到达终点位置940的初始飞行路径930，在所述终点位置处可以初始化自动返航功能。uav可以经过环境内的一个或多个视觉地标950a、950b、950c。uav可以响应于自动返航功能的初始化而开始沿返航路径970航行。
uav910可以具有本文其他地方所描述的任何特征或特性。所述uav可以支撑多个相机。所述相机可以面向不同方向。所述相机可以捕捉不同视场以便捕捉环境的多个图像。所述相机可以被设置成使得uav具有全360度侧向全景视域、和/或全360度垂直视域。所述相机可以被设置成给所述uav绕uav的完全球体空间视域。因此，无论uav的取向如何，所述uav都可以能够收集uav周围环境的全部视域。
所述uav可以在起点920处初始化飞行路径。所述起点可以是uav开机的位置。所述起点可以是uav从下伏表面起飞的位置。所述起点可以是uav初始化飞行的位置。所述起点可以是由用户界定为飞行路径起点的位置(所述位置可以与起飞位置相同或不同)。所述起点可以是由用户界定为供uav自动返航到的位置的参考点。
uav可以穿越初始飞行路径930。初始飞行路径可以在起点处初始化并且可以在终点位置940处终止。所述飞行路径可以是手动控制的、或uav可以是自主或半自主的。
所述飞行路径可以在终点位置940处终止。所述终点位置可以是进入自动返航模式的位置。所述终点位置可以是或不是预先确定的目标位置或目标物体(例如，静止的或移动的目标物体)的位置。所述终点位置可以响应于uav进入自动返航模式来实时地确定。所述终点位置可以响应于检测到的致使uav进入自动返航模式的条件而实时地确定。用户可以是或可以不是提前或实时地指定终点位置。uav或uav机载的飞行控制器可以接收穿越返航路径的指令。所述指令可以启动自动返航模式的初始化。与初始飞行路径930相比，针对返航路径970的uav操作模式可以不同。在自动返航模式中，可以在uav穿越返航路径时收集的第二组图像图特征(例如，特征点)与所述uav穿越初始飞行路径时收集的第一组图像特征(例如，特征点)之间启用比较。
uav在穿越环境时可能会经过一个或多个视觉地标950a、950b、950c。所述一个或多个视觉地标可以被捕捉到由uav相机中的一个或多个相机所捕捉的一个或多个图像中。可以针对一个或多个特征来评定uav相机所捕捉到的图像。视觉地标可以具有一个或多个可辨别特征。例如，视觉地标可以准许提取可以被存储的一个或多个特征点。视觉地标可以是或可以不是独特的。视觉地标可以是可从背景特征中辨别的。视觉地标可以是彼此可区分的。在一些实施方式中，视觉地标可以是基本上静止的。
当uav在穿越飞行路径930时收集多组图像时，所述相机可以捕捉所述视觉地标的图像。可以从所述视觉地标中提取一个或多个图像特征并且将其存储和/或用于导航辅助。如之前所描述的，在一些实施方式中，可以选择所述一个或多个图像特征的子集来进行存储和/或用于导航辅助。
uav在穿越返航路径970时可以收集另外多组图像。所述相机可以捕捉视觉地标的图像。在一些情形下，可以观察到与初始飞行路径中相同的视觉地标。所述相同的视觉地标可以是以相反的次序被观察到。在一些情形下，uav可以具有多个相机，所述多个相机可以准许捕捉所述视觉地标，即使uav在穿越所述返航路径时处于不同的取向。所述相机可以任选地用所述方式进行设置，以使得如果在初始飞行路径过程中检测到一个地标，则在返航路径过程中可以检测到所述地标，即使所述uav处于任何其他取向也是如此。
在初始路径过程中收集的第一组特征可以与在返航路径过程中收集的第二组特征进行比较。所述比较可以包括找出由所述特征(例如，特征点)表示的可识别地标。由所述特征表示的地标可以是在uav返航路径与初始飞行路径不同时可识别的。由所述特征表示的地标可以是当uav在返航路径过程中具有与初始飞行路径不同的取向时可识别的。
uav的返航路径可以是在uav穿越返航路径时实时地计算出和/或确定的。所述返航路径可以是基于计算出的所述uav与地标之间的相对定位来确定的。在一些情形下，uav的初始飞行路径可以是基于视觉导航、通过检测地标的位置和所述uav相对于所述地标的相对位置来记录的。在返航路径过程中，可以检测所述地标，并且可以控制uav的返航路径以准许所述uav在返航过程中具有相对于所述地标的相似位置。
uav在返航路径过程中的行进方向可以通过一种或多种算法来确定。在一些情形下，可以使用随机抽样一致(ransac)方法来确定返航路径。在一些其他情形下，可以使用n点透视(pnp)运动估算来确定返航路径。所述算法可以用来确定uav相对于由一个或多个特征点表示的地标的位置或期望位置。可以将uav相对于地标的当前估计位置与关于初始飞行路径的数据进行比较来确定uav在返航路径中的这个点相对于所述地标的希望位置。所述uav可以被引导至所述期望的uav位置。
如所描述的，uav的返航路径可以反向地遵循初始飞行路径。uav可以精确地反向遵循所述初始飞行路径。备选地，返航飞行路径可以相对于初始飞行路径具有一些变化。在一些情形下，uav可以保持在与初始飞行路径的特定距离阈值内。
任选地，uav可以具有与初始飞行路径不同的返航路径。所述不同的返航路径可能会因为一个或多个检测到的条件(例如，一个或多个障碍物或恶劣环境条件)而出现。不同的返航路径可能会因为会阻止uav遵循初始飞行路径的一个或多个其他条件而出现。uav可以使用视觉导航技术折回至起点。uav可以使用视觉导航技术朝初始飞行路径前行。备选地，uav可以使用视觉导航技术来折回至起点，而无需折回初始飞行路径。视觉导航技术可以仍利用地标来跟踪uav位置并且确保它处于能够使它找到其返回至起点的路的视觉范围内，但不需要遵循精确的返回路径。
在一些实施方式中，初始飞行路径可以遵循迂回或间接的路径到达终点。返航路径可以紧密地遵循所述初始飞行路径返回，即使所述路径是迂回或间接的也是如此。即使在返航路径过程中由于不能使uav能够精确地反向遵循精确的初始路径的条件而需要一些偏离，uav也可以尝试尽可能紧密地遵循初始路径、或在可能时返回至初始飞行路径。备选地，uav可以找到替代的路径返回，但是仍利用了在uav沿初始飞行路径出航时检测到的同一些视觉地标或标记。在一些情形下，uav可以采取比出航时的初始路径迂回或绕道少的返航路径返回。uav能够基于所述视觉标记计算出独立于初始飞行路径的返航飞行路径。在一些情形下，可以计算出到起点为最短距离、到起点的能量消耗为最少量、和/或到起点的时间为最少量的返航飞行路径。所述返航飞行路径可以在保持与视觉地标的视觉接触的同时结合这些参数中的一个或多个参数。因此，如果可能存在较短的飞行路径，但是uav却失去与视觉地标的可识别视觉接触，则uav可以采取使uav能够保持与视觉地标的可识别视觉接触的较长飞行路径。可能存在一些固有的误差或安全裕度，使得相比于保持必要的可识别视觉接触，uav可以保持更接近于初始飞行路径。
在一些情形下，uav可以通过单独使用视觉导航来遵循初始飞行路径和/或采取返航路径。例如，uav可以依赖uav机载的一个或多个相机收集到的信息来执行导航功能。uav可以依赖在初始飞行路径过程中所述相机单独收集到的信息来确定返航飞行路径。uav可以不需要其他数据或导航功能来执行返航飞行。这在来自外部来源的信息可能是不可靠的位置或情形下可能是有用的。例如，假如无线连接差，uav仍能够基于在uav机载存储器和视觉传感器上本地存储的信息来执行自动返航功能。
任选地，uav可以通过将视觉导航与任何其他类型的导航辅助结合使用来遵循初始飞行路径和/或采取返航路径。在一些实施方式中，可以利用传感器融合技术来将视觉导航信息与其他类型的导航信息结合。设置于uav上的任何传感器或通信单元可以与所述视觉导航信息结合使用来控制uav在初始飞行路径和/或返航路径过程中的飞行。
在一个示例中，uav的导航可以借助于uav机载的gps单元来进行。所述gps单元可以包括一个或多个gps传感器。gps传感器可以与一个或多个gps卫星通信来获得一个或多个gps数据信号。gps传感器可以刚性地联接至uav，使得所述gps传感器的位置与uav的位置相对应。备选地，可以准许gps传感器相对于uav关于高达六个自由度进行移动。gps传感器可以直接安装到uav上或联接至安装在uav上的支撑结构上。在一些情形下，所述支撑结构可以包括载荷，例如载体或有效载荷。
可以处理gps传感器接收到的gps信号以确定uav相对于全局参照系的位置(例如，纬度、经度、和海拔)，并且由此确定uav的平移速度和/或加速度。gps传感器可以利用任何适合的gps技术，例如差分gps(dgps)或实时动态(rtk)gps。gps传感器可以被配置成用于以任何适合的精度水平来确定可移动物体的位置，例如米级精度(例如，在10m、5m、2m、或1m精度内)或厘米级精度(在500cm、200cm、100cm、50cm、20cm、10cm、或5cm精度内)。
可以用这种gps信息来收集uav穿越初始飞行路径和/或返航飞行路径时所述uav的地理空间坐标信息。所述地理空间坐标信息可以与视觉导航信息(例如，图像特征)耦合。所述图像特征可以与捕捉到所述图像特征的位置处的、或计算出的所述图像特征所处位置处的地理空间坐标信息相关。例如，uav可以在uav捕捉树的图像时位于距第二位置一定距离的第一位置处。可以使用视觉算法(可以或可以不利用对多个帧的分析)来计算物体(例如，树)相对于相机位置(例如，uav位置)的位置。uav的位置(例如，第一位置)可以与所述图像和/或图像特征相关联，和/或物体的位置(例如，第二位置)可以与所述图像和/或图像特征相关联。所述地理空间坐标信息可以有助于生成环境的地图，如在本文其他地方更详细地描述。在一些实施方式中，gps信息可能是不可靠的、和/或当uav在环境内行进时可能会切入和切出。所述gps信息可以在可用时用来补充所述视觉导航信息，但是系统能够在必要时在没有gps信息的情况下进行操作。
uav还可以包括惯性测量单元(imu)，所述惯性测量单元可以包括一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、或其适合的组合。例如，所述imu可以包括高达三个正交加速度计来测量uav和/或所述uav机载相机沿着高达三条平移轴线的线性加速度，以及包括高达三个正交陀螺仪来测量围绕高达三条旋转轴线的角加速度。所述imu可以刚性地联接至所述uav和/或相机，使得所述uav和/或相机的运动对应于所述imu的运动。备选地，可以准许所述imu相对于所述uav和/或相机关于高达六个自由度进行移动。所述imu可以直接安装到所述uav和/或相机上或联接至安装在所述uav和/或相机上的支撑结构上。所述imu可以提供指示所述uav和/或相机的位置或运动的信号，例如所述uav和/或相机(例如，关于一条、两条、或三条平移轴线、和/或一条、两条、或三条旋转轴线)的位置、取向、速度、和/或加速度。例如，所述imu可以感测表示所述uav和/或相机的加速度的信号，并且所述信号可以被积分一次以提供速度信息，以及被积分两次以提供位置和/或取向信息。
所述imu信息可以与视觉导航结合来确定所述uav的总体位置(例如，空间位置和/或取向)和/或uav的移动。在一些情形下，可以用所述imu信息来确定所述uav携带的一个或多个相机的总体位置和/或移动。可以用所述imu信息来确定uav用于进行视觉导航的所述相机各自的总体位置和/或移动。在一些实施方式中，所述uav可以支撑多个相机，所述相机各自可以具有不同取向。在一些情形下，所述imu可以使用不同传感器来单独地收集关于所述多个相机各自取向的信息(例如，相机1可以具有检测相机1的位置和/或移动的一个或多个传感器，相机2可以具有检测相机2的位置和/或移动的一个或多个传感器……)。备选地，每个相机可以具有相对于uav取向的已知取向，并且已知uav位置(例如，取向/空间位置)使得可以计算出每个相机的位置。可以用所述imu信息来确定uav所支撑的所述相机各自的取向。
所述imu信息可以与视觉导航信息(例如，图像特征)耦合。所述图像特征可以与uav和/或相机在捕捉到所述图像特征的位置处的imu信息相关。例如，在uav捕捉作为视觉地标的树的图像时，相机可以具有特定位置。可以用所述imu信息来确定所述视觉地标相对于uav的相对位置。可以使用视觉算法(可以或可以不利用对多个帧的分析)来在拍摄图像时计算所述相机和/或uav可能与所述图像和/或图像特征相关联的位置。所述imu信息可以有助于生成环境的地图，如在本文其他地方更详细地描述。所述imu信息可以是使用uav机载的一个或多个传感器收集到的。所述imu信息可以不需要外部信号、反射、或通信。所述imu与视觉数据可以彼此结合使用，甚至在外部通信或无线信号不工作时也是如此。
在一些实施方式中，视觉导航可以与gps信息和/或imu信息结合使用。可以使用本文其他地方所描述的任何另外的传感器的任何信息，例如位置传感器(例如，全球定位系统(gps)传感器、能够实现位置三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光、或紫外光的成像装置，例如相机)、接近度传感器(例如，超声传感器、激光雷达、飞行时间相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(imu))、高度传感器、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力仪、电磁传感器)。
在一些实施方式中，可以从一个或多个图像中提取一个或多个图像特征。在一些情形下，可以选择所有的图像特征或所述图像特征的子集来存储或用于uav的导航。例如，可以将选定的图像特征存储或用于uav的自动返航。在一些实施方式中，选定的图像特征可以包括来自图像的特征点的子集。
可以用选定的图像特征(例如，特征点子集)来构造环境的地图。可以将在飞行过程中uav可能遇到的地标的一个或多个表示存储在所述地图中。例如，可以构造出在所述环境内所述图像特征的地图。可以构造出在所述环境内选定特征点子集的地图。所述地图可以是三维地图或二维地图。所述地图可以考虑或可以不考虑海拔。所述地图可以是在uav穿越初始飞行路径时实时地构造的。可以确定uav相对于所述地图内的特征的位置。可以在所述地图内提供uav穿越所述初始飞行路径时的位置。uav的位置可以包括uav的空间位置和/或取向。uav在捕捉每个图像时的位置可以在所述地图内。在一些情形下，uav所支撑的每个相机的位置(例如，空间位置和/或取向)可以被存储在所述地图中或存储器中。uav和/或相机的位置可以是沿着三条空间轴线来确定的。uav和/或相机的位置可以包括相对于uav和/或相机绕三条正交轴线(例如俯仰轴线、偏航轴线、和/或横滚轴线)的确定。
所述地图可以在uav规划和/或采取返航路径时被所述uav使用。可以在uav采取所述返航路径时确定uav相对于一个或多个地标的位置。可以在uav采取所述返航路径时确定uav相对于一个或多个图像特征(例如，特征点)的位置。uav在uav采取所述返航路径时收集的多组图像可以用来确定uav相对于所述一个或多个图像特征的位置。可以在所述返航飞行过程中确定uav相对于uav初始飞行路径的位置。在一些情形下，可以用uav相对于所述一个或多个图像特征的位置以及所述一个或多个图像特征相对于uav初始飞行路径的位置来确定uav相对于所述初始飞行路径的位置。
如之前所描述的，可以使用多种算法来确定uav位置和/或返航路径。可以利用ransac或pnp算法来辅助uav返航。在一些情形下，在使用所述算法时可以将无关的图像数据(例如，无关的特征点)剔除。针对一个或多个相关特征点可以产生最匹配的模型。可以使用表决的方式来选择可以用来确定自动返航路径的模型。
所述地图可以存储在uav机载的本地存储器中。所述地图可以存储在外部装置中，例如一个或多个服务器、其他uav、遥控器、视觉显示装置、或云计算设施。在一些实施方式中，所述地图可以是uav机载的本地存储器可访问的。所述uav能够访问和/或添加至所述地图，即使外部通信或信号不工作也是如此。
因此，uav可以能够利用视觉导航技术来执行自动返航。uav可以能够自动返航至起点，而不需要用户的任何手动控制。uav可以接收或可以不接收用户输入来初始化自动返航序列。一旦初始化自动返航序列，用户可以不再提供进一步的输入或不再要求用户的进一步输入使得uav返回至起点。
在一些情形下，uav可以在相对无特征的环境内运行。如果所述环境是相对无特征的，则uav可以依赖其他导航辅助，例如gps、imu信息和/或来自本文其他地方所描述的任何其他传感器的信息。在一些情形下，如果uav在返航路径过程中不能检测熟悉的特征，则uav可以自动悬停或降落。uav可以向uav的用户发送警报或警示。在发送警报或警示给uav的用户时，uav可以包括或可以不包括最后已知的uav位置信息。uav可以发送在所述uav的感测范围内可以允许uav被用户容易地检测到或识别到的视觉或听觉警示。
本文所描述的系统、装置和方法可以应用于各种各样的可移动物体。如前所述，本文对uav的任何描述可以适用于并且用于任何可移动物体。本文对uav的任何描述可以适用于任何飞行器。本发明的可移动物体可以被配置成在任何合适的环境内移动，例如空中(例如，固定翼飞行器、旋转翼飞行器、或者既无固定翼也无旋翼的飞行器)、水中(例如，船或潜艇)、陆地上(例如，机动车辆，如小汽车、卡车、客车、面包车、摩托车、自行车；可移动结构或框架，诸如棒状物、钓鱼竿；或火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星、或探测器)，或者这些环境的任何组合。可移动物体可以为载运工具，如本文其他地方所描述的载运工具。在一些实施方式中，可移动物体可以由生命体(例如，人或动物)携带或从生命体上起飞。合适的动物可包括禽类、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿动物或昆虫。
可移动物体可以能够在环境中关于六个自由度(例如，三个平移自由度和三个旋转自由度)来自由移动。备选地，可移动物体的移动可以是关于一个或多个自由度受约束的，例如受到预设的路径、轨道、或取向的约束。这种移动能够是由诸如发动机或电机等任何合适的致动机构来致动。可移动物体的致动机构可以是由任何合适的能源提供动力，例如，电能、磁能、太阳能、风能、重力能、化学能、核能、或其任何合适的组合。如本文其他地方所描述的，可移动物体可以通过推进系统来自推进。所述推进系统可以任选地以一种能源来运行，诸如电能、磁能、太阳能、风能、重力能、化学能、核能、或其任何合适组合。备选地，可移动物体可以由生物来携带。
在一些情形下，可移动物体可以是载运工具。适合的载运工具可以包括水上载运工具、空中载运工具、太空载运工具、或地面载运工具。例如，空中载运工具可以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升飞机、旋翼飞行器)、具有固定翼和旋转翼二者的飞行器、或不具有二者的飞行器(例如，飞艇、热气球)。载运工具可以是自推进的，例如在空中、在水上或水中、太空中、或在地上或地下自推进。自推进式载运工具可以利用推进系统，例如，包括一个或多个发动机、电机、轮子、轮轴、磁体、转子、螺旋桨、叶片、喷嘴、或其任何合适的组合的推进系统。在一些情形下，可以用所述推进系统来使得可移动物体能够从表面起飞、降落在表面上、维持其当前位置和/或取向(例如，悬停)、改变取向、和/或改变位置。
所述可移动物体可以由用户远程控制或者由可移动物体之内或其上的乘员本地控制。在一些实施方式中，所述可移动物体为无人的可移动物体，例如uav。无人可移动物体(如uav)可以不具有登上可移动物体的乘员。可移动物体可以由人类或自主式控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，如配置有人工智能的机器人。
所述可移动物体可具有任何合适的大小和/或尺寸。在一些实施方式中，所述可移动物体可以具有一定大小和/或尺寸以在所述载运工具之内或之上具有人类乘坐者。备选地，所述可移动物体可以具有与能够在所述载运工具之内或之上具有人类乘坐者相比较而言更小的大小和/或尺寸。所述可移动物体可以具有适合于被人提起或搬运的大小和/或尺寸。备选地，所述可移动物体可以与适合于被人类提起或搬运的大小和/或尺寸相比较而言是更大的。在一些情形下，可移动物体可以具有小于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。备选地，相对旋翼的轴之间的距离可以大于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可具有小于100cm×100cm×100cm、小于50cm×50cm×30cm、或小于5cm×5cm×3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。
在一些实施方式中，可移动物体可以具有小于或等于大约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占地面积(其可以指由可移动物体所围起的横截面面积)。相反地，占地面积可以大于或等于大约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情形下，所述可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体可以小于所述可移动物体所搭载的载荷。如本文其他地方进一步详细描述的，载荷可以包括有效载荷和/或载体。在一些示例中，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。在一些情形下，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。任选地，载体重量与载荷重量的比率可以大于、小于、或等于约1:1。当需要时，可移动物体重量与载荷重量的比率可以小于或等于：1:2、1:3、1:4、1:5、1:10或甚至更小。相反地，可移动物体重量与载荷重量的比率还可以大于或等于：2:1、3:1、4:1、5:1、10:1或甚至更大。
在一些实施方式中，所述可移动物体可以具有低的能耗。例如，可移动物体可以使用小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。在一些情形下，可移动物体的载体可以具有低的能耗。例如，所述载体可以使用小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。任选地，可移动物体的有效载荷可以具有低的能耗，如小于大约：5w/h、4w/h、3w/h、2w/h、1w/h或更少。
图10展示了根据本发明实施方式的无人飞行器(uav)1000。所述uav可以是如本文所描述的可移动物体的示例。uav1000可以包括具有四个旋翼1002、1004、1006、和1008的推进系统。可以提供任何数量的旋翼(例如，一个、两个、三个、四个、五个、六个、或更多个)。无人飞行器的旋翼、旋翼组件或者其他推进系统可以使无人飞行器能够悬停/维持位置、改变取向、和/或改变位置。相对旋翼的轴之间的距离可以是任何适合的长度1010。例如，长度1010可以小于或等于1m、或小于等于5m。在一些实施方式中，长度1010可以在1cm至7m、70cm至2m、或者5cm至5m的范围内。本文中对uav的任何描述都可以适用于可移动物体，例如不同类型的可移动物体，并且反之亦然。uav可以使用本文描述的辅助起飞系统或方法。
在一些实施方式中，所述可移动物体可以被配置成搭载有载荷。所述载荷可以包括乘客、货物、装备、仪器等中的一项或多项。所述载荷可以被设在壳体内。所述壳体可以是与所述可移动物体的壳体分开的、或者是可移动物体壳体的一部分。备选地，所述载荷可以配备有壳体，而所述可移动物体没有壳体。备选地，所述载荷的多个部分或整个载荷可以不具有壳体。所述载荷可以是相对于所述可移动物体刚性固定的。任选地，所述载荷可以是可相对于所述可移动物体移动的(例如，可相对于所述可移动物体平移或旋转)。如本文中其他地方所描述的，载荷可包括有效载荷和/或载体。
除了所述可移动物体所支撑的一个或多个图像捕捉装置之外或作为其替代，还可以提供载荷。如之前在本文其他地方所描述的，多个图像捕捉装置可以是由所述可移动物体来支撑。所述图像捕捉装置可以分布在所述可移动物体的主体和/或臂上。所述图像捕捉装置可以被设置成相对于彼此具有不同的取向。所述图像捕捉装置可以被设置成使得可移动物体的部分并不进入图像捕捉装置的视野。备选地，所述可移动物体的一个或多个部分可以进入图像捕捉装置的视野。
在一些实施方式中，所述可移动物体、载体、和有效载荷相对于固定的参照系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是在远离所述可移动物体、载体、和/或有效载荷的位置处的遥控装置。所述终端可以安置在或附着至支撑平台上。备选地，所述终端可以是手持式或可穿戴式装置。例如，所述终端可以包括智能手机、平板电脑、膝上计算机、计算机、眼镜、手套、头盔、麦克风、或其适当组合。所述终端可以包括用户接口，例如键盘、鼠标、操纵杆、触屏、或显示器。可以使用任意适合的用户输入来与所述终端进行交互，例如手动输入的命令、语音控制、手势控制、或位置控制(例如，通过所述终端的移动、位置或倾斜度)。
可以用所述终端来控制可移动物体、载体、和/或有效载荷的任何适合状态。例如，可以用所述终端来控制所述可移动物体、载体、和/或有效载荷相对于固定的参照系的和/或相对于彼此的位置和/或取向。在一些实施方式中，可以用所述终端来控制所述可移动物体、载体、和/或有效载荷的多个独立元件，例如载体的致动组件、有效载荷的传感器、或有效载荷的发射体。所述终端可以包括适于与所述可移动物体、载体、或有效载荷中的一者或多者通信的无线通信装置。
所述终端可以包括用于观看所述可移动物体、载体、和/或有效载荷的信息的适合的显示单元。例如，所述终端可以被配置成显示所述可移动物体、载体、和/或有效载荷关于位置、平移速度、平移加速度、取向、角速度、角加速度、或其任何适合组合的信息。在一些实施方式中，所述终端可以显示所述有效载荷所提供的信息，例如功能性有效载荷所提供的数据(例如，相机或其他图像捕捉装置所记录的图像)。
任选地，同一终端可以既控制可移动物体、载体、和/或有效载荷，或者可移动物体、载体、和/或有效载荷的状态，又接收和/或显示来自所述可移动物体、载体、和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的定位，同时显示由有效载荷所捕捉的图像数据、或关于有效载荷位置的信息。备选地，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体、和/或有效载荷的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体、和/或有效载荷的信息。例如，可以用第一终端来控制有效载荷相对于环境的定位，而第二终端显示有效载荷所捕捉的图像数据。可以在可移动物体与既控制可移动物体又接收数据的集成终端之间、或者在可移动物体与既控制可移动物体又接收数据的多个终端之间利用多种通信模式。例如，可以在可移动物体与既控制可移动物体又接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图11展示了根据实施方式的可移动物体1100，所述可移动物体包括载体1102和有效载荷1104。虽然可移动物体1100被描绘为飞行器，但是这样的描述并不旨在进行限制，并且如本文先前所描述的，可以使用任何合适类型的可移动物体。本领域技术人员将认识到，本文中在飞行器系统的背景下所描述的任何实施方式都可以应用于任何适合的可移动物体(例如，uav)。在一些情形下，有效载荷1104可以在不需要载体1102的情况下设置在可移动物体1100上。可移动物体1100可包括推进机构1106、感测系统1108以及通信系统1112。
如先前所描述，推进机构1106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轮轴、磁体、或喷嘴中的一项或多项。所述可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。所述推进机构可以全都是同一类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。如本文中其他地方所描述的，推进机构1106可以使用任何合适的装置(如，支撑元件(例如，驱动轴))来安装在可移动物体1100上。推进机构1106可以安装在可移动物体1100的任何合适部分，如顶部、底部、正面、背面、侧面、或其合适的组合。
在一些实施方式中，推进机构1106可以使可移动物体1100能够从表面垂直起飞或者垂直降落于表面上，而不需要可移动物体1100的任何水平移动(例如，不需要在跑道上滑行)。任选地，推进机构1106可以是可操作地准许可移动物体1100以特定的位置和/或取向在空中悬停。推进机构1100中的一个或多个推进机构可以是独立于其他推进机构来受到控制。备选地，推进机构1100可以被配置成同时受到控制。例如，可移动物体1100可以具有多个水平取向的旋翼，所述水平取向的旋翼可以为可移动物体提供升力和/或推力。可以致动所述多个水平取向的旋翼以对可移动物体1100提供垂直起飞、垂直降落、以及悬停的能力。在一些实施方式中，所述水平取向的旋翼中的一个或多个旋翼可以按顺时针方向转动，同时水平旋翼中的一个或多个旋翼可以按逆时针方向转动。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。所述水平取向的旋翼各自的旋转速度可以独立地变化以便控制每个旋翼产生的升力和/或推力，并且由此调整可移动物体1100(例如，就高达三个平移度以及高达三个旋转度而言)的空间布局、速度、和/或加速度。
感测系统1108可以包括一个或多个传感器，所述一个或多个传感器可以感测可移动物体1100(例如，就高达三个平移度以及高达三个旋转度而言)的空间布局、速度、和/或加速度。所述一个或多个传感器可以包括全球定位系统(gps)传感器、运动传感器、惯性传感器、接近度传感器、或图像传感器。可以用感测系统1108所提供的感测数据来控制可移动物体1100的空间布局、速度、和/或取向(例如，如下文所描述，使用适合的处理单元和/或控制模块)。备选地，可以用感测系统1108来提供与所述可移动物体的周围环境相关的数据，例如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
通信系统1110能够通过无线信号1116来与具有通信系统1114的终端1112进行通信。通信系统1110、1114可以包括任意数量的、适合用于无线通信的发射器、接收器、和/或收发器。所述通信可以是单向通信，使得仅能在一个方向上传输数据。例如，单向通信可能仅涉及可移动物体1100将数据传输给终端1112，或反之亦然。所述数据可以是从通信系统1110的一个或多个发射器传输给通信系统1112的一个或多个接收器，或反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体1100与终端1112之间在两个方向上传输数据。双向通信可以涉及将数据从通信系统1110的一个或多个发射器传输给通信系统1114的一个或多个接收器，并且反之亦然。
在一些实施方式中，终端1112可以向可移动物体1100、载体1102和有效载荷1104中的一者或多者提供控制数据并且从可移动物体1100、载体1102和有效载荷1104中的一者或多者中接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测到的数据，例如由有效载荷相机捕捉到的图像数据)。在某些情形下，来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动、或控制的指令。例如，所述控制数据可以导致对可移动物体的位置和/或取向的修正(例如，通过控制推进机构1106)或者有效载荷相对于可移动物体的移动(例如，通过控制载体1102)。来自终端的控制数据可以导致对有效载荷的控制，例如控制相机或其他图像捕捉装置的操作(例如，拍摄静态或动态照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、变焦、改变景深、改变曝光时间、改变视角或视野)。在某些情形下，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统1108的或有效载荷1104的)一个或多个传感器的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，gps传感器、运动传感器、惯性传感器、接近度传感器、或图像传感器)的感测信息。这样的信息可以与可移动物体、载体和/或有效载荷的定位(例如，位置、取向)、移动或加速度相关。所述有效载荷的信息可以包括有效载荷所捕捉到的数据或所感测到的有效载荷的状态。由终端1112传输的控制数据可以被配置成控制可移动物体1100、载体1102、或有效载荷1104中的一者或多者的状态。备选地或组合地，载体1102和有效载荷1104还可以各自包括被配置成与终端1112通信的通信模块，使得所述终端可以独立地与可移动物体1100、载体1102以及有效载荷1104中的每一者通信并且对其加以控制。
在一些实施方式中，可移动物体1100可以被配置成不仅与终端1112而且与另一个远程装置通信、或不是与终端1112而是与另一个远程装置通信。终端1112也可以被配置成与另一个远程装置以及可移动物体1100通信。例如，可移动物体1100和/或终端1112可以与另一个可移动物体、或另一个可移动物体的载体或有效载荷通信。可以期望，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上计算机、平板电脑、智能手机、或其他移动装置)。所述远程装置可以被配置成将数据传输给可移动物体1100、接收来自可移动物体1100的数据、将数据传输给终端1112、和/或接收来自终端1112的数据。任选地，所述远程装置可以连接到互联网或其他电信网络，使得从可移动物体1100和/或终端1112接收到的数据可以上传到网站或服务器。
图12是根据实施方式的用于控制可移动物体的系统1200的示意性框图。系统1200可以与本文所公开的系统、装置、以及方法的任何适合的实施方式结合使用。系统1200可以包括感测模块1202、处理单元1204、非易失性计算机可读介质1206、控制模块1208、以及通信模块1210。
感测模块1202可以使用以不同方式收集与可移动物体相关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，所述传感器可以包括惯性传感器、gps传感器、接近度传感器(例如，激光雷达)、或视觉/图像传感器(例如，相机)。感测模块1202可以可操作地联接至具有多个处理器的处理单元1204。在某些实施方式中，所述感测模块可以可操作地联接至传输模块1212(例如，wi-fi图像传输模块)，所述传输模块被配置成将感测数据直接传输给适合的外部装置或系统。例如，可以用传输模块1212来将感测模块1202的相机所捕捉到的图像传输给远程终端。
处理单元1204可以具有一个或多个处理器，例如可编程处理器(例如，中央处理器(cpu))。处理单元1204可以可操作地联接至非易失性计算机可读介质1206。非易失性计算机可读介质1206可以存储可由处理单元1204执行来进行一个或多个步骤的逻辑、代码、和/或程序指令。所述非易失性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储器，如sd卡或随机存取存储器(ram))。在某些实施方式中，可以将来自感测模块1202的数据直接传送至并存储在非易失性计算机可读介质1206的存储器单元内。非易失性计算机可读介质1206的存储器单元可以存储可由处理单元1204执行来进行本文所描述方法的任何适合的实施方式的逻辑、代码、和/或程序指令。例如，处理单元1204可以被配置成执行指令从而致使处理单元1204的一个或多个处理器分析感测模块所产生的感测数据。所述存储器单元可以存储来自所述感测模块的有待处理单元1204处理的感测数据。在某些实施方式中，可以用非易失性计算机可读介质1206的存储器单元来存储处理单元1204所产生的处理结果。
在某些实施方式中，处理单元1204可以可操作地联接至被配置成控制可移动物体的状态的控制模块1208。例如，控制模块1208可以被配置成控制可移动物体的推进机构，以调整可移动物体在六个自由度上的空间布局、速度、和/或加速度。备选地或组合地，控制模块1208可以控制载体、有效载荷、或感测模块的状态中的一者或多者。
处理单元1204可以可操作地联接至通信模块1310，所述通信模块被配置成传输和/或接收来自一个或多个外部装置(例如，终端、显示装置、或者其他遥控器)的数据。可以使用任何合适的通信手段，如有线通信或无线通信。例如，通信模块1210可以利用局域网(lan)、广域网(wan)、红外线、无线电、wifi、点到点(p2p)网络、电信网络、云通信等等中的一个或多个。任选地，可以使用中继站(如塔、卫星、或移动站)。无线通信可以是依赖于接近度或不依赖于接近度的。在一些实施方式中，通信可能需要或可能不需要视线。通信模块1210可以传输和/或接收来自感测模块1202的感测数据、处理单元1204所产生的处理结果、预定义控制数据、来自终端或遥控器的用户命令等中的一项或多项。
系统1200的部件可以设置为任何适合的配置。例如，系统1200的部件中的一者或多者可以位于可移动物体、载体、有效载荷、终端、感测系统上、或者位于与以上可移动物体、载体、有效载荷、终端、感测系统中的一者或多者进行通信的额外外部装置上。此外，尽管图12描绘了单个处理单元1204和单个非易失性计算机可读介质1206，但本领域技术人员应当理解，这并非旨在限制，并且系统1200可以包括多个处理单元和/或非易失性计算机可读介质。在某些实施方式中，所述多个处理单元和/或非易失性计算机可读介质中的一者或多者可以处于不同位置，例如，在可移动物体、载体、有效载荷、终端、感测模块、与以上各者中的一者或多者进行通信的额外外部装置、或它们适合的组合上，使得系统1200所进行的处理和/或存储功能的任何适合的方面可以是发生在上述位置中的一个或多个位置处。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员而言显然这样的实施方式只是以举例方式提供。本领域技术人员在不偏离本发明的情况下现在可以想到许多变体、改变和替代。应当理解，在实践本发明的过程中可以采用本文所描述的本发明实施方式的多种替代方案。所附权利要求旨在限定本发明的范围，并且由此涵盖了在这些权利要求的范围内的方法和结构以及其等效物。