碰撞规避系统、深度成像系统、交通工具、地图生成器及其方法与流程
相关申请的交叉引用
本申请是2018年12月27日提交的美国专利申请序列号16/233,236的pct申请并要求该美国专利申请的优先权，该申请通过引用整体结合于此。
各方面一般涉及碰撞规避系统、交通工具、地图生成器、深度成像系统及其方法。
背景技术：
无人驾驶飞行器(uav)可具有用于控制无人驾驶飞行器沿着预定义飞行路径飞行的一个或多个处理器。用于控制无人驾驶飞行器的预定义飞行的一个或多个处理器可被称为飞行控制器或者可以是飞行控制器的一部分。预定义飞行路径可例如通过手动远程控制、航点控制、目标跟踪等来提供和/或修改。此外，障碍物检测和规避系统可被实现以避免无人驾驶飞行器与位于该无人驾驶飞行器的预定义飞行路径中的障碍物的碰撞。作为示例，具有障碍物检测的无人驾驶飞行器被配置成在固体对象(例如，墙壁、树木、柱子等)前面停止并由此避免碰撞。作为示例，障碍物检测可基于至少一个成像系统并且无人驾驶飞行器可包括与该至少一个成像系统相关联的一个或多个处理器。然而，障碍物检测也可基于其他合适的传感器系统。
附图说明
贯穿附图，应注意，相同的附图标记用于描绘相同或类似的要素、特征和结构。这些附图不一定按比例绘制，而是一般着重于说明本公开的各方面。在以下描述中，参照下面的附图描述本公开的一些方面，其中：
图1以示意图示出根据各个方面的无人驾驶飞行器；
图2示出了根据各方面的碰撞规避系统的各种功能；
图3示出了根据各方面的碰撞规避系统的各种功能；
图4示出了根据各方面的碰撞规避系统的各种功能；
图5示出了根据各方面的碰撞规避系统的各种功能；
图6示出了根据各方面的无人驾驶飞行器的碰撞规避系统的各种功能；
图7示出了根据各方面的碰撞规避方法的示意性流程图；
图8示出了根据各方面的用于操作无人驾驶飞行器的方法的示意性流程图；
图9示出了根据各方面的无人机的碰撞规避功能的示意性流程图；
图10示出了根据各方面的用于生成障碍物地图的方法的流程图；
图11示出了根据各方面的用于生成障碍物地图的方法的流程图；
图12以示意图示出根据各方面的障碍物地图生成器；
图13a到13c以示意图示出根据各方面的障碍物地图生成器及其各种功能；
图14a到图14c分别示出了根据各方面的用于确定概率值的预定义函数；
图15以示意图示出了根据各方面的传感器系统；
图16示出了根据各方面的场景图像和对应的深度图像；
图17以示意图示出根据各方面的深度成像系统；
图18a和图18b示出了根据各方面的同一场景的第一深度图像和第二深度图像；
图19示例性地示出了根据各方面的深度相机的操作；
图20以示意图示出了根据各方面的障碍物规避系统的各种功能；
图21示出了根据各方面的用于操作深度成像系统的方法的示意性流程图。
具体实施方式
以下详细描述中对附图进行参考，附图通过图示方式示出了可在其中实施本公开的具体细节和方面。足够详细地描述了一个或多个方面以使本领域的技术人员能实施本公开。可利用其他方面，并且可作出结构的、逻辑的和/或电气的改变，而不背离本公开的范围。本公开的各方面不一定是互斥的，因为可将一些方面与一个或多个其他方面组合以形成新的方面。结合方法描述各方面，并且结合设备描述了各方面。然而，可理解，结合方法描述的方面可被类似地应用于设备，并且反之亦然。
术语“示例性”可在本文中使用以意指“充当示例、实例或例示”。本文中被描述为“示例性”的任何方面或设计不必被解释为相比其他方面或设计是优选或有利的。
术语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、二个、三个、四个、[...]等)。术语“多个(aplurality)”可被理解为包括大于或等于二的数量(例如，二个、三个、四个、五个、[...]等)。
关于一组要素的短语“……中的至少一个”在本文中可用于意指来自由这些要素组成的组的至少一个要素。例如，关于一组要素的短语“……中的至少一个”在本文中可用于意指以下中的选择：所列要素中的一个、多个的所列要素中的一个要素、多个个体所列要素、或多个所列要素中的多个。
说明书和权利要求书中的词语“复数”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地调用上述词来指代一定数量的物体的短语(例如，“多个(apluralityof)(物体)”、“多个(multiple)(物体)”)明确地指代多于一个的所述物体。说明书和权利要求书中的术语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。如本文描述的，任何类型的信息可以例如经由一个或多个处理器以合适的方式处理为例如数据。
例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路，例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、集成电路、专用集成电路(asic)等，或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能或类似功能的单个实体，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能或类似功能的两个(或更多个)分开的实体。
本文中详述的术语“存储器”可被理解为包括任何合适类型的存储器或存储器设备，例如，作为示例，硬盘驱动器(hdd)、固态驱动器(ssd)、闪存。
软件实现的数据处置与硬件实现的数据处置之间的差异可能模糊。本文中详述的处理器、控制器和/或电路能以软件、硬件和/或作为包括软件和硬件的混合实现方式来实现。
本文中详述的术语“系统”(例如，传感器系统、控制系统、计算系统等)可被理解为交互元件的集合，其中，作为示例而非限制，这些元件可以是一个或多个机械组件、一个或多个电气组件、一条或多条指令(例如，被编码在存储介质中)、和/或一个或多个处理器等等。
关于“无人驾驶飞行器的位置”，“对象的位置”、“障碍物的位置”等使用的术语“位置”在本文中可被用于意指二维或三维空间中的点或区域。应理解，具有相应参考点的合适坐标系被用于描述位置、向量、运动等。关于预定义“飞行路径”、“已行进飞行路径”、“剩余飞行路径”等使用的术语“飞行路径”可被理解为二维或三维空间中的轨迹。飞行路径可包括无人驾驶飞行器已沿其行进的一系列(例如，分辨时间的一系列)位置、相应当前位置、和/或无人驾驶飞行器正朝其行进的至少一个目标位置。无人驾驶飞行器已沿其行进的一系列位置可限定已行进飞行路径。当前位置和至少一个目标位置可限定剩余飞行路径。
关于二维或三维地图使用的术语“地图”可包括描述物体在二维或三维空间中的位置的任何合适的方式。
根据各方面，体素图可被用于基于与物体相关联的体素来描述三维空间中的物体。为了基于体素图来防止碰撞，可将光线追踪、光线投射、栅格化等应用于体素数据。
无人驾驶飞行器(uav)是具有自主飞行能力的航行器。在自主飞行中，人类飞行员不在无人驾驶飞行器上并且也不控制无人驾驶飞行器。无人驾驶飞行器还可被指示为无职员、无人占据或无飞行员的交通工具、航空器或航空器系统、或者无人机。
根据各个方面，无人驾驶飞行器可包括支承框架，该支承框架充当用于安装无人驾驶飞行器的组件(诸如例如，马达、传感器、机械装置、发射器、接收器和用于根据需要控制无人驾驶飞行器的功能的任何类型的控制)的基底。安装到该支承框架的组件中的一者或多者可以至少部分地被壳体(也被称为机身、机体、外壳等)包围。作为示例，壳体可以机械地保护该一个或多个组件。此外，壳体可被构造成保护该一个或多个组件以免遭潮湿、灰尘、辐射(例如，热辐射)等。
根据各方面，无人驾驶飞行器可包括具有独立的双轴或三轴自由度以适当地跟踪目标(例如，感兴趣的人或点)的相机万向节，以及独立于无人机的实际飞行方向或实际姿态的跟踪相机。在某些方面，深度相机可被用于跟踪、监视无人驾驶飞行器的邻域、向无人驾驶飞行器的用户提供图像等。深度相机可允许将深度信息与图像相关联，例如以提供深度图像。这允许例如提供无人驾驶飞行器附近的图像的能力，该图像包括关于图像中描绘的一个或多个物体的深度信息。
作为示例，深度图像可包括指示图像中显示的物体的相对距离的信息。该距离信息可以是但不限于用于描绘距传感器的相对距离的颜色和/或着色。可以从深度信息确定物体的位置。基于深度图像，可以从深度信息构造二维地图或三维地图。所述地图构造可使用深度地图引擎来实现，该深度地图引擎可包括一个或多个处理器或者非暂态计算机可读介质，该一个或多个处理器或者非暂态计算机可读介质被配置成从由深度图像提供的深度信息来创建像素地图或体素地图(或任何其他合适的地图)。根据各方面，深度图像可例如由立体相机获得，例如，从具有不同视角的两个或更多个图像计算出深度图像。进一步地，可由可允许位置信息和距离(深度)信息相关的任何合适的一个或多个传感器(例如，激光扫描仪等)生成深度图像。
根据各方面，地图可以用于以合适的数据形式存储位置信息和/或环境状况信息，从而允许基于地图来控制无人驾驶飞行器的一个或多个操作。然而，可以使用其他合适的实现方式以允许至少基于移动数据来控制无人驾驶飞行器。
根据各方面，无人驾驶飞行器包括用于障碍物检测的至少一个传感器，例如仅仅一个传感器、两个传感器、或不止两个传感器。该至少一个传感器可被固定地安装在无人驾驶飞行器的支承框架上。另选地，该至少一个传感器可被固定至可移动安装结构以使该至少一个传感器可以对准所需方向。
根据各方面，无人驾驶飞行器可具有航向。该前进方向可被理解为被分派有向前直行的飞行方向的参考方向。
本文描述的无人驾驶飞行器可以是飞机(例如，固定翼飞机)或直升机(例如，多旋翼直升机)(即，旋翼无人驾驶飞行器(例如，四旋翼无人驾驶飞行器、十六旋翼无人驾驶飞行器、八旋翼无人驾驶飞行器))的形状。本文描述的无人驾驶飞行器可包括多个旋翼(例如，三个、四个、五个、六个、七个、八个或八个以上的旋翼)，也被称为螺旋桨。每一个螺旋桨具有一个或多个螺旋桨叶片。在某些方面，螺旋桨可以是固定间距螺旋桨。
无人驾驶飞行器可被配置成以各种程度的自主性进行操作：在人类操作者的远程控制下、或者完全或间歇性自主地由机载计算机操作。无人驾驶飞行器可被配置成在升空和/或着陆操作模式中自主地升空(也被称为起飞)和着陆。另选地，无人驾驶飞行器可以在升空和/或着陆时通过无线电控制(rc)来手动控制。无人驾驶飞行器可被配置成基于飞行路径来自主飞行。行进路径可以是例如从起始点或无人驾驶飞行器的当前位置到目标位置的预定义飞行路径，或者飞行路径可以是可变的，例如跟随限定目标位置的目标。在某些方面，无人驾驶飞行器可以在安全高度或安全距离处切换到gps制导的自主模式。无人驾驶飞行器可具有一个或多个故障安全操作模式，例如，返回至起始点、立即着陆等。在一些方面，无人驾驶飞行器可例如通过在飞行期间(例如，暂时地)进行远程控制来手动控制。
在下文中，更详细地描述无人驾驶飞行器。根据各方面，无人驾驶飞行器的一个或多个功能(例如，一个或多个碰撞规避功能、一个或多个安全操作、一个或多个路径查找功能等)可基于二维或三维地图来控制。
图1以示意图例示出根据各个方面的无人驾驶飞行器100。无人驾驶飞行器100可包括多个(例如，三个或多于三个，例如四个、六个、八个等)交通工具驱动布置110。交通工具驱动布置110中的每一个可包括至少一个驱动马达110m以及耦合至该至少一个驱动马达110m的至少一个螺旋桨110p。根据各方面，无人驾驶飞行器100的一个或多个驱动马达110m可以是电驱动马达。因此，飞行棋驱动布置110中的每一者也可被称为电驱动或电飞行棋驱动布置。
此外，无人驾驶飞行器100可包括被配置成控制无人驾驶飞行器100的飞行或任何其它操作的一个或多个处理器102p。一个或多个处理器102p可以是飞行控制器的部分或者可实现飞行控制器。一个或多个处理器102p可被配置成例如至少基于无人驾驶飞行器100的当前位置和无人驾驶飞行器100的目标位置来提供飞行路径。在某些方面，一个或多个处理器102p可基于地图来控制无人驾驶飞行器100，如以下更详细地描述的。在一些方面，一个或多个处理器102p可直接控制无人驾驶飞行器100的驱动马达110m，使得在这种情况下不使用附加的马达控制器。替代地，一个或多个处理器102p可以通过一个或多个附加马达控制器控制无人驾驶飞行器100的驱动马达110m。马达控制器可控制可被供应至相应马达的驱动功率。一个或多个处理器102p可包括或可实现适合于控制无人驾驶飞行器100的期望功能的任何类型的控制器。一个或多个处理器102p可由任何种类的一个或多个逻辑电路实现。
根据各个方面，无人驾驶飞行器100可包括一个或多个存储器102m。该一个或多个存储器102m可由任何种类的一个或多个电子存储实体(例如，一个或多个易失性存储器和/或一个或多个非易失性存储器)实现。根据某些方面，可使用一个或多个存储器102m，例如，用于与一个或多个处理器102p交互，用于构建和/或存储地图。
此外，无人驾驶飞行器100可包括一个或多个电源104。该一个或多个电源104可包括任何合适类型的电源，例如，直流(dc)电源。dc电源可包括一个或多个电池(例如，一个或多个可再充电电池)等。
根据各个方面，无人驾驶飞行器100可包括一个或多个传感器101。一个或多个传感器101可被配置成监视无人驾驶飞行器100的邻域。一个或多个传感器101可被配置成检测无人驾驶飞行器100附近的障碍物。根据各方面，一个或多个处理器102p可进一步被配置成用于基于所检测到的障碍物来修改无人驾驶飞行器100的预定义飞行路径，以生成规避无人驾驶飞行器附近的障碍物、到目标位置的无碰撞飞行路径。根据各方面，该一个或多个处理器102p可被进一步配置成降低无人驾驶飞行器100的高度以便在飞行期间避免碰撞，例如以防止与在碰撞路线上接近无人驾驶飞行器100的飞行对象碰撞。作为示例，如果无人驾驶飞行器100和杂物可彼此接近并且相对方位随时间保持不变，则可能存在碰撞可能性。
一个或多个传感器101可包括例如一个或多个相机(例如，深度相机、立体相机等)、一个或多个超声传感器、一个或多个雷达(无线电检测和测距)传感器、一个或多个激光雷达(光检测和测距)传感器等。一个或多个传感器101可包括例如允许检测对象以及对象的对应位置的任何其他合适的传感器。无人驾驶飞行器100可进一步包括位置检测系统102g。位置检测系统102g可基于例如全球定位系统(gps)或任何其他可用的定位系统。因此，一个或多个处理器102p还可被配置成基于从位置检测系统102g获得的数据来修改无人驾驶飞行器100的预定义飞行路径。位置检测系统102g可被用来例如提供无人驾驶飞行器100自身的位置和/或移动数据(包括无人驾驶飞行器100的位置，例如，方向、速度、加速度等)。然而，可使用其他传感器(例如，图像传感器、磁传感器等)来提供无人驾驶飞行器100的位置和/或移动数据。可使用无人驾驶飞行器100以及一个或多个障碍物两者的位置和/或移动数据来预测碰撞(例如，预测一个或多个障碍物对无人驾驶飞行器的影响)。
根据各方面，一个或多个处理器102p可包括(或可通信地耦合到)至少一个收发机，该至少一个收发机被配置成提供包括数据(例如，视频或图像数据和/或命令)的无线电信号的上排链路传输和/或下行链路接收。至少一个收发器可包括射频(rf)发射器和/或射频(rf)接收器。
一个或多个处理器102p可进一步包括(或可通信地耦合到)惯性测量单元(imu)和/或罗盘单元。惯性测量单元可允许例如无人驾驶飞行器100关于坐标系统中的预定平面的校准，例如以确定无人驾驶飞行器100相对于重力向量(例如，来自地球)的滚动和俯仰角度。因此，可确定无人驾驶飞行器100在坐标系统中的定向。可在无人驾驶飞行器以飞行样式操作之前使用惯性测量单元校准无人驾驶飞行器100。然而，可在一个或多个处理器102p和/或耦合至一个或多个处理器102p的附加组件中实现用于无人驾驶飞行器100的导航的任何其他合适的功能，例如，用于确定位置、速度(也被称为飞行速度)、方向(也被称为飞行方向)等。为了接受例如关于一个或多个障碍物的位置信息和/或移动数据，可使用深度图像相机的输入和图像处理。此外，为了存储如本文描述的无人驾驶飞行器100的地图(例如，内部地图)中的相应信息，可使用至少一个计算资源。
无人驾驶飞行器100在本文中可被称为无人机。然而，无人机可包括其他无人驾驶飞行器，例如无人驾驶地面交通工具、水上交通工具等。以类似方式，无人机可以是具有与交通工具的移动控制相关联的一个或多个自主功能的任何交通工具。
各方面涉及一种障碍物规避系统，该系统被配置成允许在拒绝gps的环境中使用深度传感器来进行障碍物规避。在一些方面，障碍物规避系统可允许最小化无人驾驶飞行器或任何其他无人机的撞毁风险。在另一方面，障碍物规避系统可允许对结构(例如，建筑物结构、机器结构等)的高效检查。为了检查，无人机可被设为距离保持模式，其中无人机离对象(例如，离墙壁)保持预定义距离。由此，可以容易地拍摄该对象的照片以用于检查。
然而，无人机的各种自主操作模式可能需要知晓无人机的位置。通常，无人机的位置基于gps(全球定位系统)信息(例如，rtk(实时动态)gps信息)来确定。然而，可能存在其中可能需要无人机的自主操作(用于检查、营救操作等)但gps信息不可用或发生故障的许多区域。作为示例，各种结构(例如，桥梁、建筑物等)可屏蔽gps信号，以使得无人机可能无法确定其位置。作为另一示例，从水面的反射可干扰gps信号并使得无人机的gps系统至少暂时无用。因此，可能难以通过自主操作的无人机来检查海洋上的石油平台。作为另一示例，在室内、隧道中、洞中、地表下等可能没有gps信号可用，这通常使客户不能参与使用障碍物规避的许多检查情况。
在下文中，描述了关于使得能够在拒绝gps的环境中进行障碍物规避的一个或多个方面。障碍物规避可基于任何类型的一个或多个深度图像传感器(例如，立体相机、激光扫描仪等)，而无需附加传感器。换言之，在某些方面，拒绝gps的环境中的障碍物规避仅仅基于一个或多个深度成像传感器的输入数据。这可避免额外成本和复杂性。
一般而言，slam-(同时定位和地图绘制)可用于无人机的定位，然而该方法在检测到的特征不足的情况下可能失败。这可能例如在低光条件下或由于移动的表面(如水面)而发生。例如，海洋中的波浪可能不允许slam-定位，这在进行检查的无人机依赖于这一类型的定位的情况下干扰石头平台检查。
可在某种程度上使用传感器(例如，超声传感器、激光扫描仪、雷达传感器、激光雷达传感器等)，然而它们可能不提供如能够从例如一个或多个深度相机获取的详细视图。此外，激光、激光雷达和雷达可能相当重且昂贵，并因此并非最优地适用于无人机。
根据各方面，提供额外一层的安全性以辅助gps受限环境中的领航员。本文描述的障碍物规避系统可规避一个或多个深度相机的视野内的一个或多个障碍物。这可以是廉价的解决方案，尤其是在无人机已经配备有深度传感器时。提供将深度相机数据转换成简单且快速的访问的数据结构的算法，该数据结构能够跨不同方向上的多个深度传感器使用。基于此，计算用于控制无人机的实时力向量。说明性地，无人机飞行控制器可被配置成基于计算出的实时力向量来将无人机推离检测到的障碍物。这使得能够在无人机上进行障碍物规避，而无需知晓无人机的位置(例如，在拒绝gps的环境中)。
一般而言，无人机可基于位置信息来确定其速度。结果，在没有位置数据的情况下，无人机无法知晓其当前速度。由于可能始终存在一些风，因此只为了估计当前速度而依赖于imu数据可能并非有益。这导致不使用位置信息的可靠障碍物规避的普遍问题。
图2示出了根据各方面的碰撞规避系统200的各种功能。碰撞规避系统200可以在无人驾驶飞行器(例如，参照图1描述的无人驾驶飞行器100)或任何其它无人机中实现。作为示例，碰撞规避系统200可包括一个或多个深度成像传感器202。该一个或多个深度成像传感器202可被配置成提供一个或多个深度成像传感器202的邻域202v的深度图像210。在一个或多个深度成像传感器202是无人机(例如，无人驾驶飞行器)的一部分的情况下，一个或多个深度成像传感器202可提供该无人机的邻域202v的深度图像210。一个或多个深度成像传感器202或该一个或多个深度成像传感器202的集群中的每一个深度成像传感器可限定各自的视野202f。
深度图像210可包括例如多个像素212。深度图像210中的深度信息可由深度值214来表示，该深度值可被指派给多个像素212中的每一个像素。一个或多个深度成像传感器202可接收与一个或多个障碍物201相关联的障碍物信息。作为示例，第一障碍物201a可以比第二障碍物201b更靠近一个或多个深度成像传感器202。结果，在深度图像210中，表示第一障碍物201a的第一图像对象210a可包括向其指派一个或多个第一深度值214a的一个或多个第一像素212a，并且表示第二障碍物201b的第二图像对象210b可包括向其指派一个或多个第二深度值214b的一个或多个第二像素212b，其中该一个或多个第一深度值214a低于该一个或多个第二深度值214b。
根据各个方面，碰撞规避系统200可包括一个或多个处理器204。另外，碰撞规避系统200可包括一个或多个存储器(未示出)。在某些方面，计算系统可用于实现碰撞规避系统200的功能。在某些方面，无人机的计算系统可用于控制无人机并且也可用于提供碰撞规避系统200的功能。然而，也可使用专用计算系统来提供用于无人机的碰撞规避系统200的功能。
根据各方面，碰撞规避系统200的一个或多个处理器204可被配置成从深度图像210中确定与一个或多个深度成像传感器202的邻域202v中的一个或多个障碍物201a、201b相关联的一个或多个图像对象210a、210b。表示一个或多个障碍物201的图像对象可通过图像分析来标识。作为示例，可检查深度图像210以寻找包括具有预定义深度值范围内的类似深度值的像素的像素云。根据各方面，一个或多个图像对象210a、210b中的每一者可包括一个或多个像素以及指派给该一个或多个像素的一个或多个深度值。作为示例，第一图像对象210a可包括一个或多个第一像素212a以及指派给该一个或多个第一像素212a的一个或多个第一深度值214a；第二图像对象210b可包括一个或多个第二像素212b以及指派给该一个或多个第二像素212b的一个或多个第二深度值214b；等等。
根据各方面，碰撞规避系统200的一个或多个处理器204可被配置成为一个或多个图像对象210a、210b中的每一者确定方向信息222a、222b以及距离信息224a、224b。作为示例，方向信息222a、222b以及距离信息224a、224b可被存储在列表220m中。作为示例，该列表可被配置为地图或可以是地图的一部分。在这种情况下，每一个地图位置可具有与其相关联的方向，并且距离值可被指派给相应的地图位置。
根据各方面，方向信息222a、222b可表示从一个或多个深度成像传感器202指向与相应图像对象210a、210b对应的相应障碍物201a、201b的方向。距离信息224a、224b表示沿着对应方向的到相应障碍物的距离。
根据各方面，每一个障碍物的方向信息222a、222b可被存储为包括球坐标系的至少两个角度(
根据各方面，每一个障碍物201a、201b的方向信息222a、222b可以在各种时间确定。可以从方向信息222a、222b的序列中确定每一个障碍物201a、201b的位置、速度和/或其他移动参数。作为示例，可使用卡尔曼滤波器来估计位置、速度和/或任何其他移动参数、和/或基于所描述的对象移动的底层模型来预测相应障碍物201a、201b的移动行为。
基于所确定/估计的移动参数，可确定控制向量(也被称为虚拟力向量)并使用该控制向量来控制无人机以避免与无人机的邻域202v中的障碍物201碰撞。
图3示出了根据各方面的碰撞规避系统300的各种功能。碰撞规避系统300可以在无人驾驶飞行器(例如，参照图1描述的无人驾驶飞行器100)或任何其它无人机中实现。根据各方面，碰撞规避系统300可包括被配置成提供深度图像310的一个或多个深度成像传感器302以及被配置成执行碰撞规避系统300的各种功能的一个或多个处理器304。碰撞规避系统300的一个或多个深度成像传感器302可以按与以上参照例如图2所示的碰撞规避系统200描述的相同或相似方式配置。
根据各方面，碰撞规避系统300的一个或多个处理器304可被配置成从一个或多个深度成像传感器302的视角(例如，当安装在无人机上时从该无人机的视角)生成304g球形地图320。球形地图320可以在预定义分辨率下生成。作为示例，球形地图320可根据至少两个分辨率参数来生成。在球坐标中，可使用角对
球形地图320可具有参考平面和参考平面中的参考方向。参考平面可以是水平面，参考方向可以是无人机的航向和/或由一个或多个深度成像传感器302限定的视线。球坐标系的原点可以与一个或多个深度成像传感器302相关联，例如当这些传感器与无人机一起安装在该无人机处时。说明性地，无人机可以与观察者相关联。从观察者(例如，球坐标系的原点)到兴趣点(例如，障碍物201的位置)的向量可以被垂直投射到参考平面上，其中所投射的向量与参考平面中的参考向量之间的相应角被称为方位角。兴趣点与参考平面之间的角可被称为高度角或仰角。从飞行的无人机的视角来看，仰角可以在-90°(度)到+90°的范围内，例如在从约-85°到约+85°的范围内。方位角可以在-180°和180°之间。根据各方面，球形地图320可完全覆盖无人机周围的空间(例如，具有180°仰角和360°方位角)或者至少部分地覆盖(例如，具有170°仰角，例如从-85°到85°)且具有360°(全)方位角。
球形地图320的分辨率可由两个角分辨率参数(例如被表示为
必须理解，由于球形地图具有有限的分辨率，因此它或多或少是对理想球体的近似。在某些方面，球形地图中的合适的分辨率以及因此的对球体的合适近似可被使用。说明性地，球形地图具有被称为分辨率的预定义粒度。
根据各方面，一个或多个处理器304可被进一步配置成将深度图像310映射304m到所生成的球形地图320。所得球形地图320m可包括方向322a、322b的集合以及指派给该方向322a、322b的集合中的每一个方向的深度值324a、324b。指派给相应方向322a、322b的深度值324a、324b的确定(以及例如存储)可以类似于在参照图2描述的碰撞规避系统200中使用的列表220m的生成(以及例如存储)。
根据各方面，深度图像310的映射可产生部分填充的所得地图320m。说明性地，一个或多个深度成像传感器302的相应视野302f可限定所得地图320m中的用来自深度图像310的深度值324a、324b填充的区域。根据各方面，可使用多个深度成像传感器302，该多个深度成像传感器具有不同的视线并因此从不同视野提供可被映射到球形地图320的深度信息。
图4示出了根据各方面的碰撞规避系统400的各种功能。碰撞规避系统400可以在无人驾驶飞行器(例如，参照图1描述的无人驾驶飞行器100)或任何其它无人机中实现。碰撞规避系统400可包括被配置成执行碰撞规避系统400的各种功能的一个或多个处理器404。碰撞规避系统400的一个或多个处理器404可被进一步配置成从包括方向422a、422b的集合以及指派给该方向422a、422b的集合中的每一个方向的深度值424a、424b的球形地图420m中，确定404d位于第一距离范围414a内的第一障碍物401a以及与该第一障碍物401a相关联的第一移动信息432a。碰撞规避系统400的一个或多个处理器404可被进一步配置成从球形地图420m中确定位于第二距离范围414b内的第二障碍物401b以及与第二障碍物401b相关联的第二移动信息432b。第二距离范围414b不同于(例如，大于)第一距离范围414a。
根据各方面，第一距离范围414a可限定第一搜索容体(v1)以用于标识包括碰撞规避系统400的无人机100附近的障碍物。第二距离范围414b可限定第二搜索容体(v2)以用于标识比第一搜索容体(v1)中的障碍物更远离无人机100的障碍物。在某些方面，第一搜索容体(v1)可以是具有第一半径r1的球体的至少一部分的形状，并且第二搜索容体(v2)可以是具有作为内径的第一半径r1以及作为外径的第二半径r2的空心球体的至少一部分的形状。在这种情况下，第一半径r1可限定第一距离范围414a，并且第一和第二半径r1、r2两者可限定第二距离范围414b。
根据各方面，无人机100可以是可访问球形地图420的任何合适的交通工具，如参照图3所示的碰撞规避系统300描述的所得地图320m可用作球形地图420。说明性地，碰撞规避系统400的功能可由碰撞规避系统300的一个或多个处理器304以相同或相似的方式执行。以类似方式，如参照参考图2描述的碰撞规避系统200描述的列表220m可以按类似方式用来确定障碍物及与其相关联的移动信息。
图5示出了根据各方面的碰撞规避系统(例如，碰撞规避系统400)的各种功能。作为示例，碰撞规避系统400的一个或多个处理器404可被进一步配置成基于所确定的移动信息432a、432b来确定虚拟力向量502。
虚拟力向量502可说明性地背离所确定的一个或多个障碍物401a、401b以避免与其相关联的无人机的碰撞。
图6示出了根据各方面的无人驾驶飞行器100或任何其他无人机的碰撞规避系统(例如，可以在无人驾驶飞行器100中实现的碰撞规避系统400)的各种功能。作为示例，碰撞规避系统400的一个或多个处理器404可被进一步配置成基于虚拟力向量502来控制604c无人驾驶飞行器100的飞行以便例如使无人驾驶飞行器100避免与第一障碍物401a和第二障碍物401b碰撞。
根据各方面，一个或多个处理器404根据所确定的虚拟力向量502来直接或间接控制无人驾驶飞行器100的驱动马达110m(或无人机的任何其它驱动系统)以生成将无人驾驶飞行器100推离一个或多个障碍物401a、401b的实际推进力(换言之是真实力向量)。
根据各方面，该一个或多个处理器204、304、404可以分别是无人驾驶飞行器100的一部分，或者由该一个或多个处理器204、304、404提供的功能可由无人驾驶飞行器100的一个或多个处理器102p来实现。
图7示出了根据各方面的碰撞规避方法700的示意性流程图。方法700可包括：在710中，接收无人机的一个或多个深度成像传感器的深度信息；在720a中，从该深度信息中确定位于第一距离范围内的第一障碍物以及与该第一障碍物相关联的移动信息；在720b中，从该深度信息中确定位于第二距离范围内的第二障碍物以及与该第二障碍物相关联的移动信息(第二距离范围不同于第一距离范围)；在730中，基于所确定的移动信息来确定虚拟力向量；以及在740中，基于该虚拟力向量来(例如，直接或间接地)控制该无人机的飞行以使该无人机避免与第一障碍物和第二障碍物碰撞。
图8示出了根据各方面的用于操作无人驾驶飞行器(例如，如图1所示的无人驾驶飞行器100或任何其他无人机)的方法800的示意性流程图。方法800可包括：在810中，提供无人驾驶飞行器的邻域的球形地图，该球形地图包括一个或多个障碍物的移动信息；在820中，基于该移动信息来确定虚拟力向量以使该无人驾驶飞行器避免与该一个或多个障碍物碰撞；以及在830中，基于该虚拟力向量来(例如，直接或间接地)控制无人驾驶飞行器的飞行。
图9示出了根据各方面的无人机的碰撞规避功能900a的示意性流程图900。在某些方面，在示意性流程图900中描述的一个或多个功能可以在参照图1描述的无人驾驶飞行器100或任何其他合适的无人机中实现。此外，碰撞规避功能900a的一个或多个方面可以在碰撞规避系统200、300、400或任何合适的系统中实现。
在某些方面，无人机可以在没有gps和/或其他绝对位置信息的情况下(例如，至少暂时地)飞行，如910所示。作为示例，无人机可能由于该无人机的周遭状况而无法接收到gps信息和/或其他绝对位置信息，例如gps信号可能被无人机周遭的一个或多个对象屏蔽。然而，即使在gps信息和/或其他绝对位置信息被无人机接收到的情况下，该信息可也能无法被用来控制无人机的飞行，因为至少在某些情况下这些信息容易出错。
根据各方面，可以从至少一个深度相机920-1、920-2等接收深度图像。本文提供的系统可允许容易地实现任何所需数量的深度相机，并且该系统可以在这些深度相机中的一个或多个深度相机被添加到该系统或从该系统中被移除的情况下不变。
深度图像可经由任何合适的深度成像系统(例如，经由常规立体相机)来生成。深度图像可以是例如640x360深度像素格式。每一个深度像素可将深度值描述为无符号16位值，例如深度值4000可表示离相机四米的深度。其他表示也可以是可能的，例如浮点值。
深度图像可被认为是深度图，因为它将深度值映射到像素并且这些像素可表示真实空间中的位置。根据各方面，在930中，从由一个或多个深度相机920-1、920-2提供的相应的一个或多个深度图像中创建球形地图(或换言之，从原始深度图中创建球形地图)。球形地图可以是围绕无人机在某些角度内的球形距离的近似。根据各方面，球形地图可具有比深度图像(或换言之是原始深度图)更低的分辨率。这可允许基于从球形地图获取的信息来进行快速计算。根据各方面，可只考虑相关范围内的深度值。相关范围可取决于无人机的移动能力，例如可以只考虑与能够以约5m/s到约10m/s的速度移动的无人机相关的深度值。例如，球形地图可具有以下属性：用于覆盖球形近似的全方位角的150个条目以及用于覆盖大部分仰角(例如，从-85到85度)的50个条目。极点上的值可以是特殊情况，并因此在本文描述的算法中不被使用且不被需要。用于考虑障碍物的有效深度范围可以是例如从零米到约十二米。然而，其他深度范围可以按相同或相似的方式使用。
根据各方面，球形地图可以用来自从一个或多个深度相机920-1、920-2接收到的一个或多个深度图像的数据(深度信息)来填充。出于性能原因，深度图像可能被过滤掉。作为示例，4×4深度值块被组合成新(缩小比例的)深度值。对于每一个深度像素，其位置可被投射到球形地图空间中。如果投射在球形地图内，则对应的值被指派给它。如果已经设置了值，则维持这两个值中的最小值。球形地图可以从由多个深度图像提供的信息填充，例如当在无人机上布置多个相机时。
基于所生成的球形地图，可确定最近障碍物集群的容体。这可包括限定一个或多个兴趣区。这允许跳过球形地图中的在特殊情况下可能有用的一些值。例如，在控制无人机在地面上着陆的情况下，可能不需要全障碍物规避，例如朝向地面。在这种情况下，兴趣区可被设置在-60度到85度的仰角范围内。
根据各方面，在940a、940b、950a、950b中可确定靠近无人机的障碍物的两个距离。因此，第一容体(参见例如图4中的容体v1)可以与短程相关联，而第二容体v2可以与长程相关联(例如，参见图4中的容体v2)。可以不考虑比长程更远离的障碍物。在每一次迭代中，确定来自球形地图的最接近值直到最大距离(distmaxv1、distmaxv1)。对于短程(v1)，最大距离值可由用户设置以避开障碍物，例如设置为最大距离5米。对于长程(v2)，最大距离值可被设为约12米。
在某些方面，该确定的一个结果可以是在第一容体(v1)中不存在障碍物，例如在0和5米之间的第一距离范围中没有障碍物。然而，可以在第二容体(v2)中确定最近障碍物，例如在7米处。另一结果可以是在第一容体(v1)内最近障碍物在4米处；以及在第二容体(v2)中可确定一个或多个障碍物在距离超过5米处，这些障碍物未被第一容体v1跟踪。
基于量程，从最接近的障碍物得出的障碍物集群匹配到为其添加了某个阈值，例如+2米。现在为第一容体(v1)和第二容体(v2)计算相应障碍物集群的平均距离值。结果在此可被称为第一均值(a1)和第二均值(a2)。
在某些方面，可经由在卡尔曼滤波器内处理这些值来提供对这些值的平滑数学处理。平均距离值(a1、a2)可以在从0到12米的范围内倒置。例如，平均距离值2米将与值10(基于计算12减2)存储在一起。在未在一个或两个容体(v1和/或v2)内确定障碍物并因此未确定有效距离值的特殊情况下，倒置的距离值可被设为0。
根据各方面，可基于下式来从相应容体(v1、v2)的平均距离值(a1、a2)和最大距离(distmaxv1、distmaxv2)中确定相应容体的倒置平均距离(inva1、inva2)。
(i)inva1＝distmaxv1–a1；以及
(ii)inva2＝distmaxv2–a2
为了利用来自相应容体(v1、v2)的两个平均距离值，在960中可使用跟踪滤波器(例如，具有常速模型的卡尔曼滤波器)的三个实例。根据各方面，第一滤波器f1可包括将inva1作为输入的三维跟踪滤波器。第一滤波器f1的输出可以是第一容体(v1)的经平滑的所估计的3d位置和3d速度。根据各方面，第二滤波器f2可包括将inva2作为输入的三维跟踪滤波器。第二滤波器f2的输出可以是第二容体(v2)的经平滑的所估计的3d位置和3d速度。根据各方面，第三滤波器f3可包括将inva2的长度(范数)作为输入的一维跟踪滤波器。第三滤波器f3的输出可以是经平滑的所估计的到障碍物的距离(1d)和速度(1d)。
根据各方面，在970中，可以从滤波器f1、f2、f3的输出中确定虚拟力向量。虚拟力向量可说明性地将无人机推离所确定的障碍物。第三滤波器f3的速度以及第二滤波器f2的方向可用于在接近第二容体中的障碍物时使无人机减速。第一滤波器f1的位置和速度可用于将无人机推离第一容体中的障碍物。作为示例，第一滤波器(f1)的该值可以与手动调节的值(例如，1.5)相乘以便例如强制更快地向后推离无人机附近的障碍物。第一滤波器f1的速度可用于在后推后停止无人机。
在某些方面，当突然检测到新障碍物时，例如当无人机旋转且由于该旋转、近处对象突然对深度相机可见时，可避免无人机的过于仓促的反应。因此，根据各方面，可实现冲击滤波器。作为示例，第一滤波器f1的先前位置输出可被存储，并且如果第一滤波器f1的新位置输出与先前存储的值之间的差距过高，则在980中应用冲击滤波器。该冲击滤波器可被实现为虚拟力向量的缩放因子。当障碍物突然出现时，缩放因子被例如设为0。因此，所施加的最终力可以是零。缩放因子随时间增大直到它达到1并且不再具有效应。
根据各方面，一旦已经确定(例如，计算)虚拟力向量，在990中，飞行系统就可基于虚拟力向量来控制无人机的飞行。作为示例，飞行控制器(参见图6)将修改马达转速，这将导致对障碍物的闪避并因此导致障碍物规避，见900a。
在下文中，描述了各示例，这些示例可参照本文描述的一个或多个方面，例如参照图1到9描述的碰撞规避功能和/或包括这些碰撞规避功能中的一者或多者的无人机。
示例1是一种碰撞规避系统，包括：一个或多个深度成像传感器，其被配置成用于提供该一个或多个深度成像传感器的邻域的深度图像，该深度图像包括多个像素，其中深度值被指派给该多个像素中的每一个像素；以及一个或多个处理器，其被配置成用于从该深度图像中确定与该一个或多个深度成像传感器的邻域中的一个或多个障碍物相关联的一个或多个图像对象，该一个或多个图像对象中的每一者包括一个或多个像素以及指派给该一个或多个像素的一个或多个深度值；为该一个或多个图像对象中的每一者确定方向信息和距离信息，其中该方向信息表示从该一个或多个深度成像传感器指向对应于相应图像对象的障碍物的方向，并且其中该距离信息表示沿该方向到该障碍物的距离。
在示例2中，示例1的碰撞规避系统可任选地进一步包括：该一个或多个处理器被配置成用于基于深度图像中的相应像素的位置来确定相应方向。
在示例3中，示例1或2的碰撞规避系统可任选地进一步包括：该一个或多个处理器被配置成用于通过将根据该一个或多个图像传感器的视野的深度图像映射到二维地图来确定该相应方向。
在示例4中，示例3的碰撞规避系统可任选地进一步包括：该二维地图是球形地图。
在示例5中，示例1的碰撞规避系统可任选地进一步包括：该球形地图根据两个分辨率参数来生成，并且其中方向由两个坐标限定。
示例6是一种无人驾驶飞行器，包括：被配置成用于提供该无人驾驶飞行器的邻域的深度图像的一个或多个深度成像传感器；以及一个或多个处理器，其被配置成用于从该无人驾驶飞行器的视角生成球形地图，将该深度图像映射到该球形地图，该球形地图包括方向集合以及指派给该方向集合中的每一个方向的深度值，从球形地图中确定位于第一距离范围内的第一障碍物以及与该第一障碍物相关联的移动信息，从球形地图中确定位于第二距离范围内的第二障碍物以及与该第二障碍物相关联的移动信息，第二距离范围不同于第一距离范围，基于所确定的移动信息来确定虚拟力向量，以及基于该虚拟力向量来控制该无人驾驶飞行器的飞行以使该无人驾驶飞行器避免与第一障碍物和第二障碍物碰撞。
在示例7中，示例6的无人驾驶飞行器可任选地进一步包括：第一障碍物的确定包括检测第一距离范围内的多个障碍物以及确定具有到该无人驾驶飞行器的最短距离的障碍物，在第一距离范围内确定的具有到该无人驾驶飞行器的最短距离的障碍物是第一障碍物。
在示例8中，示例6或7的无人驾驶飞行器可任选地进一步包括：第二障碍物的确定包括检测第二距离范围内的多个障碍物以及确定具有到该无人驾驶飞行器的最短距离的障碍物，在第二距离范围内确定的具有到该无人驾驶飞行器的最短距离的障碍物是第二障碍物。
在示例9中，示例6到8中的任一项的无人驾驶飞行器可任选地进一步包括：对该无人驾驶飞行器的飞行的控制包括控制该无人驾驶飞行器以增加到第一障碍物或第二障碍物中的至少一者的距离。
在示例10中，示例6到9中的任一项的无人驾驶飞行器可任选地进一步包括：对该无人驾驶飞行器的飞行的控制包括控制该无人驾驶飞行器以基于虚拟力向量来生成推进力。
在示例11中，示例6到10中的任一项的无人驾驶飞行器可任选地进一步包括：该一个或多个处理器被配置成用于停用第二距离范围内的第二障碍物的确定并且仅基于与第一障碍物相关联的移动信息来确定虚拟力向量。
在示例12中，示例6到11中的任一项的无人驾驶飞行器可任选地进一步包括：第一距离范围内的最大距离小于第二距离范围内的最小距离。
在示例13中，示例6到12中的任一项的无人驾驶飞行器可任选地进一步包括：相应移动信息包括相应障碍物的相对位置。
在示例14中，示例13的无人驾驶飞行器可任选地进一步包括：该一个或多个处理器被配置成用于以预定义时间间隔执行相应移动信息的确定并将相对位置随时间的变化限于最大比率。
在示例15中，示例6到14中的任一项的无人驾驶飞行器可任选地进一步包括：相应移动信息包括相应障碍物的相对速度和/或表示相应障碍物是否接近该无人驾驶飞行器的参数。
在示例16中，示例6到15中的任一项的无人驾驶飞行器可任选地进一步包括：相应移动信息经由跟踪滤波器来确定。
在示例17中，示例6到16中的任一项的无人驾驶飞行器可任选地进一步包括：跟踪滤波器是卡尔曼滤波器。在某些方面，卡尔曼滤波器可包括用于预测相应障碍物的移动的预定义移动模型。
示例18是一种交通工具，包括：至少一个部分或完全自主的驾驶功能；以及示例1到5中的任一项的碰撞规避系统，其被配置成用于激活或修改该至少一个部分或完全自主的驾驶功能。根据各方面，该至少一个部分或完全自主的驾驶功能可包括紧急制动功能、自动领航功能、障碍物闪避机动功能，等等。
示例19是一种碰撞规避方法，包括：接收无人驾驶飞行器的一个或多个深度成像传感器的深度信息；从该深度信息中确定位于第一距离范围内的第一障碍物以及与该第一障碍物相关联的移动信息；从该深度信息中确定位于第二距离范围内的第二障碍物以及与该第二障碍物相关联的移动信息，第二距离范围不同于第一距离范围；基于所确定的移动信息来确定虚拟力向量；以及基于该虚拟力向量来控制该无人驾驶飞行器的飞行以使该无人驾驶飞行器避免与第一障碍物和第二障碍物碰撞。
示例20是一种碰撞规避方法，包括：接收交通工具的一个或多个深度成像传感器的深度信息；从该深度信息中确定位于第一距离范围内的第一障碍物以及与该第一障碍物相关联的移动信息；从该深度信息中确定位于第二距离范围内的第二障碍物以及与该第二障碍物相关联的移动信息，第二距离范围不同于第一距离范围；基于所确定的移动信息来确定虚拟力向量；以及基于该虚拟力向量来控制该交通工具的移动以使该交通工具避免与第一障碍物和第二障碍物碰撞。
在示例21中，示例19或20的方法可任选地进一步包括：第一障碍物的确定包括检测第一距离范围内的多个障碍物以及确定具有到该无人驾驶飞行器的最短距离的障碍物，在第一距离范围内确定的具有到该无人驾驶飞行器的最短距离的障碍物是第一障碍物。
在示例22中，示例19到21中的任一项的方法可任选地进一步包括：第二障碍物的确定包括检测第二距离范围内的多个障碍物以及确定具有到该无人驾驶飞行器的最短距离的障碍物，在第二距离范围内确定的具有到该无人驾驶飞行器的最短距离的障碍物是第二障碍物。
在示例23中，示例19到22中的任一项的方法可任选地进一步包括：停用第二距离范围内的第二障碍物的确定并仅基于与第一障碍物相关联的移动信息来确定虚拟力向量。
在示例24中，示例19到23中的任一项的方法可任选地进一步包括：第一距离范围内的最大距离小于第二距离范围内的最小距离。
在示例25中，示例19到24中的任一项的方法可任选地进一步包括：相应移动信息以预定义时间间隔确定并且相对位置随时间的变化被限于最大比率。
示例26是一种用于操作无人驾驶飞行器的方法，该方法包括：提供该无人驾驶飞行器的邻域的球形地图，该球形地图包括一个或多个障碍物的移动信息；基于该移动信息来确定虚拟力向量以避免与该一个或多个障碍物碰撞；基于该虚拟力向量来控制该无人驾驶飞行器的飞行。
在示例27中，示例26的方法可任选地进一步包括：提供该球形地图包括：提供该无人驾驶飞行器的邻域的深度图像，该深度图像包括多个像素，其中深度值被指派给该多个像素中的每一个像素；以及为该多个像素中的每一个像素确定方向和对应于该方向的深度值，其中该深度值表示沿该方向到相应障碍物的距离。
在示例28中，示例26或27的方法可任选地进一步包括：该球形地图的移动信息以预定义时间间隔连续更新。
在示例29中，示例26到28中的任一项的方法可任选地进一步包括：对该无人驾驶飞行器的飞行的控制包括控制该无人驾驶飞行器以增加到第一障碍物或第二障碍物中的至少一者的距离。
在示例30中，示例26到29中的任一项的方法可任选地进一步包括：对该无人驾驶飞行器的飞行的控制包括控制该无人驾驶飞行器以基于虚拟力向量来生成推进力。
示例31是一种碰撞规避系统，包括：被配置成用于提供交通工具的邻域的深度图像的一个或多个深度成像传感器；以及一个或多个处理器，其被配置成用于从该交通工具的视角生成球形地图，将该深度图像映射到该球形地图，该球形地图包括方向集合以及指派给该方向集合中的每一个方向的深度值，从该球形地图中确定位于第一距离范围内的第一障碍物以及与该第一障碍物相关联的移动信息，从该球形地图中确定位于第二距离范围内的第二障碍物以及与该第二障碍物相关联的移动信息，第二距离范围不同于第一距离范围，基于所确定的移动信息来确定虚拟力向量。该交通工具可以是无人驾驶飞行器。
在示例32中，示例31的碰撞规避系统可任选地进一步包括：第一障碍物的确定包括检测第一距离范围内的多个障碍物以及确定具有到该交通工具的最短距离的障碍物，在第一距离范围内确定的具有到该交通工具的最短距离的障碍物是第一障碍物。
在示例33中，示例31的碰撞规避系统可任选地进一步包括：第二障碍物的确定包括检测第二距离范围内的多个障碍物以及确定具有到该交通工具的最短距离的障碍物，在第二距离范围内确定的具有到该交通工具的最短距离的障碍物是第二障碍物。
在示例34中，示例31到33中的任一项的碰撞规避系统可任选地进一步包括：该一个或多个处理器被进一步配置成用于停用第二距离范围内的第二障碍物的确定并且仅基于与第一障碍物相关联的移动信息来确定虚拟力向量。
在示例35中，示例31到34中的任一项的碰撞规避系统可任选地进一步包括：第一距离范围内的最大距离小于第二距离范围内的最小距离。
在示例36中，示例31到35中的任一项的碰撞规避系统可任选地进一步包括：相应移动信息包括相应障碍物的相对位置。
在示例37中，示例31到36中的任一项的碰撞规避系统可任选地进一步包括：该一个或多个处理器被配置成用于以预定义时间间隔执行相应移动信息的确定并将相对位置随时间的变化限于最大比率。
在示例38中，示例31到37中的任一项的碰撞规避系统可任选地进一步包括：相应移动信息包括相应障碍物的相对速度。
在示例39中，示例31到38中的任一项的碰撞规避系统可任选地进一步包括：相应移动信息经由跟踪滤波器来确定。
在示例40中，示例39的碰撞规避系统可任选地进一步包括：该跟踪滤波器是卡尔曼滤波器。在某些方面，卡尔曼滤波器可包括用于预测相应障碍物的移动的预定义移动模型。
一般而言，无人机或任何其它交通工具可包括障碍物规避功能。可使用各种传感器或传感器系统来检测无人机的邻域中的一个或多个障碍物,作为示例，可使用一个或多个深度传感器(例如，一个或多个深度相机)来接收关于该无人机的邻域的信息。在一些设置中，无人机可包括覆盖该无人机的前部约90度以及一侧约90度的不止一个深度传感器(例如，两个深度传感器)。在各种设置中，相机系统的实时快照只可部分地覆盖无人机或任何其他交通工具的邻域。因此，接收到的深度图像可被存储在体素图内以改进碰撞检测并因此改进碰撞规避。可使用各种方法来将深度图像的信息存储在(例如，三维)体素图中。作为示例，可使用开源库来将3d数据存储在体素网格形状中。
根据各方面，提供了包括概率模型的算法，该概率模型可以在生成体素图期间应用。该算法可基于光线追踪(也被称为光线投射)。说明性地，光线追踪可用于标识体素图中的表示无人机与经由深度传感器检测到的一个或多个障碍物之间的自由空间的体素。由此，可创建能够更好地处理异常值的更稳健的地图。
根据各方面，提供了一种用于将障碍物数据映射到体素图的方法，其中该映射包括光线追踪算法。对于每一个输入，可计算被占用空间或自由空间的特定概率。这可使得能够为无人机和任何其它交通工具进行稳健得多的映射。
图10示出了用于生成障碍物地图的方法1000的流程图，该方法1000可包括：在1010中，接收深度图，该深度图表示至少一个障碍物相对于与该深度图相关联的视点的相对位置；以及在1020中，基于该深度图来生成体素图。1020中的体素图的生成可包括：在1020-1中，确定表示至少一个障碍物的绝对位置的第一体素位置；在1020-2中，确定表示视点的绝对位置的第二体素位置；在1020-3中，确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及在1020-4中，为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
根据各方面，深度图可包括一个或多个深度图像或者可基于一个或多个深度图像来生成。该一个或多个深度图像可由无人机或任何其它交通工具的一个或多个深度相机提供。在某些方面，与深度图像或深度图相关联的视点可由该一个或多个深度相机(或用于提供深度图像或深度图的任何其它深度传感器)的位置来限定。在一个或多个深度相机被安装到无人机的情况下，与深度图像或深度图相关联的视点可由无人机在拍摄相应深度图像时的位置来限定。
图11示出了用于生成障碍物地图的方法1100的流程图，该方法1100可包括：在1110中，基于一个或多个深度图像来生成体素图；以及在1120中，为该体素图中的一个或多个体素位置确定占用值，相应的占用值表示在对应于该相应体素位置的绝对位置处存在障碍物的概率。
图12以示意图示出根据各方面的障碍物地图生成器1200。障碍物地图生成器1200可包括被配置成基于一个或多个深度图像1210来生成1200g体素图1220的一个或多个处理器1200p。一个或多个处理器1200p可被进一步配置成为体素图1220中的一个或多个体素位置p(i,j,k)确定占用值l(i,j,k)。相应占用值la(i,j,k)、lb(i,j,k)可表示在对应于相应体素位置pa(i,j,k)、pb(i,j,k)的绝对位置处存在障碍物1201a、1201b的概率。
根据各方面，体素图1220可包括网格排列的多个体素v(i,j,k)。这些体素v(i,j,k)中的每一者可表示真实空间中的具有预定义维度(例如，高度h、长度l和宽度w)的区域。根据各方面，体素图1220中的体素v(i,j,k)可表示真实空间中的绝对位置，或者换言之每一个体素位置pa(i,j,k)、pb(i,j,k)可以与真实空间中的不同绝对位置相关联。交通工具的移动可基于体素图1220来控制以避免与真实空间中的障碍物1201a、1201b碰撞。
根据各方面，可使用光线追踪来确定指派给体素图1220中的体素v(i,j,k)的相应占用值，如以下更详细地描述的。
图13a以示意图示出根据各方面的障碍物地图生成器1300。障碍物地图生成器1300可包括被配置成接收深度图1310的一个或多个处理器1300p。深度图1310可表示至少一个障碍物1301相对于与深度图1310相关联的视点1310v的相对位置。根据各方面，一个或多个处理器1300p可被配置成基于深度图1310来生成1300g体素图1320。
体素图1320的确定的若干方面可基于光线追踪，如在图13b中示意性地示出的。体素图1320的生成可包括确定表示至少一个障碍物1301的绝对位置的第一体素位置p1(i,j,k)以及确定表示与深度图1310相关联的视点1310v的绝对位置的第二体素位置p2(i,j,k)。说明性地，深度图1310可允许以下假设：在检测到的障碍物1301和视点1310v之间存在无障碍物空间。
根据各方面，体素图1320的生成可进一步包括确定第一体素位置p1(i,j,k)和第二体素位置p2(i,j,k)之间的一个或多个中间体素位置pi(i,j,k)。
此外，可以为该一个或多个中间体素位置pi(i,j,k)确定中间占用值li(i,j,k)，相应的中间占用值li(i,j,k)可表示在对应于该中间体素位置pi(i,j,k)的绝对位置处存在障碍物的概率。中间体素位置pi(i,j,k)可通过追踪从第二体素位置p2(i,j,k)到第一体素位置p1(i,j,k)的光线1320r来确定，其中与光线1320r相交的每一个体素v(i,j,k)可限定中间体素位置pi(i,j,k)之一。图13c示出了与相应体素单元pi(i,j,k)相交的光线1320r的示意图。
根据各方面，体素位置可由索引元组(i,j,k)来限定。取决于体素的数量以及体素在真实空间中的相关联的大小，体素图可覆盖真实空间中的预定义区域。
根据各方面，深度图像可以从深度传感器(例如从深度相机或立体相机系统)接收。使用来自深度图像的深度信息，体素图可以构建有空闲或被占用体素的特定概率。一般而言，体素图可以是例如三维网格内的各个体素的集合。例如，体素可具有与其相关联的预定义体素大小，例如体素大小可被设为约1厘米到约1米的范围内的值。作为示例，20厘米的体素大小以及2048×2048×2048个体素的体素网格可覆盖409.6×409.6×409.6m3的空间。在该空间内，可以为每一个体素限定概率值(也被称为占用值)。作为示例，零值可表示不存在关于对应区域的知识，例如，该区域可能是空闲的还是被占用。正数可指示对应区域有一定的概率被占用。负数可指示对应区域有一定的概率是空闲的。
光线追踪是一般可用于渲染拟真图像的图形技术。在这些情况下，光线追踪通常与自由空间一起操作，并且在数学上计算光线与另一对象(例如，三角形)之间的交叉点。例如，原点(1.03,3.28,3.141)处的具有方向(1.0,0.0,0.0)的光线与对象相交于(1.03,8.2,-3.04)。
在体素空间中，也可使用有时被称为光线投射的光线追踪。然而，此处所有操作都是对体素块进行的，而不是在自由数学空间中进行的。例如，具有体素原点索引(3,7,9)和特定方向的光线可能与体素块相交于索引(7,8,3)。在体素光线追踪中，所有光线都可跟随沿着体素单元直到它们命中其目标或者满足最大长度准则，如在图13b和13c中示出的。
根据各方面，光线可以从相机原点追踪直到如投影自深度图像的体素的最终位置。对于与光线相交的每一个体素单元，概率值可被修改以表示真实空间的空闲区域或被占用区域。例如，从深度图像中可知，障碍物可位于距离10米的特定位置处。在这种情况下，沿着到该位置的光线的所有体素都可被设为表示自由空间的概率。
根据各方面，体素图1320可以从随时间接收到的深度图像序列中生成，并且自由空间的概率阈值可随着每隔一个样本而增大，直到达到其中最大自由值被固定的某一极限。这也可适用于被占用区域。如果被占用空间可以在多个深度图像中观察到，则占用概率可随着每一个样本而增大，直到它命中最大占用值。
根据各方面，对于每一个体素，占用值可以在确定与体素相关联的被占用空间之际递增，并且在确定与体素相关联的自由空间之际递减。作为示例，对于单次确定，最小占用值可以是-1且最大占用值可以是1，并且占用值的变化可以是0.2。说明性地，相应体素可被标记为被占用或空闲，并且对于每一次确定，与体素相关联的真实空间到底是被占用还是空闲的可能性可随着每一次确定而增大/减小。第一阈值和第二阈值可以与占用值相关联。当占用值达到第一阈值(例如，上限阈值，例如0.7)时，与体素相关联的真实空间可被认为被障碍物占用，并且当占用值达到第二阈值(例如，下限阈值，例如-0.7)时，与体素相关联的真实空间可被认为没有障碍物。
必须注意的是，用于确定概率值的其他实现是可能的。根据各方面，概率值的确定可包括预定义曲线，这些曲线可将概率值与到从深度图中确定的相应障碍物的距离相关，如在图14a和14c中示出的。
图14a示出了根据各方面的用于确定概率值的预定义函数1402。在第二体素位置p2(i,j,k)(例如，与深度图像传感器的视点和/或位置以及/或者无人机的位置相关联)与第一体素位置p1(i,j,k)(例如，与经由深度图像检测到的障碍物相关联)之间，根据各方面，可根据预定义函数来设置概率值。
作为示例，可以为从深度图像中确定的10.5米的给定深度值1410确定概率。(例如，线性)斜坡1402s可以按以下方式设置：概率从9.5米开始向上升，在10米概率值为0(没有被占用还是空闲的信息)，直到在10.5米概率为1(肯定被占用)。在低于1.5米的距离下，概率值可设为-1(肯定为空)。在不同的实现中，其他值是可能的。
换言之，障碍物的距离以及围绕该距离的功率值的预定义分布可以在确定相应功率值期间考虑。如图14a所示，为了添加来自体素图中的特定点处的10.5米深度值的信息，通过光线追踪确定的直到约10米的所有体素单元可以与表示该区域非常有可能是空闲的概率值-1相关。该值可随着与深度相机的距离而进一步缩放。作为示例，与较远离的项相比，接近项可以更有可能具有确切值。越接近障碍物(例如，在10到10.5米之间的距离下)，该空间可能被占用的确定性就可快速上升。在10.5米距离下，该空间可以肯定被占用，因为原本深度值不会被设为10.5米。为了光线追踪，光线可过射达一个或多个体素块以将这些体素块也设为被占用。
图14b示出了用于确定概率值的预定义函数1412(也被称为误差函数)的另一示例。如图14b所示，可使用概率函数中的至少部分地弯曲的增大1412s，这可导致比图14a所示的完全线性的斜坡1402s更精确的结果。至少部分地弯曲的增大1412s的近乎线性部分的倾斜度可基于从该点到相机原点的距离来确定。这允许虑及来自深度相机(例如，立体相机)的测量的深度误差，该深度误差可随距离呈二次方地增大。
可以为以例如30fps运行的一个或多个深度相机(例如，一个或多个立体相机)以及为该一个或多个深度相机中的每一者的数千条光线完成概率值的确定(例如，计算)。这可招致对无人机的嵌入式系统的巨大计算负担。
因此，可使用一个或多个近似来例如降低计算复杂性。作为示例，针对每一个单个体素的距离计算可通过体素光线追踪算法的增量步骤来近似，这可固有地计算从视点(例如，相机中心)到该体素的最近面向侧的距离。作为另一示例，误差函数(例如，如图14b示例性地示出的)可经由产生较少计算负担的函数来近似(例如，参见图14c)。
根据各方面，表示曲线概率模型的函数可用于确定体素图中的一个或多个体素的占用值(也被称为概率值)。曲线概率模型可表示一个点(例如，体素位置)在固体对象内的概率。
图14c示出了根据各方面的在没有偏移的情况下使用对误差函数1422e的近似的性能优化的概率确定1400c。误差函数1422e在某些情况下可针对每一单个体素来迭代地计算。根据各方面，如果误差函数1422e由饱和线性函数1422p来近似(例如，在没有偏移的情况下)，则只有少量精度损失。针对每一个体素的计算然后可归结为单次乘法以及对照大于1或小于-1的值的两次比较。
根据各方面，对无人机或者任何其它至少部分地自主控制的交通工具的环境进行制图对于异常障碍物(例如，来自深度相机的可能由于立体匹配误差而生成的虚假深度数据)可以稳健得多。异常障碍物在几何上可能不一致，并因此一旦无人机移动，异常障碍物就将以某种不一致的方式移动。只获取区域中的有效深度数据的机会可以很大。由于有效的被占用空间前方的空间在经由光线追踪的体素图中被说明性地不被拍摄(shotfree)，因此任何异常障碍物都将被释放。
此外，使用本文描述的算法和函数允许虑及体素图内的动态变化。例如，在无人机遇到其视野中的另一无人机的情况下，该无人机将首先停止或反向移动以不撞击障碍物。然而，一旦另一无人机已经移开，该另一无人机的先前位置后的背景变得再次可见。由于直到该更远距离的光线被追踪，因此先前被该另一无人机占用的空间被检测为无障碍物。
本文描述的算法和函数的另一方面可以是，如果对象被检测到远离，例如60米的距离，则在给定当今深度传感器的情况下通常可存在对深度准确性的仅仅较低的置信度。然而，在某些方面，在生成体素图期间虑及有限测量准确性的知识。例如，如果在大于预定义距离限制(例如，大于约20米)的距离处检测到对象，则可以向中间体素位置指派至少在该预定义距离限制内表示自由空间的概率值。如果该对象例如曾经真的处于50或60米的距离处，则在这种情况下这可以是不相关的。说明性地，体素的概率值只可在最多预定义距离阈值(例如，最多20米距离)下编辑。
根据各方面，该一个或多个处理器1200p、1300p可以分别是无人驾驶飞行器100的一部分，或者由该一个或多个处理器1200p、1300p提供的功能可由无人驾驶飞行器100的一个或多个处理器102p来实现。
根据各方面，如本文描述的深度图可包括一个或多个深度图像或者可由一个或多个深度图像生成。一个或多个深度图像可由任何合适的传感器或传感器系统来生成。在某些方面，该一个或多个深度图像可由交通工具(例如，无人驾驶飞行器100)的一个或多个传感器生成。
在下文中，描述了可以参照本文描述的一个或多个方面(例如，参照图10、11、12、13a到13c以及14a到14c描述的体素图生成的一个或多个方面)的各示例。
示例1是一种障碍物地图生成器，包括：被配置成接收深度图并基于该深度图来生成体素图的一个或多个处理器，该深度图表示至少一个障碍物相对于与该深度图相关联的视点的相对位置。在某些方面，体素图的生成可包括：确定表示至少一个障碍物的绝对位置的第一体素位置；确定表示视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
在示例2中，示例1的障碍物地图生成器可任选地进一步包括：体素图的生成进一步包括为第一体素位置确定第一占用值，该第一占用值表示在至少一个障碍物的绝对位置处存在该至少一个障碍物的概率。
在示例3中，示例2的障碍物地图生成器可任选地进一步包括：第一占用值表示比相应的中间占用值更高的概率。
在示例4中，示例1到3中的任一项的障碍物地图生成器可任选地进一步包括：该一个或多个中间体素图位置的确定包括追踪从第二体素位置到第一体素位置的光线，其中该一个或多个中间体素位置处的每一个体素与所追踪的光线相交。
在示例5中，示例1到4中的任一项的障碍物地图生成器可任选地进一步包括：相应的中间占用值的确定包括对连续地为相应体素位置确定的一个或多个占用值进行合计。
在示例6中，示例1到5中的任一项的障碍物地图生成器可任选地进一步包括：第一占用值和相应的中间占用值处在第一边界值和第二边界值之间的范围内。在一些方面，第一边界值表示肯定存在自由空间，而第二边界值表示肯定存在障碍物。
在示例7中，示例1到6中的任一项的障碍物地图生成器可任选地进一步包括：第一占用值和相应的中间占用值是基于与深度图相关联的测量准确性来确定的。
在示例8中，示例1到7中的任一项的障碍物地图生成器可任选地进一步包括：深度图包括从一个或多个深度图像传感器接收到的一个或多个深度图像。
在示例9中，示例1到8中的任一项的障碍物地图生成器可任选地进一步包括：第一体素位置的确定包括基于一个或多个映射参数来将深度图映射到体素图。
在示例10中，示例1到9中的任一项的障碍物地图生成器可任选地进一步包括：该一个或多个映射参数表示与深度图相关联的视野和查看方向以及视点的绝对位置。
在示例11中，示例1到10中的任一项的障碍物地图生成器可任选地进一步包括：相应的中间占用值的确定基于预定义占用值序列。
示例12是一种障碍物地图生成器，其被配置成：接收深度图，该深度图表示真实空间中的障碍物以及指派给该障碍物的深度值，该深度值表示该障碍物离与该深度图相关联的视点的距离；接收该视点的绝对位置；基于该深度图来生成障碍物地图(例如，体素图)。障碍物地图(例如，体素图)的生成可包括：确定第一体素位置处的表示障碍物的第一体素；基于接收到的视点的绝对位置来确定第二体素位置处的表示该视点的第二体素；确定第一体素位置和第二体素位置之间的中间体素位置处的中间体素的集合，该中间体素的集合中的每一个体素与从第二体素位置追踪到第一体素位置的单根光线相交；向第一体素指派第一占用值；以及向该中间体素的集合中的一个或多个体素指派第二占用值，第一占用值表示比第二占用值更大的障碍物存在概率。
示例13是一种障碍物地图生成器，其被配置成：从一个或多个深度图像生成障碍物地图，该障碍物地图包括表示真实空间中的绝对位置的地图位置并且该一个或多个深度图像表示一个或多个障碍物的相对位置；从该一个或多个深度图像确定表示该一个或多个障碍物的绝对位置的一个或多个第一地图位置；确定与该一个或多个深度图像的视点相关联的第二地图位置；为该一个或多个第一地图位置中的每一者确定相应的第一地图位置和第二地图位置之间的中间地图位置的集合，该中间地图位置的集合中的每一个中间地图位置与从第二地图位置追踪到相应的第一地图位置的单根光线相交；向该一个或多个第一地图位置指派第一占用值，该第一占用值表示存在相应障碍物的第一概率；以及向分别确定的中间地图位置的集合中的一个或多个中间地图位置指派第二占用值，该第二占用值表示存在障碍物的第二概率，其中第二概率小于第一概率。
示例12或13的障碍物地图生成器可包括用于执行与障碍物地图的生成相关联的相应功能的一个或多个处理器或计算系统。
示例14是一种碰撞规避系统，该碰撞规避系统包括示例1到13中的任一项的被配置成生成障碍物地图(例如，生成体素图)的障碍物地图生成器。碰撞规避系统可进一步包括被配置成基于所生成的障碍物地图(例如，所生成的体素图)来指令对交通工具的控制的一个或多个处理器。
示例15是一种碰撞规避系统，该碰撞规避系统包括：一个或多个深度成像传感器，其被配置成提供该一个或多个深度成像传感器的邻域的深度图像，该深度图像包括多个像素，其中深度值被指派给该多个像素中的每一个像素；以及一个或多个处理器，其被配置成从该深度图像确定与该一个或多个深度成像传感器的邻域中的一个或多个障碍物相关联的一个或多个图像对象，该一个或多个图像对象中的每一者包括一个或多个像素以及指派给该一个或多个像素的一个或多个深度值；为该一个或多个图像对象中的每一者确定方向信息和距离信息，其中该方向信息表示从该一个或多个深度成像传感器指向对应于相应图像对象的障碍物的方向，并且其中该距离信息表示沿该方向到该障碍物的距离；基于与该一个或多个深度成像传感器相关联的位置信息、来从该方向信息和该距离信息中确定该障碍物的绝对位置以及与该深度图像相关联的视点的绝对位置；生成体素图；以及基于所生成的体素图来指令对交通工具的控制，其中该体素图的生成包括：确定表示该障碍物的绝对位置的一个或多个第一体素；确定表示该视点的绝对位置的第二体素；为该一个或多个第一体素中的每一者确定相应的第一体素与第二体素之间的中间体素的集合，该中间体素的集合中的每一个体素与从第二体素追踪到该相应的第一体素的单根光线相交；向该一个或多个第一体素指派第一占用值，该第一占用值表示存在该障碍物的概率；以及向分别确定的中间体素的集合中的一个或多个中间体素指派第二占用值，该第二占用值表示存在自由空间的概率。
示例16是一种碰撞规避系统，该碰撞规避系统包括：被配置成从一个或多个深度图像生成地图的一个或多个处理器，该地图包括表示真实空间中的绝对位置的地图位置并且该一个或多个深度图像表示一个或多个障碍物的相对位置。该地图的生成可包括：从该一个或多个深度图像确定表示该一个或多个障碍物的绝对位置的一个或多个第一地图位置；确定与该一个或多个深度图像的视点相关联的第二地图位置；为该一个或多个第一地图位置中的每一者确定相应的第一地图位置和第二地图位置之间的中间地图位置的集合，该中间地图位置的集合中的每一个中间地图位置与从第二地图位置追踪到相应的第一地图位置的单根光线相交；向该一个或多个第一地图位置指派第一占用值，该第一占用值表示存在障碍物的概率；以及向分别确定的中间地图位置的集合中的一个或多个中间地图位置指派第二占用值，该第二占用值表示存在自由空间的概率。该一个或多个处理器可被进一步配置成基于所生成的地图来指令对交通工具的控制。
示例17是一种碰撞规避系统，该碰撞规避系统包括：一个或多个深度图像传感器，其被配置成接收该一个或多个深度图像传感器的邻域的深度信息并从接收到的深度信息中生成一个或多个深度图像，该一个或多个深度图像包括表示该一个或多个深度图像传感器的邻域中的障碍物的至少一个图像对象以及指派给该至少一个图像对象的深度值，该深度值表示该障碍物离该一个或多个深度图像传感器的距离；一个或多个处理器，其被配置成在接收到深度信息时确定该一个或多个深度图像传感器的绝对位置；生成三维体素图；基于该一个或多个深度图像来确定在与障碍物的绝对位置对应的一个或多个第一体素位置处的一个或多个第一体素；基于该一个或多个深度图像传感器的所确定的绝对位置来确定表示该绝对位置的第二体素位置处的第二体素；为该一个或多个第一体素中的每一者确定相应的第一体素位置和第二体素位置之间的中间体素位置处的中间体素的集合，该中间体素的集合中的每一个体素与从第二体素位置追踪到相应的第一体素位置的单根光线相交；向该一个或多个第一体素指派第一占用值，该第一占用值表示存在该障碍物的概率；以及向分别确定的中间体素的集合中的一个或多个中间体素指派第二占用值，该第二占用值表示存在自由空间的概率。
示例18是一种交通工具，该交通工具包括示例1到13中的任一项的障碍物地图生成器。
示例19是一种交通工具，该交通工具包括示例14到17中的任一项的碰撞规避系统。
示例20是一种交通工具，该交通工具包括：一个或多个深度图像传感器，其被配置成接收该交通工具的邻域的深度信息并从接收到的深度信息中生成一个或多个深度图像，该一个或多个深度图像表示至少一个障碍物相对于与该一个或多个深度图像传感器相关联的视点的相对位置；以及被配置成基于该一个或多个深度图像来生成体素图的一个或多个处理器。该体素图的生成可包括：确定表示至少一个障碍物的绝对位置的第一体素位置；确定表示视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
示例21是一种交通工具，该交通工具包括：一个或多个深度图像传感器，其被配置成接收该交通工具的邻域的深度信息并从接收到的深度信息中生成一个或多个深度图像，该一个或多个深度图像包括表示该交通工具的邻域中的障碍物的至少一个图像对象以及指派给该至少一个图像对象的深度值，该深度值表示障碍物离该交通工具的距离；一个或多个处理器，其被配置成确定该交通工具在接收到该深度信息时的绝对位置，以及生成三维体素图。该三维体素图的生成可包括：基于该一个或多个深度图像来确定在与该障碍物的绝对位置对应的一个或多个第一体素位置处的一个或多个第一体素；基于该交通工具的所确定的绝对位置来确定表示该绝对位置的第二体素位置处的第二体素；对于该一个或多个第一体素中的每一者，确定相应的第一体素位置和第二体素位置之间的中间体素位置处的中间体素集，该中间体素集中的每一个体素与从第二体素位置追踪到相应的第一体素位置的单根光线相交；为该一个或多个第一体素确定第一占用值，该第一占用值表示存在障碍物的概率；以及为分别确定的中间体素集中的一个或多个中间体素确定第二占用值，该第二占用值表示存在自由空间的概率。
在示例22中，示例18到21中的任一项的交通工具可任选地进一步包括：该一个或多个处理器被进一步配置成基于所生成的体素图来控制该交通工具的移动。
示例23是一种用于生成障碍物地图的方法，该方法包括：接收深度图，该深度图表示至少一个障碍物相对于与该深度图相关联的视点的相对位置；以及基于该深度图来生成体素图，该体素图的生成可包括：确定表示至少一个障碍物的绝对位置的第一体素位置；确定表示视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
在示例24中，示例23的方法可任选地进一步包括：该体素图的生成进一步包括为第一体素位置确定第一占用值，该第一占用值表示在至少一个障碍物的绝对位置处存在该至少一个障碍物的概率。
在示例25中，示例24的方法可任选地进一步包括：第一占用值表示比相应的中间占用值更高的概率。
在示例26中，示例23到25中的任一项的方法可任选地进一步包括：该一个或多个中间体素位置的确定包括追踪从第二体素位置到第一体素位置的光线。该一个或多个中间体素位置处的每一个体素可以与所追踪的光线相交。
在示例27中，示例23到26中的任一项的方法可任选地进一步包括：相应的中间占用值的确定包括对连续地为相应体素位置确定的一个或多个占用值进行合计。
在示例28中，示例23到27中的任一项的方法可任选地进一步包括：第一占用值和相应的中间占用值处在第一边界值和第二边界值之间的范围内。第一边界值可表示肯定存在自由空间。第二边界值可表示肯定存在障碍物。
在示例29中，示例23到28中的任一项的方法可任选地进一步包括：第一占用值和相应的中间占用值是基于与深度图相关联的测量准确性来确定的。
在示例30中，示例23到29中的任一项的方法可任选地进一步包括：深度图包括从一个或多个深度图像传感器接收到的一个或多个深度图像。
在示例31中，示例23到30中的任一项的方法可任选地进一步包括：第一体素位置的确定包括基于一个或多个映射参数来将深度图映射到体素图。
在示例32中，示例31的方法可任选地进一步包括：该一个或多个映射参数表示与深度图相关联的视野和查看方向以及视点的绝对位置。
在示例33中，示例23到32中的任一项的方法可任选地进一步包括：相应的中间占用值的确定基于预定义占用值序列。
示例34是一种用于生成障碍物地图的方法，该方法包括：基于深度图来生成体素图；以及为该体素图中的一个或多个体素位置确定占用值，分别确定的占用值表示在与该体素图中的体素位置对应的绝对位置处存在障碍物的概率。
在示例35中，示例32的方法可任选地进一步包括：存储指派给该体素图中的对应体素位置的所确定的占用值。
在示例36中，示例34或35的方法可任选地包括：相应占用值的确定包括：确定表示该障碍物的绝对位置的第一体素位置；确定表示与深度图相关联的视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
在示例37中，示例36的方法可任选地进一步包括：该体素图的生成进一步包括为第一体素位置确定第一占用值，该第一占用值表示在至少一个障碍物的绝对位置处存在该至少一个障碍物的概率。
在示例38中，示例37的方法可任选地进一步包括：第一占用值表示比相应的中间占用值更高的概率。
在示例39中，示例36到38中的任一项的方法可任选地进一步包括：该一个或多个中间体素位置的确定包括追踪从第二体素位置到第一体素位置的光线。该一个或多个中间体素位置处的每一个体素可以与所追踪的光线相交。
在示例40中，示例34到39中的任一项的方法可任选地进一步包括：相应占用值的确定包括对连续地为相应体素位置确定的一个或多个占用值进行合计。
在示例41中，示例36到40中的任一项的方法可任选地进一步包括：第一占用值和相应的中间占用值处在第一边界值和第二边界值之间的范围内。第一边界值可表示肯定存在自由空间。第二边界值可表示肯定存在障碍物。
在示例42中，示例34到41中的任一项的方法可任选地进一步包括：相应占用值是基于与深度图相关联的测量准确性来确定的。
在示例43中，示例34到42中的任一项的方法可任选地进一步包括：深度图包括从一个或多个深度图像传感器接收到的一个或多个深度图像。
在示例44中，示例36到43中的任一项的方法可任选地进一步包括：第一体素位置的确定包括基于一个或多个映射参数来将深度图映射到体素图。
在示例45中，示例44的方法可任选地进一步包括：该一个或多个映射参数表示与深度图相关联的视野和查看方向以及视点的绝对位置。
在示例46中，示例36到45中的任一项的方法可任选地进一步包括：相应的中间占用值的确定基于预定义函数。
示例47是一种用于障碍物规避的方法，该方法包括根据示例34到46中的任一项来生成障碍物地图。示例47的方法可进一步包括基于所生成的障碍物地图来生成无碰撞移动路径。
示例48是一种用于操作交通工具的方法，该方法包括根据示例34到46中的任一项来生成障碍物地图。示例48的方法可进一步包括基于所生成的障碍物地图来控制交通工具的移动。
示例47是一种障碍物地图生成器，包括：一个或多个处理器，其被配置成基于深度图来生成体素图；以及为该体素图中的一个或多个体素位置确定占用值，相应的占用值表示在对应于相应体素位置的绝对位置处存在障碍物的概率。
在示例48中，示例47的障碍物地图生成器可任选地进一步包括一个或多个存储器。该一个或多个处理器可被进一步配置成在该一个或多个存储器中存储指派给体素图中的对应体素位置的所确定的占用值。
在示例49中，示例47或48的障碍物地图生成器可任选地包括：相应占用值的确定包括：确定表示该障碍物的绝对位置的第一体素位置；确定表示与深度图相关联的视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
在示例50中，示例49的障碍物地图生成器可任选地进一步包括：该体素图的生成进一步包括为第一体素位置确定第一占用值。第一占用值可表示在至少一个障碍物的绝对位置处存在该至少一个障碍物的概率。
在示例51中，示例50的障碍物地图生成器可任选地进一步包括：第一占用值表示比相应的中间占用值更高的概率。
在示例52中，示例49到51中的任一项的障碍物地图生成器可任选地进一步包括：该一个或多个中间体素位置的确定包括追踪从第二体素位置到第一体素位置的光线。该一个或多个中间体素位置处的每一个体素可以与所追踪的光线相交。
在示例53中，示例47到52中的任一项的障碍物地图生成器可任选地进一步包括：相应占用值的确定包括对连续地为相应体素位置确定的一个或多个占用值进行合计。
在示例54中，示例47到53中的任一项的障碍物地图生成器可任选地进一步包括：第一占用值和相应的中间占用值处在第一边界值和第二边界值之间的范围内。第一边界值可表示肯定存在自由空间。第二边界值可表示肯定存在障碍物。
在示例55中，示例47到54中的任一项的障碍物地图生成器可任选地进一步包括：相应占用值是基于与深度图相关联的测量准确性来确定的。
在示例56中，示例47到55中的任一项的障碍物地图生成器可任选地进一步包括：深度图包括从一个或多个深度图像传感器接收到的一个或多个深度图像。
在示例57中，示例49到56中的任一项的障碍物地图生成器可任选地进一步包括：第一体素位置的确定包括基于一个或多个映射参数来将深度图映射到体素图。
在示例58中，示例57的障碍物地图生成器可任选地进一步包括：该一个或多个映射参数表示与深度图相关联的视野和查看方向以及视点的绝对位置。
在示例59中，示例49到58中的任一项的障碍物地图生成器可任选地进一步包括：相应的中间占用值的确定基于预定义函数。
示例60是一种碰撞规避系统，包括示例47到59中的任一项的被配置成生成体素图的障碍物地图生成器。示例60的碰撞规避系统可进一步包括一个或多个处理器，其被配置成基于所生成的体素图来生成无碰撞移动路径。
示例61是一种交通工具，包括示例60的用于生成无碰撞移动路径的碰撞规避系统。示例61的交通工具可进一步包括一个或多个处理器，其被进一步配置成基于所生成的无碰撞移动路径来控制该交通工具的移动。
示例62是一种交通工具，包括示例47到59中的任一项的被配置成生成体素图的障碍物地图生成器。示例62的交通工具可进一步包括一个或多个处理器，其被进一步配置成基于所生成的体素图来控制该交通工具的移动。
在下文中，描述了混合深度感测功能，该功能可允许补偿来自深度图像传感器的假深度值(例如，由于立体相机的两个对应图像的立体匹配误差而引起的假深度值)。一般而言，无人机或任何其它交通工具可包括基于深度图像的障碍物规避功能。深度相机可以在诸如机器人、虚拟现实等场景中以及在无人机产品中使用。为了快速且高效地生成深度图像，深度相机可包括同时拍摄对应图像的左相机模块和右相机模块。基于这两个对应图像，可使用立体匹配算法来估计一个或多个对象离深度相机的距离。
图15以示意图示出了根据各方面的传感器系统1500。传感器系统1500可包括一个或多个深度图像传感器。在某些方面，传感器系统1500可以是或可包括深度成像系统，例如深度相机。
作为示例，传感器系统1500可包括被布置成彼此隔开的至少两个相机模块1500c，这些相机模块同时提供来自一场景的第一图像(例如，左图像)和第二图像(例如，右图像)。该至少两个相机模块1500c可被配置成检测可见范围内和/或红外范围内的光。
传感器系统1500可包括计算系统，例如一个或多个处理器1502以及一个或多个存储器1504。该计算系统可被配置成确定(例如，估计)传感器系统1500的视野内的一个或多个对象的深度。例如，在几乎同一图像位置在右图像中找到来自左图像的某一图像特征的情况下，可得出以下结论：对应于检测到的图像特征的对象远离传感器系统1500，因为两个相机模块1500c之间的偏移1500d对与位于传感器系统1500的视野内的对象相对应的检测到的图像特征的图像位置没有明显影响。在另一示例中，在左图像中找到的某一图像特征被检测到在右图像中距离某一数量的像素处。在这种情况下，可得出该对象可能在传感器系统附近的结论。通过数学方法(例如，涉及立体基线、焦距、一个或多个透镜畸变模型等)，可确定(例如，计算)位于传感器系统1500的视野内的一个或多个对象的准确深度值。
然而，常规立体匹配算法无法在没有误差的情况下运算。例如，在没有显著纹理的室外区域中，相机无法找到特征并且无法提供结果。此外，对于重复结构(如图块、网格等)，算法无法清楚地区分来自一个图像的哪一个特征匹配另一图像中的特征。作为示例，可能由于特征可对应于不止一个看上去相同的特征的情况中的不确定性而确定假深度。不幸的是，这在用于障碍物检测的设备(例如，立体相机)上可能相当频繁地发生。
图16示出了场景的图像1600s以及对应的深度图像1600d。百叶窗1602的重复结构例如可被解释为立体紧密匹配特征1604并因此确定错误深度值。以类似方式，其他结构(例如，窗帘、墙、门等)可能被错误地解释。
这一假深度数据的一个问题可以是无法在不在cpu/gpu上运行另一性能密集型立体算法的情况下可靠地检测到假深度数据，这可向集成深度传感器的用例提出挑战。
根据各方面，可以在无人机周围创建安全缓冲区(例如，约五米)以避免该无人机可能撞到固体对象或任何其它障碍物。如果对象可位于比安全缓冲区更靠近，则无人机可被配置成移动离开该对象。然而，在具有接近的假深度数据的情况下，无人机可被推离假障碍物，尽管不存在真实障碍物。这可停止朝向对象的平滑飞行且在没有对领航员的合理解释的情况下使无人机改变其路线。为了最小化假深度的影响，深度相机的一个或多个参数(例如，
在本公开中，提出了一种混合深度感测方法，该方法在用于避免假深度值的严格深度设置与用于填充在严格设置中丢失的细节的短时更宽松的深度设置之间切换。
该混合深度感测方法可以为常规立体相机提供令人满意的结果以便在无人机或任何其它至少部分地自主操作的交通工具上实现障碍物检测和规避。常规立体相机设置可包括例如深度相机，例如
图17以示意图示出根据各方面的深度成像系统1700。深度成像系统1700可包括被配置成根据操作参数集1710来生成深度图像1720的一个或多个深度图像传感器1702。深度成像系统1700可进一步包括一个或多个存储器1730，该一个或多个存储器包括存储在其中的第一预定义参数集1710a和第二预定义参数集1710b。第一预定义参数集1710a可以与一个或多个深度传感器1702的第一操作模式1702a相关联，并且第二预定义参数集1710b可以与一个或多个深度传感器1702的第二操作模式1702b相关联。根据各方面，第一操作模式1702a可以是高准确度操作模式，而第二操作模式1702b可以是高密度操作模式。在高密度操作模式中，深度图像可以按比高准确度操作模式中的填充因子更高的填充因子来生成。然而，高准确度操作模式可允许深度图像的生成是基本上没有假深度信息的。
根据各方面，深度成像系统1700可进一步包括一个或多个处理器1740，其被配置成在第一操作模式1702a和第二操作模式1702b之间交替地切换。该一个或多个处理器1740可被配置成将第一预定义参数集1710a选为操作参数集1710以设置第一操作模式1702a，或者换言之，以允许深度成像系统1700(例如，一个或多个深度图像传感器1702)在第一操作模式1702a中操作。并且，该一个或多个处理器1740可被进一步配置成将第二预定义参数集1710b选为操作参数集1710以便在第二操作模式1702b中操作深度成像系统1700(例如，一个或多个深度图像传感器1702)。说明性地，操作参数集1710可以在第一预定义参数集1710a和第二预定义参数集1710b之间交替地切换以生成第一类型的深度图像1720a或者第二类型的深度图像1720b。
根据各方面，第一预定义参数集1710a可表示严格操作模式(也被称为高准确度操作模式)。第一预定义参数集1710a中的参数可被设置以提供只包括高置信度深度值的第一类型的深度图像1720a。因此，根据各方面，基于第一预定义参数集1710a生成的第一类型的深度图像1720a可具有比基于第二预定义参数集1710b生成的第二类型的深度图像1720b更低的填充因子。根据各方面，该填充因子可表示深度图像中的具有与其相关联的深度值的像素的数量。
图18a示出了根据各方面的场景1810的第一深度图像1820a。第一深度图像1820a是基于第一预定义参数集1710a来生成的。作为比较，图18b示出了同一场景1810的第二深度图像1820b，第二深度图像1820b是基于第二预定义参数集1710b来生成的。如图18a所示，通过在严格设置下生成深度图像1820a(或深度图)来避免假深度条目。然而，许多有效值也可能丢失。作为对比，如图18b所示的更宽松的设置可允许以一些假深度信息为代价确定更多细节。
图19示例性地示出了深度相机1900的以下操作：基于第一预定义视觉参数集1910a来生成第一类型的一个或多个第一深度图像1920a并基于第二预定义视觉参数集1910b来生成第二类型的一个或多个第二深度图像1920b。不同类型的深度图像1920a、1920b可以在混合深度感测模式中从同一场景中生成以获取不受假深度信息影响的关于场景1900s的详细信息。根据各方面，深度相机1900可以在预定义时间区间内(例如，以每秒30帧的帧率在30到70帧内)基于第一预定义视觉参数集1910a(例如，严格设置)来操作。随后，深度相机1900可以基于给予更多细节、但可能具有假深度信息的第二预定义视觉参数集1910b(例如，较不严格，或换言之，宽松设置)来操作。根据各方面，深度相机1900可以在预定义时间区间内(例如，以每秒30帧的帧率在1到10帧内)基于第二预定义视觉参数集1910b来操作。根据各方面，帧率可以变化，例如帧率可以在从约每秒10帧到约每秒70帧的范围内。
根据各方面，可以对深度图像1920a、1920b的序列应用滤波。根据各方面，所生成的该序列中的深度图像的数量可被选择以除去假深度输入，并同时维持关于要监控的邻域的足够细节。
所提出的方法也可对单个交通工具(例如，单个无人机)上的多个实感相机起作用。当使用除了
图20以示意图示出了根据各方面的障碍物规避系统2000的各种功能。障碍物规避系统2000可以在无人机2002或任何其它合适的交通工具中实现。作为示例，无人机的一个或多个处理器可被配置成执行本文中参照障碍物规避系统2000描述的功能。
根据各方面，障碍物规避系统2000可被配置成从在第一(例如，严格)设置中获取的深度数据生成(在2010a中)多个深度图像并且从在第二(例如，宽松)设置中获取的深度数据生成(在2010b中)多个深度图像。
障碍物规避系统2000可被进一步配置成(在2020中)随时间对深度图像进行滤波。根据各方面，在向障碍物规避算法提供分别生成的深度图像之前，滤波器(诸如中值滤波器)可以被应用于这些深度图像。在某些方面，这些深度图像中的一者或多者可以彼此叠加。在某些方面，深度图像的滤波可以是可选的。
障碍物规避系统2000可被进一步配置成(在2030中)基于接收到的深度图像来检测一个或多个障碍物。深度图像可作为分辨时间的一系列深度图像被提供给任何合适的障碍物检测和/或规避算法。在某些方面，障碍物检测和/或规避算法可包括基于接收到的分辨时间的一系列深度图像来生成地图(例如，体素图)。该地图可经由本文中例如参照图10、11、12、13a到13c以及14a到14c描述的障碍物地图生成器或者用于生成障碍物地图的方法来生成。在某些方面，在基于第一(例如，严格)设置生成的深度图像的基础上，可使用光线追踪功能(参见例如图13b)来移除由从基于第二(例如，宽松)设置获取的深度数据生成的深度图像引入的假深度信息。
障碍物规避系统2000可被进一步配置成(在2040中)在必要时确定(例如，计算)纠正路线以避免碰撞并将该纠正路线应用于无人机。
根据各方面，可使用任何其他合适的障碍物检测和/或规避算法来基于所生成的深度图像控制无人机。
图21示出了根据各方面的用于操作深度成像系统的方法2100的示意性流程图。方法2100可包括：在2110中，根据第一预定义参数集来操作一个或多个第一深度图像传感器以生成第一类型的一个或多个深度图像；在2120中，根据第二预定义参数集来操作一个或多个第二深度图像传感器以生成第二类型的一个或多个深度图像；以及在2130中，基于所生成的第一类型的一个或多个深度图像以及所生成的第二类型的一个或多个深度图像两者来执行障碍物规避功能。
根据各方面，
·"controls-autoexposure-auto":"真",
·"controls-autoexposure-manual":"8500",
·"controls-depth-gain":"16",
·"controls-laserpower":"150",
·"controls-laserstate":"开启",
·"ignoresad":"0",
·"param-autoexposure-setpoint":"2000",
·"param-censusenablereg-udiameter":"9",
·"param-censusenablereg-vdiameter":"9",
·"param-censususize":"9",
·"param-censusvsize":"9",
·"param-depthclampmax":"65536",
·"param-depthclampmin":"0",
·"param-depthunits":"1000",
·"param-disableraucolor":"0",
·"param-disablesadcolor":"0",
·"param-disablesadnormalize":"0",
·"param-disablesloleftcolor":"0",
·"param-disableslorightcolor":"1",
·"param-disparitymode":"0",
·"param-disparityshift":"0",
·"param-lambdaad":"751",
·"param-lambdacensus":"6",
·"param-leftrightthreshold":"10",
·"param-maxscorethreshb":"2893",
·"param-medianthreshold":"796",
·"param-minscorethresha":"4",
·"param-neighborthresh":"108",
·"param-raumine":"6",
·"param-rauminn":"3",
·"param-rauminnssum":"7",
·"param-raumins":"2",
·"param-rauminw":"2",
·"param-rauminwesum":"12",
·"param-regioncolorthresholdb":"0.785714",
·"param-regioncolorthresholdg":"0.565558",
·"param-regioncolorthresholdr":"0.985323",
·"param-regionshrinku":"3",
·"param-regionshrinkv":"0",
·"param-robbinsmonrodecrement":"25",
·"param-robbinsmonroincrement":"2",
·"param-rsmdiffthreshold":"1.65625",
·"param-rsmrauslodiffthreshold":"0.71875",
·"param-rsmremovethreshold":"0.4",
·"param-scanlineedgetaub":"13",
·"param-scanlineedgetaug":"15",
·"param-scanlineedgetaur":"30",
·"param-scanlinep1":"155",
·"param-scanlinep1onediscon":"160",
·"param-scanlinep1twodiscon":"59",
·"param-scanlinep2":"70",
·"param-scanlinep2onediscon":"20",
·"param-scanlinep2twodiscon":"493",
·"param-secondpeakdelta":"647",
·"param-texturecountthresh":"4",
·"param-texturedifferencethresh":"50",
·"param-usersm":"1",和/或
·"param-zunits":"1000".
根据各方面，
·"controls-autoexposure-auto":"真",
·"controls-autoexposure-manual":"8500",
·"controls-depth-gain":"16",
·"controls-laserpower":"150",
·"controls-laserstate":"开启",
·"ignoresad":"0",
·"param-autoexposure-setpoint":"2000",
·"param-censusenablereg-udiameter":"9",
·"param-censusenablereg-vdiameter":"9",
·"param-censususize":"9",
·"param-censusvsize":"9",
·"param-depthclampmax":"65536",
·"param-depthclampmin":"0",
·"param-depthunits":"1000",
·"param-disableraucolor":"0",
·"param-disablesadcolor":"0",
·"param-disablesadnormalize":"0",
·"param-disablesloleftcolor":"0",
·"param-disableslorightcolor":"1",
·"param-disparitymode":"0",
·"param-disparityshift":"0",
·"param-lambdaad":"751",
·"param-lambdacensus":"6",
·"param-leftrightthreshold":"18",
·"param-maxscorethreshb":"2047",
·"param-medianthreshold":"550",
·"param-minscorethresha":"80",
·"param-neighborthresh":"263",
·"param-raumine":"6",
·"param-rauminn":"3",
·"param-rauminnssum":"7",
·"param-raumins":"2",
·"param-rauminw":"2",
·"param-rauminwesum":"12",
·"param-regioncolorthresholdb":"0.785714",
·"param-regioncolorthresholdg":"0.565558",
·"param-regioncolorthresholdr":"0.985323",
·"param-regionshrinku":"3",
·"param-regionshrinkv":"0",
·"param-robbinsmonrodecrement":"15",
·"param-robbinsmonroincrement":"5",
·"param-rsmdiffthreshold":"1.65625",
·"param-rsmrauslodiffthreshold":"0.71875",
·"param-rsmremovethreshold":"0.4",
·"param-scanlineedgetaub":"13",
·"param-scanlineedgetaug":"15",
·"param-scanlineedgetaur":"30",
·"param-scanlinep1":"155",
·"param-scanlinep1onediscon":"160",
·"param-scanlinep1twodiscon":"59",
·"param-scanlinep2":"70",
·"param-scanlinep2onediscon":"20",
·"param-scanlinep2twodiscon":"493",
·"param-secondpeakdelta":"450",
·"param-texturecountthresh":"4",
·"param-texturedifferencethresh":"50",
·"param-usersm":"1",和/或
·"param-zunits":"1000".
在某些方面，可确定表示严格设置或宽松设置的类似或其它参数。
在下文中，描述了可参照本文描述的一个或多个方面(例如，参照图15到21描述的深度成像系统和/或碰撞规避系统的一个或多个方面)的各示例。
示例1是一种深度成像系统，包括：被配置成根据操作参数集来生成深度图像的一个或多个深度图像传感器；一个或多个存储器，包括与该一个或多个深度传感器的第一操作模式相关联的第一预定义参数集以及与该一个或多个深度传感器的第二操作模式相关联的第二预定义参数集；以及一个或多个处理器，其被配置成交替地将第一预定义参数集选为操作参数集或者将第二预定义参数集选为操作参数集以便交替地在第一操作模式和第二操作模式中操作该一个或多个深度图像传感器。
在示例2中，示例1的深度成像系统可任选地进一步包括：该一个或多个处理器被进一步配置成将在第一操作模式中生成的一个或多个第一深度图像与在第二操作模式中生成的一个或多个第二深度图像叠加。
在示例3中，示例1或2的深度成像系统可任选地进一步包括：该一个或多个处理器被进一步配置成将在第一操作模式中生成的一个或多个第一深度图像彼此叠加和/或将在第二操作模式中生成的一个或多个第二深度图像彼此叠加。
在示例4中，示例1到3中的任一项的深度成像系统可任选地进一步包括：该一个或多个处理器被进一步配置成在第一预定义时间区间内选择第一预定义参数集并且在第二预定义时间区间内选择第二预定义参数集。
在示例5中，示例4的深度成像系统可任选地进一步包括：第一时间区间大于第二时间区间。
在示例6中，示例1到5中的任一项的深度成像系统可任选地进一步包括：该一个或多个处理器被进一步配置成对在第一操作模式中生成的一个或多个第一深度图像和/或在第二操作模式中生成的一个或多个第二深度图像应用滤波器。
在示例7中，示例6的深度成像系统可任选地进一步包括：该滤波器是中值滤波器。
在示例8中，示例1到7中的任一项的深度成像系统可任选地进一步包括：场景的基于第一预定义参数集生成的深度图像比该场景的基于第二预定义参数集生成的深度图像包括更少的具有与其相关联的深度值的像素。
在示例9中，示例1到8中的任一项的深度成像系统可任选地进一步包括：该一个或多个处理器被进一步配置成向障碍物地图生成器提供所生成的深度图像。
示例10是一种碰撞规避系统，包括示例1到9中的任一项的被配置成生成深度图像的深度成像系统。示例10的碰撞规避系统可任选地进一步包括一个或多个处理器，其被配置成基于所生成的深度图像来生成无碰撞移动路径。
示例11是一种碰撞规避系统，包括示例1到9中的任一项的被配置成生成深度图像的深度成像系统。示例11的碰撞规避系统可任选地进一步包括一个或多个处理器，其被配置成：基于深度图像来生成体素图；为该体素图中的一个或多个体素位置确定占用值，相应占用值表示在对应于相应体素位置的绝对位置处存在障碍物的概率；以及基于所生成的体素图来生成无碰撞移动路径。
示例12是一种交通工具，包括示例10或11的用于生成无碰撞移动路径的碰撞规避系统。示例12的交通工具可任选地进一步包括一个或多个处理器，其被进一步配置成基于所生成的无碰撞移动路径来控制该交通工具的移动。
示例13是一种用于生成障碍物地图的方法，该方法包括：经由根据示例1到9中的任一项的深度成像系统来生成深度图像。示例13的方法可任选地进一步包括基于所生成的深度图像来生成体素图。
在示例14中，示例13的方法可任选地进一步包括：为该体素图中的一个或多个体素位置确定占用值，分别确定的占用值表示在与该体素图中的体素位置对应的绝对位置处存在障碍物的概率。
在示例15中，示例14的方法可任选地进一步包括：相应占用值的确定包括：确定表示该障碍物的绝对位置的第一体素位置；确定表示与深度图相关联的视点的绝对位置的第二体素位置；确定第一体素位置和第二体素位置之间的一个或多个中间体素位置；以及为该一个或多个中间体素位置中的每一者确定中间占用值，相应的中间占用值表示在对应于该中间体素位置的绝对位置处存在障碍物的概率。
示例16是一种用于操作深度成像系统的方法，该方法包括：交替地根据第一预定义参数集和第二预定义参数集来操作一个或多个深度图像传感器以相应地生成第一类型的一个或多个深度图像以及第二类型的一个或多个深度图像。
在示例17中，示例16的方法可任选地进一步包括：将第一类型的一个或多个深度图像与第二类型的一个或多个深度图像叠加。
在示例18中，示例16或17的方法可任选地进一步包括：将第一类型的一个或多个深度图像彼此叠加和/或将所生成的第二类型的一个或多个深度图像彼此叠加。
在示例19中，示例16到18中的任一项的方法可任选地进一步包括：交替地操作该一个或多个深度图像传感器包括：在第一预定义时间区间内根据第一预定义参数集来操作该一个或多个深度图像传感器；以及在第二预定义时间区间内根据第二预定义参数集来操作该一个或多个深度图像传感器，其中第一时间区间不同于第二时间区间。
在示例20中，示例19的方法可任选地进一步包括：第一时间区间大于第二时间区间。
在示例21中，示例16到20中的任一项的方法可任选地进一步包括：对第一类型的一个或多个深度图像和/或第二类型的一个或多个深度图像应用滤波器。
在示例22中，示例21的方法可任选地进一步包括：该滤波器是中值滤波器。
在示例23中，示例16到22中的任一项的方法可任选地进一步包括：对场景进行成像的第一类型的深度图像比对该场景进行成像的第二类型的深度图像包括更少的具有与其相关联的深度值的像素。
在示例24中，示例16到23中的任一项的方法可任选地进一步包括：向障碍物地图生成器提供所生成的第一类型和第二类型的深度图像。
示例25是一种碰撞规避方法，包括根据示例16到24中的任一项来操作深度成像系统以生成深度图像。示例25的方法可任选地进一步包括基于所生成的深度图像来生成无碰撞移动路径。
示例26是一种碰撞规避方法，包括根据示例16到24中的任一项来操作深度成像系统以生成深度图像。示例26的方法可任选地进一步包括基于所生成的深度图像来生成体素图以及基于所生成的体素图来生成无碰撞移动路径。
示例27是一种用于操作交通工具的方法，该方法包括：根据示例16到24中的任一项来操作深度成像系统以生成深度图像。示例27的方法可任选地进一步包括：基于所生成的深度图像来生成无碰撞移动路径；以及基于所生成的无碰撞移动路径来控制该交通工具的移动。
示例28是一种用于操作交通工具的方法，该方法包括：根据示例16到24中的任一项来操作深度成像系统以生成深度图像。示例28的方法可任选地进一步包括：基于所生成的深度图像来生成体素图；以及基于所生成的体素图来控制该交通工具的移动。
示例29是一种用于操作深度成像系统的方法，该方法包括：根据第一预定义参数集来操作一个或多个第一深度图像传感器以生成第一类型的一个或多个深度图像；根据第二预定义参数集来操作一个或多个第二深度图像传感器以生成第二类型的一个或多个深度图像；以及基于所生成的第一类型的一个或多个深度图像以及所生成的第二类型的一个或多个深度图像两者来执行障碍物规避功能。
在示例30中，示例29的方法可任选地进一步包括：所生成的第二类型的一个或多个深度图像包括比所生成的第一类型的一个或多个深度图像更大的填充因子。
在示例31中，示例29或30的方法可任选地进一步包括：所生成的第一类型的一个或多个深度图像包括比所生成的第二类型的一个或多个深度图像更少数量的不正确深度值。
示例32是一种碰撞规避方法，包括：根据两个预定义参数集来操作一个或多个第一深度图像传感器以生成第一类型的一个或多个深度图像以及第二类型的一个或多个深度图像，这两个预定义参数集彼此不同；以及基于所生成的第一类型的一个或多个深度图像以及所生成的第二类型的一个或多个深度图像两者来执行障碍物规避功能。
在示例33中，示例32的方法可任选地进一步包括：所生成的第二类型的一个或多个深度图像包括比所生成的第一类型的一个或多个深度图像更大的填充因子。
在示例34中，示例32或33的方法可任选地进一步包括：所生成的第一类型的一个或多个深度图像包括比所生成的第二类型的一个或多个深度图像更少数量的不正确深度值。
根据各方面，从立体图像或多视图图像生成深度图(或深度图像)可包括对所得匹配及与其相关联的深度值的置信度可具有影响的各种参数和/或准则。根据各方面，第一预定义参数集和第二预定义参数集(例如，宽松和严格设置)的不同之处可在于以下参数中的至少一者：
·颜色：在一个图像中的特征具有与另一图像中的特征不同的颜色的情况下，这些特征表示同一对象的可能性可被降低，以使得对应的深度值或许更有可能是无效的；和/或
·对比度和/或亮度：在一个图像中的特征具有与另一图像中的特征不同的亮度的情况下，这些特征表示同一对象的可能性可被降低，以使得对应的深度值或许更有可能是无效的。
必须注意的是，颜色和/或亮度的轻微差异可能是自然地出现的，例如由于自动曝光结果差异、相机传感器质量差异、相对于对象的不同视图(因为视图是立体视图)。
根据各方面，可能的特征可能几乎不可见。在这种情况下，与该特征相关联的置信度可能为小，因为该特征是否是正确的匹配可能是不清楚的。作为示例，具有灰度值200的像素可位于白色区域内(例如，白色可表示白墙)并且该白色区域中的其它像素也具有从约198到约202的灰度范围内的灰度值。作为对比，可能的特征可能是清晰可见的。在这种情况下，与该特征相关联的置信度可能为大，因为该特征是正确的匹配是非常有可能的。作为示例，亮背景(例如，白天的天空)前的暗对象(例如，建筑物的角落或边缘)可以在对应图像中被明确地检测到。
根据各方面，可以预定义必须沿着哪些方向标识立体匹配。作为示例，在应检查在水平方向上具有基本上均匀的颜色、但在垂直方向上具有可被检测到的结构差异的对象的情况下，该垂直方向可被优先地用来检测立体匹配。
根据各方面，可确定计算出的深度值是否在预定义深度区间之外(例如，低于50厘米和/或大于100米)。作为示例，与深度值相关联的置信度在深度值在预定义区间外的情况下可以较低，因为例如这可以是深度相机可能未恰当地工作的暗示。
根据各方面，在一个立体图像中的一个像素可对应于另一个立体图像中的不止一个像素的情况下，上述各方面可用于通过改变参数和/或准则来确定最佳匹配。
根据各方面，可使用不同颜色来确定立体匹配或者用于确定立体匹配的颜色可按照置信度来加权。作为示例，第一颜色(例如，绿色)的像素可被认为比第二颜色(例如，蓝色)的像素更可信。颜色可取决于所需操作区域的特性来加权，例如，如果计划在以树、草和/或其他植物或绿色对象为主的区域中进行操作，一个或多个绿色值可被认为比其他颜色值更可信。
此外，可使用填洞功能，其中例如3×3像素阵列的中心像素可以用与该中心像素周围的像素相同的颜色来填充。然而，在这种情况下，该中心像素可能由于已使用插值而被认为是较不可信的。
一般而言，严格设置可以按使得深度值只从具有相当高的置信度的立体匹配中生成的方式来选择，其中宽松设置可以按使得深度值从具有与严格设置相比更低的置信度的立体匹配中生成的方式来选择。
根据各方面，可使用所有类型的相机来生成立体图像(例如，基于两个不同的视角)或多视图图像(例如，基于不止两个不同的视角)。
在某些方面，本文描述的任何方法可以部分地或完全被实现为具有程序指令的非瞬态计算机可读介质，这些程序指令在被执行时使得一个或多个处理器执行该方法的至少一部分或全部。
虽然已经参照具体方面具体地示出和描述了本公开，但本领域技术人员应当理解，可对本发明作出形式上和细节上的各种变化而不背离如所附权利要求所限定的本公开的精神和范围。因此，本公开的范围由所附权利要求表示并且因此旨在涵盖落在权利要求的等效含义和范围内的所有变化。
- 还没有人留言评论。精彩留言会获得点赞！