用于无人载具的环境自适应感知与规避系统的制作方法

本公开涉及无人载具。

背景技术：

感知与规避(saa)系统用于无人载具(诸如无人驾驶飞行器(uav))以检测物体(诸如人、树木、建筑物和其他载具)的位置。无人载具的saa系统可以使用有关物体位置的信息来避免与物体碰撞。saa系统可使用来自各种类型的传感器的信号来确定物体的位置。例如，saa系统可以：(i)识别是否存在物体(例如，包括确定物体的尺寸和运动特性)；(ii)确定物体的取向；并且(iii)确定如何规避物体。uav市场主要有三种可用的saa解决方案。这些解决方案包括基于超声的saa系统、基于飞行时间(tof)的saa系统和基于立体视觉的saa系统。

技术实现要素：

一般来讲，本公开涉及用于改进用于无人载具的感知与规避(saa)系统的技术。例如，本公开描述了用于基于一个或多个环境参数的值来调整无人载具的saa系统如何确定物体位置的技术。在无人载具可具有多个传感器组的示例中，saa系统可单独地使用来自每个传感器或传感器组的信号来确定物体的位置。然而，与其他单个传感器或传感器组相比，来自特定传感器组的信号可以更好地确定物体在特定环境条件下的位置。例如，saa系统可以使用来自一对双目相机的信号比使用来自在明亮环境中的lidar系统的信号更精确地估计物体的位置。因此，saa系统可以根据与某些环境参数相关的置信度值来不同地权衡由不同传感器组确定的物体的位置。

在一个示例中，本公开描述了一种用于感知和规避物体的载具的方法，该方法包括：由载具的saa系统接收指示环境参数的值的信号，该环境参数是载具视野内的环境条件的量度；由saa系统基于环境参数的值确定第一传感器组的置信度值和第二传感器组的置信度值，其中载具具有多个传感器，第一传感器组是载具的一个或多个传感器的组，第二传感器组是载具的一个或多个传感器的不同组，并且saa系统可被配置为基于来自第一传感器组的信号确定物体的深度并且还可被配置为基于来自第二传感器组的信号确定物体的深度；由saa系统基于以下各项来确定物体的最终三维位置：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度和第二传感器组的置信度值；以及由载具基于物体的最终三维位置采取一个或多个动作来避开物体。

在另一个示例中，本公开描述了一种系统，该系统包括：一个或多个处理器，该一个或多个处理器被配置为提供用于载具的感知与规避(saa)系统，该saa系统被配置为：接收指示环境参数的值的信号，该环境参数是载具视野内的环境条件的量度；基于环境参数的值确定第一传感器组的置信度值和第二传感器组的置信度值，其中载具具有多个传感器，第一传感器组是载具的一个或多个传感器的组并且第二传感器组是载具的一个或多个传感器的不同组，并且saa系统可被配置为基于来自第一传感器组的信号确定物体的深度并且还可被配置为基于来自第二传感器组的信号确定物体的深度；基于以下各项来确定物体的最终三维位置：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度和第二传感器组的置信度值；以及基于物体的最终三维位置采取一个或多个动作来帮助载具避开物体。

在另一个示例中，本公开描述了一种存储有指令的非暂态计算机可读数据存储介质，当指令被执行时，使得载具的感知与规避(saa)系统：接收指示环境参数的值的信号，该环境参数是载具视野内的环境条件的量度；基于环境参数的值确定第一传感器组的置信度值和第二传感器组的置信度值，其中载具具有多个传感器，第一传感器组是载具的一个或多个传感器的组，第二传感器组是载具的一个或多个传感器的不同组，并且saa系统可被配置为基于来自第一传感器组的信号确定物体的深度并且还可被配置为基于来自第二传感器组的信号确定物体的深度；基于以下各项来确定物体的最终三维位置：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度和第二传感器组的置信度值；以及基于物体的最终三维位置采取一个或多个动作来避开物体。

本公开的一个或多个示例的细节在以下附图和说明书中阐述。其他特征、目的和优点将从描述、附图以及权利要求书中显而易见。

附图说明

图1是被配置为实现本公开的技术的示例性载具的框图。

图2是示出根据本公开的一种或多种技术的载具的一组示例性部件的框图。

图3是示出使用一对相机确定物体的三维位置的技术的概念图。

图4是示出根据本公开的技术的示例性感知与规避(saa)系统的框图。

图5是示出根据本公开的一种或多种技术的载具的saa模块的示例性操作的流程图。

图6是示出根据本公开的技术的用于智能物体深度测量的传感器选择的示例性过程的流程图。

图7是示出根据本公开的技术的用于物体深度测量优化的示例性过程的流程图。

具体实施方式

载具的感知与规避(saa)系统被设计为感知物体的位置，并且如果物体干扰载具的飞行路径，则确定如何避免与物体碰撞。各种saa系统使用来自不同类型传感器的信号来确定物体的位置。例如，saa系统可以使用来自一对双目相机的信号来确定物体的位置，并且saa系统还可以使用基于飞行时间(tof)的系统诸如lidar系统，来确定同一物体的位置。然而，每组传感器可能有其自身的优点和局限性。例如，基于tof的saa系统可能易受阳光干扰，并且检测视野可能有限。基于tof的saa系统还可能需要非常精确且通常昂贵的时间测量单元，其可能消耗大量电能。使用单目视觉结构光的saa系统也可能易受阳光干扰。由于噪声干扰，使用双目视觉的saa系统在复杂背景或弱照明条件下可能无法正常工作，并且成功的立体匹配率可能很低，这可能导致深度估计的精度较低，并因此导致基于深度估计的距离估计或位置估计的精度较低。使用上述saa方法中的一种的现有saa系统不能以高精度适应不断变化的环境，这可能导致saa性能较差。

为了解决这些问题，本公开描述了一种适用于不同环境条件的saa系统。该saa系统可以处理来自多个传感器的信号并将传感器分组在一起，以用于基于预处理的环境信息改进深度测量。这可以通过在深度测量的精度方面对传感器组进行排序来导致对于立体匹配的更精确的物体感知，并且可以改善载具(诸如小型uav)的saa能力。例如，在一些示例中，saa系统可使用排序级机制来确定是否开始使用结构红外(ir)光投影仪，并且可根据saa系统的要求调整结构模式，以避免来自结构ir光投影仪的不必要的功耗。

能够适应不断变化的环境条件的saa系统可以改善saa性能。在一些示例中，能够适应不断变化的环境条件可：a)提高增强saa系统对环境干扰的鲁棒性；b)通过确定在特定情况下使用的最佳的一个或多个传感器来提高感测精度；并且c)触发传感器按需工作以降低功耗。

图1是被配置为实现本公开的技术的示例性载具100的框图。载具100可以是各种类型的载具，诸如无人驾驶飞行器(uav)、自主或半自主有人驾驶飞行器、陆上车辆、船舶或航天器。在载具100是uav的示例中，uav可以是任何类型的uav，包括但不限于四轴飞行器、旋翼飞行器、固定翼飞机、复合飞机(诸如倾转旋翼飞机、x2和x3)、浮空器或任何其他这种类型的uav，包括所有垂直起降(vtol)飞机、立式起落飞机等。uav可被构造成以不同程度的自主性飞行。在一些示例中，uav处于控制器设备的使用者的恒定或接近恒定的控制之下。在其他示例中，控制器设备可向uav递送任务，包括飞行计划，并且uav的机载处理电路可被配置为在几乎没有或没有附加用户输入的情况下执行任务。例如，uav可以是相对小型的低空低速uav，其中在这种情况下，小型对应于低于100磅，低空对应于地面上方低于3000英尺的操作高度，并且低空速对应于低于250节的空度。在一些示例中，uav具有悬停能力，意味着uav可具有在空中保持近似恒定位置的能力。

在图1的示例中，载具100包括驱动设备102、一个或多个处理器104、收发器106、天线108、传感器110、存储器112和电源114。通信信道116可将驱动设备102、处理器104、收发器106、天线108、传感器110、存储器112和电源114中的每一者互连，以用于部件间通信(物理地、通信地和/或可操作地)。在一些示例中，通信信道116包括系统总线、网络连接、进程间通信数据结构，或用于传送数据的任何其他方法，包括各种类型的无线通信技术。在图1的示例中，存储器112存储用于导航系统180和感知与规避(saa)系统120的指令。电源316可向载具100的每个其他部件提供电能。在一些示例中，电源114是电池。

驱动设备102旨在表示用于移动载具100的所有部件。例如，在载具100是飞行器的示例中，驱动设备102可包括发动机、螺旋桨、喷气发动机、转子、马达等。在载具100是陆地车辆的示例中，驱动设备102可包括马达、发动机、车轮等。在载具100是航天器的示例中，驱动设备102可包括操纵推进器。

处理器104旨在表示载具100的所有处理电路和所有处理能力。例如，处理器104可包括一个或多个数字信号处理器(dsp)、通用微处理器、集成电路(ic)或一组ic(例如，芯片组)、专用集成电路(asic)、现场可编程逻辑阵列(fpga)、或其他等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。

存储器112旨在表示载具100内的所有各种存储器设备。存储器112构成一个或多个非暂态计算机可读存储介质，并且可采用一旦载具100关闭就不保持存储内容的易失性存储器的形式或将内容存储更长时间段(包括载具100处于未供能状态的时间段)的非易失性存储器的形式。易失性存储器的示例包括随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、集成随机存取存储器(iram)、半导体闸流管随机存取存储器(tram)、零电容随机存取存储器(zram)或任何其他类型的合适易失性存储器。非易失性存储器的示例包括光盘驱动器、磁盘驱动器、闪存存储器、只读存储器(rom)、电可编程存储器(eprom)或电可擦除可编程存储器(eeprom)形式，或任何其他这种类型的非易失性存储器。

载具100的功能由硬件、软件、固件或其组合实现。存储器112可存储包括指令(诸如用于导航系统118和saa系统120的指令)集的软件和固件。处理器104和载具100的其他硬件部件可执行指令以执行本公开的技术。因此，载具100是包括被配置为提供saa系统的一个或多个处理器的系统的示例。包括被配置为提供saa系统的一个或多个处理器的其他示例性系统可包括芯片组、片上系统(soc)、电路板等。

收发器106被配置为使用天线108发送和接收数据。收发器106可根据本公开中其他地方描述的任何无线通信协议来发送和接收数据。例如，收发器106可被配置为接收导航指令。另外，收发器106可被配置为将图像和其他数据发送至计算系统，诸如控制器设备、移动设备或其他类型的计算设备。

导航系统118控制载具100的行进路径。例如，导航系统118可输出信号以驱动设备102以用于指示载具100操纵(例如，飞行、驾驶、驶帆、蒸汽等)到特定位置、着陆或以其他方式导航到沿载具100的行进路径的位置。在载具100是飞行器的情况下，行进路径是或包括飞行路径。

各种各样的传感器110可包括在载具100中。例如，传感器110可包括一个或多个相机、温度传感器、光传感器、辐射传感器、空气湿度传感器、光流传感器、声学传感器等。每个传感器110生成相应的信号。本公开还可将传感器生成的信号称为“信道”。不同类型的传感器可生成不同类型的信号。例如，由相机生成的信号可包括图像数据。在该示例中，由结构光传感器生成的信号可利用指示相关联的波束方向的信息来指示飞行时间测量结果。

传感器110中的一个或多个传感器被配置为生成信号，saa系统120可从该信号确定环境参数的值。环境参数是载具100的视野中的环境条件的量度。例如，环境参数可以是到达载具100的光传感器的光的水平。在该示例中，光传感器可以是定向的(例如，以生成指示从特定方向或方向范围到达传感器的光的水平的信号)或一般的(例如，以生成指示到达传感器的环境光的总体水平的信号)。在另一个示例中，环境参数可以是由载具100的空气湿度传感器检测到的空气湿度水平。在其他示例中，环境参数可包括物体与其背景之间的对比度。

saa系统120将传感器110分组为不同组的传感器(即，传感器组)。在一些示例中，传感器110包括一个或多个传感器，该一个或多个传感器不被包括在任何传感器组中。在图1的示例中，传感器110包括传感器组122(即，第一传感器组)和传感器组124(即，第二传感器组)中的一个或多个传感器。传感器110可包括一个或多个附加传感器组。saa系统120可使用由传感器组中的传感器生成的信号来确定物体的三维位置。例如，saa系统120可使用由传感器组122中的传感器生成的信号来确定物体的三维位置。在该示例中，saa系统120可单独地使用由传感器组124生成的信号来确定物体的三维位置(例如，不使用来自传感器组122中的任何传感器的信号)。在一些示例中，两个或更多个传感器组共享一个或多个传感器110，或者不共享传感器110，但是没有两个传感器组包括完全相同的一组传感器110。

例如，在一个示例中，传感器组122可包括两个或更多个相机，并且传感器组124可包括结构光检测器。相机可被配置为检测各种波长的光。例如，相机可检测红外光、可见光或紫外光中的一者或多者。saa系统120可使用由相机生成的双目图像对(即，信号)来确定图像中所示物体的三维位置。结构光投影仪可发射结构光的脉冲，并且结构光检测器可反射离开物体的结构光。在该示例中，结构光投影仪和检测器可以是lidar系统的一部分。

图2是示出根据本公开的一种或多种技术的载具100的一组示例性部件的框图。在图2的示例中，载具100包括结构红外(ir)光投射仪200。另外，在图2的示例中，载具100的传感器110包括第一红-绿-蓝(rgb)相机202、红外(ir)相机204和第二rgb相机206。计算机视觉处理器208从rgb相机202、ir相机204和rgb相机206接收信号。应当指出的是，该传感器设置仅是一种可能的组合，并且本公开的技术可适用于多种不同的传感器配置。

在一些示例中，计算机视觉处理器208包括专用硬件，用于基于来自传感器110的信号确定物体的深度和/或位置。例如，计算机视觉处理器208可包括嵌入式处理器。在其他示例中，计算机视觉处理器208包括通用硬件。在一些示例中，saa系统120使用来自计算机视觉处理器208的数据，或者物理上包括计算机视觉处理器208。计算机视觉处理器208可以是处理器104(图1)中的一者。

在一些示例中，计算机视觉处理器208使用来自传感器110的信号来确定环境参数的值。例如，计算机视觉处理器208可从rgb相机202和rgb相机206收集视频流，并通过确定环境参数(诸如亮度、对比度或区域的可见度)的值来预处理视频流中的图像。

在图2的示例中，第一传感器组212包括rgb相机202和ir相机204。第二传感器组214包括ir相机204和rgb相机206。第三传感器组216包括rgb相机202、ir相机204和rgb相机206。因此，计算机视觉处理器208可基于来自传感器组212的信号确定物体的位置，基于来自传感器组214的信号确定物体的位置，并且基于来自传感器组216的信号确定物体的位置。由于传感器组的不同特性和功能，计算机视觉处理器208可同时确定同一物体的不同位置。例如，如果传感器组212不适合特定环境，则基于来自传感器组212的信号确定的位置可能不准确。但是，如果传感器组216非常适合特定环境，则基于来自传感器组216的信号确定的位置更可能是准确的。

在一些示例中，当环境参数(例如，亮度、对比度等)的值高于(或低于)预定阈值时，saa系统120将来自rgb相机202和206的信号优先化为主要信道，以提取用于物体检测和障碍规避的深度信息。当环境参数(例如，亮度、对比度等)的值小于(或大于)限定阈值时，saa系统120可以触发结构ir光投影仪以投射ir光的结构脉冲，并且将每个rgb相机(即，rgb相机202和rgb相机206)与ir相机204分组以形成两个独立的深度图像(即，深度图像1和深度图像2)。然后，saa系统120可通过深度排序将深度图像1和深度图像2相关联。换句话讲，saa系统120可校正深度图像1和深度图像2以进行水平对齐。深度排序可有利于物体信息的更精确的立体匹配。因此，图2是基于环境条件通过自分组的三(rgb、rgb、ir)相机集成的示例性图示。

立体匹配是生成深度图片(即，深度图)的过程。立体匹配过程将两张图片作为输入。这两张图片是由两台相机同时拍摄的。深度图片的每个像素指示部分由像素表示的物体的深度。为了在立体匹配过程中生成深度图，计算机视觉处理器208可校正图片以使图片中的水平线对齐。然后，对于第一个整图片中的每行像素，计算机视觉处理器208沿该行滑动窗口。该窗口可包括行中的一组像素。对于窗口的每个位置，计算机视觉处理器208可在第二整流图片的对应行中确定与第一整流图片的窗口中的像素最佳匹配的一组像素。计算机视觉处理器208然后确定窗口的第一像素与所识别的第二整流图片的一组像素的第一像素之间的距离。计算机视觉处理器208可使用该距离作为与窗口的第一像素相对应的深度图片的像素的值。

为了量化当存在某些环境条件时saa系统120将能够使用来自传感器组的信号准确地确定物体位置的可能性，saa系统120可基于一个或多个环境参数的值确定传感器组的置信度值。在不同的示例中，saa系统120可以不同方式确定传感器组的置信度值。例如，saa系统120可使用用于传感器组的预定查找表，该预定查找表将一个或多个环境参数的值映射到置信度值。在该示例中，对于不同的传感器组可存在不同的预定查找表，使得对于相同的环境参数值，saa系统120可确定不同传感器组的不同置信度值。在其他示例中，saa系统120可使用用于传感器组的函数，该函数将一个或多个环境参数的值作为变量。

在一些示例中，为了确定传感器组的查找表或函数，saa系统120可基于来自传感器组的在一组一个或多个环境参数具有特定值时生成的信号，确定静止物体或沿已知路径移动的物体的一组三维位置。另外，saa系统120可确定该组三维位置是否与物体的实际位置一致。所确定的一组三维位置对应于物体的实际位置的可能性越小，给定一组环境参数值的传感器组的置信度值越低。相反地，如果所确定的一组三维位置与物体的实际位置紧密对应，则saa系统120在给定一组环境参数值的情况下确定传感器组的较高置信度值。例如，saa系统120可将置信度值确定为所确定的物体的三维位置的平均平方误差的倒数。在该示例中，代替确定完整的三维位置，类似的示例可简单地确定物体的深度，其中物体的深度直接与物体和载具100之间的距离相关。saa系统120可针对环境参数的各种值重复该过程。此外，确定置信度值的过程不一定需要由saa系统120完成，而是可通过例如将由传感器110收集的数据或其他信息发送到与载具100分开的处理设备(例如，计算机)来完全与载具100分开地确定。

在另一个示例中，saa系统120可在环境参数具有特定值时基于来自传感器组中的传感器的信号确定物体的光流，该光流描述了由物体和场景之间的相对运动引起的物体在视觉场景中的明显运动。在环境参数具有特定值时，基于来自传感器组中的传感器的信号确定的物体的实际已知运动与物体的光流越一致，对于该传感器组，环境参数值的置信度值越高。相反地，低一致性可能与低置信度值相关。saa系统120可针对环境参数的各种值重复该过程。

在确定传感器组的置信度值之后，saa系统120可确定物体的最终三维位置。在一些示例中，为了确定物体的最终三维位置，saa系统120可基于来自每个传感器组的信号确定物体的三维位置。然后，saa系统120可基于传感器组的置信度值确定所确定的三维位置的加权平均值。例如，saa系统120可确定：

xf＝x1·w1+x2·w2+…

yf＝y1·w1+y2·w2+…

zf＝z1·w1+z2·w2+…

在上述公式中，xf是物体的最终三维位置的x坐标，x1是saa系统120基于来自第一传感器组的信号确定的物体的三维位置的x坐标，w1是基于第一传感器组的置信度值的权重，x2是saa系统120基于来自第二传感器组的信号确定的物体的三维位置的x坐标，w2是基于第二传感器组的置信度值的权重，yf是物体的最终三维位置的y坐标，y1是saa系统120基于来自第一传感器组的信号确定的物体的三维位置的y坐标，y2是saa系统120基于来自第二传感器组的信号确定的物体的三维位置的y坐标，zf是物体的最终三维位置的z坐标，z1是saa系统120基于来自第一传感器组的信号确定的物体的三维位置的z坐标，并且z2是saa系统120基于来自第二传感器组的信号确定的物体的三维位置的z坐标。在一些示例中，坐标相对于载具100或载具100上的点。在一些示例中，坐标相对于与载具100分开的点。在一些示例中，saa系统120通过缩放置信度值来确定权重，使得所得的权重总和为1。

在一些示例中，为了确定物体的最终三维位置，saa系统120可基于来自多个传感器组中的每个传感器组的信号来确定物体的多个深度值。在该示例中，saa系统120然后可将最终深度值确定为深度值的平均值，根据传感器组的置信度值进行加权。saa系统120可以与前一示例中相同的方式基于置信度值确定权重。此外，在该示例中，saa系统120然后可基于如来自传感器中的一个的图像中所示的物体的位置和最终深度值来确定物体的最终三维位置。

因此，在一些示例中，saa系统120可接收指示环境参数的值的信号。此外，saa系统120可基于环境参数的值确定第一传感器组的置信度值和第二传感器组的置信度值。如上所述，载具100具有多个传感器110。在该示例中，第一传感器组是载具100的一个或多个传感器110的组，第二传感器组是载具100的一个或多个传感器110的不同组。在该示例中，saa系统120可被配置为基于来自第一传感器组的信号确定物体的深度，并且还可被配置为基于来自第二传感器组的信号确定物体的深度。此外，在该示例中，saa系统120基于以下项来确定物体的最终三维位置：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度、和第二传感器组的置信度值。在该示例中，载具100可基于物体的最终三维位置采取一个或多个动作以避开物体。换句话讲，载具100可基于物体的最终三维位置操纵载具100以避开物体。

当存在某些环境条件时，一些传感器组在确定物体的位置方面可能明显不太有用。例如，当载具100在完全黑暗中操作时，由rgb相机202和rgb相机206组成的传感器组在确定物体的位置方面可能基本上不太有用。因此，当载具100在完全黑暗中操作时，该传感器组的置信度值可能低于传感器组的最小置信度阈值。传感器组的最小置信度阈值可以是传感器组特有的，并且不同的传感器组可具有不同的最小置信度阈值。在其他示例中，每个传感器组具有相同的最小置信度阈值。为了节省能量，如果传感器组的置信水平低于传感器组的最小置信度阈值，则saa系统120可禁用传感器组中的一个或多个传感器。当传感器被禁用时，传感器可停止生成表示传感器检测到的环境(例如，光)的特征的信号。

因此，在一个示例中，saa系统120可接收指示环境参数的值的信号。在该示例中，saa系统120基于环境参数的第二值确定第一传感器组(例如，传感器组122)的置信度值和第二传感器组(例如，传感器组124)的置信度值。在该示例中，基于第一传感器组的置信度值低于第一阈值，saa系统120可禁用第一传感器组并且可在不使用来自第一传感器组的任何信号的情况下确定物体的三维位置。类似地，在该示例中，基于第二传感器组的置信度值低于第二阈值，saa系统120可禁用第二传感器组并且可在不使用来自第二传感器组的任何信号的情况下确定物体的三维位置。

此外，在一些示例中，当存在某些环境条件时，saa系统120基于来自第一传感器组的信号准确地确定物体的深度的能力可能是足够的，使得继续使用来自第二传感器组的信号可能是浪费资源，即使saa系统120仍然可使用来自第二传感器组的信号来确定物体的深度。例如，在光线充足的环境中，可能不必继续使用结构光投影仪200，因为saa系统120能够基于来自传感器组216的信号以足够的精度确定物体的深度和位置。因此，如果第一传感器组的置信度值高于第一传感器组的特定置信度阈值，则saa系统120可禁用第二传感器组。不同传感器组的置信度阈值可以是相同或不同的。

因此，在一个示例中，saa系统120可接收指示环境参数的值的信号。在该示例中，saa系统120可基于环境参数的第二值确定第一传感器组(例如，传感器组122)的置信度值和第二传感器组(例如，传感器组124)的置信度值。此外，在该示例中，基于第一传感器组的置信度值高于第一阈值，saa系统120可禁用第二传感器组并且基于来自第一传感器组的信号并在不使用来自第二传感器组的任何信号的情况下确定物体的三维位置。类似地，在该示例中，基于第二传感器组的置信度值高于第二阈值，saa系统120可禁用第一传感器组并且基于来自第二传感器组的第二信号并在不使用来自第一传感器组的任何信号的情况下确定第二物体的三维位置。

图3是示出使用一对相机确定物体300的三维位置的技术的概念图。在图3的示例中，物体300的三维位置表示为p(xp,yp,zp)。在一些示例中，xp、yp和zp表示距载具100的特定尺寸的距离。在图3的示例中，中线302表示相机304和306之间的中点。l1表示从中线302到相机304和相机306的距离。此外，在图3的示例中，f表示相机304和306的焦距。xl1表示由相机304拍摄的图片308中的物体300的x坐标。在图3中，il表示左图像(即，由左边的相机304拍摄的图像)；ir表示右图像(即，由右边的相机306拍摄的图像)。xl2表示由相机306拍摄的图片310中的物体300的x坐标。z表示物体300的深度。

在图3的示例中，saa系统120可使用以下公式确定物体(诸如物体300)的深度：

在上面的公式(1)中，d表示立体视觉差值(即，由两个相机看到的物体的x坐标之间的差值)，xl1表示第一相机拍摄的图像中物体的x坐标，xl2表示第二相机拍摄的图像中物体的x坐标，物体的实际x坐标在公式(1)中表示为xp，l表示两个相机之间距离的一半，f表示相机的焦距，并且b表示相机之间的完整距离。因此，如公式(2)中所示，可通过将fb除以d来确定物体的实际z坐标(即，zp)。由于上文讨论的原因，值d可能受到噪声和载具100的环境变化(诸如照明的变化)的影响而产生误差。

图4是示出根据本公开的技术的示例性saa系统120的框图。saa系统120接收来自传感器110a至110n(统称为“传感器110”)的信号并将信息存储到存储器112。在图4的示例中，saa系统120包括合成立体视觉匹配模块(ssvmm)400、重组逻辑确定模块(rldm)402和深度测量优化模块(dpom)404。任何数量的传感器110可用作ssvmm400、rldm402和dpom404的输入端。

在图4的示例中，ssvmm400收集物体的第一图像和第二图像，其中第一图像和第二图像被同时拍摄。另外，ssvmm400识别优先化的特定区域的环境参数，以检查该区域是否适合于立体匹配。换句话讲，ssvmm400可确定该区域是否具有用于识别两个图像之间的差异的明显特征。优先化的特定区域可以是包含saa系统120正在确定其三维位置的物体的区域或范围。在一个示例中，当环境参数的值高于特定阈值时，ssvmm400可将物体感知作为用于立体匹配的主要信道。换句话讲，ssvmm400可确定立体匹配更好地用于计算物体的深度，并因此计算距物体的距离。在该示例中，当环境参数低于特定阈值时，saa系统120可生成环境触发器以确定哪些传感器用作用于立体匹配的辅助信道。

此外，在图4的该示例中，重组逻辑确定模块(rldm)402可基于环境参数的值确定最佳组合(例如，rldm402可对传感器组(即，传感器的组合)进行分类或排序，可启动所选传感器的工作模式以便更好地进行深度测量，并且可使每个传感器具有自智能，从而潜在地创建更多深度测量的信道)。另外，rldm402可管理传感器选择逻辑以避免不必要的功耗。作为执行这些功能的一部分，rldm402可确定传感器组的置信度值，并使用传感器组的置信度值来确定是否启用或禁用特定传感器110。例如，rldm402可基于给定环境参数值的置信度值确定已启用和已禁用的传感器110的工作模式。

在图4的示例中，深度测量优化模块(dpom)404从具有特定区域的映射置信度的重新分组信道接收深度信息，通过传感器融合创建优化的深度测量以获得更好的感测精度。例如，rldm402可基于深度值和置信度值来确定对物体的深度值或三维位置，如本公开中其他地方所述。此外，在一些示例中，dpom404可预测物体的运动模型。在一些示例中，dpom404可动态地确定或调整载具100的一个或多个相机的相机参数，以便实现更精确的深度测量(例如，通过使用相机参数来校正在使用来自相机的图像之前由相机生成的图像中的透镜畸变以确定物体的深度；通过直接使用相机参数来确定基于来自单个相机的图像的物体的深度；或者，通过自动调整光圈或曝光时间来改善图像中的照明)。

图5是示出根据本公开的一种或多种技术的载具的saa模块的示例性操作的流程图。尽管参考图1描述了图5的操作，但是本公开的技术不限于图1的示例。

在图5的示例中，载具100的saa系统120(图1)接收指示环境参数的值的信号(500)。环境参数是载具100的视野的环境条件的量度。例如，环境参数可以是该区域中的环境光水平、该区域中的对比度等。

此外，在图5的示例中，saa系统120基于环境参数的值确定第一传感器组(例如，传感器组122)的置信度值和第二传感器组(例如，传感器组124)的置信度值(502)。如前所述，载具100具有多个传感器110。第一传感器组是载具100的一个或多个传感器110的组，第二传感器组是载具100的一个或多个传感器110的不同组。saa系统120可被配置为基于来自第一传感器组的信号确定物体的深度(或三维位置)，并且还可被配置为基于来自第二传感器组的信号确定物体的深度(或三维位置)。

在图5的示例中，saa系统120基于以下项来确定物体的最终三维位置：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度、和第二传感器组的置信度值(504)。例如，saa系统120可基于来自第一传感器组的信号确定物体的三维位置；saa系统120还可基于来自第二传感器组的信号确定物体的三维位置。然后，saa系统120可将物体的最终三维位置确定为物体的两个确定的三维位置的加权平均值。在一些示例中，传感器组的加权可以是零，这意味着saa系统120实际上不使用来自传感器组的信号来确定物体的最终三维位置。以这种方式，作为确定物体的最终三维位置的一部分，saa系统120可以以基于来自第一传感器组的信号确定的物体的深度为基础来确定物体的第一三维位置。另外，在该示例中，saa系统120可以以基于来自第二传感器组的信号确定的物体的深度为基础来确定物体的第二三维位置。此外，在该示例中，saa系统120可将物体的最终三维位置确定为物体的第一三维位置和物体的第二三维位置的加权平均值，根据第一传感器组的置信度值和第二传感器组的置信度值进行加权。在一些示例中，物体的最终三维位置是相对于载具100的位置。在一些示例中，相对于除载具100之外的参考点限定物体的最终三维位置。

在另一个示例中，saa系统120可基于来自第一传感器组的信号确定物体的深度；saa系统120还可基于来自第二传感器组的信号确定物体的深度。然后，saa系统120可将物体的最终深度确定为物体的两个确定的深度的加权平均值。在该示例中，saa系统120然后可使用最终深度以及一个或多个图像来确定物体的最终三维位置。以这种方式，作为确定物体的最终三维位置的一部分，saa系统120可以以基于来自第一传感器组的信号确定的物体的深度为基础来确定物体的第一深度。另外，saa系统120可以以基于来自第二传感器组的信号确定的物体的深度为基础来确定物体的第二深度。此外，saa系统120可将物体的最终深度确定为物体的第一深度和物体的第二深度的加权平均值，根据第一传感器组的置信度值和第二传感器组的置信度值进行加权。saa系统120可基于物体的最终深度来确定物体的最终三维位置。

载具100可基于物体的最终三维位置采取一个或多个动作以避开物体(506)。例如，saa系统120可确定避开物体的最终三维位置的行进路径。在该示例中，saa系统120可(例如，与导航系统118协调)控制驱动设备102，使得载具100遵循行进路径。在一些示例中，saa系统120可基于以上述方式确定的物体的一系列最终三维位置来确定物体的行进路径并确定载具100的行进路径，使得物体和载具100不同时出现在同一位置。在其他示例中，作为采取一个或多个动作以避开物体的一部分，载具100可生成指示物体可能对载具100造成碰撞危险的警报。响应于警报，载具100的操作员可改变载具100的行驶路径。

图6是示出根据本公开的技术的用于智能物体深度测量的传感器选择的示例性过程的流程图。在图6的示例中，rldm402可收集(例如，来自相机诸如rgb相机202和rgb相机206，或来自存储器的)物体的第一图像和物体的第二图像(600)。另外，在图6的示例中，rldm402可识别特定区域的环境参数的值(602)。该区域是描绘物体的图像的区域。应当注意，图像的不同区域可具有不同的环境参数值。例如，物体可位于深阴影的图像的部分中，具有复杂的背景，或者物体可位于这样的图片区域中，其中物体与其背景的对比度低。然而，在该示例中，图像的其他区域可以是光线充足的，具有简单的背景，与物体的对比度高。在该示例中，环境参数可以是光水平、背景复杂度水平或对比度水平。

在图6的示例中，rldm402确定环境参数的值是否小于阈值(604)。阈值可以是预定值。对于不同的环境参数，可能存在不同的阈值。在图6的示例中，环境参数的值低于阈值与基于由相机拍摄的第一图像和第二图像精确地确定物体的深度或三维位置的难度增加相关。

响应于确定环境参数的值小于阈值(604的“否”分支)，rldm402可基于物体的第一图像和第二图像获得特定区域的感知深度(604)。例如，rldm402可确定特定区域的感知深度，从ssvmm400获得特定区域的感知深度，或者以其他方式获得特定区域的感知深度。第一图像和第二图像可由相机或其他传感器生成。

另一方面，响应于确定环境参数的值不小于阈值(604的“是”分支)，rldm402可基于环境参数的值确定用于确定物体的三维位置的传感器110的最佳组合(606)。在图6的示例中，假设传感器的最佳组合包括检测结构光的传感器，诸如ir相机204(图2)。例如，传感器110的最佳组合可以是rgb相机202和ir相机204，或rgb相机206和ir相机204。以这种方式，rldm402可重新组合传感器110的信道，使得物体的深度基于来自不同传感器组的信道而不是相机的信道来确定。

因此，在确定用于确定物体的三维位置的传感器110的最佳组合之后，rldm402可启动具有适配的结构图案的结构光的输出端(610)。rldm402可基于环境参数的值来调整结构光的图案。例如，不同图案可包括平行垂直线、平行水平线、交叉线、具有不同偏振的光、具有不同频率的光等。然后，rldm402可从具有映射置信度值的重新分组信道获得深度信息(612)。rldm402可基于结构光所花费的时间来确定物体的深度，其中适配的结构图案将由结构光检测器诸如，ir相机204来检测。

在图6的示例中，dpom404然后通过传感器融合确定物体的优化深度值(614)。例如，dpom404可基于以下项来确定最终优化的物体的深度：基于来自根据第一传感器组的置信度值加权的第一传感器组(例如，一对相机)的信号确定的物体的深度和基于来自根据第二传感器组的置信度值加权的第二传感器组(例如，rgb相机和ir相机)的信号确定的物体的深度。如关于图7所描述的，dpom404还可计算相机参数以更好地感知物体。

另外，在(606)中获得感知深度之后或者在(614)中通过传感器融合确定物体的优化深度值之后，dpom404可识别物体的三维位置(616)。例如，dpom404可基于图像的垂直中线与物体的位置之间的图像中的水平距离来确定角度。在该示例中，dpom404然后可使用三角法基于物体的深度和所确定的角度来确定相机和物体之间的实际水平距离。在一些示例中，实际水平距离是物体的x坐标。在一些示例中，dpom404然后可基于关于载具100的位置的信息来修改实际水平距离，以确定物体的x坐标。在该示例中，dpom404可执行类似的过程以确定物体的y坐标。以这种方式，物体的三维位置可基于以下项来确定：基于来自第一传感器组的信号确定的物体的深度、第一传感器组的置信度值、基于来自第二传感器组的信号确定的物体的深度、和第二传感器组的置信度值。

图7是示出根据本公开的技术的用于物体深度测量优化的示例性过程的流程图。图7中的动作可作为执行图6的动作614的一部分来执行。

在图7的示例中，dpom404(图4)可从具有映射置信度值的重新分组信道获得新的深度图像(700)。例如，如上所述，rldm402可基于一个或多个环境参数的值确定传感器组的置信度值。另外，rldm402可基于传感器组的置信度值确定当前启用的传感器组的组，从而重新组合该组启用的传感器组。如果启用了传感器组的每个传感器，则传感器组是启用的传感器组。另外，在该示例中，ssvmm400可基于来自启用的传感器组中的传感器的信号来确定深度图像。dpom404可获得由ssvmm400生成的深度图像和来自rldm402的对应置信度值，从而从具有映射置信度值的重新分组信道获得深度图像。

另外，在图7的示例中，dpom404可预测用于特定区域的已获得的物体深度的运动模型(702)。例如，dpom404可基于随时间发生的一系列深度图像来确定物体的运动模型。物体的运动模型可指示物体的运动方向。

此外，dpom404可计算相机参数以更好地感知物体(704)。例如，相机参数可包括固有相机参数、外在相机参数、估计参数的准确度和校准设置。固有相机参数可包括固有矩阵(其基于焦距、图像传感器格式和主要点)、倾斜、径向畸变和切向畸变。外在相机参数可包括旋转矩阵和平移矢量。校准设置可包括多个模式、世界点矩阵、世界单位、倾斜估计、多个径向畸变系数和估计的切向畸变。已知用于计算相机的相机参数的多种算法，包括直接线性变换方法、张氏法(zhang’smethod)和tsai法(tsai’smethod)。基于相机参数，dpom404可修改图像以消除透镜畸变，以世界单位确定物体的大小，或者根据本领域公知的技术确定物体在场景中的位置。因此，基于相机参数，dpom404能够基于来自单个相机的图像来确定物体的深度或三维位置。因此，在一个示例中，多个传感器110可包括相机，并且传感器组包括相机。在该示例中，dpom404可基于相机的相机参数确定基于来自第一传感器组的信号确定的物体的深度。

然后，dpom404可基于映射的传感器置信度值创建全面的深度测量值(706)。例如，dpom404可基于来自一个或多个传感器组的平均深度值来确定物体的最终深度值，根据传感器组的置信度值进行加权。物体的深度基于用于物体的相机以本公开中其他地方描述的方式来确定。

虽然已经关于单个环境参数描述了图5至图7，但是也可使用多个参数来实现图5至图7的技术。参考图6的框604，例如，与阈值相比较的值可以是基于多个参数确定的值而不是基于单个环境参数确定的值确定。在其他示例中，该值可基于单个环境参数来确定，但与该值进行比较的阈值可根据不同环境参数的函数而变化。作为一个示例，对比度和亮度可具有反比关系，使得特定传感器组的置信度值在低亮度环境中仍可相对较高，只要对比度足够高，或者使得如果图像具有低对比度，则特定传感器组的置信度值仍可相对较高，只要环境的亮度处于期望的水平。

在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实施，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

以举例而非限制的方式，此类计算机可读存储介质可包括ram、rom、eeprom、cd-rom或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(dsl)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、dsl或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(cd)、激光盘、光学光盘、数字通用光盘(dvd)、软磁盘及blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。

可以由一个或多个处理器诸如一个或多个dsp、通用微处理器、asic、fpga或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实施本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。

本公开的技术可以在各种设备或装置包括无线手机、集成电路(ic)或一组ic(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。

已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。