基于混合度量-拓扑相机的定位的制作方法

本公开总体上涉及定位，并且更具体地涉及基于混合度量-拓扑相机的定位。

背景技术：

无论是在自主车辆(av)、无人驾驶飞行器(uav，也被称为无人机)中还是在室内移动机器人中，同时定位和制图(simultaneouslocalizationandmapping，slam)都是机器人制图和导航的技术，并且是任何自主平台的重要组成部分。slam可以用于构建环境地图以将av或机器人定位在增量构建地图。一旦构建了环境地图，通常会停用slam的制图方面，从而保留slam的定位方面用于在地图中的位置之间导航av或机器人。当前，大多数商业技术将昂贵的光探测和测距(lidar)检测器用于slam的制图和定位这两方面。然而，这种方法往往很昂贵，并且因此不太理想。

技术实现要素：

本公开旨在提供用于改善的视觉定位的方法、系统和设备。根据一个实施例，根据本公开的一种方法可以包括从单个图像传感器接收环境的输入图像的数据。所述方法还可以涉及将所述输入图像定位到混合同时定位和制图(slam)度量-拓扑地图的多个拓扑节点中的一者，所述slam度量-拓扑地图将环境描述为环境中的多个离散位置处的多个拓扑节点。

附图说明

参考以下附图描述本公开的非限制性和非详尽性实施例，其中除非另有指定，否则相同的附图标记在各个附图中指代相同的部分。

图1是根据本公开的实施例的示例性场景的图式。

图2是根据本公开的实施例的示例性场景的图式。

图3是根据本公开的实施例的示例性设备的图式。

图4是描绘根据本公开的实施例的示例性过程的流程图。

具体实施方式

在以下描述中，参考形成所述以下描述的一部分的附图，并且在附图中通过示出可以实践本公开的具体示例性实施例来示出。充分详细地描述这些实施例以使所属领域技术人员能够实践本文所公开的概念，并且应理解，在不脱离本公开的范围的情况下，可以对各种公开的实施例进行修改并且可以利用其他实施例。因此，以下详细描述不应被视为具有限制意义。

在根据本公开的所提出方案下，立体视觉或深度传感器可以用于slam的初始制图方面，而单个相机或图像传感器可以用于后续定位。根据所提出方案，可以构造、生成或以其他方式创建在给定环境中的离散位置具有拓扑节点的混合slam度量-拓扑地图，并且来自相机/图像传感器的图像可以通过基于深度学习的图像分类与地图中的拓扑节点相匹配。随后，可以使用对于每个拓扑节点在来自相机/图像传感器的图像与存储在数据库中的图像之间匹配的图像特征以及对应的三维(3d)真实世界点来执行度量定位，以确定相机/图像传感器在环境中的全六自由度(6dof)姿态。因此，所提出方案涉及一种用于度量和拓扑定位的混合方法。此外，地图可以在每次遍历由地图描述的路线进行持续更新。

因此，在根据本公开的所提出方案下，slam可以分为制图方面和定位方面。根据所提出方案，av/无人机/机器人可以使用单个相机或图像传感器以环境的先前构造的地图定位在环境中。可以首先使用立体感测和常规的视觉slam(vslam)算法(诸如orientedfastandrotatedbrief(orb)slam或orbslam)构建地图。常规的orbslam地图可以包括图像关键帧、这些关键帧内的图像关键点、对应的3d位置以及相机/图像传感器针对每个关键帧的6dof姿态。然而，这种基于关键帧的vslam地图往往很庞杂(例如，大型建筑物的地图需要多个千兆字节的存储器)，并且其稳健性可能不足以适应光照条件变化或其他环境变化。

图1是示出根据本公开的所提出方案的示例性场景100。方案100涉及构造地图140，所述地图是拓扑和度量制图的混合。拓扑地图将环境描述为以图形结构连接的一组拓扑节点，而由地图描述的环境中的av/无人机/机器人可能会被定位到最近的拓扑节点。相反，在采用度量制图时，av/无人机/机器人的定位涉及确定av/无人机/机器人上的相机/图像传感器的全6dof姿态，包括[x、y、z、侧倾、俯仰、横摆]的六个维度。在采用根据所提出方案的混合定位技术时，相机/图像传感器中可以分两个步骤利用。首先，可以确定av/无人机/机器人的最接近最近拓扑节点的位置。其次，可以改进位置以获得全度量6dof姿态。

根据所提出方案假设av/无人机/机器人在其遍历通过环境期间将遵循预定义路径，并且该假设对于例如位于围栏市中心的4级av或位于仓库或超市的移动机器人是有效的。在该假设下，可以沿着制图代理(例如，av、无人机或机器人)的轨迹构造拓扑地图。拓扑地图可以包括拓扑节点的图形(它是先前定义的关键帧的子集)、与每个节点相关联的制图代理的相机/图像传感器的度量姿态，以及与每个节点相关联的代表性图像的选择。图像中的每一者也可以与二维(2d)图像关键点及其对应的深度值相关联(例如，使用制图期间可用的立体相机或深度传感器，它在后续定位期间是不需要的)。每个拓扑节点可以利用图形边缘与一个或多个其他拓扑节点连接，并且每个图形边缘可以与在遍历通过图形的相反方向上捕获的两个或更多个图像相关联。

参考图1，可以训练深度神经网络130(例如，卷积神经网络(cnn))以将来自环境(例如，沿着由诸如av、无人机或机器人的制图代理的相机120捕获的路线)的输入图像110定位到拓扑地图的图形中的多个拓扑节点中的一者以及制图代理的行进方向。与使用传统手绘特征的其他技术(诸如在orbslam算法中使用的orb)相比，深度神经网络130对于光照变化和其他环境变化可能更稳健。深度神经网络130也可以被更新或微调使得每个新图像都与拓扑地图的图形的节点相匹配，以便随时间进行地图维护。

一旦来自相机120的新图像被定位到拓扑节点，就会确定捕获新图像的相机120(或在相机120的定向固定在制图代理上的情况下，制图代理本身)的准确度量姿态。例如，透视n点(perspective-n-point，pnp)投影算法可以用于确定准确的度量姿态。pnp是经典的几何计算机视觉算法，其提供3d世界点在图像中的2d投影并在世界坐标系中找到捕获图像的相机的姿态。根据所提出方案，与节点数据库150中的数据库图像相比，新图像与对应的拓扑节点图像之间的匹配2d特征(例如，2d点)可以用于确定图像或相机120的相对姿态。因为拓扑图像的绝对姿态是已知的，所以可以确定捕获新图像的相机120的绝对姿态以及所述相机相对于拓扑图像的姿态。图2示出了将新相机图像(例如，由图像传感器120捕获的输入图像)及其对应的2d点与数据库图像(即，先前捕获并存储在数据库150中的图像)及其对应的2d点进行匹配的示例性场景200。由于数据库图像相对于世界坐标系的绝对姿态是已知的，因此可以确定新图像的绝对姿态。

因此，所提出方案涉及基于深度学习的拓扑图像匹配和几何pnp技术的混合，其使得能够确定相机120(或制图代理)的绝对度量姿态。与使用vslam(例如，orbslam)的的常规地图相比，拓扑地图的存储所需要的存储器的量可能要小得多(例如，小一个数量级)。此外，因为可以使用单个相机代替更昂贵的lidar检测器来将相机(以及上面安装了相机的av/无人机/机器人)定位到世界坐标系中的度量姿态，所以所提出的方案可能更具成本效益。另外，根据所提出方案，可以使用由单个相机捕获的图像随时间更新地图。这可以在定位阶段期间在地图上的任何路线的每次新遍历期间实现。可以将与拓扑节点相匹配的每个新输入图像添加到与该节点相对应的现有图像集合，以产生新图像集合。此外，随着路线的每次遍历，深度神经网络130(例如，cnn)可以进行微调使得新图像集合对应于每个拓扑节点。有利地，这允许cnn适应环境变化。

图3示出了根据本公开的实施例的示例性设备300。设备300可以包括与本公开相关的多个部件以及与本公开不直接相关的多个部件。因此，为了简洁起见且不模糊对相关部件的说明，图3示出了与本公开的各种实施例相关的那些部件，而没有示出与本公开不直接相关的那些部件。

参考图3，设备300可以包括处理器310、制动系统320、动力传动系统和转向系统330、单个图像传感器340以及存储器350。设备300可以是如本文所述的av、uav或机器人的示例性实现方式。

处理器310可以包括一个或多个集成电路(ic)芯片。制动系统320可以包括多个制动器，每个制动器用于车辆(例如，车辆110)的车轮中的相应一个车轮以及相关联的致动器。制动系统320的制动器中的每一者可以被配置为抑制相应车轮的运动，由此使相应的车轮(和车辆)减慢和/或停止。动力传动系统和转向系统330可以包括发动机、变速器系统、驱动轴、差速器、转向系统和最终驱动系统(finaldrivesystem)(例如，车辆的车轮)。图像传感器340可能能够感测、检测或以其他方式捕获图像传感器340所处的环境的图像(例如，静态图像和/或视频图像)。存储器350可以由处理器310访问并且能够存储数据(例如，混合slam度量-拓扑地图352、存储图像的数据库354，以及用于执行机器学习工具356(诸如cnn)的指令)。存储器350可以包括一种类型的随机存取存储器(ram)，诸如动态ram(dram)、静态ram(sram)、晶闸管ram(t-ram)和/或零电容器ram(z-ram)。替代地或另外，存储器350可以包括一种类型的只读存储器(rom)，诸如掩模rom、可编程rom(prom)、可擦除可编程rom(eprom)和/或电可擦除可编程rom(eeprom)。替代地或另外，存储器350可以包括一种类型的非易失性随机存取存储器(nvram)，诸如快闪存储器、固态存储器、铁电ram(feram)、磁阻ram(mram)和/或相变存储器。

在根据本公开的所提出方案下，处理器310可以从单个图像传感器340接收环境的输入图像的数据。另外，处理器310可以将输入图像定位到混合slam度量-拓扑地图(例如，存储在存储器350中的混合slam度量-拓扑地图352)的多个拓扑节点中的一者，所述混合slam度量-拓扑地图将环境描述为环境中的多个离散位置处的多个拓扑节点。

在一些实施例中，在将输入图像定位到混合slam度量-拓扑地图352的多个拓扑节点中的一者时，处理器310可以执行许多操作。例如，处理器310可以通过基于深度匹配的图像分类将输入图像与多个拓扑节点中的一者相匹配。另外，处理器310可以使用以下各项来执行度量定位：(a)对于拓扑节点中的每一者，在输入图像与存储图像之间匹配的2d图像特征，以及(b)一个或多个对应的3d真实世界点。此外，处理器310可以确定图像传感器340在环境中的全6dof姿态。

替代地或另外，在定位输入图像时，处理器310可以使用pnp投影算法来确定图像传感器340的度量姿态。

在一些实施例中，在执行度量定位时，处理器310可以执行多个操作。例如，处理器310可以使用2d图像特征来确定图像传感器340相对于存储图像的相对姿态。此外，处理器310可以基于存储图像的绝对姿态来确定图像传感器340的绝对姿态。

在一些实施例中，处理器310可以训练cnn以将输入图像定位到多个拓扑节点中的一者和遍历通过环境的方向。

在一些实施例中，处理器310可以在环境的一次或多次后续遍历期间使用由单个图像传感器340捕获的一个或多个新输入图像来更新混合slam度量-拓扑地图352。

在一些实施例中，处理器310可以通过执行许多操作来构造混合slam度量-拓扑地图352。例如，处理器310可以执行以下各项：(a)操纵制图代理(例如，设备300或av、uav或机器人)以遍历通过环境；(b)使用立体视觉或制图代理上的深度传感器来捕获环境中的多个离散位置的各个视图的环境的多个图像；(c)构造拓扑地图，所述拓扑地图包括多个拓扑节点的图形，其中制图代理的相应度量姿态与拓扑节点中的每一者相关联；以及(d)对于拓扑节点中的每一者从多个图像中选择一个或多个代表性图像。

在一些实施例中，在操纵中，处理器310可以在遍历通过环境时操纵制图代理(例如，经由动力传动系统和转向系统330和制动系统320)以遵循预定义路径。

在一些实施例中，一个或多个代表性图像中的每一者可对应于一个或多个2d图像关键点和一个或多个深度值。

在一些实施例中，拓扑节点中的每一者可以利用图形边缘连接到多个拓扑节点中的至少一个其他拓扑节点，所述图形边缘与来自多个图像的两个图像相关联。此外，在制图代理遍历环境期间，可以沿不同方向捕获两个图像。

在一些实施例中，处理器310可以操纵设备300(例如，经由动力传动系统和转向系统330和制动系统320)以根据定位结果来遍历通过环境。

图4示出了描绘根据本公开的实施例的示例性过程400的流程图。过程400可以包括被示为框(诸如410和420以及图4的子框422、424和426)的一个或多个操作、动作或功能。尽管被示为离散框，但是根据所需实现方式，可以将过程400的各个框/子框划分成附加的框，组合成更少的框或进行消除。此外，可以重复图4的一些或所有框/子框。出于说明性目的而非限制，提供了对过程400的以下描述，其中设备300在av、uav或机器人中实施或被实施为av、uav或机器人。过程400可以在框410处开始。

在410处，过程400可以涉及设备300的处理器310从单个图像传感器340接收环境的输入图像的数据。过程400可以从410进行到420。

在420处，过程400可以涉及处理器310将输入图像定位到混合slam度量-拓扑地图的多个拓扑节点中的一者，所述slam度量-拓扑地图将环境描述为环境中的多个离散位置处的多个拓扑节点。

在一些实施例中，在将输入图像定位到混合slam度量-拓扑地图的多个拓扑节点中的一者时，过程400可以涉及处理器310执行由子框422、424和426表示的许多操作。

在422处，过程400可以涉及处理器310通过基于深度匹配的图像分类将输入图像与多个拓扑节点中的一者相匹配。过程400可以从422进行到424。

在424处，过程400可以涉及处理器310使用以下各项来执行度量定位：(a)对于拓扑节点中的每一者，在输入图像与存储图像之间匹配的2d图像特征，以及(b)一个或多个对应的3d真实世界点。过程400可以从424进行到426。

在426处，过程400可以涉及处理器310确定图像传感器340在环境中的全6dof姿态。

替代地或另外，在定位输入图像时，过程400可以涉及处理器310使用pnp投影算法来确定图像传感器340的度量姿态。

在一些实施例中，在执行度量定位时，过程400可以涉及处理器310执行多个操作。例如，过程400可以涉及处理器310使用2d图像特征来确定图像传感器340相对于存储图像的相对姿态。此外，过程400可以涉及处理器310基于存储图像的绝对姿态来确定图像传感器340的绝对姿态。

在一些实施例中，过程400可以另外涉及处理器310训练卷积神经网络(cnn)以将输入图像定位到多个拓扑节点中的一者和遍历通过环境的方向。

在一些实施例中，过程400可以另外涉及处理器310在环境的一次或多次后续遍历期间使用由单个图像传感器340捕获的一个或多个新输入图像来更新地图。

在一些实施例中，过程400可以另外涉及处理器310通过执行许多操作来构造混合slam度量-拓扑地图。例如，过程400可以另外涉及处理器310执行以下各项：(a)操纵制图代理(例如，设备300)以遍历通过环境；(b)使用立体视觉或制图代理上的深度传感器来捕获环境中的多个离散位置的各个视图的环境的多个图像；(c)构造拓扑地图，所述拓扑地图包括多个拓扑节点的图形，其中制图代理的相应度量姿态与拓扑节点中的每一者相关联；以及(d)对于拓扑节点中的每一者从多个图像中选择一个或多个代表性图像。

在一些实施例中，在操纵中，过程400可以涉及处理器310在遍历通过环境时操纵制图代理以遵循预定义路径。

在一些实施例中，一个或多个代表性图像中的每一者可对应于一个或多个2d图像关键点和一个或多个深度值。

在一些实施例中，拓扑节点中的每一者可以利用图形边缘连接到多个拓扑节点中的至少一个其他拓扑节点，所述图形边缘与多个图像中的两个图像相关联。此外，在制图代理遍历环境期间，可以沿不同方向捕获两个图像。

在一些实施例中，过程400可以另外涉及处理器310操纵被实施为av、uav或机器人的设备300以根据定位结果来遍历通过环境。

在以上公开内容中，参考形成以上公开内容的一部分的附图，并且在附图中通过说明的方式示出可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。说明书中对于“一个实施例”、“实施例”、“示例性实施例”等的引用指示所述的实施例可以包括特定特征、结构或特性，但每一个实施例都可以不必包括所述特定特征、结构或特性。此外，此类短语不一定是指同一实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否明确描述，结合其他实施例实现这样的特征、结构或特性都在所属领域技术人员的知识范围内。

本文公开的系统、设备、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，诸如像一个或多个处理器和系统存储器，如本文所讨论。本公开的范围内的实现方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。此类计算机可读介质可以为可以由通用或专用计算机系统存取的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态驱动器(“ssd”)(例如，基于ram)、快闪存储器、相变存储器(“pcm”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以计算机可执行指令或数据结构的形式存储所需程序代码手段并且可以由通用或专用计算机存取的任何其他介质。

本文公开的装置、系统以及方法的实现方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，计算机适当地将所述连接视作为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可以用于以计算机可执行指令或数据结构的形式携带所需的程序代码手段并且可以由通用或专用计算机访问。上述组合也应包括在计算机可读介质的范围内。

计算机可执行指令包括例如指令和数据，所述指令和数据当在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能组。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应理解，在所附权利要求中定义的主题不必限于已描述的上述特征或动作。更确切地，所述特征和动作被公开作为实施权利要求的示例性形式。

所属领域技术人员应明白，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费型电子设备、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络连结(通过硬连线数据链路、无线数据链路或通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置两者中。

此外，在适当的情况下，本文描述的功能可以在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可以被编程为执行本文中描述的系统和过程中的一个或多个。某些术语在整个描述和权利要求中用于指代特定的系统部件。所属领域技术人员将明白，可以通过不同名称来提及部件。本文件并不意图区分名称不同但功能相同的部件。

应注意，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置成在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中提供用于说明目的，而不意图进行限制。如相关领域的技术人员知道的，本公开的实施例可在另外的类型的装置中实施。

本公开的至少一些实施例涉及计算机程序产品，其包括(例如，以软件形式)存储在任何计算机可用介质上的此类逻辑。此类软件在一种或多种数据处理装置中执行时使装置如本文所描述的进行操作。

尽管已经在上面描述了本公开的各种实施例，但是应理解，这些实施例仅通过示例而非限制的方式呈现。对于相关领域技术人员显而易见的是，可以在不脱离本公开的精神和范围的情况下做出形式和细节方面的各种改变。因此，本公开的广度和范围不应受上述示例性实施例中的任一者限制，而是应仅根据所附权利要求及其等效物来限定。已经出于说明和描述目的而呈现了前述描述。其并非意图穷举或将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应注意，前述任一个或所有可选实现方式可以通过任何所需组合来使用，以形成本公开的另外的混合实现方式。

根据本发明，一种方法包括：从单个图像传感器接收环境的输入图像的数据；以及将所述输入图像定位到混合同时定位和制图(slam)度量-拓扑地图的多个拓扑节点中的一者，所述slam度量-拓扑地图将所述环境描述为所述环境中的多个离散位置处的所述多个拓扑节点。

根据一个实施例，定位所述输入图像包括使用透视n点(pnp)投影算法来确定所述图像传感器的度量姿态。

根据一个实施例，将所述输入图像定位到所述多个拓扑节点中的一者包括通过基于深度学习的图像分类将所述输入图像与所述多个拓扑节点中的所述一者相匹配。

根据一个实施例，将所述输入图像定位到所述多个拓扑节点中的一者还包括：使用对于所述拓扑节点中的每一者在所述输入图像与存储图像之间匹配的二维(2d)图像特征以及一个或多个对应的三维(3d)真实世界点来执行度量定位；以及确定所述图像传感器在所述环境中的全六自由度(6dof)姿态。

根据一个实施例，执行所述度量定位还包括：使用所述2d图像特征来确定所述图像传感器相对于所述存储图像的相对姿态；以及基于所述存储图像的绝对姿态来确定所述图像传感器的绝对姿态。

根据一个实施例，本发明的特征还在于：训练卷积神经网络(cnn)以将所述输入图像定位到所述多个拓扑节点中的一者和遍历通过所述环境的方向。

根据一个实施例，本发明的特征还在于：在所述环境的一次或多次后续遍历期间使用由所述单个图像传感器捕获的一个或多个新输入图像来更新所述地图。

根据一个实施例，本发明的特征还在于：通过执行包括以下各项的操作来构造所述混合slam度量-拓扑地图：操纵制图代理以遍历通过所述环境；使用立体视觉或所述制图代理上的深度传感器来捕获所述环境中的所述多个离散位置的各个视图的所述环境的多个图像；构造拓扑地图，所述拓扑地图包括所述多个拓扑节点的图形，其中所述制图代理的相应度量姿态与所述拓扑节点中的每一者相关联；以及对于所述拓扑节点中的每一者从所述多个图像中选择一个或多个代表性图像。

根据一个实施例，所述操纵包括在遍历通过所述环境时操纵所述制图代理以遵循预定义路径。

根据一个实施例，所述一个或多个代表性图像中的每一者对应于一个或多个二维(2d)图像关键点和一个或多个深度值。

根据一个实施例，所述拓扑节点中的每一者利用图形边缘连接到所述多个拓扑节点中的至少一个其他拓扑节点，所述图形边缘与所述多个图像中的两个图像相关联，并且其中所述两个图像是在所述制图代理遍历所述环境期间沿不同方向捕获。

根据一个实施例，本发明的特征还在于：根据所述定位结果来操纵自主车辆(av)、无人驾驶飞行器(uav)或机器人来遍历通过所述环境。

根据本发明，提供了一种设备，所述设备具有：单个图像传感器，其能够捕获环境的输入图像；以及处理器，其被耦合以从所述单个图像传感器接收所述输入图像的数据，所述处理器能够将所述输入图像定位到混合同时定位和制图(slam)度量-拓扑地图的多个拓扑节点中的一者，所述slam度量-拓扑地图将所述环境描述为所述环境中的多个离散位置处的所述多个拓扑节点。

根据一个实施例，在定位所述输入图像时，所述处理器能够使用透视n点(pnp)投影算法来确定所述图像传感器的度量姿态。

根据一个实施例，在将所述输入图像定位到所述多个拓扑节点中的一者时，所述处理器能够通过基于深度学习的图像分类将所述输入图像与所述多个拓扑节点中的所述一者相匹配。

根据一个实施例，在将所述输入图像定位到所述多个拓扑节点中的一者时，所述处理器还能够：使用对于所述拓扑节点中的每一者在所述输入图像与存储图像之间匹配的二维(2d)图像特征以及一个或多个对应的三维(3d)真实世界点来执行度量定位；以及确定所述图像传感器在所述环境中的全六自由度(6dof)姿态。

根据一个实施例，在执行所述度量定位时，所述处理器还能够：使用所述2d图像特征来确定所述图像传感器相对于所述存储图像的相对姿态；以及基于所述存储图像的绝对姿态来确定所述图像传感器的绝对姿态。

根据一个实施例，所述处理器还能够训练卷积神经网络(cnn)以将所述输入图像定位到所述多个拓扑节点中的一者和遍历通过所述环境的方向。

根据一个实施例，所述处理器还能够在所述环境的一次或多次后续遍历期间使用由所述单个图像传感器捕获的一个或多个新输入图像来更新所述地图。

根据一个实施例，所述处理器还能够根据所述定位结果来操纵自主车辆(av)、无人驾驶飞行器(uav)或机器人来遍历通过所述环境。