使用关联特征对的车辆位置确定或导航的制作方法

本申请要求案卷号为CRNZ 0052 MA的、于2014年6月27日提交的美国临时申请第62/018094号的优先权，其全部内容通过引用并入本文。

技术领域

本说明书一般地涉及用于基于天花板灯的特征为工业车辆提供全局定位的系统和方法，并且更具体地涉及用于使用全局定位来分析仓库中天花板灯的独特星座或图案以跟踪具有已知位置或未知位置的工业车辆的位置的系统和方法。

背景技术：

为了围绕工业环境移动物件，工人经常使用工业车辆，包括例如叉车、手动和马达驱动的托板车、和/或其他材料搬运车辆。工业车辆可以被配置为通过环境而导航的手动导向的车辆或者自动导向的车辆。为了便于自动导向、导航或者两者，工业车辆可以适于在环境内定位。也就是说，工业车辆可以被改造为具有传感器和处理器，用于确定工业车辆在环境内的定位，诸如例如工业车辆的姿态和位置。传感器可以被配置为检测环境中的对象，并且定位可以依赖于从这些检测到的对象中提取的特征。

技术实现要素：

在一个实施例中，材料搬运车辆可以包括相机、一个或多个车辆处理器、被配置为沿库存运送面移动材料搬运车辆的驱动机构、被配置为在工业设施的存储仓中存储和取回货物的材料搬运机构、以及与驱动机构和材料搬运机构通信的车辆控制架构。相机可以通信地耦合到一个或多个车辆处理器并且捕捉头顶特征的输入图像。工业设施地图可以包括与头顶特征的映射关联的多个三维全局特征点。材料搬运车辆的一个或多个车辆处理器可以执行车辆功能以：通过取回来自相机的包括二维UV空间信息的相机数据的初始集合、形成来自UV空间信息的对、以及将来自UV空间信息的对与来自工业设施地图的多个三维全局特征点的对关联，创建多个关联特征对；针对在相机的视觉范围内的关联特征对计算车辆姿态。材料搬运车辆的一个或多个车辆处理器可进一步执行车辆功能以：基于多个关联特征对中的最高评级对(highest-rated pair)计算材料搬运车辆的最佳估计姿态；使用与材料搬运车辆关联的累积的里程将最佳估计姿态更新到当前所定位的位置；将种子位置设置为当前所定位的位置；使用当前所定位的位置，跟踪材料搬运车辆沿库存运送面的导航、以至少部分自动的方式沿库存运送面导航材料搬运车辆、或者两者。

在另一个实施例中，系统可以包括材料搬运车辆和管理服务器。材料搬运车辆可以包括相机、一个或多个车辆处理器、被配置为沿库存运送面移动材料搬运车辆的驱动机构、被配置为在工业设施的存储仓中存储和取回货物的材料搬运机构、以及与驱动机构和材料搬运机构通信的车辆控制架构。相机可以通信地耦合到一个或多个车辆处理器和管理服务器，并且可以捕捉头顶特征的输入图像。一个或多个车辆处理器可以通信地耦合到管理服务器。工业设施地图可以存储在管理服务器上，并且可以通信地耦合到一个或多个车辆处理器，其中工业设施地图包括与头顶特征的映射关联的多个三维全局特征点。材料搬运车辆的一个或多个车辆处理器可以执行车辆功能以：通过取回来自相机的包括二维UV空间信息的相机数据的初始集合、形成来自UV空间信息的对、以及将来自UV空间信息的对与来自工业设施地图的多个三维全局特征点的对关联，创建多个关联特征对。材料搬运车辆的一个或多个车辆处理器可以进一步执行车辆功能以：针对在相机的视觉范围内的关联特征对计算车辆姿态；基于多个关联特征对中的最高评级对计算材料搬运车辆的最佳估计姿态；使用与材料搬运车辆关联的累积的里程将最佳估计姿态更新到当前所定位的位置；将种子位置设置为当前所定位的位置；以及使用当前所定位的位置，跟踪材料搬运车辆沿库存运送面的导航、以至少部分自动的方式沿库存运送面导航材料搬运车辆、或者两者。

在实施例中，一个或多个车辆处理器可以进一步执行车辆功能，以在将种子位置更新为当前所定位的位置之前验证当前所定位的位置。这样的验证可以包括以下功能：在每个数据关联步骤之后记录唯一全局特征点的数量，直到该数量在阈值以上，使得种子位置作为当前所定位的位置被验证。

在实施例中，一个或多个车辆处理器可以进一步执行车辆功能，以在将种子位置更新为当前所定位的位置之后在显示器上将种子位置公布为当前所定位的位置。

在实施例中，一个或多个车辆处理器可以进一步执行车辆功能以：确定材料搬运车辆是否丢失；以及如果确定材料搬运车辆丢失，则取回来自相机的相机数据的后续集合，并且使用来自相机的相机数据的后续集合取代来自相机的相机数据的初始集合重复以下功能直到找到材料搬运车辆：(i)通过取回来自相机的包括二维UV空间信息的相机数据的后续集合、形成来自UV空间信息的对、以及将来自UV空间信息的对与来自工业设施地图的多个三维全局特征点的对关联，创建多个关联特征对；(ii)针对在相机的视觉范围内的关联特征对计算车辆姿态；(iii)基于多个关联特征对中的最高评级对计算材料搬运车辆的最佳估计姿态；(iv)使用与材料搬运车辆关联的累积的里程将最佳估计姿态更新到当前所定位的位置；(v)将种子位置设置为当前所定位的位置；以及使用当前所定位的位置，跟踪材料搬运车辆沿库存运送面的导航、以至少部分自动的方式沿库存运送面导航材料搬运车辆、或者两者。

在实施例中，材料搬运车辆是否丢失的确定可以至少部分地基于种子位置是否包括错误的数据。在实施例中，材料搬运车辆是否丢失的确定可以至少部分地基于相机数据是否不足以校正与累积的里程关联的误差。在实施例中，多个关联特征对是通过数据关联步骤创建的，该数据关联步骤可以包括：创建UV空间信息对；将每个全局特征点与每个UV空间信息对中的第一UV空间特征关联；以及将相机的最大视觉范围内的每个全局特征点与每个UV空间信息对中的第二UV空间特征关联。

在实施例中，针对相机的视觉范围内的每个关联特征对的车辆姿态的计算可以至少部分地基于全局定位算法的使用。全局定位算法可以包括这样的公式，该公式计算车辆关于可以作为锚定特征的关联特征对的第一UV空间特征的偏航。该公式可以包括：N是两个3D向量的叉积；

T是用于偏航旋转的目标3D点；以及

在实施例中，基于多个关联特征对中的最高评级对对材料搬运车辆的最佳估计姿态的计算可以至少部分地基于对每个计算出的车辆姿态的姿态总和误差(pose sum error)的计算，其中最高评级对具有最低的姿态总和误差。

在另一个实施例中，沿库存运送面导航材料搬运车辆或者跟踪材料搬运车辆沿库存运送面的导航的方法可以包括：在工业设施的库存运送面上布置材料搬运车辆，其中材料搬运车辆与管理服务器通信，其中材料搬运车辆包括相机、一个或多个车辆处理器、被配置为沿库存运送面移动材料搬运车辆的驱动机构、被配置为在工业设施的存储仓中存储和取回货物的材料搬运机构、以及与驱动机构和材料搬运机构通信的车辆控制架构。该方法可以进一步包括：使用驱动机构以沿库存运送面移动材料搬运车辆；当材料搬运车辆沿库存运送面移动时，经由相机捕捉工业设施的头顶特征的输入图像；提供工业设施地图，该工业设施地图包括与天花板灯的映射关联的多个三维全局特征点；以及通过取回来自相机的包括二维UV空间信息的相机数据的初始集合、形成来自UV空间信息的对、以及将来自UV空间信息的对与来自工业设施地图的多个三维全局特征点的对关联，创建多个关联特征对。该方法可以进一步包括：经由一个或多个车辆处理器，针对在相机的视觉范围内的关联特征对计算车辆姿态；经由一个或多个车辆处理器，基于多个关联特征对中的最高评级对计算材料搬运车辆的最佳估计姿态；使用与材料搬运车辆关联的累积的里程将最佳估计姿态更新到当前所定位的位置；以及将种子位置设置为当前所定位的位置。该方法可以进一步包括：经由一个或多个车辆处理器和管理服务器，使用当前所定位的位置，跟踪材料搬运车辆沿库存运送面的导航、以至少部分自动的方式沿库存运送面导航材料搬运车辆、或者两者。

在实施例中，该方法可以进一步包括：在将种子位置更新为当前所定位的位置之前验证当前所定位的位置。该验证可以包括：在每个数据关联步骤之后记录唯一全局特征点的数量，直到该数量在阈值以上，使得种子位置作为当前所定位的位置被验证。在实施例中，该方法可以进一步包括：在将种子位置更新为当前所定位的位置之后在显示器上将种子位置公布为当前所定位的位置。

在实施例中，该方法可以进一步包括：确定材料搬运车辆是否丢失；如果确定材料搬运车辆丢失，则通过取回来自相机的包括二维UV空间信息的相机数据的后续集合、形成来自UV空间信息的对、以及将来自UV空间信息的对与来自工业设施地图的多个三维全局特征点中的每一个的对关联而创建多个新的关联特征对来寻找材料搬运车辆；经由一个或多个车辆处理器，针对在相机的视觉范围内的每个新的关联特征对计算车辆姿态；经由一个或多个车辆处理器，基于多个新的关联特征对中的最高评级对计算材料搬运车辆的新的最佳估计姿态；使用与材料搬运车辆关联的累积的里程将新的最佳估计姿态更新到新的当前所定位的位置；以及将种子位置设置为新的当前所定位的位置。

鉴于下面结合附图的详细描述，将更全面地理解由本文中所描述的实施例提供的这些特征和附加特征。

附图说明

附图中阐述的实施例本质上是示意性的和示例性的，并且不是旨在限制权利要求所限定的主题。当结合下面的附图阅读时，示意性实施例的以下详细描述可以被理解，在附图中用相同的参考标号指示相同的结构，并且其中：

图1描绘了根据本文中显示和描述的一个或多个实施例的用于定位的车辆；

图2描绘了示出根据本文中显示和描述的一个或多个实施例的示例性定位系统的框图；

图3描绘了根据本文中显示和描述的一个或多个实施例的用于在定位处理内的相机特征提取及应用以及全局定位方法的验证的示例性方法的流程图；

图4描绘了根据本文中显示和描述的一个或多个实施例的用于全局定位方法的示例性方法的流程图概要；

图5描绘了根据本文中显示和描述的一个或多个实施例的包括UV空间特征A、B、C和D的示例性UV图像空间观测；

图6描绘了根据本文中显示和描述的一个或多个实施例的包括全局特征1-12的示例性全局定位图示；

图7描绘了基于图6并且根据本文中显示和描述的一个或多个实施例的全部可能的全局特征对组合的列表；

图8描绘了根据本文中显示和描述的一个或多个实施例的包括全局特征1-12和相机的最大视觉范围或视场的示例性全局定位图示；

图9描绘了根据本文中显示和描述的一个或多个实施例的包括围绕全局特征的圆形路径的示例性车辆路径图示，该圆形路径包括与图5中所示的UV-空间观测匹配的全部可能的车辆位置和姿态。

图10a描绘了根据本文中显示和描述的一个或多个实施例的全局特征对的示例性图示，其中该对中的第二全局特征跟踪围绕第一全局特征的圆形路径并且两个特征在基本相同的高度上。

图10b描绘了根据本文中显示和描述的一个或多个实施例的全局特征对的示例性图示，其中该对中的第二全局特征跟踪围绕第一全局特征的扭曲路径并且特征在不同高度上。

图11a描绘了根据本文中显示和描述的一个或多个实施例的图10a的示例性图示，该示例性图示显示有效的关联特征以及显示与车辆的航向一起绘制的第二全局特征的观测到的UV-空间点，所述车辆的航向是第一全局特征点与所绘制的观测到的第二全局特征点之间的线的角度；

图11b描绘了根据本文中显示和描述的一个或多个实施例的图10b的示例性图示，该示例性图示显示无效的关联特征以及显示与车辆的航向一起绘制的第二全局特征的观测到的UV-空间点，所述车辆的航向是第一全局特征点与所绘制的观测到的第二全局特征点之间的线的角度；

图12a描绘了根据本文中显示和描述的一个或多个实施例的在UV空间中的观测到的全局特征与预测的全局特征之间的图像空间误差计算的第一集合及其被显示为像素差的关联的总和误差(sum error)的示例性图示；

图12b描绘了根据本文中显示和描述的一个或多个实施例的在UV空间中的观测到的全局特征与预测的全局特征之间的图像空间误差计算的第二集合及其被显示为像素差的关联的总和误差的示例性图示；

图13描绘了根据本文中显示和描述的一个或多个实施例的示例性的累积里程程序流程方法的流程图概要；以及

图14描绘了根据本文中显示和描述的一个或多个实施例的示例性的定位系统验证程序流程方法的流程图概要。

具体实施方式

本文中所描述的实施例一般地涉及用于从头顶照明装置提取特征的定位技术，头顶照明装置包括但不限于天窗。定位是本文中用来指代启用对仓库、工业设施或其他环境中的车辆位置的主动跟踪的各种系统配置中的任意系统配置的短语。本公开的概念不限于任何特定的定位系统配置，并且本公开的概念被认为可应用于各种传统的定位系统和尚待开发的定位系统中的任意定位系统。如下面将进一步更详细地描述的，定位系统可以与全局定位方法(GLM)和/或验证系统一起使用，使得如果工业车辆通过定位系统方法而丢失，则可以使用GLM恢复该车辆，并且在公布新的当前车辆定位之前，验证系统可以被用来检查恢复的准确性。附加地或者可替换地，GLM可以被用作定位系统本身以及恢复系统，和/或验证系统可以与定位系统和/或GLM系统一起使用。

定位系统可以被用来定位和/或导航工业车辆通过建筑结构，诸如仓库。合适地，头顶照明装置可以被安装在建筑物的天花板内或天花板上。然而，在一些实施例中，照明装置还可以或可选地经由合适的结构从天花板或墙壁悬挂。在一些实施例中，相机可以被安装到导航通过仓库的工业车辆(例如自动导向的车辆或者手动导向的车辆)。在从图像提取特征之前，输入图像可以是从相机捕捉的任意图像。

现在参考图1，车辆100可以被配置为导航通过诸如仓库110的工业设施。车辆100可以包括材料搬运车辆，该材料搬运车辆包括沿库存运送面移动材料搬运车辆的驱动机构、被配置为在工业设施的存储仓中存储和取回货物的材料搬运机构、以及与驱动机构和材料搬运机构通信的车辆控制架构。车辆100可以包括用于提举和移动负载的工业车辆，诸如例如升降叉车(forklift truck)、前伸式叉车(reach truck)、转塔车(turret truck)、步行式堆垛叉车(walkie stacker truck)、拖拉机、码垛车(pallet truck)、高/低、堆垛车(stacker truck)、架式挂车(trailer loader)、侧向装载机(side loader)、叉式起重机(fork hoist)等。工业车辆可以被配置为自动地或手动地沿着期望的路径导航库存运送面，诸如仓库110的面122。相应地，车辆100可以通过一个或多个车轮124的旋转而被向前和向后引导。附加地，可以通过转向一个或多个轮124而使车辆100改变方向。可选地，车辆可以包括操作者控件126以控制车辆的功能，诸如但不限于车轮124的速度、车轮124的朝向等。操作者控件126可以包括被分配给车辆100的功能的控件，诸如例如开关、按钮、杆、手柄、踏板、输入/输出设备等。注意，本文中所使用的术语“导航”可以指控制车辆从一个地方到另一个地方的移动。

车辆100还可以包括用于捕捉头顶图像(诸如头顶特征的输入图像)的相机102。相机102可以是能够捕捉对象的视觉外观并将该视觉外观转换成图像的任何设备。相应地，相机102可以包括图像传感器，诸如例如电荷耦合器件、互补金属氧化物半导体传感器或其功能等同物。在一些实施例中，车辆100可以位于仓库110内，并且可以被配置为捕捉仓库110的天花板112的头顶图像。为了捕捉头顶图像，相机102可以被安装到车辆100并且聚焦于天花板112。为了定义和描述本公开的目的，本文中所使用的术语“图像”可以指所检测到的对象的外观的表现形式。图像可以以各种机器可读的表现形式来提供，诸如例如JPEG、JPEG 2000、Exif、TIFF、原始图像格式、GIF、BMP、PNG、Netpbm格式、WEBP、光栅格式、向量格式或适合于捕获头顶对象的任何其他格式。

仓库110的天花板112可以包括头顶灯，诸如但不限于用于从天花板112或者大体从在仓库中操作的车辆上方提供照明的天花板灯114。天花板灯114可以包括基本矩形的灯，诸如例如天窗116、荧光灯等；并且天花板灯114可以被安装在天花板或墙壁结构中或者从天花板或墙壁结构悬挂，以便从上方提供照明。如本文中所使用的，术语“天窗”可以指在天花板或屋顶中的孔，其装配有用于准许日光进入的基本上透光的介质，诸如例如空气、玻璃、塑料等。尽管天窗可以有各种形状和尺寸，但是本文中所描述的天窗可以包括“标准”长、基本矩形的天窗，其可以或可以不被桁材或横杆分成一系列面板。可替换地，天窗可包括尺寸类似于卧室窗户的矩形或圆形形状的较小、离散的天窗，即约30英寸乘约60英寸(约73厘米乘约146厘米)。可替换地或者附加地，天花板灯114可以包括基本圆形的灯，诸如例如圆形灯118、合并灯(merged light)120等，合并灯120可以包括看起来像单个对象的多个相邻的圆形灯。因此，头顶灯或“天花板灯”包括自然(例如阳光)和人造(例如电气供电的)的光源。

本文中所描述的实施例可以包括通信地耦合到相机102的一个或多个车辆处理器，诸如处理器104。一个或多个处理器104可以执行机器可读指令以自动地实现本文中所描述的任意方法或功能。用于存储机器可读指令的存储器106可以通信地耦合到一个或多个处理器104、相机102、或它们的任意组合。一个或多个处理器104可以包括处理器、集成电路、微芯片、计算机、或者能够执行机器可读指令或已经被配置为以类似于机器可读指令的方式执行功能的任何其他计算设备。存储器106可以包括RAM、ROM、闪存存储器、硬盘驱动器、或者能够存储机器可读指令的任何非暂态设备。

一个或多个处理器104和存储器106可以与相机102是一体的。可替换地或者附加地，一个或多个处理器104和存储器106中的每个可以与车辆100是一体的。此外，一个或多个处理器104和存储器106中的每个可以与车辆100和相机102分离。例如，管理服务器、服务器或者移动计算设备可以包括一个或多个处理器104、存储器106、或者两者。注意，在不偏离本公开的范围的情况下，一个或多个处理器104、存储器106、以及相机102可以是相互通信地耦合的离散部件。相应地，在一些实施例中，一个或多个处理器104的部件、存储器106的部件、以及相机102的部件可以物理地彼此分离。本文中所使用的短语“通信地耦合”指部件能够互相交换数据信号，诸如例如经由导电介质交换电信号、经由空气交换电磁信号、经由光波导交换光学信号等。

因此，本公开的实施例可以包括以任何一代(例如,1GL、2GL、3GL、4GL、或者5GL)的任意编程语言编写的逻辑或者算法。逻辑或算法可以被编写为可由处理器直接执行的机器语言，或者可被编译或汇编成机器可读指令并存储在机器可读介质上的汇编语言、面向对象的编程(OOP)、脚本语言、微码等。可替换地或者附加地，逻辑或算法可以以硬件描述语言(HDL)编写。此外，可以经由现场可编程门阵列(FPGA)配置或者专用集成电路(ASIC)或者它们的等同物来实现逻辑或算法。

如以上提及的，车辆100可以包括一个或多个处理器104或者与一个或多个处理器104通信地耦合。相应地，一个或多个处理器104可以执行机器可读指令以操作或代替操作者控件126的功能。机器可读指令可以被存储在存储器106上。相应地，在一些实施例中，车辆100可以通过一个或多个处理器104执行机器可读指令来自动地导航。在一些实施例中，在导航车辆100时，车辆的位置可以被定位系统监控。

例如，基于车辆100的所定位的位置，车辆100可以沿仓库110的面122自动地沿期望的路径导航到期望的位置。在一些实施例中，车辆100可以确定车辆100相对于仓库110的所定位的位置。车辆100的所定位的位置的确定可以通过比较图像数据与地图数据而执行。地图数据可以本地存储在存储器106中，地图数据可以定期更新，或者地图数据可由服务器等提供。在实施例中，工业设施地图包括与头顶特征的映射关联的多个三维全局特征点。给定所定位的位置和期望的位置，可以为车辆100确定行进路径。一旦知道了行进路径，车辆100可以沿行进路径行进以导航于仓库110的面122。具体而言，一个或多个处理器106可以执行机器可读指令以执行定位系统功能并且操作车辆100。在一个实施例中，一个或多个处理器106可以调整车轮124的转向以及控制油门以使车辆100导航于面122。

现在参考图2，示意性地描绘了用于将特征提取算法与里程融合综合在一起的定位系统的功能序列的流程图。注意，尽管在所描绘的实施例中，功能如以特定次序执行的那样被列举和描绘，但是这些功能也可以以替代性的顺序执行而不偏离不公开的范围。此外注意，功能中的一个或多个可以被省略而不偏离本文中所描述的实施例的范围。为了示意性的目的，在定位系统的图2中发现的框图中进一步示出所使用的定位系统200的示例，其形成本公开的组成部分。所示的系统通过从仓库中的已知位置(即，种子)启动以及使用融合的里程进行航位推算来操作。为了校正与航位推算关联的误差，注视着天花板的相机将匹配所映射的特征并且使用独立数据来提供校正性反馈。例如，系统200包括相机202，相机202沿通信耦合系统(诸如以太网204)连接到图像处理天花板灯提取系统206。作为示例而非限制，图像处理天花板灯提取系统206可以以4Hz操作，并且可以使用算法来提取特征，诸如二维UV-空间点或者来自头顶特征或灯的图像。例如，系统200进一步包括与车辆100关联的、以60Hz操作的初始测量单元(IMU)210，初始测量单元210与车辆100的以60Hz操作的里程212交互，以沿路径214组合形成以60Hz操作的IMU-里程融合216。例如，IMU-里程融合216沿路径218与图像处理天花板灯提取206组合以创建传感器数据融合220，传感器数据融合220被放置为通过扩展的卡尔曼滤波器。例如，灯地图208与传感器数据融合220以及以60Hz操作的线导向222组合，以沿can总线路径226行进并确定卡车定位228，卡车定位228包括诸如x坐标、y坐标、以及航向或者方向的姿态数据。

参考图3，处理300包括定位系统操作300a、恢复操作300b、以及验证处理300c。定位系统操作300a被显示，其中新的相机数据302与新的里程数据304被组合，以在计算步骤306中计算车辆100的当前定位系统位置，随后在公布步骤308中公布当前定位系统位置。在实施例中，材料搬运车辆相对于工业设施的库存运送面的所定位的位置是基于材料搬运车辆在工业设施中的种子位置以及与材料搬运车辆关联的航位推算而确定的。例如，来自相机的相机数据的初始集合被使用并且包括二维UV空间信息，以为所定位的位置提供校正性反馈。所定位的位置被用来跟踪材料搬运车辆沿库存运送面的导航和/或以至少部分自动的方式沿库存运送面导航材料搬运车辆。

如果相机数据不足以校正航位推算误差，或者用以启动的种子是错误的；则系统变成丢失。类似的挑战与其他类型的定位系统关联。在实施例中，材料搬运车辆是基于工业设施种子位置是否包括错误的数据和/或相机数据是否不足以校正与航位推算关联的误差而被确定为丢失的。可以想到，返回到定位的状态的方式将是从已知的启动位置重新(re-seed)定位。例如，即使当卡车的位置丢失或未知时，包括本文中所描述的算法并且在下面更详细描述的全局定位方法(GLM)使用相机所观测到的灯星座或者图案(被转换为二维(2D)UV空间坐标)以及在相机的视觉范围内可观测到的全部灯的已映射的全局位置的知识(以三维(3D)坐标的形式提供)来计算卡车的位置。例如，这样的GLM使用仓库中的多个不同高度处的灯来工作，传统方法没有实现这些。在实施例中，GLM可以被用作可以定位初始种子位置的单独的定位系统，继之以下面关于恢复操作300b所阐述的类似的处理。

图3的示图显示了在定位系统中如何使用GLM从丢失状态恢复。当所使用的定位系统变成丢失使得工业车辆的位置未知时，GLM开始对于新的相机数据以单独的线程运行。GLM将会将相机数据所提供的二维(2D)UV空间信息关联到地图中的被显示为全局特征的三维(3D)灯，并且随后计算工业车辆的全局位置。例如，通过取回来自相机的包括二维UV空间信息的相机数据的初始集合、形成来自UV空间信息的对、以及将来自UV空间信息的每个对与来自工业设施地图的多个三维全局特征点中的每一个的对关联，创建多个关联特征对。如下面进一步更详细地描述的，针对相机的视觉范围内的每个关联特征对计算车辆姿态，并且基于多个关联特征对中的最高评级对计算材料搬运车辆的最佳估计姿态。如下面描述的，与材料搬运车辆关联的累积的里程被用来将最佳估计姿态更新到当前所定位的位置，并且种子位置被设置为当前所定位的位置。使用当前所定位的位置，跟踪材料搬运车辆沿库存运送面的导航和/或以至少部分自动的方式沿库存运送面导航材料搬运车辆。

例如，在定位系统的线程上，当GLM正在运行时，用于工业车辆的里程数据被累积。当GLM成功时，累积的里程被用来将来自GLM的计算出的姿态更新到工业车辆的当前位置。该工业车辆位置被用来作为定位系统在验证状态中的种子。在定位系统验证状态中，定位系统将正常运行，但是将不会公布其当前定位。例如，当验证已经通过匹配阈值(诸如仓库中的灯的特定数量)而成功时，定位系统可以开始公布当前姿态。

例如，参考图3，在步骤310中确定当前位置丢失之后，发起恢复操作300b。恢复操作300b包括在步骤312中清除累积里程，以及在步骤314中应用全局定位方法(GLM)。GLM的应用包括使用新的相机数据316来计算当前位置以及在步骤324中确定方法是否成功。如果未成功，则GLM被再次应用直到方法成功。当方法成功时，新的里程数据318与步骤320的航位推算的累积的里程一起被使用，以提供累积的里程322，该累积的里程322在步骤326中与步骤324的成功的GLM一起被应用，以在步骤328中计算当前定位系统位置。

随后可以应用验证处理300c，以在步骤308中公布位置之前验证步骤328的计算出的位置。例如，在步骤328中使用新的相机数据330和新的里程数据332来计算当前定位系统位置，并且在步骤334中记录和计数匹配的新的全局特征。如果车辆100在步骤336中变成丢失，则恢复操作300b再次开始。如果车辆100没有丢失，并且匹配的新的全局特征的计数超出阈值，则如下面进一步更详细地描述的，在步骤338中认为验证状态完成，并且定位系统退出验证状态以在步骤308中公布定位数据。如果在步骤338中不认为验证步骤完成，则验证处理300c继续，直到认为验证步骤完成。

本公开下面更详细地描述GLM，包括算法和过滤处理、以及从定位系统线程(或者用作定位系统的单独的GLM线程)到成功的GLM恢复线程收集和应用累积里程的框架和方法。此外，定位系统验证算法或方法被更详细地阐述和描述。

参考图4，流程图示出了GLM中的步骤的概要，GLM使用相机所观测到的二维中的特征、UV-空间坐标来确定工业车辆的定位，所述UV-空间坐标与来自相机正在观测的范围以及来自代表全局特征点的3D坐标的全局地图的对应三维(3D)坐标关联。在这些关联特征被匹配之后，进行过滤以对关联特征提供评级或排名。这些关联特征的对(这样的关联特征包括已知的2D UV-空间坐标和全局3D坐标两者)(例如，可以是排名最高的对)足以确定跟踪的全局位置。

总体来说，图4显示了GLM概要400，GLM概要400以捕捉新的相机数据的步骤401开始。新的相机数据提供与相机的视觉范围中的全局3D坐标关联的、二维的UV-空间坐标，以如步骤402中所示地生成工业设施或仓库中的关联特征对的可能组合(尽管也能够生成工业设施或仓库中的关联特征对的全部可能的组合)。在步骤404中，从每个关联特征对计算该GLM所应用到的工业车辆的姿态。每个计算出的姿态针对其他计算出的姿态被排名和评级。例如，在步骤406中，通过比较预测的相机视图和观测到的相机视图的实际相机数据，进一步计算来自每个关联特征对的在每个计算出的姿态处的总和误差，其中较低的总和误差指示预测的视图和观测到的视图之间较好的匹配。具有高于(如系统或者用户设置的)阈值的总和误差的工业车辆的姿态被认为是无效的匹配并且被滤除。通过步骤408进行和重复这样的过滤，直到在步骤410中剩下单个姿态，这随后在步骤412中指示GLM成功。

对于图4的步骤402，图5-8提供了关于该步骤402的进一步细节，该步骤402示出了生成工业设施或仓库中的关联特征对的可能组合。例如，当工业车辆位置未知或丢失时，没有足够的信息以直接匹配2D UV-空间特征(如下面图5中所示的)与仓库地图中的全局特征(如下面图6中所示的)。因此，2D UV-空间特征和3D全局特征对之间的每个可能组合可以被生成为关联特征对，而检测到的错误的关联特征对可以被从列表或者所生成的关联特征对中滤除。由于仅需一对关联特征来计算工业车辆的姿态，所以2D UV空间特征被分组为唯一的对以避免工作的重复。例如，图5的4个特征A-D被分组成以下6个对：AB、AD、AD、BC、BD和CD。

尽管2D UV-空间特征的对(诸如可从图5的图示500中所示的4个2D UV-空间特征导出的6个非重复的对)要与全局特征的对(诸如从图6的图示600中所示的12个全局特征导出的对)关联，但是应当理解的是，物理上离得太远而不能在来自区域602的单个相机帧中捕捉并且因此在相机的视图之外的全局特征不适合于这样的关联以创建关联特征对。在实施例中，对匹配算法将确定第一对UV-空间特征(诸如A-B)，并且随后将每个全局特征关联到该对中的第一UV-空间特征(诸如A-B:1到A-B:12)。第二UV-空间特征随后被关联到在第一关联特征的相机的最大视觉范围内的每个全局特征。例如，参考图5和图6，如果全局特征1、2、3和6在UV-空间特征A的最大视觉范围内，则相对于作为示例的A-B:1的对将是A-B:1-2、A-B:1-3以及A-B:1-6。应用该对匹配算法允许可在要生成的同一相机帧内观测到的全局特征的每个可能的排列。

参考图7，图6的12个全局特征的全部可能的特征对被列出在表700中。如果从这些列出的对创建每个可能的关联特征对，则下面等式1中所示的公式将产生792个关联特征对。

等式1：

对于n中的k个排列，针对全部可能的非重复的关联特征对，该等式为个观测到的UV对*个全局对＝792个关联特征对。

在实施例中，减少所分析的全局特征对的数量的算法可以被用来选择只在相机的视场或视觉范围中可见的那些全局特征。例如，图7以黑体印刷显示了在相机的视觉范围内的视觉范围对。如果将等式1应用到图7中的黑体印刷项，则等式将产生6个(观测到的对)*45个(黑体印刷全局对)＝270个关联特征对。再次参考图6，在图8的图示800中将来自区域802的视觉范围示意地描绘为虚线圆形线804内的区域。在虚线圆形线的可见范围内的中心全局特征点和全部其他全局特征点之间创建对。黑体的视觉范围对被选择为全局特征对进行分析，并且等式1被应用以生成以下结果：

等式2：

个观测到的UV对*个全局对＝180个关联特征对。

因此，当只分析图8的相机的视觉范围内的那些关联特征对时，不是分析总数792个关联特征对，而是该数量被减小到分析180个关联特征对。

对于图4的步骤404，图9-图11b提供关于该步骤404的进一步细节，该步骤404示出从每个所分析的关联特征对计算工业车辆的各个姿态。例如，使用关联特征对可以计算工业车辆的全局姿态。第一关联特征对可以被假定为UV-空间特征对和全局特征对之间的正确关联。如图9中所示，可以存在围绕全局特征点的圆形路径，该圆形路径包括工业车辆与UV-空间观测匹配的全部可能的位置。

如果工业车辆围绕图9中所示的圆形路径行进，则关联的相机将观测到第二全局特征点跟踪围绕第一全局特征点1002a的圆形路径。当两个全局特征点都在基本相同的高度上时，所示的路径将是如图10a的图示1000a中所示的圆形1004a。当全局特征点在不同的高度上时，路径1004b将围绕点1002b更加扭曲并且较不圆，如图10b的图示1000b中所示。P1可以是被假定为正确地定位的第一全局特征点，而P2可以是关联特征对中的预测的第二全局特征点的围绕P1的路径。

参考图11a的图示1100a，第二全局特征点的预测的UV-空间路径P2(如图10a上围绕P1点1102a的路径1104a所绘制的)被附加地显示为具有观测到的或实际的P2UV-空间点1106以及显示工业车辆的航向或方向的线1110a。例如，在UV-空间图示上，P1和观测到的P2点之间的线相对于与点P1相交的水平线1108的角度α表示工业车辆的航向。在工业车辆的航向已知的情况下，可以计算工业车辆在图9的圆形路径上或圆形路径内的确切定位。

参考图11b的图示1100b，显示了无效的关联特征对。例如，航向相对于线1108的偏航或者角度α仍与图11a中所示的相同。然而，沿(如围绕P1点1102b所示的)路径1104b的预测的P2的值与沿线1110b的观测到的P2点1106不同。该误差在下面针对步骤406的过滤和评级描述的算法中被捕获和反映。

在实施例中，在实施方案中，可以采用与上述启发式算法类似但更具分析性的算法来进行工业车辆的姿态或潜在姿态的相同计算。例如，在全局空间中创建从观测相机延伸以与它们各自的UV-空间特征点相交的两个向量。如果工业车辆(相机位于其上)位于图9中所示的路径上的任何地方，则第一向量经过第一全局特征点。

下面的等式3阐述了随后将被用来使用与以上关于图11a-图11b中显示并描述的分析类似的分析来计算工业车辆的偏航的算法。工业车辆的俯仰、滚动和高度必须是已知的，并且计算围绕锚定特征(例如，该对中的第一UV-空间特征点)的偏航旋转，使得第二向量与第二全局特征点相交。

等式3：

设N为两个3D向量的叉积；

设T为用于偏航旋转的目标3D点；

以及

例如，计算出的工业车辆的偏航随后被用来计算工业车辆在图9中所示的圆形路径内的x和y位置。如果公式是未定义的和/或当作为结果的姿态将使第二全局特征在观测相机的视觉范围之外时，关联特征对被假定是无效的，并且如下面进一步说明的，该关联特征对可以被给予低评级和/或从潜在的当前定位姿态中滤除出去。

针对每个关联特征对执行等式3中阐述的算法，以分析和计算工业车辆的各个姿态。例如，参考等式2，如果有180个关联特征对要分析，则等式3的算法将被执行180次以为工业车辆找出180个相应的计算出的潜在姿态。

对于图4的步骤406、408和410，图12a-图12b提供关于这些步骤的进一步细节，这些步骤406、408和410示出对计算出的工业车辆的姿态进行过滤和评级，直到剩下单个姿态用于选择作为当前工业车辆全局定位。例如，等式3的算法的结果是针对对其执行算法的每个关联特征对的工业车辆的预测的姿态。由于上面关于步骤402描述的生成关联特征对的方法，大部分关联特征对将被错误地匹配，从而具有不是观测到的全局特征的预测的全局特征。这将导致工业车辆的错误的姿态或者位置和朝向。例如，下面的表1显示了经受过滤处理的许多关联特征对中的一部分的样本列表。

表1：过滤处理中的关联特征对

在实施例中，第一轮过滤是在步骤404中进行的针对关联特征对的对潜在姿态的每次计算的末尾处执行的。例如，在从关联特征对计算工业车辆的潜在姿态之后，第二关联特征(例如，第二全局特征点)的有效性被测试。第二全局特征点1204a或者1204b被作为预测的点投射到UV-空间图示上，并且与其观测到的UV-空间对应点1202a或者1204b比较，如在图12a-图12b的图示1200a或者1200b中所示。如果预测的第二全局特征点与观测到的第二全局特征点之间的距离大于系统的最大噪声，则各自的并且经比较的计算出的工业车辆的潜在姿态作为无效姿态被滤除出去。

剩余的计算出的工业车辆的潜在姿态匹配被用来生成每个计算出的姿态的相应的UV-空间特征对，并且将不会考虑任何其他观测到的特征。如图12a-图12b中所示，使用工业设施或者仓库的3D全局特征的地图来计算在工业车辆的每个姿态处的预期的UV-空间特征。观测到的UV-空间特征被匹配到其最近的预期的或者预测的UV-空间特征，并且所有相应的预期的和观测到的特征之间的像素距离(分别诸如图12a和图12b中的d₁和d₂)被计算并且被记录为总和误差值。例如，图12a显示了89.5个像素的总和误差，而图12b显示了242.8个像素的总和误差。对于每个观测到的UV-空间特征增加附加的误差，其被预期是模糊视图以正确地有利于(favor)具有清晰视图的工业车辆的姿态，同时允许通过跟踪系统等观察特征的可能性。

导致具有高于最大观测噪声之和的总和误差的计算出的工业车辆的姿态被滤除出去。剩余的姿态基于总和误差以降序被排序以对姿态进行评级和排名。因此，步骤402的每个观测到的对可以被正确地关联以产生相同的姿态。然而，在实施方案中，由于相机和特征提取误差以及等式3的算法的限制，并非全部作为结果的关联特征对都可以产生准确的姿态。

在实施例中，当使用插入距离阈值来移除工业车辆的重复姿态时，来自未被滤除出去的姿态的具有最低总和误差的不同卡车姿态被选择作为工业车辆的可能当前定位。例如，关于上面的表1，最先列出的姿态被选择作为工业车辆的可能当前姿态，因为它具有全部其他列出的姿态的最低总和误差。在最先选择的姿态的定位容差和航向容差内的剩余姿态的剩下部分可以被认为是重复物，并且被从工业车辆的可能姿态的列表中移除。例如，如果表1上的工业车辆的剩余位置中的任何位置在最先选择的姿态定位的1.5米和1°之内，那些剩余位置就将被认为是重复物，并且在应用本文中所描述的过滤和评级之后将不被包括在工业车辆的可能姿态或位置的最终列表中。

参考图13，显示了累积的里程程序流程或者系统1300，该累积的里程程序流程或者系统1300考虑到了以下事实：当上述GLM正如图4中所示地运行时，工业车辆可能仍在移动。在包括许多可能特征(全局特征或UV-空间中的特征两方面)的大型工业设施地点或者仓库中，GLM可能花费特定量的时间(诸如少于一分钟到上至几分钟)来如上述地分析每个所选择的和/或可能的关联特征对。图13的里程累积系统可以跟踪在此时间期间工业车辆在GLM的开始位置与工业车辆的当前位置之间所行进的距离。

参考图13，一旦发生定位系统丢失事件1300a，就在步骤1312中清除累积的里程。在步骤1314中经由新的相机数据1316来应用GLM。如果在步骤1324中确定步骤1314的GLM不是成功的，则处理从步骤1312起重复。新的里程数据1318被用来在步骤1320中调整累积的里程以及在步骤1322中计算当前累积的里程。如果在步骤1324中确定步骤1314的GLM是成功的，则在步骤1326中，步骤1322的累积的里程与来自步骤1314和步骤1324的GLM结果组合并且进行航位推算。步骤1326的结果随后被发送以通过定位系统验证处理步骤1300c被验证，例如，如上面关于图3的验证处理300c所描述的，以及如下面关于图14的流程1400进一步描述的。

在实施例中，GLM在定位系统中作为单独的线程运行。例如，当GLM的算法如关于图4所述地运行以及被执行时，主定位系统线程可以从(0，0)点以0°航向开始航位推算，使得它从原点起运行。当GLM成功时，新的当前的航位推算得到的从原始起的位置反映累积的里程，其将被转置到工业车辆的已知开始位置上，或者被转置为由GLM计算出的工业车辆的当前姿态。如果GLM失败，则对另一个新的(或者最新的)相机帧开始或者重新尝试处理之前，主定位系统线程上的航位推算将清零累积的里程。

参考图14，显示了定位系统验证程序流程1400，并且定位系统验证程序流程1400可以被提供来在公布姿态并且继续定位系统上的正常操作之前确认由GLM计算出的工业车辆的姿态的准确性和正确性。因此，在向操作者通知工业车辆的姿态之前，进行检查以确保定位系统处于健康且准确的操作中。通过验证，在步骤1426中利用来自GLM的姿态作为(或者重新作为)定位系统的种子，但是不报告或公布当前位置。在图14的步骤1428中，匹配并且记录唯一全局特征的数量。一旦该唯一全局特征的数量超过阈值，定位系统就在步骤1438中退出验证状态并开始公布定位数据。应当理解的是，为唯一全局特征的数量选取的具体阈值可以依赖于与工业车辆以及工业车辆在其中使用的工业设施关联的各种操作要求。例如，优选地可以使阈值等于工业设施(诸如仓库)的典型走道中的天花板灯的数量。可替换地或附加地，可以在监控验证状态的有效性时至少部分地通过试错来建立阈值数值。

对于错误的种子或者GLM计算出的错误的工业车辆的当前姿态，由于匹配率下降到零，所以图14的步骤1428应当无法匹配新的全局特征，使得在步骤1436中定位系统变为丢失(以在步骤1400b中返回到恢复流程)和/或在步骤1438中验证失败。如果在步骤1438中验证失败，则定位系统将尝试通过使用相机数据的新集合1430经由GLM接收步骤1426中的新的种子，直到正确的种子被分析以在步骤1428中提供计算出的当前定位系统位置，并且如果在步骤1436中没有丢失，则被验证以在步骤1438中产生已完成的验证，并且在步骤1400a中返回到正常的定位系统操作。

现在应当理解的是，本文中所描述的GLM算法的实施例可以被用来从天花板的输入图像中所捕捉的对象中提取特征。因此，可被检测到的天花板上的对象(诸如例如，天花板灯)可以被用来产生可被报告到定位系统的特征。定位系统可以使用来自输入图像的所报告的特征来确定车辆的姿态、车辆的位置、或者两者。例如，所报告的特征可以包括可被结合使用的中心线特征和点特征。相应地，车辆的姿态和位置可以被用作用于导航、同时定位和映射(SLAM)等的参数。

在实施例中，GLM可以是与定位系统一起操作的恢复线程或机构。在其他实施例中，GLM可以是单独的定位系统，用于车辆位置确定或者导航系统，以取代传统定位系统和/或在传统定位系统之上提供用于特定环境条件的更可靠的定位方法。在实施例中，GLM的算法可以与定位系统并行地运行，以充当验证机构来验证定位系统位置以及满足更高的安全标准。应当理解的是，本文中所描述的一个或多个GLM算法可以结合各种其他车辆位置确定和/或导航系统一起使用，包括但不限于基于RFID的定位系统。此外，本文中所描述的一个或多个GLM算法可以被用来协助控制工业车辆的具体功能，诸如例如工业车辆(诸如叉车)的提举高度和/或速度。应当理解的是，本文中所描述的GLM中的一个或多个算法也可以被用作用于各种车辆位置确定和/或导航系统的诊断工具。

因此，定位系统和/或GLM可以被用来为车辆的导航提供特征，或者可以通过通信地耦合到定位系统和/或GLM的显示器而呈现。注意，根据正被车辆导航的具体地点，存在可为GLM算法的每个功能配置的许多参数(例如，阈值)。相应地，本文中所描述的实施例可以进一步包括用于确定参数的精确值的校准阶段。

还应注意，本文中对“至少一个”部件、元件等的记载不应被用来产生这样的推断：冠词“一”或“一个”的替代使用应当限于单个部件、元件等。例如，“驱动机构”的记载不限于单个驱动机构，并且设想使用多个独立的或集成的驱动机构。

注意，以下权利要求中的一个或多个权利要求使用术语“其中”、“基于”和“通过”作为过渡性或引入性短语。为了限定本公开的目的，注意，这些术语在权利要求中被引入作为开放式过渡性或引入性短语，其用来引入一个或多个权利要求限定的开放式记载，并且应当以类似于更常用的开放性术语“包括”的方式解释。例如，本文中基于阐述的变量所描述的计算可以至少部分地基于那些变量。另外，本文中编号的权利要求段落并不暗示步骤的指定顺序。

注意，为了描述和限定本公开的目的，本文中对作为参数或另一个变量的“函数”的变量的引用并不旨在表示该变量仅仅是所列出的参数或变量的函数。而是，本文中对作为所列参数的“函数”的变量的引用旨在是开放式的，使得该变量可以是单个参数或多个参数的函数。

注意，本文中对以特定方式被“配置”或“编程”以体现特定性质或以特定方式起作用的本发明的部件的记载是结构性记载，而不是预期用途的记载。更具体地，本文中对部件被“配置”或“编程”的方式的引用表示部件的现有物理状况，并且因此被视为对部件的结构特性的明确记载。

注意，为了描述和限定本公开的目的，本文中使用术语“基本上”和“近似”来表示可来自于任何定量比较、值、测量或其他表示的固有不确定程度。术语“基本上”和“近似”在本文中也用于表示在不导致所讨论的主题的基本功能的改变的情况下定量表示可以与所述的参考值不同的程度。

虽然本文中已经示出和描述了特定实施例，但应当理解的是，在不偏离所要求保护的主题的精神和范围的情况下，可以进行各种其他改变和修改。此外，尽管本文中描述了所要求保护的主题的各个方面，但是这样的方面不需要被组合使用。因此，所附权利要求旨在覆盖在所要求保护的主题的范围内的所有这样的改变和修改。