移动装置上的传感器辅助广域定位的制作方法

移动装置上的传感器辅助广域定位的制作方法
【专利摘要】一种移动装置例如在广域环境中共同使用视觉及定向传感器数据来用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。所述模型特征是来自由来自所述环境的多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定向。
【专利说明】移动装置上的传感器辅助广域定位
[0001] 未决临时申请案的夺叉参考
[0002] 本申请案主张2012年12月18日申请的且名为"移动装置上的传感器辅助广域定 位（Sensor-Aided Wide-Area Localization On Mobile Devices)"的第 13/719, 012 号美 国申请案的优先权，所述申请案继而根据35USC 119来主张2012年7月12日申请的且名为 "移动装置上的传感器辅助广域定位（Sensor-Aided Wide-Area Localization On Mobile Devices) "的第61/670, 990号美国临时申请案的优先权，所述两案均受让给其受让人且通 过引用的方式并入本文中。

【技术领域】
[0003] 本文所述的标的物的实施例大体上涉及定位与跟踪，且更具体来说涉及基于视觉 的移动装置的跟踪。

【背景技术】
[0004] 相对于用户的环境的高度准确的6自由度（DOF)自定位对于扩增实境（AR)中的 正确的且视觉愉快的结果为必然需要的。用以执行自定位的有效方式为使用所述环境的稀 疏的3D点云重建及执行摄像机实况图像与所述重建之间的特征匹配。根据特征匹配，可估 计位置及定向，即姿势。在移动AR(例如，在例如蜂窝式电话或智能电话等移动装置上执行 的AR)中面临的挑战在于经常在广域环境（例如，户外）中产生的姿势估计。由于AR应用 程序的交互性质，定位时间对AR应用程序的用户体验具有直接的影响，因为其确定用户在 与所述应用程序的交互可开始之前必须等待多长时间。因此，希望用移动装置中的有限的 处理功率来在（例如）几秒内快速地定位移动装置，同时针对所要应用程序维持姿势（位 置及定向）的必要准确性，例如用于位置的亚米级准确性及用于定向的小于5°角度误差。
[0005] 在计算机视觉（CV)领域中，已使用在计算上要求高的算法主要在粗尺度上解决 了定位问题。此外，通常使用高达几米的准确性来解决定位任务。另外，典型的定位解决方 案仅用两自由度（2D0F)或三自由度（3D0F)来确定位置，而非全六自由度^DOF)姿势。因 此，常规的定位方法并不直接适于移动AR应用程序或其它类似地要求高的应用程序。


【发明内容】

[0006] 一种移动装置例如在广域环境中共同使用视觉、定向及任选地位置传感器数据来 用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境 的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。举例 来说，可基于所述移动装置的粗略位置来从数据库获得包含模型特征的多个区间的数据集 块，且基于地理定向数据来从数据库存取适当的区间。所述模型特征是来自由来自环境的 多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且 基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹 配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定 向。
[0007] 在一个实施方案中，一种方法包含：捕捉环境的图像；接收与图像相关联的地理 定向数据；基于地理定向数据来从数据库存取模型特征的区间，其中所述模型特征是来自 环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；从所述图 像提取特征；比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集 合；及使用对应特征的集合来确定摄像机的位置及定向。
[0008] 在一个实施方案中，一种设备包含：摄像机，其能够捕捉环境的图像；定向传感 器，其能够提供地理定向数据；及处理器，其耦合到所述摄像机及所述定向传感器，所述处 理器经配置以：从图像提取特征，确定每一特征的地理定向；基于每一特征的地理定向来 存取数据库的模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基 于所述模型特征的地理定向而在所述数据库中分区；比较从所述图像提取的特征与模型特 征的区间以产生对应特征的集合；及使用对应特征的集合来确定摄像机的位置及定向。
[0009] 在一个实施方案中，一种设备包含：用于捕捉环境的图像的装置；用于接收与图 像相关联的地理定向数据的装置；用于基于地理定向数据来从数据库存取模型特征的区间 的装置，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向 而在所述数据库中分区；用于从所述图像提取特征的装置；用于比较从图像提取的特征与 模型特征的区间中的模型特征以产生对应特征的集合的装置；及用于使用对应特征的集合 来确定摄像机的位置及定向的装置。
[0010] 在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体 包含：用以接收与环境的图像相关联的地理定向数据的程序代码；用以基于地理定向数据 来从数据库存取模型特征的区间的程序代码，其中所述模型特征是来自环境的预产生三维 模型且基于所述模型特征的地理定向而在所述数据库中分区；用以从所述图像提取特征的 程序代码；用以比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的 集合的程序代码；及用以使用对应特征的集合来确定摄像机的位置及定向的程序代码。 [0011] 在一个实施方案中，一种方法包含：获得环境的多个图像；从所述多个图像提取 特征；使用所述特征产生所述环境的重建；将所述环境的重建注册到全局定向；使地理定 向与每一特征相关联；及存储所述环境的重建，其中所述特征一起分区为多个区间，其中每 一区间与地理定向的不同预定范围相关联。
[0012] 在一个实施方案中，一种设备包含：数据库；处理器，其耦合到所述数据库，所述 处理器经配置以使用从环境的多个图像提取的特征来产生所述环境的重建，将所述环境的 所述重建注册到全局定向，使地理定向与每一特征相关联；及将所述环境的所述重建存储 在所述数据库中，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预 定范围相关联。
[0013] 在一个实施方案中，一种设备包含：用于获得环境的多个图像的装置；用于从所 述多个图像提取特征的装置；用于使用所述特征产生所述环境的重建的装置；用于将所述 环境的重建注册到全局定向的装置；用于使地理定向与每一特征相关联的装置；及用于存 储所述环境的重建的装置，其中所述特征一起分区为多个区间，其中每区间与地理定向的 不同预定范围相关联。
[0014] 在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体 包含：用以从环境的多个图像提取特征的程序代码；用以使用所述特征产生所述环境的重 建的程序代码；用以将所述环境的重建注册到全局定向的程序代码；用以使地理定向与每 一特征相关联的程序代码；及用以存储所述环境的重建的程序代码，其中所述特征一起分 区为多个区间，其中每一区间与地理定向的不同预定范围相关联。

【专利附图】

【附图说明】
[0015] 图1说明展示包含移动装置及数据库的系统的框图，所述系统能够实现视觉及多 个传感器（GPS、指南针、加速度计）的联合使用以用于高度准确的6DOF定位。
[0016] 图2是说明可由图1中所示的系统使用的数据产生及定位方法的框图。
[0017] 图3说明定向感知特征提取，包含重力及法线向量。
[0018] 图4及5说明使用地理定向的定向感知特征分区（binning)。
[0019] 图6说明针对两个不同距离阈值的用于传感器辅助系统及没有传感器的系统的 定位性能的比较。
[0020] 图7说明使用两个不同距离阈值的用于传感器辅助系统及未使用传感器的系统 的定位性能的比较。
[0021] 图8展示用于传感器辅助及没有传感器的系统的内围层的比较。
[0022] 图9说明用于成功定位估计的平均平移误差。
[0023] 图10说明用于成功定位估计的平均旋转误差。
[0024] 图11展示用于使用传感器的系统及没有传感器的系统的定位的平均执行时间。
[0025] 图12展示使用用于使用传感器的系统及没有传感器的系统的来定位结果的时 间。
[0026] 图13是说明使用地理定向数据的定位方法的流程图。
[0027] 图14是能够使用地理定向数据来定位的移动装置的框图。
[0028] 图15是说明用于基于地理定向的环境的重建模型的数据产生的方法的流程图。
[0029] 图16是用于基于地理定向的环境的重建模型的能够数据产生的服务器的框图。

【具体实施方式】
[0030] 图1说明展示包含移动装置100及具有数据库135的服务器130的系统的框图， 所述系统能够实现计算机视觉及多个传感器（GPS、指南针、加速度计）的联合使用以用于 高度准确的6DOF定位，例如在广域环境中。数据库135存储基于全局定向而分割的环境的 三维（3D)特征，及移动装置100存取所述分割特征以用于基于传感器信息（例如，指南针 或磁力计数据）的基于视觉的定位。
[0031] 图1将移动装置100的前侧说明为包含外壳101、显示器102 (其可为触摸屏显示 器）、以及扬声器104及麦克风106。移动装置100进一步包含用以使环境成像的前向摄像 机110及传感器112 (其可包含磁力计、回转仪、加速度计等）。移动装置100能够使用常规 定位技术来确定其位置，例如使用卫星定位系统（SPS) 122的粗糙GPS测量、或使用例如存 取点124或蜂窝式塔126等无线源的三角测量。发射器的SPS系统122经定位以使实体能 够至少部分基于从发射器接收的信号来确定实体在地球上或上方的位置。在特定实例中， 此类发射器可位于地球轨道卫星载具（SV)上，例如，在例如全球定位系统（GPS)等全球导 航卫星系统（GNSS)、伽利略（Galileo)、格洛纳斯（Glonass)或指南针或其它非全球系统的 星座中。因此，如本文所使用，SPS可包含一或多个全球及/或区域导航卫星系统及/或扩 增系统的任何组合，及SPS信号可包含SPS、SPS类似物及/或与此类一或多个SPS相关联 的其它信号。
[0032] 如本文所使用，"移动装置"指任何便携式电子装置，例如蜂窝式或其它无线通信 装置、个人通信系统（PCS)装置、个人导航装置（PND)、个人信息管理器（PM)、个人数字助 手（PDA)、或其它合适的移动装置。移动装置可能够接收无线通信及/或导航信号，例如导 航定位信号。术语"移动装置"还意图包含例如通过短程无线、红外线、电线连接或其它连 接与个人导航装置（PND)通信的装置，不管卫星信号接收、辅助数据接收及/或位置相关处 理是发生在装置处还是在PND处。而且，"移动装置"意图包含所有电子装置，包含能够捕捉 其环境的图像（或视频）的无线通信装置、计算机、膝上型计算机、平板计算机等。
[0033] 移动装置100基于移动装置100的大致位置及全局定向而经由无线网络120来使 用远程服务器130来存取数据库135。数据库135可包含3D特征的多个数据集，每一数据 集与不同位置相关联。另外，存储在数据库135中的3D特征的每一数据集基于全局定向而 分割。因此，使用（例如）如SPS 122所确定的移动装置100的位置，可存取存储在数据库 135中的3D特征的相关数据集。此外，使用从传感器112接收的全局定向数据，匹配移动装 置100的全局定向的3D特征的分割子集可经存取且用于与摄像机110所捕捉的图像的特 征匹配。所述特征匹配可由移动装置100执行（例如，其中将数据库135的至少一部分提 供给移动装置100)，或由远程服务器130执行（例如，其中移动装置100进一步发射图像数 据（例如，图像本身或来自图像的提取特征）到远程服务器130)。
[0034] 图2是说明可由图1中所示的系统使用的定位系统200的框图。如图2中所展示， 定位系统200可分为离线数据产生210及在线定位220。对于离线数据产生210,通过获得 待重建的区的多个图像来执行图像获取212。所述图像可通过用单个摄像机拍摄照片、众包 来自多个摄像机的图像或使用相关区的所存储图像来获取。在所获取图像上执行重建及注 册（214)。举例来说，使用快速鲁棒特征（SURF)或其它适当的提取方法（例如来自加速段 测试的特征（FAST)角落检测器或尺度不变特征变换（SIFT))来从所述图像提取特征。接 着可使用运动结构法则（SfM)技术来产生稀疏的点云重建。将所得重建注册到全局坐标系 (包含位置及定向），这可通过对准来自附接到图像的SPS标记的重建而手动地或自动地进 行。
[0035] 在从图像提取特征用于重建及注册期间（214)，定向感知描述符（例如，描述地理 方向及重力的向量）包含在特征描述中。通过实例方式，图3说明成像窗口 250的透视图， 其中3D点252经说明为包含主要描述符254以及法线向量256及重力向量258 (如果需 要）。法线向量为垂直于3D点所属的表面的向量。此类法线向量可通过计算将3D点252 连接到可在图像获取期间看见所述3D点的所有摄像机的向量的平均值来近似计算。因此， 所得重建中的每一个别3D点为定向感知特征，其不仅表征描述符而且表征法线向量及（如 果需要）重力向量。由于所述重建为竖直定向的，所以重力向量可用作共同特征定向而非 使用图像梯度。在现场定位期间，移动装置100的定向传感器（例如，加速度计或回转仪） 可提供所需的重力向量。
[0036] 在所得重建上执行定向感知特征封装（216)。举例来说，所得重建可（例如）使 用矩形网格而分割为若干重叠块。每一块可覆盖特定的预界定区，例如50X50米。如果需 要，所述块可重叠（例如）5到10米每一块中的特征可存储在单独的数据集中，有时在本文 中称作数据集块。另外，每一数据集块中的特征基于法线向量相对于真实地理定向的定向 (即，北、南、东西）而再分为数据子集，有时在本文称作区间或数据集区间。由于SURF或类 似提取的特征可在例如±45°的视角改变下适度地重新检测，所以可产生区间而使得角度 范围重叠，例如可使用八个区间，每一区间覆盖60°的范围。
[0037] 通过实例方式，图4说明八个区间的地理定向的范围，每一区间覆盖60°的范 围，其中每一区间由不同的几何形状识别，例如，白色正方形所识别的区间包含具有指向东 ±30°的法线向量的特征，黑色三角形所识别的区间包含具有指向北±30°的法线向量的 特征等。出于说明目的，图5展示包含形成内部庭院304的若干建筑物302A、302B、302C及 302D的区300的俯视图。庭院304可为（例如）图5中所示的区300的重建中的单块，不 过当然，如果所述庭院304较大，例如大于50 X 50米，那么庭院304可为所述重建中的多个 块。图5中还说明可从庭院304内部可见的区300的重建中的许多特征，其中所述特征由 具有图4中所识别的几何形状中的一者的基底以及在与所述特征相关联的法线向量的方 向上的箭头来识别。如图5中可见，由庭院304形成的单块包含具有不同法线向量的多个 特征。所述重建中的特征中的每一者基于所述特征的法线向量的地理定向而与适当区间相 关联。应注意，可能的是可将来自同一结构上不同位置的特征的向量放置在不同区间中。举 例来说，当建筑物的正面具有突出的3D结构（例如，装饰或招牌）时，当从特定方向观察建 筑物时从突出的3D结构提取的特征可为可见的，且因此可具有不同的法线向量且因此放 置在与所述正面的其它部分提取的特征不同的区间中。
[0038] 通过将所述重建的每一块中的特征放置在适当地理定向的识别区间中，可针对每 一区间产生用于加速匹配的近似搜索结构作为定向感知特征封装的部分（216)。因此，所述 重建中经结构化为包含用于重叠地理定向识别区间的数据的子集的数据集的每一块存储 在共同特征数据库218中，使得可按需检索数据集。
[0039] 在定位220期间，例如在视频流中捕捉图像，所述图像可用于自定位，即通过比较 特征数据库218中的特征的子集来确定全局姿势的估计。在一个实施方案中，所捕捉图像 可用以产生全景柱面图222。大体来说，对于准确的自定位，用于三角测量的宽基线是所需 要的且因此使用全景柱面图为有利的，但未必是必需的。普通移动装置（例如蜂窝式电话 或智能电话）通常包含具有狭窄视场（FOV)的摄像机。大多数移动装置中发现的摄像机的 狭窄FOV-般不足以提供用于三角测量的宽基线。因此，全景柱面图可通过逐帧地跟踪图 像的实况视频流且通过匹配来自图像的提取特征而将所述图像匹配到全景柱面图上而产 生。在图像的视频流的逐帧跟踪以产生全景柱面图期间，从所捕捉图像递增地提取特征。比 较每一新捕捉图像的特征与全景柱面图的先前提取特征以将新捕捉的图像映射到全景柱 面图上。所得全景柱面图可为（例如）2048X512像素。随着全景柱面图增长，环境的FOV 增加以提供用于定位的较宽基线。
[0040] 通过实例方式，图6说明产生建筑物370的全景柱面图360的移动装置100。通 过在捕捉视频流中的图像的同时旋转移动装置100来产生全景柱面图360,逐帧地提取及 跟踪图像中的特征362以将来自视频流的每一图像364映射到全景柱面图360上。移动装 置100中的传感器112 (例如，加速度计及磁力计）用以在捕捉特征时确定每一特征362的 重力向量366及法线向量368的地理定向367。另外，移动装置100使用（例如）SPS位置 固定来确定其大致位置（炜度，经度），其足够准确来识别用户当前所位于的重建中的（例 如）50 X 50米块。
[0041] 如图2中所说明，基于移动装置100的估计姿势224来存取特征数据库218,其包 含（例如）如由SPS估计确定的大致位置及如由（例如）传感器112确定的定向。从特 征数据库218检索对应于移动装置的大致位置的数据集块以用于匹配来自全景柱面图的 特征。代替匹配全景柱面图中的个别特征与来自对应数据集块的所有特征，基于地理定向 (即，与包含来自全景柱面图的特征的法线向量的地理定向的法线向量的范围相关联的区 间）来匹配所述特征与来自数据的适当子集的特征。因此，如图2中所说明，从特征数据库 218提供与移动装置的位置相关联的数据集块226以用于定向感知特征提取及匹配228,其 中数据集块226包含基于法线向量相对于真实地理定向的定向的特征的多个子集（即，区 间
[0042] 来自定向感知特征提取及匹配228的已建立对应关系用于全局姿势估计230。全 局姿势估计可为确定移动装置的全6DOF全局姿势的稳固3点姿势（3PP)算法通过产生移 动装置100的全局姿势估计，将全景柱面图注册到世界参考系。对准全景柱面图与世界参 考系的过程需要针对全景柱面图仅完成一次。
[0043] 另外，可基于222中所产生的全景柱面图来执行局部定向跟踪232。局部定向跟 踪（例如）使用特征提取及匹配技术来比较移动装置所捕捉的当前图像与全景柱面图，以 确定移动装置的局部定向估计。来自232的局部定向估计可与全局姿势估计230组合以产 生可用于（例如）实况扩增234或其它适当的应用的组合姿势。
[0044] 图7-12说明在定位过程期间在图2的230中产生的全局姿势估计上执行的定量 测试的结果。如果从地面真实位置的平移距离低于指定阈值，那么将定位视为成功的。平 移距离仅被视为具有正确位置估计的可能性，但关于所揭示定位过程的错误定向估计为非 常低的。
[0045] 通过在5°的步骤（最初指向建筑物正面）中将全景柱面图从30°裁剪到360° 来用不同的FOV来模仿全景柱面图。图7说明针对两个不同距离阈值60cm及150cm的用 于传感器辅助系统（例如本文所述的）与未使用传感器的系统的定位性能的比较。如图7 中可见，针对较宽松的距离阈值（即，150cm)而得到较大改进，这是归因于小的FOV违反的 3PP算法的宽基线需求。此外，如可见，具有传感器的系统相比未使用传感器的先前定位技 术而改进了多达15%。应注意在FOV与定位时间（T2L)之间存在正比关系。T2L为速度的 测量，即，应用程序启动与产生定位估计之间的时间，其实际上为用户在定位成功之前必须 花费在捕捉全景柱面图上的时间。T2L与全景柱面图的FOV成正比，全景柱面图通过在捕 捉图像的同时旋转摄像机而产生。因此，具有较小FOV的定位性能的改进导致T2L的减少， 艮P，将图7中的性能曲线推向左上拐角意味着T2L的显著降低。
[0046] 图8展示用于传感器辅助系统（例如本文所述的）与未使用传感器的系统的内围 层的平均数目的比较。归因于传感器辅助特征管理，内围层的数目可增加多达50%。此继 而大大增加了稳固性，因为内围层的平均百分比仅介于特征对应关系的总数的5% -10% 之间。
[0047] 图9及图10分别说明针对例如本文所述的传感器辅助系统的相对于全景柱面图 的FOV的用于30cm的距离阈值的平移误差及角度误差。如图9中可见，如果定位成功，那 么平移误差在所有三个维度上低于15cm，其中X为摄像机的左边与右边，y为垂直方向，及 z为前向。此外，如可见，平移误差随着全景柱面图的FOV增加而减少。类似地，如图10中 可见，角度误差对于所有旋转轴低于1.5°，且进一步随着全景柱面图的FOV增加而减少。
[0048] 图11及12说明在使用iPhone 4S的定位过程期间在图2的230中产生的全局姿 势估计的定形确认的结果。所述定性确认通过在一个块的区中记录21不同的视频流连同 伴随的传感器测量来执行。在随机观察方向上起始视频流，且在产生全景柱面图的同时使 用垂直轴周围的恒定旋转速度。使用及未使用传感器而在同一装置上处理视频流。
[0049] 图11展示用于使用传感器的方法及没有传感器的方法的个别过程（在几毫秒中） 的平均执行时间。如可见，传感器主要对特征匹配时间具有影响，其归因于以下事实：当使 用传感器时，与匹配数据集中的所有特征相对比，特征仅与对应于其法线向量的特征匹配。 姿势估计的速度也在使用传感器的情况下得以改进。这是归因于所发现内围层的较高百分 比。
[0050] 图12展示用于具有传感器的方法及没有传感器的方法的T2L结果。如可见，传感 器辅助方法相比没有传感器的方法而具有I. 71s的平均T2L的改进，其几乎快了四倍。因 此，平均来说，用户可预期使用本发明传感器辅助方法的AR应用将与基于没有传感器的常 规定位方法的应用相比而初始化一半的时间。
[0051] 图13是说明使用地理定向数据的定位方法的流程图。如所说明，移动装置捕捉环 境的图像（402)，其可为（例如）来自一连串视频帧的帧。在一个实施方案中（如上所述）， 图像可用以产生环境的全景柱面图的至少一部分（402)。全景柱面图的至少所述部分可通 过从环境的捕捉图像提取特征且将所捕捉图像映射到全景柱面图而产生。例如从定向传感 器接收（404)与所述图像相关联的地理定向数据。举例来说，可在捕捉图像期间或之前或 之后不久来接收地理定向数据，使得地理定向数据大致与捕捉图像同时。基于地理定向数 据而从数据库存取模型特征的区间，其中所述模型特征是来自环境的预产生三维模型且基 于模型特征的地理定向而在数据库中分区（406)。从图像提取特征（407)。比较从图像提 取的特征与模型特征的区间中的模型特征以产生对应特征集合（408)。通过实例的方式，所 提取特征可用以产生环境的全景柱面图的部分，所提取特征存储在环境的全景柱面图中， 且比较所存储特征与模型特征。对应特征的集合用以确定摄像机的位置及定向（410)。如 果需要，除了在步骤404中接收地理定向数据之外，还可（例如）从SPS接收器接收位置数 据。当接收位置数据时，在步骤406中从数据库存取模型特征的区间包含：基于位置数据来 从数据库存取模型特征的数据集块，其中模型特征的数据集块包括模型特征的多个区间； 及使用地理定向数据来在数据集块中存取来自模型特征的多个区间的模型特征的区间。所 述方法可包含确定每一特征的法线向量及使所述地理定向数据与每一特征的法线向量相 关联。因此，在步骤406中从数据库存取模型特征的区间可包含使用与每一特征的法线向 量相关联的地理定向数据来从具有法线向量的模型特征的对应区间检索模型特征，其中所 述法线向量在包含与法线向量相关联的地理定向数据的地理定向的范围中。另外，可（例 如）根据每一特征的加速度计来确定重力向量。当比较从图像提取的特征与模型特征的区 间中的模型特征时可使用重力向量来产生对应特征集合，其中每一模型特征具有相关联的 重力向量。
[0052] 图14是能够使用地理定向数据来定位的移动装置100的框图。移动装置100可 包含无线接口 103以经由如图1中所说明的无线网络120通过远程服务器130来存取数据 库135。移动装置100进一步包含摄像机110及传感器112 (其可包含磁力计、指南针、回转 仪、加速度计等）。移动装置100可进一步包含用于接收位置数据的SPS接收器107。移动 装置100可进一步包含用户接口 109,其可包含（例如）显示器以及小键盘、或用户可经由 其将信息输入到移动装置100中的其它输入装置。
[0053] 无线接口 103可用于任何多种无线通信网络中，例如无线广域网（WffAN)、无线局 域网（WLAN)、无线个人局域网（WPAN)等等。术语"网络"及"系统"常常互换地使用。WffAN 可为码分多址（CDM)网络、时分多址（TDM)网络、频分多址（FDM)网络、正交频分多址 (OFDM)网络、单载波频分多址（SC-FDM)网络、长期演进（LTE)等等。CDM网络可实施 一或多个无线电接入技术（RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含 IS-95、IS-2000及IS-856标准。TDM网络可实施全球移动通信系统（GSM)、数字高级移动 电话系统（D-AMPS)或某一其它RAT。GSM及W-CDM描述于来自名为"第3代合作伙伴计 划"(3GPP)的联合会的文献中。Cdma2000描述于来自名为"第3代合作伙伴计划2"(3GPP2) 的联合会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE 802. Ilx网络，及 WPAN可为Bluetooth?网络、IEEE 802. 15x或某一其它类型的网络。此外，可使用WffAN、WLAN 及/或WPAN的任何组合。
[0054] 移动装置100还包含控制单元105,其连接到摄像机110、传感器112、SPS接收器 107及无线接口 103且与上述元件通信。控制单元105接受并处理传感器112及摄像机110 所提供的定向数据及图像数据以及通过SPS接收器107及无线接口 103提供的数据。控制 单元105可由总线105b、处理器105p及相关联存储器105m、硬件105h、固件105f及软件 l〇5s来提供。控制单元105可进一步包含存储装置105d，其可用以将数据库或数据库的一 部分局部地存储在移动装置100上。控制单元105经进一步说明为包含全景产生模块222， 其使用摄像机110所捕捉的图像来产生全景柱面图。控制单元105进一步包含特征提取及 匹配模块228,其基于地理定向而从全景柱面图提取特征且将所述特征与来自数据库的特 征匹配。全局姿势模块230基于对应特征而确定移动装置的姿势，及局部定向跟踪模块232 跟踪移动装置相对于全景柱面图的姿势。AR单元234可用以基于全局姿势及跟踪来呈现图 形数据。
[0055] 为了清晰性而将各种模块222、228、230、232及234与处理器105p分开说明，但所 述模块可为处理器l〇5p的部分或基于运行在处理器105p中的软件105s中的指令而实施 于处理器中，或可实施于硬件105h或固件105f中。如本文所使用，将理解处理器105p可 (但无需必定）包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路（ASIC)、数字 信号处理器（DSP)及类似物。术语处理器意图描述系统所实施的功能而非特定硬件。此外， 如本文所使用，术语"存储器"指任何类型的计算机存储媒体，包含与移动装置相关联的长 期、短期或其它存储器，且并不限于任何特定类型的存储器或任何特定数目个存储器、或其 上存储存储器的媒体类型。
[0056] 本文所述的方法可取决于应用而由各种装置实施。举例来说，这些方法可实施于 硬件105h、固件113f、软件105s或其任何组合中。对于硬件实施方案，处理单元可实施于一 或多个专用集成电路（ASIC)、数字信号处理器（DSP)、数字信号处理装置（DSPD)、可编程逻 辑装置（PLD)、现场可编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器、电子装置、 或经设计以执行本文所述的功能的其它电子单元、或其组合中。
[0057] 对于固件及/或软件实施方案，可用执行本文所述功能的模块（例如，程序、函数 等等）来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文所述的方 法。举例来说，软件代码可存储在存储器105m中及由处理器105p执行。存储器105m可实 施于处理器105p内或其外部。如果以固件及/或软件实施，那么可将所述功能作为一或多 个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的非暂时性计算机可读 媒体及用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。 存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式（且非限制），此类计算机 可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性 存储装置、或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何 其它媒体；如本文所使用，磁盘及光盘包含紧密光盘（CD)、激光光盘、光学光盘、数字多功 能光盘（DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光 学方式复制数据。上述组合也应包含在计算机可读媒体的范围内。
[0058] 因此，移动装置100可包含用于捕捉环境的图像的装置，其可为（例如）摄像机 110。用于接收与图像相关联的地理定向数据的装置可为（例如）传感器112,例如磁力计、 回转仪、指南针等。用于基于地理定向数据而从数据库存取模型特征的区间的装置，其中模 型特征是来自所述环境的预产生三维模型且基于模型特征的地理定向而在数据库中分区， 所述装置可为（例如）用以与图1中所示的远程服务器130及数据库135或存储数据库 105d(如果所述数据库或数据库的一部分局部地存储在移动装置100上）通信的无线接口 103。用于从图像提取特征的装置可为（例如）特征提取及匹配模块228。用于比较从图 像提取的特征与模型特征的区间中的模型特征以产生对应特征集合的装置可为（例如）特 征提取及匹配模块228。用于使用对应特征集合以确定设备的位置及定向的装置可为（例 如）全局姿势模块230。移动装置可进一步包含用于使用从图像提取的特征来产生环境的 全景柱面图的至少一部分的装置，其可为（例如）全景产生模块222。所述移动装置可进一 步包含用于接收位置数据的装置，其可为（例如）SPS接收器107。用于确定每一特征的法 线向量的装置可为（例如）全景产生模块222及/或特征提取及匹配模块228。用于确定 每一特征的重力向量的装置可为（例如）传感器112,例如加速度计。用于使用重力向量来 使地理定向数据与每一特征的法线向量相关联的装置可为（例如）全景产生模块222及/ 或特征提取及匹配模块228。
[0059] 图15是说明用于基于地理定向的环境的重建模型的数据产生的方法的流程图。 如所说明，获得环境的多个图像（502)。从多个图像提取特征（504)，及使用所述特征来产 生环境的重建（506)。将环境的重建注册到全局定向（508)。地理定向与每一特征相关联 (510)。举例来说，可针对每一特征确定法线向量，及每一特征的法线向量的定向可关于地 理定向而相关联。可通过以下操作来确定特征的法线向量：确定连接特征的三维位置与捕 捉环境的多个图像中的三维位置的图像的所有摄像机的位置的向量；及计算作为法线向量 的向量的平均值。存储环境的重建，其中所述特征一起分区为多个区间，其中每一区间与地 理定向的不同预定范围相关联（512)，即，每一区间包含具有属于针对每一区间而不同的预 定范围内的相关联地理定向的特征。另外，可从移动装置接收地理定向信息，且作为响应而 基于地理定向信息来检索环境的重建的所存储特征。
[0060] 图16是用于基于地理定向的环境的重建模型的能够数据产生的服务器130的框 图。服务器130包含用以与环境的图像数据通信且接收图像数据且可用以与移动装置通信 的外部接口 131。服务器130可进一步包含用户接口 132,其可包含（例如）显示器以及小 键盘、或用户可经由其将信息输入到服务器130中的其它输入装置。
[0061] 外部接口 131可为用于任何多种无线通信网络中的路由器（未图示）的有线接 口或无线接口，所述无线通信网络例如无线广域网（WffAN)、无线局域网（WLAN)、无线个人 局域网（WPAN)等等。术语"网络"及"系统"常常互换地使用。WffAN可为码分多址（CDM) 网络、时分多址（TDM)网络、频分多址（FDM)网络、正交频分多址（OFDM)网络、单载波频 分多址（SC-FDM)网络、长期演进（LTE)等等。CDM网络可实施一或多个无线电接入技术 (RAT)，例如 cdma2000、宽带 CDMA(W-CDMA)等等。Cdma2000 包含 IS-95、IS-2000 及 IS-856 标准。TDM网络可实施全球移动通信系统（GSM)、数字高级移动电话系统（D-AMPS)或某一 其它RAT。GSM及W-CDM描述于来自名为"第3代合作伙伴计划"（3GPP)的联合会的文献 中。Cdma2000描述于来自名为"第3代合作伙伴计划2"(3GPP2)的联合会的文献中。3GPP 及3GPP2文献是公开可用的。WLAN可为IEEE 802. Ilx网络，及WPAN可为Blue丨ooth?I网络、 IEEE 802. 15x或某一其它类型的网络。此外，可使用WWAN、WLAN及/或WPAN的任何组合。
[0062] 服务器130还包含控制单元133,其连接到外部接口 131且与其通信。控制单元 133接受环境的图像数据且进行处理。控制单元133可由总线133b、处理器133p及相关联 存储器133m、硬件133h、固件133f及软件133s来提供。控制单元133经进一步说明为包 含图像获取模块212,其（例如）经由外部接口 131而获取环境的图像。重建及注册模块 214从图像提取特征，且重建注册到全局定向的环境。特征封装模块216使地理定向与每一 特征相关联。环境的重建存储在数据库135中，其中所述特征基于类似地理定向而分区。
[0063] 为了清晰性而将不同的模块212、214及216与处理器133p分开说明，但所述模块 可为处理器133p的部分或基于运行在处理器中的软件133s中的指令而实施于处理器133p 中，或可实施于硬件133h或固件133f中。如本文所使用，将理解处理器133p可（但无需 必定）包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路（ASIC)、数字信号处 理器（DSP)及类似物。术语处理器意图描述系统所实施的功能而非特定硬件。此外，如本 文所使用，术语"存储器"指任何类型的计算机存储媒体，包含与移动装置相关联的长期、短 期或其它存储器，且并不限于任何特定类型的存储器或任何特定数目个存储器、或其上存 储存储器的媒体类型。
[0064] 本文所述的方法可取决于应用而由各种装置实施。举例来说，这些方法可实施于 硬件133h、固件113f、软件133s或其任何组合中。对于硬件实施方案，处理单元可实施于一 或多个专用集成电路（ASIC)、数字信号处理器（DSP)、数字信号处理装置（DSPD)、可编程逻 辑装置（PLD)、现场可编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器、电子装置、 或经设计以执行本文所述的功能的其它电子单元、或其组合中。
[0065] 对于固件及/或软件实施方案，可用执行本文所述功能的模块（例如，程序、函数 等等）来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文所述的方 法。举例来说，软件代码可存储在存储器133m中及由处理器133p执行。存储器133m可实 施于处理器133p内或其外部。如果以固件及/或软件实施，那么可将所述功能作为一或多 个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的非暂时性计算机可读 媒体及用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。 存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式（且非限制），此类计算机 可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性 存储装置、或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何 其它媒体；如本文所使用，磁盘及光盘包含紧密光盘（CD)、激光光盘、光学光盘、数字多功 能光盘（DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光 学方式复制数据。上文的组合也应包含在计算机可读媒体的范围内。
[0066] 服务器130可包含用于获得环境的多个图像的装置，其可为（例如）图像获取模 块212。用于从多个图像提取特征的装置可为（例如）重建及注册模块214。用于使用所 述特征来产生环境的重建的装置可为（例如）重建及注册模块214。用于将环境的重建注 册到全局定向的装置可为（例如）用于使地理定向与每一特征相关联的装置。用于存储环 境的重建（其中特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关 联）的装置可为（例如）特征封装模块216及数据库135。另外，服务器130可包含用于确 定每一特征的法线向量的装置，其可为（例如）重建及注册模块214。用于使每一特征的法 线向量的定向关于地理定向而相关联的装置可为（例如）重建及注册模块214。用于从移 动装置接收位置信息的装置可为外部接口 131。用于检索与位置信息相关联的数据集块的 装置可为（例如）数据库135。
[0067] 尽管为了指导目的结合具体实施例来说明本发明，但本发明并不限于其。可在不 偏离本发明的范围的情况下进行各种调适及修改。因此，随附权利要求书的精神及范围不 应限于前述描述。
【权利要求】
1. 一种方法，其包括： 用摄像机捕捉环境的图像； 接收与所述图像相关联的地理定向数据； 基于所述地理定向数据而从数据库存取模型特征的区间，其中所述模型特征是来自所 述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区； 从所述图像提取特征； 比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对应特 征的集合；及 使用对应特征的所述集合来确定所述摄像机的位置及定向。
2. 根据权利要求1所述的方法，其进一步包括： 使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分； 其中比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征使用 来自所述全景柱面图的所述部分的特征。
3. 根据权利要求1所述的方法，其中所述环境的所述图像是来自视频流的帧。
4. 根据权利要求1所述的方法，其进一步包括： 接收与所述图像相关联的位置数据；且 其中基于所述地理定向数据而从所述数据库存取模型特征的所述区间包括：基于所述 位置数据来从所述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模 型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取来自模型特征的所 述多个区间的模型特征的所述区间。
5. 根据权利要求1所述的方法，其进一步包括： 确定每一特征的法线向量；及 使所述地理定向数据与每一特征的所述法线向量相关联； 其中基于所述地理定向数据来从所述数据库存取模型特征的所述区间包括使用与每 一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型特征的对应 区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地理定向数据 的地理定向的范围中。
6. 根据权利要求5所述的方法，其进一步包括： 确定每一特征的重力向量；及 当比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以产生 对应特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的重力向量。
7. -种设备，其包括： 摄像机，其能够捕捉环境的图像； 定向传感器，其能够提供地理定向数据；及 处理器，其耦合到所述摄像机及所述定向传感器，所述处理器经配置以：从图像提取特 征，确定每一特征的地理定向；基于每一特征的所述地理定向来存取数据库的模型特征的 区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的所述地 理定向而在所述数据库中分区；比较从所述图像提取的所述特征与模型特征的所述区间以 产生对应特征的集合；及使用对应特征的所述集合来确定所述摄像机的位置及定向。
8. 根据权利要求7所述的设备，其中所述处理器经进一步经配置以： 使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分； 其中所述处理器经配置以通过经配置以使用来自所述全景柱面图的所述部分的特征 来比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征。
9. 根据权利要求7所述的设备，其进一步包括： 位置传感器，其能够确定所述设备的粗略位置； 其中所述处理器耦合到所述位置传感器且经进一步配置以基于所述粗略位置而从所 述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模型特征的多个区 间，及所述处理器经配置以使用所述地理定向数据来在所述数据集块中存取来自模型特征 的所述多个区间的模型特征的所述区间。
10. 根据权利要求7所述的设备，其中所述处理器经进一步配置以确定每一特征的法 线向量；及使所述地理定向数据与每一特征的所述法线向量相关联；其中所述处理器经配 置以通过经配置以使用与每一特征的所述法线向量相关联的所述地理定向数据而基于所 述地理定向数据来从所述数据库存取模型特征的所述区间，从而从具有法线向量的模型特 征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地理 定向数据的地理定向的范围中。
11. 根据权利要求10所述的设备，其进一步包括： 加速度计，其用以确定重力的方向； 其中所述处理器耦合到所述加速度计且经进一步配置以确定每一特征的重力向量，且 在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以产生对应 特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的重力向量。
12. 根据权利要求7所述的设备，其进一步包括： 无线接口，其能够与耦合到所述数据库的远程服务器通信，其中所述处理器经配置以 经由所述无线接口从所述数据库存取模型特征的所述区间。
13. -种设备，其包括： 用于捕捉环境的图像的装置； 用于接收与所述图像相关联的地理定向数据的装置； 用于基于所述地理定向数据而从数据库存取模型特征的区间的装置，其中所述模型特 征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中 分区； 用于从所述图像提取特征的装置； 用于比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对 应特征的集合的装置；及 用于使用对应特征的所述集合来确定所述设备的位置及定向的装置。
14. 根据权利要求13所述的设备，其进一步包括用于使用从所述图像提取的所述特征 来产生所述环境的全景柱面图的至少一部分的装置，其中所述用于比较从所述图像提取的 所述特征与模型特征的所述区间中的所述模型特征的装置使用来自所述全景柱面图的所 述部分的特征。
15. 根据权利要求13所述的设备，其进一步包括： 用于接收位置数据的装置；且 其中所述用于基于所述地理定向数据而从所述数据库存取模型特征的所述区间的装 置基于所述位置数据而从所述数据库存取模型特征的数据集块，其中模型特征的所述数据 集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取来自模 型特征的所述多个区间的模型特征的所述区间。
16. 根据权利要求13所述的设备，其进一步包括： 用于确定每一特征的法线向量的装置；及 用于使所述地理定向数据与每一特征的所述法线向量相关联的装置； 其中所述用于基于所述地理定向数据来从所述数据库存取模型特征的所述区间的装 置使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型 特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地 理定向数据的地理定向的范围中。
17. 根据权利要求16所述的设备，其进一步包括： 用于确定每一特征的重力向量的装置；及 用于在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以 产生对应特征的所述集合时使用所述重力向量的装置，其中每一模型特征具有相关联的重 力向量。
18. -种非暂时性计算机可读媒体，其包含存储在其上的程序代码，其包括： 用以接收与用摄像机捕捉的环境的图像相关联的地理定向数据的程序代码； 用以基于所述地理定向数据而从数据库存取模型特征的区间的程序代码，其中所述模 型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据 库中分区； 用以从所述图像提取特征的程序代码； 用以比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对 应特征的集合的程序代码；及 用以使用对应特征的所述集合来确定所述摄像机的位置及定向的程序代码。
19. 根据权利要求18所述的非暂时性计算机可读媒体，其进一步包括： 用以接收与所述图像相关联的位置数据的程序代码；且 其中所述用以基于所述地理定向数据而从所述数据库存取模型特征的所述区间的程 序代码包括：用以基于所述位置数据来从所述数据库存取模型特征的数据集块的程序代 码，其中模型特征的所述数据集块包括模型特征的多个区间；及使用所述地理定向数据来 在所述数据集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
20. 根据权利要求18所述的非暂时性计算机可读媒体，其进一步包括： 用以确定每一特征的法线向量的程序代码；及 用以使所述地理定向数据与每一特征的所述法线向量相关联的程序代码； 其中所述用以基于所述地理定向数据来从所述数据库存取模型特征的所述区间的程 序代码包括用以使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法 线向量的模型特征的对应区间检索模型特征的程序代码，其中所述法线向量在包含与所述 法线向量相关联的所述地理定向数据的地理定向的范围中。
21. -种方法，其包括： 获得环境的多个图像； 从所述多个图像提取特征； 使用所述特征产生所述环境的重建； 将所述环境的所述重建注册到全局定向； 使地理定向与每一特征相关联；及 存储所述环境的所述重建，其中所述特征一起分区为多个区间，其中每一区间与地理 定向的不同预定范围相关联。
22. 根据权利要求21所述的方法，其中使所述地理定向与每一特征相关联包括： 确定每一特征的法线向量；及 使每一特征的所述法线向量的定向关于所述地理定向而相关联。
23. 根据权利要求22所述的方法，其中确定特征的所述法线向量包括： 确定连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位置的 图像的所有摄像机的位置的向量；及 计算所述向量的平均值作为所述法线向量。
24. 根据权利要求21所述的方法，其进一步包括： 基于位置而将所述环境的所述重建存储在多个数据集块中，其中每一数据集块包括特 征的不同多个区间； 接收来自移动装置的位置数据；及 检索与所述位置数据相关联的数据集块。
25. -种设备，其包括： 数据库； 处理器，其耦合到所述数据库，所述处理器经配置以使用从环境的多个图像提取的特 征来产生所述环境的重建，将所述环境的所述重建注册到全局定向，使地理定向与每一特 征相关联；及将所述环境的所述重建存储在所述数据库中，其中所述特征一起分区为多个 区间，其中每一区间与地理定向的不同预定范围相关联。
26. 根据权利要求25所述的设备，其中所述处理器经配置以通过经配置以确定每一特 征的法线向量而使所述地理定向与每一特征相关联；及使每一特征的所述法线向量的定向 关于所述地理定向而相关联。
27. 根据权利要求26所述的设备，其中所述处理器经配置以通过经配置以确定连接所 述特征的3D点与使所述3D点成像的所有摄像机的向量而确定所述特征的所述法线向量； 及计算所述向量的平均值作为所述法线向量。
28. 根据权利要求25所述的设备，其进一步包括： 外部接口，其能够接收来自移动装置的位置信息；且 其中所述处理器经进一步配置以基于位置而将所述环境的所述重建存储在多个数据 集块中，其中每一数据集块包括特征的不同多个区间。
29. -种设备，其包括： 用于获得环境的多个图像的装置； 用于从所述多个图像提取特征的装置； 用于使用所述特征产生所述环境的重建的装置； 用于将所述环境的所述重建注册到全局定向的装置； 用于使地理定向与每一特征相关联的装置；及 用于存储所述环境的所述重建的装置，其中所述特征一起分区为多个区间，其中每一 区间与地理定向的不同预定范围相关联。
30. 根据权利要求29所述的设备，其中所述用于使所述地理定向与每一特征相关联的 装置包括用于确定每一特征的法线向量的装置；以及用于使每一特征的所述法线向量的定 向关于所述地理定向而相关联的装置。
31. 根据权利要求30所述的设备，其中所述用于确定特征的所述法线向量的装置确定 连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位置的图像的所 有摄像机的位置的向量；以及计算所述向量的平均值作为所述法线向量。
32. 根据权利要求29所述的设备，其中所述用于存储所述环境的所述重建的装置基于 位置而将所述重建存储在多个数据集块中，其中每一数据集块包括特征的不同多个区间， 所述设备进一步包括： 用于接收来自移动装置的位置信息的装置；及 用于检索与所述位置信息相关联的数据集块的装置。
33. -种非暂时性计算机可读媒体，其包含存储在其上的程序代码，其包括： 用以从环境的多个图像提取特征的程序代码； 用以使用所述特征来产生所述环境的重建的程序代码； 用以将所述环境的所述重建注册到全局定向的程序代码； 用以使地理定向与每一特征相关联的程序代码；及 用以存储所述环境的所述重建的程序代码，其中所述特征一起分区为多个区间，其中 每一区间与地理定向的不同预定范围相关联。
34. 根据权利要求33所述的非暂时性计算机可读媒体，其中所述用以使所述地理定向 与每一特征相关联的程序代码包括： 用以确定每一特征的法线向量的程序代码；及 用以使每一特征的所述法线向量的定向关于所述地理定向而相关联的程序代码。
35. 根据权利要求34所述的非暂时性计算机可读媒体，其中所述用以确定所述特征的 所述法线向量的程序代码包括： 用以确定连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位 置的图像的所有摄像机的位置的向量的程序代码；及 用以计算所述向量的平均值作为所述法线向量的程序代码。
36. 根据权利要求33所述的非暂时性计算机可读媒体，其进一步包括： 用以基于位置而将所述环境的所述重建存储在多个数据集块中的程序代码，其中每一 数据集块包括特征的不同多个区间； 用以接收来自移动装置的位置数据的程序代码；及 用以检索与所述位置数据相关联的数据集块的程序代码。
【文档编号】H04N5/32GK104428817SQ201380036633
【公开日】2015年3月18日 申请日期:2013年6月12日 优先权日:2012年7月12日
【发明者】克莱门斯·阿斯, 亚历山德罗·穆洛尼, 格哈德·赖特迈尔, 迪特尔·施马尔施蒂格 申请人:高通股份有限公司