用于使用对向相机来确定设备的位置的系统和方法

用于使用对向相机来确定设备的位置的系统和方法
【专利摘要】公开了使用对向相机来确定设备的位置的系统和方法。在一个实施例中，该方法包括：激活设备的朝前相机和朝后相机；使用朝前相机和朝后相机从第一朝向捕捉第一对图像，其中第一对图像包括第一前向图像和第一后向图像；监视该设备被旋转至第二朝向；使用朝前相机和朝后相机从第二朝向捕捉第二对图像，其中第二对图像包括第二前向图像和第二后向图像；以及使用第一对图像和第二对图像来确定该设备的位置。
【专利说明】用于使用对向相机来确定设备的位置的系统和方法
[0001] 相关申请
[0002] 这是要求于2012年1月27日提交的美国非临时专利申请号13/360, 372的优先 权的PCT申请，该美国非临时专利申请通过援引被整体纳入于此。
[0003] 领域
[0004] 本公开涉及设备定位领域。具体来说，本公开涉及用于使用对向相机来确定设备 的位置的系统和方法。

【背景技术】
[0005] 针对地标的基于视觉的匹配已经被广泛研究并应用于视觉搜索领域。例如，对于 室内场所，可收集室内场所各处的图像。对于每个图像，可计算尺度不变特征变换（SIFT) 特征并将其存储在数据库（DB)中。DB中的每个图像具有相关联的位置信息。这一信息可 被映射至该场所地图上的位置或区域。在该场所中捕捉的查询图像可基于特征匹配来与DB 中的图像进行比对。其位置可因此被确定和映射。然而，常规方法从未利用装备有双相机 的较新设备的优势。
[0006] 因此，存在对使用对向相机来确定设备的位置的系统和方法的需要。
[0007] 概述
[0008] 本公开涉及使用对向相机来确定设备的位置。根据本公开的各实施例，一种用于 确定设备的位置的方法包括：激活该设备的朝前相机和朝后相机；使用朝前相机和朝后相 机从第一朝向捕捉第一对图像，其中第一对图像包括第一前向图像和第一后向图像；监视 该设备被旋转至第二朝向；使用朝前相机和朝后相机从第二朝向捕捉第二对图像，其中第 二对图像包括第二前向图像和第二后向图像；以及使用第一对图像和第二对图像来确定该 设备的位置。
[0009] 激活设备的朝前相机和朝后相机的方法包括用姿势激活该设备的朝前相机和朝 后相机，其中该姿势包括应用该设备的一个或多个由用户定义的移动。捕捉第一对图像的 方法包括同时捕捉第一对图像，或者在预定时间段内捕捉第一对图像。该方法进一步包括 使用加速计、陀螺仪和磁力计中的至少一者来确定第一朝向和第二朝向的信息。
[0010] 确定设备的位置的方法包括确定连接与第一前向图像和第一后向图像相关联的 位置的第一条线，确定连接与第二前向图像和第二后向图像相关联的位置的第二条线，确 定第一条线和第二条线的大致交叉点，以及将该大致交叉点标识为设备的估计位置。确定 连接与第一前向图像和第一后向图像相关联的位置的第一条线的方法包括：将第一前向图 像与数据库中的图像进行比较，其中该数据库存储场所的多个位置的图像特征；标识第一 前向图像的大致位置；将第一后向图像与数据库中的图像进行比较；标识第一后向图像的 大致位置；以及使用第一前向图像的大致位置和第一后向图像的大致位置来确定第一条 线。将第一前向图像与数据库中的图像进行比较的方法包括：基于设备的第一朝向来从数 据库中选择第一图像集，其中第一图像集覆盖在朝前相机的视野中的区域；以及将第一前 向图像与第一图像集进行比较。将第一后向图像与数据库中的图像进行比较的方法包括： 基于第一前向图像的大致位置来从数据库中选择第二图像集，其中第二图像集覆盖与第一 前向图像的大致位置对向的区域；以及将第一后向图像与第二图像集进行比较。确定连接 与第二前向图像和第二后向图像相关联的位置的第二条线的方法包括：将第二前向图像与 数据库中的图像进行比较，其中该数据库存储场所的多个位置的图像特征；标识第二前向 图像的大致位置；将第二后向图像与数据库中的图像进行比较；标识第二后向图像的大致 位置；以及使用第二前向图像的大致位置和第二后向图像的大致位置来确定第二条线。该 方法进一步包括将估计位置发送给定位引擎，以及在定位引擎处使用估计位置来确定设备 的最终位置。
[0011] 在另一实施例中，用于确定设备的位置的计算机程序产品具有存储用于由一个或 多个计算机系统执行的计算机程序的非瞬态介质。该计算机程序产品包括：用于激活该设 备的朝前相机和朝后相机的代码；用于使用朝前相机和朝后相机从第一朝向捕捉第一对图 像的代码，其中第一对图像包括第一前向图像和第一后向图像；用于监视该设备被移至第 二朝向的代码；用于使用朝前相机和朝后相机从第二朝向捕捉第二对图像的代码，其中第 二对图像包括第二前向图像和第二后向图像；以及用于使用第一对图像和第二对图像来确 定该设备的位置的代码。
[0012] 在又一实施例中，一种设备包括：一个或多个处理器，与该一个或多个处理器一起 工作的双相机辅助模块，以及配置成存储该设备的位置的存储器。该双相机辅助模块包括： 用于激活该设备的朝前相机和朝后相机的逻辑；用于使用朝前相机和朝后相机从该设备的 第一朝向捕捉第一对图像的逻辑，其中第一对图像包括第一前向图像和第一后向图像；用 于监视该设备被移至第二朝向的逻辑；用于使用朝前相机和朝后相机从第二朝向捕捉第二 对图像的逻辑，其中第二对图像包括第二前向图像和第二后向图像；以及用于使用第一对 图像和第二对图像来确定该设备的位置的逻辑。
[0013] 在又一实施例中，一种用于确定设备的位置的系统包括：一个或多个处理器，配置 成与该一个或多个处理器一起工作的双相机辅助模块，以及配置成存储该设备的位置的存 储器。双相机辅助模块包括：用于激活该设备的朝前相机和朝后相机的装置；用于使用朝 前相机和朝后相机从第一朝向捕捉第一对图像的装置，其中第一对图像包括第一前向图像 和第一后向图像；用于监视该设备被移至第二朝向的装置；用于使用朝前相机和朝后相机 从第二朝向捕捉第二对图像的装置，其中第二对图像包括第二前向图像和第二后向图像； 以及用于使用第一对图像和第二对图像来确定该设备的位置的装置。
[0014] 在又一实施例中，一种用于确定设备的位置的方法包括：接收使用朝前相机和朝 后相机从设备的第一朝向捕捉的第一对图像，其中第一对图像包括第一前向图像和第一后 向图像；接收使用朝前相机和朝后相机从设备的第二朝向捕捉的第二对图像，其中第二对 图像包括第二前向图像和第二后向图像；以及使用第一对图像和第二对图像来确定该设备 的位置。
[0015] 在又一实施例中，一种用于确定设备的位置的计算机程序产品包括存储用于由一 个或多个计算机系统执行的计算机程序的非瞬态介质。该计算机程序产品进一步包括：用 于接收使用朝前相机和朝后相机从设备的第一朝向捕捉的第一对图像的代码，其中第一对 图像包括第一前向图像和第一后向图像；用于接收使用朝前相机和朝后相机从设备的第二 朝向捕捉的第二对图像的代码，其中第二对图像包括第二前向图像和第二后向图像；以及 用于使用第一对图像和第二对图像来确定该设备的位置的代码。
[0016] 在又一实施例中，一种服务器包括：一个或多个处理器，配置成与该一个或多个处 理器一起工作的双相机定位模块，以及配置成存储该设备的位置的存储器。该双相机定位 模块包括：用于接收使用朝前相机和朝后相机从设备的第一朝向捕捉的第一对图像的逻 辑，其中第一对图像包括第一前向图像和第一后向图像；用于接收使用朝前相机和朝后相 机从设备的第二朝向捕捉的第二对图像的逻辑，其中第二对图像包括第二前向图像和第二 后向图像；以及用于使用第一对图像和第二对图像来确定该设备的位置的逻辑。
[0017] 在又一实施例中，一种用于确定设备的位置的系统包括：一个或多个处理器，配置 成与该一个或多个处理器一起工作的双相机定位模块，以及配置成存储该设备的位置的存 储器。该双相机定位模块包括：用于接收使用朝前相机和朝后相机从设备的第一朝向捕捉 的第一对图像的装置，其中第一对图像包括第一前向图像和第一后向图像；用于接收使用 朝前相机和朝后相机从设备的第二朝向捕捉的第二对图像的装置，其中第二对图像包括第 二前向图像和第二后向图像；以及用于使用第一对图像和第二对图像来确定该设备的位置 的装置。
[0018] 附图简述
[0019] 在结合以下附图阅读了本公开的实施例的详细描述之后，本公开的上述特征和优 点及其附加特征及优点将能够被更清楚地理解。
[0020] 图1解说了根据本公开的一些方面的用于定义设备的朝向的示例性方法。
[0021] 图2a-2d解说了根据本公开的一些方面的使用对向相机来确定设备的位置的方 法。
[0022] 图3解说了根据本公开的一些方面的使用对向相机的示例性应用。
[0023] 图4解说了根据本公开的一些方面的图3中捕捉的图像的示例性显示。
[0024] 图5a解说了根据本公开一些方面的用于确定设备的位置的装置的框图。
[0025] 图5b解说了根据本公开一些方面的用于确定设备的位置的服务器的框图。
[0026] 图6a_6c解说了根据本公开的一些方面的由图5的双相机辅助模块实现的示例性 流程图。
[0027] 图7a_7b解说了根据本公开的实施例的视觉搜索功能性的示例性实现。
[0028] 实施例描述
[0029] 公开了使用对向相机来确定设备的位置的实施例。给出以下描述是为了使本领域 任何技术人员均能制作并使用本公开。对特定实施例和应用的描述仅是作为示例来提供 的。对本文中所描述的示例的各种修改和组合对于本领域技术人员将是显而易见的，并且 本文中定义的普适原理可被应用于其他示例和应用而不会脱离本公开的精神和范围。由 此，本公开并非旨在被限定于本文中描述和示出的示例，而是应被授予与本文中公开的原 理和特征一致的最广义的范围。
[0030] 对于装备有前向相机和后向相机（也称为朝前相机和朝后相机）的新设备，可捕 捉来自场所中的对向场景的两个图像。此外，可从该设备上的一个或多个传感器获得这些 图像中的每一者的朝向（方位和标高）。本公开描述了能被应用以基于所捕捉到并用朝向 数据标记了的两组或更多组双视角图像来确定设备的位置的系统和方法。这些方法利用各 对图像在给定了它们被捕捉的方式的前提下呈彼此对向这一优势。该设备的朝向数据和所 捕捉到的图像可被用于使视觉搜索最优化。
[0031] 图1解说了根据本公开的一些方面的用于描述设备的朝向的示例性方法。在图1 中示出的示例中，可参照具有Χ、γ和Z轴的笛卡尔坐标来描述设备102的朝向在一些办法 中，该设备内的特定参考点可被用作原点。可使用文本描述来定义原点或者原点可以是数 学上的唯一性点，诸如显示屏的中心。注意，可采用其它坐标系，诸如极坐标系和球坐标系， 来描述设备102的朝向。根据本公开的实施例，设备102的朝向可以大致与某个轴对齐。例 如，处于直立位置（由箭头104所指示的）的设备102可大致与Υ轴对齐，并且与Χ-Ζ平面 大致垂直。由箭头106指示的设备102的旋转可以基本上维持该设备的直立位置。
[0032] 在一些实施例中，当用户处于斜坡上或一段楼梯上时，描述设备102的朝向的Υ轴 可以大致垂直于该斜坡，而描述设备102的朝向的Χ-Ζ平面可以大致平行于该斜坡。
[0033] 根据本公开的实施例，各种类型的传感器，包括但不限于加速计、陀螺仪和磁力 计，可被用于检测设备的运动和旋转。加速计可能在检测线性运动时性能更好，陀螺仪可能 在检测旋转时性能更好，而磁力计可能在检测设备的朝向时性能更好。根据本公开的各方 面，可以使用两个或更多个此类传感器的组合来检测设备的运动、旋转和朝向。
[0034] 根据本公开的各实施例，加速计是测量设备的加速度的设备。它测量与驻留在该 加速计的参考系中的测试质量块所经历的重量相关联的加速度。例如，加速计即使在其处 于静止时也测出值，因为质量块具有重量，尽管没有速度改变。加速计测量每单位质量的重 量，即也称为重力或g力的量。换句话说，通过测量重量，加速计相对于其自身来测量自由 落体参考系（惯性参考系）的加速度。在一种办法中，多轴加速计可被用于检测适当加速 度（或重力）的幅度和方向，以作为矢量量。另外，多轴加速计可被用于随着重量方向变化 而感测朝向，随着它产生重力或重力变化而感测坐标加速度，感测振动和撞击。在另一种办 法中，微机械加速计可被用于检测设备的位置、移动和朝向。
[0035] 根据本公开的实施例，陀螺仪被用于基于角动量守恒原理来测量设备的旋转和朝 向。加速计或磁力计可被用于为陀螺仪建立初始参考。在建立了初始参考之后，陀螺仪在 检测设备的旋转方面可以比加速计或磁力计更准确，因为它受振动、或者受该设备周围的 电器所产生的电磁场的影响较小。机械陀螺仪可以是其转轴能自由呈现任何朝向的自旋轮 或盘。这一朝向响应于给定外部扭矩的改变与在没有与陀螺仪的高自旋速率相关联的大角 动量的情况下将发生的改变相比要小得多。因为通过将设备安装在万向接头中而使外部扭 矩最小化，所以其朝向保持几乎固定，而无论其上安装了该设备的平台有任何运动。在其 它办法中，还可使用基于其它工作原理的陀螺仪，诸如电子、微芯片封装微机电系统（MEMS) 陀螺仪设备、固态环形激光器、光纤陀螺仪和量子陀螺仪。
[0036] 根据本公开的实施例，磁力计可被用于通过检测围绕设备的磁场的强度或方向来 测量朝向。可使用各种类型的磁力计。例如，标量磁力计测量它所经受的磁场的总强度，而 矢量磁力计测量该磁场在相对于该设备的空间朝向的特定方向上的分量。在另一种办法 中，可使用固态霍尔效应磁力计。霍尔效应磁力计产生与所施加的磁场成比例的电压，并且 它能被配置成感测极性。
[0037] 图2a_2d解说了根据本公开的一些方面的用于使用对向相机来确定设备的位置 的方法。在图2a中，设备102关于轴X、Y和Z来取向。它捕捉第一前向图像204a和第一 后向图像204b。A是第一前向图像204a上的点，而B是第一后向图像204b上的点。将点 A和点B连起来的线穿过设备102。在图2b中，设备102关于平面X-Z旋转角Θ。它随后 捕捉第二前向图像206a和第二后向图像206b。C是第二前向图像206a上的点，而D是第 二后向图像206b上的点。将点C和点D连起来的线穿过设备102。注意，为了有更好的结 果，设备102可以去捕捉有一定距离的场景，这些场景较佳地不被其它物体或人遮挡。
[0038] 图2c解说了图2a和图2b的组合视图。如图2c中所示，线AB将第一前向图像 204a和第一后向图像204b连起来；线⑶将第二前向图像206a和第二后向图像206b连起 来。由点208所指示的线AB和⑶的交叉点描述了捕捉第一对图像（包括第一前向图像 204a和第一后向图像204b)和第二对图像（包括第二前向图像206a和第二后向图像206b) 的设备102的位置。注意在实践中，考虑到设备102在捕捉这些图像时以及在捕捉第一对 图像与第二对图像之间旋转时无意的移动，线AB和CD可能并不严格彼此交叉，并且该方法 计算大致交叉点。
[0039] 根据本公开的实施例，通过应用基于视觉的匹配，可在地图上搜索并定位每个图 像中的场景的位置。随后，使用所捕捉的各图像的位置，能将设备的位置（也称为用户位 置）推断为是沿着连接每一对图像的位置中心的线AB和⑶。随后，设备的位置可被确定为 这两条线在地图上的交叉点或交叉部分，如图2c中所示。
[0040] 图2d解说了根据本公开的一些方面的使用对向相机来确定设备的位置的另一方 法。捕捉两对图像的方法类似于图2a_2c中示出的用以生成第一对图像（包括第一前向图 像204a和第一后向图像204b)以及第二对图像（包括第二前向图像206a和第二后向图像 206b)的示例。在这一示例中，该方法不是确定从将每一对图像连起来的两条线推导出的交 点，而是标识通过将第一对图像（包括第一前向图像204a和第一后向图像204b)连起来而 形成的第一平面集212、以及通过将第二对图像（包括第二前向图像206a和第二后向图像 206b)连起来而形成的第二平面集214。第一平面集212和第二平面集214的交集216可随 后被用于确定设备102的位置。注意，在图2d中所示的示例中，可从第一前向图像204a和 第一后向图像204b的不同区域以及第二前向图像206a和第二后向图像206b的不同区域 中的特征点来外推交集216。在其它实现中，可从第一前向图像204a和第一后向图像204b 的一个或多个子区域以及第二前向图像206a和第二后向图像206b的一个或多个子区域中 的特征点来外推交集216。这一个或多个子区域可在图像匹配过程期间基于使用经SIFT匹 配的特征点所标识出的关键点来获得。
[0041] 如图2a-2d中所示，描述了用于确定设备的位置的方法。利用前向和后向相机， 该方法用管线化的图像捕捉系统来同时或者在预定时间段内捕捉第一对图像。这些图像 能捕捉场所的场景，这些场景可以是离相机有一定距离处的景象并且未被其它物体或人遮 挡。应用基于视觉的搜索，可在地图上标识并定位每个图像中的场景的位置。该设备（也 称为相机）和/或用户位置可被推断为是沿着连接第一对图像的两个位置的中心的线（2D 地图）或平面（3D地图）。接着，该设备相对于纵轴旋转并捕捉第二对对向场景。用户的位 置再次可被推断为是沿着连接第二对图像的两个位置的中心的线。相机和/或用户的位置 可随后被确定为地图上这两条线的交叉点或交叉部分。
[0042] 图3解说了根据本公开的一些方面的使用对向相机的示例性应用。在这一示例 中，用户可能会迷路并且可能需要帮助以在体育场302中找到他的座位。为此，用户可以使 用移动设备来应用图2a_2d中描述的方法。在这一示例性应用中，移动设备可被配置成从 用尸的当前位置捕捉第一对图像，即304a和304b。接着，用尸可旋转移动设备并从用尸的 当前位置拍摄第二对图像，即306a和306b。将这两对图像与数据库中该体育场的已知图像 进行比较。从这些比较来确定每一对图像的位置。基于这两对图像的位置，确定连接这两对 图像的线308和310。最后，线308和310的大致交叉点312可被标识为移动设备的位置。 在移动设备的位置被标识后，该信息被用于创建对用户在体育场中找到他的座位的指引。
[0043] 图4解说了根据本公开的一些方面的图3中捕捉的图像的示例性显示。在图4中 示出的示例中，由移动设备402捕捉的第一对图像（包括第一前向图像404a和第一后向图 像404b)在第一显示中示出。第一显示示出分别由移动设备的前向和后向相机捕捉的前视 图像404a和后视图像404b两者。在一些实现中，该设备可被配置成在捕捉第二对图像之前 询问用户以验证第一对图像。在一些其它实现中，如果捕捉到的图像的质量可被改善或者 如果在捕捉到的图像与数据库中的图像之间未找到令人满意的匹配，则该设备可被配置成 在预定时段之后请求用户再次捕捉第一对图像。类似地，由移动设备402捕捉的第二对图 像（包括第二前向图像406a和第二后向图像404b)在第二显示中示出。第二显示示出分 别由移动设备的前向和后向相机捕捉的前视图像406a和后视图像404b两者。在一些实现 中，该设备可被配置成询问用户以验证第二对图像。在一些其它实现中，如果捕捉到的图像 的质量可被改善或者如果在所捕捉的图像与数据库中的图像之间未找到令人满意的匹配， 则该设备可被配置成在预定时段之后请求用户再次捕捉第二对图像。
[0044] 图5a解说了根据本公开一些方面的用于确定移动设备的位置的装置的框图。如 图5a中所示，天线502从基站接收经调制信号并向调制解调器504的解调器（DEM0D)部分 提供收到信号。解调器处理（例如，调理和数字化）接收到的信号并获得输入采样。解调 器还对输入采样执行正交频分复用（0FDM)解调并提供所有副载波的频域收到码元。RX(接 收）数据处理器506处理（例如，码元解映射、解交织、和解码）频域收到码元并将经解码 数据提供给移动设备的控制器/处理器508。
[0045] 控制器/处理器508可被配置成控制该移动设备以经由无线网络与服务器通信。 TX数据处理器510生成信令码元、数据码元、和导频码元，它们可由调制解调器504的调制 器（MOD)处理并经由天线502传送给基站。另外，控制器/处理器508指导该移动设备处 的各种处理单元的操作。存储器512可被配置成存储用于该移动设备的程序代码和数据。 图像捕捉模块516包括前向相机518 (也称为朝前相机）和后向相机520 (也称为朝后相 机）。前向相机518和后向相机520可被配置成捕捉多组成双图像。传感器522包括加速 计524、陀螺仪526和磁力计528。加速计524、陀螺仪526和/或磁力计528可被配置成确 定移动设备的朝向。双相机辅助模块514可被配置成实现使用这多组成双图像来确定移动 设备的位置的方法。
[0046] 图5b解说了根据本公开一些方面的用于确定设备的位置的服务器的框图。在图 5b示出的示例中，服务器530包括一个或多个处理器532、网络接口 534、数据库536、双相 机定位模块538和存储器540。这一个或多个处理器532可被配置成控制服务器530的操 作。网络接口 534可被配置成与网络（未示出）通信，该网络可被配置成与其它服务器、计 算机和移动设备通信。数据库536可被配置成存储不同场所、地标、地图的图像以及其它由 用户定义的信息。双相机定位模块538可被配置成实现使用多组成双图像来确定设备的位 置的方法。例如，双相机定位模块538可被配置成实现图6b-6c和图7a-7b描述的方法。 另外，双相机足位模块538可被配置成控制设备执彳丁图2a-2d和图6a描述的万法。存储器 540可被配置成存储用于服务器530的程序代码和数据。
[0047] 根据本公开的实施例，数据库可以是按空间组织的。对于每个图像，可使用嵌入 在相机中的传感器来确定相机朝向。在搜索数据库时，该方法可最初专注于搜索在相机朝 向的邻域中的图像。在另一办法中，搜索可专注于匹配用前向或后向相机捕捉的图像的特 征，并使用该初始搜索结果来辅助对数据库的后续搜索。在又一办法中，可通过使用从GPS、 A-GPS或Skyhook式WiFi定位获得的大致位置信息来辅助进行对数据库的搜索。另外，如 果由前向相机捕捉的图像与位置（x，y)处的图像A1匹配，则检查处于与A1大致对向处的 图像以搜索与由后向相机捕捉到的图像的匹配，或反之。注意到，从图像A1可估计相机与 图像A1中示出的地标之间的距离，并且这一信息可被用于进一步辅助对该数据库中的其 余图像的搜索以找到由后向相机捕捉的图像的匹配。以上描述的各种方法可被应用于改善 在数据库中搜索图像的效率。
[0048] 根据本发明的各实施例，用户可使用一个或多个预定义姿势来触发双相机辅助模 块以用于确定移动设备的位置。例如，当处于基于位置的应用中时，用户可笔直向上抬升相 机以激活双相机辅助模块。注意，抬升相机可允许取景器避免遮挡。对于另一示例，用户可 来回摇晃相机三次以激活双相机辅助模块。在双相机辅助模块被激活后，相机的位置可如 以上关联于图2到图4所描述地被确定。
[0049] 注意，在已经确定相机的位置之后，可将其传达给设备内或驻留在远程位置的服 务器中的定位引擎。基于定位引擎的实现，该位置可随后作为附加测量被并入到粒子或卡 尔曼滤波器中或被作为个体锁定。在一种办法中，可将消息从相机模块传递给定位引擎，定 位引擎将该消息标记为双相机锁定，该双相机锁定可被定位引擎认为是高准确度锁定。
[0050] 图6a解说了根据本公开的一些方面的由图5a的双相机辅助模块实现的示例性流 程图。在图6a中示出的示例性实现中，在框602,该模块激活设备的朝前相机和朝后相机。 在框604，该模块使用设备的朝前相机和朝后相机从第一朝向捕捉第一对图像，其中第一对 图像包括第一前向图像和第一后向图像。在框606,该模块监视该设备被旋转至第二朝向。 在框610,该模块使用朝前相机和朝后相机从第二朝向捕捉第二对图像，其中第二对图像包 括第二前向图像和第二后向图像。在框610,该模块使用第一对图像和第二对图像来确定该 设备的位置。
[0051] 注意，双相机辅助模块被配置成用姿势来激活设备的朝前相机和朝后相机，其中 该姿势可包括应用该设备的一个或多个由用户定义的移动。第一对图像和第二对图像可同 时被捕捉以及可以在预定时段内被捕捉。可使用加速计、陀螺仪和磁力计中的至少一者来 确定设备的第一朝向和第二朝向的信息。
[0052] 根据本公开的各实施例，框610可由图6b中示出的框612到618来实现。在框 612,双相机辅助模块确定连接与第一前向图像和第一后向图像相关联的位置的第一条线。 与第一前向图像相关联的位置的示例可以是第一前向图像204a的点A的位置和第一后向 图像204b的点B的位置，如图2a中所示。在框614,该模块确定连接与第二前向图像和第 二后向图像相关联的位置的第二条线。与第二前向图像相关联的位置的示例可以是第二前 向图像206a的点C的位置和第二后向图像206b的点D的位置，如图2b中所示。在框616， 该模块确定第一条线和第二条线的大致交叉点。在框618,该模块将该大致交叉点标识为该 设备的估计位置。
[0053] 根据本公开的各实施例，框612可由图6c中示出的框620-636来实现。为了确定 连接与第一前向图像和第一后向图像相关联的位置的第一条线，在框620,该模块可被配置 成将第一前向图像与存储场所的多个位置的图像特征的数据库中的图像进行比较。在框 622,该模块标识第一前向图像的大致位置。在框624,该模块将第一后向图像与数据库中的 图像进行比较。在框626,该模块标识第一后向图像的大致位置。在框628,该模块使用第 一前向图像的大致位置和第一后向图像的大致位置来确定第一条线。
[0054] 在一种办法中，框620可包括框630和框632,而框624可包括框634和框636。 为了将第一前向图像与数据库中的图像进行比较，在框630,该模块基于设备的第一朝向从 数据库中选择第一图像集，其中第一图像集覆盖在朝前相机的视野中的区域。在框632,该 模块将第一前向图像与第一图像集进行比较。类似地，为了将第一后向图像与数据库中的 图像进行比较，在框634,该模块基于第一前向图像的大致位置来从数据库中选择第二图像 集，其中第二图像集覆盖与第一前向图像的大致位置对向的区域。在框636,该方法将第一 后向图像与第二图像集进行比较。
[0055] 为了确定连接第二前向图像和第二后向图像的第二条线，双相机辅助模块将第二 前向图像与数据库中的图像进行比较，其中该数据库存储场所的多个位置的图像特征，标 识第二前向图像的大致位置，将第二后向图像与数据库中的图像进行比较，标识第二后向 图像的大致位置，以及使用第二前向图像的大致位置和第二后向图像的大致位置来确定第 二条线。
[0056] 根据本公开的各实施例，为了将查询图像与数据库中的图像进行比较，从查询图 像中提取局部特征（也称为描述符）。局部特征集被用于评估查询图像与数据库图像之间 的相似性。为了对移动应用有用，个体特征可能需要对在用户从与相应的数据库图像相比 不同的视点、并且在具有与之不同的照明的情况下拍摄查询相片时遭遇的几何和光度失真 是稳健的。接着，将查询特征与数据库中存储的图像的特征进行匹配。这能通过使用特殊 的索引结构来完成，从而允许快速访问包含匹配特征的图像列表。基于它们与查询图像共 有的特征的数目，从数据库中选择潜在类似图像的最终候选列表。最后，对数据库中最类似 的匹配应用几何验证步骤。几何验证找到查询图像的特征与候选数据库图像的特征之间的 相干空间模式以确保该匹配是正确的。
[0057] 如上所讨论的，在场所的图像被移动设备捕捉后，作为视觉搜索过程的一部分，将 这些图像与数据库中的图像进行比较。图7a_7b解说了根据本公开的实施例的视觉搜索功 能性的示例性实现。本公开中描述的系统和方法可在如图7a和图7b中示出的客户机和服 务器环境中实现。
[0058] 如图7a中所示，该系统包括移动设备702 (例如，装备有双相机的移动电话）、视觉 搜索服务器704和无线网络706。移动设备702包括图像捕捉模块703、图像编码模块705 以及处理和显示结果模块707。视觉搜索服务器704包括图像解码模块711、描述符提取模 块713、描述符匹配模块715、搜索结果模块717和数据库719。移动设备702、无线网络706 和视觉搜索服务器704的组件可通信地耦合，如图7a的流图中所示。移动设备702分析查 询图像，提取局部图像特征（描述符）并传送特征数据。检索方法将所传送的特征用作查 询地在视觉搜索服务器704上运行以执行搜索。
[0059] 在图7b中不出的不例中，该系统包括移动设备722(不出为移动电话）、视觉搜索 服务器724和无线网络726。移动设备722包括图像捕捉模块723、描述符提取模块725、描 述符编码模块727、描述符匹配模块729、判决分支731、处理和显示结果模块733、以及本地 数据库（D/B)或高速缓存735。视觉搜索服务器724包括描述符解码模块741、描述符匹配 模块743、搜索结果模块745和数据库747。移动设备722的组件、无线网络726和视觉搜 索服务器724通信地耦合，如图7b的流图中所示。移动设备722维持数据库的高速缓存并 在本地执行图像匹配。在没找到匹配的情况下，移动设备722将查询请求发送给视觉搜索 服务器724。以此方式，它进一步减少了网络上发送的数据量。
[0060] 在图7a和图7b的每种情形中，检索框架可适配于苛刻的移动系统要求移动设备 上的处理可能需要是快速的并且在功耗意义上是经济的。网络上传送的数据的大小可能需 要尽可能小，以将网络等待时间最小化并因此提供最佳用户体验。用于检索的方法可能需 要是可伸缩的以适配潜在非常大的数据库，并且能够以低等待时间递送准确的结果。此外， 检索系统可能需要是稳健的以允许对在很宽范围的条件下（包括不同距离、视角、以及照 明条件，或者在存在部分遮挡或运动模糊时）捕捉的对象的可靠识别。在其它实施例中，整 个系统可以驻留在移动设备上，视觉搜索服务器和驻留在视觉搜索服务器中的数据库的功 能性可在移动设备中实现。例如，场所的数据库可被下载至移动设备，并且由图7a中描述 的视觉搜索服务器704执行的功能或者由图7b中描述的视觉搜索服务器724执行的功能 可在移动设备中实现。
[0061] 特征提取过程标识图像中的显著兴趣点。为了稳健的图像匹配，此类兴趣点可能 需要在透视变换（诸如，尺度变化、旋转和平移）和照明变动下是可重复的。为了达成尺度 不变性，可使用图像金字塔在多个尺度计算兴趣点。为了达成旋转不变性，使围绕每个兴趣 点的贴片朝向优势梯度的方向。每条路径中的梯度被进一步归一化以使其对于照明变化是 稳健的。
[0062] 注意，不同的兴趣点检测器在可重复性和复杂性上提供不同的折衷。例如，由SIFT 生成的高斯差分（DOG)点计算起来可能很慢，但可以是高度可重复的；而角点检测器办法 可能是快速的但它提供较低的可重复性。各种办法中能在可重复性与复杂性之间达成良好 折衷的是用积分图像加速的Hessian-团块（blob)检测器。针对VGA图像使用这一办法， 可在一些当前移动电话上在大致小于一秒中实施兴趣点检测。
[0063] 在兴趣点检测后，使用此类点周围的小图像贴片来计算"视觉词"描述符。计算特 征描述符中的一个挑战是要使得这些特征描述符对于图像或小图像集的特性有高度的鉴 别性。几乎在每个图像中都发生的描述符（例如，等效于在文本文档中的词"和"）对于检 索将不会是有用的。
[0064] 在一个实现中，计算描述符的过程被描述如下：
[0065] 该贴片被划分为若干（例如，5到9)个空间上局部化的档；
[0066] 随后计算每个空间档中的联合（dx，dy)梯度直方图。CHoG直方图分档利用针对在 关键点周围提取的贴片观察到的梯度统计上的典型偏斜；以及
[0067] 来自每个空间档的梯度直方图被量化并被存储为描述符的一部分。
[0068] 在以上用于提取图像特征的实现中，在不同尺度提取兴趣点（例如，角点、团块）。 不同尺度的贴片沿最优势梯度来取向。使用经正则取向和归一化的贴片来计算描述符。该 贴片被划分为经局部化的空间档，并且它提供对抗兴趣点局部化误差的稳健性。每个空间 档中的梯度的分布被直接压缩以获得对该贴片的紧凑描述。使用直方图允许采用信息距离 量度（诸如KL发散度）来评估图像特征之间的失配程度。直方图还允许简单和有效的编 码。在一些示例中，可能仅需要50-60比特来将每个贴片转换成经压缩的基于直方图的描 述符。
[0069] 传送或存储局部图像特征的移动视觉搜索系统可能需要高效地编码（和/或复 用）特征集和特征位置信息。特征位置信息还可能需要被编码，因为其被用于几何验证。为 了匹配准确性，在一种办法中，通常使用数百个局部特征。此类特征通常是高度地空间相关 的。特征位置信息的编码可通过首先将其量化为2D直方图，并且随后使用基于上下文的算 术编码技术以利用空间相关性来完成。这一技术能达成大约5比特/特征的编码率，同时 递送特征位置信息的充分高精度的表示。
[0070] 整个本地特征集及其相应的位置的编码可通过首先传送特征位置直方图，并且随 后按其位置在解码该直方图时出现的次序传送各特征来完成。例如，如果直方图指示块 (X，y)包括三个特征，则编码器能在比特流中顺序输出三个相应描述符的代码。
[0071] 对于大的图像数据库中的图像的特征的索引和匹配，所公开的各实施例使用返回 很可能匹配查询图像的数据库候选的最终候选列表的数据结构。该最终候选列表可以包含 假阳性，只要正确的匹配被包括即可。可随后仅对最终候选列表而非整个数据库执行较慢 的逐对比较。
[0072] 各种数据结构可被用于在图像数据库中索引局部特征。一种办法是以最佳档最优 先策略来使用对SIFT描述符的近似最近邻居（ANN)搜索。另外，可使用特征袋（BoF)模型。 BoF码本由描述符训练集的k均值群集来构造。在查询期间，对数据库图像进行评分可通过 使用与BoF码本相关联的倒排文件索引来执行。为了生成大的码本，可利用阶层式k均值 群集来创建词汇树（VT)。也可使用其它搜索技术，诸如地点敏感性散列（LSH)、以及传统的 基于树的办法的改进。
[0073] 几何验证在特征匹配后执行。在这一阶段中，查询图像和数据库图像中的特征的 位置信息被用于确认特征匹配与这两个图像之间的视点变化一致。使用回归技术来估计查 询图像和数据库图像之间的几何变换。变换通常由纳入了 3D几何、单应性或仿射模型的基 本矩阵来表示。
[0074] 注意，第[0068] - [0070]段、图3、图5a、图6a_6c及其相应描述提供了：用于激活 设备的朝前相机和朝后相机的装置、用于使用该设备的朝前相机和朝后相机从第一朝向捕 捉第一对图像的装置、用于监视该设备被移至第二朝向的装置、用于使用朝前相机和朝后 相机从第二朝向捕捉第二对图像的装置、以及用于使用第一对图像和第二对图像来确定该 设备的位置的装置。第[0068] - [0070]段、图2a-2d、图5a、图6a-6c及其相应描述提供了 ： 用于确定连接与第一前向图像和第一后向图像相关联的位置的第一条线的装置、用于确定 连接与第二前向图像和第二后向图像相关联的位置的第二条线的装置、用于确定第一条线 和第二条线的大致交叉点的装置、以及用于将该大致交叉点标识为该设备的估计位置的装 置。第[0068]-[0070]段、图2a-2d、图5a、图6a-6c、图7a-7b及其相应描述提供了 ：用于将 第一前向图像与数据库中的图像进行比较的装置、用于标识第一前向图像的大致位置的装 置、用于将第一后向图像与数据库中的图像进行比较的装置、用于标识第一后向图像的大 致位置的装置、以及用于使用第一前向图像的大致位置和第一后向图像的大致位置来确定 第一条线的装置。第[0068] - [0070]段、图2a-2d、图4、图5a、图6a-6c及其相应描述提供 了 ：用于基于设备的第一朝向从数据库中选择第一图像集的装置、用于将第一前向图像与 第一图像集进行比较的装置、用于基于第一前向图像的大致位置从数据库中选择第二图像 集的装置、以及用于将第一后向图像与第二图像集进行比较的装置。第[0068] - [0070]、图 2a_2d、图5a、图6a_6c、图7a_7b及其相应描述提供了 ：用于将第二前向图像与数据库中的 图像进行比较的装置，其中该数据库存储场所的多个位置的图像特征；用于标识第二前向 图像的大致位置的装置；用于将第二后向图像与数据库中的图像进行比较的装置；用于标 识第二后向图像的大致位置的装置；以及用于使用第二前向图像的大致位置和第二后向图 像的大致位置来确定第二条线的装置。注意，第[0068] - [0070]段、图4、图5b、图6a-6c、 图7a-7b及其相应描述提供了：用于接收使用朝前相机和朝后相机从设备的第一朝向捕捉 的第一对图像的装置、用于接收使用朝前相机和朝后相机从设备的第二朝向捕捉的第二对 图像的装置、以及用于使用第一对图像和第二对图像来确定设备的位置的装置。
[0075] 取决于应用，本文中所描述的方法体系和移动设备可藉由各种手段来实现。例如， 这些方法体系可以在硬件、固件、软件、或其组合中实现。对于硬件实现，处理单元可以在一 个或多个专用集成电路（ASIC)、数字信号处理器（DSP)、数字信号处理器件（DSPD)、可编程 逻辑器件（PLD)、现场可编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器、电子器 件、设计成执行本文所描述功能的其他电子单元、或其组合内实现。在本文中，术语"控制逻 辑"涵盖由软件、硬件、固件、或组合实现的逻辑。
[0076] 对于固件和/或软件实现，这些方法体系可以用执行本文中所描述功能的模块 (例如，规程、函数等等）来实现。有形地实施指令的任何机器可读介质可被用于实现本文 中所描述的方法体系。例如，软件代码可被存储在存储器中并由处理单元来执行。存储器 可被实现在处理单元内，或处理单元之外。如本文所使用的，术语"存储器"是指任何类型 的长期、短期、易失性、非易失性、或其他存储设备，并且不被限定于任何特定类型的存储器 或存储器数目、或记忆存储于其上的介质的类型。
[0077] 如果以固件和/或软件实现，则各功能可作为一条或多条指令或代码存储在计算 机可读介质上。示例包括以数据结构编码的计算机可读介质和以计算机程序编码的计算机 可读介质。计算机可读介质可采取制品的形式。计算机可读介质包括物理计算机存储介质。 存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介 质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被 用来存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质；如本文 中所使用的盘（disk)和碟（disc)包括压缩碟（CD)、激光碟、光碟、数字多用碟（DVD)、软盘 和蓝光碟，其中盘常常磁性地再现数据，而碟用激光来光学地再现数据。上述的组合也可被 包括在计算机可读介质的范围内。
[0078] 除了存储在计算机可读介质上，指令和/或数据还可作为包括在通信装置中的传 输介质上的信号来提供。例如，通信装置可包括具有指示指令和数据的信号的收发机。这 些指令和数据被配置成使一个或多个处理器实现权利要求中叙述的功能。即，通信装置包 括具有指示用以执行所公开功能的信息的信号的传输介质。在第一时间，通信装置中所包 括的传输介质可包括用以执行所公开功能的信息的第一部分，而在第二时间，通信装置中 所包括的传输介质可包括用以执彳丁所公开功能的信息的第二部分。
[0079] 本公开可结合诸如无线广域网（WWAN)、无线局域网（WLAN)、无线个域网（WPAN) 等各种无线通信网络来实现。术语"网络"和"系统"常可互换地使用。术语"位置"和 "定位"常被可互换地使用。WWAN可以是码分多址（CDMA)网络、时分多址（TDMA)网络、 频分多址（FDMA)网络、正交频分多址（0FDMA)网络、单载波频分多址（SC-FDMA)网络、长 期演进（LTE)网络、WiMAX(IEEE802.16)网络等等。CDMA网络可实现诸如cdma2000、宽 带CDMA(W-CDMA)等一种或多种无线电接入技术（RAT)。Cdma2000包括IS-95、IS-2000和 IS-856标准。TDMA网络可实现全球移动通信系统（GSM)、数字高级移动电话系统（D-AMPS) 或其他某种RAT。GSM和W-CDMA在来自名为"第三代伙伴项目"（3GPP)的联盟的文献中 描述。Cdma2000在来自名为"第三代伙伴项目2"（3GPP2)的联盟的文献中描述。3GPP和 3GPP2文献是公众可获取的。WLAN可以是IEEE802. llx网络，并且WPAN可以是蓝牙网络、 IEEE802. 15x、或其他某种类型的网络。这些技术也可结合WWAN、WLAN和/或WPAN的任何 组合来实现。
[0080] 移动站指诸如蜂窝或其他无线通信设备、个人通信系统（PCS)设备、个人导航设 备（PND)、个人信息管理器（PM)、个人数字助理（PDA)、膝上型设备或能够接收无线通信和 /或导航信号的其他合适的移动设备之类的设备。术语"移动站"还旨在包括诸如通过短程 无线、红外、有线连接、或其他连接与个人导航设备（PND)通信的设备--不管卫星信号接 收、辅助数据接收、和/或定位相关处理是发生在该设备上还是PND上。而且，"移动站"旨 在包括能够诸如经由因特网、Wi-Fi、或其他网络与服务器通信的所有设备，包括无线通信 设备、计算机、膝上型计算机等，而不管卫星信号接收、辅助数据接收、和/或位置相关处理 是发生在该设备处、服务器处、还是与网络相关联的另一个设备处。以上的任何可操作组合 也被认为是"移动站"。
[0081] 关于某物是"最优化的"、"必需的"的称谓或其他称谓并不指示当前公开仅适用于 被最优化的系统、或者其中存在"必需"要素（或由于其他称谓导致的其他限制）的系统。 这些称谓仅指特定的所描述实现。当然，许多实现都是可能的。这些技术可与除本文所讨 论之外的其他协议（包括开发中或有待开发的协议）联用。
[0082] 相关领域的技术人员将认识到，可使用所公开的实施例的许多可能的修改和组 合，而同时仍然采用相同的基础的根本机制和方法体系。为解释目的，以上描述是参照特定 实施例来撰写的。然而，以上的解说性讨论并非旨在穷举或将本发明限于所公开的精确形 式。鉴于上述教导，许多修改和变型都是可能的。这些实施例被选择和描述是为了解释本 公开的原理及其实际应用，并且使本领域其他技术人员能够连同各种适于所构想的特定用 途的修改一起最好地利用本公开和各种实施例。
【权利要求】
1. 一种用于确定设备的位置的方法，包括： 激活所述设备的朝前相机和朝后相机； 使用所述朝前相机和所述朝后相机从第一朝向捕捉第一对图像，其中所述第一对图像 包括第一前向图像和第一后向图像； 监视所述设备被旋转至第二朝向； 使用所述朝前相机和所述朝后相机从第二朝向捕捉第二对图像，其中所述第二对图像 包括第二前向图像和第二后向图像；以及 使用所述第一对图像和所述第二对图像来确定所述设备的位置。
2. 如权利要求1所述的方法，其特征在于，激活所述设备的朝前相机和朝后相机包括： 用姿势来激活所述设备的所述朝前相机和所述朝后相机，其中所述姿势包括应用所述 设备的一个或多个由用户定义的移动。
3. 如权利要求1所述的方法，其特征在于，捕捉第一对图像包括： 同时捕捉所述第一对图像。
4. 如权利要求1所述的方法，其特征在于，捕捉第一对图像进一步包括： 在预定时段内捕捉所述第一对图像。
5. 如权利要求1所述的方法，其特征在于，进一步包括： 使用加速计、陀螺仪和磁力计中的至少一者来确定所述第一朝向和所述第二朝向的信 息。
6. 如权利要求1所述的方法，其特征在于，确定所述设备的位置包括： 确定连接与所述第一前向图像和所述第一后向图像相关联的位置的第一条线； 确定连接与所述第二前向图像和所述第二后向图像相关联的位置的第二条线； 确定所述第一条线和所述第二条线的大致交叉点；以及 将所述大致交叉点标识为所述设备的估计位置。
7. 如权利要求6所述的方法，其特征在于，确定第一条线包括： 将所述第一前向图像与数据库中的图像进行比较，其中所述数据库存储场所的多个位 置的图像特征； 标识所述第一前向图像的大致位置； 将所述第一后向图像与所述数据库中的图像进行比较； 标识所述第一后向图像的大致位置；以及 使用所述第一前向图像的大致位置和所述第一后向图像的大致位置来确定所述第一 条线。
8. 如权利要求7所述的方法，其特征在于，比较所述第一前向图像包括： 基于所述设备的第一朝向来从所述数据库中选择第一图像集，其中所述第一图像集覆 盖在所述第一朝前相机的视野中的区域；以及 将所述第一前向图像与所述第一图像集进行比较。
9. 如权利要求7所述的方法，其特征在于，比较所述第一后向图像包括： 基于所述第一前向图像的所述大致位置从所述数据库中选择第二图像集，其中所述第 二图像集覆盖与所述第一前向图像的所述大致位置对向的区域；以及 将所述第一后向图像与所述第二图像集进行比较。
10. 如权利要求6所述的万法，其特征在于，确足第二条线包括： 将所述第二前向图像与数据库中的图像进行比较，其中所述数据库存储场所的多个位 置的图像特征； 标识所述第二前向图像的大致位置； 将所述第二后向图像与所述数据库中的图像进行比较； 标识所述第二后向图像的大致位置；以及 使用所述第二前向图像的大致位置和所述第二后向图像的大致位置来确定所述第二 条线。
11. 如权利要求6所述的方法，其特征在于，进一步包括： 将所估计的位置发送给定位引擎；以及 在所述定位引擎处使用所估计的位置来确定所述设备的最终位置。
12. -种用于确定设备的位置的计算机程序产品，包括存储用于由一个或多个计算机 系统执行的计算机程序的非瞬态介质，所述计算机程序产品包括： 用于激活所述设备的朝前相机和朝后相机的代码； 用于使用所述朝前相机和所述朝后相机从第一朝向捕捉第一对图像的代码，其中所述 第一对图像包括第一前向图像和第一后向图像； 用于监视所述设备被移至第二朝向的代码； 用于使用所述朝前相机和所述朝后相机从第二朝向捕捉第二对图像的代码，其中所述 第二对图像包括第二前向图像和第二后向图像；以及 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的代码。
13. 如权利要求12所述的计算机程序产品，其特征在于，用于激活所述设备的朝前相 机和朝后相机的代码包括： 用于用姿势来激活所述设备的所述朝前相机和所述朝后相机的代码，其中所述姿势包 括应用所述设备的一个或多个由用户定义的移动。
14. 如权利要求12所述的计算机程序产品，其特征在于，用于捕捉第一对图像的代码 包括： 用于同时捕捉所述第一对图像的代码。
15. 如权利要求12所述的计算机程序产品，其特征在于，用于捕捉第一对图像的代码 进一步包括： 用于在预定时段内捕捉所述第一对图像的代码。
16. 如权利要求12所述的计算机程序产品，其特征在于，进一步包括： 用于使用加速计、陀螺仪和磁力计中的至少一者来确定所述第一朝向和所述第二朝向 的信息的代码。
17. 如权利要求12所述的计算机程序产品，其特征在于，用于确定所述设备的位置的 代码包括： 用于确定连接与所述第一前向图像和所述第一后向图像相关联的位置的第一条线的 代码； 用于确定连接与所述第二前向图像和所述第二后向图像相关联的位置的第二条线的 代码； 用于确定所述第一条线和所述第二条线的大致交叉点的代码；以及 用于将所述大致交叉点标识为所述设备的估计位置的代码。
18. 如权利要求17所述的计算机程序产品，其特征在于，用于确定第一条线的代码包 括： 用于将所述第一前向图像与数据库中的图像进行比较的代码，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第一前向图像的大致位置的代码； 用于将所述第一后向图像与所述数据库中的图像进行比较的代码； 用于标识所述第一后向图像的大致位置的代码；以及 用于使用所述第一前向图像的大致位置和所述第一后向图像的大致位置来确定所述 第一条线的代码。
19. 如权利要求18所述的计算机程序产品，其特征在于，用于比较第一前向图像的代 码包括： 用于基于所述设备的第一朝向来从所述数据库中选择第一图像集的代码，其中所述第 一图像集覆盖在所述第一朝前相机的视野中的区域；以及 用于将所述第一前向图像与所述第一图像集进行比较的代码。
20. 如权利要求18所述的计算机程序产品，其特征在于，用于比较第一后向图像的代 码包括： 用于基于所述第一前向图像的所述大致位置从所述数据库中选择第二图像集的代码， 其中所述第二图像集覆盖与所述第一前向图像的所述大致位置对向的区域；以及 用于将所述第一后向图像与所述第二图像集进行比较的代码。
21. 如权利要求17所述的计算机程序产品，其特征在于，用于确定第二条线的代码包 括： 用于将所述第二前向图像与数据库中的图像进行比较的代码，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第二前向图像的大致位置的代码； 用于将所述第二后向图像与所述数据库中的图像进行比较的代码； 用于标识所述第二后向图像的大致位置的代码；以及 用于使用所述第二前向图像的大致位置和所述第二后向图像的大致位置来确定所述 第二条线的代码。
22. 如权利要求17所述的计算机程序产品，其特征在于，进一步包括： 用于将所估计的位置发送给定位引擎的代码；以及 用于在所述定位引擎处使用所估计的位置来确定所述设备的最终位置的代码。
23. -种设备，包括： 一个或多个处理器； 双相机辅助模块，其与所述一个或多个处理器一起工作，其中所述双相机辅助模块包 括 用于激活所述设备的朝前相机和朝后相机的逻辑； 用于使用朝前相机和朝后相机从所述设备的第一朝向捕捉第一对图像的逻辑，其中所 述第一对图像包括第一前向图像和第一后向图像； 用于监视所述设备被移至第二朝向的逻辑； 用于使用所述朝前相机和所述朝后相机从第二朝向捕捉第二对图像的逻辑，其中所述 第二对图像包括第二前向图像和第二后向图像； 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的逻辑；以及 配置成存储所述设备的位置的存储器。
24. 如权利要求23所述的设备，其特征在于，用于激活所述设备的朝前相机和朝后相 机的逻辑包括： 用姿势来激活所述设备的所述朝前相机和所述朝后相机，其中所述姿势包括应用所述 设备的一个或多个由用户定义的移动。
25. 如权利要求23所述的设备，其特征在于，用于捕捉第一对图像的逻辑包括： 用于同时捕捉所述第一对图像的逻辑。
26. 如权利要求23所述的设备，其特征在于，用于捕捉第一对图像的逻辑进一步包括： 用于在预定时段内捕捉所述第一对图像的逻辑。
27. 如权利要求23所述的设备，其特征在于，进一步包括： 用于使用加速计、陀螺仪和磁力计中的至少一者来确定所述第一朝向和所述第二朝向 的信息的逻辑。
28. 如权利要求23所述的设备，其特征在于，用于确定所述设备的位置的逻辑包括： 用于确定连接与所述第一前向图像和所述第一后向图像相关联的位置的第一条线的 逻辑； 用于确定连接与所述第二前向图像和所述第二后向图像相关联的位置的第二条线的 逻辑； 用于确定所述第一条线和所述第二条线的大致交叉点的逻辑；以及 用于将所述大致交叉点标识为所述设备的估计位置的逻辑。
29. 如权利要求28所述的设备，其特征在于，用于确定第一条线的逻辑包括： 用于将所述第一前向图像与数据库中的图像进行比较的逻辑，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第一前向图像的大致位置的逻辑； 用于将所述第一后向图像与所述数据库中的图像进行比较的逻辑； 用于标识所述第一后向图像的大致位置的逻辑；以及 用于使用所述第一前向图像的大致位置和所述第一后向图像的大致位置来确定所述 第一条线的逻辑。
30. 如权利要求29所述的设备，其特征在于，用于比较所述第一前向图像的逻辑包括： 用于基于所述设备的第一朝向来从所述数据库中选择第一图像集的逻辑，其中所述第 一图像集覆盖在所述第一朝前相机的视野中的区域；以及 用于将所述第一前向图像与所述第一图像集进行比较的逻辑。
31. 如权利要求29所述的设备，其特征在于，用于比较所述第一后向图像的逻辑包括： 用于基于所述第一前向图像的所述大致位置从所述数据库中选择第二图像集的逻辑， 其中所述第二图像集覆盖与所述第一前向图像的所述大致位置对向的区域；以及 用于将所述第一后向图像与所述第二图像集进彳丁比较的逻辑。
32. 如权利要求28所述的设备，其特征在于，用于确定第二条线的逻辑包括： 用于将所述第二前向图像与数据库中的图像进行比较的逻辑，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第二前向图像的大致位置的逻辑； 用于将所述第二后向图像与所述数据库中的图像进行比较的逻辑； 用于标识所述第二后向图像的大致位置的逻辑；以及 用于使用所述第二前向图像的大致位置和所述第二后向图像的大致位置来确定所述 第二条线的逻辑。
33. 如权利要求28所述的设备，其特征在于，进一步包括： 用于将所估计的位置发送给定位引擎的逻辑；以及 用于在所述定位引擎处使用所估计的位置来确定所述设备的最终位置的逻辑。
34. -种用于确定设备的位置的系统，包括： 一个或多个处理器； 双相机辅助模块，其与所述一个或多个处理器一起工作，其中所述双相机辅助模块包 括 用于激活所述设备的朝前相机和朝后相机的装置； 用于使用所述朝前相机和朝后相机从第一朝向捕捉第一对图像的装置，其中所述第一 对图像包括第一前向图像和第一后向图像； 用于监视所述设备被移至第二朝向的装置； 用于使用所述朝前相机和所述朝后相机从第二朝向捕捉第二对图像的装置，其中所述 第二对图像包括第二前向图像和第二后向图像； 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的装置；以及 配置成存储所述设备的位置的存储器。
35. 如权利要求34所述的系统，其特征在于，用于确定所述设备的位置的装置包括： 用于确定连接与所述第一前向图像和所述第一后向图像相关联的位置的第一条线的 装置； 用于确定连接与所述第二前向图像和所述第二后向图像相关联的位置的第二条线的 装置； 用于确定所述第一条线和所述第二条线的大致交叉点的装置；以及 用于将所述大致交叉点标识为所述设备的估计位置的装置。
36. 如权利要求35所述的系统，其特征在于，用于确定第一条线的装置包括： 用于将所述第一前向图像与数据库中的图像进行比较的装置，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第一前向图像的大致位置的装置； 用于将所述第一后向图像与所述数据库中的图像进行比较的装置； 用于标识所述第一后向图像的大致位置的装置；以及 用于使用所述第一前向图像的大致位置和所述第一后向图像的大致位置来确定所述 第一条线的装置。
37. 如权利要求36所述的系统，其特征在于，用于比较所述第一前向图像的装置包括： 用于基于所述设备的第一朝向来从所述数据库中选择第一图像集的装置，其中所述第 一图像集覆盖在所述第一朝前相机的视野中的区域；以及 用于将所述第一前向图像与所述第一图像集进行比较的装置。
38. 如权利要求36所述的系统，其特征在于，用于比较所述第一后向图像的装置包括： 用于基于所述第一前向图像的所述大致位置从所述数据库中选择第二图像集的装置， 其中所述第二图像集覆盖与所述第一前向图像的所述大致位置对向的区域；以及 用于将所述第一后向图像与所述第二图像集进行比较的装置。
39. 如权利要求35所述的系统，其特征在于，用于确定第二条线的装置包括： 用于将所述第二前向图像与数据库中的图像进行比较的装置，其中所述数据库存储场 所的多个位置的图像特征； 用于标识所述第二前向图像的大致位置的装置； 用于将所述第二后向图像与所述数据库中的图像进行比较的装置； 用于标识所述第二后向图像的大致位置的装置；以及 用于使用所述第二前向图像的大致位置和所述第二后向图像的大致位置来确定所述 第二条线的装置。
40. -种用于确定设备的位置的方法，包括： 接收使用朝前相机和朝后相机从所述设备的第一朝向捕捉的第一对图像，其中所述第 一对图像包括第一前向图像和第一后向图像； 接收使用所述朝前相机和所述朝后相机从所述设备的第二朝向捕捉的第二对图像，其 中所述第二对图像包括第二前向图像和第二后向图像；以及 使用所述第一对图像和所述第二对图像来确定所述设备的位置。
41. 一种用于确定设备的位置的计算机程序产品，包括存储用于由一个或多个计算机 系统执行的计算机程序的非瞬态介质，所述计算机程序产品包括： 用于接收使用朝前相机和朝后相机从所述设备的第一朝向捕捉的第一对图像的代码， 其中所述第一对图像包括第一前向图像和第一后向图像； 用于接收使用所述朝前相机和所述朝后相机从所述设备的第二朝向捕捉的第二对图 像的代码，其中所述第二对图像包括第二前向图像和第二后向图像；以及 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的代码。
42. -种服务器，包括： 一个或多个处理器； 双相机定位模块，其被配置成与所述一个或多个处理器一起工作，其中所述双相机定 位模块包括 用于接收使用朝前相机和朝后相机从所述设备的第一朝向捕捉的第一对图像的逻辑， 其中所述第一对图像包括第一前向图像和第一后向图像； 用于接收使用所述朝前相机和所述朝后相机从所述设备的第二朝向捕捉的第二对图 像的逻辑，其中所述第二对图像包括第二前向图像和第二后向图像；以及 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的逻辑；以及 配置成存储所述设备的位置的存储器。
43. -种用于确足设备的位置的系统，包括： 一个或多个处理器； 双相机定位模块，其被配置成与所述一个或多个处理器一起工作，其中所述双相机定 位模块包括 用于接收使用朝前相机和朝后相机从所述设备的第一朝向捕捉的第一对图像的装置， 其中所述第一对图像包括第一前向图像和第一后向图像； 用于接收使用所述朝前相机和所述朝后相机从所述设备的第二朝向捕捉的第二对图 像的装置，其中所述第二对图像包括第二前向图像和第二后向图像； 用于使用所述第一对图像和所述第二对图像来确定所述设备的位置的装置；以及 配置成存储所述设备的位置的存储器。
【文档编号】H04W64/00GK104067091SQ201380006705
【公开日】2014年9月24日 申请日期:2013年1月22日 优先权日:2012年1月27日
【发明者】H·赵, S·M·达斯, S·波杜里 申请人:高通股份有限公司