键帧确定 所述装置的当前位置。在另一实施例中，在关键帧捕获期间，可将相机放置在已经以自动已 知每一关键帧处的相机定位信息的方式相对于对象坐标系极佳地校准的抓持装置上。相机 定位信息还可通过在任何给定时间跟踪目标130来推断，或在某些实施例中可由基础SLAM 系统确定，或由任何装置跟踪方法或例如并行跟踪和映射（PTAM)系统等系统来确定。所提 到的相机本地化系统的任何组合也是可能的。此位置信息将不仅包含X、y和z位置信息， 而且包含关于相机的镜头正面对的方向以及相机的视野的角度信息，或其它此类信息。此 位置信息也可被称作相机姿势。
[0055] 在S210和S212中，从每一关键帧识别关注点。此关注点识别每一帧的关注点特 征，例如高对比度的区域。在S214中，使来自每一图像的关注点匹配。因为来自每一图像 的关注点是从不同位置采集，所以这使得三维信息能够与每一点相关联。使用的关键帧的 数目越大，关注点的匹配中所创建的三维信息的量越大。作为此识别过程的一部分，建立来 自特定帧的二维关注点之间的对应性。此对应性使得能够基于与来自不同关键帧的关键点 相关联的关注点的多个二维识别来确定所述关键点的三维坐标。此情况的一个实例是如描 述于图4中的对极几何的使用。此合并来自不同关键帧的关注点信息的过程在从所有关键 帧提取的所有关注点上继续。以此方式建立对应性有时涉及用来自额外关键帧的信息来修 改具有来自多个关键帧的信息的三维关键点。因此，在某些实施例中，三维关键点可包含来 自与少至两个关键帧中或数百或数千个关键帧中所识别的特定关键点相关联的二维关注 点方面的信息。当三维关键点从大量关注点导出信息时，可使用多种不同方法来对所述信 息进行滤波或平均，以便增加用于将存储在数据库中供以后使用的最终对象表示中的单个 关键点定位的准确性。
[0056] -旦来自关键帧的所有关注点均与三维关键点定位相关联，系统就可确定哪些三 维关键点将保持作为对象表示的一部分。在S216中，识别与对象相关联的关键点。此步骤 可包含各种组成部分，包含对象分段、基于与最近邻域的关键点的接近性对离群值进行滤 波、通过观察结果的数目进行滤波，或其它此类滤波。在某些实施例中，这可通过将信息从 场景中的已知目标或已知背景分离以识别与正扫描的对象相关联的关键点来进行。在其它 实施例中，可使用其它信息来对来自背景场景表示的对象表示进行分段。下文进一步描述 此类分段的具体实施例。一旦从背景场景关键点对与所述对象相关联的关键点进行分段， 与所述对象以及每一关键点的周围细节相关联的关键点就作为对象表示存储在数据库中。 接着可立即使用此对象表示来识别和跟踪所述对象。
[0057] 图3A、3B、3C、3D和3E接着描述从可用于导出三维（3D)关键点的2D图像识别的 关注点的进一步细节，所述三维关键点连同额外描述性信息一起组成用于数据库的紧凑对 象表示。在图3A和3C中，因为从上往下观看所述关注点，所以关注点是杯子侧面周围的 点。还示出关注点306a。因为关注点306a相对孤立，所以关注点306a很可能不是正扫描 的对象的一部分，且不可能在稍后时间点为从数据库检索包含关注点301和302的紧凑对 象表示并用于对象识别时的图像辨识提供宝贵信息。关注点301周围的形状大概是中空 的，因为杯子的底部上不存在图案，且单色表面（杯子的底部）不提供将创建关注点的对比 度。举例来说，图3A、3C和3D中所指示的每个点关注点可具有关于所述关注点周围的像素 的亮度、色彩或图案的相关联信息。当从2D关注点创建3D关键点时，像素的相关联亮度、 色彩或图案可以可对稍后的对象检测有用的方式并入到紧凑对象表示中。3D关键点描述与 其相对几何定位的组合为适合于检测的每一对象创建唯一签名。为了使关键点提取/描述 符计算系统适合于对象检测，组成存储在数据库中的对象表示的所得关键点需要对因查询 时间期间相机的不同位置/定向而产生的多个几何变换保持不变，但可足以辨别，以避免 产生与来自不同对象的特征的许多错误匹配。通过从例如图3A的位置316和图3D的位置 318等多个位置选择关键帧，可为组成图3E中所示的对象表示310的关键点得出足够量的 细节。
[0058] 因此，图3A、3C和3D示出来自以给定角度从一个位置采集的关键帧的关注点。图 3A示出了在滤波之前的关注点的俯视图。图3C示出了在滤波之后的关注点的俯视图。图 3D示出了在滤波之后的关注点的侧视图。组合来自每一视图的关注点，以创建组成图3E的 对象表示310的三维关键点305。作为匹配的一部分，将组合关注点301和关注点304,以 创建从其它关键点导出的三维关键点305。虽然图3C和3D中示出来自具有不同位置的两 个关键帧的关注点，但来自不同视图的任何数目的关键帧可贡献用以导出组成最终对象表 示的关键点的关注点。此外，将显而易见，来自每一位置的关键帧可仅贡献三维关键点305 的总数的一部分。这可因为对象上的某一表面从一个视图来看被遮蔽，或在从中导出关键 点的某些关键帧中可经滤波或有噪声。
[0059] 如上文所提到，从单个位置采集的单个图像（例如图1中从位置116采集的图像 122)基本上是来自所述图像所捕获的场景的二维投影。从此图像识别的关注点与描述所述 图像所捕获的二维投影中的那些关注点周围的区域的细节描述符相关联。单个关注点可与 大量平面描述符相关联，因为与单个3D关键点相关联的关注点通常从多个关键帧可见。尽 管这些平面描述符一般来说将看起来不同，即使对于非常接近但不同的观看角度来说也是 如此，但实际上，对应于接近观看角度的描述符相对来说是相似的，且可收缩到可与3D关 键点相关联的单个描述符。因此，不管多少关键帧含有与单个3D关键点相关联的关注点， 此3D关键点都将与紧凑对象表示中的至多少数条目相关联。
[0060] 从不同角度捕获的第二图像将类似地捕获作为三维对象的二维投影的信息。所述 两个图像一起包含关于从多个二维投影收集的单个点的三维信息，类似于图4中所示。使 来自一个关键帧的关注点与来自另一关键帧的关注点相关因此在从不同角度采集关键帧 时，识别可用于导出关键点的三维信息。合并的关注点因此不仅识别关键点在一组标准化 坐标中的三维定位，并且可与关于所述关键点周围的容量的三维描述性数据相关联。因此， 在各种实施例中，一种系统可建立跨关键帧的所述组二维关注点之间的对应性，以便连同 三维描述性数据一起识别所关注关键点的三维定位。虽然可对来自单个关键帧的若干组二 维关注点执行某些类型的滤波，例如边界滤波，但可接着对相关的关键点且不对若干组二 维关注点进行分段以识别对象。在结合此滤波起作用的实施例中，这消除了对可能是来自 关键帧的大量二维关注点的关注点的反复分段/滤波。这还使得能够使用关于空间中3D 关键点定位以及所述关键点与其它关键点的关系的所有信息，而不仅使用二维信息。对用 于对象表示的单组三维合并关键点进行滤波可提供与对许多组二维数据进行的滤波相同 的滤波。
[0061] 在一个实例中，在适中背景混杂中以标准帧速率对对象进行两分钟扫描可产生大 约15000个不同所关注的关注点，其中可导出仅大约1000到1500个属于所述对象的关键 点，且另外仅750到1000个关键点可适合于对象检测。图3A示出了挺过借助三维定位的 分段的第一阶段的咖啡杯的关注点。即，在实际系统中，在相对于已知目标定义所述对象的 三维坐标的限界框是有益的。在对象关注点分段和滤波的第一阶段，可丢弃限界框内不存 在的所有所收集的关注点。在具有适中背景混杂的典型2分钟对象扫描中，可在此步骤期 间，将周围15000个不同关注点的初始数目减小到约2000个关键点，使得例如对象表示310 等对象表示可仅使用从中导出对象表示的关键帧中的总关注点的一部分。对于使用例如目 标130等目标的系统，可将用于具有由图3A和3C表示的关注点的场景的坐标连接到目标 的中间。接着可为属于所述对象的关键点识别限定容量。可将大约15000个关注点的某一 部分识别为在限界框外部，且可滤除并消除。
[0062] 另外，在某些实施例中，系统可为属于一对象的关注点假定某一密度。可通过基于 到给定数目个最近相邻者的阈值距离进行滤波，来执行分段以识别所述对象。图3B以三维 形式示出了例如图3A中的对象的估计关注点距离的直方图。可使用滤波阈值308来识别 哪些像素要滤波。因为关注点302位于密集区域中，所以其将与在图3B中的滤波阈值308 左侧的像素分组在一起。然而，关注点306a明显不在关注点的密集区域中，且将在图3B中 的滤波阈值308的右侧。因此，在图3C中，未示出经滤波关注点306b，因为其将在滤波阈值 308右侧的像素被从紧凑对象表示删除时被滤波过程删除。
[0063] 在某些实施例中，系统执行分段可识别场景中的主要平面。对主要平面的参考可 用于限定场景，并且进一步辅助创建来自不同图像的关注点之间的对应性。在此类系统中， 将不需要场景中明确已知的对象（目标）来辅助获得关注点坐标或分段。明确地说，参考 坐标系以及限界框可由用户在扫描时或在离线处理期间手动给出。
[0064] 另外，在某些实施例中，可使用特定方法来识别关注点。在某些实施例中，识别高 密度高梯度区域，其中使用阈值来基于周围像素的梯度而确定选择哪些点。在更进一步的 实施例中，以各种标度来处理图像，以检测关键帧中可在特定标度观察到的优选关注点。关 键点和/或关注点以及其描述的选择可使用此类变换通过多种方式来执行，包含具有偏移 (周围强度差或曲率在此处最显著的标度）的特征定向的分析、具有主成分分析的周围像 素的分析，以及具有高斯导数滤波器的可转向滤波器的使用。另外，可使用基于对旋转不变 的值的选择，来为给定关键点识别差分不变量。并且，可使用形状环境描述符来表示所关注 区域。在另外的实施例中此类选择标准的任何组合，连同可优化适合于辅助离线对象检测 的紧凑对象表示的创建的任何其它选择标准，可用于识别关注点或关键点。
[0065]图4接着提供可借此为关键帧建立对应性的一个实施例的细节。在一个实例中， 图1的图像112和114可为具有所建立的对应性的关键帧。图4示出了装置410从两不同 位置采集的对象420的图像412和414,具有对极平面423。从第一位置416采集图像412， 且从第二位置418采集图像414。将对象420示出为具有关注点X。在图像412中，将关注 点X成像为关注点χ:。在图像414中，将关注点X成像为关注点x2。
[0066] 如果系统仅具有图像信息，那么其不大可能能够一致地使^与x2相关联。然而， 在给定X的观测结果Xl，且知晓位置416与第二位置418之间的相对位置的情况下，可在图 像414中识别对应于^的对极线1i。如果（A)周围像素的描述在两个关注点观察结果之 间足够接近（例如描述符域中的距离低于阈值），且（B)x2低于到对极线12的阈值距离，那 么可在图像414中提取关注点x2，连同周围像素的描述性信息。描述符域中的阈值距离以 及距对应于x(l)的对极线的阈值距离可为系统内的可选参数。这些可自动设定，或可由用 户使用用户接口来选择。
[0067] 最大对极线距离的一个阈值可为两个像素、三个像素或四个像素。在其它实施例 中，可使用除这些阈值对极线距离值之外的值。可将实例描述符距离阈值设定为描述性信 息之间的固定差异，或可设定为归一化描述符值的一部分。举例来说，如果将128元素长的 描述符归一化到值1，那么考虑平方距离，其将指示观察到同一关注点可为归一化范围的一 部分，例如归一化值的〇. 2与0. 35之间。换句话说，这是检查当合并多个关键帧时，关注点 周围的区域一致地识别为与其它关注点相关联。
[0068] 在给定与所述关注点相关联的位置和信息的情况下，所述两个阈值一起为基本上 为一检查，以确保所述两个关注点实际上能够为对应的关注点。对于这些阈值两者，松弛所 述参数导致较高数目的对应性，且因此潜在地较高数目的成功提取的关注点。换句话说，因 为二维关注点与其它二维关注点相关以创建三维关键点，因此当阈值松弛时，识别较多的 三维关键点，以较高数目的错误为代价。这些错误可呈包含部分或完全地不正确数据的不 正确或虚假关注点或关键点的形式。使用错误对应性来大概识别且三角测量在图3A中所 示的对象外部浮动的关注点中的许多，例如关注点306a。后来，滤波和分段可识别并去除这 些虚假点的一部分。
[0069] 另外，在某些实施例中，相似的计算可用于以更稳健的方式识别关注点X的定位 中的三角测量和束调整。束调整可指一次对来自三个或更多个不同关键帧的关注点的匹配 进行评定和调整。在图4中，关注点X在第一位置416处的第一投影示出为X。』，且关注点 X在第二位置418处的第二投影示出为\ 2。如果图4中的图像是例如目标130等目标，那 么系统将能够使用关于所