些实施例中，可 在步骤309中不为点富网格添加线特征，和/或可忽略步骤309。因此，在示范性方法300 中，在一些情况下，当网格是点富（步骤307中的"Ν")时，可不添加基于线的特征，因此偏 爱基于点的特征跟踪。
[0081] 然而，在一些实施方案中，在步骤309中，例如，可基于网格中可用的点特征的数 目，将变化数目的基于线的特征添加到网格。在一些实施例中，在步骤309中，所添加的基 于线的特征的任选数目可受制于上限。作为另一实例，在步骤309中，可将最小数目的基于 线的特征添加到网格，而与基于点的特征的数目无关。
[0082] 作为另一个实例，可修改方法300W偏爱基于线的特征，可修改步骤307,W测试 网格区是否是线富的，且在网格区是线贫的时，任选地添加点特征（例如在步骤309中）。举 例来说，在其中存在快速相对目标移动和/或用w促进存在运动模糊的情况下的跟踪的例 子中，基于线的特征可为有利的。一般来说，可修改方法300,W使基于线的特征的数目是基 于点的特征的数目的函数，或相反，使基于点的特征的数目是基于线的特征的数目的函数。
[0083] 在步骤312中，如果存在待处理的额外网格（步骤312中的"Y")，那么调用步骤 305来开始下一次反复，且可选择另一网格。如果不存在待处理的其它网格（步骤312中的 "N")，那么方法终止。
[0084] 图3B示出了用于W与所掲示的实施例一致的方式基于点和线特征的组合来进行 特征跟踪的示范性方法320的流程图。如早先所概述，在示范性方法320中，在方法200和 275中，点特征比线特征有利，但仅较轻微的程度。在一些实施例中，方法320可作为在线 过程执行，或在AR应用程序正跟踪目标时实时执行。在一些实施例中，方法320可由处理 器150在目标跟踪期间基于相机110正捕获的实况图像而执行。在一些实施例中，方法320 可实时地调用方法300,W确定T点和/或T线值，并将其添加到具有所提取的点和线特征 (但不具有T点和/或T线值）的预先存在的模型。在一些实施例中，如上所述，其中正实 时地和/或从实况图像创建基于关键帖的模型，对应T点和/或T线值的处理和确定（例 如通过调用方法300)也可在图像表示为关键帖时发生。
[0085] 在步骤280中，可处理相机110所捕获的当前图像，W从所述图像提取点特征。可 基于特征跟踪步骤期间的点匹配的数目，将T得分动态地指派给所捕获的图像。举例来说， 可基于针对先前图像（其在一些情况下，可为相机110所捕获的紧接在前的图像）的先前 相机姿势来确定针对当前图像的相机姿势的估计。可将当前图像与先前图像进行比较，W 获得点匹配。动态计算的T得分值可基于W下各项中的一者或一者W上：点匹配的空间分 布、相对于特征点匹配的最大或预期数目的良好特征点匹配的数目/不良特征点匹配的数 目，和/或点匹配的平均NCC得分。
[0086] 当使用特征点匹配来确定T得分时，表示为"良好"的特征点匹配例如可具有高 NCC值（例如100或W上）和较低跟踪错误（例如不超过2像素再投影错误）。注意，上文 概述的NCC值和跟踪错误仅是示范性的，且可基于例如所要性能、跟踪准确性等系统参数 来修改。低于W上NCC值（例如低于100)或超过W上跟踪错误（例如超过2个像素）的 特征匹配可表示为"不良"。
[0087] 此外，可通过W实验方式观察跟踪品质和跟踪时间，来确定特征点匹配的预期数 目。在一些实施例中，正确匹配相对于最大或预期数目个特征点匹配的比例可预配置为默 认值和/或由用户配置。在一个实施例中，所述系统经配置W用于所要性能，且可启发式地 调整所跟踪特征的最大或预期数目，W达到所要性能。相反，所述系统经配置W用于所要的 跟踪品质，且可启发式地调整所跟踪特征的最大或预期数目，W达到所要的跟踪准确性。
[0088] 在一些实施例中，T得分值可取决于与点匹配的空间分布相关联的均一性程度。在 一个实施例中，当点匹配的空间分布较均一时，可指派较高的T得分。在一些实施例中，所 述得分可包含W上参数中的一或多者的加权和。举例来说，可将T得分计算为介于0与1 之间的值（例如0《T得分《1)。
[0089] 在步骤325中，可分析模型的可见区，其为先前创建的模型中对应于当前图像的 区。在一些实施例中，可基于先前创建的表格中指示建模的可见区中的每一网格的点和线 特征（其在模型创建期间存储）的数目的信息来分析所述模型的可见区。在一些实施例 中，可通过使用环境的所存储的模型（例如3D模型）W及针对当前图像的相机姿势的估计 (其可基于先前姿势）来确定模型的可见区，W将模型投射到相机针对当前图像的视图中。 在其中使用基于关键帖的模型且关键帖具有对应的T点和/或T线值的实施例中，可使用 相机姿势来基于欧几里得距离，确定最接近当前相机姿势的关键帖。可接着将最接近当前 相机姿势的关键帖投射到相机的视图中，且可将可见区中的（最接近关键帖的）T线和/或 T点的对应值与当前图像的T得分进行比较。在一些实施例中，可使用目标的几何形状来 确定可见区。举例来说，对于圆柱形目标，可使用基于圆柱体几何形状的参数来确定角度范 围。
[0090] 接下来，在步骤330中，如果模型的可见区是点富的（步骤330中的"Y")，那么 在步骤333中，可将阔值T点设定成"0. 0"，且方法进行到步骤345。否则（步骤330中的 "N")，方法进行到步骤335。注意，可使用先前所存储的表格中的信息（其包含关于每一图 像细分部的点和/或线特征的数目的信息），来确定模型的可见区是否是点富的。举例来 说，在一个实施例中，可使用点特征的计数和与可见区中的每一网格相关联的边缘特征的 计数的总和或其它函数，来确定模型的可见区是否是点富的。
[0091] 在步骤335中，如果模型的可见区是点贫的（步骤335中的"Y")，那么在步骤337 中，可将阔值T点设定成"1.0"，且方法进行到步骤345。否则（步骤335中的"N")，方法 进行到步骤340,其中可基于在所建模的可见区中检测到的点特征的数目，将阔值T点的值 设定成介于0. 0与1. 0之间的数字。注意，可使用先前所存储的表格中的信息来确定所建 模的可见区是否是点贫的（在步骤335中），和/或设定T点的值（在步骤340中）。
[0092] 接下来，在步骤345中，如果所建模的可见区富含线特征，即线富（步骤345中的 "Y")，那么在步骤347中，可将阔值T线设定成"0.6"，且方法可进行到步骤365。否则（步 骤345中的"N")，方法可进行到步骤350。可使用先前所存储的表格中的信息（其包含关 于每一图像细分的点和/或线特征的数目的信息），来确定所建模的可见区是否是线富的。
[0093] 在步骤350中，如果所建模的可见区是线贫的（步骤350中的"Y")，那么在步骤 357中，可将阔值T线设定成"0. 0"，且方法可进行到步骤365。否则（步骤350中的"N")， 方法可进行到步骤360,其中可基于图像中检测到的线特征的数目，将阔值T线的值设定成 介于0. 0与0. 6之间的数字。注意，可使用先前所存储的表格中的信息（其包含关于每一图 像细分的点和/或线特征的数目的信息）来确定所建模的可见是否是点贫的（在步骤350 中），和/或设定T线的值（在步骤360中）。
[0094] 在步骤365中，可将在步骤280计算的T得分的值与T点进行比较。如果T得分 >1\点（步骤365中的"Y")，那么在步骤367中，可进行仅将点特征用于后续姿势细化步 骤的确定，且方法320可调用例程297。
[009引如果T得分<Τ点（步骤365中的"N")，那么在步骤370中，可将T得分的值（来 自步骤280)与Τ线进行比较。如果Τ得分《Τ线（步骤370中的"Υ")，那么在步骤377 中，可作出仅将边缘特征用于后续姿势细化步骤的确定，且方法320可调用例程297。
[009引否则（步骤370中的"Ν")，在步骤295中，Τ线<Τ得分<Τ点，且可作出将点和边 缘用于后续姿势细化步骤的确定，且方法320可调用例程297。
[0097] 上文所指示的阔值Τ点和Τ线的值是示范性的，且仅用于说明性目的。一般来说， 为Τ点和Τ线选定的值可取决于各种系统参数和/或基于所建模的环境而变化，和/或变 化w指示对点和/或线特征的偏好。
[0098] 在图3A中，在示范性方法300中，在一些情况下，可不将基于边缘的特征添加到点 富网格，从而偏好基于点的特征跟踪。类似地，在图3B中，在示范性方法320中，基于点的 特征跟踪是有利的。因为当可见图象区是点富的时，T点=0.0(在步骤333中），所W对于 点富可见区，始终满足步骤365中的条件T得分>T点，且当可见图象区是点富的时，选择 基于点的特征跟踪。
[0099] 然而，在示范性方法300中，与图2A和2B的方法中相比，已给予基于边缘的特征 较大的权重。举例来说，对于线富可见区，T线二0. 6 (在步骤347中），因此更可能满足步 骤370中的条件T得分《T线（相对于图2A和2B，其中针对线富区，为T线指派值0. 4)。 因此，更可能选择线特征，和/或在步骤377中，将其用于特征跟踪。对应地，存在将点和线 特征两者用于步骤380中的跟踪的较低可能性。因此，可基于系统参数最佳地定制各种特 征跟踪方法的选择/使用的程度。
[0100] 在例程297中，可基于先前在步骤367、377或380的一者中作出的确定来细化姿 势估计。举例来说，在一个实施例中，可基于在步骤367、377或380中的一者中作出的确定， 来从2D-3D特征对应性估计抓OF相机姿势。在一些实施例中，可使用经加权最小平方近似 或其变体来计算特征对应性。
[0101] 图4A示出了用W使用点跟踪器来计算细化的姿势的示范性方法400的流程图。在 一些实施例中，如果先前已（在步骤365)将基于点的特征选择为用于确定特征对应性的方 法，那么方法400的若干部分可由例程297执行和/或调用。
[0102] 在步骤405中，可通过基于当前估计的姿势，将当前图像与使用基于点的特征的 模型上的现有特征进行比较来确定特征对应性。
[0103] 接下来，在步骤410中，可计算雅可比（Jacobian)。雅可比
描述姿势变化 (AΘ)与投射点变化（Au)间的线性映射。
[0104] J·Δ目=Au=Um_Up(1)
[010引其中，具有6个参数的ΔΘ=(ΔΤχΔΤγAr,AtxAtyAt,)与3D空间中的旋 转和平移有关，
[0106] J是2x6矩阵，测量错误的局部差异为ΔΘ
[0107]
[010引 U是2X1现慢错误向量（ι?χUy)T
[0109] Up是u的投射，
[0110] Um是测得的或找到的对应性。
[0111] 等式（1)可用于在步骤410中计算雅可比。
[0112] 接下来，在步骤415中，由于U是2X1矩阵，且可按点计算U，因此可按点获得 2个线性约束。在步骤420中，在具有充分的点对应性的情况下，可使用经加权最小平方 (W.L.巧技术来计算用于姿势更新的解决方案，其最小化（ΔU)，且使所有投射Up达到所找 到的对应性Um。
[0113] 因此，可用充分的点/线对应性来获得使所有投影Up达到找到的对应性Um的姿势 更新的解决方案。
[0114]其中，
[0118] 可使用W上等式（2)和（3)来计算姿势更新。
[0119] 图4B示出了用W使用线跟踪器来计算细化的姿势的示范性方法400的流程图。在 一些实施例中，如果基于边缘的特征先前已被选定作为用于确定特征对应性的方法，那么 方法400的部分可由例程297执行。
[0120] 在步骤430中，可通过将当前图像于使用基于边缘的特征的模型上的现有特征进 行比较来确定特征对应性。接下来，在步骤410中，可使用等式（1)来计算雅可比。
[0121] 在步骤440中，对于边缘像素，可最小化法向距离，使得每一边缘给出由W下等式 (4)给定的1个线性约束条件。
[012引η*" ·J·Δ白=η*"·ΔU (4)
[012引其中，当将U投射到图像平面上时，η=(ΠχΠγ)τ是U的法向向量。
[0124] 因此，可使用W下等式（5)和化），用充分的线对应性来获得使所有投影Up达到所 找到的对应性Um的姿势更新的解决方案。
[012引对于所有1线对应性。可使用W上等式（5)和（6)来计算姿势更新。
[0129] 图4C示出了用W使用点和线跟踪器两者