像俘获的短时间窗内操作。例如，在一个实施例中，FVI可显示输入图像的增强表示，使得所 述增强与由摄像机114俘获的图像同时出现，且用户可注意到的延迟或时滞得以最小化。
[0029] FVI可在接收到图像或视频输入之后输出（例如，显示）输入图像或视频的增强表 示（AR)。如本文中所使用，将对感兴趣点的检测和估计6D 〇F摄像机姿势称作"追踪"目标。 FVI可在预先不知道用户的环境（例如，无预填入的地图、CAD模型、场景中的标志或类似的 预定义目标描述符）且在不使用两个不同的精确参考图像的情况下在提供视觉（例如，所 显示目标调整）反馈之前进行初始化。
[0030] FVI可从单一摄像机114或单眼视觉输入来接收图像或视频，且提供追踪和摄像 机姿势确定。在一个实施例中，FVI可实时、接近实时、在短时间窗内或在接收到单一参考 图像时瞬间地显示场景的增强（例如，真实世界场景中的虚拟物体的修改或添加）。在一 个实施例中，FVI可使用单一参考图像（例如，从摄像机114俘获的图像帧）且在无来自加 速计、激光测距仪、陀螺仪、GPS或用于确定位置的其它传感器的额外传感器输入的情况下 提供准确和实时、接近实时或瞬间追踪。可因此避免昂贵且复杂的多个摄像机阵列系统，且 FVI可耦合到常用的摄像机传感器。例如，摄像机可耦合到例如智能型手机的移动装置或例 如AR眼镜的可佩带装置，且可将AR能力实施为由移动装置的处理器或由AR眼镜中的处理 器执行的软件应用程序或程序。
[0031] 图2说明VSLAM初始化的一个实施例的流程图。在框205处，FVI可根据第一参 考图像（例如，单一参考图像）且在处理后续图像之前初始化3D目标。例如，初始化第一 图像（例如，从摄像机114俘获的单一参考图像）可包含确定三维空间中的具有初始估计 深度的感兴趣点的集合，如下文予以进一步详细描述。在一些实施例中，初始化可立即、实 时、接近实时或在参考图像俘获的短时间窗内发生。
[0032] 在一个实施例中，FVI可根据初始所俘获的参考图像建立目标。也可将如本文中 所使用的目标理解为3D物体或场景的模型或地图。FVI可根据来自单一摄像机传感器或单 眼源的单一图像建立目标。所述目标可存储于存储器中（例如，存储于装置100的存储器 164中），且由从图像提取或计算的一或多个3D感兴趣点来表示，或与所述一或多个3D感 兴趣点相关联。在一些实施例中，可在选择初始参考图像或第二参考图像时在无任何用户 输入的情况下将3D目标初始化。
[0033] 在框210处，FVI可处理一或多个后续图像。处理可包含确定所述后续图像中的 每一者内的感兴趣点的集合。在一些实施例中，感兴趣点的集合可为在处理参考图像之后 所确定的相同感兴趣点，然而，位置和深度值可不同于参考图像。
[0034] 在框215处，FVI可以六自由度来追踪3D目标。FVI可基于所接收的第一图像帧 来开始追踪目标（例如，场景、物体或地图）。在一些实施例中，追踪可在由FVI接收到第 一单一参考图像之后立即、瞬间、实时、接近实时或在短时间周期内发生。在一些实施例中， VSLAM初始化可容易被增强现实用户显而易见，这是因为可瞬间、实时、接近实时或在帧俘 获的短时间周期内将3D目标初始化。在一些实施例中，当用户在任何方向上移动摄像机 114且接收到并处理额外图像时，可进一步细化3D目标。FVI可在追踪时显示目标的表示， 如下文予以更详细描述。
[0035] 在框220处，FVI可基于对一或多个后续图像的处理来细化3D目标。FVI可确定 感兴趣点是否可被估计，且经由小幅移动递增地细化目标。在一个实施例中，FVI可通过使 目标近似具有假定的深度值的平面来提供针对初始小运动的摄像机运动估计。又，在用平 面来近似目标的实施例中，可省略详尽地求解极几何（其可取决于具有足够的平移）的步 骤。因此，在一些实施例中，FVI可自动地进行初始化且也提供从第一参考图像往后的连续 摄像机114追踪。FVI也可自动地从由摄像机114记录的额外图像（例如，在第一初始参考 图像之后的后续图像俘获）选择第二参考图像。下文进一步详细描述选择第二参考图像的 方法。在选择第二参考图像之后，可基于根据第一参考图像和第二参考图像的追踪和摄像 机姿势确定而继续进行追踪和摄像机114姿势确定。
[0036] 在一个实施例中，在发现具有从初始参考图像的充分平移（例如，较大移动）的图 像时，可将所发现的图像自动地指派为第二参考图像。来自第二参考图像的感兴趣点可用 以对目标进行三角测量，从而导致追踪准确度的进一步增加。
[0037] 在一些实施例中，装置100可能够在无任何直接或手动用户交互或触发的情况下 自动地开始、执行或运作（例如，通过使用处理器161)FVI (例如，作为FVI引擎、软件过程 或其它实施方案）。替代地，在其它实施例中，FVI可使装置100提示用户通过触摸触控屏 幕、按下按钮或类似的输入而开始目标的初始化和追踪。在又其它实施方案中，可将FVI集 成到应用程序或程序中，且所述应用程序或程序提示用户或自动地俘获初始参考图像并开 始追踪。
[0038] 第一图像可为初始或第一参考图像。装置100可通过摄像机114来俘获初始图像 且将所述图像发送到FVI以用于增强现实处理。在一个实施例中，可在检测到摄像机移动 或运动时，由摄像机114自动地俘获初始图像帧。应理解，如本文中所使用，所俘获的图像 可为静止/照相图像帧或视频帧。例如，摄像机114可具有视频以及静止相片图像俘获能 力。
[0039] 在一个实施例中，至少部分地通过处理单一第一图像（例如，从摄像机114俘获的 初始化图像）和使用初始估计深度来计算所提取的感兴趣点的集合，有可能实现从第一参 考图像（例如，由摄像机114俘获的第一图像）开始的快速摄像机追踪。在一个实施例中， 增强现实程序或应用程序可在从初始化往后、在接收到任何摄像机114运动（例如，摄像机 平移）之前在场景中（例如，在移动装置或计算机的显示器上）显示暂存的内容（图形）。 FVI也可在仅接收到旋转运动时在场景中显示暂存的内容。
[0040] 在一个实施例中，FVI可在不要求用户进行用以初始化追踪的特定运动的情况下 建立用于目标追踪的准确数据集。在一个实施例中，FVI可立即追踪场景或物体，且实时、 接近实时、瞬间或在短时间窗内将AR更新提供到显示器（例如，目标的增强）。通过允许实 现从单一初始参考图像的初始化起的目标追踪，用户受到鼓励而继续移动/重定位摄像机 并通过装置摄像机114来探索目标或场景。以不同角度和视点对场景的更多探索可揭露关 于目标的更多信息。FVI可使用在用户移动摄像机时所获得的额外信息以细化目标。在一 些实施例中，FVI可在用户移动摄像机时使用经细化的目标来提供实时显示反馈。在一些 实施例中，当提供实时显示反馈时，可发现并选择可用以进一步细化FVI所收集的关于目 标和摄像机姿势的信息的第二参考图像。
[0041] 在增强现实（AR)实施方案中，FVI可任选地提示用户提供用以增强目标的额外信 息。例如，用户可能够将用户建立的内容或所选的内容添加到装置100显示器上的表示。用 户内容可为可与目标的表示集成或由目标的表示覆叠或替换目标的表示的图像、3D物体、 视频、文本或其它内容类型。
[0042] 在一个实施例中，可至少部分地通过将第一图像（例如，从摄像机114俘获的初始 化图像）处理为3D目标（例如，处理为平面或其它几何形状的3D目标）来促进从第一参 考图像（例如，由摄像机114俘获的第一图像）的快速目标追踪。在一个实施例中，FVI自 动地选择考虑到所观测到的摄像机114运动可加以更新的场景（例如，3D地图）的若干部 分（例如，感兴趣点）。因此，在一些实施例中，FVI可自动地进行初始化，且提供从第一参 考图像往后到后续所俘获图像的连续摄像机114追踪。FVI也可自动地自由摄像机114记 录的额外图像选择第二参考图像（例如，在第一初始参考图像之后的后续图像俘获）。在选 择第二参考图像之后，可基于根据第一参考图像和第二参考图像的追踪和摄像机姿势确定 而进一步/充分细化追踪和摄像机114姿势确定。
[0043] 在一个实施例中，FVI可在未接收到与特定目标形状、标志（真实世界或虚拟）或 标记有关的任何预定或预初始化输入的情况下建立用于3D目标追踪的准确数据集。在一 些实施例中，FVI可在预先不知道3D目标的形状且在不知道3D目标内的特定特征的存在 的情况下将3D目标初始化。例如，在一个实施例中，代替接收具有已知坐标的预定义目标 物体或目标，FVI可初始化3D目标且可将相等深度设定到每一所发现的特征。因此，在一 个实施例中，用于3D目标的数据集可被完全填入有来自第一单一参考图像的所有感兴趣 点的深度和位置。随着摄像机姿势相对于3D目标改变，可校正任何深度错误。
[0044] 在一个实施例中，AR程序或应用程序可在从初始化往后、在接收到任何摄像机 114或旋转运动之前在场景中（例如，在移动装置或计算机的显示器上）显示暂存的内容 (图形）。例如，AR程序可在移动电话或手持型装置的显示器上提供目标的AR表示。
[0045] 可将如本文中所使用的感兴趣点界定为图像的引起兴趣或注意的部分。感兴趣点 检测可为用以检查每一像素以确定感兴趣点是否存在于特定像素处的低阶图