来计算细化的姿势的示范性方法450的 流程图。在一些实施例中，如果先前已将基于点和边缘的特征选定作为用于确定特征对应 性的方法，那么方法400的部分可由例程297执行。
[0130] 在步骤405和430中，可通过将当前图像于使用基于点和边缘的特征的模型上的 现有特征进行比较，来确定特征对应性。举例来说，点跟踪器和边缘跟踪器可对图像操作W 确定对应性。
[0131] 接下来，在步骤410中，可使用等式（1)来计算雅可比。在步骤415中，可每个点 获得2个线性约束，且在步骤440中，可获得每线1个线性约束，由W上等式（4)给出。
[0132] 因此，可使用上文的等式（3)和化）W及下文等等式（7)，用充足的点和线对应性 来获得使所有投影Up达到所找到的对应性Um的姿势更新的解决方案。
[013引（入pHp+λ化）AΘ=入pbp+λ血 (7)
[0134] 其中，λρ= 1，且λ遗分别指派给点和线的权重。等式（3)、（6)和（7)可用于 计算姿势更新。
[0135] 在一些实施例中，上文所描述的方法促进对目标采用阔值，且因此最佳化所掲示 的方法的运行时间，且增强特征跟踪器的稳定性。
[0136] 本文所掲示的实施例促进对多种目标（包含3D目标）的准确且稳健跟踪，且准许 具有6-DoF的跟踪。所掲示实施例促进存在未预期帖间运动、变化的照明和方位变化的情 况下的准确跟踪，从而改进跟踪稳健性。取决于应用，本文中所描述的方法可W通过各种装 置来实施。举例来说，对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块 (例如，程序、函数等）来实施所述方法。在实施本文所描述的方法中，可W使用有形地体 现指令的任何机器可读媒体。举例来说，软件代码可存储在存储器中，并且由处理器单元来 执行。在一些实施例中，可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。 实例包含编码有数据结构的计算机可读媒体和编码有计算机程序的计算机可读媒体。计算 机可读媒体包含物理计算机存储媒体。
[0137] 储存媒体可为可由计算机存取的任何可用媒体。作为实例而非限制，此类计算机 可读媒体可包含RAM、ROM、EEPR0M、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性 存储装置，或任何其它可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机 存取的媒体；在本文中使用时，磁盘和光盘包括压缩光盘（CD)、激光光盘、光学光盘、数字 多功能光盘值VD)，软性磁盘和蓝光光盘，其中磁盘通常W磁性方式再现数据，而光盘用激 光W光学方式再现数据。上述各项的组合也应该包含在计算机可读媒体的范围内。
[0138] 除了存储在计算机可读媒体上之外，还可将指令和/或数据提供为通信设备中包 含的发射媒体上的信号。举例来说，通信设备可包含具有指示指令和数据的信号的收发器。 所述指令和数据经配置W致使一或多个处理器实施权利要求书中概述的功能。也就是说， 通信设备包含具有指示用W执行所掲示的功能的信息的发射媒体。在第一时间，通信设备 中所包含的发射媒体可包含用W执行所掲示的功能的信息的第一部分，而在第二时间，通 信设备中所包含的发射媒体可包含用W执行所掲示的功能的信息的第二部分。
[0139] 现在参考图5,其为说明经启用W与所掲示的实施例一致的方式使用点和线特征 来促进稳健的基于特征的跟踪的计算装置500的示意性框图。在一些实施例中，计算装置 500可呈服务器的形式。在一些实施例中，计算装置500可包含（例如）一或多个处理单 元552、存储器554、存储装置560,W及（在适用时）通信接口 590(例如缆线或无线网络 接口），其可W操作方式与一或多个连接556(例如总线、线、光纤、链路等）禪合。在某些 实例实施方案中，计算装置500的某一部分可呈忍片组等的形式。在一些实施例中，计算装 置500可经由无线网络（未图示）无线禪合到一或多个UD100,所述无线网络可为WWAN、 WLAN或WPAN中的一者。
[0140] 在一些实施例中，计算装置500可方法200、275、300、320、400、425和/或450的 若干部分。在一些实施例中，上述方法可由处理单元552和/或计算机视觉（CV)模块566 执行。举例来说，上述方法可完全或部分地由处理单元552和/或CV模块566结合计算装 置500上的一或多个功能单元和/或结合UD100来执行。举例来说，计算装置500可从UD 100接收一序列所捕捉的图像，且可使用利用存储在存储器554中的环境的模型的CV模块 566,完全或部分地执行方法200、275、300、320、400、425和/或450中的一或多者的若干部 分。
[0141] 通信接口 590可包含支持有线发射和/或接收的多种有线和无线连接，并且在需 要时可另外或替代地支持一或多个信号通过一或多种类型的无线通信网络的发射和接收。 通信接口 590可包含用于与UD100和/或各种其它计算机和外围配置通信的接口。举例 来说，在一个实施例中，通信接口 590可包含实施计算装置500所执行的通信功能中的一或 多者的网络接口卡、输入-输出卡、忍片和/或ASIC。在一些实施例中，通信接口 590还可 与UD100介接，W发送环境的3D模型信息，和/或接收与方法200、275、300、320、400、425 和/或450有关的图像、数据和/或指令。
[0142] 处理单元552可使用接收到的信息中的一些或全部来执行所请求的计算，和/或 经由通信接口 590将所请求的信息和/或结果发送到UD100。在一些实施例中，可使用硬 件、固件和软件的组合来实施处理单元552。在一些实施例中，处理单元552可包含CV模块 566,其可产生和/或处理环境的3D模型，执行3D重构，实施和执行各种计算机视觉方法， 例如方法200、275、300、320、400、425和/或450。在一些实施例中，处理单元552可表示可 配置W执行数据信号计算程序或与计算装置500的操作相关的过程的至少一部分的一或 多个电路。
[0143] 举例来说，CV模块566可W与所掲示的实施例一致的方式，通过处理从UD100接 收到一或多个图像帖，使用点和线特征的组合来实施基于特征的跟踪。在一些实施例中，CV 模块566可执行图像分析、模型创建、特征提取、目标跟踪、特征对应性、使用点和线特征两 者的相机姿势确定，和/或基于接收到的图像的环境的3D重构中的一或多者。在一些实施 例中，可在各种AR应用程序的执行过程期间调用上述方法中的一或多者。
[0144] 本文在流程图和消息流程中描述的方法可依据应用由各种装置实施。举例来说， 运些方法可用硬件、固件、软件或其任何组合来实施。对于硬件实施方案，处理单元552可 实施于经设计W执行本文中所描述功能的一或多个专用集成电路（ASIC)、数字信号处理器 值SP)、数字信号处理装置值SPD)、可编程逻辑装置（PLD)、现场可编程口阵列（FPGA)、处理 器、控制器、微控制器、微处理器、电子装置、其它电子单元，或其组合内。
[0145] 对于固件和/或软件实施方案，可用执行本文中所描述的功能的模块（例如，程 序、函数等等）来实施所述方法。在实施本文中所描述的方法的过程中，可使用任何有形地 体现指令的机器可读媒体。举例来说，软件可存储在可装卸媒体驱动器570中，所述装卸媒 体驱动器可支持非暂时性计算机可读媒体558 (包含可装卸媒体）的使用。程序代码可驻 存在非暂时性计算机可读媒体558或存储器554上，且可由处理单元552读取和执行。存 储器可实施在处理单元552内或处理单元552外部。如本文中所使用，术语"存储器"是指 任何类型的长期、短期、易失性、非易失性或其它存储器，且不应限于任何特定类型的存储 器或任何特定数目的存储器，或其上存储有存储器的任何特定类型的媒体。
[0146] 如果在固件和/或软件中实施，那么所述功能可作为一或多个指令或代码存储在 非暂时性计算机可读媒体558和/或存储器554上。实例包含编码有数据结构的计算机可 读媒体和编码有计算机程序的计算机可读媒体。举例来说，上面存储有程序代码的非暂时 性计算机可读媒体558可包含用于W与所掲示的实施例一致的方式促进稳健的基于特征 的跟踪的程序代码。
[0147] 非暂时性计算机可读媒体可包含多种物理计算机存储媒体。存储媒体可W是可由 计算机存取的任何可用的媒体。作为实例而非限制，此类非暂时性计算机可读媒体可包括 RAM、ROM、EEPR0M、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何 其它可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的媒体；如本 文所使用，磁盘和光盘包含压缩光盘（CD)、激光光盘、光学光盘、数字多功能光盘值VD)，软 性磁盘和蓝光光盘，其中磁盘通常W磁性方式重现数据，而光盘用激光W光学方式重现数 据。非暂时性计算机可读媒体的其它实施例包含快闪驱动器、USB驱动器、固态驱动器、存 储器卡等。W上各项的组合也应包含在计算机可读媒体的范围内。
[014引除了存储在计算机可读媒体上之外，可将指令及/或数据作为传输媒体上的信号 提供到通信接口 590,所述通信接口可将指令/数据存储在存储器554、存储装置560中，和 /或将所述指令/数据中继到处理单元552W用于执行。举例来说，通信接口 590可接收指 示指令和数据的无线或网络信号。所述指令和数据经配置W致使一或多个处理器实施所附 权利要求书中所概述的功能。也就是说，通信设备包含具有指示用W执行所掲示的功能的 信息的信号的发射媒体。
[0149] 存储器554可表示任何数据存储机构。存储器554可包含（例如）主存储器和/ 或辅助存储器。主存储器可包含（例如）随机存取存储器、只读存储器、非易失性RAM等。 虽然在此实例中说明为与处理单元552分开，但应理解，主存储器的全部或部分可在处理 单元552内提供，或W其它方式与处理单元552处于相同位置/与处理单元禪合。辅助存 储器可包含（例如）与主存储器和/或存储装置560相同或相似类型的存储器，例如一或 多个数据存储装置560,包含（例如）硬盘驱动器、光盘驱动器、磁带机、固态存储器驱动器 等。
[0150] 在一些实施例中，存储560可包含一或多个数据库，其保持关于环境的信息，包含 3D模型、图像、与所存储的模型相关联的数据库和/或表、关键帖、关于虚拟对象的信息等。 在一些实施例中，数据库中的信息可由处理单元552和/或CV模块566在各种计算期间读 取、使用和/或更新。
[0151] 在某些实施方案中，辅助存储器可操作地接收非瞬时性计算机可读媒体558或W 其它方式可配置W禪合到非瞬时性计算机可读媒体558。由此，在某些实例实施方案中，可 完全或部分地使用非暂时性计算机可读媒体558来实施本文中呈现的方法和/或设备，非 暂时性计算机可读媒体558可包含存储在其上的计算机可实施的指令，所述计算机可实施 的指令在由至少一个处理单元552执行的情况下，可W操作方式被启用W执行如本文中所 描述的实例操作的全部或部分。在一些实施例中，计算机可读媒体558可使用可装卸媒体 驱动器570来读取和/或可形成存储器554的一部分。
[0152] 图6示出了用于W与所掲示的实施例一致的方式基于点和线特征的组合进行特 征跟踪的示范性方法600的流程图。
[0153] 在一些实施例中，在步骤610中，可计算包括目标对象的当前相机所捕获图像的 得分。所述得分可至少部分地基于从当前图像和相机所捕获的先前图像中的特征的比较而 确定的一或多个度量，且所述比较可基于针对所述当前图像所估计的相机姿势。在一些实 施例中，可至少部分地基于针对先前图像获得的相机姿势且基于当前图像中的目标对象的 估计地点来获得为当前图像估计的相机姿势。一或多个度量可包括W下各项中的至少一 者：当前图像与先前图像之间的特征匹配的数目；相对于当前图像与先前图像之间的特征 匹配的预期数目的特征匹配比例；或当前图像与先前图像之间的特征点匹配的平均归一化 互相关（NCC)得分。
[0154] 接下来，在步骤620中，可至少部分地基于所述得分与至少一个点阔值和至少一 个线阔值的比较，来选择基于点、基于边缘，或组合的基于点和边缘的特征对应性方法中的 一者，其中所述至少一个点阔值和所述至少一个线阔值是从所述目标的模型获得。在一些 实施例中，所述至少一个点阔值可提供所述模型对基于点的特征跟踪的适合性的指示，且 所述至少一个线阔值可提供所述模型对基于线的特征跟踪的适合性的指示。
[0155] 在一些实施例中，可使用选定的特征对应性方法来确定当前图像与至少一个模型 图像之间的特征对应性，其中可基于所