使用点和线特征的稳健跟踪的制作方法
【专利说明】
[0001] 巧关申请案的香叉参考
[0002] 本申请案主张2014年5月15日申请的标题为"使用点和线特征的稳健跟踪 (RobustTrackingUsingPointandLineFea1:ures)"的第 14/278, 928 号美国申请案的 权益和优先权，所述美国申请案主张2013年6月14日申请的标题为"使用点和线特征的稳 健跟踪（RobustTrackingUsingPointandLine化曰化'63)"的第 61/835, 402 号美国临 时申请案的权益和优先权，上述两个申请案W全文引用的方式并入本文中。
技术领域
[0003] 本发明大体上设及用于基于稳健特征的跟踪的设备、系统和方法，且明确地说，设 及用于使用点和线特征的组合来进行基于稳健特征的跟踪的系统和方法。
【背景技术】
[0004] 随着技术的最近进步，增强现实（AR)应用在例如智能电话等每日用户装置上越 来越常见。在可为实时交互式的AR应用中，可处理真实图像，W将虚拟对象添加到图像，并 使所述虚拟对象在3个维度（3D)中与所捕获的图像对准。通常，所述虚拟对象补充现实世 界图像。因此，检测并定位真实图像中存在的对象，并通过图像序列确定相机相对于所述对 象的姿势，促进了准确的虚拟对象放置，且保留真实和虚拟世界的混合。
[0005] 当将手持式用户装置用于图像捕获时，稳健的跟踪方法是合乎需要的，W容许快 速的不受限制的手部移动，运可导致跟踪失效和/或不佳的姿势估计。当基于点的特征容 易定位且促进图像之间的特征对应性的确定时，其容易发生跟踪错误，运可导致姿势变动。 另一方面，基于线或边缘的特征不大容易发生姿势变动，因为它们在发光面和方位变化上 是稳定的。然而，它们特征对应性确定期间容易发生错误，运使得稳健的边缘跟踪成为挑 战。
[0006] 因此，需要稳健的跟踪方法，其增强基于当前特征的跟踪方法，W实现更佳AR体 验的稳健性和跟踪准确性。
【发明内容】
[0007] 所掲示实施例设及用于使用点和边缘特征来实行基于稳健特征的跟踪的系统、方 法和设备。
[0008] 在一些实施方案中，所述方法可包含：为包括目标对象的当前相机所俘获的图像 计算得分，其中所述得分至少部分地基于从当前图像和相机所捕获的之前图像中的特征的 比较而确定的一或多个度量，且其中所述比较是基于针对当前图像而估计的相机姿势。另 夕F，可至少部分地基于得分与从所述目标的模型获得的至少一个点阔值和至少一个线阔 值、所述至少一个点阔值W及所述至少一个线阔值的比较，选择基于点、基于边缘，或组合 的基于点和边缘的特征对应性方法中的一者。
[0009] 在另一方面，用户装置0JD)可包含：相机，其经配置W捕获包括目标对象的多个 图像；存储器，其经配置w存储所述目标对象的模型；w及处理器，其禪合到所述相机和所 述存储器。在一些实施方案中，所述处理器可经配置W:为所述相机所捕获的当前图像计算 得分，其中所述得分至少部分地基于从当前图像和所述相机所捕获的之前图像中的特征的 比较而确定的一或多个度量，且其中所述比较是基于针对当前图像而估计的相机姿势。所 述处理器可进一步经配置W至少部分地基于得分与从目标对象的模型获得的至少一个点 阔值和至少一个线阔值、所述至少一个点阔值和所述至少一个线阔值的比较，来选择基于 点、基于边缘或组合的基于点和边缘的特征对应性方法中的一者。
[0010] 在另一方面，一种设备可包含：成像装置，其用于捕获包括目标对象的多个图像； 存储装置，其用于存储所述目标对象的模型，所述存储装置禪合到所述成像装置；用于为所 述成像装置所捕获的当前图像计算得分的装置，所述得分至少部分地基于从当前图像和所 述成像装置所捕获的之前图像中的特征的比较而确定的一或多个度量，且其中所述比较是 基于针对所述当前图像而估计的成像装置姿势；W及用于至少部分地基于所述得分与从目 标的所存储模型获得的至少一个点阔值和至少一个线阔值、所述至少一个点阔值和所述至 少一个线阔值的比较，来选择基于点、基于边缘或组合的基于点和边缘的特征对应性方法 中的一者的装置。
[0011] 所掲示的实施例还设及一种包括指令的非暂时性计算机可读媒体，所述指令在由 处理器执行时，实施方法中的步骤，其中所述步骤可包含：为包括目标对象的当前相机所俘 获的图像计算得分，其中所述得分至少部分地基于从当前图像和所述相机所捕获的之前图 像中的特征的比较而确定的一或多个度量，且其中所述比较是基于针对当前图像而估计的 相机姿势。另外，可至少部分地基于所述得分与从所述环境的模型获得的至少一个点阔值 和至少一个线阔值、所述至少一个点阔值W及所述至少一个线阔值的比较，选择基于点、基 于边缘，或组合的基于点和边缘的特征对应性方法中的一者。
【附图说明】
[0012] 将参看图式仅通过实例方式来描述本发明的实施例。
[0013] 图1示出了能够W与所掲示的实施例一致的方式实施基于特征的跟踪的示范性 用户装置的框图。
[0014] 图2A示出了W用于与所掲示的实施例一致的方式分析图像的示范性方法的流程 图。
[0015] 图2B示出了用于W与所掲示的实施例一致的方式基于点和线特征的组合来进行 特征跟踪的示范性方法的流程图。
[0016] 图3A示出了用于W与所掲示的实施例一致的方式分析图像的示范性方法的流程 图。
[0017] 图3B示出了用于W与所掲示的实施例一致的方式基于点和线特征的组合来进行 特征跟踪的示范性方法的流程图。
[001引图4A示出了W与所掲示的实施例一致的方式使用点跟踪器来计算细化的姿势的 示范性方法的流程图。
[0019]图4B示出了W与所掲示的实施例一致的方式使用线跟踪器来计算细化的姿势的 示范性方法的流程图。
[0020] 图4C示出了w与所掲示的实施例一致的方式使用点和线跟踪器两者来计算细化 的示范性方法的流程图。
[0021] 图5示出了经启用来W与所掲示的实施例一致的方式使用点和线特征来促进稳 健的基于特征的跟踪的示范性计算装置的示意性框图。
[0022] 图6示出了用于W与所掲示的实施例一致的方式基于点和线特征的组合进行特 征跟踪的示范性方法的流程图。
【具体实施方式】
[0023] 在计算机视觉中，检测是指在所捕获图像帖中定位目标对象W及计算相对于对象 的相机姿势的过程。跟踪是指在图像帖时间序列内的相对于对象的相机姿势估计。在特征 跟踪中，可检测特征一次，且接着在后续图像中使用关于相机姿势的先验信息或假设来直 接跟踪特征。对于相机姿势的初始确定（初始化），可使用特征匹配。在特征匹配中，可通 过检测两个图像（其可接着彼此匹配）中的特征，在无关于相机姿势的先验信息的情况下， 建立两个图像之间的对应性。举例来说，在初始化期间，可将初始所捕获图像与一或多个所 存储的模型参考图像进行比较，其中每一参考图像与已知姿势和具有已知坐标的一组独特 特征相关联，W寻找最接近匹配的图像。可将关联最接近匹配图像的相机姿势用作针对所 述初始图像的相机姿势的初始估计。
[0024] 通常，在基于特征的跟踪方法中，可使用特征来表示对象。因此，常规的基于特征 的对象跟踪可包含特征提取和特征对应步骤。特征提取是指检测图像中的特征，而特征对 应是匹配或确定两个图像中的特征之间的对应性的过程。因此，在不同成像条件（例如，尺 度、照明、定向等）下很可能在多个视图上显著的显著特征的使用促进特征对应性确定。特 征对应性中的不明确性可能导致跟踪错误。在常规系统中，通常使用基于点的特征（跟踪 点）或基于线或边缘的特征（边缘跟踪）来建立图像之间的特征对应性。术语"线"和"边 缘"在本文对特征跟踪的描述中可互换使用。
[00巧]基于点的特征跟踪促进了图像之间的特征对应性的容易确定，且对出人意料的帖 间运动相对稳健。然而，常常通过减小可在其范围内确定对应性的窗口的大小，来实现基于 点的技术中的计算效率。用于对应性确定的窗口大小的减小导致图像序列上的跟踪错误， 其促成姿势变动。显著边缘的检测在变化照明面中是稳健的。即使存在照明和方位变化， 当跟踪锐缘时，仅依靠边缘信息也提供良好结果。然而，基于边缘的跟踪容易发生对应性失 配。举例来说，在其中许多边缘群集在一起的图像中，可能发生对应性失配，从而影响稳健 性。
[0026] 组合基于点和边缘的跟踪的常规尝试通常基于一些条件而在点和边缘跟踪之间 交替。换句话说，在任何时间，使用基于点或边缘的跟踪来建立特征对应性。运些方法仅在 两个方案之间交替，因此，一个方法中的不良姿势估计可能影响另一方法中的估计。
[0027] 因此，本文所掲示的一些实施例应用计算机视觉和其它图像处理技术，通过组合 基于点和边缘的跟踪技术，来增强跟踪能力。
[0028] 下文相对于W下各图进一步解释运些和其它实施例。应理解，所属领域的技术人 员将从W下详细描述容易地明白其它方面，其中借助于说明示出且描述各个方面。图式和 详细描述应被视为本质上为说明性的而不是限制性的。
[0029] 图1示出了能够W与所掲示的实施例一致的方式实施基于特征的跟踪的示范性 用户装置0JD) 100的框图。如本文所使用，UD100可呈移动台或移动装置的形式，例如： 蜂巢式电话、移动电话，或其它无线通信装置、个人通信系统（PC巧装置、个人导航装置 (PND)、个人信息管理器（PIM)，或个人数字助理（PDA)、膝上型计算机、平板计算机、笔记本 型计算机和/或手持式计算机或其它移动装置。在一些实施例中，UD100可采用可穿戴计 算装置的形式，所述可穿戴计算装置可包含与可穿戴头戴装置配对的显示装置和/或相机 的形式。举例来说，所述头戴装置可包含头戴式显示器（HMD)，其可用于显示实况和/或现 实世界图像。在一些实施例中，所述实况图像上可覆盖着一或多个虚拟对象。在一些实施 例中，UD100可能够接收无线通信和/或导航信号。
[0030] 此外，术语"用户装置"还既定包含例如通过短程无线、红外、有线连接或其它连接 与个人导航装置（PND)通信的装置，及/或在所述装置处或所述PND处发生位置相关处理。 并且，"用户装置"既定包含能够与另一计算装置（例如服务器）通信的所有裝置，包含各 种无线通信装置，不管无线信号接收、辅助数据接收和/或相关处理是在所述装置处、服务 器处还是与网络相关联的另一装置处发生。上述各项的任何可操作组合也被视为"用户装 置"。
[0031] 术语"用户装置"还既定包含可未经配置W无线地或经由有线连接而连接到网络 或W其它方式与另一装置通信的游戏或其它装置。举例来说，用户装置可省略通信元件和/ 或连网功能性。举例来说，本文中描述的实施例可在未被配置成连接W用于与另一装置进 行有线或无线连网的独立装置中实施。
[0032] 在一些实施方案中，UD100可能够实施各种计算机视觉（CV)方法，包含图像分 析、特征检测/跟踪、特征对应性确定、建模、3D重构、AR等。在一些情况下，CV方法可基于 3D环境的现有模型。另外，在一些实施例中，可W与所掲示的实施例一致的方式实时或近实 时地实施所述CV方法。
[0033] 如图1中所示，UD100可包含一或多个相机或图像传感器110(下文称为"相机 110")、传感器组或传感器130、显示器140、一或多个处理器150 (下文称为"处理器150")、 存储器160和/或收发器170,其可W操作方式彼此禪合，且通过连接120禪合到UD100上 的其它功能单元（未图示）。连接120可包括总线、线路、光纤、链路等或其某一组合。
[0034] 收发器170可（例如）包含经启用W通过一或多种类型的无线通信网络发射一或 多个信号的发射器，W及接收通过所述一或多种类型的无线通信网络发射的一或多个信号 的接收器。收发器170可准许基于多种技术与无线网络通信，所述技术例如（但不限于） 毫微微小区、Wi-Fi网络或无线局域网（WLAN)(其可基于IEEE802. 11族标准）、无线个域 网（WPAN)、蓝牙、近场通信（NFC)、基于IE邸802. 15x族标准等的网络和/或无线广域网 (WWAN)(例如LTE、WiMAX等）。
[0035] 举例来说，收发器170可促进与WWAN的通信，所述WWAN例如为码分多址（CDMA) 网络、时分多址（TDMA)网络、频分多址（抑ΜΑ)网络、正交频分多址（(FDMA)网络、单载波频 分多址（SC-抑ΜΑ)网络、长期演进0；rE)、WiMax等。
[0036]CDM网络可实