动态扩展地图数据以进行物体检测和追踪的制作方法
【专利说明】动态扩展地图数据以进行物体检测和追踪
[0001 ] 相关申请案的交叉引用
[0002]本申请案主张2013年10月4日申请的美国临时申请案第61/887,196号的权益。美国临时申请案第61/887，196号以引用的方式并入本文中。
技术领域
[0003]本发明大体上涉及基于计算机视觉的物体辨识应用程序，并且具体来说但非排他地，涉及增强现实系统中的物体检测和追踪。
【背景技术】
[0004]在移动电话或其它移动平台上实现增强现实(AR)的一个难题是实时地检测和追踪物体的问题。用于AR应用程序的物体检测具有非常苛刻的要求:其必须提供完整的六个自由度，产生相对于给定坐标系的绝对测量值，非常稳固并且实时地运行。所关注的是使用基于计算机视觉(CV)的途径来计算相机姿势的方法，其依赖于首先检测并且随后在相机视图内追踪物体。一方面，检测操作包含检测数字图像内包含的一组特征。特征可以指数字图像中的一个区域，这个区域的属性(例如亮度或颜色)与所述区域周围的区相比是不同的。一方面，特征是数字图像中的一个区域，在这个区域中一些属性是不变的，或者在规定的值范围内变化。
[0005]接着将检测到的特征与特征数据库中包含的已知特征比较，以便确定图像中是否存在现实世界物体。因此，基于视觉的AR系统的操作中的一个重要要素是特征数据库的组成。在一些系统中，在运行时间之前构建特征数据库，构建的方式是通过从多种已知视点取得已知目标物体的多个样本图像。接着从这些样本图像中提取特征并将其添加到特征数据库。
[0006]近年来，增强现实系统已经转向基于模型的追踪算法或同时定位与地图绘制(SLAM)算法，其基于相机俘获的颜色或灰度图像数据。SLAM算法从相机俘获的传入图像序列重构三维(3D)点，所述三维点用于实时地构建场景的3D地图(S卩，SLAM地图)。从重构的地图中，有可能定位当前图像帧中的相机的6DoF(自由度)姿势。
[0007]在一些系统中，在运行时间之前并且在离目标物体很近的距离中产生所述物体的SLAM地图。在运行时间中，使用在运行时间之前产生的物体的SLAM地图从传入视频帧估计相机相对于物体的6DoF姿势。当使用仅仅从目标物体构建的SLAM地图时，随着相机和物体之间的距离增加，对目标物体的追踪变得相对不稳定。这是因为存在成像物体的大的比例变化，而图像中的这些比例变化会导致在追踪物体表面上的点的过程中发生故障，因为在此比例和光照条件下提取的特征描述符非常不同于其先前产生的SLAM地图中存储的那些特征描述符。
[0008]目标物体的追踪还可能因为先前SLAM地图构建之后出现的目标物体中的物理变化而变得不稳定。目标物体中的物理变化可能会导致运行时间期间3D点的描述符变化，并且使得更难检测和/或追踪目标物体。
【发明内容】
[0009]因此，本文中论述的实施例用于通过使用联机和脱机两种地图数据来追踪目标物体而扩展联机地图数据。一方面，追踪目标物体包含基于例如物体追踪是否成功来启用联机地图数据和脱机地图数据中的仅一者进行追踪。另一方面，追踪目标物体包含融合联机地图数据与脱机地图数据以产生融合的联机模型。
[0010]举例来说，在一个实施例中，一种在物体辨识系统中追踪目标物体的计算机实施的方法包含用相机采集多个图像，并且同时追踪目标物体和从多个图像动态地构建联机地图数据。目标物体的追踪是基于联机地图数据和脱机地图数据。
[0011]另一方面，一种计算机可读媒体包含存储在其上的用于在物体辨识系统中追踪目标物体的程序代码。程序代码包含用于以下操作的指令:用相机采集多个图像，并且同时追踪目标物体和从多个图像动态地构建联机地图数据。目标物体的追踪是基于联机地图数据和脱机地图数据。
[0012]在又一方面中，一种设备包含存储器，其适于存储用于在物体辨识系统中追踪目标物体的程序代码。所述设备还包含处理单元，其适于存取和执行程序代码中包含的指令。当处理单元执行指令时，处理单元引导所述设备用相机采集多个图像，并且同时追踪目标物体和从多个图像动态地构建联机地图数据。所述指令进一步引导所述设备基于联机地图数据和脱机地图数据追踪目标物体。
【附图说明】
[0013]参见以下图式描述本发明的非限制性和非穷尽性的实施例，其中除非另有指定，否则各图中相同的参考标号指代相同的部件。
[0014]图1A和IB说明包含不同距离处的目标物体的场景的图像。
[0015]图1C是说明基于联机和脱机地图数据追踪目标物体的过程的流程图。
[0016]图2是说明构建联机地图数据的过程的流程图。
[0017]图3是说明追踪和检测场景中的目标物体的过程的流程图。
[0018]图4是说明在联机地图数据和脱机地图数据之间进行选择的过程的流程图。
[0019]图5是说明融合联机和脱机地图数据的图。
[0020]图6是说明融合联机地图数据与脱机地图数据的过程的流程图。
[0021 ]图7是用于动态扩展地图数据的处理单元的功能框图。
[0022]图8是能够执行本文中论述的过程的移动平台的功能框图。
[0023]图9是物体辨识系统的功能框图。
【具体实施方式】
[0024]贯穿本说明书对“一个实施例”、“一实施例”、“一个实例”或“一实例”的参考意味着结合所述实施例或实例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。因此，贯穿本说明书在不同位置中出现短语“在一个实施例中”或“在一实施例中”未必都是指同一个实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以任何合适方式组合。在此描述的任何实例或实施例不应解释为比其它实例或实施例优选或有利。
[0025]—方面，追踪目标物体包含扩展目标物体的脱机地图数据以包含周围环境的地图数据(例如联机地图数据)。这样允许检测和追踪变得稳固，尤其是在场景比例变化的情况下。联机地图扩展构建了放置着物体的当前环境的地图，使得检测和追踪变得对背景变化稳固。举例来说，检测较小物体在杂乱场景中是很难的，但是联机地图扩展策略可以通过将杂乱信号作为SLAM地图的一部分处置来处理这种情形。
[0026]自适应地选择联机/脱机SLAM地图数据可以改进实施这些程序的装置的性能。举例来说，当相机远离物体时，物体的SLAM地图数据不太有用，且反之亦然。通过自适应地打开/关闭脱机和联机SLAM地图，可以节省检测和追踪所必需的计算成本。在一个实例中，这样可以使移动平台上的电池寿命更长。
[0027]另一方面，追踪目标物体包含在物体检测之后构建联机模型，并且融合预先存在的脱机模型与新创建的联机模型。举例来说，可以(即，在运行时间)提取现有目标物体的外观以便更新脱机模型。此外，模型信息可能在运行时间的条件下最新可用，模型信息接着被添加到联机地图数据。所提议的方法提供了对目标的形状和外观的变化的改进的稳固性，所述变化例如可能发生在不同光照条件下。
[0028]在一个实施例中，SLAM地图数据包含地图特征和关键帧图像，其中每一特征包含关键点位置和所述位置的至少一个相应描述符。地图特征可以包含从目标物体的表面提取的特征(例如2D/3D点、边缘、斑点等)。关键帧图像可以包含目标物体的一些图像，从这些图像提取地图特征。举例来说，通过能看到所述点的关键帧之间的三角测量可以重构3D点。从观察到地图点的关键帧提取地图特征的描述符(例如图像片描述符和线描述符)。
[0029]在一个实例中，目标物体的SLAM地图是脱机产生的，因而在本文中被称作“脱机地图数据”，其关键帧是在距物体较近的距离处产生的。脱机地图数据被认为足够“良好”而能执行对目标的检测和追踪。当用户开始与目标物体的交互时，其脱机地图数据被加载到增强现实应用程序，并且从相机图像检测和追踪目标物体。在应用程序中将脱机地图数据标记为“脱机”。
[0030]一旦从相机视频帧检测到目标物体，就实时地追踪目标物体并且获得相机的6DoF姿势。图1A说明场景102的采集到的图像100A，其包含在近距离的具有特征106的目标物体104(例如玩具车)。因此，目标物体104占据了相机图像100A的大部分，并且追踪通常将很奏效。然而，随着相机从图1B如中所描绘的目标物体104移开，图像100B中的目标104的比例很快变小。随着相机图像中的物体比例变小，追踪更有可能失败，并且具有更多抖动。此外，自从创建脱机地图数据以来，光照条件可能已经改变，或者目标物体104可能具有稍微改变的形状