专利名称：一种新的户外增强现实无标跟踪注册算法的制作方法
技术领域：
本发明涉及增强现实技术领域，特别是涉及一种新的户外增强现实无标跟踪注册算法。
背景技术：
增强现实技术(Augmented Reality，简称AR)是一种随着虚拟现实技术的发展而 产生的新兴计算机应用和人机交互技术。该技术借助光电显示技术、交互技术、多传感器技 术、计算机图形与多媒体技术，将计算机生成的虚拟环境与用户周围的真实场景相融合，使 用户从感官效果上确信虚拟环境是其周围真实场景的组成部分。早期，通常增强现实系统的应用范围局限于室内或户外的小范围环境，研究对象 多是单一或较少目标的简单场景。近年来，随着增强现实技术的发展，其应用范围和领域也不断拓宽，研究人员逐渐 开始关注将增强现实技术应用于户外复杂的大范围、多目标环境，实现多种适用于不同应 用的系统。主要有如下系统和应用1.基于增强现实技术的城市导航系统。这一类系统通过GPS和罗盘测定用户在城 市中的位置和方位，并通过显示各条路所通往的地点来为用户进行导航，同时系统还能够 对用户的行进速度进行测量。2.博物馆导览系统。这一类系统使用GPS或蓝牙等技术定位参观者在博物馆中的 位置，利用罗盘确定用户朝向或利用视觉技术识别用户所感性的展品，通过向用户显示与 展品有关的各种信息来帮助用户更好的了解所参观的展品，使用户的参观过程变得丰富、 有趣。3.大范围古遗址导览及重现系统。由于，古遗址建筑的重建和修复是一项复杂、庞 大的工程，需消耗大量的人力、物力、财力，易造成对遗址的再次破坏，于是出现了采用增强 现实技术来实现遗址重现的技术系统。这一类系统通过GPS或蓝牙等技术定位参观者的位 置，通过罗盘或视觉技术来对用户姿态进行确定，并将与古遗址相关的信息进行增强显示， 通常包括古遗址的三维原貌模型、遗址历史介绍等。4.以智能手机为平台的户外增强现实应用。这一类应用使得增强现实技术摆脱了 大体积PC平台的限制，算法的功耗低、所需存储空间小。今年，荷兰一家公司推出了第一款 增强现实手机浏览器-LayAR。该浏览器可运行于Android手机平台之上。用户只需要将手 机的摄像头对准感兴趣场景，GPS首先定位用户所在位置，罗盘判断摄像头所面对的方向， 随后用户就能在手机的屏幕下方看到与所拍摄的场景相关的信息，甚至还包括周边房屋出 租、酒吧及餐馆的打折信息、招聘启事以及ATM等实用性的信息。苹果公司在Iphone手机 上的这一类应用开发也起步较早，目前，已有多款相应的软件运行于Iph0ne3代以及4代产 品之上，如LondonPipes，用户可以使用这一系统在伦敦街头进行游览，它可以自动识别建 筑物并向用户显示内容详细的指路信息。以上介绍的户外增强现实系统均采用GPS、罗盘等技术对用户位置进行初步定位，之后使用计算机视觉方法对场景进行精确识别并对用户的姿态进行注册，最终实现准确的 增强显示。物理传感器通常存在刷新频率和定位精度较低的问题，同时随着目标物体数量 的增多和视觉识别的检索范围会增大，视觉方法的识别准确率和实时性能都会逐渐下降。 因此，目前大多数系统采用软硬件技术相结合的定位方式来完成户外大范围环境下的场景 识别。
发明内容
本发明的主要目的在于针对户外环境范围大、场景数量多的特点，提出了一种户 外环境下的无标增强现实跟踪注册算法。首先，算法提出使用轮廓和纹理两种混合特征来 对场景进行表达，并通过结构简单的分类器对混合特征进行有监督学习。同时结合二级空 间地理位置信息约束，进一步缩小识别用户当前所处场景的检索范围，并在这一范围内使 用以上提出的视觉识别方法完成场景识别。其次，将基于模式分类思想的图像特征点识别 方法与光流跟踪方法相结合提出了混合特征跟踪算法，实现了快速、准确、对存储空间要求 更低的图像特征点跟踪。最后，与场景重建结果相结合构成了一个完整的户外增强现实无 标跟踪注册。本发明的技术方案是根据户外环境范围较大、场景种类和数量较多的特点，算法主要包括离线阶段和 在线阶段两个部分，具体步骤包括(1)离线准备阶段①、为每一个场景建立来自不同观察视点的关键帧图像数据库，进行场景稀疏重 建，并对每一个场景的二级空间地理位置信息进行标定；②、提取关键帧图像上的轮廓和纹理混合特征，使用分类器对混合特征集合进行 有监督学习；③、使用改进的通用树分类器对特征点进行有监督学习；(2)在线阶段，对每一幅当前帧图像做如下处理④、根据GPS定位结果以及离线标定的场景二级空间地理位置信息将用户当前所 处场景的检索范围进行缩小；⑤、提取轮廓和纹理混合特征，由分类器对混合特征进行识别，并在上一步得到的 较小范围内完成场景识别；⑥、由混合特征跟踪算法进行特征点匹配和跟踪，建立当前帧与其对应的关键帧 之间的2D-2D特征点匹配；⑦、将2D-2D对应信息与场景重建结果相结合得到2D-3D对应，计算摄像机姿态， 完成跟踪注册。本发明是一种新的用于户外增强现实系统的场景识别技术，具有以下优点(1)在本发明的技术方案中，二级空间位置信息约束的引入以及GPS信息的使用， 在很大程度上缩小了基于视觉方法的场景识别的检索范围，由此进一步缩短了后续场景识 别过程的处理时间、实现了较高的场景识别成功率。(2)在本发明的技术方案中，由于是首先通过使用纹理和轮廓两种混合特征来对 用户所在场景进行表达，因此与以往使用单一特征的表达方式相比，提高了对于户外复杂
5场景的表达能力，Ferns分类器的引入更是实现了对于混合特征的有效的有监督学习和更 加快速、准确的识别。因此，可以为户外复杂的大范围环境下的增强现实系统提供较为高 效、准确的场景识别结果。(3)在本发明的技术方案中，通用树分类器的使用提高了图像特征点匹配的速度、 准确性和鲁棒性，保证了图像特征点匹配的性能不会受到场景数量多少的影响。(4)在本发明的技术方案中，图像特征点匹配和特征点的光流跟踪相结合，即确保 了无标跟踪注册的鲁棒性，又满足了增强现实对于跟踪注册的快速、准确的要求。
图1为本发明中户外增强现实无标跟踪注册算法流程图。图2为本发明中场景关键帧图像以及基于序列图像的三维重建结果示意图。(a) 和(b)是从不同视角观察的三维点云重建结果。图3为本发明中针对一些物体提取得到的LoG特征点、部分纹理特征、轮廓特征提 取结果及其PHOG直方图。图4为本发明中Ferns分类器结构演化示意图。图5为本发明中对某一校园环境进行的submap空间地理位置信息标注示意图。图6为本发明中依据隐式和显式流型约束所选择的候选基图像块及每一类的聚 类中心示意图。图7为本发明中某一帧图像需要进行特征点的重新初始化情况下的示意图(a) 表示KLT跟踪过程中某一帧图像的特征点的数目较多；(b)示意跟踪过程中特征点数目减 少，需要重新初始化；(c)黄色点为重新初始化加入特征点后的点集。图8为本发明中算法对某一户外场景进行跟踪注册的精度测试结果，通过重建的 3D点的重投影误差来表示跟踪注册的精度，图中曲线所示的是每一时刻对应的所有被识别 3D点的重投影误差的平均值。图9为本发明中算法对某一户外场景进行跟踪注册时处理每一帧图像所需的时 间，其中曲线的各波峰所对应的是混合特征跟踪过程中的重新初始化情况，各波峰之间的 每个阶段对应两次重新初始化之间的光流跟踪过程。图10为本发明中算法对于各种环境和摄像机运动变化的鲁棒性示意图，其中包 含了各种摄像机可能的运动例如旋转变化、尺度变化、视角变化和快速运动所导致的图像 模糊等，以及各种场景变化例如遮挡、光照变化等。图11为根据本发明提出的方法对某校园环境内的若干场景进行识别后得到的识 别结果示意图。
具体实施例方式下面结合附图，对本发明进行详细说明。图1为本发明中户外增强现实无标跟踪注册算法流程图。详见针对算法流程中的 各主要步骤实施方式所进行的介绍。图2为本发明中某一场景的三维重建示意图。为了获得摄像机的姿态信息，需要在用户所处场景的世界坐标和其对应的图像坐
6标之间建立联系。在无标增强现实系统中，场景的世界坐标是通过对场景进行三维重建而 获得的。在场景范围较小的情况下，直接对整个场景进行三维重建较为方便。而在户外增 强现实应用系统中，用户所处的整个环境范围较大，场景之间的空间间隔较大，因此，本发 明提出只针对每个独立的场景进行三维重建，避免了对整个大范围环境进行重建的问题， 在很大程度上降低了计算复杂度和处理时间并且提高了各场景特征匹配的成功率。目前存在众多较为成熟的三维重建方法，本发明采用基于场景序列图像的三维 重建方法，用图像序列进行三维重建，首先沿着场景周围拍摄几幅序列图像(称之为关键 帧)，具体做法是针对每一个场景Si (i = 1，2，. . .，η)，η是场景个数，Wi是的场景坐标 系，沿着场景拍摄5幅关键帧图像Ru(j = 1,2, ...，5)(如图2所示)，Rij表示第i个场 景中的第j幅关键帧图像。其中，中间一幅图像在用户观察场景时最有可能所处的位置进 行拍摄，一般这一位置在场景的正前方某处(如图2中的Ri3)。每个场景的关键帧图像除 了要被用于场景重建过程之外，还将被用于场景的有监督学习。重建过程中从Rij中提取 LoG(Laplacian-of-Gaussian)特征，并由改进的通用树方法进行特征识别匹配。图3为本发明中一些物体的LoG特征点、部分纹理特征、轮廓特征提取结果及其 PHOG直方图。户外环境中的场景复杂，不同场景所具有的典型特征各不相同。例如建筑物、车 辆等物体的轮廓特征要较其纹理特征更为明显(如图3所示)。因此若要使用纹理特征 区分图3中的两个汽车就可能会无法得到正确结果。纹理特征通常用图像中以特征点为 中心的图像块来表示(如图3中显示的一些以红色特征点为中心的纹理特征)。本发明 提出将纹理与轮廓两种特征相结合来描述一个场景。其中提取纹理特征所需的特征点采 用目前较为常用的LoG(Laplacian-of-Gaussian)特征点，它被证明是目前最稳定的局部 特征点算子。在使用LoG特征时，首先计算图像的Laplacian-of-Gaussian多尺度空间， 选取Laplacian算子最大值的尺度值最为图像的尺度，之后在该尺度上提取特征点。轮廓 特征使用 PHOG (Pyra mid Histogram of Gradient)算子 PHOG 算子是对 HOG，(Histogram ofOriented Gradients)算子的改进。PHOG根据梯度的方向将边缘的梯度值划分为η个区 域，之后在梯度直方图的基础上加入了空间金字塔的特性，进一步提高了这一特征的稳定 性。为构造空间金字塔，在第1层，图像被分为21个子区域，并在子区域上分别统计直方图。如图4中的二叉树结构所示，本发明所使用的Ferns分类器是对随机树分类器 (Randomized Tree)的改进。它以二叉树为基础，将随机树的hierarchical结构改为flat 结构，通过在每个子节点设置相应的测试将特征样本集合进行合理的空间划分，并最终在 每个叶节点统计出每一类特征的后验概率分布，通过寻找最大后验概率评分将待识别的目 标进行分类。Ferns算法将图像中每一个图像块及其在各种图像变化下所得的图像块视为一个 类。使用Ferns分类器对一个图像块进行识别，其实就是要找到与这一个图像块最为相似 的那个类。令Ck (k = 1，2，3，...，L，类的总数为L)代表第k个类；令、(j = 1，2，3，...， Μ)为每个子节点分类所需要进行的二值测试集合。则将图像块进行识别分类的标准是
权利要求
一种新的户外增强现实无标跟踪注册算法，其特征在于，包括以下步骤(1)离线准备阶段①、为每一个场景建立来自不同观察视点的关键帧图像数据库，进行场景稀疏重建，并对每一个场景的二级空间地理位置信息进行标定；②、提取关键帧图像上的轮廓和纹理混合特征，使用分类器对混合特征集合进行有监督学习；③、使用改进的通用树分类器对特征点进行有监督学习；(2)在线阶段，对每一幅当前帧图像④、根据GPS定位结果以及离线标定的场景二级空间地理位置信息将用户当前所处场景的检索范围进行缩小；⑤、提取轮廓和纹理混合特征，由分类器对混合特征进行识别，并在上一步得到的较小范围内完成场景识别；⑥、由混合特征跟踪算法进行特征点匹配和跟踪，建立当前帧与其对应的关键帧之间的2D 2D特征点匹配；⑦、将2D 2D对应信息与场景重建结果相结合得到2D 3D对应，计算摄像机姿态，完成跟踪注册。
2.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在① 中，场景三维重建的方法不局限于序列帧图像的计算方法，可以使用目前已有的各种成熟 三维重建方法来进行。
3.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在 ①中，使用二级空间地理位置信息来对环境中的每一个场景进行表示，这样一种二级位置 信息的表示方式是第一级信息为这一场景所在的空间区域信息，该信息的测量可以使用 GPS对其空间范围进行测量和标定，并采用经纬度来表示这一范围，这其中空间位置的测量 手段和方式不局限于GPS方法，还可以是通过蓝牙、Wifi等无线空间位置测量方式；第二级 信息为在这一场景在其所在的空间区域内，该场景与区域内的其他场景的相邻关系来表示 和确定。
4.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在① 中，确定每个场景的二级空间地理位置信息时，依据整个环境范围的大小以及环境中场景 的空间密度大小来对整个环境的区域进行划分，每个区域范围的划分方法和表示单位根据 使用的测量方式的不同而不同，例如使用GPS作为测量方式，则使用度(° )分(‘)和秒 (“)来作为区域范围的表示单位。
5.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在② 中，为了达到对场景进行更加准确的表达的目的，使用轮廓和纹理混合特征来表达场景， 这其中的混合特征也可以是更多种特征的组合，同时为了对混合特征进行有监督学习和 实时的识别，使用结构较为简单的分类器对其进行训练和识别，这里的分类器种类可以是 Ferns，也可以是其他能够进行实时特征识别的分类器。
6.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在③ 中，对于图像特征点的学习方法，不局限于通用树方法，可以是其他种类的符合模式分类思 想的有监督学习方法。
7.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在④ 中，使用与步骤一中相一致的一级和二级空间位置测量和表示方法来对当前场景的空间位 置范围进行缩小。
8.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在⑤ 中，使用与步骤二中相同种类的混合特征和分类器来进行基于计算机视觉的场景识别。
9.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在⑥ 中，特征点的匹配和跟踪方式不局限于将通用树方法和光流跟踪相结合的方法，可以是其 他种类的匹配和跟踪方法。
10.如权利要求1所述的一种新的户外增强现实无标跟踪注册算法，其特征在于在 ⑦中，通过将特征点的匹配结果与步骤一中的三维重建结果相结合，由此得到场景的二维 图像特征点与三维世界点之间的一一对应关系，并通过优化计算完成摄像机姿态的跟踪注π Π册。经由以上所述的处理之后，便可以实现户外环境下增强现实无标跟踪注册。
全文摘要
本发明涉及增强现实技术领域，特别是涉及一种新的户外增强现实无标跟踪注册算法。首先，本发明利用二级空间位置信息约束将场景识别的检索范围进行缩小；其次，提出使用纹理和轮廓两种特征来对场景进行表达，并使用结构较为简单的分类器对两种特征的后验概率模型进行估计，实现了基于视觉的场景识别方法；再次，通过优化通用树方法的基图像块选择方式提高了图像特征的识别性能，并与帧间光流跟踪相结合，提出了基于混合特征跟踪的注册方法。本发明所使用的无标跟踪注册算法能够满足实时性、鲁棒性的要求，适用于户外环境下的增强现实应用。
文档编号G06T7/00GK101976461SQ20101052383
公开日2011年2月16日 申请日期2010年10月25日 优先权日2010年10月25日
发明者刘伟, 刘越, 王涌天, 郭俊伟, 陈靖 申请人:北京理工大学