一种基于在线学习的移动增强现实跟踪注册方法
【专利摘要】本发明提供一种基于在线学习的移动增强现实跟踪注册方法，通过减少反投影误差来优化摄像机的位姿矩阵，通过建立虚拟三维物体的坐标系和场景平面的坐标系，以利于更精确的完成虚拟物体对真实场景的注册；使用局部区域的特征点快速查找算法来恢复丢失的特征点，通过对检测到的场景特征点进行在线学习，使得场景三维点坐标的权值实时更新，贡献大的三维点逐步增大对应的权值，贡献小的逐步降低对应的权值，并通过学习计算出全局分值最大投影矩阵，从而进一步提高了增强现实注册的精准度。
【专利说明】—种基于在线学习的移动增强现实跟踪注册方法
【技术领域】
[0001]本发明属于移动增强现实【技术领域】，具体涉及一种基于在线学习的移动增强现实跟踪注册方法。
【背景技术】
[0002]增强现实技术(Augmented Real ity—AR)是当前计算机视觉领域中的研究热点之一，通过将虚拟物体与真实环境紧密结合，增强人们对真实环境的理解与体验。增强现实技术的特性是:虚实结合、实时交互和跟踪注册。其中，跟踪注册是增强现实技术需要解决的核心问题之一。尤其是基于视觉的无标志点跟踪注册技术，由于其精度高、设备简单且对环境无干扰，逐渐成为增强现实领域的研究热点。
[0003]传统的无标志点跟踪注册技术大多适用于小范围的简单场景，算法只需处理少量的场景及其特征的跟踪注册问题。随着应用领域的不断拓宽，增强现实技术的应用开始向着户外复杂环境延伸。因此，适用于户外复杂环境的无标志点跟踪注册技术，尤其是跟踪精度高、实时性和鲁棒性强且存储容量低的无标志点跟踪注册技术，已经成为未来增强现实发展的难点和关键。国外相关机构已经在这一领域展开研究，并取得了一定的成果。国内在这方面的研究则刚刚起步，理论和实践均不够成熟。因此，进行户外复杂环境下的无标志点跟踪注册技术研究，是国内广泛深入开展相关增强现实系统研究的必然要求，也是我国发展具有独立自主知识产权的户外复杂环境下增强现实系统的必备条件。
[0004]在移动增强现实领域中，针对平面物体及有标志物体的注册方法已经取得了很好的发展与应用。但是，智能手机端对自然场景的识别与跟踪注册仍然是一个困难的、开放的问题。
[0005]2011 年学者 T.Guan 等(文献 IT.Guan ；L.Y.Duan.“Real Time Camera PoseEstimation for WideAreaAugmented Reality Application，，.IE EE Computer Graphicsand Application, 31 (3) =56-68,2011)为能够正确识别自然场景，保存了大量的参考视图，通过局部特征匹配方法来对自然场景进行识别，但该算法计算量非常大，无法应用于智能手机。
[0006]2Ol3 年，学者 Liya Duan 等(文献 2.Liya Duan ;Tao Guan ;Yawei Lu0.“Wide arearegi stration on camera phones for mobile augmented reality applications，，SensorReview, 2013, 33 (3):209-219.)提出了局部区域特征的注册方法，将输入图像中提取的相应特征与场景图像的物体特征进行匹配，然后根据匹配点的对应关系对物体的三维位姿进行计算。但是，需要用计算机事先对所有场景进行三维重建，建立场景的三维点与场景相关图像的二维关系，并且都需要用户手动将所在场景的三维点坐标下载下来，才能实现后续的跟踪注册算法，否则将产生巨大的搜索空间，难以满足实时性的要求。
【发明内容】
[0007]针对现有的技术存在的问题，本发明提供一种基于在线学习的移动增强现实跟踪注册方法。
[0008]本发明的技术方案是:
[0009]一种基于在线学习的移动增强现实跟踪注册方法，包括以下步骤:
[0010]步骤1:对摄像机的内参进行标定；
[0011]步骤2:建立场景特征点的三维坐标信息库，根据立体视觉三维重建的基本原理，对场景特征点进行重建；
[0012]步骤3:继续拍摄当前场景，获取当前帧的视频图像，检测图像的自然特征；
[0013]步骤4:将当前视频图像与指定的参考图像进行匹配，根据匹配结果，判断当前场景图像与参考图像是否相似；如果匹配不相似进入步骤5，匹配成功进入步骤6 ；
[0014]步骤5:设定一个识别失败的计数器N，2 < N < 5，当失败次数大于N时，说明已经进入一个新的场景，进入步骤I对新场景进行重建，否则由于摄像头移动太快而导致匹配失败，则进入步骤3;
[0015]步骤6:根据描述符映射表找到当前图像描述符对应的3D点坐标，描述符2D坐标到3D空间坐标的投影矩阵；
[0016]步骤7:根据投影矩阵和已知的内参矩阵恢复出当前图像帧的位姿[R|t]矩阵；
[0017]步骤8:进行几何校验和反投影误差分析判断是不是有效的位姿矩阵如果是有效的位姿矩阵执行步骤9，否则返回步骤3 ；
[0018]步骤9:存在有效的位姿矩阵，定义虚拟物体的坐标系，合成有效的注册矩阵，叠加三维虚拟物体；
[0019]步骤10:利用光流跟踪算法对场景图像的局部特征点进行跟踪和在线学习；
[0020]步骤11:对跟踪的点进行分析，若跟踪上的特征点个数大于并且小于T1, 20 < T1
<30，40 < T1 < 50，跟踪到的点数影响了计算位姿矩阵的精度，则进行丢失的特征点恢复；
[0021]步骤12:当跟踪到的特征点数小于，表明已经对当前场景跟踪失败，用户已经到达新的场景需要重新进行重建和识别，则返回步骤2。
[0022]步骤2中对场景特征点进行重建的具体步骤包括:
[0023]2.1从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作
[0024]2.2根据特征匹配结果，利用RANSAC算法去除误匹配点，根据匹配的特征点对求取基本矩阵F。
[0025]2.3由基本矩阵F和已知的摄像头内参得到本质矩阵E。
[0026]2.4根据本质矩阵E正确估计摄像机外参数R和t。
[0027]2.5将摄像机内参数K和外参数R和t组合成投影矩阵、。
[0028]2.7重建两幅图像匹配好的特征点。
[0029]2.8建立图像局部特征对应的三维坐标信息库。
[0030]步骤2.1对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理。特征点提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离度量法。设定一个阈值T，30 < T < 50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。
[0031]本发明的有益效果:[0032](I)通过减少反投影误差来优化摄像机的位姿矩阵。。
[0033](2)通过建立虚拟三维物体的坐标系和场景平面的坐标系，以利于更精确的完成虚拟物体对真实场景的注册。
[0034](3)使用局部区域的特征点快速查找算法来恢复丢失的特征点，大大节省了特征检测时间，进一步提高了实时更新注册信息的速度。
[0035](4)通过对检测到的场景特征点进行在线学习，使得场景三维点坐标的权值实时更新，贡献大的三维点逐步增大对应的权值，贡献小的逐步降低对应的权值，并通过学习计算出全局分值最大投影矩阵，从而进一步提高了增强现实注册的精准度。
【专利附图】
【附图说明】
[0036]图1为本发明具体实施的在线学习移动增强现实注册算法流程图；
[0037]图2为本发明中场景重建三角测量法原理图；
[0038]图3为本发明中图像尺度空间的BRISK特征示意图；
[0039]图4为本发明中2D描述符到3D坐标点的关联表。
【具体实施方式】
[0040]下面将结合附图对本发明的【具体实施方式】做详细描述。
[0041]本实施方式中，实施基于户外自然场景的移动增强现实注册方法时，采用四核、IG内存的智能手机，摄像头分辨率为640*320，内参为标定好的，默认一直不变。对摄像头中出现的自然场景进行识别和跟踪注册。
[0042]图1示出了本发明的户外自然场景移动增强现实跟踪注册流程，主要包括以下步骤:
[0043]步骤1:用摄像机标定方法得到摄像机的内参K。
[0044]通过摄像机定标，可以确定与摄像机自身的几何和光学特性有关的参数(即内部参数)，以及它相对于某一世界坐标系的三维位置和方向(即外部参数)。摄像机的定标在增强现实系统中起着重要作用。本发明采用ART00LKIT方法，利用黑色边框的平板图案作为系统标识的四个角点及其在图像中的位置计算矩阵单应矩阵Bi的值。
[0045]摄像机成像基本原理，屏幕坐标系与世界坐标系之间的变换关系可用下式表示:.lxr
【权利要求】
1.一种基于在线学习的移动增强现实跟踪注册方法，其特征在于，包括以下步骤: 步骤1:对摄像机的内参进行标定； 步骤2:建立场景特征点的三维坐标信息库，根据立体视觉三维重建的基本原理，对场景特征点进行重建； 步骤3:继续拍摄当前场景，获取当前帧的视频图像，检测图像的自然特征； 步骤4:将当前视频图像与指定的参考图像进行匹配，根据匹配结果，判断当前场景图像与参考图像是否相似；如果匹配不相似进入步骤5，匹配成功进入步骤6 ； 步骤5:设定一个识别失败的计数器N，2 < N < 5，当失败次数大于N时，说明已经进入一个新的场景，进入步骤I对新场景进行重建，否则由于摄像头移动太快而导致匹配失败，则进入步骤3 ； 步骤6:根据描述符映射表找到当前图像描述符对应的3D点坐标，描述符2D坐标到3D空间坐标的投影矩阵； 步骤7:根据投影矩阵和已知的内参矩阵恢复出当前图像帧的位姿[R|t]矩阵； 步骤8:进行几何校验和反投影误差分析判断是不是有效的位姿矩阵，如果是有效的位姿矩阵执行步骤9，否则返回步骤3 ； 步骤9:存在有效的位姿矩阵，定义虚拟物体的坐标系，合成有效的注册矩阵，叠加三维虚拟物体； 步骤10:利用光流跟踪算法对场景图像的局部特征点进行跟踪和在线学习； 步骤11:对跟踪的点进行分析，若跟踪上的特征点个数大于并且小于T1, 20 < T1 < 30，.40 < T1 < 50，跟踪到的点数影响了计算位姿矩阵的精度，则进行丢失的特征点恢复； 步骤12:当跟踪到的特征点数小于，表明已经对当前场景跟踪失败，用户已经到达新的场景需要重新进行重建和识别，则返回步骤2。
2.如权利要求1所述的一种基于在线学习的移动增强现实跟踪注册方法，其特征在于，步骤2中对场景特征点进行重建的具体步骤包括: .2.1从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作； .2.2根据特征匹配结果，利用RANSAC算法去除误匹配点，根据匹配的特征点对求取基本矩阵F ； .2.3由基本矩阵F和已知的摄像头内参得到本质矩阵E ； . 2.4根据本质矩阵E正确估计摄像机外参数R和t ; .2.5将摄像机内参数K和外参数R和t组合成投影矩阵； .2.6重建两幅图像匹配好的特征点； .2.7建立图 像局部特征对应的三维坐标信息库。
3.如权利要求2所述的一种基于在线学习的移动增强现实跟踪注册方法，其特征在于，步骤2.1对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理；特征点提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离度量法；设定一个阈值T，.30 ^ 50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。
【文档编号】G06F17/30GK103854283SQ201410059259
【公开日】2014年6月11日 申请日期:2014年2月21日 优先权日:2014年2月21日
【发明者】刘越, 桂振文, 王涌天 申请人:北京理工大学