一种户外大范围自然场景的移动增强现实注册方法
【专利摘要】本发明提供一种户外大范围自然场景的移动增强现实注册方法。采用基于本质矩阵和三角测量相结合的欧氏重建方法来完成特征点的三维重建，并利用本质矩阵计算摄像头初始的外参，通过建立虚拟三维物体的坐标系和场景平面的坐标系；使用BRISK算子进行特征检测与跟踪，并且只对识别成功的图像进行跟踪，进一步提高了实时更新注册信息的速度。使用光流跟踪法对检测到的场景特征点进行跟踪，使得场景特征信息能够实时更新，从而进一步提高了增强现实注册的实时性。
【专利说明】—种户外大范围自然场景的移动增强现实注册方法
【技术领域】
[0001]本发明属于增强现实和计算机视觉领域，具体地说本发明涉及一种户外大范围自然场景的移动增强现实注册方法，是增强现实应用的基础技术。
【背景技术】
[0002]增强现实(Augmented Reality,简称A R)是近年来的一个研究热点,有着广泛的应用前景。它是将计算机产生的信息(包括图像、文字、三维模型和光照等)叠加在真实场景上，将虚实信息进行无缝融合，呈现给人们一个信息更加丰富、感官效果真实的新环境，达到对现实世界的增强效果。所以，与传统的虚拟现实(Virtual Reality，简称VR)不同，增强现实只是对现实环境的补充而不是完全替代现实环境。增强现实技术增强了用户对现实世界的感知能力和与现实世界的交互能力在军事、工业、医疗、教育、文化、娱乐等领域具有广泛的应用前景，因此，受到越来越多研究者的关注。
[0003]近年来，随着智能手机的飞速发展，普及率在年年攀升，功能也不断变得强大，普通的智能手机都内置了百万像素以上的摄像头，GPS传感器，并集成了如红外通信接口、蓝牙无线接口以及无线局域网卡等高速无线通信网络设备。为增强现实技术的发展找到了新的载体。手持移动设备作为增强现实技术的新载体，将其与增强现实技术相结合，能够使增强现实系统脱离体积庞大的PC机或工作站、摄像设备、头盔显示器等的限制，实现图像采集、计算与显示的整合，在移动性、便携性以及人机交互性方面具有较强的优势。移动增强现实就是将增强现实技术应用在移动平台，实现对场景实时识别和跟踪注册，并叠加虚拟物体，以辅助移动用户对场景的理解。
[0004]三维注册仍然是移动增强现实必须解决的关键问题。它是指系统应该能够实时精确的计算摄像机相对于真实世界的位置和姿态，以便将虚拟场景正确的安置到它应所处的位置上。基于计算机视觉的三维注册方法以其精确性高、硬件成本低廉等特点已经引起越来越多研究人员的关注。
[0005]目前增强现实系统最常使用的实时跟踪注册技术是利用ARToolKit软件包，实现虚实场景融合。该方法需要在真实环境中放置人工标志物，通过对标志物特征的提取获得注册所需的信息而达到注册目的。然而在真实环境中放置人工标志，利用标志物进行跟踪注册具有鲁棒性差，无法解决遮挡，以及环境光照变化所带来的影响等方面的缺点。另一类较常采用的实时跟踪注册算法是基于场景模型的注册。该方法是在已知真实场景三维模型的基础上，将模型上的3D特征点投影到图像平面上，通过优化特征点重投影误差的目标函数获取摄像机的旋转和平移参数。
[0006]在移动增强现实领域中，针对平面物体及有标志物体的注册方法已经取得了很好的发展与应用。但是，智能手机端对自然场景的识别与跟踪注册仍然是一个困难的、开放的问题。
[0007]2009 年，学者 T.Guan 等(文献 1.T.Guan; C.Wang.“Registration Based on SceneRecognition and Natural Features Tracking Techniques for Wide-Area AugmentedReality Systems”，IEEE Transactions On Multimedia, 2009，11 (8)，1393-1405.)为能够正确识别自然场景，保存了大量的参考视图，通过局部特征匹配方法来对自然场景进行识别，但该算法计算量非常大，无法应用于智能手机端。2013年，学者Liya Duan等(文献
2.Liya Duan;Tao Guan;Yawei Lu0.“Wide area registration on camera phones formobile augmented reality applications” Sensor Review, 2013, 33 (3):209-219.)提出了局部区域特征的注册方法，将输入图像中提取的相应特征与场景图像的物体特征进行匹配，然后根据匹配点的对应关系对物体的三维位姿进行计算。但是，需要用计算机事先对所有场景进行三维重建，建立场景的三维点与场景相关图像的二维关系，并且都需要用户手动将所在场景的三维点坐标下载下来，才能实现后续的跟踪注册算法，否则将产生巨大的搜索空间，难以满足实时性的要求。
【发明内容】
[0008]针对现有的技术存在的问题，本发明提供一种户外大范围自然场景的移动增强现实注册方法。
[0009]本发明的技术方案是:
[0010]一种户外大范围自然场景的移动增强现实注册方法，包括以下步骤:
[0011]步骤1:建立场景特征点的三维坐标信息库，根据立体视觉三维重建的基本原理，对场景特征点进行重建；
[0012]步骤2:继续拍摄当前场景，获取视频图像；
[0013]步骤3:将所述的视频图像与指定的参考图像进行匹配，根据匹配结果，判断视频图像是否拍摄于已重建过的场景，如果匹配失败则进入步骤4，匹配成功进入步骤5 ;
[0014]步骤4:设定一个识别失败的计数器N，设定2 < N < 5，当失败次数大于N时，说明已经进入一个新的场景，进入步骤I对新场景进行重建，否则返回步骤2 ；
[0015]步骤5:利用光流跟踪算法对场景图像的局部特征点进行跟踪；若跟踪上的特征点个数大于T个，25〈T〈55，执行步骤5，否则返回步骤2 ；
[0016]步骤6:用随机抽样RANSAC方法，剔除误匹配点对；
[0017]步骤7:根据特征匹配点对计算当前图像与参考图像之间的单应性关系；
[0018]步骤8:根据单应矩阵恢复出每个平面所对应的投影矩阵；
[0019]步骤9:由投影矩阵以及所获得的世界坐标系与平面坐标系之间的变换关系合成三维注册所需的变换矩阵；
[0020]步骤10:用真实摄像头的内参矩阵K和合成三维注册矩阵设定虚拟摄像头的内外参数，对虚拟三维运动物体进行投影，并通过显示设备输出。
[0021]步骤I中对场景特征点进行重建包括如下步骤:
[0022]1.1首先用摄像机标定方法得到摄像机的内参K ；
[0023]1.2再从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作；
[0024]1.3根据特征匹配结果，利用RANSAC算法求取基本矩阵F ；
[0025]1.4由基本矩阵F得到本质矩阵E ；
[0026]1.5根据本质矩阵E正确估计摄像机外参数R和t ;[0027]1.6将摄像机内参数K和外参数R和t组合成投影矩阵；
[0028]1.7重建两幅图像匹配好的特征点；
[0029]1.8建立图像局部特征对应的三维坐标信息库。
[0030]上述步骤1.2中对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理，特征提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离度量法；设定一个阈值T，30 < T < 50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。
[0031]本发明的有益效果:
[0032](I)采用基于本质矩阵和三角测量相结合的欧氏重建方法来完成特征点的三维重建，并利用本质矩阵计算摄像头初始的外参，提高了注册的稳定性。
[0033](2)通过建立虚拟三维物体的坐标系和场景平面的坐标系，以利于更精确的完成虚拟物体对真实场景的注册。
[0034](3)使用BRISK算子进行特征检测与跟踪，由于BRSIK特征提取速度快，二进制汉明距离比较速度只需要一条简单的机器指令，大大节省了特征检测和场景识别时间，并且只对识别成功的图像进行跟踪，进一步提高了实时更新注册信息的速度。
[0035](4)使用光流跟踪法对检测到的场景特征点进行跟踪，使得场景特征信息能够实时更新，从而进一步提高了增强现实注册的实时性。
【专利附图】
【附图说明】
[0036]图1为本发明具体实施的户外大范围自然场景的移动增强现实注册方法流程图；
[0037]图2为本发明中场景重建三角测量法原理图；
[0038]图3为本发明中图像尺度空间的BRISK特征示意图；
[0039]图4为本发明中2D描述符到3D坐标点的关联表。
【具体实施方式】
[0040]下面将结合附图对本发明的【具体实施方式】做详细描述。
[0041]本实施方式中，实施基于户外自然场景的移动增强现实注册方法时，采用四核、IG内存的智能手机，摄像头分辨率为640*320，内参为标定好的，默认一直不变。对摄像头中出现的自然场景进行识别和跟踪注册。
[0042]图1示出了本发明的户外自然场景移动增强现实跟踪注册流程，主要包括以下步骤:
[0043]步骤1:建立场景自然特征的三维点坐标信息库:
[0044]步骤1.1首先用摄像机标定方法得到摄像机的内参K。
[0045]通过摄像机定标，可以确定与摄像机自身的几何和光学特性有关的参数(即内部参数)，以及它相对于某一世界坐标系的三维位置和方向(即外部参数)。摄像机的定标在增强现实系统中起着重要作用。本发明采用ART00LKIT方法，利用黑色边框的平板图案作
为系统标识的四个角点及其在图像中的位置计算矩阵单应矩阵HI的值。
[0046]摄像机成像基本原理，屏幕坐标系与世界坐标系之间的变换关系可用下式表示:
【权利要求】
1.一种户外大范围自然场景的移动增强现实注册方法，其特征在于，包括以下步骤: 步骤1:建立场景特征点的三维坐标信息库，根据立体视觉三维重建的基本原理，对场景特征点进行重建； 步骤2:继续拍摄当前场景，获取视频图像； 步骤3:将所述的视频图像与指定的参考图像进行匹配，根据匹配结果，判断视频图像是否拍摄于已重建过的场景，如果匹配失败则进入步骤4，匹配成功进入步骤5 ； 步骤4:设定一个识别失败的计数器N，设定2 < N < 5，当失败次数大于N时，说明已经进入一个新的场景，进入步骤I对新场景进行重建，否则返回步骤2 ； 步骤5:利用光流跟踪算法对场景图像的局部特征点进行跟踪；若跟踪上的特征点个数大于T个，25〈T〈55，执行步骤5，否则返回步骤2 ； 步骤6:用随机抽样RANSAC方法，剔除误匹配点对； 步骤7:根据特征匹配点对计算当前图像与参考图像之间的单应性关系； 步骤8:根据单应矩阵恢复出每个平面所对应的投影矩阵； 步骤9:由投影矩阵以及所获得的世界坐标系与平面坐标系之间的变换关系合成三维注册所需的变换矩阵； 步骤10:用真实摄像头的内参矩阵K和合成三维注册矩阵设定虚拟摄像头的内外参数，对虚拟三维运动物体进行投影，并通过显示设备输出。
2.如权利要求1所述的一种户外大范围自然场景的移动增强现实注册方法，其特征在于，步骤I中对场景特征点进行重建包括如下步骤: .1.1首先用摄像机标定方法得到摄像机的内参K ； . 1.2再从不同角度拍摄待注册场景的两幅图像作为参考图像，并做特征提取与匹配操作； . 1.3根据特征匹配结果，利用RANSAC算法求取基本矩阵F ； . 1.4由基本矩阵F得到本质矩阵E ； .1.5根据本质矩阵E正确估计摄像机外参数R和t ; .1.6将摄像机内参数K和外参数R和t组合成投影矩阵； .1.7重建两幅图像匹配好的特征点； .1.8建立图像局部特征对应的三维坐标信息库。
3.如权利要求2所述的一种户外大范围自然场景的移动增强现实注册方法，其特征在于，上述步骤1.2中对图像的特征提取和匹配，包括对图像的去噪声和进行灰度处理，特征提取使用二进制特征检测算法BRISK，特征匹配使用汉明距离度量法；设定一个阈值T，30 ^ 50，当前图像的特征与参考图像的所有特征进行比较，选取距离最短的，并且小于T的特征作为匹配特征。
【文档编号】G06T7/20GK103839277SQ201410059271
【公开日】2014年6月4日 申请日期:2014年2月21日 优先权日:2014年2月21日
【发明者】王涌天, 桂振文, 刘越 申请人:北京理工大学