专利名称：通过跟踪和定位算法实现虚拟三维叠加的方法
技术领域：
本发明属于图像处理和AR (Augmented Reality,即增强现实技术)领域,具体地说是一种通过跟踪和定位算法实现虚拟三维叠加的方法，可应用于虚拟三维场景实时演示和世界坐标系运动信息获取系统中。
背景技术：
增强现实是近年来国外众多知名大学和研究机构的研究热点之一。AR技术在VR(Virtual Reality，即虚拟现实)相关的应用领域，诸如尖端武器、飞行器研制与开发、数据模型的可视化、虚拟训练、娱乐与艺术等领域均有广泛应用。构造一个AR系统需要解决诸多关键技术问题，主要有三维显示技术、跟踪和定位技术、界面和可视化技术以及摄像机标定技术。为了实现虚拟与现实交互，AR需要对感兴趣目标的三维坐标信息进行精确定位，因而准确地跟踪感兴趣目标在三维坐标系下的位置以及目标和摄像机之间的相对位置十分重要。针对室内应用环境，传统的AR实现方法通常需要预先在已知位置上放置基准标记，通过识别和跟踪这些标记来间接跟踪感兴趣目标，其优点是在确定或可控环境下能够实现鲁棒性较高的跟踪效果，缺点是不能实现直接对目标进行三维坐标信息提取和跟踪。对于室外移动的应用环境，AR—般使用GPS (Global Positioning System,即全球定位系统)或Dead Reckoning(即航位推算)技术计算感兴趣目标在户外的实时三维位置并进行跟踪，但由于GPS和Dead Reckoning技术只能对目标三维坐标信息进行粗略计算，精确度很低，且需要的计算时间太长，无法满足视频图像处理的实时性要求。
发明内容
本发明的目的在于实时地计算出视频中感兴趣目标相对于摄像机的三维坐标信息，根据提取出的三维坐标信息，利用OPENGL引擎平台叠加三维模型实现虚拟增强技术。算法中的角点检测精度能达到亚像素级，通过误差算法的检测表明此标定算法计算出的相机参数准确度可达到10_4量级以下，算法实时性很高，且利用单帧图像即可提取出目标的
三维坐标信息。为实现上述目的，本发明包括如下步骤通过跟踪和定位算法实现虚拟三维叠加的方法，包括以下步骤步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；
步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值；记录满足上述要求的两帧图像的像素坐标值(W,1 ,v,'),z =l,2,...,n ), = 1,2,..., ；
步骤3，对后续输入的每帧图像同样进行特征点检测，并记录图像中的特征点的像素坐标值(wf，v,4)，加上之前检测到的两组像素坐标值共组成三组像素坐标数据，建立如图2所示的摄像机成像模型，利用世界坐标系下的坐标值(ZL，匕，ZL)与其投影点的像素坐标值(ui； Vi)之间的关系式，计算摄像机的内部参数矩阵N和外部参数矩阵H
其中，α χ = f/dx, a y = f/dy ; a x、a y分别为图像u轴和v轴上的尺度因子，U0>V0为摄像机的主点，M为投影矩阵；N为摄像机内部参数矩阵；H为摄像机的外部参数矩阵；步骤4，对获得的外参数矩阵进行分解计算出目标与摄像机之间的平移向量t和旋转向量R ；步骤5，利用OPENGL，导入外参数为模型视角矩阵，再叠加上三维虚拟模型，模型的视角变化就和图像中标识物视角变化一致，将当前帧视频图像作为背景，完成虚拟增强现实的三维叠加。本发明与现有技术相比具有以下优点I.本发明可实现对每帧视频图像都实时计算目标的三维坐标信息，能够解决AR在定位和获取坐标信息的实时性问题；2.本发明采用OPENGL完成最后的三维叠加，将当前帧视频图像作为背景，叠加三维模型后的视频图像三维立体感强、效果逼真。OPENGL也很通用，三维模型可以在OPENGL中自由地定义和修改。
图I是本发明方法的流程图；图2是CXD相机成像原理；图3是检测出目标所有特征点信息的第一帧图像；图4是变换目标角度后检测出所有特征点的第二帧图像；图5是实时采集的可检测到特征点的图像帧；图6和图7是本发明叠加上三维模型的图像帧I和图像帧2 ；
具体实施例方式以下结合具体实例，对本发明进行详细说明。参照图1，本发明实现AR虚拟增强现实的一种解决方法，包括如下步骤
步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值。必须记录满足上述要求的两帧图像的像素坐标值( )，/ = 1,2，...，π，(Μ,2，ν,2)，/ = 1，2，··.，《，这是为了和后续图像帧检测
到的像素坐标值(wf，vf )组成三组像素坐标数据，以计算摄像机的内参数N和外参数H，在这里k = 3,4,...表示巾贞数,特征采用Harris角点；步骤3，对后续输入的每帧图像同样进行特征点检测，并记录图像中的特征点的像素坐标值)，加上之前检测到的两组像素坐标值共组成三组像素坐标数据，建立如图2
所示的摄像机成像模型，利用世界坐标系下的坐标值与其投影点的像素坐标值(ui； Vi)之间的关系式，计算摄像机的内参数N和外参数H
权利要求
1.一种通过跟踪和定位算法实现虚拟三维叠加的方法，其特征在于，包括以下步骤 步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值匕，Zl)记录下来； 步骤2，人为变换被跟踪目标相对于摄像机的角度，针对被跟踪目标不同角度下拍摄的图像进行特征点检测，若能在图像中检测出被跟踪目标预先设定的全部对应特征点，则记录该帧图像中被跟踪目标预先设定特征点的像素坐标值；记录满足上述要求的两帧图像的像素坐标值
全文摘要
本发明公开了通过跟踪和定位算法实现虚拟三维叠加的方法，包括以下步骤步骤1，预先设定被跟踪目标的特征点，以被跟踪目标特征点所在平面为参考平面，以任意一个特征点为原点确定世界坐标系，将每个特征点的世界坐标值记录下来；步骤2，记录两帧图像的像素坐标值步骤3，对后续输入的每帧图像同样进行特征点检测，计算摄像机的内参数N和外参数H；步骤4，对获得的外参数矩阵进行分解计算出目标与摄像机之间的平移向量t和旋转向量R；步骤5，完成虚拟增强现实的三维叠加。叠加三维模型后的视频图像三维立体感强、效果逼真。
文档编号G06T7/00GK102646275SQ20121004009
公开日2012年8月22日 申请日期2012年2月22日 优先权日2012年2月22日
发明者刘洋, 唐文平, 樊晓东, 胡庆龙 申请人:西安华旅电子科技有限公司