专利名称：对无特定标记目标物体跟踪、三维叠加及交互的方法及系统的制作方法
技术领域：
本发明属于增强现实技术领域，尤其涉及一种对无特定标记目标物体跟踪、三维叠加及交互的方法及系统。
背景技术：
增强现实技术简称AR技术，也被称为扩增现实，把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。增强现实可根据所应用的范围分为户内型与户外型。户内型增强现实从广义上说包括各种将数据层覆盖于建筑物内部物理空间的实践，为建筑师、壁画师、展览设计师和新媒体艺术家所关心；相对而言，狭义的户内型增强现实是在计算机技术支持下发展起来的，它允许用户在现实环境中与虚拟物体交互。增强现实技术中的诸多关键技术中，跟踪和定位技术、以及摄像机标定技术是重点，同时也是难点。为了实现虚拟与现实交互，增强现实技术需要对目标物体的三维坐标信息进行精确定位，因而准确地跟踪目标物体在三维坐标系下的位置以及目标和摄像机之间的相对位置十分重要。传统的增强现实技术实现方法通常需要预先在已知位置上放置基准标记(例如四周加黑色的方框)，通过识别和跟踪这些标记来间接跟踪目标物体，其优点是在确定或可控环境下能够实现鲁棒性较高的跟踪效果。缺点是不能实现直接对目标进行三维坐标信息提取和跟踪。
发明内容
本发明提供了一种对现实中存在的目标物体直接进行识别、三维坐标信息提取、跟踪的方法，旨在解决现有技术提供的增强现实技术需要预先在已知位置上放置基准标记，通过识别和跟踪这些标记来间接跟踪目标物体，不能自动对目标物体建立模板，并不能实现直接对现实中目标物体进行识别、三维坐标信息提取、跟踪的问题。本发明的目的在于提供一种对无特定标记目标物体实时跟踪、三维叠加及交互的方法，该方法包括以下步骤从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板或预知已知目标物体的特征模版；利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的二维息；通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中，利用图形弓丨擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。进一步，所述利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息以及通过图形引擎将虚拟物体或动画实时叠加在现实空间三维坐标系的实现方法为对采集到的某一帧视频图像Q，利用SUrf算法求解出与模板匹配的所有特征点P= Ρι Ρ2，· · ·，pj，其中，Pi为图像Q中的特征点；从全部匹配特征点P= {P1，P2，. . . , PnI中选择4个最准确的匹配特征点
权利要求
1.一种对无特定标记目标物体实时跟踪、三维叠加及交互的方法，其特征在于，该方法包括以下步骤 从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板或预知已知目标物体的特征模版； 利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的二维信息； 通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中，利用图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。
2.如权利要求I所述的方法，其特征在于，所述利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息以及通过图形引擎将虚拟物体或动画实时叠加在现实空间三维坐标系的实现方法为 对采集到的某一帧视频图像Q，利用surf算法求解出与模板匹配的所有特征点P ={Pl，p2,, pn}，其中，Pi为图像Q中的特征点； 从全部匹配特征点P = {Pl, P2, ...，P1J中选择4个最准确的匹配特征点P0={Pj^PJl,Ph,Pji}, ^ e {1,2, ..·，η}，k = 1，2，3，4，记录这些特征点的图像坐标值(Ui, Vi), i = J1, j2, j3, j4,并以其中一点为世界坐标原点，记录下其他特征点的世界坐标jk e {1,2, ... , n}, k = 1,2,3,4 ； 利用世界坐标系的坐标^幻)与其投影点的像素坐标(Ui, Vi)之间的关系式计算相机的外参数矩阵H,其中，i = j1； j2, j3, j4 ； 利用计算出的外参数矩阵H，在图形引擎中将当前视频帧图像作为三维引擎中三维场景的背景，在场景中所需要的位置渲染出三维模型，实现实时三维叠加； 利用图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。
3.如权利要求I所述的方法，其特征在于，该方法可对摄像机拍摄图像中多个目标物体进行计算，得出每个物体的三维信息，对多个目标物体进行三维叠加。
4.如权利要求I所述的方法，其特征在于，目标物体相对于摄像机的三维信息为目标物体相对于摄像机的三维实时位移及旋转角度。
5.一种对无特定标记目标物体实时跟踪、三维叠加及交互的系统，其特征在于，该系统包括 特征模板建立模块，用于从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板，也可预置已知的特征模板； 三维信息计算模块，与所述特征模板建立模块相连接，用于利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息； 三维模型叠加模块，与所述三维信息计算模块相连接，用于通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中。
6.如权利要求5所述的系统，其特征在于，所述系统还包括 交互模块，与所述三维模型叠加模块相连接，用于通过图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。
7.如权利要求5所述的系统，其特征在于，所述三维信息计算模块进一步包括三维实时位移计算单元，与所述特征模板建立模块相连接，用于计算出目标物体相对于摄像机的三维实时位移； 三维实时旋转角度计算单元，与所述特征模板建立模块相连接，用于计算出目标物体相对于摄像机的三维实时旋转角度。
8.一种对无特定标记目标物体实时跟踪、三维叠加及交互的方法，其特征在于，所述方法包括如下步骤 步骤1，将目标物体物预先拍摄一张图片或者由程序从摄像机的图像中自动分割出目标物体作为模板M ； 步骤2，对输入的每帧图像Q与模板图像M，利用加速surf算法进行特征点匹配；得到匹配特征点Pq = Ip1, P2, , pn}Q，Pm = Ip1, P2,, pn}M，点pK分别为图像Q与模板M中的点，i = 1,2, ... ,η·, 步骤3，从图像Q与模板M中选取四对最准确的匹配特征点其中，jke {I,.2，...，n}，k= 1，2，3，4;确定匹配特征点在对应图像上的像素坐标(uk, vk)Q, (uk,乂^^并以其中一对匹配特征点丨/^，/^}，!^^ {1,2,3,4}为世界坐标原点，记录下其它匹配特征点的世界坐标值
9.如权利要求8所述的方法，其特征在于，所述方法还可对图像中多个目标物体进行计算，得出每个物体的三维信息，从而实现多个目标物体的叠加效果以及运用上述的三维叠加、实时跟踪方法，配合语音识别、动作捕捉、肢体识别技术，在三维引擎中实时检测图像中的虚拟物体和虚拟物体之间，现实物体和虚拟物体之间、现实人和虚拟物体之间等的碰撞，即可实现现实中人或物和虚拟的人或物的交互效果。
全文摘要
本发明属于计算机应用技术领域，提供了一种对无特定标记目标物体跟踪、三维叠加及交互的方法及系统，首先从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板；然后利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息；最后通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中；本方法利用加速surf算法对视频图像与模板图像进行特征匹配，完成摄像机标定，实现了无特定标记的目标物体实时跟踪、实时三维叠加，对每帧视频图像均实时计算目标的三维坐标信息，实现了现实中人或物和虚拟的人或物的交互，自动化程度较高，具有较强的推广与应用价值。
文档编号G06K9/00GK102831401SQ20121027390
公开日2012年12月19日 申请日期2012年8月3日 优先权日2012年8月3日
发明者樊晓东, 唐文平, 刘家宾 申请人:樊晓东