一种无标志物跟踪注册方法
【专利摘要】本发明公开了一种无标志物跟踪注册方法，属于增强现实【技术领域】。本发明针对现有技术不足，通过构造随机森林分类模型，对CenSurE算法提取的特征点进行快速初始匹配，同时结合现有特征点连续跟踪技术对匹配特征点进行连续跟踪，从而在大幅度减少特征匹配所需计算的同时，提高了所选取特征点的稳定性；并进一步对光流特征跟踪方法进行改进，对错误跟踪点进行筛选，提高了跟踪注册的准确性和效率，提高了增强现实系统的实时性。相比现有技术，本发明方法能够有效提高跟踪注册的准确性和效率，进而提升增强现实系统的实时性。
【专利说明】一种无标志物跟踪注册方法
【技术领域】
[0001]本发明涉及增强现实【技术领域】，尤其涉及一种无标志物跟踪注册方法。
【背景技术】
[0002]增强现实(Augmented Reality，简称AR)是为了解决虚拟现实与真实环境完全隔离，不能贴近现实世界而出现的一项新技术。增强现实主要通过借助模式识别、多媒体、传感器、计算机视觉等技术，在真实场景之上叠加由计算机创建的虚拟的三维物体或者二维的信息，利用显示设备呈现出具有良好视觉效果的虚实结合环境，帮助用户对真实世界进行更好地理解和认知。
[0003]在增强现实系统中，跟踪注册技术是实现图像融合必需的条件，对精确实现“虚实融合”至关重要。跟踪注册技术，又被称为虚实配准技术，主要通过实时检测、跟踪目标场景在真实环境中与摄像机的相对位置关系，对虚拟物体的位置进行准确定位，完成虚实融合。目前，根据注册技术采用的方法和设备不同，常见的跟踪注册技术主要有三种:基于硬件、基于视觉和不同方案混合的跟踪注册技术。基于硬件的跟踪注册技术，根据采用的传感器不同，有电磁、超声波、光学和惯性设备等。它主要通过测量和分析反馈信号，动态地跟踪使用者的位置和方向，完成虚拟物体的叠加，具有注册简单，跟踪速度较快的优点，但是普遍存在受环境干扰影响大，长时间跟踪困难的问题。基于计算机视觉的跟踪注册，主要通过采集处理场景的图像信息，进行识别和跟踪，计算摄像机相对于目标场景的位姿关系。与基于硬件的注册技术相比，成本低廉，实现方便，而且注册精度更高，是当前AR研究中应用最广泛的技术。而混合跟踪注册技术是当某一种策略无法达到预期效果时，通过结合不同种类的注册技术，使注册定位更加精确。混合跟踪系统一般精确性较高，但是系统构建复杂、花费代价高昂，并不适合大规模应用。
[0004]目前，基于视觉的跟踪注册研究中，比较成熟的是基于人工标识物(Marker)的注册。此项技术通过提取场景中的标识物进行识别定位，实现增强现实。但是该方法应用的前提是目标场景中必须存在特定的、完整的人工标识，如果不能满足上述条件，就容易造成注册失败。因此，无标识物的跟踪注册技术成为影响增强现实发展的一个重要问题。增强现实技术对稳定性、精确性和实时性的要求较高，而目前基于视觉的常见注册方法，例如Ke Xu采用单应关系计算注册矩阵的方法，Andrew通过事先计算场景模型完成注册的方法，Yuko利用包含多平面结构的真实场景的视觉注册等方法，在检测特征的稳定性与实时性方面不能同时兼顾，如果检测不到稳定的特征点，就无法完成注册。而且由于特征提取的运算一般比较复杂，目前主要的解决办法是通过对特征点进行跟踪减少计算，提高效率。这种策略也面临着一个问题:提取的特征在尺度和环境适应性方面稳定性不强，可重复性较弱，当场景发生变形时，容易产生误匹配和跟踪失败的问题，影响了增强现实系统运行的稳定，同时降低了系统的运行效率。
【发明内容】
[0005]本发明所要解决的技术问题在于克服现有无标识物的跟踪注册技术，提供一种无标志物跟踪注册方法，能够有效提高跟踪注册的准确性和效率，进而提升增强现实系统的实时性。
[0006]一种无标志物跟踪注册方法，包括以下步骤:
[0007]步骤1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像；
[0008]步骤2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点，具体包括:
[0009]将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除,最后剩余的模板图像和各变换图像中的CenSurE特征点即为稳定特征点；
[0010]步骤3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器；
[0011]步骤4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配:
[0012]首先检测其中的CenSurE特征点，并按照步骤3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点的领域图像块被分类为类别C，则类别c所对应的模板图像中的稳定特征点即为A的匹配点；
[0013]步骤5、对于后续的图像帧，对匹配点进行连续跟踪；如果跟踪失败，利用步骤4中的方法将当前帧与模板图像重新进行特征点匹配，然后继续对重新得到的匹配点进行连续跟踪，从而实现对目标视频的连续跟踪；
[0014]步骤6、结合摄像机内部参数得到投影矩阵，将虚拟物体模型绘制叠加到真实场景中。
[0015]为了进一步提升所选择的特征点的稳定性，作为本发明的进一步改进方案，所述步骤2与步骤3之间还包括对步骤2所得到的稳定特征点进行再筛选的步骤，具体如下:以步骤2所筛选出的稳定特征点作为初步稳定特征点，对统计模板图像中的所有初步稳定特征点根据其所对应的变换图像中初步稳定特征点的数量从大到小进行排序，选出最前面的一部分，最后以这一部分统计模板图像中的初步稳定特征点及其所对应的变换图像中的初步稳定特征点作为最终的稳定特征点。
[0016]上述技术方案中可采用现有的各种方法实现对匹配点的连续跟踪，作为本发明的另一优选技术方案，所述对匹配点进行连续跟踪，具体按照以下方法:首先利用光流特征跟踪方法得到当前帧的粗匹配点；然后将偏移向量的模大于预设阈值的粗匹配点作为错误匹配点，对于每一个错误匹配点，在以其为中心的NXN的检测窗口中检测是否存在偏移向量的模大于预设阈值的新的CenSurE特征点，如存在，则以其中距离该错误匹配点最近的新的CenSurE特征点取代该错误匹配点，如不存在，则剔除该错误匹配点；然后对下一图像帧重复以上过程。
[0017]相比现有技术，本发明具有以下有益效果:
[0018]1、本发明引入了新的CenSurE特征提取算法,CenSurE特征具有的尺度不变特性，可以很好的描述不同变换下的场景，提高了对复杂场景的表达能力和适应性；同时，在保证稳定性的前提下，具有比SIFT和SURF更高的提取效率。
[0019]2、本发明采用了随机森林分类的方法，将特征匹配转化为模式识别的问题，通过对分类器进行训练和识别，提高了特征的匹配效率和准确性，为后续注册矩阵的计算提供了准确的识别结果，保证了跟踪注册的顺利完成。
[0020]3、本发明将特征点的匹配有机地与基于光流的跟踪相结合，对特征点的位置进行跟踪和预测，提高了跟踪注册的快速性；对跟踪的特征点进行筛选，避免了累积误差，提高了跟踪的准确性。
【专利附图】
【附图说明】
[0021]图1为一种采用本发明跟踪注册方法的增强现实系统的结构框图；
[0022]图2为随机森林分类器的训练及测试过程示意图；
[0023]图3为【具体实施方式】中增强现实系统的工作过程示意图。
【具体实施方式】
[0024]下面结合附图对本发明的技术方案进行详细说明:
[0025]本发明针对现有技术不足，通过构造随机森林分类模型，对CenSurE算法提取的特征点进行快速初始匹配，同时结合现有特征点连续跟踪技术对匹配特征点进行连续跟踪，从而在大幅度减少特征匹配所需计算的同时，提高了所选取特征点的稳定性；并进一步对光流特征跟踪方法进行改进，对错误跟踪点进行筛选，提高了跟踪注册的准确性和效率，提高了增强现实系统的实时性。
[0026]图1显示了一种采用本发明跟踪注册方法的增强现实系统的结构框图，如图所示，该增强显示系统包括:
[0027]系统参数初始化模块，用于计算摄像机内部参数，初始化视频窗口 ；
[0028]图像采集处理模块，用于对图像进行实时采集和处理；
[0029]随机森林特征识别模块，在离线阶段中用于提取模板图像，检测特征点构建训练样本，并对随机森林分类模型进行训练；在线运行时对特征点进行分类预测，得到初始匹配点集合；
[0030]跟踪注册模块，用于对特征点进行连续跟踪，筛选去除错误跟踪点，计算每一帧的三维注册矩阵；
[0031]虚实融合模块，用于生成虚拟的物体或者信息，将其根据注投影模型叠加显示到真实场景中。
[0032]下面结合图1所示增强现实系统的工作过程，来对本发明技术方案进行详细描述。
[0033]该系统的工作过程具体包括以下步骤:
[0034]步骤A、系统参数初始化模块计算所采用的摄像机的内部参数，初始化系统环境及参数；步骤B、随机森林特征识别模块与跟踪注册模块相结合，实现跟踪注册，具体包括以下子步骤:
[0035]步骤B1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像；
[0036]上述模板图像可以通过对真实场景进行拍摄得到，也可以通过从目标视频中截取一个图像帧得到。然后根据模板图像，利用仿射变换生成旋转、尺度、光照、模糊等不同情况下的变换图像。
[0037]仿射变换公式为:
[0038](q^Pi) = A (q0-p0) +t
[0039]其中，Ptl和q(l表示原始图像中的特征点坐标和qi为仿射变换后的特征点坐标，t = [tu, tv]T则为平移矩阵；A = R0R4T1SR41, Re表示位置旋转矩阵，R41为尺度变换轴旋转矩阵，Θ和Φ的变化范围分别为[-π，JI ]和[-JI，2 31 ] ;s = diag[ λ 1； λ 2]表示图像的尺度变化对角矩阵。这样，通过选用一系列不同的仿射变换参数分别对模板图像进行处理，即可得到一组模仿旋转、尺度、光照、模糊等不同情况下的变换图像。
[0040]步骤Β2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点；
[0041]CenSurE特征点的提取为现有技术，其基本过程为:计算当前图像的积分图像，根据积分图像计算近似LOG的双层中心环绕滤波器的滤波响应，在各个尺度空间中检测特征点的局部极值，采用Harris矩阵滤除不稳定的边缘或线上的特征点。关于CenSurE特征提取更详细的内容可参考文献[Agrawal, M., K.Konolige and M.R.Bias.CenSurE:Centersurround extremas for realtime feature detect1n and matching[C].ComputerVis1n-ECCV2008, Proceedings of1th European Conference on Computer Vis1n.Berlin:Springer, 2008:102-115.]。
[0042]在进行稳定特征点的筛选时，本实施例中首先利用以下方法对稳定特征点进行初步筛选:将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除,最后剩余的模板图像和各变换图像中的CenSurE特征点即为初步稳定特征点。
[0043]然后对初步稳定特征点进行进一步筛选，具体如下:对统计模板图像中的所有初步稳定特征点根据其所对应的变换图像中初步稳定特征点的数量从大到小进行排序，选出最前面的一部分，最后以这一部分统计模板图像中的初步稳定特征点及其所对应的变换图像中的初步稳定特征点作为最终的稳定特征点。
[0044]步骤B3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器；
[0045] 邻域图像块的大小可根据实际情况选择，本实施例中采用32X32像素大小的图像块。假设模板图像中的稳定特征点为η个，则所有稳定特征点的邻域图像块可组成集合K={!^!^...，、!，集合中的任意一个子集匕。=:，]，...，!!)中的元素为模板图像中的第i个稳定特征点的邻域图像块以及所有变换图像中与该特征点对应的其它稳定特征点的邻域图像块。集合K中每个子集的标号与类别集合C= {-l，l，2，...，n}中的类别号为一一对应关系，其中-1为默认值，表示不属于集合K中任何一个子集所对应的类别。
[0046]以集合K中所有元素所构成的训练样本集对随机森林分类模型进行训练，得到随机森林分类器。以模板特征点及仿射变换后的稳定特征点的邻域图像块，即h中包含的特征点及其邻域块作为分类单位，输入到分类器中对随机森林分类模型进行训练。在每个内节点，选择二值测试判断类别的特征属性，对内节点进行分裂，将特征点划分到不同的子节点中。为了提高分裂效率，该测试依据灰度值不同进行判别:
[0047]test (V, (p1； p2)) = [G (v, P1) ^ G(v, p2)]
[0048]P1和p2为邻域内任意选取的点，G(v, p)表示像素点P处的像素值。每个内结点进行上述测试，直到到达叶子节点，每棵树的叶子结点存储了某一类别的特征点的后验概率:
[0049]p(c|l(t, v)) = pt(c, v)
[0050]c表示类别集合C中的一个类别，I (t, V))表示特征点的邻域块V在树t中所到达的叶子结点。概率值的大小由训练集中到达叶子结点I中属于类别c的图像块数量与所有到达结点I的图像块数量之比来表示。
[0051]以上各步骤均为离线阶段。
[0052]步骤B4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配:首先检测其中的CenSurE特征点，并按照步骤B3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点的领域图像块被分类为类别C，则类别c所对应的模板图像中的稳定特征点即为A的匹配点；
[0053]在线运行时，对于增强现实的目标视频，为了降低运算量，仅对第一帧图像以及跟踪失败的当前图像帧利用训练好的随机森林分类器进行特征点匹配，后续的图像帧则利用现有的特征点跟踪方法，例如，利用纹理特征的基于区域匹配的跟踪方法，基于跟踪物体轮廓的跟踪方法，利用状态空间模型的跟踪方法，采用Kalman滤波和粒子滤波等的状态估计的跟踪方法，以及基于KLT的特征点跟踪方法等，进行连续跟踪。
[0054]对于目标视频的第一帧图像，提取其中的CenSurE特征点，然后分别以所提取的特征点为中心选取32X32像素的邻域块，将其输入随机森林进行预测分类:假设待匹配点仁输入到了第k棵决策树中，经过内结点分裂，最终到达叶子结点，对待匹配特征点&的分类有两种情况:
【权利要求】
1.一种无标志物跟踪注册方法，其特征在于，包括以下步骤: 步骤1、获取目标场景的一幅图像作为模板图像，并利用一系列不同的仿射参数对模板图像进行仿射变换，得到一组变换图像； 步骤2、分别检测出模板图像和各变换图像中的CenSurE特征点，并从中筛选出稳定特征点，具体包括: 将各变换图像中的CenSurE特征点按照相应的仿射参数进行逆仿射变换，并比较各变换图像中的每一个CenSurE特征点经逆仿射变换后的坐标与模板图像中和其相对应的CenSurE特征点的坐标之间的偏差，如偏差大于预设范围，则将该变换图像中的这个CenSurE特征点剔除，最后剩余的模板图像和各变换图像中的CenSurE特征点即为稳定特征点； 步骤3、对每一个稳定特征点，提取以其为中心的相同大小的邻域图像块；模板图像中的每一个稳定特征点的邻域图像块各自构成单独的一类，各变换图像中和该稳定特征点相对应的其它稳定特征点的邻域图像块属于该模板图像中稳定特征点的邻域图像块所在的类；以所提取出的所有邻域图像块作为训练样本集，训练随机森林分类器； 步骤4、对于跟踪注册的目标视频的第一个图像帧，利用以下方法将其与模板图像进行特征点匹配: 首先检测其中的CenSurE特征点，并按照步骤3中的方法提取所检测出的各CenSurE特征点的邻域图像块，并利用训练好的随机森林分类器对这些邻域图像块进行分类，假设第一个图像帧中的CenSurE特征点i的领域图像块被分类为类别C，则类别c所对应的模板图像中的稳定特征点即为的匹配点； 步骤5、对于后续的图像帧，对匹配点进行连续跟踪；如果跟踪失败，利用步骤4中的方法将当前帧与模板图像重新进行特征点匹配，然后继续对重新得到的匹配点进行连续跟踪，从而实现对目标视频的连续跟踪； 步骤6、结合摄像机内部参数得到投影矩阵，将虚拟物体模型绘制叠加到真实场景中。
2.如权利要求1所述无标志物跟踪注册方法，其特征在于，所述对匹配点进行连续跟踪，具体按照以下方法:首先利用光流特征跟踪方法得到当前帧的粗匹配点；然后将偏移向量的模大于预设阈值的粗匹配点作为错误匹配点，对于每一个错误匹配点，在以其为中心的NXN的检测窗口中检测是否存在偏移向量的模大于预设阈值的新的CenSurE特征点，如存在，则以其中距离该错误匹配点最近的新的CenSurE特征点取代该错误匹配点，如不存在，则剔除该错误匹配点；然后对下一图像帧重复以上过程。
3.如权利要求1所述无标志物跟踪注册方法，其特征在于，所述步骤2与步骤3之间还包括对步骤2所得到的稳定特征点进行再筛选的步骤，具体如下:以步骤2所筛选出的稳定特征点作为初步稳定特征点，对统计模板图像中的所有初步稳定特征点根据其所对应的变换图像中初步稳定特征点的数量从大到小进行排序，选出最前面的一部分，最后以这一部分统计模板图像中的初步稳定特征点及其所对应的变换图像中的初步稳定特征点作为最终的稳定特征点。
4.如权利要求1所述无标志物跟踪注册方法，其特征在于，所述模板图像是通过对真实场景进行拍摄得到，或者通过从目标视频中截取一个图像帧得到。
5.如权利要求1所述无标志物跟踪注册方法，其特征在于，所述邻域图像块的大小为32X32像素。
【文档编号】G06K9/62GK104077596SQ201410274521
【公开日】2014年10月1日 申请日期:2014年6月18日 优先权日:2014年6月18日
【发明者】刘惠义, 隋建凯 申请人:河海大学