图像定位方法及装置与流程

本发明涉及计算机领域，具体而言，涉及一种图像定位方法及装置。

背景技术：

相关技术中，随着新一代宽带无线移动通信网的飞速发展和智能移动终端性能的迅速提高，视频通讯、在线检索与浏览、互动游戏、即时通信等丰富的数据业务研发和应用已成为移动通信领域重要的研究热点和发展趋势之一。在国家中长期科学和技术发展规划纲要(2006-2020年)中，将开发支持多媒体、安全、泛在的多种新业务与应用的智能终端作为重点领域和优先发展主题。在2010国家科技重大专项“新一代宽带无线移动通信网”中，也将研发具有高附加值的新型移动终端视频通信作为核心内容之一。

增强现实技术，即根据计算机视觉技术，将计算机系统生成的虚拟物体叠加到真实场景中，使虚拟物体与真实场景完美融合，并且可以通过人机交互技术与虚拟物体进行互动。随着智能手机等移动终端设备的发展和普及，移动增强现实技术近年来受到了国内外许多专家和学者的关注和研究。随着目前移动终端运算能力的提高和硬件性能的提升，移动增强现实希望将传统增强现实应用移植到移动终端设备上，从而扩展增强现实技术的应用范围。目前，智能手机等移动终端设备已经比较普及，所以移动增强现实技术也成为增强现实技术的发展趋势之一。

注册定位技术的好坏直接决定增强现实系统的成功与否，而基于自然特征的高速、精确、鲁棒的注册定位技术是整个系统核心和关键。作为整个注册定位处理的前提和基础，特征检测算法、特征跟踪算法、特征匹配算法的优劣将直接影响整个系统的处理速度和稳定性。目前智能手机的计算能力比普通pc台式机慢10倍左右，因此应用于主流计算机平台的注册定位技术并不能完全适用于移动终端。因此，在手机硬件资源有限的条件下解决基于移动终端的注册定位，是实现基于移动终端的增强现实系统的关键，也具有重要的研究意义。

针对相关技术中，移动终端资源有限，不能有效进行注册定位处理技术的问题，目前还没有有效的解决方案。

技术实现要素：

本发明提供了一种图像定位方法及装置，以至少解决相关技术中移动终端资源有限，不能有效进行注册定位处理技术的问题。

根据本发明的一个方面，提供了一种图像定位方法，包括：

提取实时视频流中的指定图像作为参考图像；

将所述实时视频流和所述参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对所述参考点进行特征跟踪，得到跟踪特征点；

在所述匹配特征点与所述跟踪特征点之间符合预设条件时，输出所述实时视频流的图像帧。

进一步地，所述预设条件包括：第一图像面积与第二图像面积的差值在预设范围内，其中，所述第一图像面积为所述匹配特征点围成的区域面积，所述第二图像面积为所述跟踪特征点围成的区域面积。

进一步地，所述方法还包括：在所述第一图像面积与所述第二图像面积的差值不在预设范围内的情况下，依据所述匹配特征点校正所述跟踪特征点。

进一步地，将所述实时视频流和所述参考图像的参考点进行特征匹配输出匹配特征点包括：在同时满足以下条件时，得到所述匹配特征点：

确定所述特征匹配过程中的匹配特征点的数目不低于预设值数目；

确定由所述匹配特征点计算出的单应性矩阵是预设的单应性矩阵；

确定所述匹配特征点的连线图像是预设图像，其中，所述预设图像为所述参考点的连线图像；

确定所述匹配特征点数与所述参考点数的比率不小于预设值。

进一步地，对所述参考图像的参考点进行特征跟踪输出跟踪特征点包括：在同时满足以下条件时，得到所述跟踪特征点：

确定所述特征跟踪过程中的跟踪特征点数目不低于预设值数目；

确定由所述跟踪特征点计算出的单应性矩阵是预设的单应性矩阵；

确定所述跟踪特征点的连线图像是预设图像，其中，所述预设图像为所述参考点的连线图像。

根据本发明的另一方面，提供了一种图像定位装置，包括：

提取模块，用于提取实时视频流中的指定图像作为参考图像；

匹配跟踪模块，用于将所述实时视频流和所述参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对所述参考点进行特征跟踪，得到跟踪特征点；

输出模块，用于在所述匹配特征点与所述跟踪特征点之间符合预设条件时，输出所述实时视频流的图像帧。

进一步地，所述预设条件包括：第一图像面积与第二图像面积的差值在预设范围内，其中，所述第一图像面积为所述匹配特征点围成的区域面积，所述第二图像面积为所述跟踪特征点围成的区域面积。

进一步地，所述装置还包括：在所述第一图像面积与所述第二图像面积的差值不在预设范围内的情况下，依据所述匹配特征点校正所述跟踪特征点。

进一步地，将所述实时视频流和所述参考图像的参考点进行特征匹配输出匹配特征点包括：在同时满足以下条件时，得到所述匹配特征点：

确定所述特征匹配过程中的匹配特征点的数目不低于预设值数目；

确定由所述匹配特征点计算出的单应性矩阵是预设的单应性矩阵；

确定所述匹配特征点的连线图像是预设图像，其中，所述预设图像为所述参考点的连线图像；

确定所述匹配特征点数与所述参考点数的比率不小于预设值。

进一步地，对所述参考图像的参考点进行特征跟踪输出跟踪特征点包括：在同时满足以下条件时，得到所述跟踪特征点：

确定所述特征跟踪过程中的跟踪特征点数目不低于预设值数目；

确定由所述跟踪特征点计算出的单应性矩阵是预设的单应性矩阵；

确定所述跟踪特征点的连线图像是预设图像，其中，所述预设图像为所述参考点的连线图像。

通过本发明，提取实时视频流中的指定图像作为参考图像，将该实时视频流和该参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对该参考点进行特征跟踪，得到跟踪特征点，在该匹配特征点与该跟踪特征点之间符合预设条件时，输出该实时视频流的图像帧，解决了移动终端资源有限，不能有效进行注册定位处理技术的问题，及时准确地实现了图像定位。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像定位方法的流程图；

图2是根据本发明实施例的图像定位装置的结构框图；

图3是根据本发明优选实施例的图像匹配跟踪系统模块结构框图；

图4是根据本发明优选实施例的图像跟踪方法的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

在本实施例中提供了一种图像定位方法，图1是根据本发明实施例的一种图像定位方法的流程图，如图1所示，该流程包括如下步骤：

步骤s102，提取实时视频流中的指定图像作为参考图像；

步骤s104，将该实时视频流和该参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对该参考点进行特征跟踪，得到跟踪特征点；

步骤s106，在该匹配特征点与该跟踪特征点之间符合预设条件时，输出该实时视频流的图像帧。

通过上述步骤，提取实时视频流中的指定图像作为参考图像；将该实时视频流和该参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对该参考点进行特征跟踪，得到跟踪特征点；在该匹配特征点与该跟踪特征点之间符合预设条件时，输出该实时视频流的图像帧。本实施例中的参考点可以是图像中选取一个四边形，以四边形的四个顶点为参考点，匹配特征点和跟踪特征点之间符合的预设条件是点之间的关系，可以是点围成的图像之间的面积比大于阈值，点之间连线长度差值大于阈值。需要说明的是，在匹配特征点与跟踪特特征点符合预设条件之后，优选地输出跟踪处理结果，也可以输出匹配处理结果，或者，将跟踪处理结果与匹配处理结果进行校验校正后输出统一结果。采用上述技术方案，解决了移动终端资源有限，不能有效进行注册定位处理技术的问题，及时准确地实现了图像定位。

在本实施例中，该预设条件包括：

第一图像面积与第二图像面积的差值在预设范围内，其中，该第一图像面积为该匹配特征点围成的区域面积，该第二图像面积为该跟踪特征点围成的区域面积，也可以是第一图像面积与第二图像面积比大于阈值。

在本实施例中，在该第一图像面积与该第二图像面积的差值不在预设范围内的情况下，依据该匹配特征点校正该跟踪特征点。第一图像面积与第二图像面积的差值不在预设范围内，说明两种方法对同一视频流的处理结果不一样，在相关技术中，匹配的处理结果的更加准确，因此，在出现偏差时，采用匹配处理结果对跟踪处理结果进行校正，以期得到更好的技术方案。

在本实施例中，将该实时视频流和该参考图像的参考点进行特征匹配输出匹配特征点包括：在同时满足以下条件时，得到该匹配特征点：

确定该特征匹配过程中的匹配特征点的数目不低于预设值数目；

确定由该匹配特征点计算出的单应性矩阵是预设的单应性矩阵；

确定该匹配特征点的连线图像是预设图像，其中，该预设图像为该参考点的连线图像；

确定该匹配特征点数与该参考点数的比率不小于预设值。

在验证匹配特征点与跟踪特征点符合预设条件之前，应用上述技术方案对匹配特征点进行独立验证，在同时满足上述四个条件时确定匹配特征点的正确性。

在本实施例中，对该参考图像的参考点进行特征跟踪输出跟踪特征点包括：

在同时满足以下条件时，得到该跟踪特征点：

确定该特征跟踪过程中的跟踪特征点数目不低于预设值数目；

确定由该跟踪特征点计算出的单应性矩阵是预设的单应性矩阵；

确定该跟踪特征点的连线图像是预设图像，其中，该预设图像为该参考点的连线图像。

在验证匹配特征点与跟踪特征点符合预设条件之前，应用上述技术方案对跟踪特征点进行独立验证，在同时满足上述四个条件时确定跟踪特征点的正确性。

在本实施例中还提供了一种图像定位装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的图像定位装置的结构框图，如图2所示，该装置包括：

提取模块22，用于提取实时视频流中的指定图像作为参考图像；

匹配跟踪模块24，与提取模块22连接，用于将该实时视频流和该参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对该参考点进行特征跟踪，得到跟踪特征点；

输出模块26，与匹配跟踪模块24连接，用于在该匹配特征点与该跟踪特征点之间符合预设条件时，输出该实时视频流的图像帧。

在本实施例中，该预设条件包括：

第一图像面积与第二图像面积的差值在预设范围内，其中，该第一图像面积为该匹配特征点围成的区域面积，该第二图像面积为该跟踪特征点围成的区域面积。

在本实施例中，该装置还包括：

在该第一图像面积与该第二图像面积的差值不在预设范围内的情况下，依据该匹配特征点校正该跟踪特征点。

在本实施例中，将该实时视频流和该参考图像的参考点进行特征匹配输出匹配特征点包括：

在同时满足以下条件时，得到该匹配特征点：

确定该特征匹配过程中的匹配特征点的数目不低于预设值数目；

确定由该匹配特征点计算出的单应性矩阵是预设的单应性矩阵；

确定该匹配特征点的连线图像是预设图像，其中，该预设图像为该参考点的连线图像；

确定该匹配特征点数与该参考点数的比率不小于预设值。

在本实施例中，对该参考图像的参考点进行特征跟踪输出跟踪特征点包括：

在同时满足以下条件时，得到该跟踪特征点：

确定该特征跟踪过程中的跟踪特征点数目不低于预设值数目；

确定由该跟踪特征点计算出的单应性矩阵是预设的单应性矩阵；

确定该跟踪特征点的连线图像是预设图像，其中，该预设图像为该参考点的连线图像。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述各个模块均位于同一处理器中；或者，上述各个模块分别位于不同的处理器中。

下面结合本发明优选实施例进行详细说明。

本发明优选实施例的目的在于针对相关技术的缺陷，以及移动终端平台受限特点，提出一种基于模块交互的移动增强现实注册定位方法，可以在目前主流移动平台上实现实时、稳定、鲁棒的注册定位，以扩大增强现实应用范围，提高用户体验效果。

为实现上述目的，本发明优选实施例的方法包括如下步骤1，2，3，4，5所示：

步骤1，调用智能手机摄像头，采集场景实时视频流，取得参考模板图像，并对视频流进行预处理。

步骤2，分别开启跟踪模块线程(相当于上述实施例的匹配跟踪模块24的部分功能)和匹配模块线程(相当于上述实施例的匹配跟踪模块24的部分功能)，将步骤1得到的视频流分别传入两个模块。

步骤3，匹配模块用于对参考模板图像与实时视频流进行特征匹配，跟踪模块用于对参考模板图像特征点(相当于上述实施例的参考点)进行特征跟踪。

步骤4，相关技术中图像跟踪的优点在于其实时性能好，但其稳定性、鲁棒性较差。与图像跟踪正好相反，图像匹配的稳定性和鲁棒性能好，但其实时性能相对于跟踪算法较差。融合模块(相当于上述实施例的输出模块26的部分功能)结合了图像匹配和图像跟踪的优点，用于对匹配模块和跟踪模块进行交互校验。同时对于跟踪失败时，利用匹配模块对跟踪模块进行起始和校正。

步骤5，输出跟踪模块视频流(相当于上述实施例的输出模块26的部分功能)，并使用位姿估计模块计算出的摄像机位姿将3d模型叠加在视频流中。

图3是根据本发明优选实施例的图像匹配跟踪系统模块结构框图，如图3所示，该结构框图包括：图像采集模块，图像跟踪模块，图像匹配模块，融合模块，位资估计模块，虚实融合与增强显示模块。

图4是根据本发明优选实施例的图像跟踪方法的流程图，如图4所示，该方法包括以下步骤：

步骤1，视频流采集与参考模板图像选取：

(1.1)调用安卓android开发包的开源计算机视觉库(opensourcecomputervisionlibrary，简称为opencv)图形处理库打开摄像头，采集视频流。

(1.2)选择视频流的任意场景作为系统的参考模板图像。

步骤2，匹配模块对视频流进行处理：

(2.1)对视频流图像和参考模板进行尺度变换，用线性插值的方法以g为缩放因子将匹配图像缩放为3层金子塔，缩放因子g＝0.5。

(2.2)选用特征检测算法对每一级金子塔图像进行特征检测，本发明优选实施例中采用了加速段试验的特点(featuresfromacceleratedsegmenttest，简称为fast)特征检测算法。

(2.3)选用一种快速的二进制描述子对特征点进行特征描述，本发明优选实施例中采用了定向简介(orientedbrief，简称为orb)特征描述。

(2.4)采用近似最近邻的快速库(fastlibraryforapproximatenearstneighbors，简称为flann)算法进行快速特征匹配，同时利用随机抽样一致性(randomsample consensus，简称为ransac)算法滤除误匹配点。

(2.5)利用匹配点对计算摄像机单应性矩阵h(摄像机外参矩阵)，利用h计算参考模板四个顶点(参考点)的透视变换输出，同时满足下面四个条件时，判定匹配模块的输出是正确的。四个条件如下(1)、(2)、(3)、(4)所示：

(1)对匹配特征点数目设定最小阈值。当匹配特征点数目小于设定阈值时，认为匹配失败，停止匹配模块输出。本发明优选实施例中匹配模块设定的最小阈值为5-15。

(2)本发明优选实施例使用了单应性矩阵优劣判断。单应性矩阵优劣判断的主要功能是对以匹配特征点计算出的单应性矩阵进行进一步筛选，判断是否是正确情况下的单应性矩阵。优劣判断的主要算法步骤如下步骤a，b，c，d所示：

步骤a，第一次判断选取单应性矩阵h左上角2x2的子矩阵并计算子矩阵的行列式是否大于0。这个2x2矩阵称作r矩阵，包含了估计出的变换的旋转部分。正确的旋转矩阵行列式值应该为1，在一些情况下r可能包含尺度部分，因此r的行列式值可能有其他值，但是正确的旋转和尺度值都是大于0的。

步骤b，第二次判断获取单应性矩阵h中r矩阵(0，0)位置的元素以及(1，0)位置的元素，计算上述两个元素的平方和并进行开方，开方结果的正常范围应该在(0.1-4)之间，其中0.1和4是根据经验设置的阈值。

步骤c，第三次判断获取单应性矩阵h中r矩阵(0，1)位置的元素以及(1，1)位置的元素，计算上述两个元素的平方和并进行开方，开方结果的正常范围应该在(0.1-4)之间，其中0.1和4是根据经验设置的阈值。

步骤d，第四次判断获取单应性矩阵h(2，0)以及(2，1)位置的元素，计算它们的平方和并进行开方。上述两个元素的位置表示投影变换，开方结果的正常值应该大于0.002，其中0.002是根据经验设定的阈值。

(3)对匹配模块对应于参考点透视变换后的得到的匹配特征点进行判断。如果围成的图形是凸四边形，认为输出正确，否则停止当前图像帧的结果输出。本发明优选实施例选用了模板图像上四个顶点位置的参考点，这四个参考点分别在屏幕上的坐标是(w/4，h/4)，(3w/4，h/4)，(3w/4，3h/4)，(w/4，3h/4)。根据匹配模块处理结果计算出的单应性矩阵，计算参考点透视变换后的四个点，这四个点构成的四边形应该是凸四边形。

(4)计算匹配得到的特征点数与参考模板特征点的比率，若小于一定阈值，认为匹配失败。具体方法为：设定一个图像掩膜，并将该掩膜作为单应性计算的一个输出参数。在计算得到单应性矩阵h后，统计掩膜内特征点个数c1。同时，将参考模板(参考模板)上的特征点个数记为c2，计算c1/c2。本发明优选实施例设定的阈值q取值范围为0.2-0.4，即c1/c2<q时，认为匹配失败，停止此图像帧的匹配输出，否则认为 匹配成功。

应当指出，上文提到的四种求精方式是并行的。即只有这些方式同时成立时，匹配模块输出结果才认为是正确可信的。

步骤3，跟踪模块对视频流进行处理：

(3.1)在c代码端对参考模板图像进行尺度变换，用双线性插值的方法以g为缩放因子将匹配图像缩放为3层金子塔，缩放因子g＝0.5。

(3.2)选用fast-9特征检测算法对每一级金子塔图像进行特征检测。

(3.3)选用金字塔lk光流跟踪算法对每层图像检测到的特征点进行跟踪。

(3.4)使用匹配模块传入的初始单应矩阵以及视频流图像帧每一帧与前一帧之间的特征匹配计算跟踪模块单应性矩阵，并采用ransac算法和下面的3个条件对跟踪结果进行确认，在同时满足下面的3个条件时，确定跟踪处理结果正确，3个条件如下(1)、(2)、(3)所示：

(1)对跟踪特征点数目设定最小阈值。当跟踪特征点数目小于设定阈值时，认为跟踪失败，停止跟踪模块输出。本发明优选实施例中跟踪模块设定的最小阈值为10-20。

(2)本发明优选实施例使用了单应性矩阵优劣判断。单应性矩阵优劣判断的主要功能是对以跟踪特征点计算出的单应性矩阵进行进一步筛选，判断是否是正确情况下的单应性矩阵。优劣判断的主要算法步骤如下步骤a，b，c，d所示：

步骤a，第一次判断选取单应性矩阵h左上角2x2的子矩阵并计算子矩阵的行列式是否大于0。这个2x2矩阵称作r矩阵，包含了估计出的变换的旋转部分。正确的旋转矩阵行列式值应该为1，在一些情况下r可能包含尺度部分，因此r的行列式值可能有其他值，但是正确的旋转和尺度值都是大于0的。

步骤b，第二次判断获取单应性矩阵h中r矩阵(0，0)位置的元素以及(1，0)位置的元素，计算上述两个元素的平方和并进行开方，开方结果的正常范围应该在(0.1-4)之间，其中0.1和4是根据经验设置的阈值。

步骤c，第三次判断获取单应性矩阵h中r矩阵(0，1)位置的元素以及(1，1)位置的元素，计算上述两个元素的平方和并进行开方，开方结果的正常范围应该在(0.1-4)之间，其中0.1和4是根据经验设置的阈值。

步骤d，第四次判断获取单应性矩阵h(2，0)以及(2，1)位置的元素，计算它们的平方和并进行开方。上述两个元素的位置表示投影变换，开方结果的正常值应该大于0.002，其中0.002是根据经验设定的阈值。

(3)对跟踪模块对应于参考点透视变换后的得到的跟踪特征点进行判断。如果围 成的图形是凸四边形，认为输出正确，否则停止当前图像帧的结果输出。本发明优选实施例选用了模板图像上四个顶点位置的参考点，这四个参考点分别在屏幕上的坐标是(w/4，h/4)，(3w/4，h/4)，(3w/4，3h/4)，(w/4，3h/4)。根据跟踪模块处理结果计算出的单应性矩阵，计算参考点透视变换后的四个点，这四个点构成的四边形应该是凸四边形。

应当指出，上文提到的三种求精方式是并行的。即只有这些方式同时成立时，跟踪模块输出结果才认为是正确可信的。

步骤4，融合模块对跟踪模块和匹配模块进行交互校验：

(4.1)在本发明优选实施例的图像匹配跟踪系统初次运行时融合的步骤，匹配模块利用参考模板图像和实时视频流进行图像特征匹配并有正确输出时，跟踪模块取得匹配模块初始单应性矩阵并检测参考模板特征点开始光流跟踪。为了匹配模块和跟踪模块图像帧的一致性，特征跟踪从此时匹配模块的同一帧开始。

(4.2)在本发明优选实施例的图像匹配跟踪系统运行中的融合的步骤。匹配模块每当处理完一帧图像并且有正确的输出，就计算参考模板的参考点透视变换后输出的四个点围成的四边形面积，记为s1。同时计算此时跟踪模块输出的四个点围成的四边形面积，记为s2。计算两个模块的面积重叠比s2/s1。当s2/s1大于设定的阈值ε时，认为跟踪模块运行状况是正常的，即特征点跟踪是正常的，此时不需要任何操作。当s2/s1小于设定的阈值ε时，认为此时跟踪丢失或者失败，跟踪模块需要被校正。需要注意的是，由于匹配和跟踪处理速度不同，正常运行情况下的四边形重叠面积可能达不到很高的数值，因此阈值不能选取的太高，本发明优选实施例中设定为0.6-0.8。

步骤5，估计摄像机姿态，3d模型导入，实现虚实融合与增强显示：

(5.1)在java代码端打开摄像头，对触摸屏响应，触摸屏幕完成屏幕区域内参考模板选取，操作按钮进行实现，并声明与本地c代码端的接口；

(5.2)在c代码端使用c/c++代码实现上述步骤2到步骤4，完成相机姿态的实时更新，并将姿态信息与其它中间数据信息通过接口返回给java代码端；

(5.3)根据位姿估计模块提供的摄像机姿态，在计算机程序语言java代码端使用开放图形库子集(openglforembeddedsystems，简称为opengles)2.0对3d模型进行渲染，并根据实现的触摸屏响应功能，手指在屏幕上滑动时，实现3d(threedimensional)模型的各个方向移动、旋转、尺寸改变，通过按钮控制模型的更换。

本发明优选实施例的图像跟踪方法，步骤综合考虑图像匹配和图像跟踪的特点，提出了一种基于模块交互的移动增强现实注册定位方法，主要采用图像匹配与图像跟踪并行运行并不断交互校验的方式，结合了图像匹配与图像跟踪的优点。利用该方法实现了基于移动终端的注册定位及增强现实系统，其优点主要表现在以下两个方面：

(1)本发明优选实施例通过采用匹配模块与跟踪模块并行运行并实时运行交互的方式，与单纯使用图像匹配方法或者特征跟踪方法相比，提高了注册定位的实时性和稳定性，满足了移动增强现实注册定位的要求。

(2)本发明优选实施例可以在移动终端平台上在正常、尺度放大缩小、旋转，部分遮挡等环境下实现实时、稳定、鲁棒的注册跟踪，并且在参考模板图像丢失时有效地进行跟踪恢复。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s1，提取实时视频流中的指定图像作为参考图像；

s2，将该实时视频流和该参考图像中预先选定的参考点进行特征匹配，得到匹配特征点；以及对该参考点进行特征跟踪，得到跟踪特征点；

s3，在该匹配特征点与该跟踪特征点之间符合预设条件时，输出该实时视频流的图像帧。

可选地，存储介质还被设置为存储用于执行上述实施例的方法步骤的程序代码：

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，在本实施例中，处理器根据存储介质中已存储的程序代码执行上述实施例的方法步骤。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多 个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。