增强现实的方法和终端与流程

本发明涉及增强现实技术领域，具体而言，本发明涉及一种增强现实的方法和终端。

背景技术：

增强现实技术(Augmented Reality，AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

传统的AR技术通常需要识别目标对象，例如识别具有特定图案的标识物，在识别出标识物后输出相应的AR影像。标识物的特定图案是唯一的，也即只能识别唯一的特定图案，然后输出与该特定图案相应的AR影像。在识别的过程中，终端设备需要根据数据库的模型进行匹配识别。

然而，在一些场合可能需要识别多种目标对象，例如在博物馆、游乐场、主题公园、密室逃脱等等，用户需要利用终端设备识别不同的标识物(例如雕塑等立体类物体，画作等平面类物体)以获取相应的提示和介绍。这对于终端设备而言，需要存储有大量模型的数据库，然后根据数据库中的模型逐一去匹配识别拍摄影像中的目标对象，识别时需要处理大量数据，使得识别效率不高。

而且，传统的AR技术没有针对用户做人性化设计，并且交互性不足，用户体验有待提高。

技术实现要素：

本发明的目的旨在至少能解决上述的技术缺陷之一，特别是识别效率不高的技术缺陷的至少之一。

本发明提供一种增强现实的方法，包括如下步骤：

启动终端摄像头获取拍摄影像；

提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库；

实时显示所述拍摄影像，从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象，将与所述模型相关联的AR影像加载在所述拍摄影像上。

在其中一个实施例中，每个所述模型数据库中的模型之间具有相同或相似的属性。

在其中一个实施例中，所述多于一个的模型数据库中，至少包括平面类模型数据库和立体类模型数据库。

在其中一个实施例中，每个所述模型数据库中的模型之间具有相同或相似的外观属性。

在其中一个实施例中，所述外观属性包括色彩组合、形状、图案中的至少之一。

在其中一个实施例中，每个所述模型数据库对应有各自的识别算法；从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象时，通过与所述目标数据库对应的目标识别算法进行识别。

在其中一个实施例中，所述识别算法包括SIFT算法、Harris算法、SURF算法、FAST算法中的至少一种。

在其中一个实施例中，所述将与所述模型相关联的AR影像加载在所述拍摄影像上包括：

将与所述模型相关联的AR影像加载在所述拍摄影像上的目标对象上，且所述AR影像跟踪所述目标对象的移动而移动。

在其中一个实施例中，通过LK光流算法、高效二阶最小化(ESM)算法或ESM_blur算法对所述目标对象进行跟踪。

在其中一个实施例中，所述AR影像包括图像、动画、视频、3D模型中至少之一。

在其中一个实施例中，所述AR影像用于对所述目标对象进行介绍或用于向用户进行提示。

在其中一个实施例中，与所述模型相关联的AR影像多于一个，根据用户个人数据确定需要加载在所述拍摄影像上的AR影像；所述用户个人数据包括用户身份、用户年龄、用户所在地、用户兴趣中的至少一项。

在其中一个实施例中，所述用户个人数据是预先存储的，或者从其他社交类应用程序中调取。

在其中一个实施例中，将与所述模型相关联的AR影像加载在所述拍摄影像上之后，还包括步骤：

接收用户变换指令；

根据所述用户变换指令对所述AR影像进行相应的改变或更换。

在其中一个实施例中，将与所述模型相关联的AR影像加载在所述拍摄影像上之后，还包括步骤：

接收终端传感器的传感器值；

根据所述传感器值对所述AR影像进行相应的改变或更换。

本发明还提供一种增强现实的终端，包括：

摄像模块，用于启动终端摄像头获取拍摄影像；

指定模块，用于提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库；

显示模块，用于实时显示所述拍摄影像，从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象，将与所述模型相关联的AR影像加载在所述拍摄影像上。

在其中一个实施例中，每个所述模型数据库中的模型之间具有相同或相似的属性。

在其中一个实施例中，所述多于一个的模型数据库中，至少包括平面类模型数据库和立体类模型数据库。

在其中一个实施例中，每个所述模型数据库中的模型之间具有相同或相似的外观属性。

在其中一个实施例中，所述外观属性包括色彩组合、形状、图案中的至少之一。

在其中一个实施例中，每个所述模型数据库对应有各自的识别算法；从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象时，通过与所述目标数据库对应的目标识别算法进行识别。

在其中一个实施例中，所述识别算法包括SIFT算法、Harris算法、SURF算法、FAST算法中的至少一种。

在其中一个实施例中，所述显示模块用于：将与所述模型相关联的AR影像加载在所述拍摄影像上的目标对象上，且所述AR影像跟踪所述目标对象的移动而移动。

在其中一个实施例中，通过LK光流算法、高效二阶最小化(ESM)算法或ESM_blur算法对所述目标对象进行跟踪。

在其中一个实施例中，所述AR影像包括图像、动画、视频、3D模型中至少之一。

在其中一个实施例中，所述AR影像用于对所述目标对象进行介绍或用于向用户进行提示。

在其中一个实施例中，与所述模型相关联的AR影像多于一个，根据用户个人数据确定需要加载在所述拍摄影像上的AR影像；所述用户个人数据包括用户身份、用户年龄、用户所在地、用户兴趣中的至少一项。

在其中一个实施例中，所述用户个人数据是预先存储的，或者从其他社交类应用程序中调取。

在其中一个实施例中，还包括变换模块；所述变化模块用于：在所述显示模块将与所述模型相关联的AR影像加载在所述拍摄影像上之后，接收用户变换指令，根据所述用户变换指令对所述AR影像进行相应的改变或更换。

在其中一个实施例中，还包括变换模块；所述变化模块用于：在所述显示模块将与所述模型相关联的AR影像加载在所述拍摄影像上之后，接收终端传感器的传感器值，根据所述传感器值对所述AR影像进行相应的改变或更换。

上述的增强现实的方法和终端，启动终端摄像头获取拍摄影像；提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库；实时显示所述拍摄影像，从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象，将与所述模型相关联的AR影像加载在所述拍摄影像上。当具有多个模型时，可以将多个模型分成多于一个的组(例如按照设定类别分组)，每组对应一个模型数据库，并将这些模型数据库提供给用户选择。对于用户而言，用户可以知道正在拍摄的标识物对应哪个类型的模型数据库，终端根据用户选择的目标数据库里的模型对目标对象进行匹配识别，可以减少匹配模型的数量，降低数据处理量和节约处理时间，提高识别效率。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为一个实施例的增强现实的方法流程图；

图2为一个实施例的增强现实的终端模块图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

以下描述的增强现实的方法，可以应用程序(APP)的形式实现。

图1为一个实施例的增强现实的方法流程图。

本发明提供一种增强现实的方法，包括如下步骤：

步骤S100：启动终端摄像头获取拍摄影像。

通常而言，当标识物出现时，用户在知道其为标识物的情况下，可以主动在APP中启动终端的摄像头去拍摄该标识物，并获得实时的拍摄影像。在拍摄影像中，可以通过下面将要描述的识别过程将标识物识别为目标对象。

标识物可以是平面形式的物体，也可以是立体形式的物体。这些标识物应该有明确的提示，例如“扫描获取精彩AR内容”等文字形式的提示，以方便用户知悉。

平面形式的物体可以是海报、书本封面等等具有图像、图案或者色彩组合的平面媒体，也可以是画作、刻画在墙壁上的壁画等平面艺术品。总之，在平面的载体上展示有图像、图案或者色彩组合都可以作为标识物。

立体形式的物体可以是塑像、建筑、工艺品、陶瓷等等立体物品，例如可以是博物馆中展览的各种立体形式的文物，可以是游乐场和主题公园中的动漫角色雕塑和工艺品，可以是密室逃脱游戏中密室里的独特雕塑。

用户通过对这些标识物进行扫描拍摄，可以从输出的相应的AR影像中获取到相应的介绍解说、游客提示、视听娱乐等等服务，下面的步骤中将详细说明。

获取到拍摄影像后，执行步骤S200。

步骤S200：提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库。

对于像博物馆、主题公园、游乐场、密室逃脱而言，可能会具有较多的标识物。以博物馆为例，博物馆中拥有很多的文物，例如古代的画作、石雕、瓷器、陶器、玉器、铜器，如果可以将部分重要的文物都作为标识物(目标对象)并制作对应的AR影像，则游览者可以通过AR技术更好的了解该文物，提高了用户的游览乐趣。又以主题公园为例，主题公园中可以到处散布着各种动漫角色的塑像，例如米奇老鼠、唐老鸭、白雪公主等等，如果可以将部分动漫角色都作为标识物(对应拍摄影像中的目标对象)并制作对应的AR影像，则游览者可以通过AR技术更好的了解该动漫角色，提高了用户的游览乐趣。又例如密室逃脱，密室逃脱中隐藏的各种线索也可以通过密室中的各种标识物体现，例如独特的图案、塑像等等，玩家可以扫描这些标识物获得相应的AR影像，从中发现线索。

对于这些具有较多的标识物的场合，每个标识物对应一个在终端存储器存储着的模型，在识别时需要在数据库中逐个模型进行匹配，显然需要大量的处理时间，导致识别效率较低。因此，可以将多个模型分成多于一个的组，每组对应一个模型数据库，并将这些模型数据库提供给用户选择。

模型是预先存储在终端存储器的，每种模型都是事先根据对应的标识物构造的，在构造时需要针对标识物的重要特征进行分析和学习，以使得以后能通过匹配模型和所拍摄的标识物对该标识物进行有效识别。以现在流行的指纹识别类似，标识物就相当于人的指纹，模型就相当于终端存储的指纹数据；拍摄标识物后，将所拍摄到的标识物(也即拍摄影像中的目标对象)与模型数据库中的模型进行匹配对比，以确认和识别该标识物。

对模型进行分组可以根据模型的类型或属性进行分组，也可以由设计者按照其意愿或者自定义的分组规则进行分组。可以根据各个模型的属性对模型进行分组，每组对应一个模型数据库，每个模型数据库中的模型之间具有相同或相似的属性。

例如可以将模型分为两类，一组为具有平面属性的平面模型，对应着平面类模型数据库；一组为具有立体属性的平面模型，对应着立体类模型数据库；或者还可以对具有平面属性的平面模型和具有立体属性的平面模型进行进一步的细分，例如将具有立体属性的平面模型进行进一步细分为主要体现棱角的模型和主要体现曲面的模型。

例如可以将模型按照模型的外观属性进行分组，外观属性包括色彩组合、形状、图案中的至少之一，每个模型数据库中的模型之间具有相同或相似的外观属性。例如可以将模型分为三组，一组为外观上主要体现色彩组合特征的模型，一组为外观上主要体现形状特征的模型，一组为外观上主要体现图案特征的模型。或者还可以对上述三组模型进行进一步的细分，例如将外观上主要体现图案特征的模型进一步分为主要由直线构成的图案和主要由曲线构成的图案。

对模型进行这些分组，在后面的识别算法中可以应用少量几种甚至一种识别算法就可以快速识别出标识物，降低了设计的难度以及提升了识别效率。毕竟每组的模型都有其相同或相似的属性，设计者在设置算法时可能只需要一种识别算法就可以在对应的模型数据库中迅速识别出标识物。

因此，获取拍摄影像后，将多个模型数据库提供给用户，让用户根据实际的标识物选择相对应的模型数据库，提高识别的效率。用户选择好模型数据库后，执行步骤S300。

步骤S300：实时显示拍摄影像，从拍摄影像中识别与目标数据库中的模型相吻合的目标对象，将与模型相关联的AR影像加载在拍摄影像上。

通过终端摄像头的图像传感器获取到拍摄影像后，通过终端的显示模块实时显示拍摄图像。图像传感器可以是CMOS(互补金属氧化物半导体)图像传感器(例如，CMOS有源像素传感器(APS))或CCD(电荷耦合器件)传感器。拍摄影像经显示后，现实中的标识物被拍摄构成了在拍摄影像中目标对象，也即是现实中的标识物对应着的就是拍摄影像中的目标对象。

在本实施例中，每个模型数据库对应有各自的识别算法；从拍摄影像中识别与目标数据库中的模型相吻合的目标对象时，通过与目标数据库对应的目标识别算法进行识别。假设具有多个模型数据库K1、K2、……Kn，这些模型数据库分别对应着识别算法f1、f2、……fn；如果用户选择了K2作为目标数据库，则终端将会采用识别算法f2作为目标识别算法进行识别。

识别算法包括SIFT算法、Harris算法、SURF算法、FAST算法中的至少一种。SIFT算法，即尺度不变特征变换(Scale-invariant feature transform)算法；SURF算法，即快速鲁棒特征图像匹配算法(Speed-up Robust Feature)；FAST算法，即Features From Accelerated Segment Test算法。

由于SIFT算法对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高，因而适合应用到本实施例中。

在步骤S300中，实时显示拍摄影像，从拍摄影像中识别与目标数据库中的模型相吻合的目标对象，将与模型相关联的AR影像加载在拍摄影像上。因此，AR影像可以是在屏幕的设定位置进行显示，即使拍摄影像由于摄像头的移动而发生变化，AR影像始终在屏幕的设定位置进行显示，而且是显示于实时的拍摄影像之上。这对于用户的观察角度而言，AR影像始终加载在拍摄影像之上。

然而为了使得用户有较好的增强现实体验，在本实施例中，在步骤S300中，终端将与模型相关联的AR影像加载在拍摄影像上的目标对象上，且AR影像跟踪目标对象的移动而移动。换言之，AR影像是显示在拍摄影像上的目标对象上，如果拍摄影像由于摄像头的移动而发生变化，从而导致目标对象的位置变化，则AR影像始终跟踪着目标对象并在目标对象上显示。

对目标对象的跟踪，可以通过LK光流算法(Lucas–Kanade流光算法)、高效二阶最小化(Efficient Second-order Minimization，ESM)算法或ESM_blur算法对目标对象进行跟踪。

LK算法通过计算一定窗口下图像之间的灰度差平方和(SSD，Sum of Square Differences)来实现对目标对象的跟踪，而ESM算法则通过泰勒二阶展开，免去计算海森矩阵，提高目标跟踪算法的速度，而ESM_blur算法是结合运动模糊模型的目标跟踪算法。发明人发现，LK流光算法在帧率、成功率和反投影误差等性能都优于ESM_blur算法，因此本实施例中采用LK光流算法对目标对象的跟踪。

因此，本实施例在实现识别目标对象和跟踪目标对象的策略是：首先利用SIFT算法成功识别目标对象后，利用LK流光算法对目标对象进行跟踪。

AR影像包括图像、动画、视频、3D模型中至少之一。

在具体应用上，AR影像可以用于对目标对象进行介绍、解说，或用于向用户进行提示，或用于提供视听娱乐服务。例如，在博物馆中，标识物为一个人物雕塑文物，则用户在扫描该雕塑时，输出的AR影像可以是该人物雕塑的动漫形象，然后该动漫形象加载在拍摄影像的该文物上进行对该文物的介绍和解说；又例如，在主题公园中，标识物为一个动漫角色塑像，则用户在扫描该雕塑时，输出的AR影像可以是该动漫角色，然后该动漫角色在拍摄影像的该塑像上进行指路提示；又例如，在密室逃脱中，标识物为一张画有柯南的海报，则用户在扫描该海报时，输出的AR影像可以是动画角色柯南，然后柯南在拍摄影像的该塑像上说出逃脱线索提示。

一个模型所对应的AR影像在本实施例中只有一个，然而在其他实施例中，可以存在这样的情况：一个模型对应多个的AR影像。根据目标对象确定对应的模型后，该模型对应着多于一个的AR影像，而加载在拍摄影像上的AR影像只需要一个，因而可以根据用户个人数据确定需要加载在拍摄影像上的AR影像。即与模型相关联的AR影像多于一个，终端根据用户个人数据确定需要加载在拍摄影像上的AR影像；用户个人数据包括用户身份、用户年龄、用户所在地、用户兴趣中的至少一项。

例如，一个模型对应有三个AR影像，分别是学生身份适用的AR影像、上班族身份适用的AR影像、商业精英身份适用的AR影像。这样，可以根据用户身份针对性选择输出AR影像。又例如，一个模型对应有三个AR影像，分别是青少年适用的AR影像、中年适用的AR影像、老年适用的AR影像。这样，可以根据用户年龄针对性选择输出AR影像。又例如，一个模型对应有三个AR影像，分别是说东北话的AR影像、说广东话的AR影像、说闽南话的AR影像。这样，可以根据用户所在地针对性选择输出AR影像。又例如，一个模型对应有两个AR影像，分别是动漫形式的AR影像、3D真人形式的AR影像。这样，可以根据用户兴趣针对性选择输出AR影像。

用户个人数据可以是用户预先存储的，或者APP在安装时从其他社交类应用程序中调取，或者APP在使用时从其他社交类应用程序中调取，并不限定从哪里获取用户个人数据。

为了加强与用户的交互，可以考虑通过监测用户指令或者监测相关传感器以感应用户动作的方法来变换输出的AR影像。以下以具有触控功能的终端进行说明。

在一个实施例中，将与模型相关联的AR影像加载在拍摄影像上之后，还包括步骤：接收用户变换指令；根据用户变换指令对AR影像进行相应的改变或更换。用户变化指令，可以是通过对终端的触控事件生成的。例如用户对AR影像进行点击、滑动等操作时，AR影像进行相应的改变。例如AR影像是动漫人物，点击动漫人物时，动漫人物做出动作的改变或者输出相应的语音提示；滑动动漫人物时，更换为另外一个动漫人物与用户进行互动。

在另一个实施例中，将与模型相关联的AR影像加载在拍摄影像上之后，还包括步骤：接收终端传感器的传感器值；根据传感器值对AR影像进行相应的改变或更换。例如用户对终端进行吹气、摇动等操作时，终端的气流传感器、振动传感器分别生成各种的传感器值，终端根据传感器值对AR影像进行相应的改变。例如AR影像是动漫人物时，用户对终端吹气时，动漫人物的衣裙或者头发相应飘动；用户摇动终端时，动漫人物做出站立不稳而跌到的动作，或者更换动漫人物。

对应上述的增强现实的方法，以下描述一种增强现实的终端。该终端为带有后置摄像头的移动终端，例如平板电脑、智能手机、智能游戏机。

图2为一个实施例的增强现实的终端模块图。

一种增强现实的终端，包括：摄像模块100、指定模块200和显示模块300。

摄像模块100用于启动终端摄像头获取拍摄影像；指定模块200用于提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库；显示模块300用于实时显示拍摄影像，从拍摄影像中识别与目标数据库中的模型相吻合的目标对象，将与模型相关联的AR影像加载在拍摄影像上。

摄像模块100用于启动终端摄像头获取拍摄影像。

通常而言，当标识物出现时，用户在知道其为标识物的情况下，可以主动在APP中启动终端的摄像头去拍摄该标识物，并获得实时的拍摄影像。在拍摄影像中，可以通过下面将要描述的识别过程将标识物识别为目标对象。

标识物可以是平面形式的物体，也可以是立体形式的物体。这些标识物应该有明确的提示，例如“扫描获取精彩AR内容”等文字形式的提示，以方便用户知悉。

平面形式的物体可以是海报、书本封面等等具有图像、图案或者色彩组合的平面媒体，也可以是画作、刻画在墙壁上的壁画等平面艺术品。总之，在平面的载体上展示有图像、图案或者色彩组合都可以作为标识物。

立体形式的物体可以是塑像、建筑、工艺品、陶瓷等等立体物品，例如可以是博物馆中展览的各种立体形式的文物，可以是游乐场和主题公园中的动漫角色雕塑和工艺品，可以是密室逃脱游戏中密室里的独特雕塑。

用户通过对这些标识物进行扫描拍摄，可以从输出的相应的AR影像中获取到相应的介绍解说、游客提示、视听娱乐等等服务，下面的步骤中将详细说明。

摄像模块100获取到拍摄影像后，指定模块200提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库。

对于像博物馆、主题公园、游乐场、密室逃脱而言，可能会具有较多的标识物。以博物馆为例，博物馆中拥有很多的文物，例如古代的画作、石雕、瓷器、陶器、玉器、铜器，如果可以将部分重要的文物都作为标识物(目标对象)并制作对应的AR影像，则游览者可以通过AR技术更好的了解该文物，提高了用户的游览乐趣。又以主题公园为例，主题公园中可以到处散布着各种动漫角色的塑像，例如米奇老鼠、唐老鸭、白雪公主等等，如果可以将部分动漫角色都作为标识物(对应拍摄影像中的目标对象)并制作对应的AR影像，则游览者可以通过AR技术更好的了解该动漫角色，提高了用户的游览乐趣。又例如密室逃脱，密室逃脱中隐藏的各种线索也可以通过密室中的各种标识物体现，例如独特的图案、塑像等等，玩家可以扫描这些标识物获得相应的AR影像，从中发现线索。

对于这些具有较多的标识物的场合，每个标识物对应一个在终端存储器存储着的模型，在识别时需要在数据库中逐个模型进行匹配，显然需要大量的处理时间，导致识别效率较低。因此，可以将多个模型分成多于一个的组，每组对应一个模型数据库，并将这些模型数据库提供给用户选择。

模型是预先存储在终端存储器的，每种模型都是事先根据对应的标识物构造的，在构造时需要针对标识物的重要特征进行分析和学习，以使得以后能通过匹配模型和所拍摄的标识物对该标识物进行有效识别。以现在流行的指纹识别类似，标识物就相当于人的指纹，模型就相当于终端存储的指纹数据；拍摄标识物后，将所拍摄到的标识物(也即拍摄影像中的目标对象)与模型数据库中的模型进行匹配对比，以确认和识别该标识物。

对模型进行分组可以根据模型的类型或属性进行分组，也可以由设计者按照其意愿或者自定义的分组规则进行分组。可以根据各个模型的属性对模型进行分组，每组对应一个模型数据库，每个模型数据库中的模型之间具有相同或相似的属性。

例如可以将模型分为两类，一组为具有平面属性的平面模型，对应着平面类模型数据库；一组为具有立体属性的平面模型，对应着立体类模型数据库；或者还可以对具有平面属性的平面模型和具有立体属性的平面模型进行进一步的细分，例如将具有立体属性的平面模型进行进一步细分为主要体现棱角的模型和主要体现曲面的模型。

例如可以将模型按照模型的外观属性进行分组，外观属性包括色彩组合、形状、图案中的至少之一，每个模型数据库中的模型之间具有相同或相似的外观属性。例如可以将模型分为三组，一组为外观上主要体现色彩组合特征的模型，一组为外观上主要体现形状特征的模型，一组为外观上主要体现图案特征的模型。或者还可以对上述三组模型进行进一步的细分，例如将外观上主要体现图案特征的模型进一步分为主要由直线构成的图案和主要由曲线构成的图案。

对模型进行这些分组，在后面的识别算法中可以应用少量几种甚至一种识别算法就可以快速识别出标识物，降低了设计的难度以及提升了识别效率。毕竟每组的模型都有其相同或相似的属性，设计者在设置算法时可能只需要一种识别算法就可以在对应的模型数据库中迅速识别出标识物。

因此，获取拍摄影像后，将多个模型数据库提供给用户，让用户根据实际的标识物选择相对应的模型数据库，提高识别的效率。用户选择好模型数据库后，显示模块300实时显示拍摄影像，从拍摄影像中识别与目标数据库中的模型相吻合的目标对象，将与模型相关联的AR影像加载在拍摄影像上。

摄像模块100通过终端摄像头的图像传感器获取到拍摄影像后，通过终端的显示模块300实时显示拍摄图像。图像传感器可以是CMOS(互补金属氧化物半导体)图像传感器(例如，CMOS有源像素传感器(APS))或CCD(电荷耦合器件)传感器。拍摄影像经显示后，现实中的标识物被拍摄构成了在拍摄影像中目标对象，也即是现实中的标识物对应着的就是拍摄影像中的目标对象。

在本实施例中，每个模型数据库对应有各自的识别算法；从拍摄影像中识别与目标数据库中的模型相吻合的目标对象时，通过与目标数据库对应的目标识别算法进行识别。假设具有多个模型数据库K1、K2、……Kn，这些模型数据库分别对应着识别算法f1、f2、……fn；如果用户选择了K2作为目标数据库，则终端的指定模块200将会采用识别算法f2作为目标识别算法进行识别。

识别算法包括SIFT算法、Harris算法、SURF算法、FAST算法中的至少一种。SIFT算法，即尺度不变特征变换(Scale-invariant feature transform)算法；SURF算法，即快速鲁棒特征图像匹配算法(Speed-up Robust Feature)；FAST算法，即Features From Accelerated Segment Test算法。

由于SIFT算法对图像的复杂变形和光照变化具有了较强的适应性，同时运算速度比较快，定位精度比较高，因而适合应用到本实施例中。

显示模块300实时显示拍摄影像，从拍摄影像中识别与目标数据库中的模型相吻合的目标对象，将与模型相关联的AR影像加载在拍摄影像上。因此，AR影像可以是在屏幕的设定位置进行显示，即使拍摄影像由于摄像头的移动而发生变化，AR影像始终在屏幕的设定位置进行显示，而且是显示于实时的拍摄影像之上。这对于用户的观察角度而言，AR影像始终加载在拍摄影像之上。

然而为了使得用户有较好的增强现实体验，在本实施例中，显示模块300将与模型相关联的AR影像加载在拍摄影像上的目标对象上，且AR影像跟踪目标对象的移动而移动。换言之，AR影像是显示在拍摄影像上的目标对象上，如果拍摄影像由于摄像头的移动而发生变化，从而导致目标对象的位置变化，则AR影像始终跟踪着目标对象并在目标对象上显示。

对目标对象的跟踪，可以通过LK光流算法(Lucas–Kanade流光算法)、高效二阶最小化(Efficient Second-order Minimization，ESM)算法或ESM_blur算法对目标对象进行跟踪。

LK算法通过计算一定窗口下图像之间的灰度差平方和(SSD，Sum of Square Differences)来实现对目标对象的跟踪，而ESM算法则通过泰勒二阶展开，免去计算海森矩阵，提高目标跟踪算法的速度，而ESM_blur算法是结合运动模糊模型的目标跟踪算法。发明人发现，LK流光算法在帧率、成功率和反投影误差等性能都优于ESM_blur算法，因此本实施例中采用LK光流算法对目标对象的跟踪。

因此，本实施例在实现识别目标对象和跟踪目标对象的策略是：首先利用SIFT算法成功识别目标对象后，利用LK流光算法对目标对象进行跟踪。

AR影像包括图像、动画、视频、3D模型中至少之一。

在具体应用上，AR影像可以用于对目标对象进行介绍、解说，或用于向用户进行提示，或用于提供视听娱乐服务。例如，在博物馆中，标识物为一个人物雕塑文物，则用户在扫描该雕塑时，输出的AR影像可以是该人物雕塑的动漫形象，然后该动漫形象加载在拍摄影像的该文物上进行对该文物的介绍和解说；又例如，在主题公园中，标识物为一个动漫角色塑像，则用户在扫描该雕塑时，输出的AR影像可以是该动漫角色，然后该动漫角色在拍摄影像的该塑像上进行指路提示；又例如，在密室逃脱中，标识物为一张画有柯南的海报，则用户在扫描该海报时，输出的AR影像可以是动画角色柯南，然后柯南在拍摄影像的该塑像上说出逃脱线索提示。

一个模型所对应的AR影像在本实施例中只有一个，然而在其他实施例中，可以存在这样的情况：一个模型对应多个的AR影像。根据目标对象确定对应的模型后，该模型对应着多于一个的AR影像，而加载在拍摄影像上的AR影像只需要一个，因而可以根据用户个人数据确定需要加载在拍摄影像上的AR影像。即与模型相关联的AR影像多于一个，显示模块300根据用户个人数据确定需要加载在拍摄影像上的AR影像；用户个人数据包括用户身份、用户年龄、用户所在地、用户兴趣中的至少一项。

例如，一个模型对应有三个AR影像，分别是学生身份适用的AR影像、上班族身份适用的AR影像、商业精英身份适用的AR影像。这样，可以根据用户身份针对性选择输出AR影像。又例如，一个模型对应有三个AR影像，分别是青少年适用的AR影像、中年适用的AR影像、老年适用的AR影像。这样，可以根据用户年龄针对性选择输出AR影像。又例如，一个模型对应有三个AR影像，分别是说东北话的AR影像、说广东话的AR影像、说闽南话的AR影像。这样，可以根据用户所在地针对性选择输出AR影像。又例如，一个模型对应有两个AR影像，分别是动漫形式的AR影像、3D真人形式的AR影像。这样，可以根据用户兴趣针对性选择输出AR影像。

用户个人数据可以是用户预先存储的，或者APP在安装时从其他社交类应用程序中调取，或者APP在使用时从其他社交类应用程序中调取，并不限定从哪里获取用户个人数据。

为了加强与用户的交互，可以考虑通过监测用户指令或者监测相关传感器以感应用户动作的方法来变换输出的AR影像。以下以具有触控功能的终端进行说明。

在一个实施例中，还包括变化模块，用于在所述显示模块300将与模型相关联的AR影像加载在拍摄影像上之后，接收用户变换指令；根据用户变换指令对AR影像进行相应的改变或更换。用户变化指令，可以是通过对终端的触控事件生成的。例如用户对AR影像进行点击、滑动等操作时，AR影像进行相应的改变。例如AR影像是动漫人物，点击动漫人物时，动漫人物做出动作的改变或者输出相应的语音提示；滑动动漫人物时，更换为另外一个动漫人物与用户进行互动。

在另一个实施例中，还包括变化模块，用于在所述显示模块300将与模型相关联的AR影像加载在拍摄影像上之后，接收终端传感器的传感器值；根据传感器值对AR影像进行相应的改变或更换。例如用户对终端进行吹气、摇动等操作时，终端的气流传感器、振动传感器分别生成各种的传感器值，终端根据传感器值对AR影像进行相应的改变。例如AR影像是动漫人物时，用户对终端吹气时，动漫人物的衣裙或者头发相应飘动；用户摇动终端时，动漫人物做出站立不稳而跌到的动作，或者更换动漫人物。

上述的增强现实的方法和终端，启动终端摄像头获取拍摄影像；提供多于一个的模型数据库，根据用户指定指令从多于一个的模型数据库中指定目标数据库；实时显示所述拍摄影像，从所述拍摄影像中识别与所述目标数据库中的模型相吻合的目标对象，将与所述模型相关联的AR影像加载在所述拍摄影像上。当具有多个模型时，可以将多个模型分成多于一个的组(例如按照设定类别分组)，每组对应一个模型数据库，并将这些模型数据库提供给用户选择。对于用户而言，用户可以知道正在拍摄的标识物对应哪个类型的模型数据库，终端根据用户选择的目标数据库里的模型对目标对象进行匹配识别，可以减少匹配模型的数量，降低数据处理量和节约处理时间，提高识别效率。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。