增强现实实现方法、装置和终端设备的制造方法
【技术领域】
[0001]本发明涉及信息处理技术领域，尤其涉及一种增强现实实现方法、装置和终端设备。
【背景技术】
[0002]增强现实(AR, Augmented Reality)是利用虚拟拍摄对象对真实场景进行现实增强的技术。增强现实保留用户实际所处的环境作为用户的主要感知和交互环境，通过将文本、二维图形、三维模型等虚拟生成的信息标注在显示屏上所显示的用户实际所处环境中的物体上，从而实现对用户所处的环境的注释、说明，或者增强现实环境的效果。如图1所示，用户开启移动终端摄像头并将该摄像头对准现实环境，此时，用户移动终端屏幕会显示当前现实场景中的存在物(如建筑物、街道等)，移动终端将拍摄的图像序列发送至网络侧服务器，网络侧服务器根据获取的图像进行匹配，若匹配到这些存在物的增强性、说明性或描述性信息，比如建筑物的名称、建筑物中的商家信息等等，将其返回给移动终端，这样，移动终端屏幕上不仅显示有当前现实场景中的存在物，还会显示这些存在物的说明性、描述性或增强性的信息，这使得用户能够方便、快捷地知道现实场景存在物更多更丰富的信息，为用户带来新的增强现实的应用体验。
[0003]从上述过程可知，对用户所处环境的准确定位是AR应用的关键技术之一，只有准确定位用户所处环境，才能在网络侧服务器匹配到准确的AR信息。但是现有的移动定位技术，包括从定位方法进行分类的GPS定位技术、Wifi定位技术和基站定位技术以及从地图类型进行分类的栅格地图定位技术、三维地图定位技术和街景地图定位技术等，均无法满足AR中精准定位的需求。
[0004]为了提高定位技术的准确性，现有技术提出了以下解决方案:
[0005]一、基于图像识别的技术
[0006]通过图像识别方将用户所拍摄到的场景图像与地图数据库中预存的场景图像进行匹配，来读取地图数据库中预存的准确位置信息，同时在拍摄的场景图像上实时展示AR信息。但是该方法中，在展示AR信息时，只能针对识别出的图像进行展示，对于未识别的图像则无法查找对应的AR信息并展示。
[0007]二、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，使用传统定位方法确定用户所处的位置，并载入对应的正确方位街景图像进行展示，展示的街景图像上有AR信息。但是这种方法中，由于看到的是固定的街景图像，因此不具有实时性。
[0008]三、通过移动设备自带的传感器如陀螺仪和加速度传感器确定方向，用传统定位方法确定用户所处的位置，直接在拍摄的图像上展示AR信息。这种方法中，由于传感器存在误差积累，所以对于拍摄一段时间或者有剧烈运动时确定出的用户所处的位置并不准确，导致展示出的AR信息也不准确。同时，这种方法适合较远处的物体，进出物体位置变化会更大，且放置的AR信息浮在物体上，使得AR信息展示不够真实。
[0009]综上，如何在用户拍摄的图像上实时并真实准确的展示对应的AR信息成为增强现实实现过程中亟待解决的技术问题之一。
【发明内容】
[0010]本发明实施例提供一种增强现实实现方法、装置和终端设备，用以在用户拍摄的图像上实时展示对应的AR信息，并提高AR信息展示的准确性和真实性。
[0011]本发明实施例提供一种增强现实信息展示方法，包括:
[0012]获取拍摄对象的图像序列；
[0013]从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并
[0014]确定拍摄时间最晚的关键巾贞图像为当如关键巾贞图像；
[0015]根据所述当前关键帧图像或者选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
[0016]获得待展示的增强现实AR信息；
[0017]根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；
[0018]根据所述展示方位，在所述当前帧图像上展示所述AR信息。
[0019]本发明实施例提供一种增强现实信息展示装置，包括:
[0020]获取单元，用于获取拍摄对象的图像序列；
[0021]选择单元，用于从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；
[0022]第一确定单兀，用于确定拍摄时间最晚的关键巾贞图像为当如关键巾贞图像；
[0023]第二确定单元，用于根据所述第一确定单元确定出的当前关键帧图像或者所述选择单元选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据；
[0024]获得单元，用于获得待展示的增强现实AR信息；
[0025]展示单元，用于根据所述完整三维点云数据和所述关键帧图像，确定所述AR信息在当前帧图像上的展示方位；根据所述展示方位，在所述当前帧图像上展示所述AR信息。
[0026]本发明实施例提供一种终端设备，包括上述的增强现实实现装置。
[0027]本发明实施例提供的增强现实实现方法、装置和终端设备，在对拍摄对象进行拍摄的过程中，实时获取拍摄对象的图像序列并进行分析，以获得关键帧图像和该拍摄对象对应的完整三维点云数据，并根据拍摄对象的完整三维点云数据和关键帧图像确定出AR信息在当前帧上的展示方位并进行展示，由于根据AR信息在当前帧图像上的展示方位展示AR信息，因此，使得展示AR信息的位置更加准确且能够随着当前关键帧的变化，从不同的角度展示AR信息，使得展示的AR信息更加真实。
[0028]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0029]此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
[0030]图1为现有技术中，增强现实应用示意图；
[0031]图2为本发明实施例中，增强现实实现方法的实施流程示意图；
[0032]图3为本发明实施例中，确定第一帧关键帧图像的流程示意图；
[0033]图4为本发明实施例中，获得拍摄对象对应的完整三维点云数据，并在当前帧上展示完整三维点云数据中包含的AR信息的流程示意图；
[0034]图5为本发明实施例中，增强现实实现装置的结构示意图。
【具体实施方式】
[0035]为了在用户拍摄的图像上实时展示AR信息，并提高AR信息展示的准确性和真实性，本发明实施例提供了一种增强现实实现方法、装置和终端设备。
[0036]以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0037]实施例一
[0038]如图2所示，为终端侧设备实施增强现实实现方法的实施流程示意图，可以包括以下步骤:
[0039]S21、获取拍摄对象的图像序列。
[0040]具体实施时，用户可以通过手机等终端设备自带的摄像头拍摄周围环境，获得被拍摄对象的图像序列。本发明实施例中，用户可以通过移动，可以获取代表拍摄对象不同区域的图像序列。
[0041]S22、从获取的图像序列中选择至少一帧关键帧图像。
[0042]其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，且确定出的、相邻的关键帧图像之间满足预设的图像间隔距离。
[0043]较佳的，如图3所示，可以按照图3所示的流程确定第一帧关键帧图像:
[0044]S31、从获取的图像序列中选择间隔预设距离的两帧图像；
[0045]例如，可以选择获取的第一帧图像和与其间隔20帧的图像。
[0046]S32、分别提取每一帧图像的特征点；
[0047]具体实施时，可以采用特征点提取算法如尺度不变特征变换(SIFT，ScaleInvariant Feature Transform)算法、(SURF, Speeded-Up Robust Features)算法和方向性 FAST 和旋转 BRIEF (ORB，Oriented FAST and Rotated BRIEF)等。
[0048]S33、匹配两帧图像的特征点，得到特征点对集合；
[0049]具体实施时，可以采用与特征点提取算法对应的匹配算法，如N0RM_L2和N0RM_HAMMING等，得到对应的特征点对集合。
[0050]具体实施时，获取的图像为二维图像，因此提取的特征点对也是二维的，另一方面，通过两个二维数据可以恢复出一个三维数据，假设一个特征点对为(Al，BI)，其对应的二维数据为((Xl，yi)，