实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0142]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0143]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种增强现实实现方法，其特征在于，包括: 获取拍摄对象的图像序列； 从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并确定拍摄时间最晚的关键帧图像为当前关键帧图像； 根据所述当前关键帧图像或者选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据； 获得待展示的增强现实AR信息； 根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位； 根据所述展示方位，在所述当前帧图像上展示所述AR信息。2.如权利要求1所述的方法，其特征在于，按照以下方法从所述图像序列中选择第一中贞关键巾贞图像: 从所述图像序列中选择间隔预设距离的两帧图像； 分别提取每一帧图像的特征点； 匹配两帧图像的特征点，获得特征点对集合； 判断根据所述特征点对集合和拍摄所述拍摄对象的拍摄装置的拍摄参数是否能够恢复出所述拍摄对象的局部三维点云数据； 若是，则确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像； 若否，则从所述图像序列中重新选择间隔预设距离的两帧图像，并重复执行上述步骤，直至确定出第一帧关键帧图像。3.如权利要求1或2所述的方法，其特征在于，相邻的关键帧图像满足的预设的图像间隔距离包括以下至少一种:相邻的关键帧图像之间的拍摄时间间隔大于时间间隔预设值；或者相邻的关键帧图像之间的物理距离大于距离预设值；或者相邻的关键帧图像之间的重叠区域不超过区域重叠预设值。4.如权利要求1所述的方法，其特征在于，根据所述当前关键帧图像确定所述拍摄对象的完整三维点云数据，具体包括: 根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中，查找与所述关键帧图像匹配的匹配图像； 确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。5.如权利要求4所述的方法，其特征在于，所述完整三维点云数据中包括所述AR信息；以及 获得待展示的AR信息，具体包括:从所述完整三维点云数据中提取所述AR信息；以及根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在所述当前帧图像上的展示方位，具体包括: 根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿； 根据所述拍摄位姿，确定所述完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像上的展示方位； 确定当前帧图像与所述当前关键帧图像的相对位姿； 根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。6.如权利要求1所述的方法，其特征在于，根据选择出的关键帧图像确定所述拍摄对象的完整三维点云数据，具体包括: 确定所述选择出的至少一帧关键帧图像组成所述拍摄对象的完整三维点云数据。7.如权利要求6所述的方法，其特征在于，获得待展示的AR信息，具体包括: 获取用户添加的AR信息；以及 根据所述完整三维点云数据和所述关键帧图像，确定所述AR信息在所述当前关键帧图像上的展示方位，具体包括: 获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位； 根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿； 根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位，确定AR信息在所述当前关键帧图像上的展示方位； 确定当前帧图像与所述当前关键帧图像的相对位姿； 根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。8.如权利要求7所述的方法，其特征在于，还包括: 建立用户添加的AR信息与所述完整三维点云数据的对应关系并存储。9.一种增强现实实现装置，其特征在于，包括: 获取单元，用于获取拍摄对象的图像序列； 选择单元，用于从所述图像序列中选择至少一帧关键帧图像，其中，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离； 第一确定单元，用于确定拍摄时间最晚的关键帧图像为当前关键帧图像； 第二确定单元，用于根据所述第一确定单元确定出的当前关键帧图像或者所述选择单元选择出的至少一帧关键帧图像确定所述拍摄对象的完整三维点云数据； 获得单元，用于获得待展示的增强现实AR信息； 展示单元，用于根据所述完整三维点云数据和所述当前关键帧图像，确定所述AR信息在当前帧图像上的展示方位；并根据所述展示方位，在所述当前帧图像上展示所述所述获得单兀获得的AR fg息。10.如权利要求9所述的装置，其特征在于，所述选择单元，具体包括: 选择子单元，用于从所述获取单元获取的图像序列中选择间隔预设距离的两帧图像； 提取子单元，用于分别提取所述选择子单元选择的每一帧图像的特征点； 匹配子单元，用于匹配所述提取子单元提取到的两帧图像的特征点，获得特征点对集合； 判断子单元，用于判断根据所述特征点对集合和拍摄所述拍摄对象的拍摄装置的拍摄参数是否能够恢复出所述拍摄对象的局部三维点云数据； 执行子单元，用于若所述判断子单元的判断结果为是，确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像；若所述判断子单元的判断结果为否，通知选择子单元从所述图像序列中重新选择间隔预设距离的两帧图像。11.如权利要求9或10所述的装置，其特征在于，所述第二确定单元，包括: 查找子单元，用于根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中，查找与所述关键帧图像匹配的匹配图像； 第一确定子单元，用于确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。12.如权利要求11所述的装置，其特征在于，所述完整三维点云数据中包括所述AR信息；以及 所述获得单元，具体用于从所述完整三维点云数据中提取所述AR信息； 所述展示单元，具体用于根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿，确定所述完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像上的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。13.如权利要求9所述的装置，其特征在于， 所述第二确定单元，具体用于确定所述选择单元选择出的至少一帧关键帧图像组成所述拍摄对象的完整三维点云数据。14.如权利要求13所述的装置，其特征在于， 所述获得单元，具体用于获取用户添加的AR信息； 所述展示单元，具体用于获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位；根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿；根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位，确定AR信息在所述当前关键帧图像中的展示方位；以及确定当前帧图像与所述当前关键帧图像的相对位姿；并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位，确定所述AR信息在所述当前帧上的展示方位。15.如权利要求14所述的装置，其特征在于，还包括； 映射单元，用于建立用户添加的AR信息与所述完整三维点云数据的对应关系； 存储单元，用于存储所述映射单元建立的对应关系。16.—种终端设备,其特征在于,包括权利要求9?15任一权利要求所述的装置。
【专利摘要】本发明公开了一种增强现实实现方法、装置和终端设备，用以在用户拍摄的图像上实时展示对应的AR信息，并提高AR信息展示的准确性和真实性。其中，增强现实实现方法包括：获取拍摄对象的图像序列；从图像序列中选择至少一帧关键帧图像，关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像，相邻的关键帧图像满足预设的图像间隔距离；并确定拍摄时间最晚的关键帧图像为当前关键帧图像；根据当前关键帧图像或者选择出的至少一帧关键帧图像确定拍摄对象的完整三维点云数据；获得待展示的AR信息；根据完整三维点云数据和当前关键帧图像，确定AR信息在当前帧图像上的展示方位；根据展示方位，在当前帧图像上展示AR信息。
【IPC分类】G06T7/00
【公开号】CN105023266
【申请号】CN201410178628
【发明人】郑杰, 段思九
【申请人】高德软件有限公司
【公开日】2015年11月4日
【申请日】2014年4月29日