增强现实实现方法、装置和终端设备的制造方法_3

文档序号:9305068阅读:来源:国知局
[0096]用户通过移动拍摄装置,可以从不同角度实时获取拍摄对象的图像序列,这样,用户能够从不同角度看到在拍摄的图像上实时展示的AR信息。
[0097]上述方式二中,也可以由终端设备一次性确定出多个关键帧图像发送给服务器,由服务器从多个关键帧图像中任选择一个或者按照拍摄时间顺序选择一个关键帧图像查找匹配,如果未查找到,则再重新选择一个关键帧图像(如果按照拍摄时间进行选择的话,依序选择即可)进行匹配,直至查找到匹配图像为止。
[0098]另外,本发明实施例中,还可以根据选择出的一系列关键帧图像构建出拍摄对应的完整三维点云数据,这样,用户可以自行添加AR信息,观察AR信息在构建的完整三维点云数据中的展示效果。其适用于以下应用场景:用户通过网络购买家具,希望能够看到家具在自己家中的摆放效果时,用户可以对想要摆放家具的房间进行拍摄,例如,用户拿着拍摄装置在该房间中转一圈,便能够建立该房间的完整三维点云数据,用户将从商家获取的家具的AR信息添加至自己建立的房间的完整三维点云数据中,便能够看到家具的摆放效果了。
[0099]具体的,这种方式下,可以按照以下流程建立拍摄对象的三维点云数据以及在建立的完整三维点云数据上展示AR信息,包括以下步骤:
[0100]步骤一、从获取的图像序列中选择一系列的关键帧图像;
[0101]该步骤的实施过程可以参见上述图3所示的实施步骤,这里不再赘述。
[0102]步骤二、确定选择出的关键帧图像组成拍摄对象的完整三维点云数据;
[0103]步骤三、获取用户添加的AR信息;
[0104]即用户从商家获取的家具的三维点云数据。
[0105]步骤四、获取用户指定的、该AR信息在完整三维点云数据的展示方位;
[0106]例如,可以为用户想摆放家具的具体位置信息。
[0107]步骤五、根据当前关键帧图像和完整三维点云数据确定拍摄该拍摄对象的拍摄装置的拍摄位姿;
[0108]步骤六、根据拍摄位姿和AR信息在完整三维点云数据的展示方位,确定AR信息在当前关键帧图像中的展示方位;
[0109]步骤七、确定当前帧图像与当前关键帧图像的相对位姿;
[0110]步骤八、根据确定出的相对位姿和AR在所述当前关键帧图像上的展示方位,确定AR信息在当前帧上的展示方位;
[0111]步骤九、根据AR信息在当前帧图像中的展示方位,在当前帧图像上展示该AR信肩、O
[0112]本发明实施例中,通过手机等终端设备自身携带的摄像头对周围环境进行拍摄,获取拍摄对象的图像序列,通过机器视觉技术能够获得拍摄对象的三维数据信息,利用这些三维数据信息可以构建出当前环境的三维地图,那么利用这个三维地图可以知道手机在地图中的位置和方位,就可以根据位置和方位放置AR信息,这样,用户通过摄像头拍摄的实景环境中能够实时看到位置和方位均符合感官的虚拟信息了,且看到的AR信息更加真实。
[0113]较佳的,还可以建立用户添加的AR信息与用户建立的完整三维点云数据的对应关系并存储在本地的地图数据库中,也可以将建立的对应关系上传至网络侧服务器进行存储。
[0114]基于同一发明构思,本发明实施例中还提供了一种增强现实实现装置和设备,由于上述装置和设备解决问题的原理与增强现实实现方法相似,因此上述装置和设备的实施可以参见增强现实实现方法的实施,重复之处不再赘述。
[0115]实施例二
[0116]如图5所示,为本发明实施例提供的增强现实实现装置的结构示意图,包括:
[0117]获取单元51,用于获取拍摄对象的图像序列;
[0118]选择单元52、用于从获取单元51获取的图像序列中选择至少一帧关键帧图像。
[0119]其中,关键帧图像为能够恢复出所述拍摄对象的局部三维点云数据的图像,相邻的关键帧图像满足预设的图像间隔距离。
[0120]第一确定单兀53,用于确定拍摄时间最晚的关键巾贞图像为当如关键巾贞图像;
[0121]第二确定单元54,用于根据第一确定单元53确定出的当前关键帧图像或者选择单元52选择出的关键帧图像确定所述拍摄对象的完整三维点云数据。
[0122]获得单元55,用于获得待展示的增强现实AR信息;
[0123]展示单元56,用于根据所述完整三维点云数据和所述关键帧图像,确定所述AR信息在当前帧图像上的展示方位;并根据所述展示方位,在当前帧图像上展示获得单元55获得的AR /[目息。
[0124]较佳的,选择单元52可以包括:
[0125]选择子单元,用于从获取单元51获取的图像序列中选择间隔预设距离的两帧图像;
[0126]提取子单元,用于分别提取选择子单元选择的每一帧图像的特征点;
[0127]匹配子单元,用于匹配提取子单元提取到的两帧图像的特征点,获得特征点对集合;
[0128]判断子单元,用于判断根据匹配子单元获得的特征点对集合和拍摄该拍摄对象的拍摄装置的拍摄参数是否能够恢复出拍摄对象的局部三维点云数据;
[0129]执行子单元,用于若所述判断子单元的判断结果为是,确定选择出的两帧图像中的任一帧图像为第一帧关键帧图像;若所述判断子单元的判断结果为否,通知选择子单元从所述图像序列中重新选择间隔预设距离的两帧图像。
[0130]较佳的,第二确定单元54可以包括:
[0131]查找子单元,用于根据所述当前关键帧图像在本地或者网络侧服务器预先存储的图像与完整三维点云数据之间的对应关系中,查找与所述关键帧图像匹配的匹配图像;
[0132]第一确定子单元,用于确定所述匹配图像对应的完整三维点云数据为所述拍摄对象的完整三维点云数据。
[0133]具体实施时,完整三维点云数据中可以包括该AR信息;相应的,获得单元55,可以用于从完整三维点云数据中提取该AR信息;展示单元56,可以用于根据当前关键帧图像和完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿;根据所述拍摄位姿,确定完整三维点云数据中包含的增强现实AR信息在所述当前关键帧图像中的展示方位;以及确定当前帧图像与所述当前关键帧图像的相对位姿;并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位,确定所述AR信息在所述当前帧上的展示方位。
[0134]具体实施时,本发明实施例中,还可以由第二确定单元54,确定选择单元52选择出的至少一帧关键帧图像组成拍摄对象的完整三维点云数据。相应的,获得单元55,可以用于获取用户添加的AR信息;展示单元56,可以用于获取用户指定的、所述AR信息在所述完整三维点云数据的展示方位;根据所述当前关键帧图像和所述完整三维点云数据确定拍摄所述拍摄对象的拍摄装置的拍摄位姿;根据所述拍摄位姿和AR信息在所述完整三维点云数据的展示方位,确定AR信息在所述当前关键帧图像中的展示方位;以及确定当前帧图像与所述当前关键帧图像的相对位姿;并根据确定出的相对位姿和所述AR在所述当前关键帧图像上的展示方位,确定所述AR信息在所述当前帧上的展示方位。
[0135]具体实施时,本发明实施例提供的增强现实实现装置,还可以包括映射单元和存储单元,其中映射单元可以用于建立用户添加的AR信息与所述完整三维点云数据的对应关系;存储单元可以用于存储所述映射单元建立的对应关系。
[0136]为了描述的方便,以上各部分按照功能划分为各模块(或单元)分别描述。当然,在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
[0137]具体实施时,上述实施例提供的增强现实实现装置可以设置在终端设备中。
[0138]本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0139]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0140]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0141]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1