一种用于呈现增强现实内容的方法与设备与流程

本申请涉及计算机领域，尤其涉及一种用于呈现增强现实内容的技术。

背景技术：

增强现实技术(augmentedreality,ar)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3d模型等的技术，目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术在1990年被提出。随着随身电子产品cpu运算能力的提升，增强现实技术的用途将会越来越广。

但是，在有些情况下，增强现实内容的发布和应用会受到实际场景的限制。例如，在产品的体积较大或者成本过高的情况下，用户将难以获得该产品，并基于该产品进行增强现实内容的制作和发布。又例如，在实际产品尚处于设计阶段而未实际生产的情况下，用户无法基于产品进行增强现实内容的制作和发布。

技术实现要素：

本申请的一个目的是提供一种用于呈现增强现实内容的方法。

根据本申请的一个方面，提供了一种在发布设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息；

确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系；以及

基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容。

根据本申请的另一个方面，提供了一种在用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

基于关于目标装置的第二目标图像的第二图像特征信息，匹配关于所述目标装置的第一图像特征信息；

基于所述第一图像特征信息以及对应的特征对应关系，确定所述目标装置的三维数据；

基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息，以及所述三维数据所对应的增强现实内容的位置信息；以及

基于所述位姿信息以及所述增强现实内容的位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种在发布设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

获取待设置增强现实内容的目标装置的三维模型；以及

基于所述三维模型，发布至少一个增强现实内容。

根据本申请的另一个方面，提供了一种在用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

获取目标装置的第四目标图像；

基于所述第四目标图像，确定关于所述第四目标图像的第四图像特征信息；

基于所述第四图像特征信息以及关于所述目标装置的三维数据，确定所述用户设备的位姿信息以及所述三维数据所对应的增强现实内容的位置信息；以及

基于所述位姿信息以及所述位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于发布增强现实内容的方法，该方法包括：

获取关于目标装置的预设内容属性信息；

基于用户的内容设置指令，以及所述预设内容属性信息，设置关于目标装置的至少一个增强现实内容的内容属性信息，以设置所述至少一个增强现实内容；

发布所述至少一个增强现实内容。

根据本申请的另一个方面，提供了一种用于设置增强现实内容的方法，该方法包括：

获取需设置的增强现实内容的预设内容属性信息；

基于用户的内容设置指令，以及所述预设内容属性信息，设置所述增强现实内容的内容属性信息，以设置所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的发布设备，该发布设备包括：

第一一模块，用于对待设置增强现实内容的目标装置的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息；

第一二模块，用于确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系；以及

第一三模块，用于基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备，该用户设备包括：

第二一模块，用于基于关于目标装置的第二目标图像的第二图像特征信息，匹配关于所述目标装置的第一图像特征信息；

第二二模块，用于基于所述第一图像特征信息以及对应的特征对应关系，确定所述目标装置的三维数据；

第二三模块，用于基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息，以及所述三维数据所对应的增强现实内容的位置信息；以及

第二四模块，用于基于所述位姿信息以及所述增强现实内容的位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的发布设备，该发布设备包括：

第三一模块，用于获取待设置增强现实内容的目标装置的三维模型；以及

第三二模块，用于基于所述三维模型，发布至少一个增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备，该用户设备包括：

第四一模块，用于获取目标装置的第四目标图像；

第四二模块，用于基于所述第四目标图像，确定关于所述第四目标图像的第四图像特征信息；

第四三模块，用于基于所述第四图像特征信息以及关于所述目标装置的三维数据，确定所述用户设备的位姿信息以及所述三维数据所对应的增强现实内容的位置信息；以及

第四四模块，用于基于所述位姿信息以及所述位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于发布增强显示内容的设备，其中，该设备包括：

第一五模块，用于：

获取关于目标装置的预设内容属性信息；以及

基于用户的内容设置指令，以及所述预设内容属性信息，设置关于目标装置的至少一个增强现实内容的内容属性信息，以设置所述至少一个增强现实内容；

第一三模块，用于发布所述至少一个增强现实内容。

根据本申请的另一个方面，提供了一种用于设置增强现实内容的设备，其中，该设备包括第一五模块，用于：

获取需设置的增强现实内容的预设内容属性信息；以及

基于用户的内容设置指令，以及所述预设内容属性信息，设置所述增强现实内容的内容属性信息，以设置所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

发布设备对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息，确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系，并基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容；

所述发布设备根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的；

所述发布设备基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备；以及

所述用户设备基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的系统，包括发布设备和用户设备，

其中，所述发布设备用于：

对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息，确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系，并基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容；

根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的；

基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备；

所述用户设备用于：

基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

发布设备基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据，并基于所述三维数据，发布至少一个增强现实内容；

所述发布设备基于关于第三目标图像的第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述位姿信息以及所述位置信息发送至所述用户设备，其中所述第三目标图像是由所述用户设备拍摄的；以及

所述用户设备基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强显示内容的系统，包括发布设备和用户设备，

其中，所述发布设备用于：

基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据，并基于所述三维数据，发布至少一个增强现实内容；

基于关于第三目标图像的第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述位姿信息以及所述位置信息发送至所述用户设备，其中所述第三目标图像是由所述用户设备拍摄的；

所述用户设备用于：

基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的发布设备，该发布设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上任一项所述的方法。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备，该用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上任一项所述的方法。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统执行以上任一项所述的方法。

与现有技术相比，本申请基于目标装置(例如，需要制作对应的增强现实内容的实物产品)的三维模型(例如，计算机视觉及计算机图形学中，用于封装物体形状的数字化的三维模型)所对应的三维数据(例如目标装置的边缘数据、表面结构数据、点云数据)发布增强现实内容，用户可以脱离实际物品并基于虚拟场景即可完成增强现实内容的编辑。一方面，本申请能够避免产品搬运不便、成本高昂等给增强现实内容的制作所带来的困难；另一方面，本申请也能用于在产品实际被生产出来之前制作相应的增强现实内容。此外，与基于二维识别图发布的增强现实内容相比，由于具有可参照的尺度，基于三维数据或者三维模型发布的增强现实内容不仅在制作时能够准确定位、无需反复地调整位置和生成测试用客户端，而且在被用户设备叠加呈现时叠加位置也更为准确。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请一个实施例的在发布设备端用于呈现增强现实内容的方法流程图；

图2是根据本申请另一个实施例的在发布设备端用于呈现增强现实内容的方法流程图；

图3是根据本申请一个实施例的用于呈现增强现实内容的方法流程图；

图4是根据本申请一个实施例的在用户设备端用于呈现增强现实内容的方法流程图；

图5是根据本申请一个实施例的在发布设备端用于呈现增强现实内容的方法流程图；

图6是根据本申请另一个实施例的在发布设备端用于呈现增强现实内容的方法流程图；

图7是根据本申请一个实施例的用于呈现增强现实内容的方法流程图；

图8是根据本申请一个实施例的在用户设备端用于呈现增强现实内容的方法流程图；

图9是根据申请一个实施例的发布设备的功能模块图；

图10是根据本申请另一个实施例的发布设备的功能模块图；

图11是根据本申请一个实施例的用户设备的功能模块图；

图12是根据本申请一个实施例的发布设备的功能模块图；

图13是根据本申请另一个实施例的发布设备的功能模块图；

图14是根据本申请一个实施例的用户设备的功能模块图；

图15是根据本申请一个实施例的计算机设备的逻辑结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(asic)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(adhoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

根据本申请的一个方面，提供了一种在发布设备端用于呈现增强现实内容的方法。参考图1，该方法包括步骤s11、步骤s12和步骤s13。

在步骤s11中，发布设备对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息。在此，可识别区域图像与目标装置相对应。在一些实施例中，可识别区域图像是基于目标装置的三维模型(例如，在计算机视觉及计算机图形学中，用于封装物体形状的数字化的三维模型)的可识别区域获得的，其中可识别区域的特征信息较为丰富(例如纹理丰富)而便于特征提取；可识别区域图像可以通过不同的方式获取，例如通过3dsmax、maya等工具得到目标装置的三维模型的cg(computergraphics,计算机图形)图像，或者在场景中利用脚本生成虚拟摄像机，将相机放置到识别区域的正面位置，渲染生成该可识别区域图像。对目标装置的可识别区域图像进行特征提取(例如提取可识别区域图像的特征点)，获得可识别区域图像所对应的图像特征信息(下称第一图像特征信息)。

当然，本领域技术人员应能理解，以上所述的用于得到可识别区域图像的方式仅为举例而不对本申请进行限定，其他现有的或今后可能出现的能够用于生成可识别区域图像的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在步骤s12中，发布设备确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系。在此，目标装置的三维数据包括但不限于以下的一种或几种的组合：目标装置的边缘数据、目标装置的表面结构数据、目标装置的点云数据。在一些实施例中，将所述可识别区域图像作为输入，并采用特征提取的方式得到相应的二维特征点时，同时生成了二维特征点周围邻域与上述三维数据之间的对应关系(例如，二维特征点和边缘数据、表面结构数据或点云数据的特征点之间的对应关系)，并可将这种对应关系储存至特征库用于后续的识别对应工作，例如基于二维特征点和该对应关系可以确定相应的三维数据，也可以确定二维图像上某个目标点在目标装置(或者其三维数字模型)上对应的三维空间位置。其中，上述对应关系可以利用手工方法、slam算法或其它三维重构方法计算得到。

其中，边缘数据主要表现为物体局部特征的不连续性，例如垂直、直角、圆、锐角等等；在检测物体边缘时，根据梯度分布信息先对具有明显边缘特征轮廓点进行粗略检测，然后通过链接规则把原来检测到的轮廓点连接起来，同时也检测和连接遗漏的边界点及去除虚假的边界点。表面结构数据为目标装置的表面数据结构，由构成一个基础面的顶点索引；构成一个三维结构的三角面片索引或四角面片的索引信息构成；三角面片或四角面片的表面法向；顶点和三角面片或四角面片的表面rgb颜色、灰度值、深度值、表面光度属性等构成。点云数据是指在一个三维坐标系统中的一组向量的集合，这些向量通常以(x,y,z)三维坐标的形式表示，一般主要用来代表一个物体的外表面形状；除(x,y,z)代表的几何位置信息之外，点云数据还可以表示一个点的rgb颜色、灰度值、深度、分割结果、物体反射面强度等，大多数点云数据是由3d扫描设备产生的，例如2d/3d激光雷达、立体摄像头(stereocamera)、越渡时间相机(time-of-flightcamera)，这些设备用自动化的方式测量在物体表面的大量的点的信息，然后用某种数据文件输出点云数据。

当然，本领域技术人员应能理解，以上所述用于生成二维特征点周围邻域与上述三维数据之间的对应关系的方式仅为举例而不对本申请进行限定，其他现有的或今后可能出现的能够用于生成二维特征点周围邻域与上述三维数据之间的对应关系的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，还可通过手工方式确定上述对应关系，即采用手工测量的方法，利用3dsmax或者maya等工具中的测量工具测出基础的三维空间位置数据，再进一步确定上述对应关系。

在步骤s13中，发布设备基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容，以供用户设备基于所述三维数据叠加呈现所述增强现实内容。例如，在增强现实内容的新增或更新工作完成之后，将场景的配置文件、上述第一图像特征信息和三维数据、增强现实内容和增强现实内容的位置/姿态等打包并生成数据包，该数据包用于供用户设备叠加呈现所述增强现实内容。其中，增强现实内容包括但不限于标签、三维模型、图像、视频、文字、动画等。在一些实施例中，在编辑器场景中导入关于目标装置的可识别区域图像(可视为厚度为0的空间物体，因此也具有空间位置和空间姿态)，和/或目标装置的三维模型，和/或上述三维数据后，将三维场景中的可识别区域图像(可视为厚度为0的空间物体)，和/或目标装置的三维模型，和/或目标装置的三维数据呈现给用户以作为叠加增强现实内容的位置参考信息，例如导入上述可识别区域图像和/或三维模型和/或三维数据的默认区域在场景的坐标原点；根据用户操作，选取素材库中任一素材，并以拖拽、缩放、旋转等操作将该素材放置于对应的空间位置和空间姿态以设置增强现实内容。之后，基于增强现实内容相对于三维数据的空间位置和空间姿态发布增强现实内容。

在一些实施例中，在设置增强现实内容的空间位置和姿态前，发布设备(或者其他设备)已经基于目标装置的三维模型获取对应的三维数据。在另一些实施例中，上述三维数据则是在确定增强现实内容的空间位置和姿态后才根据目标装置的三维模型得到的。其他用户设备即可基于三维数据确定对应的增强现实内容及其空间位置和姿态。

其中，以上所述的可识别区域图像、三维模型或三维数据用于确定待由其他用户设备叠加呈现的增强现实内容相对于目标装置的空间位置，以在其他用户设备的显示装置上的正确位置叠加呈现上述增强现实内容。因此，以上所述的基于可识别区域图像、三维模型或三维数据的确定增强现实内容的空间位置和空间姿态的方法仅为举例，其他现有的或今后可能出现的用于确定增强现实内容的空间位置和空间姿态的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。由于三维数据较为抽象，在以三维数据为基础对增强现实内容进行空间定位时，为便于用户在编辑时参考，亦可考虑在编辑器中向用户呈现对应的三维模型。

其中，上述第一图像特征信息用于确定对应的三维数据，例如在一些实施例中，用户设备拍摄关于目标装置的第二目标图像后，将第二目标图像和第一目标图像进行匹配、再确定对应的三维数据，由于不需要直接将第二目标图像(或者提取自第二目标图像的特征信息)与三维数据进行匹配，因此算法的计算量小、实时性好。

在一些实施例中，需要先准备目标装置所对应的三维数据。相应地，上述方法还包括步骤s14(未示出)。在步骤s14中，发布设备基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据。在一些实施例中，首先获取目标装置的三维模型，例如通过三维模型制作工具制作具备纹理和材质的数字化的三维模型，或者基于厂家供应的三维数字模型在三维制作工具中生成具备纹理和材质的数字化的三维模型；随后，根据得到的目标装置的三维模型，生成并保存相应的三维数据。例如，对于边缘数据、表面结构数据等几何结构数据而言，可以利用得到的三维模型(包括但不限于cad模型)，提取三维模型的边缘数据或表面结构数据，从而得到与三维模型对应的三维数据；而对于点云数据而言，可以利用得到的三维模型，提取局部角点纹理区域的三维位置信息，生成角点和三维数据对应信息，并保存为与三维模型对应的三维点云数据。

在一些实施例中，上述方法还包括步骤s15(未示出)。在步骤s15中，发布设备基于第一用户的内容设置指令(例如拖拽、旋转、缩放等，或者设置文字内容、链接地址等)，以及所述三维数据，设置至少一个增强现实内容。其中，对增强现实内容的设置是基于上述三维数据的，例如在空间中的特定位置添加或修改增强现实内容，并建立该增强现实内容与三维数据之间的对应关系，以供其他用户设备根据该三维数据确定所述增强现实内容及其空间位置和姿态；在一些实施例中，由用户确定增强现实内容相对于目标装置的三维模型的空间位置和姿态，再根据三维模型和三维数据之间的对应关系，确定增强现实内容与三维数据之间的对应关系。随后在步骤s13中，发布设备基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布所述至少一个增强现实内容，具体方式与以上所述的发布过程相同或基本相同，不再赘述，并以引用方式包含于此。

其中，在一些实施例中，上述方法还包括步骤s16(未示出)。在步骤s16中，发布设备基于所述第一图像特征信息和所述特征对应关系，匹配所述目标装置的三维数据。例如，分别关于多个目标装置的多个三维数据存储于其他设备或由其他设备生成；发布设备基于所述第一图像特征信息和所述特征对应关系，访问所述第一图像特征信息所对应的三维数据，并将该三维数据保存至本地以供用户编辑相应的增强现实内容。随后，在步骤s15中，发布设备基于第一用户的内容设置指令，以及基于所述第一图像特征信息匹配所得的三维数据，设置至少一个增强现实内容，具体的实现方式与以上所述的实现方式相同或基本相同，不再赘述，并以引用方式包含于此。当然，为便于用户在编辑时参考，同样可在编辑器中向用户呈现三维模型和/或可识别区域图像，则在步骤s16中，发布设备还需读取对应的三维模型和/或可识别区域图像并保存至本地。

考虑到增强现实内容的开发具有一定的难度，为便于用户设置增强现实内容的类型(例如标签、图像、视频、动画、三维模型等)、自身的外观属性(例如增强现实内容的形状、大小、色彩等)或其他属性(例如增强现实内容的空间位置、空间姿态等)、交互属性(例如，点击后可以关联视频、超链接、音频(例如语音)、文字、动画等)等，在一些实施例中，增强现实内容是基于预设内容属性信息设置的。在步骤s15中，发布设备基于第一用户的内容设置指令以及所述三维数据，基于至少一个增强现实内容的预设内容属性信息设置所述增强现实内容的内容属性信息，以设置所述至少一个增强现实内容。其中，所述预设内容属性信息包括以下一项或者几项：所述增强现实内容的尺寸信息、所述增强现实内容的空间位置信息、所述增强现实内容的空间姿态信息、所述增强现实内容的外观信息、所述增强现实内容的交互属性。当然，本领域技术人员应能理解，发布上述增强现实内容的过程，并不限于基于上述三维数据，例如亦可基于二维图像。相应地在一些实施例中，发布设备获取需设置的增强现实内容的预设内容属性信息，例如该需设置的增强现实内容是关于目标装置的预设内容属性信息，并基于用户的内容设置指令，以及所述预设内容属性信息，设置关于目标装置的至少一个增强现实内容的内容属性信息，以设置所述至少一个增强现实内容；随后，可选地，发布所述至少一个增强现实内容。除上述区别外，增强现实内容的设置方式或者发布方式，与以上及后续的实施例中的增强现实内容的设置方式或者发布方式，相同或者基本相同，不予赘述，并以引用的方式包含于此。

例如，以上述增强现实内容的类型为标签为例，其预设内容属性信息由标签模板提供。用户将某个标签模板拖动到场景中后，标签可以被拖动以改变位置、放大、缩小、旋转，还可以自定义外观(如将标签形状更改为圆形、方形等，或者更改标签的颜色)等，还可以包含文字，例如用户选择该标签模板后，文字可以供用户修改；标签上设置有链接，链接地址可供用户修改；标签上设置有视频，视频内容可供用户修改，等等。同样，对于增强现实内容的交互属性而言，增强现实内容的交互属性用于确定该增强现实内容的供交互(例如包括但不限于点击后弹出)的关联内容；用户也可修改点击标签后关联的图片、视频、超链接、音频(例如语音)、文字或动画等；对于图像、视频、动画、三维模型等类型的增强现实内容，与此类似，不予赘述。根据上述标签模板，用户可以便捷的获取具有上述属性的标签，不需要再次开发。

在一些实施例中，参考图2，所述方法还包括步骤s17、步骤s18和步骤s19。

在步骤s17中，发布设备根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的。

同时参考图3示出的发布设备与用户设备协同工作的流程，用户设备拍摄关于目标装置实物的第二目标图像。随后，在一些实施例中，用户设备将该第二目标图像发送至发布设备，发布设备首先对第二目标图像进行特征提取并取得对应的第二图像特征信息，随后在步骤s17中，发布设备根据所述第二图像特征信息匹配所述第一图像特征信息。在另一些实施例中，用户设备对该第二目标图像进行特征提取并取得对应的第二图像特征信息，并将该第二图像特征信息发送至发布设备；在步骤s17中，发布设备根据所述第二图像特征信息匹配所述第一图像特征信息。

在步骤s18中，发布设备基于所述第二图像特征信息以及对应的三维数据，确定所述用户设备的位姿信息，以及所述增强现实内容的位置信息。其中，在一些实施例中，上述三维数据是基于所述第一图像特征信息和对应的对应关系确定的；在根据对应关系确定三维数据之后，再基于所述第二图像特征信息(例如多个特征点)以及对应的三维数据，确定所述用户设备在空间中的位姿信息，以及所述增强现实内容的位置信息。

在步骤s19中，发布设备将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备，以供所述用户设备基于所述位姿信息和所述位置信息，叠加呈现所述增强现实内容。

其中，本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现和/或用于设置增强现实内容。其中，在一些实施例中，该增强现实内容叠加呈现于目标装置上，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现；该显示装置在一些实施例中包括触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

在上面的例子中，用户设备的空间位置和空间姿态是由发布设备确定的。实际上，在以上所述的增强现实内容发布之后，用户设备的空间位置和空间姿态也可由用户设备自身确定，具体方式与发布设备确定用户设备的位姿信息的方式相同或基本相同。根据本申请的另一个方面，提供了一种在用户设备端用于呈现增强现实内容的方法。参考图4，该方法包括步骤s21、步骤s22、步骤s23和步骤s24。

在步骤s21中，用户设备基于关于目标装置的第二目标图像的第二图像特征信息，匹配关于所述目标装置的第一图像特征信息。其中，在一些实施例中，用户设备采集所述第二目标图像，并提取第二图像特征信息，基于该第二特征信息匹配对应的第一图像特征信息。在此之前，在一些实施例中，用户设备首先获取由发布设备所发布的增强现实内容，并取得第一图像特征信息；同时，用户设备还取得目标装置的三维数据，以及第一图像特征信息和三维数据的对应关系。在步骤s22中，用户设备基于所述第一图像特征信息以及对应的特征对应关系，确定所述目标装置的三维数据。在此，目标装置的三维数据包括但不限于以下的一种或几种的组合：目标装置的边缘数据、目标装置的表面结构数据、目标装置的点云数据。在步骤s23中，用户设备基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息，以及所述三维数据所对应的增强现实内容的位置信息。在步骤s24中，用户设备基于所述位姿信息以及所述增强现实内容的位置信息，叠加呈现所述增强现实内容。例如，用户设备基于所述位姿信息和所述位置信息，确定增强现实内容相对于用户设备的空间方位，并在用户设备的显示装置上呈现该增强现实内容。

在一些实施例中，用于叠加呈现的增强现实内容由发布者根据实际需要，基于预设内容属性信息编辑后得到所需的内容属性信息并发布。在步骤s24中，用户设备基于所述三维数据，确定对应的增强现实内容的内容属性信息，并基于所述位姿信息、所述增强现实内容的位置信息以及所述增强现实内容的内容属性信息，叠加呈现所述增强现实内容。例如，以上述增强现实内容的类型为标签为例，其预设内容属性信息由标签模板提供。用户将某个标签模板拖动到场景中后，标签可以被拖动以改变位置、放大、缩小、旋转，还可以自定义外观(如圆形、方形)等，还可以包含文字，例如用户选择该标签模板后，文字可以供用户修改；标签上设置有链接，链接地址可供用户修改；标签上设置有视频，视频内容可供用户修改，等等。同样，对于增强现实内容的交互属性而言，用户也可修改点击标签后关联的视频、超链接、音频(例如语音)、文字或动画等。根据上述标签模板，用户可以便捷的获取具有上述属性的标签，不需要再次开发。

除了以上所述的第一图像特征信息确定相应的三维数据的方式之外，还可直接将用户设备所拍摄的图像与三维数据进行匹配，进而确定用户设备的位姿。根据本申请的另一个方面，提供了一种在发布设备端用于呈现增强现实内容的方法。

参考图5，该方法包括步骤s31和步骤s32。在步骤s31中，发布设备获取待设置增强现实内容的目标装置的三维模型，例如通过三维模型制作工具制作具备纹理和材质的数字化的三维模型，或者基于厂家供应的三维数字模型在三维制作工具中生成具备纹理和材质的数字化的三维模型；随后在步骤s32中，发布设备基于所述三维模型，发布至少一个增强现实内容，以供用户设备基于所述三维模型所对应的三维数据叠加呈现所述增强现实内容。例如，在增强现实内容的新增或更新工作完成之后，将场景的配置文件、相应的三维数据、增强现实内容和增强现实内容的位置/姿态等打包并生成数据包。其中，三维数据可以是在设置增强现实内容的空间位置和姿态前获取的，也可以是在设置增强现实内容的空间位置和姿态后获取的。例如，根据得到的目标装置的三维模型，生成并保存相应的三维数据。对于边缘数据、表面结构数据等几何结构数据而言，可以利用得到的三维模型(包括但不限于cad模型)，提取三维模型的边缘数据或表面结构数据，从而得到与三维模型对应的三维数据；而对于点云数据而言，可以利用得到的三维模型，提取局部角点纹理区域的三维位置信息，生成角点和三维数据对应信息，并保存为与三维模型对应的三维点云数据。

在一些实施例中，参考图6，上述方法还包括步骤s33和步骤s34。在步骤s33中，发布设备基于关于第三目标图像的第三图像特征(例如特征点)以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，其中所述第三目标图像是由所述用户设备拍摄的。例如，基于第三目标图像的二维特征点，通过bow进行匹配，当匹配点超过一定阈值时就开始初始化pnp(perspectivenpoints)算法计算位姿。pnp的实现方式有多种，包括直接线性变换、p3p、epnp、upnp等等，使用上述方法计算一个位姿的初始值，然后构建一个最小化重投影误差(bundleadjustment,ba)进行迭代优化，直到确定位姿。

同样地，为了便于制作增强现实内容，在一些实施例中，增强现实内容是基于预设内容属性信息设置的，具体实现方式与以上所述的基于预设内容属性信息设置增强现实内容的方式相同或基本相同，不再赘述，并以引用方式包含于此。

同时参考图7示出的发布设备与用户设备协同工作的流程，用户设备拍摄关于目标装置实物的第三目标图像。随后，在一些实施例中，用户设备将该第三目标图像发送至发布设备，发布设备首先对第三目标图像进行特征提取并取得对应的第三图像特征信息，随后在步骤s33中，发布设备基于所述第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息。在另一些实施例中，用户设备对该第三目标图像进行特征提取并取得对应的第三图像特征信息，并将该第三图像特征信息发送至发布设备；在步骤s33中，发布设备基于所述第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息。

在步骤s34中，发布设备将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备，以供所述用户设备基于所述位姿信息和所述位置信息叠加呈现所述增强现实内容。

在上面的例子中，用户设备的空间位置和空间姿态是由发布设备确定的。实际上，在以上所述的增强现实内容发布之后，用户设备的空间位置和空间姿态也可由用户设备自身确定，具体方式与发布设备确定用户设备的位姿信息的方式相同或基本相同。根据本申请的另一个方面，提供了一种在用户设备端用于呈现增强现实内容的方法。参考图8，该方法包括步骤s41、步骤s42、步骤s43和步骤s44。

在步骤s41中，用户设备获取目标装置的第四目标图像，例如通过摄像装置拍摄目标装置，并获得该第四目标图像。在步骤s42中，用户设备基于所述第四目标图像，确定关于所述第四目标图像的第四图像特征信息。在步骤s43中，用户设备基于所述第四图像特征信息以及关于所述目标装置的三维数据，确定所述用户设备的位姿信息以及所述三维数据所对应的增强现实内容的位置信息。在此之前，在一些实施例中，用户设备首先获取由发布设备所发布的增强现实内容，并取得目标装置的三维数据。在步骤s44中，用户设备基于所述位姿信息以及所述位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的发布设备。参考图9，该发布设备包括第一一模块11、第一二模块12和第一三模块13。

第一一模块11对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息。在此，可识别区域图像与目标装置相对应。在一些实施例中，可识别区域图像是基于目标装置的三维模型(例如，在计算机视觉及计算机图形学中，用于封装物体形状的数字化的三维模型)的可识别区域获得的，其中可识别区域的特征信息较为丰富(例如纹理丰富)而便于特征提取；可识别区域图像可以通过不同的方式获取，例如通过3dsmax、maya等工具得到目标装置的三维模型的cg(computergraphics,计算机图形)图像，或者通过将虚拟摄像机放置在三维模型的识别区域的正面位置，以生成数字图像，从而得到该可识别区域图像。对目标装置的可识别区域图像进行特征提取(例如提取可识别区域图像的特征点)，获得可识别区域图像所对应的图像特征信息(下称第一图像特征信息)。

当然，本领域技术人员应能理解，以上所述的用于得到可识别区域图像的方式仅为举例而不对本申请进行限定，其他现有的或今后可能出现的能够用于生成可识别区域图像的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

第一二模块12确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系。在此，目标装置的三维数据包括但不限于以下的一种或几种的组合：目标装置的边缘数据、目标装置的表面结构数据、目标装置的点云数据。在一些实施例中，将所述可识别区域图像作为输入，并采用特征提取的方式得到相应的二维特征点时，同时生成了二维特征点周围邻域与上述三维数据之间的对应关系(例如，二维特征点和边缘数据、表面结构数据或点云数据的特征点之间的对应关系)，并可将这种对应关系储存至特征库用于后续的识别对应工作，例如基于二维特征点和该对应关系可以确定相应的三维数据，也可以确定二维图像上某个目标点在目标装置(或者其三维数字模型)上对应的三维空间位置。其中，上述对应关系可以利用slam算法或其它三维重构方法计算得到。

其中，边缘数据主要表现为物体局部特征的不连续性，例如垂直、直角、圆、锐角等等；在检测物体边缘时，根据梯度分布信息先对具有明显边缘特征轮廓点进行粗略检测，然后通过链接规则把原来检测到的轮廓点连接起来，同时也检测和连接遗漏的边界点及去除虚假的边界点。表面结构数据为目标装置的表面数据结构，由构成一个基础面的顶点索引；构成一个三维结构的三角面片索引或四角面片的索引信息构成；三角面片或四角面片的表面法向；顶点和三角面片或四角面片的表面rgb颜色、灰度值、深度值、表面光度属性等构成。点云数据是指在一个三维坐标系统中的一组向量的集合，这些向量通常以(x,y,z)三维坐标的形式表示，一般主要用来代表一个物体的外表面形状；除(x,y,z)代表的几何位置信息之外，点云数据还可以表示一个点的rgb颜色、灰度值、深度、分割结果、物体反射面强度等，大多数点云数据是由3d扫描设备产生的，例如2d/3d激光雷达、立体摄像头(stereocamera)、越渡时间相机(time-of-flightcamera)，这些设备用自动化的方式测量在物体表面的大量的点的信息，然后用某种数据文件输出点云数据。

当然，本领域技术人员应能理解，以上所述用于生成二维特征点周围邻域与上述三维数据之间的对应关系的方式仅为举例而不对本申请进行限定，其他现有的或今后可能出现的能够用于生成二维特征点周围邻域与上述三维数据之间的对应关系的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，还可通过手工方式确定上述对应关系，即采用手工测量的方法，利用3dsmax或者maya等工具中的测量工具测出基础的三维空间位置数据，再进一步确定上述对应关系。

第一三模块13基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容，以供用户设备基于所述三维数据叠加呈现所述增强现实内容。例如，在增强现实内容的新增或更新工作完成之后，将场景的配置文件、上述第一图像特征信息和三维数据、增强现实内容和增强现实内容的位置/姿态等打包并生成数据包，该数据包用于供用户设备叠加呈现所述增强现实内容。其中，增强现实内容包括但不限于标签、三维模型、图像、视频、文字、动画等。在一些实施例中，在编辑器中导入关于目标装置的可识别区域图像(可视为厚度为0的空间物体，因此也具有空间位置和空间姿态)，和/或目标装置的三维模型，和/或上述三维数据后，将三维场景中的可识别区域图像(可视为厚度为0的空间物体)，和/或目标装置的三维模型，和/或目标装置的三维数据呈现给用户以作为叠加增强现实内容的位置参考信息，例如导入上述可识别区域图像和/或三维模型和/或三维数据的默认区域在场景的坐标原点；根据用户操作，选取素材库中任一素材，并以拖拽、缩放、旋转等操作将该素材放置于对应的空间位置和空间姿态以设置增强现实内容。之后，基于增强现实内容相对于三维数据的空间位置和空间姿态发布增强现实内容。其中，由于三维数据较为抽象，为便于用户在编辑时参考，可在编辑器中向用户呈现三维模型。

在一些实施例中，在设置增强现实内容的空间位置和姿态前，发布设备(或者其他设备)已经基于目标装置的三维模型获取对应的三维数据。在另一些实施例中，上述三维数据则是在确定增强现实内容的空间位置和姿态后才根据目标装置的三维模型得到的。其他用户设备即可基于三维数据确定对应的增强现实内容及其空间位置和姿态。

其中，以上所述的可识别区域图像、三维模型或三维数据用于确定待由其他用户设备叠加呈现的增强现实内容相对于目标装置的空间位置，以在其他用户设备的显示装置上的正确位置叠加呈现上述增强现实内容。因此，以上所述的基于可识别区域图像、三维模型或三维数据的确定增强现实内容的空间位置和空间姿态的方法仅为举例，其他现有的或今后可能出现的用于确定增强现实内容的空间位置和空间姿态的方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。由于三维数据较为抽象，在以三维数据为基础对增强现实内容进行空间定位时，为便于用户在编辑时参考，亦可考虑在编辑器中向用户呈现对应的三维模型。

其中，上述第一图像特征信息用于确定对应的三维数据，例如在一些实施例中，用户设备拍摄关于目标装置的第二目标图像后，将第二目标图像和第一目标图像进行匹配、再确定对应的三维数据，由于不需要直接将第二目标图像(或者提取自第二目标图像的特征信息)与三维数据进行匹配，因此算法的计算量小、实时性好。

在一些实施例中，需要先准备目标装置所对应的三维数据。相应地，上述发布设备还包括第一四模块14(未示出)。第一四模块14基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据。在一些实施例中，首先获取目标装置的三维模型，例如通过三维模型制作工具制作具备纹理和材质的数字化的三维模型，或者基于厂家供应的三维数字模型在三维制作工具中生成具备纹理和材质的数字化的三维模型；随后，根据得到的目标装置的三维模型，生成并保存相应的三维数据。例如，对于边缘数据、表面结构数据等几何结构数据而言，可以利用得到的三维模型(包括但不限于cad模型)，提取三维模型的边缘数据或表面结构数据，从而得到与三维模型对应的三维数据；而对于点云数据而言，可以利用得到的三维模型，提取局部角点纹理区域的三维位置信息，生成角点和三维数据对应信息，并保存为与三维模型对应的三维点云数据。

在一些实施例中，上述发布设备还包括第一五模块15(未示出)。第一五模块15基于第一用户的内容设置指令(例如拖拽、旋转、缩放等，或者设置文字内容、链接地址等)，以及所述三维数据，设置至少一个增强现实内容。其中，对增强现实内容的设置是基于上述三维数据的，例如在空间中的特定位置添加或修改增强现实内容，并建立该增强现实内容与三维数据之间的对应关系，以供其他用户设备根据该三维数据确定所述增强现实内容及其空间位置和姿态；在一些实施例中，由用户确定增强现实内容相对于目标装置的三维模型的空间位置和姿态，再根据三维模型和三维数据之间的对应关系，确定增强现实内容与三维数据之间的对应关系。随后第一三模块13基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布所述至少一个增强现实内容，具体方式与以上所述的发布过程相同或基本相同，不再赘述，并以引用方式包含于此。

其中，在一些实施例中，上述发布设备还包括第一六模块16(未示出)。第一六模块16基于所述第一图像特征信息和所述特征对应关系，匹配所述目标装置的三维数据。例如，分别关于多个目标装置的多个三维数据存储于其他设备或由其他设备生成；发布设备基于所述第一图像特征信息和所述特征对应关系，访问所述第一图像特征信息所对应的三维数据，并将该三维数据保存至本地以供用户编辑相应的增强现实内容。随后第一五模块15基于第一用户的内容设置指令，以及基于所述第一图像特征信息匹配所得的三维数据，设置至少一个增强现实内容，具体的实现方式与以上所述的实现方式相同或基本相同，不再赘述，并以引用方式包含于此。当然，为便于用户在编辑时参考，同样可在编辑器中向用户呈现三维模型，则第一六模块16还需读取对应的三维模型和/或可识别区域图像并保存至本地。

考虑到增强现实内容的开发具有一定的难度，为便于用户设置增强现实内容的类型(例如标签、图像、视频、动画、三维模型等)、自身的外观属性(例如增强现实内容的形状、大小、色彩等)或其他属性(例如增强现实内容的空间位置、空间姿态等)、交互属性(例如，点击后可以关联视频、超链接、音频(例如语音)、文字、动画等)等，在一些实施例中，增强现实内容是基于预设内容属性信息设置的。第一五模块15基于第一用户的内容设置指令以及所述三维数据，基于至少一个增强现实内容的预设内容属性信息设置所述增强现实内容的内容属性信息，以设置所述至少一个增强现实内容。其中，所述预设内容属性信息包括以下一项或者几项：所述增强现实内容的尺寸信息、所述增强现实内容的空间位置信息、所述增强现实内容的空间姿态信息、所述增强现实内容的外观信息、所述增强现实内容的交互属性。当然，本领域技术人员应能理解，发布上述增强现实内容的过程，并不限于基于上述三维数据，例如亦可基于二维图像。相应地在一些实施例中，发布设备获取需设置的增强现实内容的预设内容属性信息，例如该需设置的增强现实内容是关于目标装置的预设内容属性信息，并基于用户的内容设置指令，以及所述预设内容属性信息，设置关于目标装置的至少一个增强现实内容的内容属性信息，以设置所述至少一个增强现实内容；随后，可选地，发布所述至少一个增强现实内容。除上述区别外，增强现实内容的设置方式或者发布方式，与以上及后续的实施例中的增强现实内容的设置方式或者发布方式，相同或者基本相同，不予赘述，并以引用的方式包含于此。

例如，以上述增强现实内容的类型为标签为例，其预设内容属性信息由标签模板提供。用户将某个标签模板拖动到场景中后，标签可以被拖动以改变位置、放大、缩小、旋转，还可以自定义外观(如将标签形状更改为圆形、方形等，或者更改标签的颜色)等，还可以包含文字，例如用户选择该标签模板后，文字可以供用户修改；标签上设置有链接，链接地址可供用户修改；标签上设置有视频，视频内容可供用户修改，等等。同样，对于增强现实内容的交互属性而言，增强现实内容的交互属性用于确定该增强现实内容的供交互(例如包括但不限于点击后弹出)的关联内容；用户也可修改点击标签后关联的图片、视频、超链接、音频(例如语音)、文字或动画等；对于图像、视频、动画、三维模型等类型的增强现实内容，与此类似，不予赘述。根据上述标签模板，用户可以便捷的获取具有上述属性的标签，不需要再次开发。

在一些实施例中，参考图10，所述发布设备还包括第一七模块17、第一八模块18和第一九模块19。

第一七模块17根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的。

同时再次参考图3示出的发布设备与用户设备协同工作的流程，用户设备拍摄关于目标装置实物的第二目标图像。随后，在一些实施例中，用户设备将该第二目标图像发送至发布设备，发布设备首先对第二目标图像进行特征提取并取得对应的第二图像特征信息，随后第一七模块17根据所述第二图像特征信息匹配所述第一图像特征信息。在另一些实施例中，用户设备对该第二目标图像进行特征提取并取得对应的第二图像特征信息，并将该第二图像特征信息发送至发布设备；第一七模块17根据所述第二图像特征信息匹配所述第一图像特征信息。

第一八模块18基于所述第二图像特征信息以及对应的三维数据，确定所述用户设备的位姿信息，以及所述增强现实内容的位置信息。其中，在一些实施例中，上述三维数据是基于所述第一图像特征信息和对应的对应关系确定的；在根据对应关系确定三维数据之后，再基于所述第二图像特征信息(例如多个特征点)以及对应的三维数据，确定所述用户设备在空间中的位姿信息，以及所述增强现实内容的位置信息。

第一九模块19将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备，以供所述用户设备基于所述位姿信息和所述位置信息，叠加呈现所述增强现实内容。

其中，本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现和/或用于设置增强现实内容。其中，在一些实施例中，该增强现实内容叠加呈现于目标装置上，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现；该显示装置在一些实施例中包括触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

在上面的例子中，用户设备的空间位置和空间姿态是由发布设备确定的。实际上，在以上所述的增强现实内容发布之后，用户设备的空间位置和空间姿态也可由用户设备自身确定，具体方式与发布设备确定用户设备的位姿信息的方式相同或基本相同。根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备。参考图11，该用户设备包括第二一模块21、第二二模块22、第二三模块23和第二四模块24。

第二一模块21基于关于目标装置的第二目标图像的第二图像特征信息，匹配关于所述目标装置的第一图像特征信息。其中，在一些实施例中，用户设备采集所述第二目标图像，并提取第二图像特征信息，基于该第二特征信息匹配对应的第一图像特征信息。在此之前，在一些实施例中，用户设备首先获取由发布设备所发布的增强现实内容，并取得第一图像特征信息；同时，用户设备还取得目标装置的三维数据，以及第一图像特征信息和三维数据的对应关系。第二二模块22基于所述第一图像特征信息以及对应的特征对应关系，确定所述目标装置的三维数据。在此，目标装置的三维数据包括但不限于以下的一种或几种的组合：目标装置的边缘数据、目标装置的表面结构数据、目标装置的点云数据。第二三模块23基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息，以及所述三维数据所对应的增强现实内容的位置信息。第二四模块24基于所述位姿信息以及所述增强现实内容的位置信息，叠加呈现所述增强现实内容。例如，第二四模块24基于所述位姿信息和所述位置信息，确定增强现实内容相对于用户设备的空间方位，并在用户设备的显示装置上呈现该增强现实内容。

在一些实施例中，用于叠加呈现的增强现实内容由发布者根据实际需要，基于预设内容属性信息编辑后得到所需的内容属性信息并发布。第二四模块24基于所述三维数据，确定对应的增强现实内容的内容属性信息，并基于所述位姿信息、所述增强现实内容的位置信息以及所述增强现实内容的内容属性信息，叠加呈现所述增强现实内容。例如，以上述增强现实内容的类型为标签为例，其预设内容属性信息由标签模板提供。用户将某个标签模板拖动到场景中后，标签可以被拖动以改变位置、放大、缩小、旋转，还可以自定义外观(如圆形、方形)等，还可以包含文字，例如用户选择该标签模板后，文字可以供用户修改；标签上设置有链接，链接地址可供用户修改；标签上设置有视频，视频内容可供用户修改，等等。同样，对于增强现实内容的交互属性而言，用户也可修改点击标签后关联的视频、超链接、音频(例如语音)、文字或动画等。根据上述标签模板，用户可以便捷的获取具有上述属性的标签，不需要再次开发。

除了以上所述的第一图像特征信息确定相应的三维数据的方式之外，还可直接将用户设备所拍摄的图像与三维数据进行匹配，进而确定用户设备的位姿。根据本申请的另一个方面，提供了一种用于呈现增强现实内容的发布设备。

参考图12，该发布设备包括第三一模块31和第三二模块32。第三一模块31获取待设置增强现实内容的目标装置的三维模型，例如通过三维模型制作工具制作具备纹理和材质的数字化的三维模型，或者基于厂家供应的三维数字模型在三维制作工具中生成具备纹理和材质的数字化的三维模型；随后第三二模块32基于所述三维模型，发布至少一个增强现实内容，以供用户设备基于所述三维模型所对应的三维数据叠加呈现所述增强现实内容。例如，在增强现实内容的新增或更新工作完成之后，将场景的配置文件、相应的三维数据、增强现实内容和增强现实内容的位置/姿态等打包并生成数据包。其中，三维数据可以是在设置增强现实内容的空间位置和姿态前获取的，也可以是在设置增强现实内容的空间位置和姿态后获取的。例如，根据得到的目标装置的三维模型，生成并保存相应的三维数据。对于边缘数据、表面结构数据等几何结构数据而言，可以利用得到的三维模型(包括但不限于cad模型)，提取三维模型的边缘数据或表面结构数据，从而得到与三维模型对应的三维数据；而对于点云数据而言，可以利用得到的三维模型，提取局部角点纹理区域的三维位置信息，生成角点和三维数据对应信息，并保存为与三维模型对应的三维点云数据。

在一些实施例中，参考图13，上述发布设备还包括第三三模块33和第三四模块34。第三三模块33基于关于第三目标图像的第三图像特征(例如特征点)以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，其中所述第三目标图像是由所述用户设备拍摄的。例如，基于第三目标图像的二维特征点，通过bow进行匹配，当匹配点超过一定阈值时就开始初始化pnp(perspectivenpoints)算法计算位姿。pnp的实现方式有多种，包括直接线性变换、p3p、epnp、upnp等等，使用上述方法计算一个位姿的初始值，然后构建一个最小化重投影误差(bundleadjustment,ba)进行迭代优化，直到确定位姿。

同样地，为了便于制作增强现实内容，在一些实施例中，增强现实内容是基于预设内容属性信息设置的，具体实现方式与以上所述的基于预设内容属性信息设置增强现实内容的方式相同或基本相同，不再赘述，并以引用方式包含于此。

同时再次参考图7示出的发布设备与用户设备协同工作的流程，用户设备拍摄关于目标装置实物的第三目标图像。随后，在一些实施例中，用户设备将该第三目标图像发送至发布设备，发布设备首先对第三目标图像进行特征提取并取得对应的第三图像特征信息，随后第三三模块33基于所述第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息。在另一些实施例中，用户设备对该第三目标图像进行特征提取并取得对应的第三图像特征信息，并将该第三图像特征信息发送至发布设备；第三三模块33基于所述第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息。

第三四模块34将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备，以供所述用户设备基于所述位姿信息和所述位置信息叠加呈现所述增强现实内容。

在上面的例子中，用户设备的空间位置和空间姿态是由发布设备确定的。实际上，在以上所述的增强现实内容发布之后，用户设备的空间位置和空间姿态也可由用户设备自身确定，具体方式与发布设备确定用户设备的位姿信息的方式相同或基本相同。根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备。参考图14，该用户设备包括第四一模块41、第四二模块42、第四三模块43和第四四模块44。

第四一模块41获取目标装置的第四目标图像，例如通过摄像装置拍摄目标装置，并获得该第四目标图像。第四二模块42基于所述第四目标图像，确定关于所述第四目标图像的第四图像特征信息。第四三模块43基于所述第四图像特征信息以及关于所述目标装置的三维数据，确定所述用户设备的位姿信息以及所述三维数据所对应的增强现实内容的位置信息。在此之前，在一些实施例中，用户设备首先获取由发布设备所发布的增强现实内容，并取得目标装置的三维数据。第四四模块44基于所述位姿信息以及所述位置信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

发布设备对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息，确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系，并基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容；

所述发布设备根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的；

所述发布设备基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备；

所述用户设备基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的系统，包括发布设备和用户设备；

其中，所述发布设备用于：

对待设置增强现实内容的目标装置对应的至少一个可识别区域图像进行特征提取，以获得关于所述可识别区域图像的第一图像特征信息，确定所述第一图像特征信息和所述目标装置的三维数据之间的特征对应关系，并基于所述第一图像特征信息、所述三维数据以及所述特征对应关系，发布至少一个增强现实内容；

根据第二图像特征信息匹配所述第一图像特征信息，其中，所述第二图像特征信息是根据对应的用户设备所拍摄的、关于所述目标装置的第二目标图像确定的；

基于所述第二图像特征信息以及所述三维数据，确定所述用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述用户设备的位姿信息以及所述增强现实内容的位置信息发送至所述用户设备；

所述用户设备用于：

基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

发布设备基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据，并基于所述三维数据，发布至少一个增强现实内容；

所述发布设备基于关于第三目标图像的第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述位姿信息以及所述位置信息发送至所述用户设备，其中所述第三目标图像是由所述用户设备拍摄的；

所述用户设备基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强显示内容的系统，包括发布设备和用户设备；

其中，所述发布设备用于：

基于待设置增强现实内容的目标装置的三维模型，确定所述目标装置的三维数据，并基于所述三维数据，发布至少一个增强现实内容；

基于关于第三目标图像的第三图像特征以及所述三维数据，确定对应的用户设备的位姿信息以及所述增强现实内容的位置信息，并将所述位姿信息以及所述位置信息发送至所述用户设备，其中所述第三目标图像是由所述用户设备拍摄的；

所述用户设备用于：

基于所述位姿信息以及所述位置信息叠加呈现所述增强现实内容。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图15示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图15所示，在一些实施例中，系统100能够作为各所述实施例中的任意一个发布设备或者用户设备。在一些实施例中，系统100可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备120)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器105)。

对于一个实施例，系统控制模块110可包括任意适当的接口控制器，以向(一个或多个)处理器105中的至少一个和/或与系统控制模块110通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块110可包括存储器控制器模块130，以向系统存储器115提供接口。存储器控制器模块130可以是硬件模块、软件模块和/或固件模块。

系统存储器115可被用于例如为系统100加载和存储数据和/或指令。对于一个实施例，系统存储器115可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器115可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。

对于一个实施例，系统控制模块110可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备120及(一个或多个)通信接口125提供接口。

例如，nvm/存储设备120可被用于存储数据和/或指令。nvm/存储设备120可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。

nvm/存储设备120可包括在物理上作为系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备120可通过网络经由(一个或多个)通信接口125进行访问。

(一个或多个)通信接口125可为系统100提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器(例如，存储器控制器模块130)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。

在各个实施例中，系统100可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统100包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。