一种用于呈现增强现实内容的方法与设备与流程

本申请涉及计算机领域，尤其涉及一种用于呈现增强现实内容的技术。

背景技术：

增强现实(augmentedreality,ar)是自然图片识别技术的子领域，强调虚实融合的自然人机视觉交互。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，从而达到超越现实的感官体验。

制作增强现实内容，一般需要专业的增强现实开发技术，如多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等。而普通的企业不具有这种专业的开发技术、不能根据需要自行制作增强现实内容，所以减少了企业对增强现实技术的兴趣。

技术实现要素：

本申请的一个目的是提供一种用于呈现增强现实内容的方法。

根据本申请的一个方面，提供了一种在第一用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

向网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容，所述增强现实内容用于供其他用户设备叠加呈现。

根据本申请的另一个方面，提供了一种在网络设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

接收第一用户设备所发送的预设特征图像以及所述预设特征图像对应的增强现实内容；

对所述预设特征图像进行特征提取，以获得对应的预设特征信息；以及

基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的另一个方面，提供了一种在第二用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

基于目标图像进行特征提取，以获得对应的目标特征信息；

向网络设备发送增强现实内容请求，其中所述增强现实内容请求包括所述目标特征信息，并接收所述网络设备返回的增强现实内容；以及

基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种在第二用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

向网络设备发送增强现实内容请求，并接收所述网络设备返回的增强现实内容和关于所述第二用户设备的位姿信息，其中所述增强现实内容请求包括目标图像；以及

基于所述位姿信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种在第一用户设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频；以及

接收所述网络设备返回的预设特征图像，所述预设特征图像包括所述目标视频中的特征帧。

根据本申请的另一个方面，提供了一种在网络设备端用于呈现增强现实内容的方法，该方法包括以下步骤：

接收第一用户设备所发送的增强现实内容，所述增强现实内容包括至少一个目标视频；

基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧；以及

基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的一个方面，提供了用于呈现增强现实内容的第一用户设备，该第一用户设备包括：

内容发送模块，用于向网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容，所述增强现实内容用于供其他用户设备叠加呈现。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的网络设备，该网络设备包括：

内容接收模块，用于接收第一用户设备所发送的预设特征图像以及所述预设特征图像对应的增强现实内容；

特征提取模块，用于对所述预设特征图像进行特征提取，以获得对应的预设特征信息；以及

内容匹配模块，用于基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的第二用户设备，该第二用户设备包括：

目标特征提取模块，用于基于目标图像进行特征提取，以获得对应的目标特征信息；

内容获取模块，用于向网络设备发送所述目标特征信息，并接收所述网络设备返回的增强现实内容；以及

内容呈现模块，用于基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的第二用户设备，该第二用户设备包括：

内容获取模块，用于向网络设备发送增强现实内容请求，并接收所述网络设备返回的增强现实内容和关于所述第二用户设备的位姿信息，其中所述增强现实内容请求包括目标图像；以及

内容呈现模块，用于基于所述位姿信息，叠加呈现所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的第一用户设备，该第一用户设备包括：

内容发送模块，用于向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频；

预设图像接收模块，用于接收所述网络设备返回的预设特征图像，所述预设特征图像包括所述目标视频中的特征帧。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的网络设备，该网络设备包括：

内容接收模块，用于接收第一用户设备所发送的增强现实内容，所述增强现实内容包括至少一个目标视频；

特征提取模块，用于基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，并基于所述预设特征图像提取目标特征信息，其中所述预设特征图像包括所述特征帧；以及

内容匹配模块，用于基于所述目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

第一用户设备向网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容；

所述网络设备对所述预设特征图像进行特征提取，以获得对应的预设特征信息；

所述网络设备基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容；以及

所述第二用户设备基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的系统，该系统包括以上所述的任一第一用户设备、任一网络设备和任一第二用户设备。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的方法，该方法包括以下步骤：

第一用户设备向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频；

所述网络设备基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧；以及

所述网络设备基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的用户设备，该用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上任一项所述的方法。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的网络设备，该网络设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上任一项所述的方法。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行以上任一项所述的方法。

与现有技术相比，基于本申请所提供的用于呈现增强现实内容的方法，增强现实内容的制作过程得以简化，企业可以快速制作增强现实内容，即使没有专业技术和编写程序的经验也可生成所需的增强现实内容。其中，企业只需要将增强现实内容(或者连同用于匹配该增强现实内容的预设特征图像)上传至网络设备(例如云端服务器)，其他用户即可查看该增强现实内容，从而开发增强现实内容所需的费用和时间都大大减少。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一个实施例中在网络设备端用于呈现增强现实内容的方法流程图；

图2是本申请另一个实施例中内容匹配步骤的子步骤流程图；

图3是本申请一个实施例中在第二用户设备端用于呈现增强现实内容的方法流程图；

图4是本申请一个实施例中用于呈现增强现实内容的方法流程图；

图5是本申请一个实施例中在第一用户设备端用于呈现增强现实内容的方法流程图；

图6是本申请一个实施例中在网络设备端用于呈现增强现实内容的方法流程图；

图7是本申请另一个实施例中用于呈现增强现实内容的方法流程图；

图8是本申请一个实施例中网络设备的功能模块图；

图9是本申请另一个实施例中内容匹配模块的子功能模块图；

图10是本申请一个实施例中第二用户设备的功能模块图；

图11是本申请一个实施例中第一用户设备的功能模块图；

图12是本申请一个实施例中网络设备的功能模块图；

图13示出可被用于实施本申请中各个实施例的示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、ios操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(asic)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、vpn网络、无线自组织网络(adhoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

根据本申请的一个方面，提供了一种在第一用户设备端用于呈现增强现实内容的方法，该方法包括步骤s101。在步骤s101中，第一用户设备向对应的网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容。其中，所述预设特征图像用于供其他用户设备识别，以匹配所述增强现实内容，从而叠加呈现所述增强现实内容。在一些实施例中，第一用户设备或其他设备(例如前述网络设备)首先从所述预设特征图像中提取预设特征信息(例如特征点)，其他用户设备对拍摄到的图像进行特征提取，并将提取得到的特征信息和前述预设特征信息进行匹配，从而匹配所述增强现实内容。

其中，本申请所指的用户设备(包括但不限于以下所述的第一用户设备、第二用户设备、其他用户设备)包括但不限于智能手机、个人电脑(例如，包括但不限于台式机和笔记本电脑)、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现和/或用于设置增强交互内容，其中，在一些实施例中，该增强交互内容叠加呈现于目标装置上，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现，例如用户设备实时拍摄和呈现目标装置的图像(或称目标图像)，并在呈现该图像的同时在目标装置上的特定位置叠加呈现增强交互内容；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强交互内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

在一些实施例中，在上述步骤s101之前，第一用户设备先获取预设特征图像及其对应的增强现实内容；在步骤s101中，第一用户设备再向网络设备发送所述预设特征图像及所述增强现实内容。

在第一用户设备向网络设备发送预设特征图像和对应的增强现实内容时，在一些情形下，用于供其他用户设备叠加呈现的增强现实内容，与预设特征图像(有时也称为识别图)在尺寸上并不匹配。例如，在增强现实内容为视频或者图像(包括静态和动态图像)的情况下，相对于预设特征图像，如果增强现实内容的尺寸过大，其他用户设备在叠加呈现该增强现实内容时，增强现实内容将占据过大的显示面积，甚至超出该设备的显示范围；而如果增强现实内容的尺寸过小，其他用户设备在叠加呈现该增强现实内容时，增强现实内容又将难以观察。由此可见，在预设特征图像与增强现实内容在尺寸上不匹配时，增强现实内容和预设特征图像的融合性较差，叠加呈现效果不理想。

鉴于以上所述的缺陷，在一些实施例中，上述方法还包括步骤s102(未示出)。在步骤s102中，第一用户设备基于预设特征图像的尺寸，调整所述预设特征图像所对应的增强现实内容的尺寸，例如基于预设特征图像的长、宽像素数量调整增强现实内容的尺寸；随后在步骤s101中，第一用户设备向网络设备发送所述预设特征图像，以及调整尺寸后的增强现实内容。

具体而言，在一些实施例中，若预设特征图像与视频/图片形式的增强现实内容的长宽比例(例如，基于长、宽边的像素数量)相同，那么将增强现实内容的大小调整到和预设特征图像的大小相同，以供其他用户设备在识别预设特征图像后，将增强现实内容叠加在该预设特征图像上。此时，其他用户设备扫描预设特征图像后，用户通过该设备只能看到叠加的视频、图像等增强现实内容，以实现最佳的观看方式。而若两者比例不同，则调整增强现实内容的至少一对边(2个长边或2个短边)与预设特征图像的一对边大小相等，并保持长宽比不变，同比例地调整视频、图像等增强现实内容的另一对边。此时其他用户设备扫描预设特征图像后，用户通过该设备能看到叠加的增强现实内容，同时还可能看到预设特征图像的局部。通过这种方式，当待叠加内容的尺寸比预设特征图像的尺寸大很多或者小很多时，都可以适当的调整，避免待叠加的内容过多地超出预设特征图像或设备显示区域的范围，或仅仅叠加在预设特征图像所对应的很小的范围上。

对于叠加呈现视频类型的增强现实内容的情形而言，通常的做法是，将预设特征图像(或称识别图)和视频内容分开处理，并分别上传预设特征图像和视频类型的增强现实内容，这就给用户设置增强现实内容带来了难度和不便。鉴于此，在一些实施例中，上述方法还包括步骤s103(未示出)。在步骤s103中，第一用户设备基于目标视频中的特征帧确定预设特征图像；随后在步骤s101中，第一用户设备向网络设备发送所述预设特征图像以及所述预设特征图像对应的增强现实内容，其中所述增强现实内容包括所述目标视频。通过这种方式，一方面用户制作和发布增强现实内容更方便，无需另外寻找和上传预设特征图像，减少了操作步骤、节省了时间，十分便利；另一方面，由于预设特征图像是从视频内容中选取的，所以预设特征图像和视频内容的融合性也较好。

具体而言，在一些实施例中，在步骤s103中，第一用户设备基于用户的特征帧指定操作，确定目标视频中的特征帧，并基于该特征帧确定预设特征图像。例如，一用户将从第一用户设备向网络设备上传一段视频(称目标视频)；其他用户设备在扫描到与预设特征图像相匹配的图像时叠加显示该目标视频，以供其他用户观看。此时，用户在目标视频的时间轴上选取其中的一帧(称特征帧)作为预设特征图像或预设特征图像的一部分。例如，就婚礼视频而言，用户在时间轴上进行拖动，选取婚礼进行过程中最具有代表性的(例如处于某些关键时间点的)一帧作为特征帧，并基于该特征帧准备预设特征图像。

而在另一些实施例中，在步骤s103中，第一用户设备确定目标视频中的特征帧，并基于所述特征帧确定预设特征图像，其中所述特征帧满足预设特征信息条件。例如，第一用户设备遍历目标视频中的所有帧作为候选帧，或抽取目标视频中的若干帧作为候选帧，并对这些候选帧进行判断操作，将其中满足预设特征信息条件的帧作为特征帧，例如对候选帧进行特征提取，并将对应特征点最多的帧作为特征帧，或者将候选帧中特征点最多的帧作为特征帧，再基于该特征帧准备预设特征图像。

当然，本领域技术人员应能理解，以上所述的基于目标视频确定预设特征图像的方式仅为举例，而不是对本申请所进行的限定。任何其他现有的或今后可能出现的基于目标视频确定预设特征图像的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在步骤s103中，第一用户设备先遍历目标视频中的所有帧，选取其中满足上述(或者其他)预设特征信息条件的多个帧作为候选帧并提供给用户，再由用户在这些候选帧中选取一个作为特征帧，而预设特征图像则是基于由用户选取的特征帧制作的。

在一些实施例中，上述方法还包括步骤s104(未示出)。在步骤s104中，第一用户设备向所述网络设备发送关于所述增强现实内容的呈现许可信息，所述呈现许可信息用于确定其他用户设备关于所述增强现实内容的呈现权限。其中，所述呈现许可信息用于控制其他用户设备观看该增强现实内容的权限，例如用于指定一个或者多个其他用户能够观看，或者指定一个或者多个用户不能观看。具体实现方式包括但不限于基于其他用户的用户设备编号、ip地址或mac地址、用户账号id等设置黑名单或者白名单，或者对增强现实内容设置访问密码，或者设置能够/不能够观看的用户所满足的条件(例如，根据用户设备编号、ip地址或mac地址、用户账号id等判断相关用户是否位于某个群组中，或者根据请求访问该增强现实内容的用户设备的ip地址、gps传感信息等判断用户所在的地理位置)。

根据本申请的另一个方面，提供了一种在网络设备端用于呈现增强现实内容的方法。参考图1，该方法包括步骤s201、步骤s202和步骤s203。

其中，在步骤s201中，网络设备接收第一用户设备所发送的预设特征图像以及所述预设特征图像对应的增强现实内容。其中，所述预设特征图像用于供其他用户设备识别，以匹配所述增强现实内容，从而叠加呈现所述增强现实内容。

在步骤s202中，网络设备对所述预设特征图像进行特征提取，以获得对应的预设特征信息(例如特征点)。在一些实施例中，其他用户设备对拍摄到的图像进行特征提取，并将提取得到的特征信息和前述预设特征信息进行匹配，从而匹配所述增强现实内容。

在步骤s203中，网络设备基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向第二用户设备(例如用于拍摄上述目标图像的用户设备)发送所述增强现实内容。在一些实施例中，所述目标图像是由其他用户设备拍摄的，而目标特征信息则是由拍摄目标图像的其他用户设备，或者由网络设备，从目标图像中提取的。

与以上所述类似，在第一用户设备向网络设备发送预设特征图像和对应的增强现实内容时，在一些情形下，用于供其他用户设备叠加呈现的增强现实内容，与预设特征图像(有时也称为识别图)在尺寸上并不匹配。因此在一些实施例中，网络设备基于所述预设特征图像的尺寸，调整所述增强现实内容的尺寸；在此，网络设备调整增强现实内容的方式与以上所述的第一用户设备调整增强现实内容的方式相同或基本相同，不再赘述，并以引用方式包含于此。

在一些实施例中，参考图2，步骤s203包括子步骤s203a和子步骤s203b。在子步骤s203a中，网络设备接收第二用户设备发送的增强现实内容请求，其中所述增强现实内容请求包括目标特征信息，所述目标特征信息提取自目标图像。例如，第二用户设备拍摄目标图像，并对目标图像进行特征提取以获得对应的目标特征信息(例如特征点)；随后，第二用户设备向网络设备请求对应的增强现实内容，其中在第二用户设备向网络设备发送的内容请求中包含上述目标特征信息，该目标特征信息用于匹配预设特征信息，进而确定对应的增强现实内容。

在子步骤s203b中，网络设备基于所述目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容。

在一些实施例中，上述方法还包括步骤s205(未示出)。在步骤s205中，网络设备接收所述第一用户设备所发送的关于所述增强现实内容的呈现许可信息。相应地，在子步骤s203a中，网络设备接收第二用户设备发送的增强现实内容请求，其中所述增强现实内容请求包括目标特征信息和许可验证信息(例如第二用户设备的设备编号、ip地址或mac地址、用户账号id等，或者待验证的访问密码)，所述目标特征信息提取自目标图像；在子步骤s203b中，网络设备当所述许可验证信息与所述呈现许可信息相匹配时，基于所述目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容。其中，所述呈现许可信息用于控制其他用户设备观看该增强现实内容的权限，例如用于指定一个或者多个其他用户能够观看，或者指定一个或者多个用户不能观看。具体实现方式包括但不限于基于其他用户的用户设备编号、ip地址或mac地址、用户账号id等设置黑名单或者白名单，或者设置能够/不能够观看的用户所满足的条件(例如，根据用户设备编号、ip地址或mac地址、用户账号id等判断相关用户是否位于某个群组中，或者根据请求访问该增强现实内容的用户设备的ip地址、gps传感信息等判断用户所在的地理位置)。

在一些实施例中，上述方法还包括步骤s206(未示出)。在步骤s206中，网络设备接收所述第一用户设备所发送的关于所述增强现实内容的呈现许可信息，其中所述呈现许可信息包括剩余呈现次数，例如增强现实内容并不能无限次地呈现或者不能在不限数量的其他用户设备上呈现，制作增强现实内容的用户基于该剩余呈现次数设置相应的增强现实内容还能播放的次数，例如设置总的播放次数(增强现实内容每被访问1次，剩余呈现次数减少1)，或者设置能够访问增强现实内容的用户设备的数量(增强现实内容每被1台新的用户设备访问，剩余呈现次数减少1)。相应地，在子步骤s203b中，网络设备在所述剩余呈现次数大于零时，基于所述目标特征信息匹配所述预设特征信息；若匹配成功，向所述第二用户设备发送所述增强现实内容，并更新所述剩余呈现次数。

根据本申请的另一个方面，还提供了一种在第二用户设备端用于呈现增强现实内容的方法。参考图3，该方法包括步骤s301、步骤s302和步骤s303。

其中，在步骤s301中，第二用户设备基于目标图像进行特征提取，以获得对应的目标特征信息(例如特征点)。在步骤s302中，第二用户设备向网络设备发送所述目标特征信息，并接收所述网络设备返回的增强现实内容。在步骤s303中，第二用户设备基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。在此，位姿信息包括用户设备当前相对于所述目标装置的空间位置信息和姿态信息。例如，网络设备向第二用户设备返回了与增强现实内容对应的预设特征信息，第二用户设备基于该预设特征信息和上述目标特征信息，确定第二用户设备在空间中的位姿信息，并基于增强现实内容在空间中的位置信息(有时还需基于增强现实内容在空间中的姿态信息)，在显示装置上的对应位置叠加呈现该增强现实内容。又例如，第二用户设备向网络设备发送了上述目标特征信息；网络设备接收该目标特征信息后，基于该目标特征信息和对应的预设特征信息确定第二用户设备在空间中的位姿信息，以供第二用户设备基于其位姿信息叠加呈现对应的增强现实内容；换句话说，第二用户设备基于上述目标特征信息获取了网络设备所返回的位姿信息，并基于该位姿信息叠加呈现上述增强现实内容。

在一些实施例中，步骤s302包括子步骤s302a(未示出)和子步骤s302b(未示出)。在子步骤s302a中，第二用户设备向网络设备发送增强现实内容请求，其中所述增强现实内容请求包括所述目标特征信息；在子步骤s302b中，第二用户设备接收所述网络设备返回的增强现实内容。例如，第二用户设备拍摄目标图像，并对目标图像进行特征提取以获得对应的目标特征信息(例如特征点)；随后，第二用户设备向网络设备请求对应的增强现实内容，其中在第二用户设备向网络设备发送的内容请求中包含上述目标特征信息，该目标特征信息用于匹配预设特征信息，进而确定对应的增强现实内容。

在一些实施例中，从目标图像中提取目标特征信息的工作是由网络设备完成的，第二用户设备向网络设备发送的增强现实内容请求中包含该目标图像。相应地，在一些实施例中，上述方法不包括步骤s301。其中，在步骤s302中，第二用户设备向网络设备发送增强现实内容请求，并接收所述网络设备返回的增强现实内容和关于所述第二用户设备的位姿信息，其中所述增强现实内容请求包括目标图像；在步骤s303中，第二用户设备基于所述位姿信息，叠加呈现所述增强现实内容。

在一些实施例中，所述增强现实内容请求还包括许可验证信息(例如第二用户设备的设备编号、ip地址或mac地址、用户账号id、待验证的访问密码等)，用于确定第二用户设备是否被授权访问上述增强现实内容。

为便于理解，图4示出了一些实施例中各个设备配合的用于呈现增强现实内容的方法。该方法包括以下步骤：

第一用户设备向网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容；

所述网络设备对所述预设特征图像进行特征提取，以获得对应的预设特征信息；

第二用户设备基于目标图像进行特征提取，以获得对应的目标特征信息，向所述网络设备发送所述目标特征信息；

所述网络设备基于所述目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容；以及

所述第二用户设备基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。

如上所述，对于叠加呈现视频类型的增强现实内容的情形而言，通常的做法是，将预设特征图像(或称识别图)和视频内容分开处理，并分别上传预设特征图像和视频类型的增强现实内容，这就给用户设置增强现实内容带来了难度和不便。鉴于此，根据本申请的一个方面，提供了一种在第一用户设备端用于呈现增强现实内容的方法。该方法包括步骤s401。在步骤s401中，第一用户设备向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频。其中，网络设备根据第一用户设备发送的目标视频中的一帧(称特征帧)得到与目标视频对应的预设特征图像，而第一用户设备则无需进行进一步处理(例如指定预设特征图像等)。通过这种方式，一方面用户制作和发布增强现实内容更方便，无需另外寻找和上传预设特征图像，减少了操作步骤、节省了时间，十分便利；另一方面，由于预设特征图像是从视频内容中选取的，所以预设特征图像和视频内容的融合性也较好。

在一些实施例中，参考图5，该方法还包括步骤s402。在步骤s402中，第一用户设备接收所述网络设备返回的预设特征图像，所述预设特征图像包括所述目标视频中的特征帧，该预设特征图像用于供用户提供至其他用户(例如，通过博客、社交软件、电子邮件等)，以便其他用户访问上述增强现实内容。

相应地，根据本申请的另一个方面，提供了一种在网络设备端用于呈现增强现实内容的方法。参考图6，该方法包括步骤s501、步骤s502和步骤s503。在步骤s501中，网络设备接收第一用户设备所发送的增强现实内容，所述增强现实内容包括至少一个目标视频。在步骤s502中，网络设备基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧。在一些实施例中，网络设备确定目标视频中满足的特征帧，并基于所述特征帧确定预设特征图像，其中所述特征帧满足预设特征信息条件。例如，网络设备遍历目标视频中的所有帧作为候选帧，或抽取目标视频中的若干帧作为候选帧，并对这些候选帧进行判断操作，将其中满足预设特征信息条件的帧作为特征帧，例如对候选帧进行特征提取，并将对应特征点最多的帧作为特征帧，或者将候选帧中特征点最多的帧作为特征帧，再基于该特征帧准备预设特征图像。在步骤s503中，网络设备基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。在一些实施例中，上述目标特征信息(例如特征点)是由第二用户设备基于上述目标图像进行特征提取而得到的。

为便于理解，图7示出了一些实施例中各个设备配合的用于呈现增强现实内容的方法。该方法包括以下步骤：

第一用户设备向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频；

所述网络设备基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧；以及

所述网络设备基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

根据本申请的一个方面，提供了一种用于呈现增强现实内容的第一用户设备，该设备包括内容发送模块101。内容发送模块101向对应的网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容。其中，所述预设特征图像用于供其他用户设备识别，以匹配所述增强现实内容，从而叠加呈现所述增强现实内容。在一些实施例中，第一用户设备或其他设备(例如前述网络设备)首先从所述预设特征图像中提取预设特征信息(例如特征点)，其他用户设备对拍摄到的图像进行特征提取，并将提取得到的特征信息和前述预设特征信息进行匹配，从而匹配所述增强现实内容。

其中，在一些实施例中，在上述步骤之前，第一用户设备先获取预设特征图像及其对应的增强现实内容；内容发送模块101再向网络设备发送所述预设特征图像及所述增强现实内容。

在第一用户设备向网络设备发送预设特征图像和对应的增强现实内容时，在一些情形下，用于供其他用户设备叠加呈现的增强现实内容，与预设特征图像(有时也称为识别图)在尺寸上并不匹配。例如，在增强现实内容为视频或者图像(包括静态和动态图像)的情况下，相对于预设特征图像，如果增强现实内容的尺寸过大，其他用户设备在叠加呈现该增强现实内容时，增强现实内容将占据过大的显示面积，甚至超出该设备的显示范围；而如果增强现实内容的尺寸过小，其他用户设备在叠加呈现该增强现实内容时，增强现实内容又将难以观察。由此可见，在预设特征图像与增强现实内容在尺寸上不匹配时，增强现实内容和预设特征图像的融合性较差，叠加呈现效果不理想。

鉴于以上所述的缺陷，在一些实施例中，上述设备还包括尺寸调整模块102(未示出)。尺寸调整模块102中基于预设特征图像的尺寸，调整所述预设特征图像所对应的增强现实内容的尺寸，例如基于预设特征图像的长、宽像素数量调整增强现实内容的尺寸；随后内容发送模块101向网络设备发送所述预设特征图像，以及调整尺寸后的增强现实内容。

具体而言，在一些实施例中，若预设特征图像与视频/图片形式的增强现实内容的长宽比例(例如，基于长、宽边的像素数量)相同，那么将增强现实内容的大小调整到和预设特征图像的大小相同，以供其他用户设备在识别预设特征图像后，将增强现实内容叠加在该预设特征图像上。此时，其他用户设备扫描预设特征图像后，用户通过该设备只能看到叠加的视频、图像等增强现实内容，以实现最佳的观看方式。而若两者比例不同，则调整增强现实内容的至少一对边(2个长边或2个短边)与预设特征图像的一对边大小相等，并保持长宽比不变，同比例地调整视频、图像等增强现实内容的另一对边。此时其他用户设备扫描预设特征图像后，用户通过该设备能看到叠加的增强现实内容，同时还可能看到预设特征图像的局部。通过这种方式，当待叠加内容的尺寸比预设特征图像的尺寸大很多或者小很多时，都可以适当的调整，避免待叠加的内容过多地超出预设特征图像或设备显示区域的范围，或仅仅叠加在预设特征图像所对应的很小的范围上。

对于叠加呈现视频类型的增强现实内容的情形而言，通常的做法是，将预设特征图像(或称识别图)和视频内容分开处理，并分别上传预设特征图像和视频类型的增强现实内容，这就给用户设置增强现实内容带来了难度和不便。鉴于此，在一些实施例中，上述设备还包括图像确定模块103(未示出)。图像确定模块103基于目标视频中的特征帧确定预设特征图像；随后内容发送模块101向网络设备发送所述预设特征图像以及所述预设特征图像对应的增强现实内容，其中所述增强现实内容包括所述目标视频。通过这种方式，一方面用户制作和发布增强现实内容更方便，无需另外寻找和上传预设特征图像，减少了操作步骤、节省了时间，十分便利；另一方面，由于预设特征图像是从视频内容中选取的，所以预设特征图像和视频内容的融合性也较好。

具体而言，在一些实施例中，图像确定模块103基于用户的特征帧指定操作，确定目标视频中的特征帧，并基于该特征帧确定预设特征图像。例如，一用户将从第一用户设备向网络设备上传一段视频(称目标视频)；其他用户设备在扫描到与预设特征图像相匹配的图像时叠加显示该目标视频，以供其他用户观看。此时，用户在目标视频的时间轴上选取其中的一帧(称特征帧)作为预设特征图像或预设特征图像的一部分。例如，就婚礼视频而言，用户在时间轴上进行拖动，选取婚礼进行过程中最具有代表性的(例如处于某些关键时间点的)一帧作为特征帧，并基于该特征帧准备预设特征图像。

而在另一些实施例中，图像确定模块103确定目标视频中的特征帧，并基于所述特征帧确定预设特征图像，其中所述特征帧满足预设特征信息条件。例如，第一用户设备遍历目标视频中的所有帧作为候选帧，或抽取目标视频中的若干帧作为候选帧，并对这些候选帧进行判断操作，将其中满足预设特征信息条件的帧作为特征帧，例如对候选帧进行特征提取，并将对应特征点最多的帧作为特征帧，或者将候选帧中特征点最多的帧作为特征帧，再基于该特征帧准备预设特征图像。

当然，本领域技术人员应能理解，以上所述的基于目标视频确定预设特征图像的方式仅为举例，而不是对本申请所进行的限定。任何其他现有的或今后可能出现的基于目标视频确定预设特征图像的方式，如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，图像确定模块103先遍历目标视频中的所有帧，选取其中满足上述(或者其他)预设特征信息条件的多个帧作为候选帧并提供给用户，再由用户在这些候选帧中选取一个作为特征帧，而预设特征图像则是基于由用户选取的特征帧制作的。

在一些实施例中，上述设备还包括许可发送模块104(未示出)。许可发送模块104向所述网络设备发送关于所述增强现实内容的呈现许可信息，所述呈现许可信息用于确定其他用户设备关于所述增强现实内容的呈现权限。其中，所述呈现许可信息用于控制其他用户设备观看该增强现实内容的权限，例如用于指定一个或者多个其他用户能够观看，或者指定一个或者多个用户不能观看。具体实现方式包括但不限于基于其他用户的用户设备编号、ip地址或mac地址、用户账号id等设置黑名单或者白名单，或者对增强现实内容设置访问密码，或者设置能够/不能够观看的用户所满足的条件(例如，根据用户设备编号、ip地址或mac地址、用户账号id等判断相关用户是否位于某个群组中，或者根据请求访问该增强现实内容的用户设备的ip地址、gps传感信息等判断用户所在的地理位置)。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的网络设备。参考图8，该设备包括内容接收模块201、特征提取模块202和内容匹配模块203。

其中，内容接收模块201接收第一用户设备所发送的预设特征图像以及所述预设特征图像对应的增强现实内容。其中，所述预设特征图像用于供其他用户设备识别，以匹配所述增强现实内容，从而叠加呈现所述增强现实内容。

特征提取模块202对所述预设特征图像进行特征提取，以获得对应的预设特征信息(例如特征点)。在一些实施例中，其他用户设备对拍摄到的图像进行特征提取，并将提取得到的特征信息和前述预设特征信息进行匹配，从而匹配所述增强现实内容。

内容匹配模块203基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向第二用户设备(例如用于拍摄上述目标图像的用户设备)发送所述增强现实内容。在一些实施例中，所述目标图像是由其他用户设备拍摄的，而目标特征信息则是由拍摄目标图像的其他用户设备，或者由网络设备，从目标图像中提取的。

与以上所述类似，在第一用户设备向网络设备发送预设特征图像和对应的增强现实内容时，在一些情形下，用于供其他用户设备叠加呈现的增强现实内容，与预设特征图像(有时也称为识别图)在尺寸上并不匹配。因此在一些实施例中，网络设备基于所述预设特征图像的尺寸，调整所述增强现实内容的尺寸；在此，网络设备调整增强现实内容的方式与以上所述的第一用户设备调整增强现实内容的方式相同或基本相同，不再赘述，并以引用方式包含于此。

在一些实施例中，参考图9，内容匹配模块203包括请求接收单元203a和内容匹配单元203b。请求接收单元203a接收第二用户设备发送的增强现实内容请求，其中所述增强现实内容请求包括目标特征信息，所述目标特征信息提取自目标图像。例如，第二用户设备拍摄目标图像，并对目标图像进行特征提取以获得对应的目标特征信息(例如特征点)；随后，第二用户设备向网络设备请求对应的增强现实内容，其中在第二用户设备向网络设备发送的内容请求中包含上述目标特征信息，该目标特征信息用于匹配预设特征信息，进而确定对应的增强现实内容。

内容匹配单元203b基于所述目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容。

在一些实施例中，上述设备还包括许可接收模块205(未示出)。许可接收模块205接收所述第一用户设备所发送的关于所述增强现实内容的呈现许可信息。相应地，请求接收单元203a接收第二用户设备发送的增强现实内容请求，其中所述增强现实内容请求包括目标特征信息和许可验证信息(例如第二用户设备的设备编号、ip地址或mac地址、用户账号id等，或者待验证的访问密码)，所述目标特征信息提取自目标图像；内容匹配单元203b当所述许可验证信息与所述呈现许可信息相匹配时，基于所述目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容。其中，所述呈现许可信息用于控制其他用户设备观看该增强现实内容的权限，例如用于指定一个或者多个其他用户能够观看，或者指定一个或者多个用户不能观看。具体实现方式包括但不限于基于其他用户的用户设备编号、ip地址或mac地址、用户账号id等设置黑名单或者白名单，或者设置能够/不能够观看的用户所满足的条件(例如，根据用户设备编号、ip地址或mac地址、用户账号id等判断相关用户是否位于某个群组中，或者根据请求访问该增强现实内容的用户设备的ip地址、gps传感信息等判断用户所在的地理位置)。

在一些实施例中，上述设备还包括许可接收模块206(未示出)。许可接收模块206接收所述第一用户设备所发送的关于所述增强现实内容的呈现许可信息，其中所述呈现许可信息包括剩余呈现次数，例如增强现实内容并不能无限次地呈现或者不能在不限数量的其他用户设备上呈现，制作增强现实内容的用户基于该剩余呈现次数设置相应的增强现实内容还能播放的次数，例如设置总的播放次数(增强现实内容每被访问1次，剩余呈现次数减少1)，或者设置能够访问增强现实内容的用户设备的数量(增强现实内容每被1台新的用户设备访问，剩余呈现次数减少1)。相应地，内容匹配单元203b在所述剩余呈现次数大于零时，基于所述目标特征信息匹配所述预设特征信息；若匹配成功，向所述第二用户设备发送所述增强现实内容，并更新所述剩余呈现次数。

根据本申请的另一个方面，还提供了一种用于呈现增强现实内容的第二用户设备。参考图10，该设备包括目标特征提取模块301、内容获取模块302和内容呈现模块303。

其中，目标特征提取模块301基于目标图像进行特征提取，以获得对应的目标特征信息(例如特征点)。内容获取模块302向网络设备发送所述目标特征信息，并接收所述网络设备返回的增强现实内容。内容呈现模块303基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。在此，位姿信息包括用户设备当前相对于所述目标装置的空间位置信息和姿态信息。例如，网络设备向第二用户设备返回了与增强现实内容对应的预设特征信息，第二用户设备基于该预设特征信息和上述目标特征信息，确定第二用户设备在空间中的位姿信息，并基于增强现实内容在空间中的位置信息(有时还需基于增强现实内容在空间中的姿态信息)，在显示装置上的对应位置叠加呈现该增强现实内容。又例如，第二用户设备向网络设备发送了上述目标特征信息；网络设备接收该目标特征信息后，基于该目标特征信息和对应的预设特征信息确定第二用户设备在空间中的位姿信息，以供第二用户设备基于其位姿信息叠加呈现对应的增强现实内容；换句话说，第二用户设备基于上述目标特征信息获取了网络设备所返回的位姿信息，并基于该位姿信息叠加呈现上述增强现实内容。

在一些实施例中，内容获取模块302包括内容请求单元302a(未示出)和内容接收单元302b(未示出)。内容请求单元302a向网络设备发送增强现实内容请求，其中所述增强现实内容请求包括所述目标特征信息；内容接收单元302b接收所述网络设备返回的增强现实内容。例如，第二用户设备拍摄目标图像，并对目标图像进行特征提取以获得对应的目标特征信息(例如特征点)；随后，第二用户设备向网络设备请求对应的增强现实内容，其中在第二用户设备向网络设备发送的内容请求中包含上述目标特征信息，该目标特征信息用于匹配预设特征信息，进而确定对应的增强现实内容。

在一些实施例中，从目标图像中提取目标特征信息的工作是由网络设备完成的，第二用户设备向网络设备发送的增强现实内容请求中包含该目标图像。相应地，在一些实施例中，上述设备不包括目标特征提取模块301。其中，内容获取模块302向网络设备发送增强现实内容请求，并接收所述网络设备返回的增强现实内容和关于所述第二用户设备的位姿信息，其中所述增强现实内容请求包括目标图像；内容呈现模块303基于所述位姿信息，叠加呈现所述增强现实内容。

在一些实施例中，所述增强现实内容请求还包括许可验证信息(例如第二用户设备的设备编号、ip地址或mac地址、用户账号id、待验证的访问密码等)，用于确定第二用户设备是否被授权访问上述增强现实内容。

根据本申请的另一个方面，提供了一种用于呈现增强现实内容的系统，其包括以上所述的任一第一用户设备、任一第二用户设备以及任一第三用户设备。为便于理解，图4示出了一些实施例中各个设备配合的用于呈现增强现实内容的方法。该方法包括以下步骤：

第一用户设备向网络设备发送预设特征图像以及所述预设特征图像对应的增强现实内容；

所述网络设备对所述预设特征图像进行特征提取，以获得对应的预设特征信息；

所述网络设备基于提取自目标图像的目标特征信息匹配所述预设特征信息，若匹配成功，向所述第二用户设备发送所述增强现实内容；以及

所述第二用户设备基于所述目标特征信息确定所述第二用户设备的位姿信息，并基于所述位姿信息叠加呈现所述增强现实内容。

如上所述，对于叠加呈现视频类型的增强现实内容的情形而言，通常的做法是，将预设特征图像(或称识别图)和视频内容分开处理，并分别上传预设特征图像和视频类型的增强现实内容，这就给用户设置增强现实内容带来了难度和不便。鉴于此，根据本申请的一个方面，提供了一种用于呈现增强现实内容的第一用户设备。该设备包括内容发送模块401。内容发送模块401向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频。其中，网络设备根据第一用户设备发送的目标视频中的一帧(称特征帧)得到与目标视频对应的预设特征图像，而第一用户设备则无需进行进一步处理(例如指定预设特征图像等)。通过这种方式，一方面用户制作和发布增强现实内容更方便，无需另外寻找和上传预设特征图像，减少了操作步骤、节省了时间，十分便利；另一方面，由于预设特征图像是从视频内容中选取的，所以预设特征图像和视频内容的融合性也较好。

在一些实施例中，参考图11，该设备还包括预设图像接收模块402。预设图像接收模块402接收所述网络设备返回的预设特征图像，所述预设特征图像包括所述目标视频中的特征帧，该预设特征图像用于供用户提供至其他用户(例如，通过博客、社交软件、电子邮件等)，以便其他用户访问上述增强现实内容。

相应地，根据本申请的另一个方面，提供了一种用于呈现增强现实内容的网络设备。参考图12，该设备包括内容接收模块501、特征提取模块502和内容匹配模块503。内容接收模块501接收第一用户设备所发送的增强现实内容，所述增强现实内容包括至少一个目标视频。特征提取模块502基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧。在一些实施例中，网络设备确定目标视频中满足的特征帧，并基于所述特征帧确定预设特征图像，其中所述特征帧满足预设特征信息条件。例如，网络设备遍历目标视频中的所有帧作为候选帧，或抽取目标视频中的若干帧作为候选帧，并对这些候选帧进行判断操作，将其中满足预设特征信息条件的帧作为特征帧，例如对候选帧进行特征提取，并将对应特征点最多的帧作为特征帧，或者将候选帧中特征点最多的帧作为特征帧，再基于该特征帧准备预设特征图像。内容匹配模块503基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。在一些实施例中，上述目标特征信息(例如特征点)是由第二用户设备基于上述目标图像进行特征提取而得到的。

根据本申请的另一个方面，还提供了一种用于呈现增强现实内容的系统，其包括以上所述的任一第一用户设备、任一网络设备和任一第二用户设备。为便于理解，图7示出了一些实施例中各个设备配合的用于呈现增强现实内容的方法。该方法包括以下步骤：

第一用户设备向网络设备发送增强现实内容，所述增强现实内容包括至少一个目标视频；

所述网络设备基于所述目标视频中的特征帧确定所述增强现实内容所对应的预设特征图像，其中所述预设特征图像包括所述特征帧；以及

所述网络设备基于提取自目标图像的目标特征信息匹配所述预设特征图像的预设特征信息，若匹配成功，向第二用户设备发送所述增强现实内容。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图13示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图13所示，在一些实施例中，系统600能够作为各所述实施例中的任意一个用户设备或者网络设备。在一些实施例中，系统600可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或nvm/存储设备620)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器605)。

对于一个实施例，系统控制模块610可包括任意适当的接口控制器，以向(一个或多个)处理器605中的至少一个和/或与系统控制模块610通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块610可包括存储器控制器模块630，以向系统存储器615提供接口。存储器控制器模块630可以是硬件模块、软件模块和/或固件模块。

系统存储器615可被用于例如为系统600加载和存储数据和/或指令。对于一个实施例，系统存储器615可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，系统存储器615可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。

对于一个实施例，系统控制模块610可包括一个或多个输入/输出(i/o)控制器，以向nvm/存储设备620及(一个或多个)通信接口625提供接口。

例如，nvm/存储设备620可被用于存储数据和/或指令。nvm/存储设备620可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。

nvm/存储设备620可包括在物理上作为系统600被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，nvm/存储设备620可通过网络经由(一个或多个)通信接口625进行访问。

(一个或多个)通信接口625可为系统600提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统600可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器(例如，存储器控制器模块630)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器605中的至少一个可与系统控制模块610的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。

在各个实施例中，系统600可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统600可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统600包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、rf、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(ram,dram,sram)；以及非易失性存储器，诸如闪存、各种只读存储器(rom,prom,eprom,eeprom)、磁性和铁磁/铁电存储器(mram,feram)；以及磁性和光学存储设备(硬盘、磁带、cd、dvd)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。