一种实现增强现实的方法及用户设备与制造工艺

本发明涉及信息技术(InformationTechnology，简称：IT)领域，尤其涉及一种实现增强现实的方法及用户设备。

背景技术：
增强现实(AugmentedReality，简称AR)技术是在虚拟现实技术的基础上发展起来的一种新兴的人机交互技术，它借助于可视化技术，将虚拟现实信息应用到现实世界，把不能直接在现实世界获取的虚拟现实信息叠加到现实世界的画面上，并使用户可以与增强现实应用进行互动，扩大了用户对真实世界的感知。随着智能的用户设备(UserEquipment，简称：UE)的普及，AR技术在近年得到了高速的发展。现有的AR应用中，用户设备可以通过摄像头捕获视频流，将捕获的视频流作为现实世界信息，并从服务器侧获取与该现实世界信息相关的虚拟现实信息，将获取的该虚拟现实信息叠加在捕获的视频流上，并显示叠加后的视频流。具体地，该UE在捕获视频流后，可以向服务器侧发送获取虚拟现实信息的请求，该获取虚拟现实信息的请求包括该UE捕获的关键帧或该UE所在位置的信息，其中，该关键帧包括被跟踪对象的姿态图像；服务器侧在根据该UE捕获的关键帧或该UE所在位置的信息，得到虚拟现实信息之后，向该UE发送该虚拟现实信息，该UE将接收的虚拟现实信息叠加到捕获的视频流的每一帧上进行显示。其中，该UE接收的虚拟现实信息与现实世界中的被跟踪对象，或者与该UE所在的位置相关。当该UE将接收的虚拟现实信息叠加到捕获的视频流上时，AR体验开始。通过对现有技术的分析，发明人认为现有技术至少存在以下问题：UE接收的虚拟现实信息是与现实世界相关的，具体地，该UE接收的虚拟现实信息是与现实世界中的被跟踪对象或该UE所在的位置相关的，在AR体验结束后，若用户需要再次经历相同的AR体验，则该用户需要回到原来的现实世界中，例如，该用户位于位置A处，当该用户利用UE查询在位置A附近的餐馆时，服务器侧会返回在位置A附近的餐馆的信息，该UE将得到的餐馆的信息叠加到捕获的视频帧上，如果该用户之后还想经历相同的AR体验，则需要用户再次回到位置A处，并捕获相同的视频帧。

技术实现要素：
为克服现有技术的缺陷，本发明实施例的目的在于提供一种实现增强现实的方法及用户设备，以便在AR体验结束之后，用户还能够在任何时候再次经历相同的AR体验。第一方面，本发明实施例提供一种实现增强现实的方法，包括：用户设备存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述用户设备从服务器侧接收的虚拟内容信息以及所述用户设备捕获的视频流；当所述用户需要再次经历所述增强现实体验时，所述用户设备根据存储的所述虚拟内容信息，获取虚拟现实信息；所述用户设备按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠加后的视频帧。在第一方面的第一种可能的实现方式中，所述用户设备依次捕获视频帧，存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；所述用户设备在捕获视频帧时存储所述被跟踪对象的标准图像，并在所述用户设备停止捕获视频帧时，存储所述全景图；其中，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述用户设备获取存储的所述标准图像以及所述全景图；所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述虚拟内容信息包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：在所述虚拟内容信息包括所述被跟踪对象的标识时，所述用户设备根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。在第一方面的第五种可能的实现方式中，所述用户设备依次捕获视频帧，根据捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；在所述用户设备停止捕获视频帧时，所述用户设备存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述用户设备获取存储的所述全景图；所述用户设备按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述将获取的所述虚拟现实信息叠加到获取的所述视频帧上，包括：所述用户设备根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将获取的所述虚拟现实信息叠加到所述当前所要显示的视频帧上。第二方面，本发明实施例提供一种用户设备，包括：接收单元，用于接收从服务器侧返回的虚拟内容信息；视频流捕获单元，用于捕获视频流；存储单元，用于存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述接收单元接收的所述虚拟内容信息以及所述视频流捕获单元捕获的所述视频流；虚拟现实信息获取单元，用于当所述用户需要再次经历所述增强现实体验时，根据所述存储单元存储的所述虚拟内容信息，获取虚拟现实信息；视频帧获取单元，用于按照视频帧被捕获的先后顺序，依次获取所述存储单元存储的所述视频流中的视频帧；叠加单元，用于将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元获取的所述视频帧上；显示单元，用于显示所述叠加单元叠加后的视频帧。在第二方面的第一种可能的实现方式中，所述视频流捕获单元具体用于依次捕获视频帧；所述存储单元具体用于存储所述视频流捕获单元捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；以及用于在所述视频流捕获单元捕获视频帧时存储所述被跟踪对象的标准图像，并在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；其中，所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述被跟踪对象信息还包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述视频帧获取单元具体用于获取所述存储单元存储的所述标准图像以及所述全景图；以及用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的所述存储单元存储的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成所述当前所要显示的视频帧。结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的所述被跟踪对象的标识，则所述叠加单元具体用于在所述虚拟内容信息包括所述被跟踪对象的标识时，根据所述被跟踪对象的姿态图像在所述当前所要显示的视频帧中的位置，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。在第二方面的第五种可能的实现方式中，所述视频流捕获单元具体用于依次捕获视频帧；所述存储单元具体用于根据所述视频流捕获单元捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；以及用于在所述视频流捕获单元停止捕获视频帧时，存储所述全景图；其中，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息。结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述背景信息还包括所述捕获的视频帧相对于所述全景图偏转的偏转角度。结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述视频帧获取单元具体用于获取所述存储单元存储的所述全景图；以及用于按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成所述当前所要显示的视频帧。结合第二方面的第七种可能的实现方式，在第二方面的第八种可能的实现方式中，所述接收单元接收的所述虚拟内容信息包括与所述虚拟现实信息对应的位置信息，所述背景信息还包括所述用户设备所在位置的信息，则所述叠加单元具体用于根据所述背景信息包含的所述用户设备所在位置的信息以及所述虚拟内容信息包含的位置信息，将所述虚拟现实信息获取单元获取的所述虚拟现实信息叠加到所述视频帧获取单元生成的所述当前所要显示的视频帧上。本发明实施例提供的一种实现增强现实体验的方法及用户设备，在用户经历增强现实体验时，UE通过增强现实上下文存储虚拟内容信息以及捕获的视频流，在所述增强现实体验结束后，当所述用户需要再次经历所述增强现实体验时，所述UE根据存储的虚拟内容信息获取虚拟现实信息，并将获取的虚拟现实信息叠加到所述视频流中的每一视频帧上进行显示，使得所述用户在经历了增强现实体验之后，还能够在任何时候再次经历相同的增强现实体验。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明实施例提供的一种实现增强现实的系统架构图；图2为本发明实施例提供的一种实现增强现实的方法流程图；图3为本发明实施例提供的另一种实现增强现实的方法流程图；图4为本发明实施例提供的又一种实现增强现实的方法流程图；图5为本发明实施例提供的一种用户设备的结构图；图6为本发明实施例提供的另一种用户设备的结构图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下获得的所有其他实施例，都属于本发明保护的范围。如图1所示，为本发明实施例提供的一种实现增强现实的系统架构图。其中，在用户确定需要经历增强现实体验时，UE向服务器侧发送获取虚拟内容信息的请求，所述获取虚拟内容信息的请求包含标识被跟踪对象的信息或所述UE所在位置的信息，所述标识被跟踪对象的信息包括所述被跟踪对象的姿态图像或所述被跟踪对象的姿态图像的特征数据，所述服务器侧根据所述获取虚拟内容信息的请求，向所述UE发送所述虚拟内容信息，所述UE在接收到所述虚拟内容信息之后，存储所述虚拟内容信息以及所述UE捕获的视频流。在所述增强现实体验结束后，如果所述用户确定需要再次经历所述增强现实体验，所述UE根据存储的所述虚拟内容信息获取虚拟现实信息，并按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠加后的视频帧。其中，本发明实施例并不限定所述UE的类型，作为示例而非限定，所述UE可以包括智能手机、个人电脑、平板电脑、具有增强现实功能的眼镜或其他具有增强现实功能的终端。其中，需要说明的是，本发明实施例并不限定所述服务器侧的组成结构，作为示例而非限定，所述服务器侧由至少一个服务器组成，所述服务器侧中的服务器可以包括表示层服务器、应用层服务器以及数据库服务器。基于图1所示的系统架构图，本发明实施例提供一种实现增强现实的方法，如图2所示，所述方法包括：S201：UE存储用户经历增强现实体验时的增强现实上下文，所述增强现实上下文包括所述UE从服务器侧接收的虚拟内容信息以及所述UE捕获的视频流；其中，需要说明的是，存储的所述视频流为一系列连续的视频帧，所述UE将所述视频流作为所述用户经历所述增强现实体验时的现实世界信息，所述虚拟内容信息包括虚拟现实信息或虚拟现实信息的存储位置信息；在所述UE将获取的虚拟现实信息叠加到捕获的视频帧上进行显示时，增强现实体验开始；其中，当需要对被跟踪对象进行增强时，即当所述UE捕获的视频流包含被跟踪对象的姿态图像时，所述UE可以将所述被跟踪对象的姿态图像和除去所述姿态图像后的背景图分开存储；当需要对现实环境中的当前位置进行增强时，即当所述UE捕获的视频流没有包含所述被跟踪对象的姿态图像时，可以直接将所述UE捕获的视频帧作为背景图存储；对于所述UE捕获的视频帧中的背景图，所述UE可以将捕获的视频帧中的背景图合并，生成全景图(panorama)，所述UE可以根据背景图在所述全景图中的位置，恢复所述背景图；具体地，所述UE可以采用以下任一方式存储所述捕获的视频流：方式一，所述UE捕获的视频流中包含被跟踪对象的姿态图像：所述UE依次捕获视频帧，存储捕获的视频帧的时间戳与被跟踪对象信息之间的对应关系，将被跟踪对象的姿态图像从所述捕获的视频帧中去除，根据去除所述姿态图像后的视频帧更新全景图，并存储所述时间戳与背景信息之间的对应关系；所述UE在捕获视频帧时存储所述被跟踪对象的标准图像，并在所述UE停止捕获视频帧时，存储所述全景图；其中，所述时间戳用于指示捕获视频帧的时刻，作为示例而非限定，所述时间戳可以是捕获视频帧时相对于所述增强现实体验开始时的时刻；所述被跟踪对象信息包括所述姿态图像在所述捕获的视频帧中的位置信息，所述背景信息包括所述捕获的视频帧在所述全景图中的位置信息以及；其中，所述被跟踪对象信息还可以包括所述姿态图像在所述捕获的视频帧上的单应性矩阵，所述背景信息还可以包括所述捕获的视频帧相对于所述全景图偏转的偏转角度；其中，需要说明的是，所述被跟踪对象是指在现实世界中所要跟踪的对象，例如当前现实世界中的一个玩具车；所述被跟踪对象的姿态图像是指在捕获的视频帧中的所述被跟踪对象的图像，例如当前现实世界中有一个玩具车，在捕获视频帧时，捕获的视频帧中的玩具车的图像即为所述玩具车的姿态图像；所述被跟踪对象的标准图像是指在所述被跟踪对象水平放置在水平面上时，当视野垂直于水平面时所捕获的图像；方式二，所述UE捕获的视频流中不包含被跟踪对象的姿态图像：所述UE依次捕获视频帧，根据捕获的视频帧更新全景图，并存储所述捕获的视频帧的时间戳与背景信息之间的对应关系；在所述UE停止捕获视频帧时，所述UE存储所述全景图；S202：当所述用户需要再次经历所述增强现实体验时，所述UE根据存储的所述虚拟内容信息，获取虚拟现实信息；其中，所述UE可以采用以下方式获取虚拟现实信息：若所述虚拟内容信息包括所述虚拟现实信息，则所述用户设备可以直接获取所述虚拟现实信息；或者，若所述虚拟内容信息包括所述虚拟现实信息的存储位置信息，则所述用户设备可以根据所述存储位置信息，获取所述虚拟现实信息；例如，作为示例而非限定，所述虚拟内容信息包含有所述虚拟现实信息的URI(UniformResourceIdentifier，统一资源定位符)，所述UE可以根据所述虚拟现实信息的URI，获取所述虚拟现实信息；S203：所述UE按照视频帧被捕获的先后顺序，依次获取存储的所述视频流中的视频帧，将获取的所述虚拟现实信息叠加到获取的所述视频帧上，并显示叠加后的视频帧；其中，需要说明的是，所述UE可以根据视频帧的时间戳确定视频帧被捕获的先后顺序，在所述用户需要再次经历之前曾经经历过的所述增强现实体验时，所述UE需要获取之前经历所述增强现实体验时的虚拟现实信息以及视频流，并将获取的所述虚拟现实信息叠加到获取的所述视频流中的每一帧上进行显示；其中，所述UE可以采用以下方式依次获取存储的所述视频流中的视频帧：方式一，对应于步骤S201中存储捕获的视频流的方式一：所述UE获取存储的所述标准图像以及所述全景图，并按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的被跟踪对象信息以及背景信息，根据得到的所述被跟踪对象信息包含的单应性矩阵，对获取的所述标准图像进行仿射变换，得到所述被跟踪对象的姿态图像，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图得到背景图，根据得到的所述被跟踪对象信息包含的位置信息，将得到的所述姿态图像叠加到截取得到的背景图上，生成当前所要显示的视频帧；方式二，对应于步骤S201中存储捕获的视频流的方式二：所述UE获取存储的所述全景图，并按照视频帧被捕获的先后顺序，依次获取当前所要显示的视频帧的时间戳，根据获取的所述时间戳，得到与获取的所述时间戳对应的背景信息，根据得到的所述背景信息包含的位置信息以及偏转角度，按照显示的分辨率截取获取的所述全景图，生成当前所要显示的视频帧。在本实施例中，在所述用户开始经历所述增强现实体验时，所述UE还可以通过所述增强现实上下文存储用户操作信息，所述用户操作信息用于描述所述用户与所述UE之间的交互，所述用户操作信息可以包括操作类型、操作参数以及时间戳，所述用户操作信息包含的时间戳用于指示所述交互发生的时刻，作为示例而非限定，所述用户操作信息包含的时间戳可以是所述交互发生时相对于所述增强现实体验开始时的时刻；在所述用户再次经历所述增强现实体验时，所述UE可以在所述用户操作信息包含的时间戳所对应的时刻，根据根据所述操作类型以及所述操作参数，模拟用户的操作。其中，需要说明的...