用于在预捕获环境中的增强现实内容递送的系统和方法与流程
本申请是2017年2月1日申请的题为“systemandmethodforaugmentedrealitycontentdeliveryinpre-capturedenvironments(用于在预捕获环境中的增强现实内容递送的系统和方法)”的美国临时专利申请序列号62/453,317的正式申请并根据35u.s.c.§119(e)要求其权益，该临时专利申请整体通过引用的方式合并于此。
背景技术：
只要客户端有互联网连接，在云中存储数字媒体能够实现从世界任何角落的接入性。具有较大等级的现实性的数字媒体使用需要大文件大小的高分辨率格式来编码的。传输这个信息(例如将所述数字媒体流传输到客户端设备)需要相称的通信资源的大分配。视觉上丰富的虚拟现实(vr)内容和增强现实(ar)内容这两者都消耗大量数据，这对于ar和vr内容递送来说存在问题的。递送所述内容的服务和消费所述内容的客户端的之间的数据连接的有限带宽是个重要瓶颈。
例如，电影vr技术使用的球形视频大幅增加对在线视频馈送的视频分辨率要求。在电影vr中，传送的视频流包含不仅像在普通2d视频这样的屏幕上看到的所有像素，而且还包含来自单个观看点的全360°视野像素。当电影vr内容被消费时，整个视频内容仅一小区域在任意给定时间点是可见的。在客户端设备上显示的球形视图的较小的裁切的区域需要提供全hd(即，1080p)分辨率以为了观看体验匹配上目前使用的高分辨率2d视频提供的分辨率。当将单视场360度球形视频与立体视场360度3d球形视频(其中针对每只眼睛需要分开的图像馈送)进行比较，内容递送所需的带宽成为主要瓶颈。下一代拟真内容格式(其不仅提供从单视点的360度立体视图，还允许用户在所述内容内的限制区域内移动)将消耗的信息通信资源呈指数级增加。
在vr空间内移动的能力不是这些下一代格式大小背后的唯一的驱动器，因为下一代ar显示技术将要优选地表现相同级别的空间现实感。用于递送ar和vr体验的当前内容流传输方法依赖传统的数据传输优化技术(例如，空间2d图像像素压缩和时间运动补偿)。传统数据压缩技术没有解决ar用例的细微差别，且还可以被改进。
技术实现要素：
本申请描述了用于选择性提供增强现实(ar)信息给ar显示客户端设备的系统和方法。在一些实施方式中，用于提供ar信息给所述客户端设备的带宽可以通过选择性向客户端设备传送仅外表没有被ar观看位置中物理对象遮挡的ar内容元素而被降低。
例如，在一个实施方式中，系统(例如，ar内容服务器)确定ar观看环境内ar显示设备的位置。针对ar内容的至少第一元素(例如，视频或ar对象)，系统选择所述ar观看环境内的显示位置。系统确定ar观看环境中的任意物理对象是否位于沿着所述ar显示设备与所述第一元素的显示位置之间的视线上。仅响应于确定没有物理对象在所述视线上的情况下，系统传送ar内容的所述第一元素给所述ar显示设备。系统可以处理不同显示位置的ar内容的一些元素(包括可能在运动的元素并由此具有可变化的显示位置)，并可以向ar显示设备发送仅从ar显示设备角度来看位置没有被物理对象挡住的元素。在一些实施方式中，所述ar元素可以是一部分ar对象或视频，由此该对象或视频的未遮挡部分被发送到客户端而遮挡部分不被发送。
ar头戴式装置可以执行根据实施方式的示例性方法。该方法包括获取增强现实(ar)观看位置的数字重构三维(3d)环境，检测所述数字重构3d环境中的对象，确定该对象的深度和几何形状，发送针对增强现实(ar)内容流的请求给服务器，该请求包括指示所述对象的所述深度和所述几何形状的信息，以及从服务器接收所述ar内容流，该ar内容流不包括所述对象遮挡的ar内容。
根据实施方式，所述方法还包括使用全球定位系统(gps)数据、无线数据以及图像识别中的一者或多者来确定所述ar观看位置。在一个实施方式中，经由存储的之前ar会话、存储的数据与实时收集的数据的组合或深度数据点云中的一者或多者来获取所述数字重构3d环境。
在另一实施方式中，经由通过从多个视点检查所述ar观看位置的方式来扫描所述ar观看位置，获取所述数字重构3d环境。
在一个实施方式中，所述方法还包括跟踪所述数字重构3d环境内的视点位置及朝向。
在一个实施方式中，指示所述对象的所述深度和所述几何形状的所述信息包括实时原始传感器数据、所述对象的景深图或rgb-d数据流中的一者或多者。
在一个实施方式中，所请求的ar内容的类型是拟真视频，且指示至少一个现实世界对象的所述深度和所述几何形状的所述信息被格式化为现实世界ar观看位置的球形景深图。
另一实施方式涉及增强现实(ar)内容服务器，其包括处理器、通信接口以及数据存储(storage)。在该实施方式中，所述ar内容服务器被配置成经由所述通信接口接收针对ar内容的请求，从所述数据存储获取所请求的ar内容，获取ar观看位置的数字重构三维(3d)环境，经由所述通信接口接收ar观看位置内的视点位置及朝向，经由所请求的ar内容与所述数字重构3d环境和视点位置及朝向的比较执行可视性分析，以及通过根据该可视性分析将与从所述视点位置及朝向不可视的一个或多个对象相关联的数据移除来修改所请求的ar内容。
根据一个实施方式，从所述数据存储、增强现实(ar客户端)或所述数据存储和所述ar客户端的组合中一者或多者能够获取所述数字重构3d环境。
在另一实施方式中，或在同一个实施方式中，所请求的ar内容的所述修改能够是所请求的ar内容的内容类型的函数，其中该内容类型包括三维(3d)场景、光场、具有深度数据的拟真视频中的一者或多者。
此外，在一个或多个实施方式中，所修改的所请求的ar内容能够包括基于更新的视点位置及朝向在所请求的ar内容内插入之前移除的三维(3d)对象。
在一个实施方式中，所述可视性分析包括识别所述数字重构3d环境的哪些地方具有比与所请求ar内容相关联的深度数据要小的深度值。
另一实施方式涉及方法，该方法包括接收针对增强现实(ar)内容视频流的请求，从数据存储获取所请求的ar内容视频流，获取现实世界ar观看位置的数字重构3d环境，接收所述现实世界ar观看位置的ar客户端的视点位置及朝向，分析所述数字重构3d环境和所述视点位置及朝向以确定所请求的ar内容视频流是否包括在所述数字重构3d环境中被遮挡的一个或多个对象，以及移除在所述数字重构3d环境中被遮挡的所述一个或多个对象。
在一个实施方式中，所述方法包括向ar显示设备发送修改的ar内容视频流。
在一个实施方式中，所述分析所述数字重构3d环境和所述视点位置及朝向包括确定所述ar显示设备的位置，识别所述数字重构3d环境中沿着从所述ar显示设备的视点位置及朝向确定的视线的一个或多个物理对象，以及基于所述视线，确定所述ar内容流中的所述一个或多个对象是否被所述一个或多个物理对象遮挡。
在一个实施方式中，所述分析所述数字重构3d环境和所述视点位置及朝向包括将所述数字重构3d环境的深度值与所述ar内容视频流中的深度值进行比较，以及丢弃所述ar内容视频流中深度值大于所述数字重构3d环境中对应深度值的部分，以补偿从所述数字重构3d环境丢失的由一个或多个动态对象和/或静态对象造成的遮挡。
在本申请的实施方式的一种变形中，客户端知道其从服务器请求的内容类型，并基于此，能够提供尽可能紧凑格式的环境信息。例如，针对拟真视频，所述客户端可以不发送整个环境模型，而是仅发送从此刻使用视点呈现的环境的球形景深图。
在本申请的实施方式是的一种变形中，所述ar客户端设备不执行视点及朝向跟踪，而是使用外部的外看内(outside-looking-in)跟踪方案。在第一进一步变形中，所述ar客户端设备首先接收来自外部跟踪方案的跟踪信息，将其变换成与在3d重构中使用的相同的坐标系统，以及然后将其发送到内容服务器。在第二进一步变形中，所述外部跟踪方案将所述视点及朝向变换成与在所述3d重构中使用的相同的坐标系统，以及然后将其发送给内容服务器。在第三进一步变形中，所述ar内容服务器接收来自外部跟踪方案的跟踪信息，且该服务器将其变换成与在所述3d重构中使用的相同的坐标系统。
在本申请的实施方式的一种变形中，所述ar内容服务器一旦光场数据已经被上传到该服务器就产生光场的深度信息。在运行时间期间，当ar内容服务器接收针对光场内容的请求时，通过使用之前已经产生的深度信息能够更有效率地修改所述内容(消除对在内容递送期间执行深度检测的需求)。
在本公开的之后的段落以及任意其他位置描述的实施方式、变形以及置换中的任意者能够关于任意实施方式(这其中包括关于任意方法实施方式和关于任意系统实施方式)被实施。
所公开的系统和方法能够在许多在线ar内容递送用例中明显减少在ar内容服务与观看的客户端设备之间的数据传输量。该减少基于环境(其中，客户端消费内容)的物理特性，且能够基于每客户端而被执行。这种方案能够与其他传统数据压缩方法结合，由此提供进一步的内容递送优化，而不用牺牲传统内容递送压缩技术可实现的好处。
附图说明
在附图中，在各个附图中相同的附图标记表示相同或功能上相似的元素，附图与下面的具体实施方式一起整合在说明书中或形成说明书的部分，并用于进一步解释包括要求保护发明的概念的实施方式以及解释这些实施方式的各种原理和优点。
图1是根据至少一个实施方式的用于在预捕获环境中的ar内容递送的方法的可视概图。
图2是根据至少一个实施方式的针对预捕获环境中的ar内容递送由ar客户端执行的方法的流程图。
图3是根据至少一个实施方式的针对预捕获环境中的ar内容递送由ar内容服务器执行的方法的流程图。
图4是根据至少一个实施方式的用于预捕获环境中的ar内容递送的方法的顺序图。
图5是根据至少一个实施方式的在示例现实世界ar观看位置中用户的示例性立体图。
图6是根据至少一个实施方式的数字重构3d环境的平面图。
图7是根据至少一个实施方式的所请求的ar内容和图6的数字重构3d环境的平面图。
图8是示例性示出根据至少一个实施方式的对图7的所请求的ar内容执行可视化分析的平面图。
图9是示例性示出根据至少一个实施方式的修改的ar内容和图6的数字重构3d环境的平面图。
图10是示出根据至少一个实施方式的图5的用户看到的图9的修改的ar内容的示例性立体图。
图11示出在一些实施方式中可以被用作ar客户端观看器的示例性无线发射/接收单元(wtru)。
图12示出了在一些实施方式中可以用作ar内容服务器或可以用作ar内容存储的示例性网络实体。
本领域技术人员理解，为了简单明晰，图示了图中的元素，且该元素不必要按照比例绘制。例如，图中的一些元素的大小相对于其他元素可以放大以帮助改善对本发明实施方式的理解。
在附图中在合适时用常规符号表示装置和方法组件，其仅显示与理解本发明的实施方式有关的特定细节，以使得本公开不被一些细节(该细节对于理解了在此的描述的本领域技术人员来说是很明显的)模糊。
具体实施方式
在进行详细描述之前，注意在各种附图中描绘以及结合附图描述的实体、连接、排列等通过示例的方式且不是限定的方式来提供的。因此，关于以下的任何和所有陈述或其他指示(可能是孤立的和脱离上下文被认为是绝对的，因此是限制性的)可能只能在其前面建设性加上诸如“在至少一个实施例中......”之类的条款的情况下被恰当地理解：特定图形“描绘”的内容的、特定图形中的特定元素或实体“是”什么或“具有”什么、以及任何和所有类似的陈述。
本申请公开了用于在预捕获环境中的增强现实内容递送的方法和系统。本公开涉及增强现实(ar)内容服务器和ar客户端(例如，在ar设备上运行的ar客户端，例如光学穿透ar头戴式装置或视频穿透ar头戴式装置)之间的内容数据传输。本申请描述的示例性方法利用客户端设备向内容服务器提供关于要显示增强内容所在的环境的信息。ar内容服务器基于每个个体客户端的环境特性调节ar内容递送，由此对于特定客户端不可视的冗余数据从传输到客户端的内容流中被移除。
在示例性实施方式中，在ar会话开始，ar客户端设备重构当前3d环境的数字模型。该模型的生成可以使用对应于相同位置的之前收集的数据。在其他情况中，通过使用内置于ar客户端设备的传感器(例如rgb-d或其他深度传感器)扫描环境来制作所述模型。之前收集的数据和当前收集的数据的组合可以用于改善所述模型的精度。然后所述模型的副本被发送到内容服务器，由此该服务器对当前3d环境的数字版本的即时接入。通过整合来自感测客户端设备的更多传感器数据，可以随时更新并改善所述模型的服务器副本。所述模型可用于执行虚拟对象可视性分析。客户端设备还使用收集的环境数据来辅助位置和朝向跟踪(姿态跟踪)。所述设备的姿态(视点位置和朝向)用于同步ar客户端显示的增强元素与用户头部运动的转化。所述姿态信息被发送给服务器或由服务器使用所述环境模型或其他数据来计算以允许所述服务器估计ar内容的元素从用户视点的可视性。从用户视点，现实世界对象(例如，桌子、建筑、树、门以及墙)能够遮挡ar内容。这会在ar内容的深度距离用户比现实世界对象更远但也在同一条视线上时发生。包含高分辨率深度信息的真实ar内容考虑增强现实性感知。
在一个实施方式中，用于观看ar内容的ar设备装配有能够从环境产生深度信息的传感器。传感器或传感器的组合可以包括一个或多个传感器，例如rgb-d相机、立体相机、红外相机、激光雷达、雷达、声呐以及深度感测领域的技术人员所知的任意其他种类的传感器。在一些实施方式中，传感器类型的组合和增强的处理方法被用于深度检测。当用户初始化观看会话时，该观看的客户端通过收集来自环境的深度数据重构所述环境模型。
在所述客户端设备上执行重构过程期间，在用户在环境内移动设备和传感器时，传感器收集来自所述环境的点云数据。具有变化视点的传感器观测被组合以形成关于完整环境的连贯的3d重构。一旦3d重构达到完成度阈值，ar客户端向ar内容服务器发送所述重构模型和针对特定ar内容的请求。在示例性实施方式中，例如所述3d重构的完成度可以用环绕区域覆盖百分比、离散观测数、感测持续时间等以及能够用作阈值的任意类似的质量值来衡量。可以使用任意已知重构方法来执行环境的3d重构，例如在kinectfusiontm或点云库(pcl)中描述的重构方法。
在该过程的一种变形中，在ar观看会话开始，客户端开始连续向服务器流传输rgb-d数据。该ar客户端然后发送内容请求。在该变形中，ar内容服务器使用接收的rgb-d数据流执行3d重构过程并存储重构环境模型。在服务器构建每客户端(per-client)环境模型时，其还开始通过移除被当前环境遮挡的虚拟元素来修改ar内容。随着3d重构变得更完整，内容移除处理变得更精确。
操作ar客户端设备的用户可以发起针对ar会话的请求。该请求被发送到ar内容服务器并指示用户已经选择的特定内容。要被显示的ar内容可以被定义为针对ar内容服务器的网络链接以及ar内容服务器内保有的特定ar内容的参考。操作系统可以基于用户激活的链接类型的检测来自动处理初始化ar客户端。所述客户端可以被嵌入有用于接收所述内容链接的应用，例如网页浏览器和移动消息应用。一旦所述用户开始ar会话，之前描述的环境的3d重构被初始化。
在所述重构过程之后，客户端开始姿态跟踪过程。该姿态跟踪过程的目的是估计客户端设备在哪一位置以及该客户端设备相对于之前重构环境面向哪个方向。可以使用任意已知的跟踪技术来进行姿态跟踪，且可以使用重构环境模型和客户端设备传感器数据来辅助所述姿态跟踪。在一些实施方式中，一旦已经确定客户端设备姿态，则客户端向ar内容服务器发送重构环境模型和所确定的姿态以及针对特定ar内容的请求。
所述ar内容服务器从所述ar客户端接收所述ar内容请求，并从内容存储取得所请求的内容。所述ar内容服务器然后修改所请求的ar内容以移除冗余数据。在这种情况下，内容递送优化涉及ar内容服务器执行的过程。在内容递送优化期间，所请求的ar内容的在观看者不可见的位置呈现的优化部分将被从内容中移除。在ar中，ar内容的虚拟元素优选地被感知为观看者看到的现实世界的部分(或与其融合)。为了增强现实感知，本申请公开的实施方式将阻挡用户视野的虚拟对象的物理对象的外表复制到虚拟对象。通过从内容移除被现实世界元素遮挡的所有元素，该内容的大小可以被减小而不会造成用户能够观测到的品质损失。依据所请求的内容类型，ar内容服务器使用稍微不同的内容递送优化过程。实际上，甚至客户端设备也可以基于其请求的ar内容的类型而利用进一步的改进。在下面部分描述用于优化光场、拟真视频以及合成3d场景的不同方式。
光场数据能够包括从一些不同视点在一个场景同时获取的子图像阵列。基于该子图像阵列，能够通过计算的方式生成原始视点之间的新视点。所述子图像阵列也可以被处理以实现汇编的最终图像的重新聚焦。最相关地，所述子图像阵列可以用于例如经由子图像的视差及不一致图的分析来提取与所捕获的场景对应的深度信息。
针对光场优化，所述ar内容服务器从光场提取深度信息并将光场景深图与从ar客户端接收的环境模型对准。针对所述光场的每个子图像，ar服务器将组合的光场景深图和所述客户端环境模型的视点变换为匹配所述光场子图像的视点。针对所述光场子图像的每个像素，ar内容服务器将来自客户端的环境模型的深度值与从所述光场数据提取的对应的深度值进行比较。如果所述光场的景深图具有大于来自客户端环境模型的深度值的深度值，则所述光场子图像中的对应像素被丢弃，因为它们被现实世界对象遮挡且由此对客户端是不可见的。
至于拟真视频(其具有相关联的深度信息可用)，可以通过将该拟真视频的深度值与所述环境相对于跟踪的相机姿态的深度值进行比较来执行优化。对于任意内容移除，ar内容服务器操作以重新呈现视频。在重新呈现期间，在用户的环境中被现实世界元素遮挡的视频数据的部分被丢弃。这些大的丢弃区域能够使用传统视频压缩方法被有效压缩。
在一些实施方式中，通过考虑到从现实世界观看环境捕获的几何形状视图内对虚拟3d元素执行可视性检测，包括虚拟3d信息的合成3d场景可得到优化。在所述可视性检测中，确定从用户的视点的内容的可视性。依据虚拟ar元素的几何形状描述，能够关于对象或关于每个对象的每个顶点来执行可视性检测。在一些实施方式中，对象级移除(相对于顶点级移除)被执行，其中对象几何形状的移除部分会导致需要明显的对象数据重新组织。这会阻止3d呈现算法使用缓冲对象，其将所述内容的部分作为gpu存储器中的静态实体进行存储。相关内容递送优化一完成，修改的ar内容会被发送到ar客户端。
所述ar客户端从ar内容服务器接收修改的ar内容并将其显示给观看者。为了显示所述内容，ar客户端从客户端设备深度传感器确定设备姿态。基于朝向信息，显示过程将接收的内容坐标系统与用户的坐标系统对准。在一些实施方式中，在对准内容之后，子过程将从客户端设备传感器接收的深度值与从ar内容服务器接收的修改的内容的深度值进行比较。所述内容中深度值大于客户端设备深度传感器中的对应深度值的区域能够被丢弃并不被呈现，因为不然它们要在在环境中被现实物理元素遮挡的空间位置呈现。所述ar内容服务器已经移除了在客户端发送给服务器的环境模型中存在的元素遮挡的ar内容元素，但是这种运行时间深度比较能够处理从发送到内容服务器的环境模型丢失的动态元素和静态元素导致的遮挡。
图1是根据至少一个实施方式的用于在预捕获环境中的ar内容递送的方法的可视概观。在可视概观中描绘了用户100穿戴ar可穿戴装置客户端设备102。用户100在包括大桌子106的现实世界ar观看位置104。102内的客户端设备开始经由ar可穿戴装置客户端设备102内的数据收集相机和传感器重构当前环境。客户端102使用ar可穿戴装置中的相机和传感器收集关于所述桌子的形状和位置的数据，并将该数据发送到所述ar内容服务器108。
用户100希望消耗(consume)描绘两个虚拟人物的ar内容。ar客户端向ar内容服务器108发送内容请求114。ar内容服务器108执行关于所选内容的可视性分析。ar内容服务器108基于关于当前环境的用户的位置和朝向，确定顶部的虚拟人物是可视的110的以及底部的虚拟人物112会被桌子106遮挡。
ar内容服务器108然后通过移除底部的虚拟人物来修改所述ar内容。标准压缩技术可以用于减小修改的帧的大小。修改的内容流然后从服务器被发送到用户100以用于消耗。
一个实施方式包括ar可穿戴装置客户端设备102执行的过程。该过程包括使用ar客户端设备102生成现实世界ar观看位置的数字重构3d环境。该过程包括检测数字重构3d环境中的对象。该过程还包括确定所述对象的深度和几何形状。该过程还包括发送指示所述对象的深度和几何形状的信息到ar内容服务器108。该过程还包括发送来自ar客户端的针对ar内容的请求到ar内容服务器108。该过程还包括在ar客户端设备102处从ar内容服务器108接收ar内容流116，其中所接收的ar内容流108已经被ar内容服务器108过滤以排除会被对象112遮挡的ar内容。
图2是根据至少一个实施方式的由ar客户端执行的用于预捕获环境中的ar内容递送的方法的流程图。图2描绘了过程200，其包括元素202-210。在元素202，ar客户端(例如，客户端102)确定现实世界ar观看位置。在元素204，所述过程200包括识别并跟踪在现实世界ar观看位置104内的ar客户端(例如客户端102)的视点位置和朝向。在元素206，所述过程200包括将指示所述视点位置和朝向的信息发送到ar内容服务器108。在元素208，所述过程200包括将针对ar内容的请求发送给ar内容服务器108。在元素201，所述过程200包括在所述ar客户端设备102处从ar内容服务器接收ar内容流，例如流116，其中接收的ar内容流(例如，流116)已经被ar内容服务器(例如，服务器108)过滤以排除从所述视点位置和朝向在现实世界ar观看位置中不可见的ar内容。
图3是根据至少一个实施方式的由ar内容服务器执行的用于预捕获环境中的ar内容递送的方法的流程图。图3描绘了过程300，其包括元素302-310。在元素302，ar内容服务器(例如，服务器108)从ar客户端(例如，客户端设备102)接收针对ar内容的请求。在元素304，所述过程300包括获取现实世界ar观看位置(例如，位置104)的数字重构3d环境。在元素306，所述过程300包括接收现实世界ar观看位置的ar客户端的视点位置和朝向。在元素308，所述过程300包括将所请求的ar内容与数字重构3d环境和视点位置及朝向进行比较，以执行对所请求ar内容的可视性分析，以及通过移除通过可视性分析指出的从视点位置和朝向不可见的部分来修改所请求ar内容。在元素310，所述过程300包括通过发送修改的ar内容给ar客户端来完成针对ar内容的请求。
在至少一个实施方式中，获取现实世界ar观看位置的数字重构3d环境包括从数据存储获取所述重构3d环境。在至少一个实施方式中，获取现实世界ar观看位置的数字重构3d环境包括从ar客户端获取重构3d环境。在至少一个实施方式中，获取现实世界ar观看位置的数字重构3d环境包括使用来自数据存储的数据和来自ar客户端设备的实时数据生成所述重构3d环境。
在ar内容服务器的至少一个实施方式中，修改所请求的ar内容依据内容类型而变化。在一个这样的实施方式中，所述内容类型是3d场景，以及修改所请求的ar内容包括：(i)从所请求的ar内容移除被遮挡的3d对象，(ii)获取针对视点位置和朝向的更新，以及(iii)基于更新的视点位置和朝向，向ar客户端发送早前被移除但现在可视的ar对象。在另一这样的实施方式中，所述内容类型是光场，以及修改所请求的ar内容包括：(i)逐帧处理所述光场内容以移除被遮挡部分，以及(ii)重新打包剩余数据以进行流传输。在另一这样的实施方式中，所述内容类型是具有深度数据的拟真视频，以及修改所请求的ar内容包括：(i)移除所述视频中数字重构3d环境的深度值比与该视频相关联的深度值要小的部分，(ii)重新呈现帧，以及(iii)重新打包所述视频以用于流传输。
图4是根据至少一个实施方式的用于预捕获环境中的ar内容递送的方法的顺序图。为了用作进一步资源，下面段落包含图4的顺序图的示例遍历。
客户端设备102在重构环境重构当前ar观看位置404。用户100在步骤406启动ar观看客户端102，并使用ar头戴式装置扫描当前环境408，该ar头戴式装置能够直接或无线地耦合到所述观看客户端。客户端设备102可以可替换地确定当前ar观看位置并将该信息发送到已经具有环境模型的ar内容服务器108。扫描并重构所述环境对于跟踪目的也是有用的。在图4中，当数字重构完成时，在步骤410，用户100被通知“客户端就绪”。
然后用户100能够如步骤412所示发起ar内容流传输(观看)会话。用户100输入或选择ar内容链接414并将其给到ar客户端102。一接收到所述链接，ar客户端进行姿态跟踪414(但是该步骤可以在较早时间被初始化)。ar客户端发送针对数字重构3d环境的内容请求416以及当前ar客户端姿态给ar内容服务器108。
在步骤420，ar内容服务器108在取得内容418以及步骤420从ar内容存储402获取所请求的ar内容。
内容流传输和观看422可以在获取后开始。ar内容服务器108通过移除被现实世界环境遮挡的元素来优化所请求的ar内容424。这可以涉及修改内容帧、重新呈现修改的帧等等。ar内容服务器108执行可视性分析(ar客户端也可以执行这个)以使用数字重构3d环境和客户端姿态确定哪个ar内容对于用户100是不可见的。然后，优化的内容424将经由优化的内容流426而被提供给ar观看者客户端102，由此用户100能够看到显示的内容428。
至少一个实施方式包括用于使用ar客户端数字重构增强现实(ar)观看位置的过程。该过程还包括从ar客户端向ar内容服务器发送描述数字重构ar观看位置的信息。该过程还包括从ar客户端向ar内容服务器发送针对ar内容的请求。该过程还包括从ar客户端向ar内容服务器发送描述ar观看位置内ar客户端的位置和朝向的信息。该过程还包括在ar内容服务器处基于接收的描述数字重构ar观看位置的信息和接收的描述ar客户端的位置和朝向的信息来确定所请求的ar内容的可视性。该过程还包括在ar内容服务器处通过移除所请求的ar内容中被确定为不可见的部分来修改所请求的ar内容。该过程还包括从ar内容服务器向ar客户端发送修改的ar内容。该过程还包括使用ar客户端用修改的ar内容来增强ar观看位置。
图5是根据至少一个实施方式的用户500和示例性现实世界ar观看位置502的图示。图5是用于帮助图6至10的描述的参考图像。图5描绘示例性现实世界ar观看位置中的用户500。该观看位置502是房间，其包含两个门口504和506、梳妆台508、沙发510、以及椅子512。用户500使用ar头戴式装置514扫描现实世界ar观看位置。
图6是根据至少一个实施方式的数字重构3d环境的平面图。用户600使用ar客户端扫描ar观看位置并生成数字重构3d环境。该数字重构包括两个门口602和604、梳妆台606、沙发608以及椅子610。图2是该重构的平面图。用户600穿戴的ar头戴式装置确定其姿态并将姿态和所述数字重构发送到ar内容服务器108。
图7是根据至少一个实施方式的所请求的ar内容和图6的数字重构3d环境的图示。用户600已经请求了描绘九个星星700的ar内容(例如在ar天文馆应用中)。该ar内容的坐标系统通过使用数字重构3d环境和姿态信息而被与现实世界观看位置对准。可以以多种方式执行该对准。例如，可以选择该对准以最小化由于遮挡而不会被显示的ar内容量(例如星星的数量)。可以使用用户输入来选择所述对准，例如用户可以调整所述对准直到选择了偏好的对准。可以基于其他输入来选择所述对准，例如ar显示设备中的一个或多个加速度计可以用于确保关于ar内容的“上”方向与ar观看环境的“上”方向对准。在一些实施方式中，可以选择对准由此用户在ar会话开始时面向的方向可以与ar内容的偏好的观看方向相对准。
基于所选择的对准，ar内容的每个元素的显示位置(例如每个星星的显示位置)可以通过使用所选的对准将这些元素的坐标从ar内容的坐标系统变换到3d观看环境的坐标系统来确定。
图8是根据至少一个实施方式的对图7的所请求的ar内容执行的可视性分析的图示。ar内容服务器108使用数字重构3d环境和姿态信息执行可视性分析。ar内容服务器108确定包括在原始ar内容中的四个星星802，804,806以及808从用户600的视点是不可见的，且将其从所述内容移除。
图9是根据至少一个实施方式的修改的ar内容和图6的数字重构3d环境的图示。用户已经请求了描绘九个星星的ar内容，但是ar内容服务器已经修改了所述ar内容且现在在修改的数据流中仅出现五个星星。
图10是根据至少一个实施方式的图5的用户看到的图9的修改的ar内容的图示。图10示出了通过修改的ar内容增强的现实世界环境。5个剩余的星星1002,1004,1006,1008以及1010都是可见的。4个被移除的星星802,804,806和808没有被墙、椅子等遮挡，但是在数据流中都没有出现。
本申请公开的示例性实施方式使用一个或多个有线和/或无线网络节点来实施，例如无线发射/接收单元(wtru)或其他网络实体。
图11是在本申请的实施方式中可以用作ar客户端观看器的示例性wtru1102的系统图。如图11中所示，wtru1102可以包括处理器1118、包括收发信机1120的通信接口1119、发射/接收部件1122、扬声器/麦克风1124、键盘1126、显示器/触摸板1128、不可移除存储器1130、可移除存储器1132、电源1134、全球定位系统(gps)芯片组1136以及传感器1138。应该了解的是，在保持符合实施例的同时，wtru1102可以包括前述部件的任何子组合。
处理器1118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、其他任何类型的集成电路(ic)以及状态机等等。处理器1118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使wtru1102在无线环境中工作的功能。处理器1118可以耦合至收发信机1120，收发信机1120可以耦合至发射/接收部件1122。虽然图11将处理器1118和收发信机1120描述成单独组件，然而应该了解，处理器1118和收发信机1120也可以集成在一个电子组件或芯片中。
发射/接收部件1122可被配置成经由空中接口1116来发射或接收去往或来自基站的信号。举个例子，在一个实施例中，发射/接收部件1122可以是被配置成发射和/或接收rf信号的天线。作为示例，在另一个实施例中，发射/接收部件1122可以是被配置成发射和/或接收ir、uv或可见光信号的发射器/检测器。在再一个实施例中，发射/接收部件1122可被配置成发射和接收rf和光信号。应该了解的是，发射/接收部件1122可以被配置成发射和/或接收无线信号的任何组合。
此外，虽然在图11中将发射/接收部件1122描述成是单个部件，但是wtru1102可以包括任何数量的发射/接收部件1122。更具体地说，wtru1102可以使用mimo技术。由此，在一个实施例中，wtru1102可以包括两个或多个通过空中接口1116来发射和接收无线电信号的发射/接收部件1122(例如多个天线)。
收发信机1120可被配置成对发射/接收部件1122所要传送的信号进行调制，以及对发射/接收部件1122接收的信号进行解调。如上所述，wtru1102可以具有多模能力。因此，收发信机1120可以包括允许wtru1102借助多种rat(例如utra和ieee802.11)来进行通信的多个收发信机。
wtru1102的处理器1118可以耦合到扬声器/麦克风1124、键盘1126和/或显示器/触摸板1128(例如液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器1118还可以向扬声器/麦克风1124、键盘1126和/或显示器/触摸板1128输出用户数据。此外，处理器1118可以从诸如不可移除存储器1130和/或可移除存储器1132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器1130可以包括随机存取存储器(ram)、只读存储器(rom)、硬盘或是其他任何类型的记忆存储设备。可移除存储器1132可以包括订户身份模块(sim)卡、记忆棒、安全数字(sd)记忆卡等等。在其他实施例中，处理器1118可以从那些并非实际位于wtru1102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器1118可以接收来自电源1134的电力，并且可被配置分发和/或控制用于wtru1102中的其他组件的电力。电源1134可以是为wtru1102供电的任何适当设备。例如，电源1134可以包括一个或多个干电池组(如镍镉(ni-cd)、镍锌(ni-zn)、镍氢(nimh)、锂离子(li-ion)等等)、太阳能电池以及燃料电池等等。
处理器1118还可以耦合到gps芯片组1136，该芯片组可被配置成提供与wtru1102的当前位置相关的位置信息(例如经度和纬度)。作为来自gps芯片组1136的信息的补充或替换，wtru1102可以经由空中接口1116接收来自基站的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，wtru1102可以借助任何适当的定位方法来获取位置信息。
处理器1118还可以耦合到其他周边设备1138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备1138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(usb)端口、振动设备、电视收发信机、免提耳机、
图12示出了可以在本公开的实施方式中使用的示例性网络实体1290，例如作为ar内容服务器或作为ar内容存储。如图12所示，网络实体1290包括通信接口1292、处理器1294以及非暂态数据存储1296，所有这些通过总线、网络或其他通信路径1928以通信地方式链接。
通信接口1292可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，通信接口1292可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口1292可以包括多个组件，例如，一个或多个天线、为一种或多种类型的无线通信(例如lte)设计和配置的一个或多个收发信机/芯片组、和/或本领域技术人员认为合适的任意其他组件。进一步地，关于无线通信，通信接口1292可以按规模装配有适用于用作在网络侧用作无线通信(例如，lte通信、wi-fi通信等)的配置(与客户端侧相对)。因此，通信接口1292可以包括合适的设备和电路(可能包括多个收发信机)来用于服务多个移动站、ue或覆盖区域中的其他接入终端。
处理器1294可以包括本领域技术人员认为合适的任意类型的一个或多个处理器，一些示例包括通用微处理器和专用dsp。
数据存储1296可以采用任意非暂态计算机可读介质或这些介质的组合的形式，一些示例包括闪存存储器、只读存储器(rom)以及随机存取存储器(ram)等，以及本领域技术人员认为可以使用的任意一种或多种类型的非暂态数据存储。如图12所示，数据存储1296包含处理器1294可执行的程序指令1297，用于执行本申请描述的各种网络实体功能的各种组合。
在上述描述中，已经描述了特定实施方式。但是，本领域技术人员可以理解在不背离权利要求提出的本发明的范围的情况下可以做出各种修改和改变。因此，说明书和附图视为示例性的而绝非限制性的，且所有这些修改都包括在本发明教示的范围内。
存在的或变得明显的益处、优点、问题解决方案以及可以带来任何益处、优点或解决方案的任意元素不被理解为任何或所有权利要求的关键的、必须的或必要的特征或元素。本发明只由所附权利要求来限定，这些权利要求包括在本申请未决阶段做出的任何修改以及授权的权利要求的所有等同。
此外在本申请文件中，关系术语(例如，第一和第二、顶部和底部等)可以用于仅为了区分一个实体或动作与另一实体或动作，而不必要求或暗示这些实体或动作之间的任意实际关系或顺序。术语“包括(comprises)”、“包括(comprising)”、“具有(has)”、“具有(having”、“包含(includes)”、“包含(including)”、“含有(contains)”、“含有(containing)”或其任意其他变化旨在包括开放式包含，由此包括、具有、包含、含有所列元素的过程、方法、物品或装置不仅包括这些元素，还可以包括没有明确列出或这些过程、方法、物品或装置固有的其他元素。被“包括”、“具有”、“包含”、“含有”的元素在没有进一步限制的情况下不排除在包括、具有、包含、含有该元素的过程、方法、物品或装置中存在另外的相同的元素。术语“一(a)”和“一(an)”被定义为一个或多个，除非在本申请中另有明确说明。术语“基本上”、“本质上”、“近似地”、“大约”或其任意其他版本被定义为接近本领域技术人员理解的，且在一个非限制实施方式中该术语被定义为在10％内，在另一实施方式中在5％内，在另一实施方式中在1％内，以及在另一实施方式中在0.5％内。本申请使用的术语“耦合”被定义为连接，但是不必须是直接连接以及不必须是机械连接。以某种方式“配置”的设备或结构以至少该方式配置，但是也可以以没有列出的方式配置。
可以理解，一些实施方式包括一个或多个通用或专用处理器(或“处理设备”)，例如微处理器、数字信号处理器、定制处理器和现场可编程门阵列(fpga)以及独特存储的程序指令(包括软件和固件)，其控制一个或多个处理器联合某些非处理器电路执行本申请描述的方法和/或装置的一些、多数或全部功能。可替换地，一些或所有功能可以由没有存储程序指令的状态机实施，或在一个或多个专用集成电路(asci)中实施，其中每个功能或某些功能的一些组合被实施为定制逻辑。当然，可以使用两种方式的组合。
因此，本公开的一些实施方式或其部分可以将一个或多个处理设备和存储在有形计算机可读存储设备中的一个或多个软件组件(例如，程序代码、固件、常驻软件、微代码等)组合，这些组合形成执行本申请描述的功能的特别配置的装置。形成特别编程的设备的这些组合在本申请中可以统称为“模块”。该模块的软件组件部分可以以任意计算机语言编写并可以是单片代码库的部分，或可以在更离散代码部分被开发(例如典型地在面向对象的计算机语言中)。此外，所述模块可以被分布到多个计算机平台、服务器、终端等。给定的模块甚至可以被实施为分开的处理器设备和/或计算硬件平台执行所描述的功能。
此外，实施方式能够被实施为计算机可读存储介质，其上存储有计算机可读代码用于对计算机(例如包括处理器)编程以执行本申请描述和要求的方法。计算机可读存储介质的示例包括但不限于硬盘、cd-rom、光存储设备、磁存储设备、rom(只读存储器)、prom(可编程只读存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)以及闪存存储器。此外，可以预见，本领域技术人员尽管例如通过可用时间、当前技术以及经济考虑激发会做出可能重大的努力和许多设计选择，但是其在本申请工公开的概念和原理的指导下在最小实验的情况下容易能够产生这些软件指令和程序以及ic。
提供本公开的摘要以使得读者快速查明技术公开的本质。需要理解的是，其不用于解释或限制权利要求的范围或含义。此外，在前述具体实施方式部分中，可以知道在各种实施方式中组合各种特征以精简本公开。这种公开方法不被解释为反映要求的实施方式需要比每项权利要求中明确记载更多的特征。相反，权利要求反映的发明主题在于比单个公开实施方式的所有特征更少。因此，权利要求在此被整合到具体实施方式，每项权利要求自身作为独自地要求保护的主题。
- 还没有人留言评论。精彩留言会获得点赞！