用于改进内容呈现的系统和方法与流程

文档序号:20013113发布日期:2020-02-22 04:43阅读:259来源:国知局
用于改进内容呈现的系统和方法与流程

优先权主张

本专利申请主张2017年7月25日递交的标题为“用于改进内容呈现的系统和方法(systemsandmethodsforimprovingcontentpresentation)”的第15/658,612号申请案的优先权,并且在此以引用的方式明确并入本文中。

本发明大体上涉及呈现内容,并且具体地说,涉及改进内容呈现。



背景技术:

一些技术需要大量的数据以非常低的时延发射。举例来说,虚拟现实(vr)流式传输通常包含将360度的视觉内容和/或其它多媒体内容流式传输到头戴式显示器(hmd)。为了提供用于虚拟现实的高数据吞吐量和低时延,一些虚拟现实系统使用物理地连接到用户的头戴式显示器的高清多媒体接口(hdmi)缆线。不幸的是,虽然用户沉浸在通过此类基于缆线的系统呈现的虚拟现实中,但是存在缆线可能接触用户、扰乱用户的沉浸式体验或可能绊倒用户的风险,引起用户跌倒并伤害他们自身。

毫米波(mmw)无线通信,其使用具有在30到300ghz的频谱范围中的1到10mm的波长(λ)的无线信号,可有利地提供具有低时延的高数据吞吐量,使得它成为用于虚拟现实流式传输和/或其它技术的潜在的解决方案。有利的是,通过使用毫米波无线信号,虚拟现实系统并不需要连接到用户的头戴式显示器的妨碍的hdmi缆线,或类似者。

不幸的是,当毫米波发射器与毫米波接收器之间的视线受阻挡时,毫米波无线信号的性能下降。此性能下降可能引起通过用户的头戴式显示器呈现的虚拟现实内容暂停和/或向前跳过,扰乱用户在虚拟现实中的沉浸并且潜在地破坏整体用户体验。



技术实现要素:

因此存在对消除或减少上文所列的缺点和问题和/或其它缺点和问题的系统和方法的需要。

一个方面是用于改进内容呈现的方法。所述方法可以包括通过处理器预测呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的。所述方法还可包括基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态预测一或多个通信链路中的至少一个通信链路的状态。所述方法还可包括响应于至少一个通信链路的状态满足一或多个标准执行动作,所述至少一个通信链路的状态是基于预测为通过在内容中的一或多个刺激诱发的呈现环境的状态预测的。

另一方面是用于改进内容呈现的系统。所述系统可以包括处理器,所述处理器配置有处理器可执行指令以执行操作,所述操作可以包括预测呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的。所述操作还可包括基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态预测一或多个通信链路中的至少一个通信链路的状态。所述操作还可包括响应于至少一个通信链路的状态满足一或多个标准执行动作,所述至少一个通信链路的状态是基于预测为通过在内容中的一或多个刺激诱发的呈现环境的状态预测的。

又另一方面是用于改进内容呈现的设备。所述设备可以包括用于预测呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的装置。所述设备可以包括用于基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态预测一或多个通信链路中的至少一个通信链路的状态的装置。所述设备可以包括用于响应于至少一个通信链路的状态满足一或多个标准执行动作的装置,所述至少一个通信链路的状态是基于预测为通过在内容中的一或多个刺激诱发的呈现环境的状态预测的。

再一方面是非暂时性处理器可读存储媒体,在所述非暂时性处理器可读存储媒体上面存储有处理器可执行指令,所述处理器可执行指令经配置以使得服务器的处理器执行操作,所述操作可以包括预测呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的。所述操作还可包括基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态预测一或多个通信链路中的至少一个通信链路的状态。所述操作还可包括响应于至少一个通信链路的状态满足一或多个标准执行动作,所述至少一个通信链路的状态是基于预测为通过在内容中的一或多个刺激诱发的呈现环境的状态预测的。

出于概况的目的,已经在此发明内容中描述了本发明的实施例中的若干个的一些方面、优点和特征。本发明的一些实施例可包含这些概括的方面、优点和特征中的一些或全部。然而,未必这些概括的方面、优点或特征中的所有的(或任何一个)将在本发明的任何具体实施例中实施。因此,这些概括的方面、优点和特征中并无一个是必需的。从以下详细描述和所附权利要求书中这些概括的方面、优点和特征以及其它方面、优点和特征中的一些可能变得更加完全地显而易见。

附图说明

附图含有优选实施例的图式以进一步阐明上文所述的以及其它方面、优点和特征。将了解这些图式仅仅描绘本发明的优选实施例且并不意图限制其范围。将通过使用附图以额外的特殊性和细节来描述和解释这些优选实施例,在附图中:

图1a是内容呈现系统的实施例的图式;

图1b是内容呈现系统的实施例的图式;

图1c是内容呈现系统的实施例的图式;

图2a是内容呈现装置的实施例的图式;

图2b是内容呈现装置的实施例的图式;

图2c是内容呈现装置的实施例的图式;

图2d是内容呈现装置的实施例的图式;

图2e是内容呈现装置的实施例的图式;

图2f是内容呈现装置的实施例的图式;

图3是说明用于改进内容呈现的实施例方法的流程图;

图4a是说明用于改进内容呈现的实施例方法的流程图;

图4b是说明用于改进内容呈现的实施例方法的流程图;

图4c是说明用于改进内容呈现的实施例方法的流程图;

图5是说明用于改进内容呈现的实施例方法的流程图;

图6是说明用于产生通信链路配置文件的实施例方法600的流程图;

图7a是说明用于改进内容呈现的实施例方法的流程图;以及

图7b是说明用于改进内容呈现的实施例方法的流程图。

具体实施方式

本发明大体上涉及虚拟现实系统。然而,本发明的原理并不限于虚拟现实系统。应理解,鉴于本发明,本文中所公开的实施例可以与其它类型的内容呈现系统结合成功地使用,例如,增强现实系统。现在在下文中是虚拟现实系统的具体描述。

图1a是内容呈现系统的实施例的图式,例如,虚拟现实系统100。虚拟现实系统100可经配置以在呈现环境106中将内容102呈现给一或多个用户104。内容102可包含视觉内容108、音频内容110、触觉反馈内容112、其它内容,或其任何组合。视觉内容108可包含例如,视频、渲染图形、其它视觉内容,或其任何组合。

呈现环境106可包含一或多个用户104、一或多个内容呈现装置114、一或多个发射器116、一或多个存取点118、一或多个路由器120、一或多个中继器122、一或多个反射器124、一或多个其它物体(例如,用户的家具、虚拟现实设施中的障碍物,和/或其它物体),或其任何组合。

图2a是内容呈现装置的实施例的图式,例如,内容呈现装置114。内容呈现装置114可经配置以将内容102呈现给用户104。

如图2a中所示,内容呈现装置114可包含一或多个输出装置202,所述输出装置可包含:一或多个显示器204,其经配置以呈现视觉内容108;一或多个扬声器206,其经配置以呈现音频内容110;一或多个触觉装置208,其经配置以呈现触觉反馈内容112;一或多个其它装置,其经配置以呈现其它内容;或其任何组合。扬声器206可包含一或多个耳机或形成一或多个耳机的部分。

内容呈现装置114可包含一或多个接收器210,所述接收器经配置以在图1a中通过一或多个通信链路126接收内容102。举例来说,接收器210可包含一或多个天线212,所述天线可通过无线通信链路接收内容102,例如,毫米波无线通信链路或其它类型的无线通信链路。将了解,取决于虚拟现实系统100的配置,通信链路126可以包括一或多个无线通信链路、一或多个有线通信链路,或这两者。内容呈现装置114还可包含一或多个处理器214。

图2b是内容呈现装置的实施例的图式。如图2b中所示,内容呈现装置114可以包括移动电话216,所述移动电话可包含一或多个显示器204、一或多个扬声器206、一或多个触觉装置208、一或多个接收器210、一或多个处理器214、其它装置,或其任何组合。

图2c是内容呈现装置的实施例的图式。如图2c中所示,内容呈现装置114可以包括头戴式显示器218,所述头戴式显示器可包含一或多个显示器204、一或多个扬声器206、一或多个触觉装置208、一或多个接收器210、一或多个处理器214、其它装置,或其任何组合。

在一些实施例中,头戴式显示器218可以包括可以选择性地连接到头戴式显示器的其它组件并且从头戴式显示器的其它组件断开的移动电话。举例来说,头戴式显示器218可包含经设定大小且经配置以接收移动电话的插口或其它类型的接收部分,其可允许移动电话安装到头戴式显示器的其它组件。通过将移动电话安装到头戴式显示器218的其它组件,移动电话、头戴式显示器的其它组件或这两者可提供一或多个显示装置204、一或多个扬声器206、一或多个触觉装置208,或其任何组合。然而,头戴式显示器218不必包含移动电话,并且可以包括经配置以保持互连的组件。在一些实施例中,头戴式显示器218可以包括眼镜、近眼显示器,或任何其它合适的头戴式显示器。举例来说,头戴式显示器218可以包括具有透视镜片的眼镜,所述眼镜可用于提供扩增现实体验,用户104可以通过所述眼镜看到内容102的部分和用户的物理环境的部分这两者。

如图1a中所示,发射器116可经配置以通过通信链路126将内容102提供到内容呈现装置114。具体地说,内容呈现装置114的接收器210可接收经由通信链路126提供的内容102,并且内容呈现装置可将接收到的内容呈现给用户104。举例来说,在一些实施例中,通信链路126可以是无线通信链路(例如,毫米波无线通信链路或其它无线通信链路),并且发射器116可经由无线通信链路提供(并且内容呈现装置114可接收)内容102。

如图1a中所示,发射器116可以在多种合适的组件中的任一个中实施。举例来说,存取点118可以包括发射器116,路由器120可以包括发射器116,并且转发器122可以包括发射器116。举例来说,转发器122可接收提供通信链路126的无线信号(例如,从存取点118或从路由器120),并且转发器可重新发射接收到的无线信号。

发射器116可经配置以通过通信链路126提供交互式数据。具体地说,如图1c中所示,接收器210(例如,存取点118、路由器120、转发器122或其任何组合的接收器)可接收经由通信链路126提供的交互式数据128,虚拟现实系统100可使用所述数据以产生内容102。举例来说,内容呈现装置114可包含发射器116(如图2d、2e和2f中所示),并且内容呈现装置的发射器可经由通信链路126提供交互式数据128(如图1c中所示)。

交互式数据128可包含多种数据中的任一个,虚拟现实系统100可使用所述数据以产生内容102和/或以执行其它功能。在一些实施例中,交互式数据128可指示6个自由度(6dof)控制器输入。在一些例子中,内容呈现装置114可产生指示6dof控制器输入的交互式数据128,例如,当用户104移动内容呈现装置时。在一些例子中,内容呈现装置114可接收指示来自其它装置的6dof控制器输入的交互式数据128,例如,来自通过用户104持有或佩戴的控制器、其它控制器、通过用户持有或佩戴的摄像机和/或麦克风,或任何其它合适的装置。在一些实施例中,交互式数据128可包含指示手部追踪的数据、指示环境深度地图构建的数据、记录的音频、记录的视频,或任何其它合适的交互式数据。

虚拟现实系统100的一或多个组件可包含收发器。举例来说,如图2d、2e和2f中所示,内容呈现装置114可包含收发器220,所述收发器可包含发射器116和接收器210。并且,举例来说,存取点118、路由器120和/或转发器122可包含收发器,所述收发器可包含发射器116(如图1a中所示)和接收器210(如图1c中所示)。

如图1a中所示,呈现环境106可包含反射器124,所述反射器可经配置以反射提供通信链路126的无线信号(例如,从存取点118或从路由器120或从内容呈现装置114)。举例来说,提供通信链路126的无线信号可以在第一方向上行进,并且反射器124可以在不同的第二方向上反射无线信号。

图1b是内容呈现系统的实施例的图式,例如,虚拟现实系统100。如图1b中所示,在一些实施例中,虚拟现实系统100可以是包括多个内容呈现装置114的点对点虚拟现实系统。举例来说,点对点虚拟现实系统可包含第一内容呈现装置114a和第二内容呈现装置114b。第一内容呈现装置114a可包含第一发射器116a,所述第一发射器可通过第一通信链路126a将交互式数据128和/或内容102的至少一部分提供到第二内容呈现装置114b。第二内容呈现装置114b可包含第二发射器116b,所述第二发射器可通过第二通信链路126b将交互式数据128和/或内容102的至少一部分提供到第一内容呈现装置114a。将了解点对点虚拟现实系统可包含任何数量的内容呈现装置114,所述内容呈现装置可包含一或多个发射器116,所述发射器经配置以经由一或多个通信链路126将交互式数据128和/或内容102的至少一部分提供到其它内容呈现装置114中的一些或全部。

为了帮助向用户104提供沉浸式虚拟现实体验,内容呈现装置114可呈现可包含一或多个刺激的内容102。如下文所论述,所呈现的内容102中的一或多个刺激可能引起一或多个用户104移动,这可能改变呈现环境106,并且呈现环境中的改变可能改变一或多个通信链路126的状态。

虚拟现实系统100和内容呈现装置114可经配置以允许一或多个用户104在呈现环境106中移动。举例来说,用户104可响应于在通过内容呈现装置114呈现的内容102中的一或多个刺激移动。举例来说,用户104可转动他们的头部、移动他们的手臂、移动他们的腿部,或作出任何其它移动;以及用户可作出此类移动同时保持在一个位置处或同时从第一位置移动到不同的第二位置。在一些实施例中,虚拟现实系统100和内容呈现装置114可经配置以提供6个自由度(6dof)虚拟现实体验,也就是说,在虚拟现实体验中,用户104可与围绕三个垂直的轴旋转组合向前/向后、向上/向下、向左/向右移动(在三个垂直的轴中平移),所述围绕三个垂直的轴旋转通常被称为俯仰、摇摆和滚动。

除了用户104他们自身之外,呈现环境中的一或多个物体(例如,头戴式显示器218或其它物体)也可例如响应于用户移动而移动。在一个此类实施例中,头戴式显示器218可在佩戴头戴式显示器的用户104转动他们的头部、移动他们的手臂、移动他们的腿部或作出任何其它移动时移动。在另一此类实施例中,用户104可能无意地接触物体或可能有意地接触物体(例如,推动、拉动、抬起或携带物体),这可能引起物体的移动。在又另一此类实施例中,物体可以是每个算法可响应于用户移动(例如,用户手势)而移动的机器人,所述机器人被设计成增强通过虚拟现实系统100提供的虚拟现实体验。

用户104和/或物体的此移动改变呈现环境106,并且呈现环境106中的此类改变可能降低通信链路126的性能。举例来说,在呈现环境106中的改变在内容呈现装置114的发射器116与接收器210之间形成视线的阻挡物的情况下,通信链路126的性能可能降低,尤其是在通信链路是毫米波无线通信链路的情况下。在一些例子中,视线的此类阻挡物可包含用户104他们自身(例如,用户104作出手势,其中用户的手臂阻挡到用户的内容呈现装置114的接收器210的视线;第一用户104移动到阻挡到第二用户104的内容呈现装置114的接收器210的视线的位置或作出阻挡到第二用户104的内容呈现装置114的接收器210的视线的手势)。在一些例子中,此类对视线的阻挡可包含呈现环境106中的物体(例如,用户104移动到阻挡到用户的内容呈现装置114的接收器210的视线的物体后面的位置;佩戴头戴式显示器218的用户转动他们的头部引起头戴式显示器自身阻断到头戴式显示器的接收器210的视线;当用户在呈现环境中的房间之间移动时阻挡到用户的内容呈现装置114的接收器210的视线的墙壁、门框或其它物体)。

此性能下降可能引起通过内容呈现装置114呈现的内容102暂停和/或向前跳过,扰乱用户在虚拟现实中的沉浸并且潜在地破坏整体用户体验。此性能下降还可防止虚拟现实系统100迅速地接收交互式数据128,这可能引起虚拟现实系统呈现与用户的期望失去同步的内容102。此类失步内容102还可扰乱用户在虚拟现实中的沉浸并且潜在地破坏整体用户体验。如下文所论述,本文中所公开的实施例可有利地帮助避免或减少此性能下降,因此改进内容呈现。

图3是说明用于改进内容呈现的实施例方法300的流程图,所述方法可通过一或多个处理器执行。如图3中所示,方法300可包含一或多个块,例如,块302、304、306和308。

在块304处,处理器可预测呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的。举例来说,处理器可预测呈现环境106的状态为通过待在呈现环境106中呈现给一或多个用户104的内容102中的一或多个刺激诱发。在待呈现的内容中的一或多个刺激可包含内容中的一或多个音频刺激、内容中的一或多个视觉刺激、内容中的一或多个触觉反馈刺激、其它刺激,或其任何组合。在块304处预测的呈现环境的状态可以包括在呈现环境106中的一或多个用户104的位置和/或定向、一或多个用户104的一或多个身体部位的位置和/或定向、在呈现环境106中的一或多个物体(例如,发射器116的天线、接收器210的天线212、用户的家具、虚拟现实设施中的障碍物或其它物体)的位置和/或定向、在呈现环境106中的一或多个物体的状况(例如,发射器116的功率水平和/或其它属性)、反映呈现环境106的状态的其它信息,或其任何组合。

在块306处,处理器可预测一或多个通信链路中的至少一个通信链路的状态。在一些实施例中,至少一个通信链路经配置以在呈现一或多个刺激之后提供内容102的至少一部分。在一些实施例中,至少一个通信链路经配置以在呈现一或多个刺激之后提供交互式数据128。

具体地说,在块306处,处理器可基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态(在块304处)预测一或多个通信链路中的至少一个通信链路的状态。举例来说,在块306处,处理器可基于预测为通过在待呈现的内容102中的一或多个刺激诱发的呈现环境106的状态预测一或多个通信链路126中的至少一个通信链路126的状态。如上文所论述,一或多个刺激可引起一或多个用户104移动,这可改变呈现环境106,并且呈现环境106中的改变可改变一或多个通信链路126的状态。因此,在一些实施例中在块306处,处理器可基于预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态预测至少一个通信链路将从具有第一水平的性能的第一状态移动到具有第二水平的性能的第二状态。如将从下文的论述中显而易见,在第二水平的性能是相对于第一水平的性能的性能下降的情况下,处理器可执行可有利地帮助避免或减少此性能下降的一或多个动作,因此改进内容呈现。

在块308处,处理器可响应于至少一个通信链路的状态满足一或多个标准执行动作。具体地说,在块308处,处理器可响应于至少一个通信链路的状态满足一或多个标准执行动作,所述至少一个通信链路的状态是基于预测为(在块304处)通过在内容中的一或多个刺激诱发的呈现环境的状态预测的(在块306处)。一或多个标准可以包括阈值、量度、一或多个其它合适的标准,或其任何组合。在一些实施例中,当至少一个通信链路的状态将引起无法接收内容的子集时至少一个通信链路的状态满足一或多个标准。在一些实施例中,当至少一个通信链路的状态将引起无法接收交互式数据的子集时至少一个通信链路的状态满足一或多个标准。在一些实施例中,一或多个标准包括至少一个通信链路的阈值服务质量。在一些实施例中,一或多个标准包括至少一个通信链路的时延。

处理器可在任何所期望的时间在块308处执行动作。在一些实施例中,在块308处执行动作可出现在呈现环境的所预测的状态出现之前、在至少一个通信链路的所预测的状态出现之前、在至少一个通信链路具有满足一或多个标准的状态之前或其任何组合。在其中执行动作出现在呈现环境的所预测的状态出现之前、在至少一个通信链路的所预测的状态出现之前、在至少一个通信链路具有满足一或多个标准的状态之前或其任何组合的例子中,动作可有利地帮助避免或减少至少一个通信链路的性能下降,因此改进内容呈现。下文参考图7a论述了可在块308处执行且可帮助改进内容呈现的一些示例性动作。

处理器可在块304处预测呈现环境的状态并且在块306处以任何所期望的次数预测至少一个通信链路的状态。在一些实施例中,在块304处预测呈现环境的状态出现在一或多个刺激呈现给一或多个用户之前。在一些实施例中,在块306处预测至少一个通信链路的状态出现在一或多个刺激呈现给一或多个用户之前。在其中在块304处预测呈现环境的状态和/或在块306处预测至少一个通信链路的状态出现在一或多个刺激呈现给一或多个用户之前的例子中,在块308处执行动作可出现在一或多个刺激呈现给一或多个用户之前、在呈现环境的所预测的状态出现之前、在至少一个通信链路的所预测的状态出现之前、在至少一个通信链路具有满足一或多个标准的状态之前,或其任何组合,这可有利地帮助避免或减少至少一个通信链路的性能下降,因此改进内容呈现,如上文所论述。

图4a是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图4a中所示,在一些实施例中,块304(图3)可包含一或多个块,例如,块402和404。具体地说,为了预测(在块304处)呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的,处理器可识别待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激(在块402处)并且当在呈现环境中呈现给一或多个用户时预测所识别的一或多个刺激将诱发呈现环境的状态(在块404处)。

图4b是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图4b中所示,在一些实施例中,块304(图3)可包含一或多个块,例如,块406。具体地说,为了预测(在块304处)呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的,当在呈现环境中呈现给一或多个用户时处理器可预测一或多个刺激将诱发将引起呈现环境的状态的通过一或多个用户的移动(在块406处)。举例来说,当在呈现环境106中呈现给一或多个用户104时可以预测一或多个刺激将诱发一或多个用户转动他们的头部、移动他们的手臂、移动他们的腿部,或作出任何其它移动,引起呈现环境的状态。并且,举例来说,当在呈现环境106中呈现给一或多个用户104时可以预测一或多个刺激将诱发一或多个用户作出移动,所述移动引起在呈现环境中的一或多个物体的移动,引起呈现环境的状态。如上文所论述,此类物体可包含由用户104佩戴的头戴式显示器218、由用户无意地接触的物体、由用户有意地接触的物体、可响应于用户移动(例如,用户手势)而移动的机器人,或其它物体。

图4c是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图4c中所示,在一些实施例中,块304(图3)可包含一或多个块,例如,块408。具体地说,为了预测(在块304处)呈现环境的状态为通过待在呈现环境中呈现给一或多个用户的内容中的一或多个刺激诱发的,当在呈现环境中呈现给一或多个用户时处理器可预测一或多个刺激将诱发将引起呈现环境的状态的通过在呈现环境中的一或多个物体的移动。

如在图3中的块304,在图4a中的块404、在图4b中的块406和在图4c中的块408中所示,可以作出涉及呈现环境的状态的一或多个预测。在一些实施例中,如将从以下论述中显而易见的,这些预测可以是使用指示一或多个用户如何响应于内容的历史数据、使用独立于任何所收集的历史数据指示对内容的预期的响应的试探法数据、用于内容的元数据、指示在呈现环境中的一或多个用户和/或物体的位置和/或定向的数据、其它数据,或其任何组合作出的。

在块304、404、406和408中作出的预测中的一些或全部可以是使用指示一或多个用户如何响应于内容的历史数据预测的。此历史数据可指示在呈现环境中的一或多个当前用户先前如何响应于内容、其它用户先前如何响应于内容,或这两者。更详细地,历史数据可指示一或多个用户如何响应于内容转动他们的头部、移动他们的手臂、移动他们的腿部、作出任何其它移动、保持在一个位置处、移动到一个位置、保持静止,或以任何其它方式对内容作出响应。举例来说,在其中内容包括第一人称射击游戏的例子中,其中敌人从用户的视野(fov)周围可见地接近用户,历史数据可指示用户倾向于朝向敌人转动他们的头部和/或朝向敌人移动。并且,举例来说,在其中内容包含声音的例子中,历史数据可指示用户倾向于朝向声音转动他们的头部和/或朝向声音移动。

在块304、404、406和408中作出的预测中的一些或全部可以是使用指示对内容的预期的响应的试探法数据预测的,所述试探法数据可以独立于任何所收集的历史数据。更详细地,指示对内容的预期的响应的数据可指示一或多个用户如何响应于内容预期的转动他们的头部、移动他们的手臂、移动他们的腿部、作出任何其它移动、保持在一个位置处、移动到一个位置、保持静止,或以任何其它方式对内容作出响应。举例来说,在其中内容包括第一人称射击游戏的例子中,其中敌人从用户的视野周围可见地接近用户,取决于游戏动力学和策略,指示对内容的预期的响应的数据可指示用户将朝向敌人转动和跑动或者用户将远离敌人转动和跑动。并且,举例来说,在其中内容包含声音的例子中,取决于游戏动力学和策略,指示对内容的预期的响应的数据可指示用户将朝向声音转动和跑动或者用户将远离声音转动和跑动。

在块304、404、406和408中作出的预测中的一些或全部可以是使用用于内容的元数据预测的。用于内容的元数据可以是例如通过内容的开发者或通过一些其它装置提供的。用于内容的元数据可包含指示在内容中的一或多个刺激的元数据(例如,在内容中的一或多个音频刺激、在内容中的一或多个视觉刺激、在内容中的一或多个触觉反馈刺激、在内容中的一或多个其它刺激,或其任何组合)。在其中提供用于内容的元数据的此类实施例中,指示一或多个用户如何响应于内容的历史数据可以包括使指示在内容中的一或多个刺激的元数据与一或多个用户如何转动他们的头部、移动他们的手臂、移动他们的腿部、作出任何其它移动、保持在一个位置处、移动到一个位置、保持静止,或以任何其它方式对一或多个刺激作出响应相关联的数据。并且,在其中提供用于内容的元数据的此类实施例中,指示对内容的预期的响应的试探法数据可以包括使指示在内容中的一或多个刺激的元数据与一或多个用户如何预期转动他们的头部、移动他们的手臂、移动他们的腿部、作出任何其它移动、保持在一个位置处、移动到一个位置、保持静止,或以任何其它方式对一或多个刺激作出响应相关联的数据。

在块304、404、406和408中作出的预测中的一些或全部可以是使用指示在呈现环境中的一或多个用户和/或物体的位置和/或定向的数据预测的。举例来说,在其中数据指示一或多件家具的位置和/或定向并且指示一或多个墙壁的位置的此类实施例中,一或多个用户的移动可以是考虑到墙壁和家具预测的,其可用于预测呈现环境的状态。举例来说,因为墙壁通常是固定的并且一些家具是用户难以移动的,所以呈现环境的状态的预测可考虑用户将围绕家具移动且将不移动穿过墙壁的可能性。指示在呈现环境中的一或多个用户和/或物体的位置和/或定向的数据可以是使用即时定位与地图构建(slam)技术、计算机视觉、任何其它合适的装置,或其任何组合收集的。

图5是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图5中所示,在一些实施例中,块306(图3)可包含一或多个块,例如,块502。

在块502处,处理器可使用通信链路配置文件以识别通信链路状态,通信链路配置文件使所述通信链路状态与预测为诱发的呈现环境的状态相关联,其中至少一个通信链路的预测的状态是所识别的通信链路状态。举例来说,处理器可使用通信链路配置文件,例如,在图1a中的通信链路配置文件130,以识别通信链路状态,通信链路配置文件使所述通信链路状态与预测为(在块304处)诱发的呈现环境的状态相关联;并且在块306处预测的至少一个通信链路的状态可以是在块502处识别的通信链路状态。

通信链路配置文件130可以包括使一或多个通信链路状态与呈现环境的一或多个状态相关联的数据。通信链路配置文件130可包含例如直接地使一或多个通信链路状态与呈现环境的一或多个状态相关联的数据、间接地使一或多个通信链路状态与呈现环境的一或多个状态相关联的数据(例如,人工智能(ai)系统中的数据)、其它数据,或其任何组合。

图6是说明用于产生通信链路配置文件(例如,通信链路配置文件130)的实施例方法600的流程图,所述方法可通过一或多个处理器执行。如图6中所示,方法600可包含一或多个块,例如,块302;并且在一些实施例中,块302可包含一或多个块,例如,块604、606、608、610和612。

在块302处,处理器可以多种合适的方式中的任一个产生通信链路配置文件。如图3中所示,方法300可任选地包含块302。

在一些实施例中,为了在块302处产生通信链路配置文件,用户、接收器和/或发射器可执行一或多个例程。举例来说,如图6中所示,在块604处,头戴式显示器或虚拟现实系统的其它组件可提示佩戴头戴式显示器的用户执行移动的例程(例如,转动头部、移动手臂、移动腿部、作出任何其它移动、保持在一个位置处、移动到一个位置、保持静止)。在另一实例中,在块606处,发射器(例如,发射器116)可执行发射的例程,例如,当用户在块604处执行移动的例程时。发射的例程可包含例如多种不同的波束配置。在又另一实例中,在块606处,接收器(例如,接收器210)可执行接收的例程,例如,当用户在块604处执行移动的例程时。接收的例程可包含例如多种不同的天线配置。

当用户在块604处执行移动的例程时,发射器在块606处执行发射的例程,和/或接收器在块606处执行接收的例程,处理器可在块608处识别一或多个通信链路状态并且可在块610处识别呈现环境的一或多个状态。处理器可随后在块612处存储使一或多个通信链路状态与呈现环境的一或多个状态相关联的数据。举例来说,在块612处,处理器可存储用于发射/接收中的通信链路的一或多个所识别的状态与呈现环境的一或多个所识别的状态之间的关联作为通信链路配置文件的至少一部分。用于发射/接收中的通信链路的所识别的状态可包含例如,通信链路的数据吞吐量、通信链路的时延、提供通信链路的无线信号的信号强度、通信链路中的一致性的量(例如,通信链路具有均匀的或相对一致的数据吞吐量、时延和/或其它属性)、通信中的可靠性的量(例如,通信链路具有在所期望的水平下可靠的数据吞吐量、时延和/或其它属性)或其它通信链路状态。呈现环境的所识别的状态可包含例如,在呈现环境中的一或多个用户的位置和/或定向、一或多个用户的一或多个身体部位的位置和/或定向、在呈现环境中的一或多个物体的位置和/或定向、在呈现环境中的一或多个物体的状况、反映呈现环境的状态的其它信息,或其任何组合。

然而,将了解,块604和606不是必需的且用户不必被提示执行例程并且不必执行发射和/或接收的例程。举例来说,在一些实施例中,为了产生通信链路配置文件,在虚拟现实系统100的一或多个用户的通常的使用期间可以在块608处识别一或多个通信状态并且可以在块610处识别呈现环境的一或多个状态。因此,在此类实施例中,当用户使用虚拟现实系统时,处理器可(在块612处)存储使一或多个通信链路状态与呈现环境的一或多个状态相关联的数据。

在一些实施例中,为了产生通信链路配置文件,可执行计算机视觉扫描以收集识别在呈现环境中的一或多个用户的位置和/或定向、一或多个用户的一或多个身体部位的位置和/或定向、在呈现环境中的一或多个物体的位置和/或定向或其任何组合的数据。

图7a是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图7a中所示,在一些实施例中,块308(图3)可包含一或多个块,例如,块702、704、706、708、710、712、714和716或其任何组合。

如在块702处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括波束成形。举例来说,发射器116的处理器、接收器210的处理器或这两者可在块702处执行波束成形。

如在块704处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括波束操控。举例来说,发射器116的处理器、接收器210的处理器或这两者可在块704处执行波束操控。

波束成形(块702)和波束操控(块704)可包含重新配置一或多个接收器210的一或多个天线、重新配置一或多个发射器116的一或多个天线,或这两者。重新配置接收器210的一或多个天线可包含例如,从使用接收器的一个天线切换到接收器的另一个天线或更改接收器的一或多个当前使用的天线的配置。重新配置发射器116的一或多个天线可包含例如,从使用发射器的一个天线切换到发射器的另一个天线或更改发射器的一或多个当前使用的天线的配置。

波束成形(块702)和波束操控(块704)可基于通信链路配置文件,例如,通信链路配置文件130。举例来说,作为块702或块704的部分,处理器可使用通信链路配置文件130以识别呈现环境106的状态,通信链路配置文件使所述呈现环境的状态与改进的通信链路状态相关联,并且处理器可随后改变呈现环境为呈现环境的所识别的状态,方法是重新配置接收器210的一或多个天线和/或重新配置发射器116的一或多个天线。在一些例子中,在至少一个通信链路的预测的状态和/或呈现环境的预测的状态涉及性能下降的情况下,在该性能下降的持续时间期间,预先的波束成形和/或波束操控可允许内容呈现装置以较少(或没有)停顿或跳过并且与用户的期望同步的呈现内容。

如在块706处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括从提供内容的一或多个发射器的第一集合切换到提供内容的一或多个发射器的第二集合。举例来说,此切换可包含(1)从使用第一存取点切换到使用第二存取点,所述第二存取点使用与第一存取点相同类型的无线通信链路,或者(2)从使用第一存取点切换到使用第二存取点,所述第二存取点使用与第一存取点相比不同的第二类型的无线通信链路(例如,从毫米波无线链路切换到除毫米波之外的无线通信链路,例如,wifi或蓝牙)。

在块706处的切换可基于通信链路配置文件,例如,通信链路配置文件130。举例来说,作为块706的部分,处理器可使用通信链路配置文件130以识别呈现环境106的状态,通信链路配置文件使所述呈现环境的状态与改进的通信链路状态相关联,并且处理器可随后将呈现环境变为呈现环境的所识别的状态,方法是从提供内容的一或多个发射器116的第一集合切换到提供内容的一或多个发射器116的第二集合。在一些例子中,在至少一个通信链路的预测的状态和/或呈现环境的预测的状态涉及性能下降的情况下,在该性能下降的持续时间期间,在块706处的切换可允许内容呈现装置以较少(或没有)停顿或跳过并且与用户的期望同步的呈现内容。

如在块708处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括缓冲内容。举例来说,在一些实施例中,内容呈现装置114的处理器214可预提取(并且缓冲)足以在预测的持续时间期间呈现内容的额外的内容,其中至少一个通信链路的预测的状态满足一或多个标准。作为另一实例,内容呈现装置114的处理器214可预提取(并且缓冲)足以在预测的持续时间期间呈现内容的额外的内容,其中呈现环境的预测的状态出现。在一些例子中,在至少一个通信链路的预测的状态和/或呈现环境的预测的状态涉及性能下降的情况下,在该性能下降的持续时间期间,预提取和缓冲可允许内容呈现装置以较少(或没有)停顿或跳过呈现内容。

如在块710处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括提示一或多个用户移动到位置和/或定向。举例来说,在一些实施例中,头戴式显示器218或虚拟现实系统100的其它组件可提示用户移动到所选择的位置和/或定向。在两个或大于两个用户使用虚拟现实系统100的情况下(例如,在对等虚拟现实系统中),在块710处可以提示用户中的一些或全部移动到一或多个所选择的位置和/或定向。

在块710处的位置和/或定向可以是使用通信链路配置文件130选择的。通信链路配置文件130可用于选择预测的位置和/或定向以避免将引起性能下降的至少一个通信链路和/或呈现环境的一或多个状态。

在块710处可以在任何合适的时间提示用户。举例来说,在一些实施例中,可以提示用户移动到所选择的位置和/或定向以开始经历内容(例如,开始点)。作为另一实例,当用户经历内容时可以提示用户移动到所选择的位置和/或定向(例如,当用户佩戴头戴式显示器且沉浸在虚拟现实中时)。在一些例子中,内容102自身可以是动态地选择的以使得用户移动到所选择的位置和/或定向。如果需要,动态地选择的内容可经配置以无缝地集成到内容中,使得用户并未察觉到提示,因此保留用户在虚拟现实中的沉浸。替代地,动态地选择的内容可经配置以不同于虚拟现实(例如,箭头或其它方向指示符),这在提示用户的移动中可以是更有效的但是可能减少用户在虚拟现实中的沉浸。

如在块712处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括使用中介。举例来说,在包含第一内容呈现装置和第二第一内容呈现装置的对等虚拟现实系统中,在块712处对等虚拟现实系统中的存取点、路由器、转发器或第三内容呈现装置可被用作第一内容呈现装置与第二内容呈现装置之间的中介。在一些例子中,在至少一个通信链路的预测的状态和/或呈现环境的预测的状态涉及性能下降的情况下,在该性能下降的持续时间期间,中介的使用可允许一或多个内容呈现装置以较少(或没有)停顿或跳过并且与用户的期望同步的呈现内容。

如在块714处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括提供降低质量的内容。在一些实施例中,发射器116或虚拟现实系统100的其它组件可提供降低质量的内容。降低质量的内容可包含在较低分辨率下的内容、在较低帧速率下的内容、具有减少的色彩的内容、具有减少的背景成像或没有背景成像的内容,或具有降低的质量的其它内容。

在此类实施例中,发射器116或虚拟现实系统100的其它组件可配置降低质量的内容以包含较高优先级内容并且省略较低优先级内容。包含较高优先级内容并且省略较低优先级内容可以是有用的,例如,在块706涉及切换到可靠的但是较慢的通信链路类型的情况下(例如,从毫米波无线链路切换到除毫米波之外的无线通信链路,例如,wifi或蓝牙)。可使用一或多个算法基于限定的规则和/或在运行时间动态地执行内容和决策的优先级排序以包含或省略内容的部分。举例来说,在汽车驾驶虚拟现实中,体验的用户可能不需要背景图像细节来享受体验或很好地表现,并且因此,算法可能解除优先级排序和/或省略来自内容的背景成像。并且,举例来说,在虚拟现实的战场部分中,用户可能需要内容是全分辨率的;然而,当走过具有最小活动的路径时,可通过算法减小帧速率或分辨率。在一些例子中,在至少一个通信链路的预测的状态和/或呈现环境的预测的状态涉及性能下降的情况下,在该性能下降的持续时间期间,提供降低质量的内容可允许内容呈现装置以较少(或没有)停顿或跳过呈现内容的令人满意的版本。

如在块716处所示,在块308处响应于至少一个通信链路的状态满足一或多个标准执行的动作可以包括触发一或多个动作,例如,在块702、704、706、708、710、712、714和716处的动作中的任一个或其任何组合。具体地说,虚拟现实系统100的任何组件可执行一些或全部的方法300,并且作为该执行的部分可(在块716处)触发其自身和/或虚拟现实系统100的任何其它组件以执行在块702、704、706、708、710、712、714和716处的动作中的任一个或其任何组合。

图7b是说明用于改进内容呈现的实施例方法的流程图,所述方法可通过一或多个处理器执行。如图7b中所示,在一些实施例中,块308(图3)可包含一或多个块,例如,块718。具体地说,为了响应于至少一个通信链路的状态满足一或多个标准执行(在块308处)动作,处理器可在块718处从限定的多个动作中选择一或多个动作并且可在块720处执行所选择的一或多个动作。在一些实施例中,限定的多个动作可以包括在块702、704、706、708、710、712、714和716处的动作中的任一个;一或多个其它动作;或其任何组合。

在一些实施例中,在块718处选择可涉及基于至少一个通信链路的预测的状态和/或呈现环境的预测的状态选择什么是采用的最佳动作。在一些实施例中,在块718处选择可基于至少一个通信链路的预测的状态和/或呈现环境的预测的状态将保持限定的持续时间或将不保持限定的持续时间的概率。举例来说,如果用户很可能快速地返回到先前的位置和/或定向,那么某些动作可以是更期望的,而如果用户很可能保持在预测的位置和/或定向达限定的持续时间,那么其它动作可以是更期望的。在一些实施例中,在块718处的选择可基于待在呈现环境中呈现给一或多个用户的内容的一或多个性质、预测为通过在待呈现的内容中的一或多个刺激诱发的呈现环境的状态的一或多个性质、至少一个通信链路的预测的状态的一或多个性质、其它因素或其任何组合中的至少一个。

除了执行上述方法之外,当强且稳定的通信链路126可供使用时虚拟现实系统100还可经配置以下载尽可能更为相关的内容102。在虚拟现实阶段期间用户104可以相当多的来回移动,并且频繁地进出对通信链路126的存取。在此情况下,在通信链路126可供使用的周期期间虚拟现实系统100可提供尽可能多的内容102,受制于(当然)内容呈现装置的存储内容的能力。

本文中所公开的实施例的功能性,包含但不限于参考在图3、4a、4b、4c、5、6、7a和7b中说明的方法描述的功能性,可通过“处理系统”执行,所述处理系统包含一或多个处理器(例如,处理器214、接收器210的处理器、发射器116的处理器、存取点118的处理器、路由器120的处理器、转发器122的处理器、虚拟现实系统100的一或多个其它组件的处理器,或其任何组合)。此类处理器的实例包含微处理器、微控制器、图形处理单元(gpu)、中央处理单元(cpu)、应用处理器、数字信号处理器(dsp)、精简指令集计算(risc)处理器、芯片上系统(soc)、基带处理器、现场可编程门阵列(fpga)、可编程逻辑装置(pld)、状态机、门控逻辑、离散硬件电路,以及经配置以执行贯穿本发明所描述的各种功能性的其它合适的硬件。处理系统中的一或多个处理器可执行软件以执行本文中所公开的实施例的功能性。

前述方法描述和过程流程图仅仅作为说明性实例提供,并且其并不意图要求或暗示各种实施例的步骤必须以所呈现的次序执行。如所属领域的技术人员将了解,前述实施例中的步骤的次序可按任何次序执行。例如“在其之后”、“随后”、“接下来”等词语并不意图限制步骤的次序;这些词语仅仅用于引导读者浏览对方法的描述。另外,举例来说,使用冠词“一”、“一个”或“所述”对单数形式的权利要求要素的任何参考不应被解释为将所述要素限制为单数。

结合本文中所公开的实施例所描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件,或两者的组合。为了清晰地说明硬件与软件的此可互换性,上文已大体就其功能性而言描述了各种说明性组件、块、模块、电路和步骤。此类功能性被实施为硬件还是软件取决于特定应用和施加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性,但是此类实施决策不应被解释为会引起脱离本发明的范围。

用于实施结合本文中所公开的方面而描述的各种说明性逻辑、逻辑块、模块和电路的硬件可用以下各项来实施或执行:通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或经设计以执行本文中所描述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件,或其任何组合。通用处理器可以是微处理器;但是在替代方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算装置的组合,例如,dsp和微处理器的组合、多个微处理器、与dsp核心结合的一或多个微处理器,或任何其它此类配置。替代地,可由特定地针对给定功能的电路来执行一些步骤或方法。

在一或多个示例性方面中,所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施,那么所述功能可以作为一或多个指令或代码存储在非暂时性计算机可读媒体或非暂时性处理器可读媒体上。本文中所公开的方法或算法的步骤可以是在处理器可执行软件模块和/或处理器可执行指令中实施的,所述处理器可执行软件模块和/或处理器可执行指令可驻留在非暂时性计算机可读或非暂时性处理器可读存储媒体上。非暂时性服务器可读、计算机可读或处理器可读存储媒体可以是可由计算机或处理器存取的任何存储媒体。借助实例而非限制,此类非暂时性服务器可读、计算机可读或处理器可读媒体可包含ram、rom、eeprom、快闪存储器、cd-rom或其它光盘存储器、磁盘存储器或其它磁性存储装置,或可用于以指令或数据结构的形式存储所期望的程序代码且可由计算机存取的任何其它媒体。如本文中所使用的磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘和蓝光光盘,其中磁盘通常是以磁性方式再现数据,而光盘是用激光以光学方式再现数据。以上各项的组合也包含在非暂时性服务器可读、计算机可读和处理器可读媒体的范围内。另外,方法或算法的操作可作为代码和/或指令中的一个或任何组合或集合而驻留在可并入到计算机程序产品中的非暂时性服务器可读、处理器可读媒体和/或计算机可读媒体上。

上文所描述的方法和系统不需要特定组件或功能。因此,任何所描述的组件或功能(不管其优点如何)是可选的。并且,所描述的组件和上文所描述的功能中的一些或全部可与任何数量的其它合适的组件和功能结合使用。

所属领域的技术人员也将了解虽然已经相对于虚拟现实系统描述了上文所论述的示例性实施例,但是这些方面和特征也还可以与可呈现内容的其它类型的系统结合使用。

虽然已经就某些优选实施例而言描述了本发明,但是对所属领域的技术人员显而易见的其它实施例也在本发明的范围内。相应地,本发明的范围意图仅由所附权利要求书界定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1