可视化内容传输控制方法、发送方法、及其装置与流程

文档序号:12378647阅读:249来源:国知局
可视化内容传输控制方法、发送方法、及其装置与流程

本申请涉及信息获取技术,尤其涉及一种可视化内容传输控制方法、发送方法、及其装置。



背景技术:

沉浸式虚拟现实(immersive VR)技术是通过例如基于头盔式显示器(HMD)的系统、投影式虚拟现实系统等,将一场景多个方向上的多媒体内容合成该场景的实时动态的三维立体逼真显示,以提供用户完全沉浸式的体验,使其有置身于虚拟世界之中的感觉。例如,通过具有多个高清摄像头的专业的虚拟现实摄像机拍摄目标场景的全景360°3D视频,通过网络传送到用户使用的虚拟现实显示设备(例如,头盔式显示器、眼镜)上,进行沉浸式虚拟现实显示。

为了进行沉浸式虚拟现实显示,拍摄设备需要在多个方向上拍摄,例如,通过多个高清摄像头采集多个方向上的高清视频信号,为了实现更好的沉浸式虚拟现实显示,还可采集4K/8K的超高清视频信号,这样的视频信号如果要使用成流(streaming)的方式传送,无疑会对网络传输环境提出较高的要求,例如需要网络提供较大的带宽以及较快的网速,对网络造成较大压力。



技术实现要素:

本申请实施例可能的目的是:提供一种在不影响用户体验的同时大大减少对网络造成的压力的可视化内容传输方案。

第一方面,本申请实施例提供了一种可视化内容传输控制方法,所述方法包括:

获取与用户的姿态相关联的信息;

至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

结合第一方面,在第一种可能的实现方式中,所述确定与目标场景相关联的可视化内容的发送策略包括:

至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:

至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容;

向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第一方面或第一方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述方法还包括:

至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;

向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第一方面或第一方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述方法还包括:

至少根据所述发送策略,获取所述至少两个方向上的与所述目标 场景相关联的可视化内容;

按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。

结合第一方面或第一方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。

结合第一方面或第一方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述获取与用户的姿态相关联的信息包括:

接收来自与所述用户相关联的至少一传感器的所述信息。

结合第一方面或第一方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述方法还包括:

发送与所述发送策略相关联的信息。

结合第一方面或第一方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。

第二方面,本申请实施例提供了一种可视化内容发送方法,所述方法包括:

获取与用户的姿态相关联的信息;

至少根据所述与用户的姿态相关联的信息,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

结合第二方面,在第一种可能的实现方式中,所述方法还包括:

至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述向所述用户发送与所述用户的姿态对应的至少 一个方向上的与所述目标场景相关联的可视化内容包括:

获取所述至少一个方向上的与所述目标场景相关联的可视化内容;

向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第二方面或第二方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容包括:

获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;

向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第二方面或第二方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容包括:

获取所述至少两个方向上的与所述目标场景相关联的可视化内容;

按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。

结合第二方面或第二方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。

结合第二方面或第二方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述获取与用户的姿态相关联的信息包括:

接收来自与所述用户相关联的至少一传感器的所述信息。

结合第二方面或第二方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。

第三方面,本申请实施例提供了一种呈现方法,所述方法包括:

获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;

至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。

结合第三方面,在第一种可能的实现方式中,所述方法还包括:

获取与所述发送策略相关联的信息。

结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示包括:

至少根据所述发送策略,确定所述至少一个方向;

至少根据最近时刻获取到的所述至少一个方向上的可视化内容,以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。

结合第三方面或第三方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示包括:

至少根据所述发送策略,确定所述预设优先级;

按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。

结合第三方面或第三方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述预设优先级包括:发送频率优先级、发送时间优先级、和/或传输质量优先级。

结合第三方面或第三方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述方法还包括:

采集所述与用户的姿态相关联的信息;

发送所述与用户的姿态相关联的信息。

结合第三方面或第三方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述与用户的姿态相关联的信息包括与以下中的至少一项相关联的信息:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度。

第四方面,本申请实施例提供了一种可视化内容传输控制装置,所述装置包括:

一第一获取模块,用于获取与用户的姿态相关联的信息;

一第一确定模块,用于至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

结合第四方面,在第一种可能的实现方式中,所述第一获取模块用于至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中,所述装置还包括:

一第二获取模块,用于至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容;

一第一发送模块,用于向所述用户发送所述至少一个方向上的与 所述目标场景相关联的可视化内容。

结合第四方面或第四方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述装置还包括:

一第二获取模块,用于至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容数据,所述至少两个方向包括所述至少一个方向;

一第一发送模块,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第四方面或第四方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述装置还包括:

一第二获取模块,用于至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容;

一第一发送模块,用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。

结合第四方面或第四方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述第一获取模块用于接收来自与所述用户相关联的至少一传感器的所述信息。

结合第四方面或第四方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述装置还包括:

一第二发送模块,用于发送与所述发送策略相关联的信息。

第五方面,本申请实施例提供了一种可视化内容发送装置,所述装置包括:

一第三获取模块,用于获取与用户的姿态相关联的信息;

一第三发送模块,用于至少根据所述与用户的姿态相关联的信息, 向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

结合第五方面,在第一种可能的实现方式中,所述第三发送模块用于至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

结合第五方面或第五方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第三发送模块包括:

一第一获取单元,用于获取所述至少一个方向上的与所述目标场景相关联的可视化内容;

一发送单元,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第五方面或第五方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述第三发送模块包括:

一第一获取单元,用于获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;

一发送单元,用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。

结合第五方面或第五方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述第三发送模块包括:

一第一获取单元,用于获取所述至少两个方向上的与所述目标场景相关联的可视化内容;

一发送单元,用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。

结合第五方面或第五方面的上述任一种可能的实现方式,在第五 种可能的实现方式中,所述第三获取模块用于接收来自与所述用户相关联的至少一传感器的所述信息。

第六方面,本申请实施例提供了一种呈现装置,所述装置包括:

一第四获取模块,用于获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;

一显示模块,用于至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。

结合第六方面,在第一种可能的实现方式中,所述装置还包括:

一第五获取模块,用于获取与所述发送策略相关联的信息。

结合第六方面或第六方面的第一种可能的实现方式,在第二种可能的实现方式中,所述显示模块包括:

一确定单元,用于至少根据所述发送策略,确定所述至少一个方向;

一显示单元,用于至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。

结合第六方面或第六方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向;且

所述显示模块包括:

一确定单元,用于至少根据所述发送策略,确定所述预设优先级;

一显示单元,用于按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。

结合第六方面或第六方面的上述任一种可能的实现方式,在第四 种可能的实现方式中,所述装置还包括:

一采集模块,用于采集所述与用户的姿态相关联的信息;

一第四发送模块,用于发送所述与用户的姿态相关联的信息。

第七方面,本申请实施例提供了一种可视化内容传输控制装置,所述装置包括:

摄像机,包括复数个摄像头;

存储器,用于存放指令;

处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:

获取与用户的姿态相关联的信息;

至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的所述摄像机的发送策略,所述发送策略包括:由所述复数个摄像头中的至少一个向所述用户发送在与所述用户的姿态对应的至少一个方向上采集的与所述目标场景相关联的可视化内容。

第八方面,本申请实施例提供了一种呈现装置,所述装置包括:

显示器;

存储器,用于存放指令;

处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:

获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;

至少根据所述发送策略,通过所述显示器为用户呈现沉浸式虚拟现实显示。

本申请实施例的方法及装置通过跟踪用户观看沉浸式虚拟现实显示时的姿态变化,能够智能的发送相应方向上的可视化内容,有助 于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。

附图说明

图1为本申请实施例的可视化内容传输控制方法的一种示例的流程图;

图2为本申请实施例的可视化内容发送方法的一种示例的流程图;

图3为本申请实施例的呈现方法的一种示例的流程图;

图4(a)至图4(c)为本申请实施例的可视化内容传输控制装置的多种示例的结构图;

图5(a)至图5(b)为本申请实施例的可视化内容发送装置的多种示例的结构图;

图6(a)至图6(d)为本申请实施例的呈现装置的多种示例的结构图;

图7为本申请实施例的可视化内容传输控制装置的又一种示例的结构图;

图8为本申请实施例的可视化内容发送装置的又一种示例的结构图;

图9为本申请实施例的呈现装置的又一种示例的结构图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实现方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。

本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也 不表示它们之间的必然逻辑顺序。

为了更好的理解本申请,现对本申请各实施例所用的术语进行说明:

“可视化内容”指能够用于以沉浸式虚拟现实的方式呈现的目标场景中的任何内容,该内容包括与目标场景有关的任何物理对象和/或数字(虚拟)对象(object)。可视化内容的发送、传输指的是从采集单元侧发送用于将对应的可视化内容以沉浸式虚拟现实的方式呈现的任何相关数据并通过无线网络向目标用户侧传输,这样的数据包括但不限于:与可视化内容相关的任何文字、图片、图像、音频文件、视频文件、以及与目标场景中的任一物理和/或虚拟对象的虚拟现实呈现相关的描述数据,例如三维模型、空间关系描述数据等等,且可采用流式传输(streaming)的方式传输这些数据。“目标场景”包括真实物理环境、虚拟现实场景(虚拟环境)、混合现实环境(包括增强现实和增强虚拟,也即,物理环境和虚拟环境的混合)。“采集单元”指的是用于采集目标场景的可视化内容相关数据的装置或装置的一部分,例如,采集单元可为具有多个摄像头的设备,或为具有多个摄像头的设备的任一摄像头,用于采集真实的物理环境相关的可视化内容数据,和/或用于获取虚拟现实场景/混合现实场景中的可视化内容数据。

使用例如头盔式显示器、眼镜、投影式虚拟现实系统的投影设备等沉浸式虚拟现实显示设备,通过无线网络实时接收并处理(一个或多个)采集单元采集/获取的与目标场景相关联的可视化内容,能够为用户提供目标场景的沉浸式虚拟现实观看体验。据研究,用户沉浸在逼真的模拟环境中时,会因场景中的实时变化而变化姿态,例如,头部、眼睛、或其他可能的身体部位将发生动作。本申请各实施例的技术方案正是基于此,通过跟踪用户的姿态,选择性地进行可视化内容的传输,从而在为用户提供较好的沉浸式虚拟现实体验的同时大大 减小对网络造成的压力。

图1是本申请一种实施例的可视化内容传输控制方法的流程图,该方法可由任意采集单元执行,也可由独立的装置执行。如图1所示,该方法包括:

S120.获取与用户的姿态相关联的信息。

在本实施例的方法中,与用户的姿态相关联的信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度,等等。

S140.至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送在与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如上所述的,在骤S140中根据步骤S120所获取的信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,例如,根据用户的姿态确定用户正在观看的方向,从而确定相应的发送策略:向所述用户发送与所述用户的姿态对应的方向上的与所述目标场景相关联的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。

综上,本实施例的方法通过跟踪用户观看沉浸式虚拟现实时的姿态变化,确定相应的可视化内容的发送策略,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。

需要说明的是,由于可视化内容是在一定时间段内持续传送的,步骤S120可为周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来触发(网络传输能力好,可频繁触发,否则,较少触发)执行的,相应地,步骤S140中也可根据步骤S120所获得信息的变化来做出所述发送策略的适应性变化。

此外,如上所述的,可根据用户的姿态确定用户的观看方向,进而制定相应的策略,因此,步骤S140可进一步包括:

S142.至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。

在本实施例的方法中,所述发送策略中涉及的向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容。所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。

此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的方法可控制采集单元仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者控制采集单元采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容。

在按照预设优先级发送包括所述至少一个方向在内的多个方向 上的可视化内容的实现方式中,本实施例的方法可控制多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。

如上所述的,本实施例的方法可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中,本实施例的方法还包括:

S161.至少根据所述发送策略,获取所述至少一个方向上的与所述目标场景相关联的可视化内容。

所述发送策略中明确了将向用户发送的可视化内容是所述至少一个方向上的,在步骤S161中可通过与相应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少一个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

S162.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S162中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,本实施例的方法还可获取多个方向上的目标场景的可视化内容,并发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中,本实施例的方法还包括:

S163.至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容。其中,所述至少两个方向包括所述至少一个方向。

如结合步骤S161所描述的,在步骤S163中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

S164.向所述用户发送所述至少一个方向上的与所述目标场景 相关联的可视化内容。具体地,步骤S164中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中,本实施例的方法还包括:

S165.至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容。

如结合步骤S161所描述的,在步骤S165中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

S166.按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S166中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的方法可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息,该至少一传感器设置在用户所佩戴的头盔式显示器、眼镜上。因此,步骤S120可包括:

S122.接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。

为了实现可视化内容的传送以及为用户呈现沉浸式虚拟现实显示,本实施例的方法还包括:

S180.发送与所述发送策略相关联的信息。

在本实施例的方法中,步骤S180可以各采集单元能够接收到的方式发送所述发送策略,和/或以用户使用的显示设备能够接收到的方式发送所述发送策略。

在本实施例的方法中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现与用户的姿态相关联的信息以及所述发送策略的发送,且对传输要求不高,通过这样的跟踪反馈机制能够有助于更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。

本申请还提供了一种可视化内容发送方法,该方法可由任一采集单元执行。图2为本申请一种实施例的可视化内容发送方法的流程图。如图2所示,所述方法包括:

S220.获取与用户的姿态相关联的信息。

在本实施例的方法中,与用户的姿态相关联的信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度,等等。

S240.至少根据所述与用户的姿态相关联的信息,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如上所述的,在骤S240中根据步骤S220所获取的信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,例如,根据用户的姿态确定用户正在观看的方向,从而向所述用户发送在与所述用户的姿态对应的方向上的与所述目标场景相关联的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。在由多个采集单元采集的实现方式中,本实施例的方法可通过与各采集单元通信获取相应的可视化内容数据,并统一发送。

综上,本实施例的方法通过跟踪用户观看沉浸式虚拟现实显示时的姿态变化,向用户发送相应方向的可视化内容,能够在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。

需要说明的是,由于可视化内容是在一定时间段内持续传送的,步骤S220可为周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来触发(网络传输能力好,可频繁触发,否则,较少触发)执行的,相应地,步骤S240中也可根据步骤S220所获得信息的变化来做出适应性变化。

此外,如上所述的,可根据用户的姿态确定用户的观看方向,确定发送的可视化内容对应的方向,也即,步骤S240可进一步包括:

S241.至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。

在本实施例的方法中,向所述用户发送所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上采集的可视化内容。还可以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,例如,以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户 体验。

此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的方法可仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容数据。

在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的方法可获取多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。

如上所述的,本实施例的方法可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中,步骤S240可包括:

S242.获取所述至少一个方向上的与所述目标场景相关联的可视化内容。

在步骤S242中可由执行本实施例方法的采集单元直接采集所述至少一个方向上的目标场景的可视化内容数据的方式获取所述可视化,也可通过与相应的至少一个采集单元通信的方式获取所述可视化内容。

S243.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S243中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,本实施例的方法还可获取多个方向上的目标场景的可视化内容,并仅发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中,步骤S240还可包括:

S244.获取至少两个方向上的与所述目标场景相关联的可视化 内容,所述至少两个方向包括所述至少一个方向。

如结合步骤S242所描述的,在步骤S244中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,执行本实施例方法的采集单元也可主动在其中至少一个方向上采集目标场景的可视化内容。

S245.向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S245中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中,步骤S240还可包括:

S246.获取所述至少两个方向上的与所述目标场景相关联的可视化内容。

如结合步骤S244所描述的,在步骤S246中可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,执行本实施例方法的采集单元也可主动在其中至少一个方向上采集目标场景的可视化内容。

S247.按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,步骤S247中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的方法可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息,该至少一传感器设置在用户所佩戴的头盔式显示器、眼镜上。因此,步骤S220可包括:

S222.接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。

综上,在本实施例的方法中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现与用户的姿态相关联的信息的发送,且对传输要求不高,通过这样的跟踪反馈机制能够更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。

本申请还提供了一种呈现方法,该方法可由虚拟现实显示设备执行,这样的虚拟现实显示设备包括但不限于:头盔式显示器,投影式虚拟现实系统的投影设备,等等。图3为本申请一种实施例的呈现方法的流程图。如图3所示,所述方法包括:

S320.获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如结合图1所描述的,为了更智能的发送可视化内容,采集单元侧按照一定的发送策略发送可视化内容。本实施例的方法获取这样的可视化内容。

S340.至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。

所述发送策略中明确了所发送的可视化内容是与用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图相关的,因此,本实施例的方法能够为用户提供较好的体验。

具体地,为了更智能的为用户呈现沉浸式虚拟现实显示,本实施例的方法可进一步包括:

S310.获取与所述发送策略相关联的信息。例如,接收执行结合图1描述的实施例的方法的装置所发送的与所述发送策略相关联的信 息。

且如结合图1所描述的,在一种可能的实现方式中,为了节省原本用于发送多个方向上的可视化内容的带宽,从而以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容,所述发送策略中可明确表示:仅发送所述至少一个方向上的与所述目标场景相关联的可视化内容。在这样的实现方式中,步骤S340可进一步包括:

S342.至少根据所述发送策略,确定所述至少一个方向。

S343.至少根据最近时刻获取到的所述至少一个方向上的可视化内容以及之前时刻获取到的在其他方向上的可视化内容,为用户呈现沉浸式虚拟现实显示。

其中,为了提供沉浸式体验,在形成虚拟现实显示时仍需结合多个方向上的可视化内容,因此,在步骤S343中,除所述至少一个方向对应的可视化内容外,其他方向对应的可视化内容可采用历史数据,从而,在保证用户观看的方向上的实时、和/或高质量的同时,仍能保证沉浸式体验。

在另一种可能的实现方式中,所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,所述发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。在这样的实现方式中,步骤S340可进一步包括:

S344.至少根据所述发送策略,确定所述预设优先级。

S345.按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。

在一种可能的实现方式中,执行本实施例方法的装置可根据所述预设优先级确定能够获取到的可视化内容的方向,并结合其他方向对应的历史数据来为用户呈现沉浸式虚拟现实显示。

此外,为了提供确定所述发送策略的参考,本实施例的方法还包括:

S312.采集所述与用户的姿态相关联的信息,在一种可能的实现方式中,可通过至少一个传感器采集用户的姿态的采集,且在一种优选的实现方式中,所述至少一个传感器可属于执行本实施例的方法的装置。

S314.发送所述与用户的姿态相关联的信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。且在步骤S314中,可以执行结合图1描述的方法的装置和/或执行结合图2描述方法的装置能够接收到的方式发送所述信息。

需要说明的是,本实施例的方法可采用任意合适的技术,基于获取到的可视化内容来为用户提供沉浸式虚拟现实显示,在此不作为对本申请实施例的技术方案的限制。

综上,本实施例的方法能够为用户提供良好的沉浸式虚拟现实观看体验。

本领域技术人员可以理解,在本申请具体实现方式的上述方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实现方式的实施过程构成任何限定。

此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图1所示实现方式中的方法的各步骤的操作。

此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图2所示实现方式中的方法的各步骤的操作。

此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图3所示实现方式中的方法的各步骤的操作。

本申请实施例还提供了一种执行上面结合图1所描述的可视化内容传输控制方法的可视化内容传输控制装置,该装置可为独立的装置,也可为属于任一采集单元的装置。除下面将描述的各组成部分外,所述装置还包括可根据需要实现与装置外部任意设备通信的通信模块。如图4(a)所示,本申请第一种实施例的可视化内容传输控制装置400包括:

第一获取模块420,用于获取与用户的姿态相关联的信息。

在本实施例的装置中,与用户的姿态相关联的信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度,等等。

第一确定模块440,用于至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送在与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如上所述的,第一确定模块440根据第一获取模块420所获取的信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,例如,根据用户的姿态确定用户正在观看的方向,从而确定相应的发送策略:向所述用户发送在与所述用户的姿态对应的方向上的与所述目标场景相关联的可视化内容。该方向上的可视化内容可为由 一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。

综上,本实施例的装置通过跟踪用户观看沉浸式虚拟现实时的姿态变化,确定相应的可视化内容发送策略,有助于在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。

需要说明的是,由于可视化内容是在一定时间段内持续传送的,第一获取模块420可周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来执行其功能(网络传输能力好,可频繁执行,否则,较少执行),相应地,第一确定模块440也可根据第一获取模块420所获取的信息的变化来做出所述发送策略的适应性变化。

此外,如上所述的,可根据用户的姿态确定用户的观看方向,进而制定相应的策略,因此,第一确定模块440可至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。

在本实施例的装置中,所述发送策略中涉及的向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容。所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,发送策略可包括:以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容数据相比,可以更早、单位时间更频繁、和 /或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。

此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的装置可控制采集单元仅采集/获取所述至少一个方向上的目标场景的可视化内容数据,并发送;或者控制采集单元采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送在所述至少一个方向上的目标场景的可视化内容。

在按照预设优先级发送包括所述至少一个方向在内的多个方向上采集的可视化内容的实现方式中,本实施例的装置可控制多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。

如图4(b)所示,本实施例的装置400还包括:第二获取模块461以及第一发送模块462。

如上所述的,本实施例的装置可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中:

第二获取模块461用于至少根据所述发送策略,获取在所述至少一个方向上采集的与所述目标场景相关联的可视化内容。

所述发送策略中明确了将向用户发送的可视化内容是所述至少一个方向的,第二获取模块461可通过与相应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少一个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

第一发送模块462用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,本实施例的装置还可获取多个方向上的目标场景的可视化内容,并发送所述至少一个方向上的目标场景的可视化内容。 在这样的实现方式中:

第二获取模块461用于至少根据所述发送策略,获取至少两个方向上的与所述目标场景相关联的可视化内容。其中,所述至少两个方向包括所述至少一个方向。

类似地,第二获取模块461可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

第一发送模块462用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中:

第二获取模块461用于至少根据所述发送策略,获取所述至少两个方向上的与所述目标场景相关联的可视化内容。

类似地,第二获取模块461可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可通过主动在所述至少两个方向上采集目标场景的可视化内容的方式获取所述可视化内容。

第一发送模块462用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,第一发送模块462向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的装置可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息。也即,第一获取模块420可接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感 器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。

为了实现可视化内容的发送以及为用户呈现沉浸式虚拟现实显示,如图4(c)所示,本实施例的装置400还可包括:

第二发送模块480,用于发送与所述发送策略相关联的信息。

在本实施例的装置中,第二发送模块480可以各采集单元能够接收到的方式发送所述发送策略,和/或以用户使用的显示设备能够接收到的方式发送所述发送策略。

在本实施例的装置中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现与用户的姿态相关联的信息以及所述发送策略的发送,且对传输要求不高,通过这样的跟踪反馈机制能够有助于更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。

本申请实施例还提供了一种执行上面结合图2所描述的可视化内容发送方法的可视化内容发送装置,该装置可属于任一采集单元的装置。除下面将描述的各组成部分外,所述装置还包括可根据需要实现与装置外部任意设备通信的通信模块。如图5(a)所示,本申请实施例的可视化内容发送装置500包括:

第三获取模块520,用于获取与用户的姿态相关联的信息。

在本实施例的装置中,与用户的姿态相关联的信息指能够表示用户在观看沉浸式虚拟现实显示时的状态和/或观看意图的任何信息,包括但不限于:用户的面部朝向、用户的头部转动速度、用户的头部水平角度、用户的头部的倾斜角度,等等。

第三发送模块540,用于至少根据所述与用户的姿态相关联的信息,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如上所述的,第三发送模块540根据第三获取模块520所获取的信息,能够确定用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图,例如,根据用户的姿态确定用户正在观看的方向,从而向所述用户发送在与所述用户的姿态对应的方向上的与所述目标场景相关联的可视化内容。该方向上的可视化内容可为由一个采集单元所采集/获取的,也可为多个采集单元所采集/获取的。在由多个采集单元采集的实现方式中,本实施例的装置可通过与各采集单元通信获取相应的可视化内容数据,并统一发送。

综上,本实施例的装置通过跟踪用户观看沉浸式虚拟现实显示时的姿态变化,向用户发送相应方向的可视化内容,能够在为用户提供较好的沉浸式虚拟现实体验的同时减少对网络造成的压力。

需要说明的是,由于可视化内容是在一定时间段内持续传送的,第三获取模块520可周期性、实时、响应于用户的姿态发生变化、或根据网络传输能力来执行(网络传输能力好,可频繁触发,否则,较少触发)其功能,相应地,第三发送模块540也可根据第三获取模块520所获得信息的变化来做出适应性变化。

此外,如上所述的,可根据用户的姿态确定用户的观看方向,确定发送的可视化内容对应的方向,也即,第三发送模块540可至少根据所述与用户的姿态相关联的信息,确定所述至少一个方向。

根据用户的姿态确定用户观看的方向是较为成熟的技术在此不做赘述。且所述至少一个方向优选为与用户观看的方向相同或相似的方向。

在本实施例的装置中,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容可包括:仅发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,从而节省了原本用于发送多个方向上的可视化内容的带宽,因此能够以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一 个方向上的可视化内容。还可以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,例如,以较高的优先级发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。

此外,在仅发送所述至少一个方向上的可视化内容的实现方式中,本实施例的装置可采集/获取仅在所述至少一个方向上的目标场景的可视化内容数据,并发送;或者采集/获取包括所述至少一个方向的多个方向上的目标场景的可视化内容数据,但仅发送所述至少一个方向上的目标场景的可视化内容数据。

在按照预设优先级发送包括所述至少一个方向在内的多个方向上的可视化内容的实现方式中,本实施例的装置可获取多个采集单元分别在多个方向上采集/获取的目标场景的可视化内容数据,并按照所述预设优先级进行发送。

如图5(b)所示,第三发送模块540可包括:第一获取单元542以及发送单元544。

如上所述的,本实施例的装置可仅获取并发送所述至少一个方向上的目标场景的可视化内容,在这样的实现方式中:

第一获取单元542用于获取所述至少一个方向上的与所述目标场景相关联的可视化内容。

第一获取单元542可通过主动采集所述至少一个方向上的目标场景的可视化内容数据的方式获取所述可视化内容,也可通过与相应的至少一个采集单元通信的方式获取所述可视化内容。

发送单元544用于向所述用户发送所述至少一个方向上的与所 述目标场景相关联的可视化内容。具体地,发送单元544中向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,本实施例的装置还可获取多个方向上的目标场景的可视化内容,并仅发送所述至少一个方向上的目标场景的可视化内容。在这样的实现方式中:

第一获取单元542用于获取至少两个方向上的与所述目标场景相关联的可视化内容,所述至少两个方向包括所述至少一个方向。

类似地,第一获取单元542可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可主动在其中至少一个方向上采集目标场景的可视化内容。

发送单元544用于向所述用户发送所述至少一个方向上的与所述目标场景相关联的可视化内容。具体地,发送单元544向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

仍如上所述的,所述发送策略还包括:按照一预设优先级向所述用户发送至少两个方向上的与所述目标场景相关联的可视化内容,其中,所述至少两个方向包括所述至少一个方向。在这样的实现方式中:

发送单元544用于获取所述至少两个方向上的与所述目标场景相关联的可视化内容。

类似地,发送单元544可通过与各方向对应的至少一个采集单元通信的方式获取所述可视化内容,也可主动在其中至少一个方向上采集目标场景的可视化内容。

发送单元544用于按照所述预设优先级,向所述用户发送所述至少两个方向上的与所述目标场景相关联的可视化内容。具体地,发送单元544向用户侧用于呈现沉浸式虚拟现实显示的设备发送,例如,用户所佩戴的头盔式显示器、眼镜等等。

此外,在沉浸式虚拟现实的场景中,可通过多种传感器实现对用户的姿态的跟踪,本实施例的装置可从与用户关联的至少一传感器处获取与用户的姿态相关联的信息。因此,第三获取模块520可接收来自与所述用户相关联的至少一传感器的所述信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。

综上,在本实施例的装置中,与即将发送的用于形成虚拟现实显示的可视化内容相比,可以较小的数据包实现与用户的姿态相关联的信息的发送,且对传输要求不高,通过这样的跟踪反馈机制能够更智能的传输可视化内容,即使在带宽受限的情况下也能实现为用户提供较好的沉浸式体验。

本申请实施例还提供了一种执行上面结合图3描述的呈现方法的装置,该装置可属于虚拟现实显示设备或者该装置本身即为虚拟现实显示设备,这样的虚拟现实显示设备包括但不限于:头盔式显示器,投影式虚拟现实系统的投影设备,等等。且除下面将描述的各组成部分外,该装置还包括根据需要实现与装置外部任意设备通信的通信模块。如图6(a)所示,本实施例的呈现设备600包括:

第四获取模块620,用于获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

如结合图1所描述的,为了更智能的发送可视化内容,采集单元侧按照一定的发送策略发送可视化内容。第四获取模块620即用于获取这样的可视化内容。

显示模块640,用于至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。

所述发送策略中明确了所发送的可视化内容是与用户在观看沉浸式虚拟现实显示的过程中的状态和/或意图相关的,因此,本实施例的装置能够为用户提供较好的体验。

具体地,为了更智能的为用户呈现虚拟现实显示,如图6(b)所示,本实施例的装置600可进一步包括:

第四获取模块610,用于获取与所述发送策略相关联的信息。例如,第四获取模块610接收执行结合图1描述的实施例的方法的装置所发送的与所述发送策略相关联的信息。

如图6(c)所示,显示模块640可进一步包括:确定单元642以及显示单元644。

且如结合图1所描述的,在一种可能的实现方式中,为了节省原本用于发送多个方向上的可视化内容的带宽,从而以更高的传输质量(例如,分辨率、传输速率,等等)传输所述至少一个方向上的可视化内容,所述发送策略中可明确表示:仅发送所述至少一个方向上的与所述目标场景相关联的可视化内容。在这样的实现方式中:

确定单元642用于至少根据所述发送策略,确定所述至少一个方向。

显示单元644用于至少根据最近时刻获取到的所述至少一个方向上的可视化内容信号以及之前时刻获取到的其他方向上的可视化内容信号,为用户呈现沉浸式虚拟现实显示。

其中,为了提供沉浸式体验,在形成虚拟现实显示时仍需结合多个方向上的可视化内容,因此,除所述至少一个方向对应的可视化内容外,其他方向对应的可视化内容可采用历史数据,从而,在保证用户观看的方向上的实时、和/或高质量的同时,仍能保证沉浸式体验。

在另一种可能的实现方式中,所述发送策略中还可明确表示以一预设优先级向用户发送与所述至少一个方向上的与所述目标场景相关联的可视化内容,具言之,所述发送策略可包括:以较高的优先级 发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。所述较高的优先级包括但不限于:较高的发送频率优先级、发送时间优先级、传输质量优先级等,也即,与其他方向上的可视化内容相比,可以更早、单位时间更频繁、和/或传输质量更高地发送所述至少一个方向上的可视化内容,从而保证用户体验。在这样的实现方式中:

确定单元642用于至少根据所述发送策略,确定所述预设优先级。

显示单元644用于按照所述预设优先级,为用户呈现沉浸式虚拟现实显示。

在一种可能的实现方式中,本实施例的装置可根据所述预设优先级确定能够获取到的可视化内容的方向,并结合其他方向对应的历史数据来为用户呈现沉浸式虚拟现实显示。

此外,为了提供确定所述发送策略的参考,如图6(d)所示,本实施例的装置600还包括:

采集模块612,用于采集所述与用户的姿态相关联的信息,在一种可能的实现方式中,采集模块612可通过至少一个传感器采集用户的姿态的采集,且在一种优选的实现方式中,采集模块612可包括所述至少一个传感器,或者所述至少一个传感器可属于本实施例装置。

第四发送模块614,用于发送所述与用户的姿态相关联的信息,该信息可为各传感器感测到的原始传感器数据,也可为根据各传感器感测到的传感器数据所确定的明确的用户的姿态。且发送模块614可以执行结合图1描述的方法的装置和/或执行结合图2描述方法的装置能够接收到的方式发送所述信息。

需要说明的是,本实施例的装置可采用任意合适的技术,基于获取到的可视化内容来为用户提供虚拟现实呈现,在此不作为对本申请实施例的技术方案的限制。

综上,本实施例的装置能够为用户提供良好的沉浸式虚拟现实观 看体验。

图7为本申请实施例提供的可视化内容传输控制装置700的又一种结构示意图,本申请具体实施例并不对可视化内容传输控制装置700的具体实现做限定。如图7所示,该可视化内容传输控制装置700可以包括:

处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730、以及通信总线740。其中:

处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。

通信接口720,用于与比如客户端等的网元通信。

处理器710,用于执行程序732,具体可以执行上述方法实施例中的相关步骤。

具体地,程序732可以包括程序代码,所述程序代码包括计算机操作指令。

处理器710可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器730,用于存放程序732。存储器730可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序732具体可以用于使得所述可视化内容传输控制装置700执行以下步骤:

获取与用户的姿态相关联的信息;

至少根据所述与用户的姿态相关联的信息,确定与目标场景相关联的可视化内容的发送策略,所述发送策略包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

程序732中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。

图8为本申请实施例提供的可视化内容发送装置800的又一种结构示意图,本申请具体实施例并不对可视化内容发送装置800的具体实现做限定。如图8所示,该可视化内容发送装置800可以包括:

处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830、以及通信总线840。其中:

处理器810、通信接口820、以及存储器830通过通信总线840完成相互间的通信。

通信接口820,用于与比如客户端等的网元通信。

处理器810,用于执行程序832,具体可以执行上述方法实施例中的相关步骤。

具体地,程序832可以包括程序代码,所述程序代码包括计算机操作指令。

处理器810可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器830,用于存放程序832。存储器830可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序832具体可以用于使得所述可视化内容发送装置800执行以下步骤:

获取与用户的姿态相关联的信息;

至少根据所述与用户的姿态相关联的信息,向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容。

程序832中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。

图9为本申请实施例提供的呈现装置900的又一种结构示意图,本申请具体实施例并不对呈现装置900的具体实现做限定。如图9所示,该呈现装置900可以包括:

处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930、以及通信总线940。其中:

处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。

通信接口920,用于与比如客户端等的网元通信。

处理器910,用于执行程序932,具体可以执行上述方法实施例中的相关步骤。

具体地,程序932可以包括程序代码,所述程序代码包括计算机操作指令。

处理器910可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。

存储器930,用于存放程序932。存储器930可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序932具体可以用于使得所述呈现装置900执行以下步骤:

获取按照一发送策略发送的可视化内容,所述发送策略为根据与用户的姿态相关联的信息确定的,且包括:向所述用户发送与所述用户的姿态对应的至少一个方向上的与所述目标场景相关联的可视化内容;

至少根据所述发送策略,为用户呈现沉浸式虚拟现实显示。

程序932中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实现方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1