虚拟现实VR直播中的视角同步方法及装置与流程

本申请涉及虚拟现实vr直播技术领域，特别涉及虚拟现实vr直播中的视角同步方法及装置。

背景技术：

虚拟现实(virtualreality，vr)可以利用计算机生成一种模拟环境，该模拟环境是由计算机生成的、实时动态的逼真图像，用户通过手机等移动终端设备的屏幕进行观看，或者，还可以通过特制的头显设备等沉浸到该模拟环境中进行观看，等等。其中，vr内容与普通视频内容之间一个明显的不同是，vr视频的每一帧通常都可以采用360度全景拍摄，可以将拍摄现场更清晰、准确的还原。在视频播放的过程中，由于播放设备的屏幕通常是平面结构，无法同时进行360度的全景展示，因此，播放设备首先需要确定用户所需的观看视角，然后，按照将这种观看视角作为展示视角对每一帧图像进行播放。其中，在初始状态下，vr内容可以具有默认的展示视角，在播放的过程中，观看者可以通过转动终端设备，或者在头戴头显设备的情况下通过转动头部或者眼球等，来改变观看视角，实现从更多角度观看视频各帧的图像内容。

vr直播是将vr内容与直播技术相结合而发展起来的一种新型的应用。在vr直播中，vr内容通常可以是预先制作好的vr视频等内容，vr发送设备可以预先获得这种vr内容，然后，向一个或者多个vr接收设备进行实时的同步播放。vr直播的应用场景可以有多种，例如，在网络销售系统中，针对一些需要大型布景才能够更清楚的介绍具体产品特点(如，家居或者装修类产品等)的情况下，就可以预先将这种产品布置在这种布景下，然后进行vr内容的制作，然后通过vr直播的方式，向买家用户播放该vr内容，使得用户能够获得关于具体产品更准确的信息。具体实现时，vr直播可以应用于向vr接收设备播放电影类的纯展现内容、或者游戏类的探索类内容，等。

技术实现要素：

本申请提供了虚拟现实vr直播中的视角同步方法及装置，能够解决vr直播过程中的视角同步问题。

为了解决上述问题，本申请实施例公开了：

一种虚拟现实vr直播中的视角同步方法，包括：确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角。

一种虚拟现实vr直播中的视角同步方法，包括：

获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角；

根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

一种虚拟现实vr直播中的视角同步方法，包括：

确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

一种虚拟现实vr直播中的视角同步方法，包括：

获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

确定当前待展示的图像帧对应的接收方用户观看视角信息；

根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

在展示所述当前待展示的图像帧时，提供所述提示信息。

一种虚拟现实vr直播中的视角同步装置，包括：

第一发送方用户视角信息确定单元，用于确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

第一vr内容提供单元，用于将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角。

一种虚拟现实vr直播中的视角同步装置，包括：

vr内容获得单元，用于获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

展示视角确定单元，用于根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角；

展示单元，用于根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

一种虚拟现实vr直播中的视角同步装置，包括：

第二发送方用户视角信息确定单元，用于确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

第二vr内容提供单元，用于将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

一种虚拟现实vr直播中的视角同步装置，包括：

vr内容获得单元，用于获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

接收方用户观看视角信息确定单元，用于确定当前待展示的图像帧对应的接收方用户观看视角信息；

提示信息生成单元，用于根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

提示信息提供单元，用于在展示所述当前待展示的图像帧时，提供所述提示信息。

一种增强现实ar直播中的视角同步方法，包括：

确定ar内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

将所述ar内容中所述图像帧及其对应的发送方用户观看视角信息提供给ar接收设备，以用于ar接收设备在对ar内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定ar接收设备对所述当前待展示图像帧的展示视角。

一种增强现实ar直播中的视角同步方法，包括：

获得ar发送设备提供的ar内容信息，所述ar内容信息中包括图像帧及其对应的发送方用户观看视角信息；

根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定ar接收设备对所述当前待展示图像帧的展示视角；

根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

一种增强现实ar直播中的视角同步方法，包括：

确定ar内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

将所述ar内容中所述图像帧及其对应的发送方用户观看视角信息提供给ar接收设备，以用于ar接收设备在对ar内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

一种增强现实ar直播中的视角同步方法，包括：

获得ar发送设备提供的ar内容信息，所述ar内容信息中包括图像帧及其对应的发送方用户观看视角信息；

确定当前待展示的图像帧对应的接收方用户观看视角信息；

根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

在展示所述当前待展示的图像帧时，提供所述提示信息。

与现有技术相比，本申请包括以下优点：

在本申请实施例中，针对偏向于电影的纯展现类vr内容的直播，通过由vr发送设备向vr接收设备同时发送vr内容中的图像帧以及对应的发送方用户观看视角信息的方式，可以在vr接收设备侧对发送方用户观看视角信息进行预处理之后，再作为接收设备的展示视角对待展示图像帧进行展示，因此，能够使得vr接收设备对各图像帧的展示视角变化更为平滑，即使发送设备侧的出现发送方用户观看视角发生突变，接收方用户由于这种突变而发生的晕眩等情况的发生概率也会得到控制或者降低。

针对偏向于游戏的探索类vr内容的直播，通过对接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息的计算，以及据此提供的提示信息，可以提示接收方用户如何对其vr接收设备进行旋转等操作，能够与发送方用户的观看视角同步，以便接收方用户按照提示信息，来调整自己的观看视角，以便可以在vr接收设备中观看到与发送方用户观看到的同样的vr内容。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的场景示意图；

图2是本申请实施例提供的第一方法的流程图；

图3是本申请实施例提供的第二方法的流程图；

图4是本申请实施例提供的第三方法的流程图；

图5是本申请实施例提供的第四方法的流程图；

图6是本申请实施例提供的第一装置的示意图；

图7是本申请实施例提供的第二装置的示意图；

图8是本申请实施例提供的第三装置的示意图；

图9是本申请实施例提供的第四装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请发明人在研究过程中发现，对于不同类型的vr直播内容，发送设备与接收设备之间的互动方式会有不同，但现有技术中，都会在不同程度上存在一定的视角同步问题。

其中，对于电影类的纯展现内容，通常是由发送方用户来选择观看的主视角，发送设备发送到接收设备的信息除了每一帧图像的图像数据，还包括每一帧图像对应的发送方视角信息，接收设备通过具体的图像帧以及对应的发送方视角，确定接收设备对对应图像帧的展示视角，并对接收到的vr内容进行播放。也就是说，接收方用户被动地跟随发送方用户的视角。此时，对于接收方用户而言，即使其转动其手机等终端设备，或者在佩戴头显设备的情况下转动头部或者眼球，都不会引起vr内容的视角变化，其观看视角始终与发送方用户的视角保持同步，相当于是由发送方用户引领各接收方用户进行vr内容的观看。

但是，在上述直播类型中，发送方用户选择或者改变观看视角的方式，通常也是通过转动手机等移动终端设备，或者在佩戴头显设备的情况下，转动头部或者眼球等方式来实现的。而在直播过程中，发送方用户可能会发生大幅度转动其终端设备，或者大幅度转动头部等情况。例如，在直播过程中，发送方用户可能突然抬头观看全景数据中上方的内容，或者突然低头执行某种操作等，都会导致发送方用户对vr内容的观看视角发生突然的大幅度改变，相应的，vr接收设备播放的vr视频数据的展示视角也会因为发送方用户观看视角的突变，而发生剧烈的图像移动，这可能会导致接收方用户看到突然发生了较大的内容变化的视频数据，甚至使接收方用户由于不适应这种突然的图像移动，而产生晕眩的感觉。

而对于游戏类的探索类内容而言，发送方用户同样可以选择或改变自己的观看视角，但是，现有技术中，发送方用户的观看视角信息不会提供给接收设备。并且，接收方用户可以通过转动其手机等终端设备，或者在佩戴头显设备的情况下转动头部或者眼球等方式，改变自己的观看视角，以用于在具体游戏场景的地图等界面中进行探索，等等。也就是说，接收方用户能够主动改变其观看视角，并且接收设备在播放vr内容时，是根据接收方用户的观看视角来确定vr内容的展示视角。这就使得同一直播过程中，发送设备以及各个接收设备对同一vr内容的展示视角可能都是不同的。

但是，毕竟是在同一游戏等活动中进行直播互动中，因此，在有些情况下，接收方用户可能需要知晓发送方用户的观看视角，以便更好的进行游戏互动等。在现有技术中，可以由发送方用户通过语音等方式通知接收方用户其观看视角的方向，接收方用户自行按照发送方用户的语音提示寻找发送方用户的观看视角方向。但是，对于一些大型的游戏场景等vr内容，一帧图像的面积可能会非常大，一方面，发送方用户可能无法清晰地用语言描述自己的观看视角方向，另一方面，即使发送方用户进行了清晰的描述，接收方用户也可能会由于画面内容过大而导致难以找到对方观看视角方向，等等。因此，在上述情况下会使得这种现有技术的方式可能变得不再适用，以至于同一游戏中的各接收方用户可能经常出现无法确认发送方用户主视角方向的情况。

基于上述两种情况，本申请实施例提供了相应的解决方案。在该解决方案中，无论是偏向于电影的纯展示类内容的直播，还是偏向于游戏的探索类内容的直播，直播的发送设备都可以将各帧图像的图像数据以及对应的发送方用户的观看视角信息提供给接收设备。之后，针对不同类vr内容的直播，接收设备可以进行不同的处理。

首先，对于偏向于电影的纯展示类内容的直播，vr接收设备侧在进行vr内容的展示时，并不是直接根据各帧数据对应的发送方用户观看视角进行展示，而是首先根据当前待展示的图像帧，以及该图像帧之前的若干个图像帧对应的发送方用户观看视角，进行取平均值等处理，然后将得到的处理后的视角信息，确定为接收设备中当前图像帧的展示视角，以此实现对各帧图像的展示视角进行平滑处理，并在vr接收设备侧按照平滑处理后的展示视角，来向观看直播的用户播放vr视频数据，从而起到对直播用户观看时产生的方向的突变的缓冲作用，以减少观看用户的晕眩的感觉。

而对于偏向于游戏的探索类vr内容的直播，vr接收设备仍然可以将接收方用户的观看视角作为对应图像帧的展示视角，但与此同时，还可以根据各帧图像对应的发送方用户的观看视角，以及接收方用户的观看视角，计算出两者之间的视差方向信息，然后，可以根据该视差方向信息，在接收设备播放vr内容的过程中提供提示信息，例如，可以在vr内容播放界面中显示“箭头”等提示信息，或者，还可以生成语音类的提示信息，等等。

下面分别针对各种不同类型的vr内容直播方式对应的视角同步方案进行详细介绍。

实施例一

该实施例一主要针对偏向于电影的纯展示类vr内容的直播方式对应的视角同步解决方案进行介绍，也即，在该方案中，vr发送设备对所述vr内容进行展示时的展示视角，与vr发送设备的运动相关，但是，vr接收设备对所述当前待展示图像帧的展示视角，与vr接收设备的运动无关。参考图1所示，为本申请在实际应用中一个示例性实施例的场景示意图。在图1中，为一个vr视频直播的应用场景中视角同步的应用场景，vr发送设备101的使用用户为直播用户，也称发送方用户，发送方用户使用vr发送设备101例如vr头显，或者移动终端设备等，观看vr内容，vr发送设备101可以将发送方用户观看到的vr内容，以及vr内容中具体图像帧对应的发送方观看视角信息也提供给vr接收设备103。其中，vr发送设备101提供的上述信息可以通过服务器102转发至vr接收设备103，或者，还可以与vr接收设备103之间建立点对点的连接，直接发送给vr接收设备103，等等。

其中，vr发送设备所发送的各帧vr视频数据都可以为360度的全景数据，在vr接收设备接收到vr视频数据和对应的发送方用户视角信息后，对视角信息进行平滑处理，例如，将前n帧图像对应的所述视角信息求得平均值作为当前图像帧的展示视角，vr接收设备再按照当前图像帧的展示视角向接收方用户展示当前图像帧，其他图像帧也均可以做类似处理。在图1中仅示出了一个vr接收设备，可以理解的是，在实际应用中，vr接收设备可以有多个。

与现有技术相比，本申请实施例并不是直接将发送方用户观看视角直接作为vr接收设备中的展示视角，而是将平滑处理后的视角信息作为vr接收设备侧的展示视角，因此可以避免由于发送方用户突然的观看视角变动导致的接收设备中播放的图像画面的突然移动或者转动等情况降低接收方用户晕眩的发生概率。

具体的，该实施例二首先从vr发送设备的角度，提供了一种虚拟现实vr直播中的视角同步方法，参考图2，该方法具体可以包括：

s201：确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息。

在本实施例中，发送方用户使用vr发送设备观看vr视频，例如，直播用户头戴vr头显观看电影等，在发送方用户观看过程中，发送方用户的观看视角方向可能会随时发生变化，例如抬头操作导致的视线方向突然上移，或者低头操作导致的视线方向突然下移，等等。因此，vr发送设备不仅要获取到vr视频的各帧vr视频的全景数据，还需要获取到发送方用户观看vr视频时各帧视频数据对应的观看视角信息，该观看视角信息用于表示vr发送设备侧的发送方用户观看vr内容的视线方向。具体实现时，vr发送设备上可以设有传感器，用于检测由于vr发送设备的运动所导致的观看视角变化信息。因此，具体在确定vr内容在vr发送设备侧进行播放的过程中，各帧图像对应的发送方用户观看视角信息时，可以根据所述传感器上传的视角变化信息，确定所述各帧图像对应的发送方用户观看视角信息。

具体的，每一个图像帧都可以对应各自的发送方用户观看视角信息，因此，所述确定图像帧对应的发送方用户观看视角信息，可以是分别为每一图像帧确定出对应的发送方观看视角。或者，在实际应用中，还可以是每隔数帧提供一次对应的发送方观看视角信息，等等。

s202：将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角。

vr发送设备可以通过远程数据同步等技术，将vr内容中的图像帧及对应的发送方用户观看视角信息提供给vr接收设备。具体的，可以通过服务器进行转发至vr接收设备，或者，还可以直接点对点发送到vr接收设备，等等。在实际应用中，可以以帧为单位发送vr内容中的各图像帧和对应的发送方用户观看视角信息，还可以将若干图像帧作为一个视频流同步至vr接收设备，并在该视频流中提供vr内容中各帧图像对应的发送方观看视角信息。无论哪一种发送方式，只需要在vr发送设备和vr接收设备之间约定好，以便vr接收设备能够将每一帧图像与发送方用户观看视角进行对应即可。

vr接收设备在接收到具体的vr内容后，可以从中提取出具体的图像帧以及对应的发送方用户观看角度信息，其中，由于当前图像帧在vr接收设备中的展示视角与vr内容中的前预置数目(例如，5帧等)帧图像对应的发送方用户观看视角都可能有关，因此，vr接收设备可以对接收到的至少所述预置数目的图像帧对应的发送方用户观看视角进行保存。具体实现时，可以根据具体的预置数目，保存一系列的发送方用户观看视角信息，例如，(…xn-1,xn,xn+1,xn+2…)，其中，xn可以为向量，代表第n帧图像对应的发送方用户观看视角信息。其中，在所述预置数目已知的情况下，滑动窗口的长度可以是与该预置数目相等，每次接收到新的图像帧对应的发送方用户观看视角信息时，可以将该新的图像帧对应的发送方用户观看视角信息对应的向量添加到前述序列中，并且该滑动窗口可以向前滑动一次。

具体在对接收到的发送方用户观看视角信息进行处理时，可以有多种方式，只要能够实现视角变化信息的平滑过渡即可。例如，在一种实现方式下，可以按照vr内容中各帧图像的播放顺序，确定出当前待展示的图像帧，及其之前的预置数目的相邻图像帧，然后，计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值，将所述平均值确定为vr接收设备对所述当前待展示图像帧的展示视角。例如，预先设置滑动窗口的长度为m+1，也即，当前待展示图像帧与其前m个相邻图像帧对应的发送方用户观看视角信息相关，其中，m可以为大于1的整数。则对于当前待展示的图像帧，可以采用如下方式计算其展示视角：yn＝xn-m+xn-m+1+…xn/(m+1)。即，第n帧图像在vr接收设备中的展示视角，是第n帧及其前m帧图像对应的发送方用户观看视角的平均值。

当然，可以理解的是，m的取值越大，则计算得到的展示视角的变化就会越平稳，也即，vr接收设备中各帧图像的展示视角变化曲线越平滑。

在得到平滑处理后的视角信息后，便可以将其作为vr接收设备中的展示视角，，并按照该展示视角对当前待展示图像帧进行展示。其他帧也可以进行类似的处理。

需要说明的是，通过本申请实施例中，通过对视角的平滑处理，可以使得vr接收方的各帧图像在展示过程中的展示视角变化比较平稳，降低由于发送方用户视角的突变，而导致接收方用户的晕眩等情况的发生概率。但是，这种平滑处理可能会使得接收方用户观看到的vr内容与发送方用户的观看视角并不是完全一致，出现延迟等情况。另外，如果发送方用户的观看视角并没有出现突变等情况，则每一帧图像都进行平滑处理之后再进行展示，则可能会对计算资源等造成一定程度的浪费，并且由于这种方式造成的接收方用户观看的内容出现延迟的情况，会显得不值得。

为此，在本申请的可选实施方式中，在针对当前待展示图像对应的视角信息进行平滑处理之前，还可以首先进行判断，以确定出当前待展示图像相对于前几帧图像的发送方观看视角是否发生了突变等情况，如果发生了突变，再按照前述方式进行平滑处理，否则，可以直接按照当前待展示图像帧对应的发送方用户观看视角作为接收设备中的展示视角，对该待展示图像帧进行展示即可。具体的，可以确定所述当前待展示的图像帧相对于相邻的前预置数目的图像帧对应的发送方用户观看视角信息的变化程度信息，如果所述变化程度信息达到预置阈值，则触发所述计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值的步骤。否则，如果所述变化程度信息未达到预置阈值，则将所述当前图像帧对应的发送方用户观看视角，确定为vr接收设备对所述当前待展示图像帧的展示视角。其中，具体在所述变化程度信息时，由于每帧图像对应的发送方用户观看视角对应着一个向量，因此，可以通过计算向量之间的距离，并判断距离长短等方式，来确定出所述变化程度的高低。也即，变化程度信息对应的预置阈值可以是代表向量与向量之间距离的长度值，等等。

这样，通过上述方式可以实现按需的平滑处理，也即，在需要进行平滑处理时，例如，发现发送方用户观看视角发生突变时，再进行所述计算平均值等处理。这样，可以节省计算资源，并且，可以更大限度的保证接收方用户观看的vr内容与发送方用户的观看视角保持一致。

总之，在本申请实施例中，通过由vr发送设备向vr接收设备同时发送vr内容中的图像帧以及对应的发送方用户观看视角信息的方式，可以在vr接收设备侧对发送方用户观看视角信息进行预处理之后，再作为接收设备的展示视角对待展示图像帧进行展示，因此，能够使得vr接收设备对各图像帧的展示视角变化更为平滑，即使发送设备侧的出现发送方用户观看视角发生突变，接收方用户由于这种突变而发生的晕眩等情况的发生概率也会得到控制或者降低。

实施例二

该实施例二是与实施例一项对应的，从vr接收设备的角度，提供了一种虚拟现实vr直播中的视角同步方法，参考图3，该方法具体可以包括：

s301：获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

s302：根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角；

其中，具体在确定vr接收设备对所述当前待展示图像帧的展示视角时，可以计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值，将所述平均值确定为vr接收设备对所述当前待展示图像帧的展示视角。

另外，在进行上述平均值计算之前，还可以首先确定所述当前待展示的图像帧相对于相邻的前预置数目的图像帧对应的发送方用户观看视角信息的变化程度信息，如果所述变化程度信息达到预置阈值，则触发所述计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值的步骤。如果所述变化程度信息未达到预置阈值，则可以将所述当前图像帧对应的发送方用户观看视角，确定为vr接收设备对所述当前待展示图像帧的展示视角。

s303：根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

其中，所述vr接收设备对所述当前待展示图像帧的展示视角，与vr接收设备的运动无关。

由于该实施例二是与实施例一相对应的，因此，相关的具体实现可以参见前述实施例一中的记载，这里不再赘述。

实施例三

该实施例三主要是针对偏向于游戏的探索类vr内容在直播过程中的视角同步问题进行介绍。也即，在该情况下，vr发送设备对所述vr内容的展示视角，与vr发送设备的运动相关，vr发送设备对所述vr内容的展示视角，则与vr发送设备的运动相关。具体的，该实施例三首先从vr发送设备角度，提供了一种虚拟现实vr直播中的视角同步方法，具体的，参见图4，该方法可以包括：

s401：确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

该步骤与实施例一中的步骤s201可以是相同的，也即，即使vr接收设备在对vr内容进行展示时，具体的展示视角，是跟随接收方用户观看视角而变化的，也可以将发送设备侧发送方用户的观看视角信息提供给vr接收设备，使得vr接收设备可以据此向接收方用户提供关于发送方观看视角方向的提示信息。

s402：将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

在向vr接收设备提供vr内容时，同样可以既提供vr内容中的具体图像帧，还可以提供与图像帧对应的发送方用户观看视角信息。对于vr接收设备而言，是根据接收方用户观看视角，确定具体图像帧在vr接收设备中的展示视角。例如，在一个游戏场景中，发送方用户已经进入到场景画面的右上方，而接收方用户仍然在场景画面的左下方，则这种情况下vr接收设备不会按照场景画面的右上方的展示视角来播放当前图像帧，而是按照接收方用户所处的场景画面的左下方的展示视角来播放该当前图像帧。

但是，在本申请实施例中，由于vr接收设备能够获取到发送方用户观看视角信息，因此，还可以计算出接收方用户观看视角与发送方用户观看视角之间的视差，然后，可以根据这种视差，向接收方用户提供提示信息，以帮助接收方用户通过自行旋转vr接收设备等方式，找到发送用户观看视角的方向。其中，所述视差为发送方用户的观看视角方向与接收方用户的观看视角方向之间的角度值，同样可以通过一个向量等方式进行表示。

在计算得到接收方用户观看视角与发送方用户观看视角之间的视差后，可以根据该视差生成一提示信息，以提示接收方用户，如何转动其vr接收设备能够找到发送方用户观看视角所在的位置。

具体的，所述提示信息可以有多种实现方式，例如，其中一种方式下，可以是根据所述视差信息，生成可视化方向指示信息，这样，在向接收方用户提供该提示信息时，可以在展示所述当前待展示的图像帧时，将所述可视化方向指示信息叠加到所述图像帧中进行展示。例如，具体的，所述可视化方向指示信息可以通过箭头的方式来实现，箭头可以是具有一定扭曲程度，用以提示接收方用户如何转动其vr接收设备。其中，接收方用户观看视角与发送方用户观看视角之间的视差越大，则箭头扭曲越明显。另外，在具体实现时，还可以在箭头等可视化信息上展示发送方用户的名字等用户标识信息。

除了通过可视化信息的方式提供所述提示信息之外，还可以通过语音等方式来进行提示。例如，可以根据所述视差信息，生成音频提示信息，然后在展示所述当前待展示的图像帧时，播放所述音频提示信息。其中，具体实现时，可以预先提供语料模板以及语音播放模型，在计算出具体的视差信息后，可以按照该模板生成对应的语料，然后，通过语音播放模型转化为语音进行播放，等等。例如，如果通过计算发现，发送方用户的观看视角位于当前接收方用户的观看视角的右后方，则生成的语料可以是“如果需要找发送方用户的视角，请向右后方旋转手机或头显”，等等。

在提供了上述提示信息后，如果需要与发送方用户观看视角同步，则接收方用户可以依据提示信息，来通过旋转其vr接收设备等方式，实现对其观看视角的调整，使得其观看视角与发送方用户的观看视角一致，以此实现与发送方用户的视角同步。

也即，在接收方用户获得具体的提示信息后，如果按照提示信息调整了自己的观看视角方向，则vr接收设备可以根据接收方用户调整后的观看视角方向，来向接收方用户显示vr内容。仍以上述例子进行说明，如果接收方用户的视线也进入了场景画面的右上方，则在vr接收设备上则需要按照场景画面的右上方的对应的展示视角，播放场景画面右上方的vr图像，使得接收方用户能够观看到这部分图像。

可见，通过本申请实施例对接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息的计算，以及据此提供的提示信息，可以提示接收方用户如何对其vr接收设备进行旋转等操作，能够与发送方用户的观看视角同步，以便接收方用户按照提示信息，来调整自己的观看视角，以便可以在vr接收设备中观看到与发送方用户观看到的同样的vr内容。

可以理解的是，在vr接收设备有多个的情况下，在各个vr接收设备之间，也可以按照本实施例的方式确定各个vr接收设备之间的视差信息，提供关于其他vr接收设备对应的用户观看视角的提示信息。例如，vr接收设备a对应的接收方用户a和vr接收设备b对应的接收方用户b的观看视角方向不同，则可以在vr接收设备a的显示屏幕上，对用户b的观看视角信息进行提示，从而方便用户a来找到用户b的观看视角位置，等等。

实施例四

该实施例四是与实施例三相对应的，从vr接收设备的角度，提供了一种虚拟现实vr直播中的视角同步方法，参见图5，该方法具体可以包括：

s501：获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

s502：确定当前待展示的图像帧对应的接收方用户观看视角信息；

s503：根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

s504：在展示所述当前待展示的图像帧时，提供所述提示信息。

其中，在该实施例中，所述vr发送设备对所述vr内容的展示视角，与vr发送设备的运动相关；所述vr接收设备对所述vr内容的展示视角，与vr接收设备的运动相关。

具体在生成对所述发送方用户观看视角的提示信息时，可以根据所述视差信息，生成可视化方向指示信息；此时，可以在展示所述当前待展示的图像帧时，将所述可视化方向指示信息叠加到所述图像帧中进行展示。另外，还可以将所述发送方用户的用户标识信息添加到所述可视化信息中。

另一种生成对所述发送方用户观看视角的提示信息的方式可以是，根据所述视差信息，生成音频提示信息；此时，可以在展示所述当前待展示的图像帧时，播放所述音频提示信息。

关于该实施例四中的未详述部分内容，可以参见前述实施例三中的记载，这里不再赘述。

对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

与实施例一相对应，本申请实施例还提供了一种虚拟现实vr直播中的视角同步装置，参见图6，该装置可以包括：

第一发送方用户视角信息确定单元601，用于确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

第一vr内容提供单元602，用于将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角。

其中，所述vr发送设备对所述vr内容进行展示时的展示视角，与vr发送设备的运动相关。所述vr接收设备对所述当前待展示图像帧的展示视角，与vr接收设备的运动无关。

所述vr发送设备上可以设有传感器，用于检测vr发送方设备的运动所导致的观看视角变化信息；此时，所述第一发送方用户视角信息确定单元具体可以用于：

根据所述传感器上传的视角变化信息，确定所述各帧图像对应的发送方用户观看视角信息。

与实施例二相对应，本申请实施例还提供了一种虚拟现实vr直播中的视角同步装置，参见图7，该装置可以包括：

vr内容获得单元701，用于获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

展示视角确定单元702，用于根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定vr接收设备对所述当前待展示图像帧的展示视角；

展示单元703，用于根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

具体的，所述展示视角确定单元具体可以包括：

计算子单元，用于计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值；

展示视角确定子单元，用于将所述平均值确定为vr接收设备对所述当前待展示图像帧的展示视角。

另外，该装置还可以包括：

视角变化程度确定单元，用于确定所述当前待展示的图像帧相对于相邻的前预置数目的图像帧对应的发送方用户观看视角信息的变化程度信息；

触发单元，用于如果所述变化程度信息达到预置阈值，则触发所述计算当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息的平均值的步骤。

直接确定单元，用于如果所述变化程度信息未达到预置阈值，则将所述当前图像帧对应的发送方用户观看视角，确定为vr接收设备对所述当前待展示图像帧的展示视角。

其中，所述vr接收设备对所述当前待展示图像帧的展示视角，与接收方用户所触发的vr接收设备的运动无关。

与实施例三相对应，本申请实施例还提供了一种虚拟现实vr直播中的视角同步装置，参见图8，该装置可以，包括：

第二发送方用户视角信息确定单元801，用于确定vr内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

第二vr内容提供单元802，用于将所述vr内容中所述图像帧及其对应的发送方用户观看视角信息提供给vr接收设备，以用于vr接收设备在对vr内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

其中，所述vr发送设备对所述vr内容的展示视角，与vr发送设备的运动相关；所述vr发送设备对所述vr内容的展示视角，与vr发送设备的运动相关。

与实施例四相对应，本申请实施例还提供了一种虚拟现实vr直播中的视角同步装置，参见图9，该装置可以包括：

vr内容获得单元901，用于获得vr发送设备提供的vr内容信息，所述vr内容信息中包括图像帧及其对应的发送方用户观看视角信息；

接收方用户观看视角信息确定单元902，用于确定当前待展示的图像帧对应的接收方用户观看视角信息；

提示信息生成单元903，用于根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

提示信息提供单元904，用于在展示所述当前待展示的图像帧时，提供所述提示信息。

其中，所述vr发送设备对所述vr内容的展示视角，与vr发送设备的运动相关；

所述vr接收设备对所述vr内容的展示视角，与vr接收设备的运动相关。

其中，所述提示信息生成单元具体可以用于：

根据所述视差信息，生成可视化方向指示信息；

此时，所述提示信息提供单元具体可以用于：在展示所述当前待展示的图像帧时，将所述可视化方向指示信息叠加到所述图像帧中进行展示。

另外，所述提示信息生成单元还可以用于：

将所述发送方用户的用户标识信息添加到所述可视化信息中。

或者，所述提示信息生成单元具体可以用于：

根据所述视差信息，生成音频提示信息；

此时，所述提示信息提供单元具体可以用于：在展示所述当前待展示的图像帧时，播放所述音频提示信息。

需要说明的是，在实际应用中，还可以包括基于增强现实(ar)的直播应用，与vr直播的不同之处在于，ar直播过程中，可能需要发送方用户与接收方用户都能够对着同一实体物体进行图像采集，然后，基于该实体物体在屏幕中的展示位置，展示出相关联的ar内容。本申请实施例所提供的方案也可以用于基于ar的直播中，也即，如果ar内容中每一帧图像也是360度的全景图像，并且用户可以通过旋转其ar设备的方式来改变观看视角，则也可以通过本申请实施例提供的方案实现发送方用户与接收方用户的视角同步，并防止出现接收方用户的晕眩等情况出现。

其中，关于ar直播，同样可以存在纯展示类内容的直播，以及探索类内容的直播，相应的，针对不同类型的ar内容，具体存在的同步问题以及对应的处理方式可以有所不同。

其中，与实施例一类似，本申请实施例还提供了一种增强现实ar直播中的视角同步方法，该方法可以包括：

步骤一：确定ar内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

步骤二：将所述ar内容中所述图像帧及其对应的发送方用户观看视角信息提供给ar接收设备，以用于ar接收设备在对ar内容进行展示时，根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定ar接收设备对所述当前待展示图像帧的展示视角。

与实施例二类似，本申请实施例还提供了一种增强现实ar直播中的视角同步方法，该方法具体可以包括：

步骤一：获得ar发送设备提供的ar内容信息，所述ar内容信息中包括图像帧及其对应的发送方用户观看视角信息；

步骤二：根据当前待展示的图像帧及其前预置数目图像帧对应的发送方用户观看视角信息，确定ar接收设备对所述当前待展示图像帧的展示视角；

步骤三：根据所确定出的展示视角对所述当前待展示的图像帧进行展示。

与实施例三类似，本申请实施例还提供了一种增强现实ar直播中的视角同步方法，该方法具体可以包括：

步骤一：确定ar内容在发送设备侧进行播放的过程中，图像帧对应的发送方用户观看视角信息；

步骤二：将所述ar内容中所述图像帧及其对应的发送方用户观看视角信息提供给ar接收设备，以用于ar接收设备在对ar内容进行展示时，根据接收方用户观看视角与发送方用户观看视角之间的视差，提供对所述发送方用户观看视角的提示信息。

与实施例四类似，本申请实施例还提供了一种增强现实ar直播中的视角同步方法，该方法具体可以包括：

步骤一：获得ar发送设备提供的ar内容信息，所述ar内容信息中包括图像帧及其对应的发送方用户观看视角信息；

步骤二：确定当前待展示的图像帧对应的接收方用户观看视角信息；

步骤三：根据接收方用户观看视角与所述当前待展示图像帧对应的发送方用户观看视角之间的视差信息，生成对所述发送方用户观看视角的提示信息；

步骤四：在展示所述当前待展示的图像帧时，提供所述提示信息。其中，关于与ar相关的具体实现，可以参见前述各对应的实施例中关于vr的介绍，这里不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的虚拟现实vr直播中的视角同步方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。