一种直播的方法、服务器、无人机和VR设备与流程

本发明涉及电子技术领域，尤其涉及一种直播的方法、无人机和VR设备。

背景技术：

直播是最近新兴的一种交换方式。在直播中，主播手持主播端设备采集图像，通过网络，实时地采集到的图像同步传输到多个观看端设备，以使众多观看者观看到图像。同时，观看者也在可以观看端设备上输入文字、图像、表情、礼物等信息，通过网络显示到主播端设备和其他观看端设备，进而与主播和其他观看者在线互动。

然而，当前直播的内容仍然停留在明星、旅游和宠物等，不能满足观看者的多样性要求。同时，目前观看端设备播放直播视频的形式亦不够真实。

技术实现要素：

本发明实施例提供了一种直播的方法、无人机和VR设备，用于向观看者直播与无人机采集二维直播视频对应的三维直播视频的技术效果。

第一方面，本发明提供了一种直播的方法，包括：

接收无人机采集并发送的二维直播视频；

将所述二维直播视频转换成无人机直播视频流；

将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

可选的，在将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备之前，还包括：

接收每个请求获取所述无人机直播流的所述VR设备发送的用于表示所述VR设备对应的观看者观看权限的权限验证信息；

获得表示能够获取所述无人机直播视频流权限的权限允许信息；

判断所述权限验证信息是否与所述权限允许信息匹配；

确定向与所述权限允许信息匹配的所述权限验证信息对应的所述VR设备发送所述无人机直播视频流。

可选的，接收无人机采集并发送的无人机图像视频信息，包括：

接收与所述无人机无线连接的地面站发送的所述二维直播视频。

第二方面，本发明提供了一种直播的方法，包括：

通过无人机搭载的图像采集单元采集二维直播视频；

将所述二维直播视频发送至服务器，以使所述服务器将所述二维直播视频转换成无人机直播视频流，并将所述无人机直播视频流发送给接入所述服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

第三方面，本发明提供了一种直播的方法，包括：

接收服务器发送的无人机直播视频流，所述无人机直播视频流为所述服务器接收无人机采集并发送的二维直播视频而转换得到的；

将所述直播视频流转换成与所述二维直播视频对应的三维直播视频；

在所述VR设备的显示单元上显示所述三维直播视频。

可选的，在接收服务器发送的无人机直播视频流之前，还包括：

向所述服务器发送请求获取所述无人机直播流的请求信息；

向所述服务器发送表示所述VR设备对应的观看者的观看权限的权限验证信息，以使所述服务器判断所述权限验证信息与所述权限允许信息匹配，并确定向所述VR设备发送所述无人机直播视频流。

第四方面，本发明提供了一种服务器，包括：

第一接收模块，用于接收无人机采集并发送的二维直播视频；

转换模块，用于将所述二维直播视频转换成无人机直播视频流；

发送模块，用于将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

可选的，所述服务器还包括：

第二接收模块，用于在将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备之前，接收每个请求获取所述无人机直播流的所述VR设备发送的用于表示所述VR设备对应的观看者观看权限的权限验证信息；

获得模块，用于获得表示能够获取所述无人机直播视频流权限的权限允许信息；

判断模块，用于判断所述权限验证信息是否与所述权限允许信息匹配；

确定模块，用于确定向与所述权限允许信息匹配的所述权限验证信息对应的所述VR设备发送所述无人机直播视频流。

可选的，所述第一接收模块用于接收与所述无人机无线连接的地面站发送的所述二维直播视频。

第五方面，本发明提供了一种无人机，包括：

采集模块，用于通过无人机搭载的图像采集单元采集二维直播视频；

发送模块，用于将所述二维直播视频发送至服务器，以使所述服务器将所述二维直播视频转换成无人机直播视频流，并将所述无人机直播视频流发送给接入所述服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

第六方面，本发明提供了一种VR设备，包括：

接收模块，用于接收服务器发送的无人机直播视频流，所述无人机直播视频流为所述服务器接收无人机采集并发送的二维直播视频而转换得到的；

转换模块，用于将所述直播视频流转换成与所述二维直播视频对应的三维直播视频；

显示模块，用于在所述VR设备的显示单元上显示所述三维直播视频。

可选的，所述VR设备还包括：

请求模块，用于在接收服务器发送的无人机直播视频流之前，向所述服务器发送请求获取所述无人机直播流的请求信息；

权限验证模块，用于向所述服务器发送表示所述VR设备对应的观看者的观看权限的权限验证信息，以使所述服务器判断所述权限验证信息与所述权限允许信息匹配，并确定向所述VR设备发送所述无人机直播视频流。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明实施例的技术方案中，服务器接收无人机采集并发送的二维直播视频，然后将二维直播视频转换成无人机直播视频流，并将无人机直播视频流发送给接入服务器的虚拟现实VR设备。然后，VR设备将无人机直播视频流转换成与二维直播视频对应的三维直播视频，并在VR设备的显示单元上显示三维直播视频。由此可见，通过VR设备显示与将无人机采集的二维直播视频对应的三维直播视频，利用VR三维显示使用户产生以无人机的角度观看事物的体验，从而实现了为用户提供接近真实的体验的技术效果。

附图说明

图1为本发明实施例中的直播系统架构示意图；

图2为本发明实施例中一直播的方法流程图；

图3为本发明实施中另一直播的方法流程图；

图4为本发明实施例中又一直播的方法流程图；

图5为本发明实施例中服务器的结构示意图；

图6为本发明实施例中无人机的结构示意图；

图7为本发明实施中VR设备的结构示意图。

具体实施方式

本发明实施例提供了一种直播的方法、无人机和VR设备，用于向观看者直播与无人机采集二维直播视频对应的三维直播视频的技术效果。

为了解决上述技术问题，本发明提供的技术方案总体思路如下：

在本发明实施例的技术方案中，服务器接收无人机采集并发送的二维直播视频，然后将二维直播视频转换成无人机直播视频流，并将无人机直播视频流发送给接入服务器的虚拟现实VR设备。然后，VR设备将无人机直播视频流转换成与二维直播视频对应的三维直播视频，并在VR设备的显示单元上显示三维直播视频。由此可见，通过VR设备显示与将无人机采集的二维直播视频对应的三维直播视频，利用VR三维显示使用户产生以无人机的角度观看事物的体验，从而实现了为用户提供接近真实的体验的技术效果。

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为方便接收本发明实施例中的直播方法，首先对本发明涉及的直播的系统进行介绍。请参考图1，为本发明实施例中直播系统架构示意图。该系统包括：无人机和服务器。

具体来讲，本发明实施例中的无人机和服务器通过网络无线连接，进而无人机接入服务器。在具体实现过程中，接入服务器的无人机可以有零个、一个或多个，本发明不做具体限制。为了方便说明，下面以其中任意一个无人机为例来介绍如何向观看者直播无人机采集的图像视频的方法。

无人机上搭载有一个或多个图像采集单元，进而采集二维直播视频。在具体实现过程中，图像采集单元可以为深度图像采集单元、双目图像采集单元或二维图像采集单元等，本发明不做具体限制。本发明实施例中的二维直播视频，指的是无人机飞行过程中和/或未飞行过程中由无人机搭载的图像采集单元采集的连续图像数据。本发明实施例中的无人机由无人机驾驶者控制飞行，并且由无人机驾驶者启动和关闭图像采集单元。无人机在图像采集单元采集二维直播视频的同时，实时通过网络将二维直播视频发送给服务器。本发明实施例中的二维直播视频指的是以平面形式呈现的视频，而不应理解为采集平面的获得的视频。

本发明实施例中的服务器用于向接入服务器的UE(用户设备，User Equipment)提供直播视频流。在具体实现过程中，服务器可以仅向UE提供无人机类型的直播视频流，也可以同时向UE提供其他类型的直播视频流，例如烹饪类、旅游类或明星类等，本发明不做具体限制。

具体来讲，如图1所示，在本发明实施例中，有零个、一个或多个UE接入服务器(图1中仅示出3个)。UE在接入服务器时，会向服务器发送表示希望观看哪个无人机采集的直播视频的请求信息，然后，服务器会向UE发送该无人机采集的直播视频而转换得到的直播视频流。UE接收直播视频流后，解析直播视频流得到二维直播视频，并在UE的显示单元中播放。

服务器在向UE发送无人机直播视频流的同时，无人机则继续采集并向服务器发送后续的二维直播视频。UE在播放当前直播视频的同时，接收服务器发送的后续的无人机直播视频流，并解析出后续的直播视频。

本发明第一方面提供了一种直播的方法，应用于服务器，请参考图2，该方法包括：

S101：接收无人机采集并发送的二维直播视频；

S102：将所述二维直播视频转换成无人机直播视频流；

S103：将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备。

具体来讲，S101中，服务器接收无人机采集并发送的二维直播视频。在本发明实施例中，无人机通过搭载的图像采集单元采集飞行过程中和/或未飞行过程中的二维直播图像，然后，将二维直播图像发送到服务器。然后，在S102中，将二维直播视频编码成对应的无人机直播视频流。在本发明实施例中，UE还包括VR(虚拟现实，Virtual Reality)设备。S103中，服务器将直播视频流发送给请求获得该无人机直播视频流的VR设备。

接下来，VR在接收到服务器发送的无人机直播视频流后，首先对无人机直播视频流进行解析，解析出二维直播视频。然后，VR设备针对二维直播视频中的每帧二维图像转换成三维图像。具体来讲，如果无人机搭载的图像采集单元具体为深度图像采集单元或双目图像采集单元等能够获得每帧二维直播图像的像素点的深度信息的图像采集单元，则VR设备将像素点的深度作为该像素点在三维坐标中平行于观看方向的坐标轴上的坐标。进而，再与该像素点在二维图像中的二维坐标，获得该像素点的三维坐标。以类似的方法，获得每个像素点的三维坐标，由此将二维图像转换成三维图像。

或者，如果无人机搭载的图像采集单元为不能获得深度的图像采集单元，则VR设备基于二维到三维的坐标转换算法，将每个像素点的二维坐标转换成三维坐标。进而，再与该像素点在二维图像中的二维坐标，获得该像素点的三维坐标。以类似的方法，获得每个像素点的三维坐标，由此将二维图像转换成三维图像。

将二维直播视频的每帧二维图像均转换成三维图像后，按照每帧二维图像在直播视频中的顺序，在VR设备的显示单位上依次显示每帧三维图像，进而在VR设备上显示二维直播视频对应的三维直播视频。

进一步，作为一种可选的实施例，在S103之前，还可以包括：

接收每个请求获取所述无人机直播流的所述VR设备发送的用于表示所述VR设备对应的观看者观看权限的权限验证信息；

获得表示能够获取所述无人机直播视频流权限的权限允许信息；

判断所述权限验证信息是否与所述权限允许信息匹配；

确定向与所述权限允许信息匹配的所述权限验证信息对应的所述VR设备发送所述无人机直播视频流。

具体来讲，由于一些无人机采集的直播视频并不能向所有观看者直播，而只能直播给具有观看权限的观看者，例如无人机采集的军事演习的视频。所以，在本发明实施例中，在向VR设备发送无人机直播视频流之前，还需要获得每个请求获取该无人机直播视频流的VR设备所发送的VR设备对应的观看者权限验证信息。

本发明实施例中的权限验证信息为表示VR设备对应的观看者观看权限的信息，在具体实现过程中，可以为VR设备对应的观看者的权限等级信息、身份信息或被举报信息等，本发明不做具体限制。另外，服务器还需要获得该无人机直播视频流的权限允许信息。权限允许信息为表示能够获取无人机直播视频流权限的信息，例如最低权限等级、具有获取无人机直播视频流的观看者的身份信息等，本发明不做具体限制。

在具体实现过程中，服务器可以先获得每个请求获取无人机直播视频流的VR设备发送的权限验证信息，再获得权限允许信息，或者先获得权限允许信息，再获得权限验证信息，或者同时获取权限验证信息和权限允许信息，本发明不做具体限制。

然后，判断每个VR设备的权限验证信息是否与权限允许信息匹配，即判断VR设备是否具有获取无人机直播视频流的权限。在具体实现过程中，有多种方法判断VR设备的权限验证信息是否与权限允许信息匹配。下面将列举其中两种，具体实现过程中包括但不限于以下两种。

第一种：

在第一种实现方式中，权限验证信息具体为VR设备对应的观看者权限等级，权限允许信息则具体为能够获取无人机直播视频流的最低权限等级。所以，判断VR设备的权限验证信息是否与权限允许信息匹配，具体为判断权限验证信息中的观看者权限等级是否等于或高于权限允许信息中的最低权限等级。

举例来说，权限允许信息中的最低等级为5级，则只有权限等级为5级和5级以上的观看者才能观看无人机采集的图像视频。所以，服务器将无人机的直播视频流仅发送给请求获取无人机直播视频流的VR设备中权限等级在5级和5级以上的UE。

第二种：

在第二种实现方式中，权限验证信息具体为UE对应的观看者的身份信息，权限允许信息则具体为能够获取无人机直播视频流的预设身份信息。所以，判断UE的权限验证信息是否与权限允许信息匹配，具体为判断权限验证信息中的观看者身份信息是否与权限允许信息中的预设身份信息一致。

当观看者身份信息与预设身份信息一致时，表明该观看者具有观看无人机采集的图像时视频的权限，所以将无人机的直播视频流发送给观看者身份信息与预设身份一致的UE。反之，当观看者身份信息与预设身份信息不一致时，表明该观看者不具有观看无人机采集的图像时视频的权限，所以服务器拒绝向该UE发送无人机的直播视频流。

在具体实现过程中，本发明所属领域的普通技术人员可以根据实际选择上述两种实现方法中的任意一种，或者选择其他实现方法判断权限验证是否与权限允许信息匹配，本发明不做具体限制。

由上述描述可以看出，通过判断VR设备发送的权限验证信息是否与权限允许信息匹配，进而验证VR设备对应的观看者是否能够观看无人机采集二维直播视频对应的三维直播视频，然后仅将无人机直播视频流发送给具有能够获取无人机直播视频流的权限的VR设备，故而保证了无人机采集的图像视频隐秘性。

作为另一种实施例，本发明实施例中的S101具体通过如下过程实现：

接收与所述无人机无线连接的地面站发送的所述二维直播视频。

在本发明实施例中，如果无人机支持直接将向服务器发送二维直播视频，则无人机采集的直播视频可以直接发送给服务器。而如果无人机不支持直接向服务器发送二维直播视频，则本发明实施例中的直播系统还进一步包括地面站。

具体来讲，本发明实施例中地面站为与无人机交互的设备。用户根据需要选择地面站的放置位置，并且在需要移动时，可以携带工作状态或非工作状态下的地面站同时移动。无人机与地面站通过传输距离较长的微波连接，例如900M的微波，或者1000M的微波等，以便于无人机远程飞行时能够与无人机交互。地面站中包括与无人机交互数据的数传模块和接收无人机采集的图像视频信息的图传模块。

另外，地面站同时还通过互联网或物联网与服务器连接。地面站通过图传模块接收到无人机发送的二维直播视频后，将无人机二维直播视频转发到服务器，从而实现无人机向服务器发送二维直播视频。

基于与前述实施例中直播的方法同样的发明构思，本发明第二方面还提供一种直播的方法，应用于无人机，如图3所示，包括：

S201：通过无人机搭载的图像采集单元采集二维直播视频；

S202：将所述二维直播视频发送至服务器。

前述图1-图2实施例中的服务器的直播的方法的各种变化方式和具体实例同样适用于本实施例的无人机的直播的方法，通过前述服务器的直播的方法对方法的详细描述，本领域技术人员可以清楚的知道本实施例中无人机的直播的方法的实施方法，所以为了说明书的简洁，在此不再详述。

基于与前述实施例中直播的方法同样的发明构思，本发明第三方面还提供一种直播的方法，应用于VR设备，如图4所示，包括：

S301：接收服务器发送的无人机直播视频流；

S302：将所述直播视频流转换成与所述二维直播视频对应的三维直播视频；

S303：在所述VR设备的显示单元上显示所述三维直播视频。

进一步，S301之前还包括：

向所述服务器发送请求获取所述无人机直播流的请求信息；

向所述服务器发送表示所述VR设备对应的观看者的观看权限的权限验证信息，以使所述服务器判断所述权限验证信息与所述权限允许信息匹配，并确定向所述VR设备发送所述无人机直播视频流。

前述图1-图2实施例中的服务器的直播的方法的各种变化方式和具体实例同样适用于本实施例的VR设备的直播的方法，通过前述服务器的直播的方法对方法的详细描述，本领域技术人员可以清楚的知道本实施例中VR设备的直播的方法的实施方法，所以为了说明书的简洁，在此不再详述。

基于与第一方面中直播的方法同样的发明构思，本发明第四方面还提供一种服务器，如图5所示，包括：

第一接收模块101，用于接收无人机采集并发送的二维直播视频；

转换模块102，用于将所述二维直播视频转换成无人机直播视频流；

发送模块103，用于将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

可选的，所述服务器还包括：

第二接收模块，用于在将所述无人机直播视频流发送给接入服务器的虚拟现实VR设备之前，接收每个请求获取所述无人机直播流的所述VR设备发送的用于表示所述VR设备对应的观看者观看权限的权限验证信息；

获得模块，用于获得表示能够获取所述无人机直播视频流权限的权限允许信息；

判断模块，用于判断所述权限验证信息是否与所述权限允许信息匹配；

确定模块，用于确定向与所述权限允许信息匹配的所述权限验证信息对应的所述VR设备发送所述无人机直播视频流。

其中，第一接收模块101用于接收与所述无人机无线连接的地面站发送的所述二维直播视频。

前述图1-图2实施例中的直播的方法的各种变化方式和具体实例同样适用于本实施例的服务器，通过前述直播的方法对方法的详细描述，本领域技术人员可以清楚的知道本实施例中服务器的实施方法，所以为了说明书的简洁，在此不再详述。

基于与第二方面中直播的方法同样的发明构思，本发明第五方面还提供一种无人机，如图6所示，包括：

采集模块201，用于通过无人机搭载的图像采集单元采集二维直播视频；

发送模块202，用于将所述二维直播视频发送至服务器，以使所述服务器将所述二维直播视频转换成无人机直播视频流，并将所述无人机直播视频流发送给接入所述服务器的虚拟现实VR设备，以使所述VR设备将所述无人机直播视频流转换成与所述二维直播视频对应的三维直播视频，并在所述VR设备的显示单元上显示所述三维直播视频。

前述图3实施例中的直播的方法的各种变化方式和具体实例同样适用于本实施例的无人机，通过前述直播的方法对方法的详细描述，本领域技术人员可以清楚的知道本实施例中无人机的实施方法，所以为了说明书的简洁，在此不再详述。

基于与第三方面中直播的方法同样的发明构思，本发明第六方面还提供一种VR设备，如图7所示，包括：

接收模块301，用于接收服务器发送的无人机直播视频流，所述无人机直播视频流为所述服务器接收无人机采集并发送的二维直播视频而转换得到的；

转换模块302，用于将所述直播视频流转换成与所述二维直播视频对应的三维直播视频；

显示模块303，用于在所述VR设备的显示单元上显示所述三维直播视频。

进一步，所述VR设备还包括：

请求模块，用于在接收服务器发送的无人机直播视频流之前，向所述服务器发送请求获取所述无人机直播流的请求信息；

权限验证模块，用于向所述服务器发送表示所述VR设备对应的观看者的观看权限的权限验证信息，以使所述服务器判断所述权限验证信息与所述权限允许信息匹配，并确定向所述VR设备发送所述无人机直播视频流。

前述图4实施例中的直播的方法的各种变化方式和具体实例同样适用于本实施例的VR设备，通过前述直播的方法对方法的详细描述，本领域技术人员可以清楚的知道本实施例中VR设备的实施方法，所以为了说明书的简洁，在此不再详述。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

在本发明实施例的技术方案中，服务器接收无人机采集并发送的二维直播视频，然后将二维直播视频转换成无人机直播视频流，并将无人机直播视频流发送给接入服务器的虚拟现实VR设备。然后，VR设备将无人机直播视频流转换成与二维直播视频对应的三维直播视频，并在VR设备的显示单元上显示三维直播视频。由此可见，通过VR设备显示与将无人机采集的二维直播视频对应的三维直播视频，利用VR三维显示使用户产生以无人机的角度观看事物的体验，从而实现了为用户提供接近真实的体验的技术效果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。