VR设备播放视频的方法和VR设备与流程

本发明属于虚拟现实技术领域，具体地说，是涉及一种VR设备播放视频的方法和VR设备。

背景技术：

虚拟现实（Virtual Reality，VR）技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。

人们之所以热衷于VR技术在于其沉浸感，而3D视频更能增加用户的真实感，全景视频能够增加用户的可视范围来提高用户视觉体验，因此在VR技术中播放各种类型的视频也越来越引起人们的关注。

现有的VR设备对于普通的二维视频、3D视频和全景视频的播放方式比较繁琐，针对不同视频类型，需要用户自身确认视频文件的类型后，挑选能够播放相应视频文件的播放器来播放，当三种类型的视频的编码格式相同时，用户区分视频类型的难度更高。

若采用主流播放器统一播放二维视频、3D视频和全景视频，传统的3D视频文件在主流播放器中播放会出现重影或者重复图像的问题，即一副图像会显示左右两份，因此要观看此类视频需要专用的设备，例如3D眼镜等，这会增加头盔成本，而且增加头盔结构构造和体积，这样会影响用户观看体验；传统的全景视频在主流播放器中播放呈现的图像是真实图像的一部分，而且还是平面的，失去了全景视频的意义。

技术实现要素：

本申请提供了一种VR设备播放视频的方法和VR设备，在VR设备中能够实现二维视频、3D视频和全景视频的统一播放和无缝切换，无需用户区分视频类型以及挑选播放器，提高用户的使用体验。

为解决上述技术问题，本申请采用以下技术方案予以实现：

提出一种VR设备播放视频的方法，包括：从视频流中按序获取视频图像帧；基于获取的视频图像帧判断所述视频流的视频类型；基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上；显示所述映射图层以实现VR设备的视频播放。

进一步的，所述基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到所述映射图层上，具体为：若基于获取的视频图像帧判断所述视频流为二维视频，则建立第一平面映射图层，并按序将每帧视频图像帧渲染到所述第一平面映射图层上；若基于获取的视频图像帧判断所述视频流为三维视频，则建立左眼平面映射图层和右眼平面映射图层，并按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；则显示所述映射图层以实现VR设备的视频播放，具体为：显示所述左眼平面映射图层和所述右眼平面映射图层，并调节VR设备的左镜头获取所述左眼平面映射图层的视图和调节VR设备的右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；若基于获取的视频图像帧判断所述视频流为全景视频，则建立球形映射图层，并按序将每帧图像视频帧渲染到所述球形映射图层上。

进一步的，所述从视频流中按序获取视频图像帧，具体为：从播放器的播放接口按序获取视频图像帧。

进一步的，所述从播放器的播放接口按序获取视频图像帧，具体包括：获取所述播放器的播放速率，以与所述播放速率呈正比例关系的获取速率，从所述播放接口按序获取视频图像帧；和/或，判断所述播放器的播放是否暂停或停止；若是，控制暂停或停止从所述播放接口获取视频图像帧。

进一步的，在显示所述映射图层以实现VR设备的视频播放之后，所述方法还包括：判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，在接收到切换信号后，切换VR设备的播放模式与所述视频类型相匹配。

提出一种VR设备，包括显示屏；还包括视频图像获取模块、视频类型判断模块、图层建立模块、渲染模块和显示模块；所述视频图像获取模块，用于从视频流中按序获取视频图像帧；所述视频类型判断模块，用于基于获取的视频图像帧判断所述视频流的视频类型；所述图层建立模块，用于基于视频类型建立映射图层；所述渲染模块，用于按序将每帧视频图像帧渲染到所述映射图层上；所述显示模块，用于在所述显示屏上显示所述映射图层以实现所述VR设备的视频播放。

进一步的，所述VR设备还包括镜头调节模块、左镜头和右镜头；所述图层建立模块包括平面映射图层建立单元和球形映射图层建立单元；若所述视频类型判断模块判断所述视频流为二维视频，则所述平面映射图层建立单元用于建立第一平面映射图层；所述渲染模块按序将每帧视频图像帧渲染到所述第一平面映射图层上；若所述视频类型判断模块判断所述视频流为三维视频，则所述平面映射图层建立单元用于建立左眼平面映射图层和右眼平面映射图层；所述渲染模块按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将所述左视图部分渲染到所述左眼平面映射图层上，将所述右视图部分渲染到所述右眼平面映射图层上；所述显示模块用于显示所述左眼平面映射图层和所述右眼平面映射图层；所述镜头调节模块，用于调节所述左镜头获取所述左眼平面映射图层的视图和调节所述右镜头获取所述右眼平面映射图层的视图，以实现VR设备的视频播放；若所述视频类型判断模块判断所述视频流为全景视频，则所述球形映射图层建立单元用于建立球形映射图层；所述渲染模块按序将每帧图像视频帧渲染到所述球形映射图层上。

进一步的，所述VR设备还包括播放视频的播放器；所述视频图像获取模块，用于从所述播放器的播放接口按序获取视频图像帧。

进一步的，所述VR设备还包括视频图像获取速率设定模块，和/或播放器播放状态判断模块； 所述视频图像获取速率设定模块，用于获取所述播放器的播放速率，以与所述播放速率呈正比例的关系设定获取速率，使得所述视频图像获取模块以所述获取速率从所述播放器的播放接口按序获取视频图像帧；所述播放器播放状态判断模块，用于判断所述播放器的播放是否暂停或停止；若是，则所述视频图像获取模块暂停或停止从所述播放器的播放器接口获取视频图像帧。

进一步的，所述VR设备还包括视频播放模式判断模块、视频播放模式切换按键和视频播放模式切换模块；所述视频播放模式判断模块，用于判断所述VR设备的播放模式是否与所述视频类型相匹配；若否，所述视频播放模式切换按键，用于被触发后产生切换信号，使得所述视频播放模式切换模块在接收到所述切换信号后，切换VR设备的播放模式与所述视频类型相匹配。

与现有技术相比，本申请的优点和积极效果是：本申请提出的VR设备播放视频的方法和VR设备中，在播放器播放视频时，从播放器的播放接口按序获取视频图像帧后，从获取的视频图像帧中包含的信息中解析出对应视频流的视频类型是二维视频、三维视频、还是全景视频；继而根据不同的视频类型建立不同的映射图层，将按序获取的每帧视频图像帧渲染到对应的映射图层上，最后将渲染的映射图层显示在显示屏上呈现给用户，使得用户在使用VR设备播放视频时，不需区分视频类型、不需手动选择播放器，VR设备能够自动实现二维视频、3D视频和全景视频的统一播放和无缝切换，提高了用户的体验，不同类型的视频不需要进行另外的转码等处理，有利于提高播放的流畅性和清晰度。实际应用中，即使VR设备当前的视频播放模式选择与实际播放的视频类型并不对应，用户也只需手动调节视频播放模式切换按键，将播放模式切换到与视频类型相对应即可，相比于用户自身辨别视频类型、手动选择相应播放器进行播放，操作难度降低。

本申请中，由于是从播放器的播放接口获取视频图像帧，与VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，能够实现跟随播放器的播放顺序、播放速度或播放状态更改VR设备的播放，例如，播放器顺序播放或者后退时，VR设备从播放器的播放接口获取的即为顺序播放或者后退播放的视频流，视频图像获取模块按序获取的即为顺序播放的视频图像或后退播放的视频图像，则VR设备实现的即为视频的顺序播放或后退播放；同理，播放器快进或慢进时，VR设备实现的即为视频的快进或慢进播放；同理，播放器暂停或停止播放，VR设备实现的也是暂停或停止播放；由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，

结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。

附图说明

图1 为本申请提出的VR设备播放视频的方法流程图；

图2为本申请提出的VR设备的功能架构图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步详细地说明。

本申请提出的VR设备播放视频的方法，如图1所示，包括如下步骤：

步骤S11：从视频流中按序获取视频图像帧。

本申请中，播放器播放的视频流按照类型包括但不受限于二维视频、三维视频和全景视频。

其中，3D视频图像包括左视图部分和右视图部分，左视图部分和右视图部分通常各占据一帧图像的左半部和右半部，分别为针对同一目标使用不同角度的两部摄像设备拍摄得到。全景视频是把摄像机环360度拍摄的图像拼接成的一个全景视频，普通播放二维视频的播放器播放全景视频时，只能显示全景视频的一部分，而且还是二维的。

这里的播放接口是指将经播放器解码、播放速度转换、播放顺序转换、播放状态转换后的视频流数据输出至播放的数据接口。

步骤S12：基于获取的视频图像帧判断视频流的视频类型。

从视频图像帧自身携带的信息或者特点解析出对应视频流的视频类型。

步骤S13：基于视频类型建立映射图层，并按序将每帧视频图像帧渲染到映射图层上。

这里的映射图层是指能够绘制文字或图像的画布，能够按序叠放后组合形成视图的最终效果。

这里的渲染泛指计算机图形学中把某种形式的图形变为二维的像素矩阵，例如绘制、呈现等，是一种从模型生成图像的过程、把数据以特定方式显示给用户的过程。

步骤S14：显示映射图层以实现VR设备的视频播放。

本申请实施例中，根据视频类型的特点创建不同的映射图层。若根据视频图像帧判断视频流为二维视频，则建立第一平面映射图层，将视频图像帧直接按序渲染到第一平面映射图层上。由于VR设备是具有左右眼模式的，左眼对应一个左镜头，右眼对应一个右镜头，则二维视频情况下，控制VR设备的左右镜头都获取第一平面映射图层的视图即可，由此在VR设备实现普通二维视频的播放。

若根据视频图像帧判断视频流为三维视频，由于三维视频图像具有左视图部分和右视图部分，则需要针对每帧视频图像帧，首先确定左视图部分和右视图部分的分界点，针对左视图部分建立左眼平面映射图层，针对右视图部分建立右眼平面映射图层，然后将左视图部分渲染到左眼平面映射图层上，将右视图部分渲染到右眼平面映射图层上，在VR设备的显示屏上的相同位置上同时显示左眼平面映射图层和右眼平面映射图层的视图，并调节VR设备的左镜头获取左眼平面映射图层的视图和调节VR设备的右镜头获取右眼平面映射图层的视图，以此实现VR设备的对3D视频播放，呈现给用户的是真实的3D视频。

本申请中，对于一帧3D视频图像，只需确定左视图部分和右视图部分的分界点即可，无需对3D视频图像进行分割。实际应用中，可以采用诸如Unity shader 技术，在播放器播放3D视频时，利用VR设备自身GPU，基于Unity shader技术实现视频的每一帧进行左视图部分和右视图部分的区分，找到分界点即可；shader技术中，顶点着色程序进行几何方面的运算，片段着色程度针对最终的颜色值进行计算，两者结合，实现一帧3D图像的左视图部分和右视图部分的分界点确定。本申请中通过使用现有VR设备的GPU自身的接口和现有的渲染技术实现3D视频图像的区分和渲染，不需要关心每帧3D视频图像左右两部分视图的具体区分和渲染过程，能够保证各个开发平台的兼容性，降低编码难度。

当然，在确定左视图部分和右视图部分的分界点后，可以一边渲染一边显示，也即，将左视图部分渲染到左眼平面映射图层同时显示左眼平面映射图层，将右视图部分渲染到右眼平面映射图层同时显示右眼平面映射图层，能够提高视频的流畅性，避免卡顿。

若根据视频图像帧判断视频流为全景视频，则建立一个球形映射图层，将视频图像帧直接按序渲染到球形映射图层上。由于VR设备是具有左右眼模式的，左眼对应一个左镜头，右眼对应一个右镜头，则全景视频情况下，控制VR设备的左右镜头都获取球形映射图层的视图即可，由此将视频以球形模式展现给用户，在VR设备实现普通全景视频的播放。

上述可见，在播放器播放视频时，从播放器的播放接口按序获取视频图像帧后，从获取的视频图像帧中包含的信息中解析出对应视频流的视频类型是二维视频、三维视频、还是全景视频；继而根据不同的视频类型建立不同的映射图层，将按序获取的每帧视频图像帧渲染到对应的映射图层上，最后将渲染的映射图层显示在显示屏上呈现给用户，使得用户在使用VR设备播放视频时，不需区分视频类型、不需手动选择播放器，VR设备能够自动实现二维视频、3D视频和全景视频的统一播放和无缝切换，提高了用户的体验，不同类型的视频不需要进行另外的转码等处理，有利于提高播放的流畅性和清晰度。

实际应用中，即使VR设备当前的视频播放模式选择与实际播放的视频类型并不对应，用户也只需手动调节视频播放模式切换按键，将播放模式切换到与视频类型相对应即可，相比于用户自身辨别视频类型、手动选择相应播放器进行播放，操作难度降低。具体的，在显示映射图层实现VR设备的视频播放后，判断当前VR设备当前设置的播放模式是否与播放的视频流的视频类型相匹配，若不匹配，则在接收到切换信号后，切换VR设备的播放模式与视频类型相匹配。例如，若当前设置的播放模式为3D视频播放，而实际播放的视频类型为全景视频，则用户在察觉到视频现实不正常后，操控VR设备上设置的视频播放模式切换按键进行播放模式的切换，用户也无需获知具体切换到哪一个播放模式，只需看到正常显示画面即可停止切换。

本申请实施例中，从播放器的播放接口按序获取视频图像帧时，还可以进行以下操作：获取播放器的播放速率，并以与播放速率呈正比例关系的获取速率从播放接口按序获取视频图像帧；实现的是在VR设备中的显示与播放器中的显示同步的技术效果。例如，播放器快进播放或慢进播放时，VR设备也调整从播放器的播放接口获取视频图像帧的速率，使得VR设备实现的也为视频的快进播放或慢进播放。

或者，从播放器的播放接口按序获取视频图像帧时，还可以判断播放器的播放是否暂停或停止；若是，则控制暂停或停止从播放接口获取视频图像帧。由此，VR设备也能实现视频播放的暂停或者停止。

因为是从播放器的播放接口按序获取的视频图像帧，则对于VR设备而言，当播放器顺序播放视频时，VR设备实现的也是顺序播放，而若播放器是按照倒退播放视频，则VR设备按序获取的也是倒退的视频图像帧，其实现的也就是倒序播放。

上述可见，由于是从播放器的播放接口获取视频图像帧，于VR设备而言，无需关心视频的播放顺序、播放速度或播放状态，用户只需调节播放器的播放顺序、播放速度或者播放状态，VR设备也能够实现跟随播放器的播放顺序、播放速度或播放状态更改播放，由此简化了VR设备对视频流的判断和转换等步骤，降低了处理难度，更提高了用户体验，

基于上述提出的VR设备播放视频的方法，本申请还提出一种VR设备，该VR设备基于上述VR设备播放视频的方法实现对视频的播放。如图2所示，该VR设备包括显示屏21、视频图像获取模块22、视频类型判断模块23、图层建立模块24、渲染模块25和显示模块26。

视频图像获取模块22用于从视频流中按序获取视频图像帧；视频类型判断模块23用于基于获取的视频图像帧判断视频流的视频类型；图层建立模块24用于基于视频类型建立映射图层；渲染模块25用于按序将每帧视频图像帧渲染到映射图层上；显示模块26用于在显示屏21上显示映射图层以实现VR设备的视频播放。

该VR设备还包括镜头调节模块27、左镜头28和右镜头29；图层建立模块24包括平面映射图层建立单元241和球形映射图层建立单元242。

若视频类型判断模块23判断视频流为二维视频，则平面映射图层建立单元241用于建立第一平面映射图层；渲染模块25则按序将每帧视频图像帧渲染到第一平面映射图层上；显示模块26在显示屏21上显示该第一平面映射图层的视图，实现了二维视频的播放。

若视频类型判断模块23判断视频流为三维视频，则平面映射图层建立单元241用于建立左眼平面映射图层和右眼平面映射图层；渲染模块25按序针对每帧视频图像帧区分出其左视图部分和右视图部分，将左视图部分渲染到左眼平面映射图层上，将右视图部分渲染到右眼平面映射图层上；显示模块26则在同一位置显示左眼平面映射图层和右眼平面映射图层；镜头调节模块27调节左镜头28获取左眼平面映射图层的视图和调节右镜头29获取右眼平面映射图层的视图，由此，呈现给用户的是三维视频的播放。

若视频类型判断模块23判断视频流为全景视频，则球形映射图层建立单元242用于建立球形映射图层；渲染模块25按序将每帧图像视频帧渲染到球形映射图层上；显示模块26在显示屏21上显示该球形映射图层的视图，实现全景视频的播放。

该VR设备还包括播放视频的播放器30；视频图像获取模块22从播放器30的播放接口按序获取视频图像帧。

该VR设备还包括视频图像获取速率设定模块31，和/或播放器播放状态判断模块32。视频图像获取速率设定模块21用于获取播放器30的播放速率，以与播放速率呈正比例的关系设定获取速率，使得视频图像获取模块22以获取速率从播放器30的播放接口按序获取视频图像帧；播放器播放状态判断模块32用于判断播放器30的播放是否暂停或停止；若是，则视频图像获取模块22暂停或停止从播放器30的播放器接口获取视频图像帧。

该VR设备还包括视频播放模式判断模块33、视频播放模式切换按键34和视频播放模式切换模块35。视频播放模式判断模块33用于判断VR设备的播放模式是否与视频类型相匹配；若否，视频播放模式切换按键34用于被触发后产生切换信号，使得视频播放模式切换模块35在接收到切换信号后，切换VR设备的播放模式与视频类型相匹配。

具体的该VR设备的工作流程以及实现的技术效果已经在上述VR设备播放视频的方法中详述，此处不予赘述。

上述本申请提出的VR设备播放视频的方法和VR设备中，无需用户自己判断视频类型，无需用户选择匹配的播放器，用户只需采用传统播放器在VR设备中播放任何类型的视频，VR设备能够自动判断视频类型，并根据不同视频类型创建不用的映射图层用于渲染视频图像帧，并根据视频类型的不同采用不同的显示方式和镜头获取方式，在VR设备中统一实现了二维、三维、全景等类型的视频播放和无缝切换。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。