基于GPU云服务器与5G/WIFI6网络传输技术的移动VR开发方法、系统及介质与流程

本发明涉及移动vr应用开发领域，尤其是一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法、系统及计算机可读存储介质。

背景技术：

伴随着经济社会发展，人们广泛追求享受更高性能的移动通信服务，基于这样的需求，第五代移动通信技术(5thgenerationmobilenetworks或5thgenerationwirelesssystems、5th-generation，5g)应运而生。5g是最新一代蜂窝移动通信技术，5g网络的主要优势在于，数据传输速率远远高于以前的蜂窝网络，最高可达10gbit/s；另一个优点是较低的网络延迟，其网络延迟低于1毫秒。5g网络具有高速率、低时延、大容量等特点。

wifi6(原称：802.11.ax)即第六代无线网络技术，是wi-fi联盟创建于ieee802.11标准的无线局域网技术。其主要特点是速度更快、延时更低。

虚拟现实vr(virtualreality，简称vr)技术在20世纪60年代被首次提出，是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。一种头戴式显示器，具有高刷新率、高分辨率的特定点。

网页即时通信(webreal-timecommunication，简称webrtc)的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的api。它于2011年6月1日开源并在google、mozilla、opera支持下被纳入万维网联盟的w3c推荐标准。

现有技术中是将vr客户端设置在移动终端，上述方案具有以下缺陷：

1.常规移动vr需要在手机上安装app，且app体量巨大动辄几百m上g；

2.常规移动vr在运行时，会占用大量cpu、gpu资源，经常会导致手机发热、过烫；

3.手机可视化应用对应用程序要求较高，有诸多限制，如贴图大小、模型三角面、异步加载等；

4.手机受限于硬件资源，无法达到服务器级别的处理能力，不但无法进行城市级的项目开发，也无法满足可视化场景实时渲染的要求；

5.手机的硬件资源无法采用目前最高端的图形技术，如：光线追踪等。

技术实现要素：

本发明针对现有技术存在的不足，本发明为解决在开发移动vr应用时，手机端各方面的限制，采用新的模式，新的技术来实现移动vr应用。本发明提供了一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法、系统及计算机可读存储介质，具体方案如下：

一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法，其特征在于，所述方法包括如下步骤：

步骤1，准备硬件环境和网络环境，其中所述硬件环境包括移动vr设备和支持5g或wifi6网络传输技术的移动终端，所述网络环境包括可以给移动终端提供5g或wifi6网络服务的接入设备、路由设备和网络设备；

步骤2，将所述移动vr应用发布到所述gpu云服务器，并调整所述gpu云服务器的配置参数以满足所述移动vr应用运行的需求，其中，所述移动vr应用为像素流应用；

步骤3，在所述gpu云服务器上分别部署像素流服务模块和反向控制服务模块；

步骤4，配置网络环境、域名、开放端口；

步骤5，通过webrtc代理服务器推送所述移动vr应用，并开放udp协议用于接收反向控制参数；

步骤6，使用所述移动终端和所述移动vr设备访问所述gpu云服务器上运行的移动vr应用。

所述方法进一步包括：所述步骤2中将所述移动vr应用发布到所述gpu云服务器包括：将所述移动vr应用的内容通过gpu云服务器的资源进行渲染计算后转化为像素流的形式。

所述方法进一步包括：所述步骤3中的所述像素流服务模块用于实现所述像素流应用，其实现方式是将以前只能运行在所述移动终端的计算放到所述gpu云服务器；所述反向控制服务模块用于接收所述移动终端和所述移动vr设备发送的控制参数。

所述方法进一步包括：所述移动终端和所述移动vr设备通过触控、陀螺仪、传感器等事件向所述gpu云服务器发送控制参数。

所述方法进一步包括：所述步骤4中的网络环境可以提供5g或wifi6网络传输技术的数据传输，具体采用的网络技术可以根据移动终端的当前网络连接情况而定。

所述方法进一步包括：所述步骤5中通过webrtc代理服务器推送所述移动vr应用包括：所述webrtc代理服务器将所述移动vr应用以流媒体的形式通过5g或wifi6转发给所述移动终端和所述移动vr设备。

所述方法进一步包括：所述步骤6中的所述移动终端无需安装apk程序，仅需要使用标准的网页浏览器通过url访问所述移动vr应用；所述移动终端和所述移动vr设备访问移动vr应用主要通过触控、陀螺仪、传感器等事件向反向控制服务模块发送控制参数。

所述方法进一步包括：所述gpu云服务器的反向控制服务模块能够接收所述移动终端发送的控制参数，经过计算反馈后将结果进行编码串流，然后发送到webrtc代理服务器。

本发明还公开了：一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发系统，其特征在于，所述系统包括：移动终端、移动vr设备和gpu云服务器；其中，

所述移动终端和所述移动vr设备通过url访问所述gpu云服务器，与所述gpu云服务器进行交互；

所述gpu云服务器包括像素流服务模块和反向控制服务模块，用于与所述移动终端和移动vr设备进行交互；

其中基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发系统用以实现所述的基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法。

本发明还公开了：一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法的步骤。

本发明的有益效果：

本发明公开的技术方案将传统的移动vr客户端迁移到服务端，通过像素流服务和反向控制服务将vr画面推送到手机中，手机不用安装任何app；由于人眼分辨vr画面低于60fps时会出现头晕的情况，所以采用5g低时延、高速率的特性，将画面帧率提高到最低60fps，且有gpu云服务支持，将游戏级的画面推送到低配置的手机中，且不会导致手机发热。实现了高帧率、低时延的移动vr应用，移动端通过反向控制与gpu云服务器进行交互，降低了移动vr程序在手机端的损耗，并且提高了移动vr的显示效果。

附图说明

图1是本发明实施例中传统移动vr应用开发方案和改进方案的示意图。

图2是本发明实施例中一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法的示意图。

图3是本发明实施例中一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发系统的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，在传统方案中，移动vr设备，例如头戴式vr的vr应用安装在客户端，所述客户端上按照有apk程序。当用户要控制所述头戴式vr进入游戏时，需要启动安装在移动端上的apk程序。

其中，所述apk是androidapplicationpackage的缩写，即android安装包；apk是类似symbiansis或sisx的文件格式；通过将apk文件直接传到android模拟器或android手机中执行即可安装。

所述移动端包括：手机、笔记本等；所述移动端支持安装和运行apk程序。

然而，常规移动vr需要在手机上安装app，并且在手机上安装的app体量巨大，动辄几百m上g，极大地占用了手机有限的存储空间，并影响了手机的运行和反应速度；常规移动vr在运行时，会占用大量cpu、gpu资源，经常会导致手机发热、过烫；手机可视化应用对应用程序要求较高，有诸多限制，如贴图大小、模型三角面、异步加载等；手机受限于硬件资源，无法达到服务器级别的处理能力，不但无法进行城市级的项目开发，也无法满足可视化场景实时渲染的要求；手机的硬件资源无法采用目前最高端的图形技术，例如：光线追踪等。

基于现有技术的上述缺陷，本发明为了解决在开发移动vr应用时，手机端各方面的限制，采用新的模式，新的技术来实现移动vr应用。

gpu云服务器是基于gpu的应用于视频编解码、深度学习、科学计算等多种场景的快速、稳定、弹性的计算服务，其提供与标准云服务器一致的管理方式。gpu云服务器出色的图形处理能力和高性能计算能力提供极致计算性能，可以有效解放计算压力，提升产品的计算处理效率与竞争力。

gpu云服务器为机器学习提供训练或者预测，gpu云服务器带有强大的计算能力，可作为深度学习训练的平台，可直接与外界连接通信。可以使用gpu云服务器作为简单深度学习训练系统，帮助完成基本的深度学习模型；gpu云服务器具有强大的计算能力，可以将gpu云服务器作为复杂深度学习训练的平台。结合gpu云服务器cvm提供的计算服务、对象存储cos提供的云存储服务、云数据库mysql提供的在线数据库服务、云监控提供的安全监控服务，图片、视频编解码，可以采用gpu云服务器进行渲染，利用gpu加速器指令，加快图形图像编码渲染速度。

第五代移动通信技术，具有高速率、高带宽、低时延，大容量、覆盖稳定等特点，而5g应用是指具有5g网络需求的特殊应用，例如对于网络质量有高速率、低延迟要求的移动vr应用。

vr技术是综合利用计算机图形系统和各种现实及控制设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。

头戴式vr，又称vr头显，是一种利用头戴式显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉的设备，具有高刷新率、高分辨率的特定点。

本发明涉及一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法，如图1和2所示，所述方法包括如下步骤：

步骤1，准备硬件环境和网络环境，其中所述硬件环境包括移动vr设备和支持5g技术的移动终端，所述网络环境包括可以给移动终端提供5g网络服务的接入设备、路由设备和网络设备。

其中，所述移动vr设备可以为头戴式vr，其可以在可交互的三维环境中给用户提供沉浸感觉；所述移动终端包括高刷新率5g手机等；由于普通网络环境无法满足低延时、高帧率的要求，因此，所述网络环境包括可以给移动终端提供5g网络服务的接入设备、路由设备和网络设备等，例如，5g路由、5g上网卡以及5g网络连接等。

步骤2，将所述移动vr应用发布到所述gpu云服务器，并调整所述gpu云服务器的配置参数以满足所述移动vr应用运行的需求，其中，所述移动vr应用为像素流应用。

其中，像素流，也称为内容流送(contentstreaming)，其全称也称为“云内容流送”，是指将vr、ar相关的各种应用的内容通过云端资源进行渲染计算然后转化为流(streaming)的形式，通过网络推送到各种终端上。

步骤3，在所述gpu云服务器上分别部署像素流服务模块和反向控制服务模块。

其中，所述像素流服务模块用于实现所述像素流应用，其实现方式是将以前只能运行在移动终端的计算放到云端服务器，例如在云端提供强大的图形实时渲染计算服务的3dcat，平台配备弹性gpu资源集群，支持自动负载均衡和伸缩扩容。它在云端服务器调用强有力的高端计算资源(cpu/gpu/内存等)进行计算。

所述反向控制服务模块用于接收所述移动终端和所述移动vr设备通过触控、陀螺仪、传感器等事件发送的控制参数。

步骤4，配置网络环境、域名、开放端口；

所述网络环境提供5g或wifi6网络传输技术的数据传输。

其中，所述wifi6(原称：802.11.ax)即第六代无线网络技术，是wi-fi联盟创建于ieee802.11标准的无线局域网技术。wifi6将允许与多达8个设备通信，最高速率可达9.6gbps；wifi6主要使用了ofdma、mu-mimo等技术，mu-mimo(多用户多入多出)技术，允许路由器同时与多个设备通信，而不是依次进行通信。mu-mimo允许路由器一次与四个设备通信，wifi6将允许与多达8个设备通信。wifi6还利用其他技术，如ofdma(正交频分多址)和发射波束成形，两者的作用分别提高效率和网络容量；其中wifi6的主要特点是速度更快、延时更低、容量更大、更安全、更省电；主要应用于承载4k/8k/vr等大宽带视频、承载网络游戏等低时延业务等。

所述网络环境可以提供5g或wifi6网络传输技术的数据传输，具体采用的网络技术可以根据移动终端的当前网络连接情况而定。

步骤5，通过webrtc代理服务器推送所述移动vr应用，并开放udp协议用于接收反向控制参数。

其中，所述webrtc提供了流媒体处理的核心技术，包括音视频的采集、编解码、网络传输、渲染、音视频加密传输等功能，并且还能支持跨平台，这些平台包括windows、linux、mac、android以及ios。

所述webrtc代理服务器将所述移动vr应用以流媒体的形式通过5g或wifi6转发给多个接收者，即所述移动终端和所述移动vr设备。同时，这个过程一般还需要信令和web服务器。信令和web服务器负责在接收者与webrtc代理服务器之间协商建立连接，并为查看者提供播放媒体流的html和javascript环境。

步骤6，使用所述移动终端和所述移动vr设备访问所述gpu云服务器上运行的所述移动vr应用。

其中，所述移动终端无需安装apk程序，仅需要使用标准的网页浏览器通过url访问所述移动vr应用，从而可以减少占用移动终端的空间以及cpu资源，避免移动终端过载以及过热，同时，可以利用gpu云服务器的处理能力，提高通过移动vr应用开发的效率。

所述移动终端和所述移动vr设备访问移动vr应用主要通过触控、陀螺仪、传感器等事件向反向控制服务模块发送控制参数。

所述触控事件是用户通过所述移动终端和所述移动vr设备的触控界面来进行触控输入来实现；所述陀螺仪事件是通过所述移动终端和所述移动vr设备的陀螺仪来采集移动终端和人体的运动的信息；所述传感器事件是通过所述移动终端和所述移动vr设备的传感器来采集移动终端和人体的信息。

所述移动终端用户使用标准的网页浏览器连接到所述移动vr应用中，可以通过触控、陀螺仪、传感器等事件向反向控制服务模块发送控制参数给所述gpu云服务器，经过处理后把计算好的画面推送回所述移动终端和所述移动vr设备。所述gpu云服务器的反向控制服务模块能够接收所述移动终端发送的控制参数，经过计算反馈后将结果进行编码串流，然后发送到webrtc代理服务器。

如图3所示，本发明还公开了：一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发系统，所述系统包括：移动终端、移动vr设备和gpu云服务器；其中，

所述移动终端和所述移动vr设备通过url访问所述gpu云服务器，与所述gpu云服务器进行交互；

所述gpu云服务器包括像素流服务模块和反向控制服务模块，用于与所述移动终端和移动vr设备进行交互；

其中基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发系统用以实现所述的基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法。

本发明还公开了：一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法的步骤。

本发明提供了一种基于gpu云服务器与5g/wifi6网络传输技术的移动vr应用开发方法、系统及计算机可读存储介质，本发明主要解决了在开发移动vr应用时，手机端各方面的限制，采用新的模式，新的技术来实现移动vr应用。采用相对成熟的5g技术，流媒体传输效率、质量都有很大的提升，通过反向控制单元可以做到手机实时的进行对像素流应用的控制。gpu云服务也可以将服务器级别的算力进行跨端调用。从而实现在很少调配手机硬件资源的情况下，实现高保真、高帧率、高清晰度的移动vr应用。

在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、reram、mram、pcm、nandflash，norflash，memristor、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。