基于虚拟现实的多界面统一显示系统及方法
【专利摘要】本发明公开一种基于虚拟现实的多界面统一显示系统及方法，所述系统包括：多个远程桌面代理服务器端，分别内置于多个智能电子装置中以获得智能电子装置当前屏幕画面；以及虚拟现实一体机，又包括：多个远程桌面代理客户端，与远程桌面代理服务器端对应连接以获取智能电子装置当前屏幕画面；虚拟现实3D引擎，把智能电子装置当前屏幕画面转化为图形程序接口可识别的贴图，再将贴图绑定到虚拟场景当中对应窗口的表面，还分别渲染左右眼对应的画面到一对缓冲区中，并对缓冲区中的内容进行反畸变处理；以及显示服务模块，用以显示缓冲区中经处理过的画面。本发明在虚拟现实场景中集中集中显现多个智能电子装置用户界面，更有利于用户查看和管理。
【专利说明】
基于虚拟现实的多界面统一显示系统及方法
技术领域
[0001]本发明涉及虚拟现实技术领域，尤其是指基于虚拟现实的多界面统一显示系统及方法。
【背景技术】
[0002]在日常工作和生活中，人们时常会用到诸如智能手机、电脑等各种具有用户界面(UI)的智能电子装置。在使用时，人们只能分别查看这些智能产品的用户界面，相当繁琐。如能在一个界面中同时查看多个智能电子装置的用户界面，将会极大地方便用户使用这些智能电子装置。
【发明内容】
[0003]本发明所要解决的技术问题在于，提供一种基于虚拟现实的多界面统一显示系统，以便于统一显示多个智能电子装置的用户界面。
[0004]本发明另一个所要解决的技术问题在于，提供一种基于虚拟现实的多界面统一显示方法，以便于统一显示多个智能电子装置的用户界面。
[0005]为解决上述技术问题，本发明提供如下技术方案:一种基于虚拟现实的多界面统一显示系统，包括:
多个远程桌面代理服务器端，分别内置于对应的多个智能电子装置中以获得对应的智能电子装置当前屏幕画面并对外传送；以及
虚拟现实一体机，所述虚拟现实一体机又包括:
多个远程桌面代理客户端，与所述远程桌面代理服务器端一一对应连接以获取对应的智能电子装置当前屏幕画面；
虚拟现实3D引擎，用于把不同的远程桌面代理客户端传来的智能电子装置当前屏幕画面转化为图形程序接口可以识别的贴图，再将贴图绑定到虚拟场景当中对应窗口的表面，并且还通过图形程序接口分别渲染左右眼对应的画面到一对制定的缓冲区中，并且对缓冲区中的内容进行反畸变处理；以及
显示服务模块，用以显示缓冲区中经处理过的画面。
[0006]进一步地，所述智能电子装置是个人电脑和智能手机两者中的至少一种。
[0007]进一步地，所述虚拟现实一体机是虚拟现实头盔。
[0008]另一方面，本发明还提供一种基于虚拟现实的多界面统一显示方法，包括如下步骤:
步骤SI，远程桌面代理服务器端截取当前屏幕画面并通过网络传输给VR—体机的远程桌面代理客户端；
步骤S2，VR—体机的远程桌面代理客户端收到智能电子装置当前屏幕画面并传递给VR3D引擎;
步骤S3，3D引擎把不同代理客户端传来的智能电子装置当前屏幕画面转化为图形程序接口可识别的贴图格式；
步骤S4，3D引擎把贴图绑定到虚拟场景当中的对应窗口的表面上，并通过图形程序接口分别渲染左右眼对应的画面到一对制定的缓冲区中；
步骤S5，为配合头盔的光学透镜造成的图像畸变，3D引擎对缓冲区中的内容进行反畸变处理；
步骤S6，把缓冲区中的处理过的画面提交给显示服务模块进行显示。
[0009]进一步地，所述图形程序接口为OpenGL。
[0010]进一步地，所述方法还包括以下步骤:
步骤S7，通过虚拟现实一体机模拟实现对显示的画面中的鼠标指针进行位移控制。
[0011]进一步地，所述步骤S7具体又包括:
步骤S71，虚拟现实一体机陀螺仪获取用户头部延x，y，z轴的转动角速度；
步骤S72，根据当前转动角速度和当前距离上次取样时的时间间隔计算获得对应的旋转角度；
步骤S73，将鼠标指针固定在屏幕坐标的中心，由3D引擎将当前场景反向转动上面的角度并重新计算鼠标指针坐标；
步骤S74，将新的鼠标指针坐标通过远程桌面代理客户端传递给服务器端。
[0012]进一步地，步骤S22中，采用数据融合算法计算获得对应的旋转角度。
[0013]进一步地，步骤S6中，通过EGL的应用程序编程接口把缓冲区中的处理过的画面提交给显示服务模块。
[0014]采用上述技术方案后，本发明至少具有如下有益效果:本发明利用VR—体机虚拟360 X 180度全方位视野功能，通过多个远程桌面代理客户端与对应的智能电子装置中内置的远程桌面代理服务器端一一对应连接以获取对应的智能电子装置当前屏幕画面，经过3D引擎32的处理后，在虚拟现实场景中予以集中呈现，从而方便用户在虚拟现实场景这样单一的界面中同时查看多个智能电子装置的用户界面，更有利于集中高效地查看和管理这些用户界面。此外，结合虚拟现实一体机的控制功能实现对智能电子装置的简单操作，例如:鼠标指针位移控制。
【附图说明】
[0015]图1是本发明基于虚拟现实的多界面统一显示系统的系统构成方框图。
[0016]图2是本发明基于虚拟现实的多界面统一显示方法的流程示意图。
[0017]图3是本发明基于虚拟现实的多界面统一显示方法的实现鼠标指标控制的流程示意图。
【具体实施方式】
[0018]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
[0019]如图1所示，本发明提供一种基于虚拟现实的多界面统一显示系统，其包括:
多个远程桌面代理服务器端I，分别内置于对应的多个智能电子装置中以获得对应的智能电子装置当前屏幕画面并对外传送；以及虚拟现实一体机(VR—体机)3，所述虚拟现实一体机3又包括:
多个远程桌面代理客户端30，与所述远程桌面代理服务器端I一一对应连接以获取对应的智能电子装置当前屏幕画面；
虚拟现实3D引擎32，用于把不同的远程桌面代理客户端30传来的图片转化为图片渲染程序可识别的贴图，再将贴图绑定到虚拟场景当中对应窗口的表面，并且还通过图片渲染程序的应用程序编程接口分别渲染左右眼对应的画面到一对制定的缓冲区中，并且对缓冲区中的内容进行反畸变处理；以及
显示服务模块34，用以显示缓冲区中经处理过的画面。
[°02°] 可用于本发明的智能电子装置可以是个人电脑(Personal Computer，缩写为PC)和智能手机两者中的至少一种，在如图1所示的实施例中，即同时采用了个人电脑(PC)20和智能手机22。可以理解的是，可以与虚拟现实一体机3建立连接的智能电子装置可以为多台，例如:3台、4台，甚至更多，而不局限于图1中所示的2台。
[0021 ]所述虚拟现实一体机优选为虚拟现实头盔。
[0022]结合图2所示，本发明还提供一种基于虚拟现实的多界面统一显示方法，包括如下流程步骤:
步骤SI，远程桌面代理服务器端截取当前屏幕画面并通过网络传输画面给VR—体机的远程桌面代理客户端；
步骤S2，VR—体机的远程桌面代理客户端收到图片并传递给VR 3D引擎；
步骤S3，3D引擎把不同代理客户端传来的图片转化为图片渲染程序可以识别的贴图格式；
步骤S4，3D引擎把贴图绑定到虚拟场景当中的对应窗口的表面上。并通过图片渲染程序的APKApplicat1n Programming Interface，应用程序编程接口)分别清染左右眼对应的画面到一对制定的缓冲区中，在如图2所示的实施例中，优选地采用了OpenGL作为图片渲染程序；
步骤S5，为配合头盔的光学透镜造成的图像畸变，3D引擎对缓冲区中的内容进行反畸变处理；
步骤S6，把缓冲区中的处理过的画面通过EGL的API提交给显示服务模块进行显示。
[0023]基于以上虚拟现实的多界面统一显示多界面的，本发明还可以进一步包括以下步骤:
步骤S7，通过虚拟现实一体机模拟实现对显示的画面中的鼠标指针进行位移控制。
[0024]结合图3所示，所述步骤S7具体又包括如下步骤:
步骤S71，虚拟现实一体机陀螺仪获取用户头部延x，y，z轴的转动角速度；
步骤S72，将当前速度乘以当前距离上次取样时的时间间隔得到对应的旋转角度；
步骤S73，将鼠标指针固定在屏幕坐标的中心，由3D引擎将当前场景反向转动上面的角度并重新计算鼠标指针坐标；
步骤S74，新的鼠标指针坐标通过远程桌面代理客户端传递给服务器端。
[0025]在具体实施步骤S22时，还可以采用数据融合算法来获得对应的旋转角度。
[0026]本发明利用VR—体机虚拟360X 180度全方位视野功能，通过多个远程桌面代理客户端30与对应的智能电子装置中内置的远程桌面代理服务器端I一一对应连接以获取对应的智能电子装置当前屏幕画面，经过3D引擎32的处理后，在虚拟现实场景中予以集中呈现，从而方便用户在虚拟现实场景这样单一的界面中同时查看多个智能电子装置的用户界面，而且还可以结合虚拟现实一体机的控制功能实现对智能电子装置的简单操作，例如:鼠标指针位移控制。
[0027]尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。
【主权项】
1.一种基于虚拟现实的多界面统一显示系统，其特征在于，包括: 多个远程桌面代理服务器端，分别内置于对应的多个智能电子装置中以获得对应的智能电子装置当前屏幕画面并对外传送；以及 虚拟现实一体机，所述虚拟现实一体机又包括: 多个远程桌面代理客户端，与所述远程桌面代理服务器端一一对应连接以获取对应的智能电子装置当前屏幕画面； 虚拟现实3D引擎，用于把不同的远程桌面代理客户端传来的智能电子装置当前屏幕画面转化为图形程序接口可以识别的贴图，再将贴图绑定到虚拟场景当中对应窗口的表面，并且还通过图形程序接口分别渲染左右眼对应的画面到一对制定的缓冲区中，并且对缓冲区中的内容进行反畸变处理；以及 显示服务模块，用以显示缓冲区中经处理过的画面。2.如权利要求1所述的基于虚拟现实的多界面统一显示系统，其特征在于，所述智能电子装置是个人电脑和智能手机两者中的至少一种。3.如权利要求1所述的基于虚拟现实的多界面统一显示系统，其特征在于，所述虚拟现实一体机是虚拟现实头盔。4.一种基于虚拟现实的多界面统一显示方法，其特征在于，包括如下步骤: 步骤SI，远程桌面代理服务器端截取当前屏幕画面并通过网络传输给VR—体机的远程桌面代理客户端； 步骤S2，VR—体机的远程桌面代理客户端收到智能电子装置当前屏幕画面并传递给VR3D引擎; 步骤S3，3D引擎把不同代理客户端传来的智能电子装置当前屏幕画面转化为图形程序接口可识别的贴图格式； 步骤S4，3D引擎把贴图绑定到虚拟场景当中的对应窗口的表面上，并通过图形程序接口分别渲染左右眼对应的画面到一对制定的缓冲区中； 步骤S5，为配合头盔的光学透镜造成的图像畸变，3D引擎对缓冲区中的内容进行反畸变处理； 步骤S6，把缓冲区中的处理过的画面提交给显示服务模块进行显示。5.如权利要求4所述的基于虚拟现实的多界面统一显示方法，其特征在于，所述图形程序接口为OpenGL。6.如权利要求4所述的基于虚拟现实的多界面统一显示方法，其特征在于，所述方法还包括以下步骤: 步骤S7，通过虚拟现实一体机模拟实现对显示的画面中的鼠标指针进行位移控制。7.如权利要求6所述的基于虚拟现实的多界面统一显示方法，其特征在于，所述步骤S7具体又包括: 步骤S71，虚拟现实一体机陀螺仪获取用户头部延x，y，z轴的转动角速度； 步骤S72，根据当前转动角速度和当前距离上次取样时的时间间隔计算获得对应的旋转角度； 步骤S73，将鼠标指针固定在屏幕坐标的中心，由3D引擎将当前场景反向转动上面的角度并重新计算鼠标指针坐标； 步骤S74，将新的鼠标指针坐标通过远程桌面代理客户端传递给服务器端。8.如权利要求7所述的基于虚拟现实的多界面统一显示方法，其特征在于，步骤S22中，采用数据融合算法计算获得对应的旋转角度。9.如权利要求4所述的基于虚拟现实的多界面统一显示方法，其特征在于，步骤S6中，通过EGL的应用程序编程接口把缓冲区中的处理过的画面提交给显示服务模块。
【文档编号】G06F3/14GK105892643SQ201511034715
【公开日】2016年8月24日
【申请日】2015年12月31日
【发明人】聂林
【申请人】乐视致新电子科技（天津）有限公司