一种虚拟现实成像系统的制作方法
【专利摘要】本发明具体涉及一种虚拟现实成像系统，该系统包括虚拟现实头戴装置、智能手机、个人电脑，及设置在智能手机中的客户端和设置在个人电脑中的服务端，其中，智能手机内设置有与客户端连接的眼球扫描仪、加速度传感器和陀螺仪；客户端预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息并发送给服务端；服务端根据预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后存储到传输队列中；客户端对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏。通过本发明的技术方案，能解决现有技术中虚拟现实图像传输延迟及图像失真的问题。
【专利说明】
一种虚拟现实成像系统
技术领域
[0001 ]本发明涉及流媒体技术领域，具体涉及一种虚拟现实成像系统。
【背景技术】
[0002]虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该模拟环境中。
[0003]目前，VR头显和VR眼镜是虚拟现实技术的主要应用。
[0004]VR头显:通过有线的头戴式显示器和个人电脑的组合方式实现虚拟现实，例如:Oculus Rift，PS4Morpheus0
[0005]VR头显通过USB(Universal Serial Bus，通用串行总线)和HDMI(HighDefinit1nMultimedia Interface，高清晰度多媒体接口)线连接电脑。用户戴上VR头显后，VR头显通过USB将用户的头部运动状态信息传递给个人电脑。个人电脑中运行的游戏程序在接收信息后，通过CPU和GPU的运算产生具有沉浸感觉的影像，并通过HDMI视频线输出到VR头显。
[0006]其缺点是由于存在着USB线、HDMI线和电源线的连接，在游戏场景中玩家的身体移动距离和范围受到限制，便捷性和体验性降低，在VR游戏中，如果用户有较大幅度的运动，容易造成VR头显和电脑之间的连接线接触不良，信号中断，甚至使VR头显设备遭到损伤。
[0007]VR眼镜:将游戏APP安装在手机端，用户戴上VR眼镜后，通过手机获取用户头部运动信息，并用手机的CPU和GPU上完成计算和渲染，例如= SamSung Gear VR,GoogleCardboard。其缺点是受到手机性能的影响，无法实现具有复杂场景和计算的游戏，图像质量较差。
[0008]现有技术中的无线虚拟现实成像系统是基于以下两个原理实现的:
[0009]1、同屏显示技术。将某台个人电脑屏幕上显示的内容，通过网络在其他设备上显示的技术。该技术通过定时截取屏幕上显示的内容，作为视频的一帧图像，通过流媒体技术在网络上进行传输，在其他设备上使用流媒体技术进行播放，从而实现了同屏显示。通过该技术，可以将个人电脑上显示的图像通过无线网络，在手机屏幕上显示。
[0010]2、2D-3D转换技术。是一种在二维(2D)影像的基础上制作三维(3D)影像时采用的技术。当人眼在观看一幅平面彩色立体图片的时候，可以根据图片上的内容判断其中物体、人物之间的距离关系，而这种判断通常十分准确，这说明平面图像中尽管不存在能用人的双眼视差异等生理立体视觉识别的深度信息，却存在着其它的深度暗示，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等，这些暗示信息是人类对自然景物长期观察而得到的一种立体视觉记忆和立体视觉经验，依靠这种视觉记忆和经验，观察者能够从平面图像中准确地提取出物体间的相对位置和相对深度，人眼的这种立体视觉被称为心理立体视觉。根据人眼的这种特性，可以将平面图像中的深度信息提取出来，再结合原始左视图合成出右视图，这样，合成出的右视图与原来的左视图存在视差，将两幅视图合成后通过3D显示设备即可得到具有3D效果的立体图。通过该技术，结合同屏显示技术，将截取的图像进行2D-3D的转换后，可以在手机端呈现出具有3D效果的影像。
[0011]现有技术中的无线虚拟现实成像系统具有以下缺点:
[0012]1、视频是按照固定的帧率进行播放的。比如:60帧/秒或者30帧/秒，但对VR体验来说，60帧/秒是最低标准，当现实频率小于60帧/秒会造成用户晕眩感。由于采用固定频率播放关系，当头部快速移动时，会造成拖影延迟。
[0013]2、同屏技术由于采用截取屏幕的方式，是在图像渲染并显示出来后才进行截取和传输，所以有延迟高，帧数低的问题。另外，当手机分辨率高于屏幕分辨率时会造成图像质量下降。
[0014]3、VR眼镜看到的是个人电脑屏幕显示的2D内容通过2D-3D转换技术输出的3D场景影像。从个人电脑屏幕输出的2D图像中提取出来的深度信息，与原有场景会有一些差异，导致转换后的3D场景会造成眼部的不适感。
【发明内容】
[0015]有鉴于此，本发明的目的在于克服现有技术的不足，提供一种虚拟现实成像系统，解决现有技术中虚拟现实图像传输延迟及图像失真的问题。
[0016]为实现以上目的，本发明采用如下技术方案:
[0017]—种虚拟现实成像系统，包括虚拟现实头戴装置、智能手机和个人电脑，还包括:设置在智能手机中的客户端和设置在个人电脑中的服务端，其中，
[0018]所述智能手机的显示屏设置在所述虚拟现实头戴装置的目镜后，所述智能手机和所述个人电脑无线连接;所述智能手机内设置有加速度传感器和陀螺仪，所述加速度传感器和陀螺仪分别与所述客户端连接；
[0019]所述客户端，用于根据所述加速度传感器和陀螺仪获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端；
[0020]所述服务端，用于根据所述客户端预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中；
[0021]所述客户端，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏。
[0022]优选地，所述客户端每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务器端，其中所述第二预设时段小于第一预设时段；
[0023]所述服务端创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端预判的用户眼球的运动状态信息。
[0024]优选地，所述服务端使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流;所述客户端使用智能手机的GHJ对接收到的流媒体数据流进行解码和解压缩。
[0025]优选地，所述个人电脑的GPU为Inte I集成显卡或Nvidia显卡。
[0026]本发明采用以上技术方案，至少具备以下有益效果:
[0027]1、由于个人电脑具有复杂图像计算处理的能力，将三维图像的渲染在个人电脑中实现，同时，利用无线传输技术，将渲染后的图像信息传输到智能手机上显示，解决了现有技术中，由于受智能手机性能的限制，不能支撑复杂场景游戏运行的问题。
[0028]2、由于智能手机和个人电脑是无线连接，解决了现有技术中用户体验受虚拟现实头戴装置各种连接线影响的问题，增强了用户体验。
[0029]3、另外，本发明提供的这种虚拟现实成像系统，客户端会根据手机内置的加速度传感器和陀螺仪的输出信号，对眼球在当前时刻起的第一预设时段内的运动状态信息做个预判，并将预判结果发给个人电脑的服务端，个人电脑的服务端能提前将未来预设时段内的图像渲染出来，且个人电脑的服务端将渲染后的图像压缩和编码为流媒体数据流后直接输出给智能手机的客户端，相比现有技术，增加了眼球运动状态的预判过程，减少了图像截取的过程，因此本发明提供的这种虚拟现实成像系统能减少虚拟现实图像的传输延迟。另外由于智能手机中的客户端提取的是虚拟现实图像原始的流媒体数据流，而不是虚拟现实图像2D图像截屏后的流媒体数据流，因此相比现有技术，能更加真实地还原虚拟现实图像的3D场景。
【附图说明】
[0030]图1为本发明一实施例提供的一种虚拟现实成像系统的示意框图。
【具体实施方式】
[0031]下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
[0032]参见图1，本实施例提供的一种虚拟现实成像系统100，包括虚拟现实头戴装置101、智能手机102和个人电脑103，还包括:
[0033]设置在智能手机102中的客户端1020和设置在个人电脑103中的服务端1030，其中，
[0034]所述智能手机102的显示屏设置在所述虚拟现实头戴装置101的目镜后，所述智能手机102和所述个人电脑103无线连接;所述智能手机102内设置有加速度传感器1021和陀螺仪1022，所述加速度传感器1021和陀螺仪1022分别与所述客户端1020连接；
[0035]所述客户端1020，用于根据所述加速度传感器1021和陀螺仪1022获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端1030;
[0036]所述服务端1030，用于根据所述客户端1020预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中；
[0037]所述客户端1020，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机102的显示屏。
[0038]需要说明的是，所述预设时段可以根据实际需要进行设置，例如设为10?30ms。
[0039]由上述技术方案可知，本发明提供的这种虚拟现实成像系统，由于个人电脑具有复杂图像计算处理的能力，将三维图像的渲染在个人电脑中实现，同时，利用无线传输技术，将渲染后的图像信息传输到智能手机上显示，解决了现有技术中，由于受智能手机性能的限制，不能支撑复杂场景游戏运行的问题。
[0040]由于智能手机和个人电脑是无线连接，解决了现有技术中用户体验受虚拟现实头戴装置各种连接线影响的问题，增强了用户体验。
[0041]另外，本发明提供的这种虚拟现实成像系统，客户端会根据手机内置的加速度传感器和陀螺仪的输出信号，对眼球在当前时刻起的第一预设时段内的运动状态信息做个预判，并将预判结果发给个人电脑的服务端，个人电脑的服务端能提前将未来预设时段内的图像渲染出来，且个人电脑的服务端将渲染后的图像压缩和编码为流媒体数据流后直接输出给智能手机的客户端，相比现有技术，增加了眼球运动状态的预判过程，减少了图像截取的过程，因此本发明提供的这种虚拟现实成像系统能减少虚拟现实图像的传输延迟。另外由于智能手机中的客户端提取的是虚拟现实图像原始的流媒体数据流，而不是虚拟现实图像2D图像截屏后的流媒体数据流，因此相比现有技术，能更加真实地还原虚拟现实图像的3D场景。
[0042]优选地，所述客户端1020每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务器端1030，其中所述第二预设时段小于第一预设时段；
[0043]所述服务端1030创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端1020预判的用户眼球的运动状态信息。
[0044]其中，所述第二预设时段可以设为5?10ms。
[0045]优选地，所述服务端1030使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流;所述客户端1020使用智能手机的GPU对接收到的流媒体数据流进行解码和解压缩。
[0046]优选地，所述个人电脑的GPU为Inte I集成显卡或Nvidia显卡。
[0047]以上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的【具体实施方式】而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种虚拟现实成像系统，包括虚拟现实头戴装置、智能手机和个人电脑，其特征在于，还包括:设置在智能手机中的客户端和设置在个人电脑中的服务端，其中， 所述智能手机的显示屏设置在所述虚拟现实头戴装置的目镜后，所述智能手机和所述个人电脑无线连接;所述智能手机内设置有分别与所述客户端连接的加速度传感器和陀螺仪； 所述客户端，用于根据所述加速度传感器和陀螺仪获取的用户头部的运动状态信息，预判用户的眼球在当前时刻起的第一预设时段内的运动状态信息，并将预判的用户眼球的运动状态信息发送给所述服务端； 所述服务端，用于根据所述客户端预判的用户眼球的运动状态信息，进行三维图像的渲染，并将渲染后的图像压缩和编码为流媒体数据流后，将所述流媒体数据流存储到传输队列中； 所述客户端，还用于从所述传输队列中获取最新的流媒体数据流后，对所述流媒体数据流进行解码和解压缩，并输出给所述智能手机的显示屏。2.根据权利要求1所述的虚拟现实成像系统，其特征在于，所述客户端每隔第二预设时段将预判的用户眼球的运动状态信息发送给所述服务器端，其中所述第二预设时段小于第一预设时段； 所述服务端创建多个服务进程，所述多个服务进程用来按时间顺序接收所述客户端预判的用户眼球的运动状态信息。3.根据权利要求1所述的虚拟现实成像系统，其特征在于，所述服务端使用个人电脑的GPU将渲染后的图像压缩和编码为流媒体数据流;所述客户端使用智能手机的GPU对接收到的流媒体数据流进行解码和解压缩。4.根据权利要求3所述的虚拟现实成像系统，其特征在于，所述个人电脑的GPU为Intel集成显卡或Nvidia显卡。
【文档编号】G06T19/00GK105869215SQ201610183517
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】陈琪禕
【申请人】上海米影信息科技有限公司