云台实时VR系统的制作方法

本实用新型属于虚拟现实技术领域，具体地说是云台实时VR系统，该系统利用云台能实现全景VR并且传回的图像可以进行共享。

背景技术：

目前，多数的VR都是属于“演示型”，利用全景相机拍摄全景图像再使用相关算法进行拼接，形成球面图像后带入视角，这样的VR并不具备实时性，自由度有限，因为用户有姿态自由度却没有位置自由度。国内已经有与全景VR相关的专利，如CN206149332U等，仍然使用的是全景相机，或者是采用多个相机，仍未有效解决大量数据传输的质量问题以及庞大的带宽占用。全景VR技术在发展过程中仍存在着许多难关，并且受计算能力和传输带宽限制，全景VR技术投入成本非常高，这对于大部分用户难以接受，且在约定人的视角为90°情况下，传统全景VR的图像的数据利用率只有14.67％左右，造成了很大的浪费。而目前在直播行业和旅游行业对于实时VR有强烈的需求，迫切需要研究一种能够显著降低成本和带宽限制的新型VR系统。

技术实现要素：

针对现有技术的不足，本实用新型所要解决的技术问题是：提供一个由单个用户操控，利用云台结合摄像头的视角实时跟随人眼视角进行改变，实现实时的全景VR效果，并且传回的VR图像可以被其他的用户所共享，云台实时VR设备本身可由多个用户通过互联网共享,解决了现有的自由度少，占用带宽多，成本相对较高的问题。

本实用新型解决所述技术问题采用的技术方案是：提供一种云台实时VR系统，其特征在于该系统包括双目相机、三轴云台、智能手机、VR眼镜、系统电源和工业电脑；所述三轴云台具有三个自由度，包括单片机、托盘、三个轴、电机驱动和空心杯电机，三个轴支撑托盘，单片机通过电机驱动与空心杯电机连接，且单片机、电机驱动和空心杯电机均固定在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动的使能端相连；双目相机固定放置在三轴云台的托盘上，双目相机能随三轴云台的托盘的运动而运动；所述工业电脑与三轴云台上的单片机进行串口通信；所述工业电脑同时与双目相机连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电；所述工业电脑通过搭建的局域网与智能手机连接，所述智能手机放置在VR眼镜上，VR眼镜由用户佩戴，所述智能手机上安装有VR APP；所述系统电源为整个系统进行供电；所述工业电脑内加载有图像畸变校正方算法；

所述智能手机中VR APP的程序流程是：首先进入校准界面：初始化控件，绑定智能手机的陀螺仪，获取陀螺仪的三维实时位置信息，开始进行按钮监听事件，即进行标准条件判断，当智能手机陀螺仪的偏航角度数据在70-190之间，陀螺仪的俯仰角度数据在70-90之间时，开启第二个画面，进入VR观看界面，校准成功；

然后进入VR观看界面：初始化控件，绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程；接着获取智能手机的陀螺仪数据和加速度数据信息，然后进行智能手机姿态信息校正，通过socket进程传输手机姿态信息；同时开启两个进程，即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程，通过网络请求获取双目相机的左右两个摄像头的视频信息，上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件；然后将手机UI界面划分为左右均匀的两个区域，通过Hander视频信号获取指令启动UI更新线程，使左右两个区域分别显示左右摄像头的图像。

与现有技术相比，本实用新型的有益效果是：

(1)本实用新型云台实时VR系统主要包括双目相机、三轴云台、智能手机和VR眼镜。该系统采用双目相机的左右两个摄像头采集双目视频，利用三轴云台结合摄像头的视角实时跟随人眼视角进行改变，实现实时的全景VR效果。工业电脑将视频投放在工业电脑的网络端口上，可以被其他的设备访问或者提供下载，实现一对多的视频实时共享。相较于全景360°的全景VR具有带宽要求低，成本低的优点，可以很好的解决由于带宽和成本限制导致的视频质量下降、成本提高等问题，具有良好的用户体验性。

(2)本实用新型中VR视频采用自行设计的算法：将双目相机的左右两个摄像头的两个视频投放在VR APP中两个左右平铺的屏幕区域，手机屏幕平均分成两部分，左边放置左摄像头传回来的图像，右边的部分放置右摄像头传回来的图像，并进行基本的图像畸变校正处理，不需要采用360°全景VR中合成360度的视频文件，将智能手机放进VR眼镜中，利用VR APP获取手机姿态数据，通过控制使摄像头的视角实时跟随头部视角进行改变，实现实时的全景VR效果，获得真实的用户体验。有效提高了图像数据的利用率，相比之下，在约定人的视角为90°情况下，本实用新型的图像的数据利用率是传统全景VR的七倍左右。

(3)本实用新型中VR APP获取智能手机自带的陀螺仪的陀螺仪数据，得到手机的姿态，手机的姿态代表了头部的状态，即头部视角的变化情况，通过网络发送给单片机，进而驱动三轴云台的托盘转动，同步地改变摄像头的视角，使摄像头的视角实时跟随人眼的视角进行改变，实现实时的全景VR效果，有效提高了图像数据的利用率。

(4)本实用新型的云台实时VR系统适用于景点游览和活动直播等场景。可在景区中心搭建无线基站和服务器，用户通过互联网使用VR APP访问服务器，控制搭载的三轴云台和双目相机来进行在线游览和计时付费，是一种全新的互联网商业模式，有良好推广前景。

附图说明

图1为本实用新型云台实时VR系统一种实施例的整体结构框图。

图2为本实用新型云台实时VR系统一种实施例的三轴云台的结构框图。

图3为本实用新型云台实时VR系统的智能手机中VR APP校准界面和VR观看界面的示意图。

图4为本实用新型云台实时VR系统的VR眼镜和智能手机之间放置位置示意图。

图5为本实用新型云台实时VR系统的智能手机中VR APP的程序流程图。

图中，1双目相机、2三轴云台、3智能手机、4VR眼镜、5工业电脑、6系统电源；21单片机、22空心杯电机、23电机驱动。

具体实施方式

下面结合附图和实施例对本实用新型进一步说明，但并不以此作为对本申请权利要求保护范围的限定。

本实用新型云台实时VR系统(简称系统，参见图1-2)包括双目相机1、三轴云台2、智能手机3、VR眼镜4、系统电源6和工业电脑5；所述三轴云台2具有三个自由度，包括单片机21、托盘、三个轴、电机驱动23和空心杯电机22，三个轴支撑托盘，单片机21通过电机驱动23与空心杯电机22连接，且单片机21、电机驱动23和空心杯电机22均固定在托盘上，单片机为整个三轴云台的控制中心，单片机的输出口与电机驱动23的使能端相连，单片机给电机驱动发送信号，从而驱动空心杯电机，控制三轴云台的三个轴的转动；双目相机1放置在三轴云台的托盘上，并通过螺丝螺母刚性连接，双目相机能随三轴云台的托盘的运动而运动，从而改变双目相机的视角；所述工业电脑5与三轴云台上的单片机进行串口通信，通过工业电脑给三轴云台上的单片机发送相应的指令信息，单片机控制三轴云台的托盘实现运动效果；所述工业电脑同时与双目相机连接，双目相机采集的视频图像通过数据线传回工业电脑，工业电脑通过数据线给双目相机供电，为双目相机正常工作提供稳定的电能；所述工业电脑通过搭建的局域网与智能手机3连接，所述智能手机3放置在VR眼镜上，VR眼镜由用户佩戴，起到固定智能手机和投放视频的作用，所述智能手机3上安装有VR APP；把工业电脑和智能手机均接入局域网中，使双目相机传回来的视频图像经过工业电脑处理之后通过局域网发送视频流至网络端口上；智能手机开启VR APP，进入视频界面，将VR APP界面上的视频图像映射到人眼中，可以获得当前双目相机传回来的实时图像；所述系统电源6为整个系统进行供电；所述工业电脑内加载有图像畸变校正方算法。所述工业电脑对采集的视频图像进行基本的图像畸变校正处理；工业电脑将处理之后的图像数据通过网络传送到路由器的数据端口上，提供VR APP的访问接口和视频浏览。

所述智能手机中VR APP的程序流程是：①校准界面：初始化控件，绑定智能手机的陀螺仪，获取陀螺仪的三维实时位置信息，开始进行按钮监听事件，即进行标准条件判断，当智能手机陀螺仪的偏航角度数据在170-190之间，陀螺仪的俯仰角度数据在70-90之间时，开启第二个画面，进入VR观看界面，校准成功；②VR观看界面：初始化控件，绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程；接着获取智能手机的陀螺仪数据和加速度数据信息，然后进行智能手机姿态信息校正，通过socket进程传输手机姿态信息；同时开启两个进程，即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程，通过网络请求获取双目相机的左右两个摄像头的视频信息(视频流)，上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件；然后将手机UI界面划分为左右均匀的两个区域，通过Hander视频信号获取指令启动UI更新线程，使左右两个区域分别显示左右摄像头的图像。

本实用新型的进一步特征在于所述系统电源为12V直流电；三轴云台的型号为升级版storm32三轴云台，单片机为STM32单片机。所述系统电源6包括12V13Ah锂电池的直流电和稳压块，为工业电脑提供稳定的供电，12V直流电接到稳压块上，通过稳压块将直流电稳定为+12伏直流电和+5伏直流电；+12V直流电并联接入三轴云台的电机驱动和工业电脑上；+5伏直流电与单片机和双目相机连接。

本实用新型中局域网通过无线基站AP搭建，是整个系统提供指令和数据的传输的硬件平台，局域网本身的搭建方法为现有技术。本实用新型所述的图像畸变校正方算法可以采用现有技术，如鱼眼图像畸变校正算法、广角图像畸变校正算法等。

图2所示实施例表明，本实用新型云台实时VR系统中的三轴云台主要由STM32单片机21、工业电脑22、电机驱动23和空心杯电机22构成。工业电脑22根据通信协议向STM32单片机21发送指令信息，二者之间通过串口通信相互连接，STM32单片机21接到通讯指令后，对收到的信息进行解码操作，解码完成后，通过在STM32单片机21上的特定引脚输出PWM波来驱动电机驱动23，电机驱动23连接空心杯电机22，使空心杯电机22能够实现在固定位置保持不动，间接地通过STM32单片机21输出的PWM波进行控制空心杯电机22，实现通过三轴云台12的托盘的左右旋转和上下翻转动作来改变托盘的角度和姿态。

图3所示实施例表明，本实用新型中的VR APP具有校准界面和VR观看界面，用户在启动VR APP之后，需要用户在使用之前进行智能手机姿态的调整，使其满足标准条件，所述标准条件为：当智能手机陀螺仪的偏航角度数据(左边数值)在170-190，陀螺仪的俯仰角度数据(右边数值)在70-90之间，可以点击开始观看按钮进入VR观看模式。进入VR观看模式后，如果网络正常则会显示出左右两个VR图像。如果没有图像点击界面刷新即可。之后把智能手机放入VR眼镜中进行远程观看和操作。这里所说的左右分别对应着人眼的左右。

图4所示实施例表明，智能手机和VR眼镜的相对位置关系和智能手机在VR眼镜中的放置的位置。

本实用新型云台实时VR系统的工作及使用过程是：首先，用户在智能手机中下载VR APP，安装成功后，打开VR APP界面，把智能手机连上局域网，并开始VR APP校正角度，使双目相机1能够匹配智能手机3方向，方便操纵本实用新型云台实时VR系统。把智能手机3放入VR眼镜中，打开系统电源开关，工业电脑5的程序开启，等待三轴云台2校正自身角度，时间为15～20秒钟，待校正完成后，由三轴云台搭载的双目相机正视前方，用户通过VR眼镜看到双目相机1传回来的实时图像，获取当前云台实时VR系统与环境之间的信息，用户的头转，三轴云台2会跟随着人的头部的运动而运动，实时的获取当前的环境信息，使用户有沉浸式的体验。

用户的头转，三轴云台2会跟随着人的头部的运动而运动的具体过程是：VR APP利用智能手机的陀螺仪获取陀螺仪数据，把获取到的陀螺仪数据用阶梯滤波算法平滑处理之后，算出手机的姿态，即头部视角的变化情况，通过搭建起来的局域网将手机的姿态发送给单片机21，单片机通过控制电机驱动23驱动空心杯电机22带动三轴云台2的托盘转动，从而同步改变双目相机1的视角，使双目相机1的视角实时跟随头部视角进行改变，实现实时的全景VR效果，有效提高了图像数据的利用率。

本实用新型中VR视频实现采用算法简单、不需要像全景360度VR直播那样合成360度的视频文件，只需要将双目相机的两个摄像头的两个视频投放在VR APP中两个左右平铺的画布中，并进行基本的图像畸变校准处理即可，也不需要专业的头显设备，仅仅需要将智能手机放进VR眼镜中即可获得真实的用户体验，可使用VR APP或者是网页进行访问本实用新型云台实时VR系统，设备的适应性极广，操作简单方便快捷，实现以及维护简单，接口简单，对于用户十分友好；本实用新型采用双目相机1采集双目视频流，投放在设备的网络端口，可以实现一对多的视频实时共享，相较于全景360度的VR直播模式具有带宽要求低、成本低的优点，可以很好的解决由于带宽和成本限制导致的视频文件质量下降、成本提高的问题，具有良好的用户体验性。

本实用新型所用的元器件、零部件和电路板均是本领域技术人员所熟知的，可以通过商购获得或自己容易制作的，所有元器件之间的连接方式、零部件的安装方式以及电源线路的接线方式也是本技术领域的技术人员所熟知的。

本实用新型未述及之处适用于现有技术。