虚拟现实项目的第三视角视频的合成和输出系统及方法与流程

本发明涉及虚拟现实的技术领域，尤其是一种虚拟现实项目的第三视角视频的合成和输出系统。

背景技术：

虚拟现实（vr）技术是多种技术的综合，包括实时三维计算机图形技术，广角（宽视野）立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈，通过计算机输出一个左右眼的第一视角3d立体画面，并且戴上头戴式显示器即可呈现融入其中。使用者戴上头盔后呈现的第一视角画面利用电子陀螺仪技术和头部的运动相结合，电子陀螺仪可以准确的感知到空间x、y、z三维信息，并且把这些信息回传到计算机中进行计算，使画面可以根据用户的头部运动呈现不同视角的画面，犹如真实环境中一样。佩戴者通过操作手柄可对虚拟环境中的物体进行操作，如更换虚拟环境的部件，汽车模型、机械模型的拆解安装。该种基于vr的实训只能提供第一视角的个人体验，而无法进行教学分享。

技术实现要素：

本发明所要解决的技术问题之一是提供一种虚拟现实项目的第三视角视频的合成和输出方法，解决虚拟现实设备只可以提供第一视角的应用局限。

本发明所要解决的技术问题之二是提供一种虚拟现实项目的第三视角视频的合成和输出系统，解决虚拟现实设备只可以提供第一视角的应用局限。

为解决上述技术问题之一，本发明的技术方案是：一种虚拟现实项目的第三视角视频的合成和输出方法，包括以下步骤：

（1）将佩戴vr头盔、手持定位手柄且操作虚拟现实项目的操作人员置于绿色的蓝箱内，利用摄像机拍摄人物的活动图像，用抠像技术提取人物图像；

（2）提取虚拟现实项目的输出的背景画面放在最底层；

（3）提取虚拟现实项目的前景画面，通过alpha遮罩得到前景画面放在最上层；

（4）将步骤（1）~（3）生成的三路视频合成获得第三视角视频的生成和输出，并利用视频压缩技术进行图像录制和流媒体视频推送应用。

本发明可以有效的解决在教学vr应用过程中，只能提供第一视角的个人体验，而无法进行教学分享的弊端，即可满足学生佩戴头盔后的第一视角的体验，又可将学生在场景内容操作的过程和内容通过第三视角分享给其他同学，解决通过vr头盔体验和分享的难题。

作为改进，所述虚拟现实项目基于unity3d开发引擎下开发。

作为改进，所述vr头盔和定位手柄采用htcvive设备；在摄像机上安装定位手柄，此摄像机为unity3d引擎下虚拟现实项目的虚拟空间提供摄像机视角，利用定位手柄的定位信息unity3d将外部的摄像机认定为虚拟空间内的虚拟摄像机。

作为改进，所述步骤（1）中，采用色差算法的抠像技术提取人物图像。

作为改进，所述虚拟现实项目为学生实训项目。

为解决上述技术问题之二，本发明的技术方案是：一种虚拟现实项目的第三视角视频的合成和输出系统，包括：

用于拍摄在蓝箱内、佩戴vr头盔、手持定位手柄且操作虚拟现实项目的操作人员的活动图像的摄像机；

用于提取人物的活动图像的抠像模块；

用于提取虚拟现实项目内背景画面的背景提取模块；

用于提取虚拟现实项目内前景画面的前景提取模块；

用于将活动图像、背景画面、前景画面合成第三视角视频的视频合成模块。

本发明可以有效的解决在教学vr应用过程中，只能提供第一视角的个人体验，而无法进行教学分享的弊端，即可满足学生佩戴头盔后的第一视角的体验，又可将学生在场景内容操作的过程和内容通过第三视角分享给其他同学，解决通过vr头盔体验和分享的难题。

本发明与现有技术相比所带来的有益效果是：

利用unity3d虚拟现实引擎带前景alpha通道图像输出的特性，利用图像的捕捉技术和视频抠像技术来合成基于unity3d引擎开发的虚拟现实项目的第三视角的合成和输出，解决虚拟现实设备只可以提供第一视角的应用局限。

附图说明

图1为本发明系统框架图。

图2为本发明第三视角合成和输出流程图。

图3为本发明硬件组成框架图。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

一种基于htcvive设备和unity3d开发引擎下的虚拟现实项目

的第三视角的合成和输出系统，本实施例的虚拟现实项目以学生的实训项目为例进行说明。

如图3所示，本发明基于的硬件构成包括佩戴在操作者头部的vr头盔、供操作者手持操作的定位手柄、电脑、摄像机、供摄影师观看的第一电视、供观众观看的第二电视和供合成操作的显示屏。所述电脑包括用于采集vr头盔视频信号的显卡和用于采集摄像机视频信号的视频采集卡，所述显卡通过显示接口与显示屏连接，所述显卡通过hdmi分配器分别与第一电视和第二电视连接。所述vr头盔和定位手柄采用htcvive设备，htcvive设备中还包括配套的定位器。摄像机安装htcvive的定位手柄，unity3d引擎下的虚拟空间提供摄像机视角，利用定位手柄的定位信息unity3d可将外部的摄像机认定为虚拟空间内的虚拟摄像机。

本发明系统框架包括：

用于拍摄在蓝箱内、佩戴vr头盔、手持定位手柄且操作虚拟现实项目的操作人员的活动图像的摄像机；

用于提取人物的活动图像的抠像模块；

用于提取虚拟现实项目内背景画面的背景提取模块；

用于提取虚拟现实项目内前景画面的前景提取模块；

用于将活动图像、背景画面、前景画面合成第三视角视频的视频合成模块。

如图1、2所示，一种基于htcvive设备和unity3d开发引擎下的虚拟现实项目的第三视角的合成和输出方法，包括以下步骤：

（1）将佩戴vr头盔、手持定位手柄且操作虚拟现实项目的操作人员置于绿色的蓝箱内，利用摄像机拍摄人物的活动图像，采用色差算法抠像技术提取人物图像；

（2）提取虚拟现实项目的输出的背景画面放在最底层；

（3）提取虚拟现实项目的前景画面，通过alpha遮罩得到前景画面放在最上层；

（4）将步骤（1）~（3）生成的三路视频合成获得第三视角视频的生成和输出，并利用视频压缩技术进行图像录制和流媒体视频推送应用。

本发明利用unity3d虚拟现实引擎带前景alpha通道图像输出的特性，利用图像的捕捉技术和视频抠像技术来合成基于unity3d引擎开发的虚拟现实项目的第三视角的合成和输出，解决虚拟现实设备只可以提供第一视角的应用局限。

技术特征：

技术总结
一种虚拟现实项目的第三视角视频的合成和输出系统及方法，包括：用于拍摄在蓝箱内、佩戴VR头盔、手持定位手柄且操作虚拟现实项目的操作人员的活动图像的摄像机；用于提取人物的活动图像的抠像模块；用于提取虚拟现实项目内背景画面的背景提取模块；用于提取虚拟现实项目内前景画面的前景提取模块；用于将活动图像、背景画面、前景画面合成第三视角视频的视频合成模块。利用Unity3D虚拟现实引擎带前景alpha通道图像输出的特性，利用图像的捕捉技术和视频抠像技术来合成基于Unity3D引擎开发的虚拟现实项目的第三视角的合成和输出，解决虚拟现实设备只可以提供第一视角的应用局限。

技术研发人员：冯大治
受保护的技术使用者：广州市英途信息技术有限公司
技术研发日：2017.03.01
技术公布日：2017.07.25