手机虚拟现实交互系统及方法与流程

本发明涉及虚拟现实领域，尤其涉及一种手机虚拟现实交互系统和方法。

背景技术：

当前基于手机平台的VR（Virtual Reality，虚拟现实）全景视频，普遍使用低端的类似于Google Cardboard或者暴风影音之类的头盔，将手机等可以播放VR的设备嵌入，然后通过手机播放VR全景视频，并通过手机的位置传感器操作观看视角。由于头盔和手机的遮挡，用户只能观看手机上的视频内容，虽然有一定的沉浸感，但是也和外界环境隔离，无法感知外界环境的变化，也无法在观看时自如的在现实环境中自由移动，更加无法和现实环境做各种互动操作。

目前360度／VR视频在手机平台上观看视频时，基本都是用一个类似于Google Cardboard或者暴风魔盒的简单装置固定住手机，通过透镜来观看双目内容。由于手机和头盔的遮挡，虽然沉浸感好，但是同时和环境间的交互性差，用户位置感差。同时，用户在佩戴此类产品进行游戏时，由于无法实施观察到周边环境的障碍物，用户很容易在移动过程中发生碰撞事故。此外，在观看VR视频时，只能借助头部的摆动来进行菜单的操作，比较麻烦。

技术实现要素：

本发明提供了一种VR全景视频背景融合技术，用于在基于手机和配套VR头盔的VR观看设备上，观看VR全景视频播放的时候，通过手机后置的相机将用户所在环境的背景拍摄并实时融入到当前的VR全景视频中来，同时还可借助相机实现手势操作，方便快捷；此外，还可对画面中的场景进行识别，并推送相关信息至显示屏上。

为实现上述的技术方案，本发明采用的技术方案为：

一种手机虚拟现实交互系统，包括头戴设备和手机；

所述手机可固定在所述头戴设备上，所述手机的显示屏用于播放VR视频；

其中，所述手机具有：

图像录制模块，用于实时录制视频；

图像叠加模块，用于将图像录制模块录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏上进行播放；

动作捕捉模块，所述动作捕捉模块用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；

图像控制模块，用于根据动作捕捉模块识别出的操作指令对显示屏上播放的视频执行相应操作。

在上述的手机虚拟现实交互系统中，所述手机虚拟现实交互系统还包括识别模块，所述识别模块对录制视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏。

在上述的手机虚拟现实交互系统中所述识别模块为手机的本地识别模块，通过本地识别模块来对录制视频中的场景和/或物体进行识别；和/或

所述识别模块为位于云端服务器的云端识别模块。

在上述的手机虚拟现实交互系统中所述手机还具有预处理模块，预处理模块对录制视频进行预处理后，发送至所述图像叠加模块将录制视频与VR视频进行叠加；

所述预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。

在上述的手机虚拟现实交互系统中所述手机还具有陀螺仪，所述陀螺仪用于感应手机在播放视频的过程中在三维空间内产生的位移并转换为相应的电信号，图像控制模块根据陀螺仪产生的电信号对显示屏上播放的视频执行相应操作。

在上述的手机虚拟现实交互系统中图像叠加模块对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放；

其中，图像叠加模块在对录制视频和VR视频做透明混合叠加处理时，图像录制模块录制的视频或VR视频作为主视频。

同时本发明还提供了一种手机虚拟现实交互方法，包括以下步骤：

将手机固定在头戴设备上，

在手机的显示屏上进行VR视频播放；

手机实时录制视频；

将录制视频与VR视频进行叠加，使手机录制的视频和播放的VR视频同时在显示屏上进行播放；

在手机背面的录制区域进行手势操作，手机识别该手势操作后，将手势操作进行识别后转换为操作指令，在手机的显示屏上播放的录制视频执行相应的操作。

在上述的手机虚拟现实交互方法中，所述方法还包括：

对录制的视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏上进行播放。

在上述的手机虚拟现实交互方法中，通过手机对场景和/或物体进行识别；和/或

通过云端服务器对场景和/或物体进行识。

在上述的手机虚拟现实交互方法中，所述方法还包括：对手机录制的视频进行预处理后与VR视频进行叠加；

所述预处理的步骤包括：对录制视频做透明度处理和/或亮度处理。

在上述的手机虚拟现实交互方法中，对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放；

其中，在对录制视频和VR视频做透明混合叠加处理时，录制视频或VR视频作为主视频。

本发明的优点在于：

1.在利用手机播放VR视频时，还可以录制手机背面的视频，可以同时开启手机后向相机采集环境视频；

2.用户可以选择PIP拼接或者透明混合叠加的方式，将采集环境视频叠加到VR视频上，也可以选择将VR视频或者环境视频作为主视频，用户不再被手机屏幕和头盔遮挡，可以在环境中自由移动；

3.将采集的视频做一个本地和云端的物体识别，一部分通过手机做一个低延迟的快速本地识别，另一部分可以选择将捕捉视频回传到云端，在云端做一个更复杂的对实时要求不高的物体识别和场景理解，并可以反馈给VR内容发送服务器，同时控制发送相应内容；

4.可以识别录制视频中出现的手势操作，来通过手势控制播放菜单，并作各种高复杂度的用户交互。如控制弹幕的放大缩小删除，视频内容等快进快退等，进一步提高用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种手机虚拟现实交互系统的示意图；

图2为本发明在一实施例中VR头戴设备的示意图；

图3为本发明实现手势识别的原理过程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

实施例一

在本实施例中，本发明提供了一种手机虚拟现实交互系统，参照图1所示，该系统包括头戴设备和手机；

手机可固定在头戴设备上，手机的显示屏4用于播放VR视频；

其中，手机具有：

图像录制模块1，用于实时录制视频；

图像叠加模块3，用于将图像录制模块1录制的视频与VR视频进行叠加，使录制视频和播放的VR视频同时在手机的显示屏4上进行播放；

动作捕捉模块5，动作捕捉模块5用于捕捉录制视频画面中的出现的手势操作，并对手势操作进行识别后转换为操作指令；

图像控制模块7，用于根据动作捕捉模块5识别出的操作指令对显示屏4上播放的视频执行相应操作。

如图2所示，该图示出了一种较为典型的简易VR头戴设备爱，该头戴设备具有透镜11，在具体使用过程中，将手机固定在VR头戴设备的插槽内，通过透镜即可观看手机正面显示屏播放的视频。在使用该设备观看VR视频时，先将手机插在头戴设备10的插槽中，并关闭后盖12，正面的屏幕面对用户双眼，背面的图像录制模块1面对外界环境。利用图像录制模块1拍摄外景环境，再和手机播放的VR视频融合，达到虚拟场景和真实环境融合的目的。为了不影响手机背面的图像录制模块1进行视录制，还需要在头戴设备10的背面开设一小孔13。

本发明在传统基于手机的VR视频播放的基础上，同时利用手机后向相机采集环境的实时视频信息，并将该视频信息和VR视频做融合、识别，解决用户观看VR视频时对环境的感知，通过场景识别将VR视频和现实场景进行融合，以及通过手势识别做更自然的交互。

在本发明一可选的实施例中，手机虚拟现实交互系统还包括识别模块8，识别模块8对录制视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏。进一步可选的，识别模块8为手机的本地识别模块，通过本地识别模块来对录制视频中的场景和/或物体进行识别；和/或识别模块为位于云端服务器的云端识别模块，进而通过云端来进行识别。需要说明的是，本地识别内容有限，速度快；云端识别有一定延迟，但是运算能力强，可识别内容多。在实际的应用场景中，可以通过本地+云端相结合的识别方案来提高识别效果和速度。

下面就场景/物体识别列举一实施例进行进一步的说明：

用户在将手机安装在头戴设备后，在播放VR视频的同时，开启后置相机进行视频录制，录制的视频经过处理后叠加到VR视频上与VR视频同时在手机的显示屏上进行播放。当后置相机拍摄到一辆汽车时，识别模块会对拍摄到的汽车画面进行识别，识别成功后，将识别结果发送到云端，云端的服务器调取出该汽车的品牌、型号、参数等相关介绍信息，并可以推送与之相关的信息，例如该汽车品牌4S店的地址、联系方式等，并渲染到显示屏上显示，从而带来盈利收入。此外，为了使推送信息更加清晰可见，推送的内容最好叠加在画面之上。

在本发明一可选的实施例中，手机还具有预处理模块2，预处理模块2对录制视频进行预处理后，发送至图像叠加模块3将录制视频与VR视频进行叠加；预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。通过对录制的视频进行上述的处理后，使得将录制视频叠加到同时播放VR视频的显示屏上时，显示屏上播放的画面更加清晰、自然，带来更好的感官享受。

在本发明中，动作捕捉模块5可以根据用户的动态/静态手势操作来进行相应的菜单操作。例如用户在图像录制模块1的取景画面中，双手做出拉近和拉远的动作，动作捕捉模块5识别出该动作后，对视频场景做一个缩放的操作。手势识别流程包手势图像获取、手势分割、手势特征提取、手势识别四大部分，如图2所示。通过将识别到的手势图像和数据库中的手势模型进行比对，进而根据用户的手势发出相应的菜单控制指令发送到图像控制模块7，来对VR视频/录制视频进行相应的操作。

在本发明一可选的实施例中，手机还具有陀螺仪6，陀螺仪6用于感应手机在播放视频的过程中在三维空间内产生的位移并转换为相应的电信号，图像控制模块7根据陀螺仪6产生的电信号对显示屏上播放的视频执行相应操作。例如用户可以通过摆动头部来实现对视频的操作。

在本发明一可选的实施例中，图像叠加模块3对录制视频和VR视频做PIP（Picture In Picture，画中画） 拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放。进一步的，其中，图像叠加模块3在对录制视频和VR视频做透明混合叠加处理时，图像录制模块1录制的视频或VR视频作为主视频。其中，PIP拼接即意味着录制视频铺满整个显示屏进行播放，而VR视频占据一小部分屏幕面积并叠加在录制视频上，进而使得录制视频和VR视频同时在手机的显示屏上进行播放。透明叠加即意味着将录制视频进行透明度调整后（例如调整录制视频的透明度为50%），将录制视频叠加到VR视频叠加上，使得在显示屏可以同时播放录制视频和VR视频，且两者之间相互不影响。

实施例二

在本实施例中，本发明提供了一种手机虚拟现实交互方法，还方法主要包括以下步骤：

提供一手机和一头戴设备，将手机固定在头戴设备上，

在手机正的显示屏上进行VR视频播放；

手机实时录制背面的视频；

将录制视频与VR视频进行叠加，使手机录制的视频和播放的VR视频同时在显示屏上进行播放；

在手机背面的录制区域进行手势操作，手机识别该手势操作后，将手势操作进行识别后转换为操作指令，在手机的显示屏上播放的录制视频执行相应的操作。

在本发明一可选的实施例中，上述的方法还包括：对录制的视频中的场景和/或物体进行识别，并根据识别的结果调取相关信息并推送到手机的显示屏上进行播放。本发明可以通过手机本地对场景和/或物体进行识别；和/或通过云端服务器对场景和/或物体进行识别。需要说明的是，在手机本地识别的情况下，识别内容有限，速度快；在云端进行识别时，云端识别有一定延迟，但是运算能力强，可识别内容多。在实际的应用场景中，可以通过本地+云端相结合的识别方案来提高识别效果和速度。

在本发明一可选的实施例中，上述的方法还包括：对手机录制的视频进行预处理后与VR视频进行叠加。进一步的，预处理的步骤包括：对录制视频做缩放处理、透明度处理和/或亮度处理。通过对录制的视频进行上述的处理后，使得将录制视频叠加到同时播放VR视频的显示屏上时，显示屏上播放的画面更加清晰、自然，带来更好的感官享受。

在本发明一可选的实施例中，对录制视频和VR视频做PIP拼接或者做透明混合叠加后，使录制视频和VR视频同时在手机的显示屏上进行播放。进一步的，在对录制视频和VR视频做透明混合叠加处理时，录制视频或VR视频作为主视频。进一步的，在对录制视频和VR视频做透明混合叠加处理时，录制视频或VR视频均可作为主视频。其中，PIP拼接即意味着录制视频铺满整个显示屏进行播放，而VR视频占据一小部分屏幕面积并叠加在录制视频上，进而使得录制视频和VR视频同时在手机的显示屏上进行播放。透明叠加即意味着将录制视频进行透明度调整后（例如调整录制视频的透明度为50%），将录制视频叠加到VR视频叠加上，使得在显示屏可以同时播放录制视频和VR视频，且两者之间相互不影响。

综上所述，由于本发明采用了上述的技术方案，具有如下的技术优点：

1.在利用手机播放VR视频时，还可以录制手机背面的视频，可以同时开启手机后向相机采集环境视频；

2.用户可以选择PIP拼接或者透明混合叠加的方式，将采集环境视频叠加到VR视频上，也可以选择将VR视频或者环境视频作为主视频，用户不再被手机屏幕和头盔遮挡，可以在环境中自由移动；

3.将采集的视频做一个本地和云端的物体识别，一部分通过手机做一个低延迟的快速本地识别，另一部分可以选择将捕捉视频回传到云端，在云端做一个更复杂的对实时要求不高的物体识别和场景理解，并可以反馈给VR内容发送服务器，同时控制发送相应内容；

4.可以识别录制视频中出现的手势操作，来通过手势控制播放菜单，并作各种高复杂度的用户交互。如控制弹幕的放大缩小删除，视频内容等快进快退等，进一步提高用户体验。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。