基于虚拟现实技术的人机交互系统及交互方法与流程

本发明涉及虚拟现实技术领域，更具体的说，涉及一种基于虚拟现实技术的人机交互系统及交互方法。

背景技术：

近年来，虚拟现实技术以其逼真实时的内容展现形式，受到了越来越多人的追捧，为迎合市场需求，很多热门行业如游戏、电影等公司纷纷大力开发虚拟现实世界。

目前，较为常用的虚拟现实设备是头戴式虚拟现实设备(也可称为：VR头显设备)，头戴式虚拟现实设备利用佩戴在头部的显示器，将人对外界的视觉和听觉封闭，引导用户产生一种身在虚拟环境中的感觉。其显示原理是左右眼屏幕上分别显示左右眼的图像，人眼获取这种带有差异的信息后，在脑海中产生立体感。当前的头戴式虚拟现实设备主要分为两种：一种头戴式虚拟现实设备只能进行单纯的沉浸式全景交互体验，仅支持听觉和视觉的观感，无法与用户进行互动；另一种头戴式虚拟现实设备具备手柄和位移识别功能，能够根据用户的手势和位移，与用户进行简单的沉浸式全景交互。

然而，现有的虚拟现实设备均具有用户与虚拟场景互动性差的缺点，沉浸式体验的真实性较弱。

技术实现要素：

有鉴于此，本发明公开一种基于虚拟现实技术的人机交互系统及交互方法，以实现用户能够通过体感动作与虚拟现实头显设备显示内容进行人机互动，提高沉浸式体验的真实性。

一种基于虚拟现实技术的人机交互系统，包括：虚拟现实头显设备、控制器和体感识别装置；

所述体感识别装置用于捕捉用户的体感数据信息；

所述控制器分别与所述虚拟现实头显设备和所述体感识别装置连接，所述控制器用于获取所述体感识别装置输出的所述体感数据信息，并将所述体感数据信息转换成用户运动数据处理信号，输出至所述虚拟现实头显设备；

所述虚拟现实头显设备用于接收来自所述控制器的所述用户运动数据处理信号，并控制显示的虚拟场景中的运动模型同步运动。

一种基于虚拟现实技术的人机交互系统的交互方法，所述方法包括：

接收体感识别装置发送的第一体感数据信息，所述第一体感数据信息由所述体感识别装置监测到人体信息时生成；

向虚拟现实头显设备发送视频播放指令，控制所述虚拟现实头显设备播放预设视频；

接收所述体感识别装置发送的第二体感数据信息，所述第二体感数据信息由所述体感识别装置监测到人体的动作信息时生成；

将所述第二体感数据信息转换成用户的运动数据处理信号；

将所述运动数据处理信号输出至所述虚拟现实头显设备，控制所述虚拟现实头显设备显示的虚拟场景中的运动模型同步运动。

从上述的技术方案可知，本发明公开了一种基于虚拟现实技术的人机交互系统及交互方法，人机交互系统包括：虚拟现实头显设备、控制器和体感识别装置，当用户需要与虚拟世界进行交互时，体感识别装置会捕捉用户的体感数据信息，并将体感数据信息输出至控制器，控制器将获取的体感数据集信息转换成用户运动数据处理信号，输出至虚拟现实头显设备，控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动，完成人机交互。因此，本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动，从而大大提高了沉浸式体验的真实性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图；

图2为本发明实施例公开的一种虚拟现实头显设备根据接收来自控制器的用户运动数据处理信号，控制显示的虚拟场景中的运动模型同步运动的方法流程图；

图3为本发明实施例公开的一种虚拟现实头显设备的产品结构示意图；

图4为本发明实施例公开的一种体感识别装置的产品结构示意图；

图5为本发明实施例公开的另一种基于虚拟现实技术的人机交互系统的结构示意图；

图6为本发明实施例公开的另一种基于虚拟现实技术的人机交互系统的结构示意图；

图7为本发明实施例公开的一种基于虚拟现实技术的人机交互方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于虚拟现实技术的人机交互系统及交互方法，以实现用户能够通过体感动作与虚拟现实头显设备显示内容进行人机互动，提高沉浸式体验的真实性。

如图1所示，本发明实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图，人机交互系统包括：虚拟现实头显设备100、控制器200和体感识别装置300。

具体的，体感识别装置300用于捕捉用户的体感数据信息，体感数据信息包括：人体的位移和肢体动作信息(如伸手、抬胳膊等)，肢体动作信息具体包括身体多个部位之间的相对位置信息和运动速度。

在实际应用中，体感识别装置300可以通过设置JSSDK(Javascript Software Development Kit)开发页面，对用户的体感信息进行捕捉，实现对用户肢体动作的监控和识别。其中，JSSDK是硬件或软件开发商使用Javascript开发的一种SDK(Software Development Kit，软件开发工具包)。

控制器200分别与虚拟现实头显设备100和体感识别装置300连接，控制器200用于获取体感识别装置300输出的体感数据信息，并将体感数据信息转换成用户运动数据处理信号，输出至虚拟现实头显设备100。

控制器200采用计算机，其主要由主控芯片、内部存储器、外部存储器、显示驱动器和音频驱动器组成。

虚拟现实头显设备100用于接收来自控制器200的用户数据处理信号，并控制显示的虚拟场景中的运动模型同步运动。

需要说明的是，虚拟场景中的运动模型可以是第一人称动作模型，也可以是第三人称动作模型。其中，第三人称动作模型与第一人称动作模型的区别在于：第一人称动作模型在虚拟场景中显示的只有主角的视野，而第三人称动作模型在虚拟场景中更强调动作感，主角在虚拟场景中是可见的。在实际应用中，第一人称动作模型和第三人称动作模型之间可以相互转换。

当运动模型为第一人称动作模型时，假设虚拟现实头显设备100显示的虚拟场景为赛车场景，并展示有跑道，动作模型为赛车手模型，当用户做出赛车比赛的肢体动作，如转动方向盘时，体感识别装置300会捕捉到用户转动方向盘的体感数据信息，并输出至控制器200；控制器200将用户转动方向盘的体感数据信息转换成用户转动方向盘的运动数据处理信号，输出至虚拟现实头显设备100；虚拟现实头显设备100根据来自控制器200的用户转动方向盘的运动数据处理信号，控制赛车比赛虚拟场景中的赛车手模型同向并同步转动方向盘，实现对虚拟赛车场景中赛车运动方向的控制。

当运动模型为第三人称动作模型时，假设虚拟现实头显设备100显示的虚拟场景为枪战场景，动作模型为某一游戏角色模型。当用户做出射击的肢体动作时，体感识别装置300会捕捉到用户做出的射击动作的体感数据信息，并输出至控制器200；控制器200将用户射击的肢体动作转换成对应的运动数据处理信号，输出至虚拟现实头显设备100；虚拟现实头显设备100根据来自控制器200的用户射击的肢体动作对应的运动数据处理信号，控制虚拟场景中的对应的游戏角色模型执行相同的射击肢体动作。

综上可知，本发明公开的基于虚拟现实技术的人机交互系统，当用户需要与虚拟世界进行交互时，体感识别装置会捕捉用户的体感数据信息，并将体感数据信息输出至控制器，控制器将获取的体感数据集信息转换成用户运动数据处理信号，输出至虚拟现实头显设备，控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动，完成人机交互。因此，本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动，从而大大提高了沉浸式体验的真实性。

在一实施例中，如图2所示，本发明公开了一种虚拟现实头显设备根据接收来自控制器的用户运动数据处理信号，控制显示的虚拟场景中的运动模型同步运动的方法流程图，该方法包括步骤：

步骤S201、接收来自控制器200的用户运动数据处理信号；

步骤S202、从用户运动数据处理信号中提取出用户的位移信息、身体多个部位之间的相对位置信息和运动速度；

具体的，位移信息指的是人体的位置在运动过程中的移动信息。身体多个部位之间的相对位置信息和运动速度指的是人体的肢体动作信息，也可以认为是人体的骨骼信息。

步骤S203、根据相对位置信息和运动速度模拟得到人体的轮廓信息；

步骤S204、将轮廓信息和位移信息映射到显示的虚拟场景中的运动模型，控制运动模型同步运动。

需要说明的是，在实际应用中，虚拟现实头显设备100可以采用视频、图片、WebGL(Web Graphics Library，web图形库)等方式对用户运动数据处理信号进行处理，实现运动模型与用户同步运动的呈现。与此同时，还可以通过JavaScript开发与用户互动的逻辑。

结合图1和图3，虚拟现实头显设备具体包括：头显外壳101、头显控制单元102(参见图1)、内置于头显外壳101内部同时靠近人眼并与左右眼对应的两个立体视镜103、位于立体视镜103前端并与立体视镜103中心相同的显示屏104，绑于头显外壳101两侧与上部，用于固定在用户头部的头带105，以及显示屏插口106，显示屏104放置在显示屏插口106内。

具体的，头显外壳101靠近人脸的一侧符合人类面部工程学特征，前额、脸颊、鼻子处均有贴合人类面颊特征的凹槽，同时利用此类特征起到支撑整个面颊的作用。将头显外壳101与人类面颊接触面贴合起来，使得外界光线不得进入其中，从而使得用户可以更好地沉浸在显示屏104所提供的场景内容中。

头显控制单元102用于接收来自控制器200的用户运动数据处理信号，并控制显示屏104显示的虚拟场景中的运动模型同步运动。

立体视镜103用于将显示屏104中显示的内容以立体的形式体现出来，可以选自非球面镜片、超韧镜片、变色镜片、染色镜片、渐进多焦镜片、防辐射镜片、树脂镜片中的至少一种。例如当选用非球面镜片时，通过两个非球面镜片分别观看显示屏104的双分屏显示内容，根据双眼看到的物体角度不同，产生远近的深度，从而产生立体感。

显示屏104用于虚拟现实场景的显示，可以是智能手机、LED显示屏和平板电脑中的至少一种。

用户在使用虚拟现实头显设备100时，需要将头带105固定于头部，通过调节头带105，用户可以解放双手并且不受外界光影变化的影响，完全沉浸在显示屏104显示的画面。

其中，头显控制单元102具体包括：惯性传感器102a、处理芯片102b、供电部件102c和传输部件102d；

惯性传感器102a可以选自加速度传感器、角速度传感器、地磁计中的一种或多种，用于感测用户头部的位置变化数据和姿态变化数据。

具体的，角速度传感器用于获取用户头部在空间中的三轴角信息；

加速度传感器用于获取用户头部在空间中的三轴瞬时加速度信息。

地磁计用于感测磁通量信息。

处理芯片102b用于将惯性传感器102a感测到的原始数据，例如加速度、角速度和磁通量中的一种或多种，转换为用户头部运动时的位置信息和姿态信息，例如根据角速度传感器获取的用户头部在空间中的三轴角信息，得到三轴角增量信息，通过在时间维度上对测得的三轴角增量进行积分，即可得到每一轴的转动角度，从而得到用户头部在转动时的姿态角变化；根据加速度传感器获取的用户头部在空间中的三轴瞬时加速度信息，并结合重力信息，利用三角函数可以求得各轴与重力分量的夹角，利用该夹角可以对角速度传感器的到的三轴角进行对比和矫正；根据地磁计感测的磁通量信息，对角速度传感器进行极性偏移校正，以使得测量的结果更加准确；

供电部件102c用于为显示屏101供电，可以选用一次性电池、可充电电池等方式；

传输部件102d用于虚拟现实头显设备100和控制器200之间的数据或信号通信。

优选的，头显控制单元102还可以包括至少一个控制按键102e。当单独使用虚拟现实头显设备100进行虚拟现实场景的演示时，可以通过控制按键102e进行操控。控制按键102e可以包括方向控制按键，如上、下、左、右方向控制按键，以及功能控制按键，如选择、切换、返回控制按键。

优选的，虚拟现实头显设备100还可以包括：与头显控制单元102连接的风扇(图中未示出)，风扇用于吹出模拟的自然风。本实施例中采用风扇吹出模拟的自然风，以让用户享受大自然的阵阵清风，以清风拂面的形式增强用户在虚拟场景中的临场感，并提高用户使用的舒适度和体验。

优选的，虚拟现实头显设备100还可以包括：与头显控制单元102连接的气味发生器(图中未示出)，气味发生器用于调制出真实的气味。气味发生器设置在用户带上虚拟现实头显设备100时，用户鼻子对应的虚拟现实头显设备100的位置附近。气味发生器能够对头显控制单元102输出的气味信息进行转换，调制出与气味信息相匹配的真正的气味，并可经有设置在虚拟现实头显设备100上的风扇，将调制出的真正的气味进行挥发，增强用户的临场感和体验。

虚拟现实头显设备100用于为用户提供场景显示，需要长时间佩戴于用户头部，因此其重量和舒适度必须保证良好的用户体验。根据本发明的一个实施例，虚拟现实头显设备100与控制器200之间通过无线进行数据交换，此过程不仅可以传输有效数据和信号，同时还可以避免用户在运动时被连接线困扰，从而提升用户体验。

具体的，虚拟现实头显设备100和控制器200通过无线通信单元400连接，无线通信单元400可以选自蓝牙、无线WiFi、红外线、NFC(Near Field Communication，近距离无线通讯技术)、RFID(Radio Frequency Identification，射频识别技术)中的一种或多种。

如图4所示，本发明的一个具体实施例公开的一种体感识别装置的产品结构示意图，体感识别装置包括：用于固定安装在设定位置401处(如墙上)的体感摄像机301和用于设置在底板402上的感应位302，体感摄像机301用于感知人体信息，体感摄像机301的三维识别区域位于感应位302上方。体感摄像机301优选位于设定位置401的中心位置，并安装在设定位置401上，体感摄像机301带有摄像头的部分露出设定位置401少许，以便采集视频信息。

体感摄像机301包括红外发射器和摄像头，红外发射器用于发出覆盖整个可视范围的光线，其可视范围为感应位302，摄像头接收感应位302的反射光线，并根据反射光线得到体感识别信息。

体感摄像机6捕捉人体动作的原理是：首先，通过黑白光谱的方式来感知环境，纯黑代表无穷远，纯白代表无穷尽，黑白间的灰色地带对应实际物体到摄像机的物理距离，收集视野范围内的每一点，实时3D再现周围环境；其次，在图像中寻找可能是人体的移动物体，即通过从噪音中提取出有用信号的方式，将人体从背景环境中区分出来；然后，将人图像的每一个像素传送进一个辨别人体部位的机器学习系统中，以辨识某个特定像素属于哪个身体部位；最后，根据追踪到的关节点来生成一副骨架系统，从而捕捉到人体的体感数据信息。

在一实施例中，如图5所示，人机交互系统还可以包括：与虚拟现实头显设备100连接的听觉装置500，听觉装置500用于播放虚拟场景中的声音，如耳机或音响，以增强用户在虚拟场景中的临场感。

为进一步优化上述实施例，人机交互系统还可以包括：与虚拟现实头显设备100连接的声电转换装置，声电转换装置用于用户语音识别，如麦克风。

优选的，可以选用带麦克风的耳机，这样用户在收听虚拟场景中声音的同时，还可以通过麦克风向虚拟场景发出语音指令，以提高用户体验。

为进一步优化上述实施例，人机交互系统还可以包括：与控制器200连接的显示设备600，显示设备600用于对用户与虚拟场景中的互动内容进行展示。

优选的，显示设备600可以选用TFT-LCD(Thin Film Transistor-Liquid Crystal Display，薄膜晶体管液晶显示器)，以提高立体三维显示的清晰度。

为进一步优化上述实施例，如图6所示，本发明另一实施例公开的一种基于虚拟现实技术的人机交互系统的结构示意图，该人机交互系统包括：至少两个虚拟现实头显设备，如虚拟现实头显设备A1和虚拟现实头显设备A2，与虚拟现实头显设备等数量的体感识别装置，如体感识别装置B1和体感识别装置B2，以及与各虚拟现实头显设备和各体感识别装置连接的控制器C，如控制器C分别与虚拟现实头显设备A1、虚拟现实头显设备A2、体感识别装置B1和体感识别装置B2连接，其中，每一个虚拟现实头显设备对应一个体感识别装置，如虚拟现实头显设备A1与体感识别装置B1对应，虚拟现实头显设备A2与体感识别装置B2对应，每个虚拟现实头显设备和体感识别装置的对应信息均存储在控制器C中。

与图1所示实施例不同的是，图6示出的人机交互系统可以实现多人同时进行人机互动。当多位用户同时在各自佩戴虚拟现实头显设备显示的虚拟场景进行沉浸式体验时，各用户之间的体验内容可以相互独立，这时，控制器C会将各体感识别装置捕捉的体感数据信息，转换成用户运动数据处理信号，输出至各体感识别装置对应的虚拟现实头显设备，并控制各虚拟现实头显设备显示的虚拟场景中的运动模型与对应用户同步运动。

当多位用户同时在各自佩戴虚拟现实头显设备显示的虚拟场景进行沉浸式体验时，各用户之间的体验内容也可以相关联，如多人竞技游戏。

具体的，控制器的软件部分包括：互联网数据系统。互联网系统是用户进入平台的入口，用户通过互联网登录平台，建立用户ID。互联网系统用于存储所有用户的ID、个人注册信息以及平台体验数据，通过识别不同的ID，调取虚拟场景中各ID对应的运动模型，如游戏角色、游戏角色的装备数据、等级数据等个人平台体验数据信息，实现多用户之间的互动。

需要说明的是，本实施例中人机交互系统还可以通过互联网数据系统实现多个异地用户之间的互动，具体互动原理类似当前的多人竞技游戏，此次不再赘述。

与人机交互系统相对应，本发明还公开了一种基于虚拟现实技术的人机交互方法。

如图7所示，本发明实施例公开的一种基于虚拟现实技术的人机交互方法的方法流程图，人机交互方法应用于控制器，控制器分别与虚拟现实头显设备和体感识别装置连接，人机交互方法包括步骤：

步骤S701、接收体感识别装置发送的第一体感数据信息，所述第一体感数据信息由体感识别装置监测到人体信息时生成；

具体的，体感识别装置包括：体感摄像机和感应位，体感摄像机监测人体是否进入感应位，感应位为用户所占区域，用户在此区域做出相关动作，若监测到人体进入感应位，则将监测信息转换成第一体感数据信息发送给控制器；若控制器在预设时间段内没有接收到感识别装置发送的第一体感数据信息，控制器会控制体感识别装置继续捕捉感应位内的信息。

步骤S702、向虚拟现实头显设备发送视频播放指令，控制所述虚拟现实头显设备播放视频；

具体的，控制器得到人体进入感应位的确认信息后，会向虚拟现实头显设备发送视频播放指令，控制虚拟现实头显设备播放预设视频。

步骤S703、接收所述体感识别装置发送的第二体感数据信息，所述第二体感数据信息由所述体感识别装置监测到人体的动作信息时生成；

具体的，体感摄像机监测人体是否在感应位做出动作，在监测到人体的肢体动作时生成第二体感数据信息，并将第二体感数据信息发送至控制器。若控制器在阈值时间内未获得体感摄像机发送的第二体感数据信息，则恢复到初始状态。

其中，第二体感数据信息包括：用户的位移信息、身体多个部位之间的相对位置信息和运动速度。

步骤S704、将第二体感数据信息转换成用户的运动数据处理信号；

步骤S705、将所述运动数据处理信号输出至所述虚拟现实头显设备，控制所述虚拟现实头显设备显示的虚拟场景中的运动模型同步运动。

综上可知，本发明公开的基于虚拟现实技术的人机交互方法，当用户需要与虚拟世界进行交互时，体感识别装置会捕捉用户的体感数据信息，并将体感数据信息输出至控制器，控制器将获取的体感数据集信息转换成用户运动数据处理信号，输出至虚拟现实头显设备，控制虚拟现实头显设备显示的虚拟场景中的运动模型同步运动，完成人机交互。因此，本发明实现了用户通过体感动作与虚拟现实头显设备显示内容的人机互动，从而大大提高了沉浸式体验的真实性。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。