虚拟现实交互方法及装置与流程

本申请涉及VR(Virtual Reality，虚拟现实)技术领域，尤其涉及VR交互方法及装置。

背景技术：

VR技术是一种创建和体验虚拟世界的计算机仿真系统技术。它利用计算机生成一种模拟环境，利用多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。VR技术未来将会发展成一种改变人类生活方式的新突破。

在二维屏幕交互中，几乎所有控制命令都可以抽象为按键动作。而对于VR输入设备来说，自然交互更重要，即现实世界里如何跟外界交互，在虚拟世界里人们也希望同样的方式交互，沉浸感更高，效率高，学习成本低。目前，VR交互仍在探索和研究中，与各种高科技的结合，将会使VR交互产生无限可能。VR不会存在一种通用的交互手段，它的交互要比平面图形交互拥有更加丰富的形式。

目前的VR交互方式主要有如下几种：

一、感官式沉浸

强调身体的沉浸感，主要靠采集肢体动作来进行VR交互。代表产品有Leap motion、Nimble sense、诺亦腾、Priovr、Control VR、Dexmo、Kinect、Omni。

感官式沉浸带来较强的沉浸感，带上头显，用户可低头看到自己的双手动作甚至全身动作，但在互动场景中，用户需双手长期悬空操作，或需记忆较多手势命令，影响用户体验。现有的借助辅助设备增强沉浸感的方式只会在特定超重度的场景中使用，因为其固有的使用门槛，需要用户花费比较长的时间穿戴和校准才能够使用。这些辅助设备存在一定的客观问题，会使用户操作得很累，削弱舒适性，且使用场景极其受限。

二、交互式沉浸

强调功能性，主要靠动作跟踪和按键控制来进行交互。代表产品有Stem，Hydra，Wii，摇杆、方向盘、体感枪等。

交互式沉浸虽然能通过对设备空间位置的跟踪实现部分沉浸感，并通过按键命令实现较高效的控制，但是无法满足用户在虚拟世界中触摸、拿捏等自然交互的愿望。

随着VR的不断扩展和应用，其交互问题也逐渐凸显，交互问题跟VR的功能息息相关，VR中的交互会影响用户的体验以及沉浸感。VR要提供完美的沉浸式体验，配上游戏手柄或者辅助设备都并不是最佳选择，而是要更为恰当的解决方案。

技术实现要素：

本申请实施例提供VR交互方法及装置，以增强VR交互的沉浸感，增强VR交互操作舒适性。

本申请的技术方案是这样实现的：

一种虚拟现实VR交互方法，该方法包括：

实时检测VR用户的眼睛动作；

判断VR用户的眼睛动作是否为主动眨眼，若是，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令，对VR图像执行该VR操作指令。

所述判断VR用户的眼睛动作是否为主动眨眼包括：

根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率，判断用户的眼睛动作是否为主动眨眼。

所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左切换VR图像视野指令，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像视野；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认当前VR图像视野；或/和，

根据预先定义的眨眼频率范围与切换视野大小的对应关系，确定当前眨眼频率对应的VR图像切换视野大小。

所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转VR图像菜单，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像菜单；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认当前视线交互确定的位置；或/和，

根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系，确定当前眨眼频率对应的VR图像菜单旋转角度。

所述所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动，当右眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认点击当前在VR图像上的操作符号；或/和，

根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系，确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。

所述所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转当前浏览的VR图像，当右眼眨动时，确定对应的VR操作指令为向右切换当前浏览的VR图像；或/和，

当双眼同时眨动时，确定对应的VR操作指令为按照视线交互点所在位置，将当前位置的图像放大到全屏浏览。

所述所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定执行VR图像上左侧的操作符号对应的VR操作指令，当右眼眨动时，确定执行VR图像上右侧的操作符号对应的VR操作指令；或/和，

当双眼同时眨动时，确定执行VR图像上中间位置的操作符号对应的VR操作指令。

所述根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当双眼同时眨动时，确定对应的VR操作指令为抓取当前VR图像界面；或/和，

当双眼同时眨动时，确定对应的VR操作指令为对当前VR图像进行拍照。

一种虚拟现实VR交互装置，该装置包括：

眼睛动作检测模块：用于实时检测VR用户的眼睛动作，判断VR用户的眼睛动作是否为主动眨眼，确定眨动的眼睛或/和眨动的频率；

VR操作匹配模块：用于根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令，对VR图像执行该VR操作指令。

所述眼睛动作检测模块判断VR用户的眼睛动作是否为主动眨眼包括：

根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率，判断用户的眼睛动作是否为主动眨眼。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左切换VR图像视野指令，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像视野；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认当前VR图像视野；或/和，

根据预先定义的眨眼频率范围与切换视野大小的对应关系，确定当前眨眼频率对应的VR图像切换视野大小。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转VR图像菜单，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像菜单；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认当前视线交互确定的位置；或/和，

根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系，确定当前眨眼频率对应的VR图像菜单旋转角度。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动，当右眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动；或/和，

当双眼同时眨动时，确定对应的VR操作指令为确认点击当前在VR图像上的操作符号；或/和，

根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系，确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转当前浏览的VR图像，当右眼眨动时，确定对应的VR操作指令为向右切换当前浏览的VR图像；或/和，

当双眼同时眨动时，确定对应的VR操作指令为按照视线交互点所在位置，将当前位置的图像放大到全屏浏览。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定执行VR图像上左侧的操作符号对应的VR操作指令，当右眼眨动时，确定执行VR图像上右侧的操作符号对应的VR操作指令；或/和，

当双眼同时眨动时，确定执行VR图像上中间位置的操作符号对应的VR操作指令。

所述VR操作匹配模块根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当双眼同时眨动时，确定对应的VR操作指令为抓取当前VR图像界面；或/和，

当双眼同时眨动时，确定对应的VR操作指令为对当前VR图像进行拍照。

可见，本申请通过追踪眼睛动作，判断VR用户的眨眼情况，来匹配VR操作，无需多余控制器，有效增强了VR交互的可操作性，增强了VR交互的沉浸感和操作舒适性。

附图说明

图1为本申请一实施例提供的VR交互方法流程图；

图2为本申请另一实施例提供的VR交互方法流程图；

图3为VR launcher的主视图示例；

图4为VR砸砖块游戏的主视图示例；

图5为360°相册的主视图示例；

图6为将360°相册当前位置的图像放大到全屏浏览的示例图；

图7为第一类VR弹框的示例图；

图8为第二类VR弹框的示例图；

图9为第三类VR弹框的示例图；

图10为本申请实施例提供的VR交互装置的组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本申请一实施例提供的VR交互方法流程图，其具体步骤如下：

步骤101：实时检测VR用户的眼睛动作。

步骤102：判断VR用户的眼睛动作是否为主动眨眼，若是，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令，对VR图像执行该VR操作指令。

其中，判断VR用户的眼睛动作是否为主动眨眼包括：

根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率，判断用户的眼睛动作是否为主动眨眼。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左切换VR图像视野指令，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像视野；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认当前VR图像视野；或/和，根据预先定义的眨眼频率范围与切换视野大小的对应关系，确定当前眨眼频率对应的VR图像切换视野大小。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转VR图像菜单，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像菜单；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认当前视线交互确定的位置；或/和，根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系，确定当前眨眼频率对应的VR图像菜单旋转角度。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号(例如：左移箭头)向左移动，当右眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号(例如：右移箭头)向右移动；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认点击当前在VR图像上的操作符号；或/和，根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系，确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转当前浏览的VR图像(例如：360°相册)，当右眼眨动时，确定对应的VR操作指令为向右切换当前浏览的VR图像；或/和，当双眼同时眨动时，确定对应的VR操作指令为按照视线交互点所在位置，将当前位置的图像放大到全屏浏览。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定执行VR图像上左侧的操作符号对应的VR操作指令，当右眼眨动时，确定执行VR图像上右侧的操作符号对应的VR操作指令；或/和，当双眼同时眨动时，确定执行VR图像上中间位置的操作符号对应的VR操作指令。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当双眼同时眨动时，确定对应的VR操作指令为抓取当前VR图像界面。

一实施例中，根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当双眼同时眨动时，确定对应的VR操作指令为对当前VR图像进行拍照。

图2为本申请另一实施例提供的VR交互方法流程图，其具体步骤如下：

步骤201：实时获取VR用户的眼睛动作。

可通过眼睛、眼球、视线状态等追踪技术，获取VR用户的眼睛动作。

步骤202：判断获取的VR用户的眼睛动作是否为主动眨眼，若是，执行步骤203；否则，不作进一步处理，结束本流程。

眼睛动作包括：眼球转动、眨眼等。眨眼又包括：被动眨眼和主动眨眼。被动眨眼主要分为两种情况：

一、正常情况下，人每分钟大约要眨眼15次(1次/4秒，即4Hz)，且双眼同时眨动，每次眨眼要用0.2～0.4秒。

二、当眼睛感到疲劳的时候，也会眨动眼睛(双眼同时眨动)，这样的眨动使得光线被中断，从而让眼睛得到了短暂的休息，此时，双眼眨动比较快速。

本实施例中，要区分并过滤掉被动眨眼。

主动眨眼指的是有目的性的眨眼，本实施例中，指的是用于发出VR操作指令的眨眼，可以是单眼眨动，也可以是双眼眨动。可通过设置单眼或/和双眼眨动的频率和时长，来定义主动眨眼，其中，眨动的时长可以每次眨眼所花费的时长，即从闭眼到睁眼之间的时长来表示，这里，单眼或/和双眼眨动的频率和时长可根据对被动眨眼的频率和时长的统计结果来设置，本申请对此不作具体数值限定。在具体应用中，优选地，设置主动眨眼的单眼或/和双眼眨动的时长为超过1秒。

步骤203：根据获取的眼睛动作信息，计算主动眨眼的频率，包括：左眼眨动频率(LBF，Left eye Blink Frequency)、或/和右眼眨动频率(RBF，Right eye Blink Frequency)、或/和双眼同时眨动频率(DBF，Double eyes Blinking Frequency)。

步骤204：根据计算得到的主动眨眼的频率，匹配对应的VR操作指令，根据该VR操作执行对应VR操作。

可以预先设定主动眨眼的眼睛或/和主动眨眼频率范围对应的VR操作指令。例如：该VR操作指令可以是：视野切换指令，具体地，左眼眨动对应向左切换视野指令，右眼眨动对应向右切换视野指令，同时，不同的眨眼频率范围对应不同的切换视野大小；双眼同时眨动，则对应对当前视野的操作如：确定。

以下给出本申请的应用示例：

应用场景示例一：

该场景为VR launcher场景，图3为VR launcher的主视图示例。

在该场景下，当检测到VR用户左眼眨动时，将launcher菜单向左旋转，并根据眨动频率所在的范围，确定旋转角度是30°、45°还是90°；当检测到VR用户右眼眨动时，将launcher菜单向右旋转，并根据眨动频率所在范围，确定旋转角度是30°、45°还是90°；当检测到双眼同时眨动时，结合视线交互确定的位置，进行点击确认等操作。

应用场景示例二：

该场景为VR砸砖块游戏场景，图4为VR砸砖块游戏的主视图示例。

在该场景中，当检测到VR用户左眼眨动时，将瞄准方向向左移动，并根据眨动频率范围，确定对应的移动步长，例如：移动0.5或者1个砖块的长度；当检测到VR用户右眼眨动时，将瞄准方向向右移动，并根据眨动频率范围，确定对应的移动步长，例如：移动0.5或者1个砖块的长度；当检测到VR用户双眼眨动时，按照既定确认方向发射小球，砸砖块。

应用场景示例三：

该场景为360°相册场景，图5为360°相册的主视图示例。

在该场景中，当检测到VR用户左眼眨动时，将相册预览界面向左旋转，并将旋转角度设置为当前视角的范围；当检测到VR用户右眼眨动时，将相册预览界面向右旋转，并将旋转角度设置为当前视角的范围；当检测到VR用户双眼眨动时，按照视线交互点所在位置，将当前位置的图像放大到全屏浏览，效果如图6所示。

应用场景示例四：

弹框场景

图7为第一类VR弹框的示例图，图8为第二类VR弹框的示例图，图9为第三类VR弹框的示例图。

对于上述三种弹框，若检测到VR用户左眼眨动，则执行左侧箭头对应的VR操作指令；若检测到VR用户右眼眨动，则执行右侧箭头对应的VR操作指令；若检测到VR用户双眼眨动，则执行中间的椭圆对应的VR操作指令。

应用场景示例五：

VR场景抓取

在体验虚拟现实的过程中，如果对某个画面很有感触，这时就可以通过主动眨眼来对VR图像进行截屏等抓取操作。

应用场景示例六：

VR拍照

VR场景中，若可以调用照相机功能，则可以通过主动眨眼控制进行拍照。

图10为本申请实施例提供的VR交互装置的组成示意图，该装置主要包括：眼睛动作检测模块101和VR操作匹配模块102，其中：

眼睛动作检测模块101：用于实时检测VR用户的眼睛动作，判断VR用户的眼睛动作是否为主动眨眼，确定眨动的眼睛或/和眨动的频率，将眨动的眼睛标识(左眼/右眼/双眼)和眨动的频率发送给VR操作匹配模块102。

VR操作匹配模块102：用于根据眼睛动作检测模块101发来的眨动的眼睛或/和眨动的频率，确定对应的VR操作指令，对VR图像执行该VR操作指令。

一实施例中，眼睛动作检测模块101判断VR用户的眼睛动作是否为主动眨眼包括：

根据预先定义的主动眨眼动作对应的眨动时长或/和眨动频率，判断用户的眼睛动作是否为主动眨眼。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左切换VR图像视野指令，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像视野；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认当前VR图像视野；或/和，根据预先定义的眨眼频率范围与切换视野大小的对应关系，确定当前眨眼频率对应的VR图像切换视野大小。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转VR图像菜单，当右眼眨动时，确定对应的VR操作指令为向右切换VR图像菜单；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认当前视线交互确定的位置；或/和，根据预先定义的眨眼频率范围与VR图像菜单旋转角度的对应关系，确定当前眨眼频率对应的VR图像菜单旋转角度。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向左移动，当右眼眨动时，确定对应的VR操作指令为将当前在VR图像上的操作符号向右移动；或/和，当双眼同时眨动时，确定对应的VR操作指令为确认点击当前在VR图像上的操作符号；或/和，根据预先定义的眨眼频率范围与对当前在VR图像上的操作符号的移动步长的对应关系，确定当前眨眼频率对应的对当前在VR图像上的操作符号的移动步长。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定对应的VR操作指令为向左旋转当前浏览的VR图像，当右眼眨动时，确定对应的VR操作指令为向右切换当前浏览的VR图像；或/和，当双眼同时眨动时，确定对应的VR操作指令为按照视线交互点所在位置，将当前位置的图像放大到全屏浏览。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当左眼眨动时，确定执行VR图像上左侧的操作符号对应的VR操作指令，当右眼眨动时，确定执行VR图像上右侧的操作符号对应的VR操作指令；或/和，当双眼同时眨动时，确定执行VR图像上中间位置的操作符号对应的VR操作指令。

一实施例中，VR操作匹配模块102根据眨动的眼睛或/和眨动的频率，确定对应的VR操作指令包括：

当双眼同时眨动时，确定对应的VR操作指令为抓取当前VR图像界面；或/和，当双眼同时眨动时，确定对应的VR操作指令为对当前VR图像进行拍照。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。