根据用户头部动作控制虚拟现实交互的方法及系统与流程

本发明涉及智能交互控制的技术领域，更具体地，涉及一种根据用户头部动作控制虚拟现实交互的方法及系统。

背景技术：

虚拟现实技术(Virtual Reality，简称VR)，是指利用计算机接口连接现实中的接口设备，并结合计算机图形系统在计算机上生成可交互沉浸式环境的技术。VR技术利用计算机生成一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真模拟环境，以使用户沉浸到该模拟环境中，并且用户还可以通过相关操作与虚拟现实环境中的虚拟对象进行交互。

目前，VR技术一般通过将头戴式虚拟现实设备配戴在头部，利用虚拟现实设备封闭用户对外界的视觉和听觉，并引导用户沉浸到虚拟现实设备所产生的模拟环境中。通过虚拟现实设备实现与虚拟现实环境的连接，且借助虚拟现实设备上的按键来实现对所产生虚拟现实环境的控制，如通过虚拟现实设备上的确认按键实现进入虚拟现实环境交互的控制、通过音量按键实现对音量大小的调节等。但是，在使用VR显示设备观看视频时，这些传统的触控方式都不可用。

现有技术中，在视频播放上实现虚拟现实控制的基础是在视频的用户交互界面的设定区域中显示设定标识，利用视觉追踪技术确定到用户基于视觉反应触碰该设定标识区域后通过按键触发该设定区域的虚拟现实交互，而在现实操作中，很难避免用户因误操作触发不是用户本意的虚拟交互操作，影响到用户对虚拟现实的体验。再者，当用户需要通过虚拟设备上按键的配合才能执行相应的虚拟交互，增加了用户操作的复杂性，且用户在两重操作下不一定能完美地进行这两重操作的对接，从而影响用户体验。

因此，提供一种简便、快捷且准确地实现虚拟现实交互控制的方法是本领域亟待解决的问题。

技术实现要素：

有鉴于此，本发明提供了一种根据用户头部动作控制虚拟现实交互的方法及系统，解决了现有技术中不能简便、快捷且准确地对虚拟现实交互进行控制的问题。

为了解决上述技术问题，本发明提出一种根据用户头部动作控制虚拟现实交互的方法，包括：

在支持虚拟现实交互的显示系统内设置根据用户头部运动的方向、距离和加速度判断触发相应执行操作的预定方向、距离阈值及加速度阈值；

在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

进一步地，其中，在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容，进一步为：

在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容；同时再根据所述播放视频的设备空间位置变化的方向及距离调整所述显示系统内设置的在所述相应执行操作内容相关数值的变化。

进一步地，其中，在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容，进一步为：

在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向与所述预定方向的夹角小于或等于30度、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

进一步地，其中，所述加速度阈值不小于0.3m/s²。

进一步地，其中，所述距离阈值，进一步为大于或等于3cm。

另一方面，本发明还提供一种根据用户头部动作控制虚拟现实交互的系统，包括：预定条件设置模块及虚拟现实交互触发模块，其中，

所述预定条件设置模块，用于在支持虚拟现实交互的显示系统内设置根据用户头部运动的方向、距离和加速度判断触发相应执行操作的预定方向、距离阈值及加速度阈值；

所述虚拟现实交互触发模块，用于在所述显示系统内检测到所述播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

进一步地，其中，所述虚拟现实交互触发模块，进一步用于：

在所述显示系统内检测到所述播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容，同时再根据所述播放视频的设备运动的方向及距离调整所述显示系统内设置的在所述相应执行操作内容相关数值的变化。

进一步地，其中，所述虚拟现实交互触发模块，进一步用于：

在所述显示系统内检测到播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向与所述预定方向的夹角小于或等于30度、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

进一步地，其中，所述加速度阈值不小于0.3m/s²。

进一步地，其中，所述距离阈值，进一步为大于或等于3cm。

与现有技术相比，本发明的根据用户头部动作控制虚拟现实交互的方法及系统，实现了如下的有益效果：

(1)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，在用户观看视频选择视频内容上的虚拟现实交互时，通过用户头部动作控制所述播放视频的设备移动位置，并利用用户头部运动带动所述播放视频的设备产生的加速度(即用户点头、摇头、匀速上下、左右移动等)控制执行触发虚拟现实交互，不需要基于在虚拟设备上的硬件按键，仅根据用户在观看视频中的头部动作就可以实现对应的虚拟现实交互控制，避免了用户在虚拟现实交互中需要结合按键操作的繁杂性，提升了用户体验。

(2)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，用户观看视频时选择视频内容上虚拟现实交互后，结合根据追踪用户的头部动作的确认操作判定是否触发该虚拟现实的交互，保证了准确地按照用户意愿触发虚拟现实交互，避免了用户因误操作而误触发虚拟现实交互。

(3)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，在用户观看视频时触发选择所述显示系统内设置的所述相应执行操作的内容，同时再根据用户头部运动的方向调整在所述相应执行操作的内容相关数值的变化，实现了通过用户头部动作对虚拟现实交互内容数值变化的控制。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例1所述的根据用户头部动作控制虚拟现实交互的方法的流程示意图；

图2A为本发明实施例1所述的用户头部处于正面时的头部状态示意图；

图2B为本发明实施例1所述的用户头部由正面向右转动后的头部状态示意图；

图2C为本发明实施例1所述的用户头部由正面向左转动后的头部状态示意图；

图2D为本发明实施例1所述的用户头部由正面向上抬头后的头部状态示意图；

图2E为本发明实施例1所述的用户头部由正面向下低头后的头部状态示意图；

图3为本发明实施例2所述的根据用户头部动作控制虚拟现实交互的方法的流程示意图；

图4A为发明实施例2中在选择相应执行操作对应交互后触发所述相应执行操作的内容的结构示意图；

图4B为发明实施例2中在选择相应执行操作对应交互后触发并调整所述相应执行操作的内容中数值变化的结构示意图；

图5为本发明实施例3所述的根据用户头部动作控制虚拟现实交互的系统的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

如图1所示，图1为本实施例所述根据用户头部动作控制虚拟现实交互的方法的流程示意图。在本实施例中，根据用户头部的运动方向和距离以及用户头部运动的加速度控制虚拟现实交互，实现了用户利用头部动作对虚拟现实简便、快捷且准确的交互控制。本实施所述根据用户头部动作控制虚拟现实交互的方法的步骤如下：

步骤101、在支持虚拟现实交互的显示系统内设置根据用户头部运动的方向、距离和加速度判断触发相应执行操作的预定方向、距离阈值及加速度阈值。

所述支持虚拟现实交互的显示系统设置在用户用于观看视频的设备中，用户穿戴所述设备后，当用户头部运动时，例如，点头、摇头、匀速左右移动、匀速上下移动以及倾斜摇动，所述设备也会产生相应的空间位置变化。而用户头部的运动又体现了用户观看所述视频的视角变化，例如用户观看的是全景视频，在所述设备中预先设置根据用户头部运动带来的所述播放视频的设备空间位置变化规则有利于根据所述播放视频的设备的空间位置变化检测用户的头部运动，作为实现用户根据头部运动控制虚拟现实交互的基础。本实施例通过用户头部运动的加速度控制执行相应的虚拟现实交互，因此需要在显示系统中设置相应执行操作的加速度阈值以便于比较，并根据比较结果执行相应的操作，避免用户头部运动造成的误操作。

优选地，在本步骤中还可以在支持虚拟现实交互的显示系统中设置用于判断根据用户头部运动的偏航角(yaw)、俯仰角(pitch)、翻滚角(roll)调整视频的播放内容的视角空间位置变化并生成相应执行操作的加速度阈值。

其中，偏航角(yaw)为在三维坐标系(o-xyz)中oy轴在水平面上投影与坐标系ox轴之间的夹角，用以反应三维标识图像的在空间三维坐标轴上绕oy轴旋转的角度。俯仰角(pitch)是在三维坐标系中ox轴与垂直面的夹角,用以反应三维标识图像的在空间三维坐标轴上在ox轴方向旋转的角度。翻滚角(roll)为在三维坐标系中绕oz轴旋转的角度。

步骤102、在所述显示系统内选择所述相应执行操作对应的交互后，生成所述相应执行操作的提示图标。

步骤103、用户利用头部运动带动所述播放视频的设备产生相应的运动。该设备运动的方向和距离变化可由在所述设备内设置的陀螺仪进行检测。

步骤104、在所述显示系统内检测到所述用户头部运动带动所述播放视频的设备空间位置变化的方向和距离发生变化时，获取所述播放视频的设备变化的加速度值在在所述预定方向上的分量。

根据用户头部运动带动所述播放视频的设备空间位置变化并产生相应的空间位置变化的方向和距离，所述播放视频的设备空间位置变化的加速度与所述用户头部运动的加速度相对应，因此，在所述显示系统内检测所述设备空间位置变化的加速度反应用户头部运动的加速度。

可选地，在本步骤中还可以利用加速度传感器检测所述播放视频的设备变化的加速度值。

步骤105、在所述显示系统内将所述空间位置变化的方向、距离及所述加速度值在所述预定方向上的分量分别与所述预定方向、距离阈值及加速度阈值进行比较，判断所述空间位置变化的方向是否满足预定方向、所述空间位置变化的距离是否大于或等于所述距离阈值，且所述加速度值在所述预定方向上的分量是否大于或等于所述加速度阈值。

所述播放视频的设备空间位置变化的加速度值反应了用户头部运动所产生的加速度值。所述加速度值与加速度阈值进行比较也就是用户头部运动加速度与用户头部运动加速度的控制阈值之间的比较。在用户点头或摇头时所产生的加速度会比用户头部缓慢移动所产生的加速度大，通过加速度阈值判断出用户点头或摇头的动作，进而控制触发交互实现了用户头部运动对虚拟现实交互触发的准确控制。

步骤106、当所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

其中，所述相应执行操作的内容包括有：触发虚拟现实交互的确认、视频的开始/暂定、视频的快进/后退以及视频音频的增加/减小。

步骤107、当所述加速度值在所述预定方向上的分量小于所述加速度阈值时，不会触发所述显示系统内设置的所述相应执行操作的内容。

结合图2A-2E说明用户头部运动，其中，图2A为本实施例所述的用户头部处于正面时的头部状态示意图；图2B为本实施例所述的用户头部由正面向右转动后的头部状态示意图；图2C为本实施例所述的用户头部由正面向左转动后的头部状态示意图；图2D为本实施例所述的用户头部由正面向上抬头后的头部状态示意图；图2E为本实施例所述的用户头部由正面向下低头后的头部状态示意图。从图2A到图2B或图2C体现出了用户头部左右摇动；从图2A到图2D或图2E体现出了用户头部抬头和低头的运动。在本实施例中，通过用户的左右摇头和抬头、低头可以控制所述播放视频的设备的空间位置变化，并且根据用户头部运动的程度触发交互的内容，实现了用户头部对虚拟现实交互的控制。

在本实施例中，在支持虚拟现实交互的显示系统中检测根据用户头部运动导致的所述播放视频的设备的空间位置变化，还根据空间位置变化的加速度与预先设置的加速度阈值比较，基于比较结果控制在虚拟现实交互中的相应执行操作，实现了根据用户头部动作控制虚拟现实交互。利用用户头部运动控制虚拟现实交互的操作简单、快捷；并且本实施例设置了根据用户头部运动的所述播放设备空间位置变化控制触发虚拟现实交互的加速度阈值，基于用户头部运动的程度控制触发所述显示系统中相应的执行操作，保证了头部控制虚拟现实交互的准确性。

实施例2

如图3所示，为本实施例所述根据用户头部动作控制虚拟现实交互的方法的流程示意图。本实施例在实施例1的基础上说明了根据用户头部运动带动所述播放视频的设备空间位置变化控制执行相应操作的具体内容。本实施例所述的根据用户头部动作控制虚拟现实交互的方法的步骤如下：

步骤301、在支持虚拟现实交互的显示系统内设置根据用户头部运动的方向、距离和加速度判断触发相应执行操作的预定方向、距离阈值及加速度阈值。其中，所述加速度阈值不小于0.3m/s²；所述距离阈值，进一步为大于或等于3cm。

步骤302、在所述显示系统内选择所述相应执行操作对应的交互后，生成所述相应执行操作的提示图标。

步骤303、用户利用头部运动带动所述播放视频的设备产生相应的运动。该设备运动的方向和距离变化可由在所述设备内设置的陀螺仪进行检测。

步骤304、在所述显示系统内检测到所述用户头部运动带动所述播放视频的设备空间位置变化的方向和距离发生变化时，获取所述播放视频的设备变化的加速度值在在所述预定方向上的分量。

步骤305、在所述显示系统内将所述空间位置变化的方向、距离及所述加速度值在所述预定方向上的分量分别与所述预定方向、距离阈值及加速度阈值进行比较，判断所述播放视频的设备空间位置变化的方向与所述预定方向的夹角是否小于或等于30度、所述空间位置变化的距离是否大于或等于所述距离阈值，且所述加速度值在所述预定方向上的分量是否大于或等于所述加速度阈值。

步骤306、当所述播放视频的设备空间位置变化的方向与所述预定方向的夹角小于或等于30度、所述空间位置变化的距离大于或等于所述距离阈值，且所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。其中，所述相应执行操作的视窗内容包括有：触发虚拟现实交互的确认、视频的开始/暂定、视频的快进/后退以及视频音频的增加/减小。

步骤307、当所述播放视频的设备空间位置变化的方向与所述预定方向的夹角大于30度、所述空间位置变化的距离小于所述距离阈值，或所述加速度值在所述预定方向上的分量小于所述加速度阈值时，不触发所述显示系统内设置的所述相应执行操作的内容。

步骤308、触发所述显示系统内设置的所述相应执行操作的内容，同时再检测所述播放视频的设备运动的方向及距离。

步骤309、根据所述播放视频的设备运动的方向及距离调整所述显示系统内设置的在所述相应执行操作内容相关数值的变化。可选地，所述相关数值的变化可以用于播放器的基本交互：播放进度及音量的调节；所述相关数值的变化还可以用于与播放内容和场景相关的交互，比如头部摇动控制操作内容对应场景中物体的位置相关数值变化。

本步骤包括：在触发视频的快进/后退以及视频音频的增加/减小后，再根据用户头部运动的方向(可以是上下或左右方向)及距离调整视频的快进/后退以及视频音频的增加/减小的数值变化。结合图4A和图4B说明本实施例中触发弹出所述显示系统内设置的所述相应执行操作的内容的过程。其中，图4A为本实施例中选择相应执行操作对应交互后触发所述相应执行操作的内容的结构示意图；图4B为本实施例中选择相应执行操作对应交互后触发并调整所述相应执行操作的内容中数值变化的结构示意图。在所述显示系统的显示区域401内根据用户头部运动触发所述相应执行操作的内容402，同时，用户通过头部运动控制数值控制条403在所述相应执行操作的内容402内的数值条404上移动，所述显示系统根据所述数值控制条403移动到达的数值位置对应的数值执行对应的操作。

可选地，上述步骤306中，还可以设置为当所述播放视频的设备空间位置变化的方向与所述预定方向的夹角小于或等于30度、所述空间位置变化的距离大于或等于所述距离阈值，且所述加速度值大于或等于所述加速度阈值时，触发所述相应执行操作的视窗内容弹出后。

再根据用户头部运动的方向调整在所述相应执行操作的视窗内容内的确认标识移动位置。

在所述显示系统内判断所述确认标识所处位置是否移动到所述相应执行操作的视窗内容内的下级执行操作视窗内容，且根据用户头部运动引起所述播放视频的设备空间位置变化的方向、距离及加速度是否满足预定方向、距离阈值及加速度阈值的条件，并根据判断结果执行操作的视窗内容内的下级执行操作视窗，触发所述下级执行操作视窗内容弹出。

在本实施例中，根据用户头部动作控制虚拟现实交互，用户观看视频时满足视频内容上虚拟现实交互的启动触发条件后，结合根据追踪用户的头部动作的确认操作判定是否触发该虚拟现实的交互场景中，保证了准确地按照用户意愿触发虚拟现实交互，避免了用户因误操作而误触发虚拟现实交互的发生。

实施例3

如图5所示，为本实施例所述的根据用户头部动作控制虚拟现实交互的系统，该系统可用于实施上述实施例所述的根据用户头部动作控制虚拟现实交互的方法。本实施例所述的根据用户头部动作控制虚拟现实交互的系统包括：所述预定条件设置模块501及虚拟现实交互触发模块502。

其中，所述预定条件设置模块501与所述虚拟现实交互触发模块502相藕接，用于在支持虚拟现实交互的显示系统内设置根据用户头部运动的方向、距离和加速度判断触发相应执行操作的预定方向、距离阈值及加速度阈值。

所述虚拟现实交互触发模块502用于在所述显示系统内检测到所述播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

其中，所述虚拟现实交互触发模块502进一步用于在所述播放视频的设备空间位置变化的方向与所述预定方向的夹角小于或等于30度、所述空间位置变化的距离大于或等于所述距离阈值，且所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容。

所述虚拟现实交互触发模块502进一步用于在所述显示系统内检测到所述播放视频的设备空间位置变化的方向和距离发生变化，且所述空间位置变化的方向满足预定方向、所述空间位置变化的距离大于或等于所述距离阈值，所述加速度值在所述预定方向上的分量大于或等于所述加速度阈值时，触发所述显示系统内设置的所述相应执行操作的内容，同时再根据用户头部运动的方向调整所述显示系统内设置的在所述相应执行操作内容相关数值的变化。

进一步地，在本实施例所述的根据用户头部动作控制虚拟现实交互的系统中，所述加速度阈值不小于0.3m/s²。进一步地，在本实施例所述的根据用户头部动作控制虚拟现实交互的系统中，所述距离阈值为大于或等于3cm。

在本实施例所述的根据用户头部动作控制虚拟现实交互的系统中，在用户观看视频时触发所述显示系统内设置控制触发所述相应执行操作的内容后的数值变化控制，实现了通过用户头部动作对虚拟现实交互中快进/后退、音量增大/减小等数值变化的控制。

通过以上各个实施例可知，本发明的根据用户头部动作控制虚拟现实交互的方法及系统存在的有益效果是：

(1)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，在用户观看视频选择视频内容上的虚拟现实交互时，通过用户头部动作控制所述播放视频的设备移动位置，并利用用户头部运动带动所述播放视频的设备产生的加速度(即用户点头、摇头、匀速上下、左右移动等)控制执行触发虚拟现实交互，不需要基于在虚拟设备上的硬件按键，仅根据用户在观看视频中的头部动作就可以实现对应的虚拟现实交互控制，避免了用户在虚拟现实交互中需要结合按键操作的繁杂性，提升了用户体验。

(2)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，用户观看视频时选择视频内容上虚拟现实交互后，结合根据追踪用户的头部动作的确认操作判定是否触发该虚拟现实的交互，保证了准确地按照用户意愿触发虚拟现实交互，避免了用户因误操作而误触发虚拟现实交互。

(3)本发明所述的根据用户头部动作控制虚拟现实交互的方法及系统，在用户观看视频时触发选择所述显示系统内设置的所述相应执行操作的内容，同时再根据用户头部运动的方向调整在所述相应执行操作的内容相关数值的变化，实现了通过用户头部动作对虚拟现实交互内容数值变化的控制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。