一种面向虚拟现实的交互系统及其方法与流程

本发明涉及虚拟现实技术领域，具体涉及一种面向虚拟现实的交系统及其方法。

背景技术：

多媒体应用包括能够向用户传送多媒体体验的设备。这些设备包括例如电视机、多媒体播放器、平板电脑、计算机、移动电话、膝上型电脑、盘播放器等。具体地，大屏电视机变得非常普及。目前的大屏电视机(tv)通常由红外(ir)遥控器来控制。通过使用ir遥控器上的导航键来控制tv的图形用户界面(gui)。

还可以通过第二屏幕(例如平板电脑)来控制gui，其通过允许tv的用户(例如观看者)通过在平板电脑上输入用于在gui中导航的指令来在gui中导航。通常，在平板电脑的触摸屏上的所谓划动将被发送为用于在gui中侧向移动的指令，即，类似于当用户按下遥控器上的方向键时的情况。使用平板电脑相较于ir遥控器控制gui的一个优势在于，可以利用触摸屏特定的输入特征(通常是平板电脑所固有的，例如划动和两指命令)。此外，现有的tv可以配备有相机，该相机可以捕捉用户的手势。手势可以是用户挥手来控制gui。此外，现有的tv可以配备有麦克风，该麦克风可以捕捉用户的语音命令。随后语音命令可以控制tv的gui。

技术实现要素：

本发明针对现有技术的不足，目的在于提供一种能够以同步方式进行信息确认和传输，能够确保信号采集和输出的效率和成功率最大化，因此，针对该发明提供了一种面向虚拟现实的交互系统及其方法；

如下为本发明具体技术方案；

其中，一种面向虚拟现实的交互系统如下所示：

一种面向虚拟现实的交互方法，具体技术方案如下：

一种面向虚拟现实的交互系统，其特征在于：包括动作追踪模块、eog信号采集模块和显示模块；

在所述显示模块上分别有图形用户界面组件，所述图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；

在所述动作追踪模块上设置有触发装置，在所述显示模块上设置有与所述触发装置对应的感应组件；

所述触发装置发出激活信号，当所述感应组件感应到激活信号，所述图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入eog控制模式；

控制器通知eog信号采集模块进行eog信号提取；

所述eog信号采集模块将提取的eog信号传递到所述控制器，所述控制器根据所述eog信号用于执行对应的图形用户界面组件命令。

其中，一种面向虚拟现实的交互方法如下所示：

一种面向虚拟现实的交互方法，其特征在于：

采用以下步骤，

步骤1：用户穿戴所述动作追踪模块，将所述动作追踪模块的数据端口与所述显示模块的数据端口相连；

步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标；

同时，在虚拟空间中对应设置一个原点坐标，建立初始坐标与虚拟空间中的原点坐标的关联；

步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；

步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；

步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个gui组件闪烁时，eog信号采集模块同步采集该gui组件对应的信号段；

eog检测模块检测采集该信号段中是否存在eog信号，如果存在eog信号，则进入步骤6，否则，回到步骤3；

步骤6：控制器根据该eog信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；

步骤7：按照步骤3至步骤6重复执行。

进一步地：所述步骤5包括如下步骤：

步骤5-1：在显示模块上分布的n个gui组件中，设置闪烁轮数为x，x>1；

步骤5-2：在每轮中，每个gui组件以间隔时间t0随机闪烁一次；

针对的每一轮按照步骤s1至步骤s4执行；

步骤5-3：针对闪烁轮数x中均出现的候选gui组件，作为目标gui组件；

s1：在当前轮数中，设置有初始时间集合t1和eog特征向量集合m1，每个gui组件均闪烁完成后，记录该gui组件闪烁开始时间为ti，将ti加入到集合t1；

同时，eog信号采集模块同步地提取该gui组件闪烁时，对应的eog信号段si，该eog信号段si的起止区间为[ti，ti+r]；

其中，1<i<n，ti为gui组件闪烁的起止时间点，r为eog信号段的持续时间；

s2：设置有过滤集合特征集l，对所述eog特征向量集合m1中的每个eog信号段si进行数字带通滤波后，得到对应的滤波信号特征向量li,将滤波信号特征向量li加入到过滤集合l；

s3：对过滤集合l中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：

f'(n)＝f(n)-f(n-1)

其中f(n)是滤波信号向量li中第n个采样点的值，f'(n)是滤波信号段li对应的差分值；

当f'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为smax；

s4：对滤波信号向量li进行波形检测，确定候选gui组件。

所述s4包括如下步骤：

s41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；

s42：利用幅度，持续时间tp和速度smax来指示是否有闪烁波形，如下所示，将滤波信号向量li利用以下不等式进行检测：

其中smax为幅度峰值，son为幅度阈值，tmin为持续时间最小的阈值，tmax为持续时间最大的阈值，tp为持续时间；

s43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入s44，否则，进入s45；

s44：表示滤波信号向量li对应的gui组件i的波形检测已经通过，将该gui组件i设置为候选值；

s45：滤波信号向量li对应的gui组件i设置为不识别候选值；

s46：当该轮有a个候选按钮时，a>1，通过比较以下等式：

e＝|tp-tp|

其中e是评估值，tp表示平均延迟，tp持续时间，a>1；

从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。

本发明的有益效果为：本发明可以为vr/ar等新一代显示技术提供新的非手动交互方法，通过头瞄实现类似鼠标的移动方式，eog实现类似鼠标点击的确定方式，执行效率高，优于现有单一的手柄、头瞄和手势等交互方式。

附图说明

图1为本发明的工作流程图；

图2为差分eog波形图；

图3为头瞄设备与感应组件的作用示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

一种面向虚拟现实的交互系统，包括动作追踪模块、eog信号采集模块和显示模块；

在显示模块上分别有图形用户界面组件，图形用户界面组件在显示模块中默认为隐藏状态模式，该图形用户界面组件处于待激活模式；

在动作追踪模块上设置有触发装置，在显示模块上设置有与触发装置对应的感应组件；

触发装置发出激活信号，当感应组件感应到激活信号，图形用户界面组件进行状态切换，由隐藏状态模式切换为显示状态，该图形用户界面组件进入eog控制模式；

控制器通知eog信号采集模块进行eog信号提取；

eog信号采集模块将提取的eog信号传递到控制器，控制器根据eog信号用于执行对应的图形用户界面组件命令。

其中，一种面向虚拟现实的交互方法实施例如下所示：

一种面向虚拟现实的交互方法，采用以下步骤，

步骤1：用户穿戴动作追踪模块，该动作追踪模块为头瞄设备，具体如图2所示，将动作追踪模块的数据端口与显示模块的数据端口相连；

该动作追踪模块采用带有三维坐标定位追踪的感应枪用作解释说明，具体为，该追踪模块采用陀螺仪方式定位，x轴，y轴，z轴参数由陀螺仪硬件芯片提供实时参数，采用陀螺仪定位，得到x轴，y轴，z轴参数为现有常规技术，可参考各种现有文献查阅；

步骤2：对触发装置位置进行初始化设置，选定触发装置在现实空间中的一个坐标作为初始坐标，此处追踪模块在开始工作时，使用者当前位置确定为初始坐标；

同时，在虚拟空间中对应设置一个原点坐标，该位置可选择显示模块的中央位置为原点坐标，接着，建立初始坐标与虚拟空间中的原点坐标的关联；

具体为，此处的触发装置为图2中的头瞄设备上发出一条指示线，指示准心可在视线内自由移动，在红色圆圈处。

步骤3：感应组件等待接受触发装置触发信号，处理器判断感应组件是否接受到匹配的触发信号，如果存在对应的触发信号，则进入下一步骤；

具体为，此处感应组件可采用图2中具有数字编号的目标组件，当移动头瞄设备时，针对头瞄设备在现实三维空间的坐标值，在虚拟空间中对应生成相对原点坐标的坐标位置；

判断头瞄设备的准心是否对准目标组件方式为，当头瞄设备的准心在显示模块上移动时，从头瞄设备的枪口三维坐标到准心的三维坐标，生成一条虚拟实线，看其延长线和待瞄准目标组件的三维坐标之间是否有重合点，即判断及待瞄准目标组件是否在延长线上。

如果在延长线上，则判断为选中目标组件，否则，判定为未选中；

步骤4：处理器通知图形用户界面组件由隐藏状态转换为可视化状态；

步骤5：图形用户界面组件进入到同步模式，该同步模式为在每个gui组件闪烁时，eog信号采集模块同步采集该gui组件对应的信号段；

eog检测模块检测采集该信号段中是否存在eog信号，如果存在eog信号，则进入步骤6，否则，回到步骤3；

步骤6：控制器根据该eog信号确定用户选择的图形界面组件，且执行图形界面组件对应的指令；

步骤7：按照步骤3至步骤6重复执行。

其中步骤5具体采用如下步骤：

步骤5-1：在显示模块上分布的n个gui组件中，设置闪烁轮数为x，x>1；

步骤5-2：在每轮中，每个gui组件以间隔时间t0随机闪烁一次；

针对的每一轮按照步骤s1至步骤s4执行；

步骤5-3：针对闪烁轮数x中均出现的候选gui组件，作为目标gui组件；

s1：在当前轮数中，设置有初始时间集合t1和eog特征向量集合m1，每个gui组件均闪烁完成后，记录该gui组件闪烁开始时间为ti，将ti加入到集合t1；

同时，eog信号采集模块同步地提取该gui组件闪烁时，对应的eog信号段si，该eog信号段si的起止区间为[ti，ti+r]；

其中，1<i<n，ti为gui组件闪烁的起止时间点，r为eog信号段的持续时间；

s2：设置有过滤集合特征集l，对eog特征向量集合m1中的每个eog信号段si进行数字带通滤波后，具体为，将脑电数据截取0-600ms的采样点，对上述0-600ms的采样点进行1/6下采样，将该1/6下采样数据构成一个特征向量，得到对应的滤波信号特征向量li，将滤波信号特征向量li加入到过滤集合l；

s3：对过滤集合l中的滤波信号特征向量li的差分采用一阶差值近似，得到如下表达式：

f'(n)＝f(n)-f(n-1)

其中f(n)是滤波信号向量li中第n个采样点的值，f'(n)是滤波信号段li对应的差分值；

当f'(n)的取值为当前时间段最大值时，则为滤波信号段信号段si的速度峰值，记为smax；

s4：对滤波信号向量li进行波形检测，确定候选gui组件。

其中，s4包括如下步骤：

s41：在滤波信号向量li的波形中存在一个波峰tm1和一个波谷tm2，波峰tm1出现在波谷tm2之后；

s42：如图1所示，利用幅度，持续时间tp和速度smax来指示是否有闪烁波形，该幅度定义为待检测信号的峰值，如下所示，将滤波信号向量li利用以下不等式进行检测：

其中smax为幅度峰值，son为幅度阈值，tmin为持续时间最小的阈值，tmax为持续时间最大的阈值，tp为持续时间；

s43：通过判断bi的取值来确定滤波信号向量li是否通过了波形检测，如果bi＝1，则进入s44，否则，进入s45；

s44：表示滤波信号向量li对应的gui组件i的波形检测已经通过，将该gui组件i设置为候选值；

s45：滤波信号向量li对应的gui组件i设置为不识别候选值；

s46：当该轮有a个候选按钮时，a>1，通过比较以下等式：

e＝|tp-tp|

其中e是评估值，tp表示平均延迟，tp持续时间，a>1；

从a个候选按钮中，选择具有最小评估值e的按钮作为该轮的潜在目标。

在步骤1中，还包括对eog信号的校准，具体采用如下方式：

用户在使用该交互系统之前，需要进行eog校准过程，即设置eog信号检测的差分信号峰值，即幅度峰值smax和持续时间tp的阈值的过程。

在交互系统开始运行时，预设了初始阈值，其值大小根据所有eog信号采集数据样本求均值得到。

然后，针对具体的被试者，进行阈值修正。

在该实施例中，具体为，在测试开始时，提供单个按钮train在屏幕中央，以1200ms的时间间隔闪烁10次。

按照步骤5中的方式进行对采集到的eog信号进行处理，记录的eog被过滤，并且将每次闪烁信息进行保存。

从这10次眨眼信息中提取包括幅度smax，持续时间tp的波形特征。

如果用户错过了一次眨眼纠正，则相应的闪烁信息不保存，且该特征在其余的子段中被平均化。将得到的幅度smax和持续时间tp的平均值作为幅度阈值son和平均延迟tp，按照上述方式，完成眨眼纠正。