一种带有眼控和语音识别的头戴式设备和交互方法与流程

本发明属于虚拟现实和人机交互领域，具体涉及一种带有眼控和语音识别的的头戴式设备和交互方法。

背景技术

现有技术中的头戴式显示设备体验中，有一部分采用了物理按键的方式进行选择确认，有的采用触摸按键的方式进行选择确认，但是采用触摸或者物理按键的方式需要使用者一直将手臂悬空，长时间操作会导致用户疲劳；有一部分采用陀螺仪的方式通过转动头部进行选择，采用头动的方式需要用户不断移动头部进行选择；有的使用语音识别的方式进行交互，但是何时唤醒语音识别模块进行识别交互指令，传统的方法单单通过按键或语音唤醒指令的方式进行唤醒，其中使用按键的方式，对于vr来说需要抬手或者外接其他按键，造成用户疲劳或设备冗余，有的采用语音唤醒指令的方式，但是如果过于灵敏会造成语音助手一直弹出，若不灵敏则造成用户调用语音助手困难；前面所述的交互方式造成用户使用体验性较差。

技术实现要素：

本发明提供了一种带有眼控和语音识别的的头戴式设备和交互方法，可以通过虹膜识别模块、指纹识别模块、视网膜识别模块验证用户的身份，可以通过视线追踪模块实时的检测用户的视线方向，通过语音识别模块识别用户的交互指令，通过眼控加语音识别模块提高了语音识别模块唤醒的可靠性，可以通过多个处理模块间的协作，提高系统的性能，进而提高系统的反映速度，降低延迟，存储模块中的加密和解密模块能够保护用户的隐私和数据的安全，进而提高用户的使用体验。

本发明中头戴式设备是指：虚拟现实设备(vr)、增强现实设备(ar)和混合现实设备(mr)。

为解决上述问题，本发明采用如下技术方案：

一种带有眼控和语音识别的的头戴式设备，包括：输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体；所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块，所述输出模块包含显示模块和声音输出模块，所述壳体用于支撑和固定上述部分或全部模块。

所述处理模块包含第一处理单元和第二处理单元。

所述第一处理单元连接所述眼控模块和所述第二处理单元，所述第一处理单元对眼控模块传来数据进行处理，将处理结果传给第二处理单元。

所述第一处理单元与第二处理单元同时工作，即第一处理单元将图像数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一帧的图像数据，直到接收到停止或暂停指令。

所述第一处理单元将图像数据进行处理得到此时视线在显示模块中的落点坐标，将该坐标交给第二处理模块；或者第一处理模块将图像数据进行处理得到一个数据量的兴趣区域的数据，将该数据交由第二处理模块进行处理；或者所述第一处理单元将图像数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对图像数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。

所述第一处理单元连接所述语音识别模块和所述第二处理单元，所述第一处理单元对语音识别模块传来数据进行处理，将处理结果传给第二处理单元。

所述第一处理单元与第二处理单元同时工作，即第一处理单元将语音数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一语音数据，直到接收到停止或暂停指令。

所述第一处理单元将语音数据进行处理得到此时识别结果，将该结果交给第二处理模块；或者所述第一处理单元将语音数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对语音数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。

所述输入模块包含眼控模块、语音识别模块和融合判决模块。

所述眼控模块包含摄像头模块。

所述眼控模块还包括红外光源模块。

所述红外光源模块连接第一处理单元和/或第二处理单元。

所述融合判断模块，根据眼控模块和语音识别模块经过处理模块处理的信息与预设条件进行比对，根据比对结果执行至少一项操作。

其中所述显示模块用于向用户提供视觉信息，显示模块为显示屏、投影装置和波导光学元件中一种或几种组合。

所述声音输出模块包含：耳机输出接口模块、扬声器模块、蓝牙输出模块和骨传导输出模块中一种或几种组合。

通信模块用于设备间、设备和基站间以及设备和服务器端的通信，通信模块包含蓝牙单元、wifi单元、gsm单元、gprs单元、cdma单元、tdma单元、zigbee单元、z-wave单元、infrared(ir)单元、rfid单元、nfc单元和wigig单元中一种或几种。

电源模块用于给上述输出模块、通信模块、输入模块、处理模块和存储模块供电，壳体用于支撑和固定上述部分或全部模块。

所述红外光源直接连接电源模块或者所述红外光源连接第一处理单元和/或第二处理单元。

所述第二处理单元将第一处理单元的处理结果进行处理，同时第二处理单元还连接显示模块、通信模块和电源模块。

所述一种带有眼控和语音识别的的头戴式设备还包含虹膜识别模块。所述虹膜识别模块连接处理模块。所述第一处理单元将图像数据进行处理和匹配得到此时识别匹配结果，将该结果交给第二处理模块；或者所述第一处理单元将图像数据进行处理得到此时虹膜特征并将该特征压缩编码，将该压缩编码后的数据交给第二处理模块；或者所述第一处理单元将图像数据进行处理得到此时虹膜特征，将该虹膜特征交给第二处理模块；所述第一处理单元将图像数据进行处理得到此时虹膜特征，将虹膜特征交给第二处理模块进行压缩编码和匹配；或者第一处理模块将图像数据进行处理得到一个数据量的兴趣区域的数据，将该数据交由第二处理模块进行处理；或者所述第一处理单元将图像数据进行预处理，将增强后的数据交由第二处理模块进行处理；或者第一处理模块仅对图像数据进行压缩编码，将该压缩编码后的数据交给第二处理模块进行处理。

所述第一处理模块自动根据环境和上下文信息或者手动切换虹膜识别和眼动模块。

所述存储模块包含：加密模块和解密模块，用于保护用户数据安全。

所述输入模块还包含：按键、触摸模块、脑电模块、骨传导模块、体感模块、压力感应模块、视网膜识别模块和指纹识别模块中的一种或几种。

上述模块可以构成一套方案，所述一种带有红外光源和摄像头的头戴式显示设备还可包含光学透镜构成另一种方案；以及包含反光模块构成一种方案；以及同时包含光学透镜和反光模块构成另一种方案。

所述反光模块为：可反射红外光透过其他波段的光的反光模块或者不可透过红外光可透过其他波段的光的反光模块，所述反光模块与屏幕平行放着或者贴合屏幕或者与屏幕成一定夹角放置。

所述一种带有红外光源和摄像头的头戴式显示设备还包含有：陀螺仪、加速度传感器、重力感应传感器和定位模块。所述定位模块为：gps、a-gps、北斗和伽利略中一种或几种。

一种带有眼控和语音识别的的头戴式设备的交互方法，其特征在于：包括以下步骤:

s1.实时检测用户语音唤醒指令；

s2.检测用户视线的位置；

s3.判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块；

s4.检测识别语音交互指令；

s5.基于所述语音指令执行至少一个操作。

所述用户语音唤醒指令为系统指定或用户自定义指令。

所述用户视线的位置为系统指定或用户自定义。

所述判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块中使用的视线位置数据为与检测语音唤醒指令同步的视线位置数据，或为语音唤醒指令识别成功后的视线位置数据。

当语音唤醒指令识别成功后，在特定位置以半透明状态显示一定状态的图示，所述图示用于让用户注视来唤醒语音识别模块以接受语音交互指令。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的模块连接逻辑关系示意图；

图2为处理单元逻辑关系示意图；

图3为本发明一种实施；

图4为本发明另一种实施；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

实施例一，如图1、2、3所示，一种带有眼控和语音识别的的头戴式设备，包括：输出模块、通信模块、输入模块、电源模块、处理模块、存储模块和壳体；所述处理模块连接所述输出模块、通信模块、输入模块、电源模块和存储模块，所述输出模块包含显示模块和声音输出模块，所述壳体用于支撑和固定上述部分或全部模块。

所述处理模块包含第一处理单元和第二处理单元。

所述第一处理单元连接所述眼控模块和所述第二处理单元，所述第一处理单元对眼控模块传来数据进行处理，得到此时视线在显示模块中的落点坐标，将该坐标交给第二处理模块。

所述第一处理单元与第二处理单元同时工作，即第一处理单元将图像数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一帧的图像数据，直到接收到停止或暂停指令。

所述第一处理单元连接所述语音识别模块和所述第二处理单元，所述第一处理单元将语音数据进行处理得到此时识别结果，将该结果交给第二处理模块。

所述第一处理单元与第二处理单元同时工作，即第一处理单元将语音数据处理后的结果传给第二处理单元，第二处理单元对该结果进行处理，并根据程序执行其他操作，与此同时第一处理单元继续处理下一语音数据，直到接收到停止或暂停指令。

所述输入模块包含眼控模块、语音识别模块和融合判决模块。

所述眼控模块包含摄像头模块。

所述眼控模块还包括红外光源模块。

所述红外光源模块连接第一处理单元。

所述融合判断模块，根据眼控模块和语音识别模块经过处理模块处理的信息与预设条件进行比对，根据比对结果执行至少一项操作。

其中所述显示模块用于向用户提供视觉信息，显示模块为显示屏。

所述声音输出模块包含：耳机输出接口模块、扬声器模块、蓝牙输出模块。

通信模块用于设备间、设备和基站间以及设备和服务器端的通信，通信模块包含蓝牙单元、wifi单元、gsm单元、gprs单元、cdma单元、tdma单元和nfc单元。

电源模块用于给上述输出模块、通信模块、输入模块、处理模块和存储模块供电，壳体用于支撑和固定上述部分或全部模块。

所述第二处理单元将第一处理单元的处理结果进行处理，同时第二处理单元还连接显示模块、通信模块和电源模块。

所述一种带有眼控和语音识别的的头戴式设备还包含虹膜识别模块。所述虹膜识别模块连接处理模块。所述第一处理单元将图像数据进行处理和匹配得到此时识别匹配结果，将该结果交给第二处理模块。

所述第一处理模块自动根据环境和上下文信息或者手动切换虹膜识别和眼动模块，可由用户设定。

所述存储模块包含：加密模块和解密模块，用于保护用户数据安全。

所述输入模块还包含：按键、触摸模块、脑电模块、骨传导模块、体感模块和压力感应模块。

所述一种带有眼控和语音识别的的头戴式设备还包含有光源镜片用于成像。

所述一种带有红外光源和摄像头的头戴式显示设备还包含有：陀螺仪、加速度传感器、重力感应传感器和定位模块。所述定位模块为：gps、a-gps、北斗和伽利略中。

其中，所述红外光源模块至少包含一个红外灯珠，发射850nm红外光，照射在人眼区域。

至少采集一个眼睛的图像进行处理。

一种带有眼控和语音识别的的头戴式设备的交互方法，其特征在于：包括以下步骤:

s1.实时检测用户语音唤醒指令；

s2.检测用户视线的位置；

s3.判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块；

s4.检测识别语音交互指令；

s5.基于所述语音指令执行至少一个操作。

所述用户语音唤醒指令为系统指定或用户自定义指令。

所述用户视线的位置为系统指定或用户自定义。

所述判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块中使用的视线位置数据为与检测语音唤醒指令同步的数据。

实施例二，如图1、2、4所示，一种带有眼控和语音识别的的头戴式设备，与实施例一相同。

一种带有眼控和语音识别的的头戴式设备的交互方法，其特征在于：包括以下步骤:

s1.实时检测用户语音唤醒指令；

s2.检测用户视线的位置；

s3.判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块；

s4.检测识别语音交互指令；

s5.基于所述语音指令执行至少一个操作。

所述用户语音唤醒指令为系统指定或用户自定义指令。

所述用户视线的位置为系统指定或用户自定义。

所述判定语音和用户视线位置同时满足预定条件时唤醒语音识别模块中使用的视线位置数据为语音唤醒指令识别成功后的视线位置数据。

当语音唤醒指令识别成功后，在特定位置以半透明状态显示一定状态的图示，所述图示用于让用户注视来唤醒语音识别模块以接受语音交互指令。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

以上所描述的装置实施例中，第一处理单元和第二处理单元是以功能模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specificintegratedcircuit，asic)，电路，执行一个或多个软件或固件程序的处理器和存储器、集成逻辑电路和/或其他可以提供上述功能的器件。在一个简单的实施例中，本领域的技术人员可以想到第一处理单元可以通过具有计算和逻辑处理功能的处理器、存储器和输入/输出接口来实现，第二处理单元可以通过具有计算和逻辑处理功能的处理器、存储器和输入/输出接口来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。