用户状态的监测及调控方法及头戴式设备与流程

本发明涉及脑电波领域，尤其涉及一种用户状态的监测及调控方法及头戴式设备。

背景技术：

随着虚拟现实行业的兴起，越来越多人开始尝试和体验头戴式设备，譬如：虚拟现实设备和增强现实设备。与此同时，头戴式设备的应用范围也越来越广，譬如：增强现实眼镜用于驾驶，虚拟实现眼镜用于观看3d电影或用于玩3d游戏等。

因此，用户在使用头戴式设备的过程中，用户会存在多种用户状态，譬如：正常驾驶状态、驾驶疲劳状态、入睡状态、睡眠状态等等。如何通过头戴式设备获知当前用户所处的状态，且用户从当前状态进入特定状态时，如何进行处理，以使得用户具有最优的用户使用体验，是当前亟待解决的技术问题。

技术实现要素：

本发明的目的在于提供一种用户状态的监测及调控方法，以解决现有头戴式设备无法获知当前的用户状态，以及用户状态发生变化时，不能即时作出适宜处理的问题。此外，作为一种实施方式，本发明还提供一种实施该用户状态的监测及调控方法的头戴式设备。

为了解决上述问题，作为一种实施方式，本发明提供了一种用户状态的监测及调控方法，其应用于头戴式设备，头戴式设备存储有多个阈值范围和多个状态处理策略，每一个阈值范围对应一种状态处理策略；用户状态的监测及调控方法，包括如下步骤：

间隔预设时间段，采集脑电波信号；

根据脑电波信号分析得到反应用户状态的特征值；

当特征值落入多个阈值范围中的目标阈值范围内时，通过与目标阈值范围对应的状态处理策略对头戴式设备进行调控处理。

作为本发明的进一步改进的实施例，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围，与疲劳驾驶范围对应的状态处理策略包括：

通过震动方式或语音方式发出提醒信号，以提醒用户进入了疲劳驾驶状态。

作为本发明的进一步改进的实施例，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围，与疲劳驾驶范围对应的状态处理策略包括：

产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳，以提醒用户进入了疲劳驾驶状态。

作为本发明的进一步改进的实施例，当用户接收头戴式设备的输出内容时，多个阈值范围包括入睡范围或睡眠范围；与入睡范围对应的状态处理策略包括：

调低音频音量至预设音量值或者调低屏幕亮度至预设亮度值，或者停止输出当前内容，且播放用于辅助睡眠的音频文件；

与睡眠范围对应的状态处理策略包括：

停止输出当前内容，且保存当前的输出进度节点信息。

作为本发明的进一步改进的实施例，头戴式设备用于观看输出显示的3d图像时，多个阈值范围包括用眼疲劳范围或兴奋范围；与用眼疲劳范围对应的状态处理策略包括：

逐渐降低当前显示内容的景深至第一预设景深值；

与兴奋范围对应的状态处理策略包括：

逐渐提升当前显示内容的景深至第二预设景深值，其中，第二预设景深值高于第一预设景深值。

为了解决上述问题，本发明还可以提供一种头戴式设备，其存储有多个阈值范围和多个状态处理策略，每一个阈值范围对应一种状态处理策略；头戴式设备，包括：

采集模块，用于间隔预设时间段，采集脑电波信号；

分析处理模块，用于根据脑电波信号分析得到反应用户状态的特征值；

调控处理模块，用于当特征值落入多个阈值范围中的目标阈值范围内时，通过与目标阈值范围对应的状态处理策略对所述头戴式设备进行调控处理。

作为本发明的进一步改进的实施例，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围；调控处理模块，包括：

提醒单元，用于当特征值落入疲劳驾驶范围内时，通过震动方式或语音方式发出提醒信号，以提醒用户进入了疲劳驾驶状态。

作为本发明的进一步改进的实施例，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围；调控处理模块，包括：

骨传导反馈单元，用于当特征值落入疲劳驾驶范围内时，产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳，以提醒用户进入了疲劳驾驶状态。

作为本发明的进一步改进的实施例，当用户接收头戴式设备的输出内容时，多个阈值范围包括入睡范围或睡眠范围；调控处理模块，包括：

入睡处理单元，用于当特征值落入入睡范围内时，调低音频音量至预设音量值或者调低屏幕亮度至预设亮度值，或者停止输出当前内容，且播放用于辅助睡眠的音频文件；

睡眠处理单元，用于当特征值落入睡眠范围内时，停止输出当前内容，且保存当前的输出进度节点信息。

作为本发明的进一步改进的实施例，头戴式设备用于观看输出显示的3d图像时，多个阈值范围包括用眼疲劳范围或兴奋范围；调控处理模块，包括：

用眼疲劳处理单元，用于当特征值落入用眼疲劳范围内时，逐渐降低当前显示内容的景深至第一预设景深值；

兴奋处理单元，用于当特征值落入兴奋范围内时，逐渐提升当前显示内容的景深至第二预设景深值，其中，第二预设景深值高于第一预设景深值。

与现有技术相比，本发明量化采集到的脑电波信号得到反映用户状态的特征值，并根据该特征值落入的阈值范围获知用户处于目标用户状态。因此，通过脑电波信号实现用户状态的监测，提升了用户状态的判定准确率。与此同时，当前段时间用户状态与目标用户状态不一致时，通过与目标用户状态对应的状态处理策略进行调控处理。因此，用户状态发生变化时，即时作出适宜处理，避免了对用户的人身安全、用户的睡眠质量、用户的观看体验等造成影响的事件发生。

附图说明

图1为本发明用户状态的监测及调控方法第一个实施例的流程示意图。

图2为本发明用户状态的监测及调控方法第二个实施例的流程示意图。

图3为本发明用户状态的监测及调控方法第三个实施例的流程示意图。

图4为本发明用户状态的监测及调控方法第四个实施例的流程示意图。

图5为本发明用户状态的监测及调控方法第五个实施例的流程示意图。

图6为本发明用户状态的监测及调控方法第六个实施例的流程示意图。

图7为本发明用户状态的监测及调控方法第七个实施例的流程示意图。

图8为本发明头戴式设备第一个实施例的功能模块示意图。

图9为本发明头戴式设备第二个实施例的功能模块示意图。

图10为本发明头戴式设备第三个实施例的功能模块示意图。

图11为本发明头戴式设备第四个实施例的功能模块示意图。

图12为本发明头戴式设备第五个实施例的功能模块示意图。

图13为本发明头戴式设备第六个实施例的功能模块示意图。

图14为本发明头戴式设备第七个实施例的功能模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。

图1展示了本发明用户状态的监测及调控方法的一个实施例。在本实施例中，该用户状态的监测及调控方法应用于头戴式设备，头戴式设备存储有多个阈值范围和多个状态处理策略，每一个阈值范围对应一种状态处理策略。具体地，该用户状态的监测及调控方法，包括如下步骤：

步骤s1，间隔预设时间段，采集脑电波信号。

具体地，脑电信号采集器间隔预设时间段(譬如：1s)采集佩戴头戴式设备的用户的脑电波信号。其中，脑电信号采集器可以采集脑波频谱、脑电信号质量、原始脑电波和三个esense参数(专注度，放松度和眨眼侦测)。此外，本实施例中的脑电信号采集器可以为thinkgearam模块或者tgam模块。该脑电信号采集器将前额电极和耳垂处的电位作为参考来获得脑电波信号。

在tg_band_9600波特率下，每0.6s脑电波采集器采集到的信息会变化的概率最大，即0到0.6s之间脑电波采集器采集到的信息是相同的，为避免其他因素干扰，我们每隔1s使用一次采集到的脑电波信号进行处理。

脑电波是一些自发的有节律的神经电活动，其频率变动范围在每秒1-30次之间的，可划分为四个波段，即δ(1-3hz)、θ(4-7hz)、α(8-13hz)、β(14-30hz)。除此之外，在觉醒并专注于某一事时，常可见一种频率较β波更高的γ波，其频率为30-80hz，波幅范围不定；而在睡眠时还可出现另一些波形较为特殊的正常脑电波，如驼峰波、σ波、λ波、κ-复合波、μ波等。

其中，δ波频率为0.5-3hz，幅度为20-200μv，当人在婴儿期或智力发育不成熟、成年人在极度疲劳和昏睡或麻醉状态下，可在颞叶和顶叶记录到这种波段。θ波频率为4-7hz，幅度为100-150μv，成年人在意愿受到挫折和抑郁时以及精神病患者这种波极为显著，但此波为少年(10-17岁)的脑电图中的主要成分。α波频率为8-13hz(平均数为10hz)，幅度为20-100μv，它是正常人脑电波的基本节律，如果没有外加的刺激，其频率是相当恒定的，人在清醒、安静并闭眼时该节律最为明显，睁开眼睛(受到光刺激)或接受其它刺激时，α波即刻消失。β波频率为14～30hz，幅度为5～20μv，当精神紧张和情绪激动或亢奋时出现此波，当人从噩梦中惊醒时，原来的慢波节律可立即被该节律所替代。

步骤s2，根据脑电波信号分析得到反应用户状态的特征值。

为了更加详细说明本发明的技术方案，以用户状态为疲劳状态为例对本案进行详细说明。

处理器接收到脑电波采集器发送过来的脑电波信号，对该脑电波信号进行处理，筛选出我们需要的脑波频谱、脑电信号质量、原始脑电波和esense参数，从而得到我们需要的θ波、α波和β波。经过大量实验监测得到：当人从正常状态进入疲劳状态时，α波会上升、β波会下降；当人从疲劳状态进入睡眠状态时θ波会增加，所以我们通过p＝(θ+α)/β公式来计算反应疲劳状态的特征值p。

步骤s3，当特征值落入多个阈值范围中的目标阈值范围内时，通过与目标阈值范围对应的状态处理策略对头戴式设备进行调控处理。

具体地，还可以：前一个预设时间段，分析得到的第一特征值落入第一阈值范围。当前预设时间段内，分析得到的第二特征值落入第二阈值范围。当第一阈值范围与第二阈值范围不同时，则说明用户状态发生了变化，则通过与第二阈值范围对应的状态处理策略对头戴式设备进行调控处理。

本实施例量化采集到的脑电波信号得到反映用户状态的特征值，并根据该特征值落入的阈值范围获知用户处于目标用户状态。因此，通过脑电波信号实现用户状态的监测，提升了用户状态的判定准确率。与此同时，当前段时间用户状态与目标用户状态不一致时，通过与目标用户状态对应的状态处理策略进行调控处理。因此，用户状态发生变化时，即时作出适宜处理，避免了对用户的人身安全、用户的睡眠质量、用户的观看体验等造成影响的事件发生。

将本发明的用户状态的监测及调控方法应用于头戴式设备的使用过程中，头戴式设备可能用于驾驶，则需要用户处于疲劳驾驶状态时，即时进行提醒，避免疲劳驾驶造成交通事故。因此，其他实施例中，参见图2，步骤s3，包括：

步骤s301，通过震动方式或语音方式发出提醒信号，以提醒用户进入了疲劳驾驶状态。

本实施例中的头戴式设备可以为增强现实眼镜，使用增强现实眼镜驾驶时，该增强现实眼镜可以显示当下路况等交通信息。

具体地，多个阈值范围包括疲劳驾驶范围。当特征值落入该疲劳驾驶范围，且前段时间用户状态为正常驾驶状态，因此，用户从正常驾驶状态进入疲劳驾驶状态。本实施例中与疲劳驾驶范围对应的状态处理策略为：通过震动方式或语音方式发出提醒信号，以提醒用户进入了疲劳驾驶状态。

本实施例当监测到用户进入疲劳驾驶状态时，即时通过震动方式或语音方式发出提醒信号。避免了用户长时间疲劳驾驶后出现交通事故，为用户自身以及乘车人员造成无可挽回的损失。

将本发明的用户状态的监测及调控方法应用于头戴式设备的使用过程中，头戴式设备可能用于驾驶，且处于通过语音方式或震动方式不能有效提醒用户的环境时，需要通过骨传导的方式进行提醒。因此，其他实施例中，参见图3，步骤s3，包括：

步骤s311，产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳，以提醒用户进入了疲劳驾驶状态。

具体地，多个阈值范围包括疲劳驾驶范围。当特征值落入该疲劳驾驶范围，且前段时间用户状态为正常驾驶状态，因此，用户从正常驾驶状态进入疲劳驾驶状态。本实施例中与疲劳驾驶范围对应的状态处理策略为：产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳，以提醒用户进入了疲劳驾驶状态。

本实施例当监测到用户进入疲劳驾驶状态时，即时产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳。避免了用户长时间疲劳驾驶后出现交通事故，为用户自身以及乘车人员造成无可挽回的损失。与此同时，避免了嘈杂的环境造成语音方式或震动方式的提醒，用户不能即时获知。

将本发明的用户状态的监测及调控方法应用于头戴式设备的使用过程中，当用户接收头戴式设备的输出内容时，则会出现“边看边睡”的情形，因此，监测到用户入睡或睡眠时，需要辅助用户睡眠，或避免叨扰用户睡眠。因此，其他实施例中，参见图4，步骤s3，包括：

步骤s321，调低音频音量至预设音量值或者调低屏幕亮度至预设亮度值，或者停止输出当前内容，且播放用于辅助睡眠的音频文件。

具体地，多个阈值范围包括入睡范围。当特征值落入该入睡范围，且前段时间用户状态为正常观看状态，因此，用户从正常观看状态进入入睡状态。本实施例中与入睡范围对应的状态处理策略为：调低音频音量至预设音量值或者调低屏幕亮度至预设亮度值，或者停止输出当前内容，且播放用于辅助睡眠的音频文件。

本实施例监测到用户进入入睡状态时，调低音量或者调低亮度，以避免高音量或高亮度对用户的入睡造成影响。此外，为了进一步辅助用户舒服、快速入睡，本实施例还可以停止输出当前内容共且播放辅助睡眠的音乐，从而提升了用户使用体验。

进一步地，参见图5，步骤s4，包括：

步骤s331，停止输出当前内容，且保存当前的输出进度节点信息。

具体地，多个阈值范围包括睡眠范围。当特征值落入该睡眠范围，且前段时间用户状态为正常观看状态或入睡状态，因此，用户从正常观看状态或入睡状态进入睡眠状态。本实施例中与睡眠范围对应的状态处理策略为：停止输出当前内容，且保存当前的输出进度节点信息。

本实施例监测到用户进入睡眠状态时，停止输出当前内容，同时，将当前播放截止点进行存储，便于用户后续从该截止点开始继续观看，从而进一步提升了用户使用体验。

将本发明的用户状态的监测及调控方法应用于头戴式设备的使用过程中，头戴式设备可能用于观看输出显示的3d图像，由于3d图像的景深值较高，视觉效果更佳，所以，用户长时间观看会导致用户用眼疲劳，致使用户的眼睛产生胀痛感，长时间的用眼疲劳甚至会给用户的眼睛造成损伤。因此，其他实施例中，参见图6，步骤s3包括：

步骤s341，逐渐降低当前显示内容的景深至第一预设景深值。

具体地，多个阈值范围包括用眼疲劳范围。当特征值落入该用眼疲劳范围，且前段时间用户状态为正常观看状态，因此，用户从正常观看状态进入用眼疲劳状态。本实施例中与用眼疲劳范围对应的状态处理策略为：逐渐降低当前显示内容的景深至第一预设景深值。

本实施例监测到用户进入用眼疲劳状态时，降低景深值，避免了用户在用眼疲劳状态下，继续观看具有较高景深值的3d图像。

进一步地，参见图7，步骤s3，包括：

步骤s351，逐渐提升当前显示内容的景深至第二预设景深值。

其中，第二预设景深值高于第一预设景深值。

具体地，多个阈值范围包括用兴奋范围。当特征值落入该用兴奋范围，且前段时间用户状态为正常状态(刚佩戴头戴式设备)，因此，用户从正常状态进入兴奋状态(佩戴好3d眼镜后，观看3d电影)。本实施例中与兴奋范围对应的状态处理策略为：逐渐提升当前显示内容的景深至第二预设景深值。

本实施例监测到用户进入兴奋状态时，提升景深值，从而提升了3d图像的视觉效果，从而提升了用户的使用体验。

图8展示了本发明头戴式设备的一个实施例。在本实施例中，该头戴式设备存储有多个阈值范围和多个状态处理策略，每一个阈值范围对应一种状态处理策略。具体地，头戴式设备包括采集模块10、分析处理模块11和调控处理模块12。

其中，采集模块10，用于间隔预设时间段，采集脑电波信号；分析处理模块11，用于根据脑电波信号分析得到反应用户状态的特征值；调控处理模块12，用于当特征值落入多个阈值范围中的目标阈值范围内时，通过与目标阈值范围对应的状态处理策略对头戴式设备进行调控处理。

上述实施例的基础上，其他实施例中，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围；参见图9，调控处理模块12包括提醒单元1201。其中，提醒单元1201，用于当特征值落入疲劳驾驶范围内时，通过震动方式或语音方式发出提醒信号，以提醒用户进入了疲劳驾驶状态。

上述实施例的基础上，其他实施例中，头戴式设备用于驾驶时，多个阈值范围包括疲劳驾驶范围；参见图10，调控处理模块12包括骨传导反馈单元1211。其中，骨传导反馈单元1211，用于当特征值落入疲劳驾驶范围内时，产生警报信号，并通过骨传导扬声器传递警报信号至用户的内耳，以提醒用户进入了疲劳驾驶状态。

上述实施例的基础上，其他实施例中，头戴式设备用于观看输出显示内容时，多个阈值范围包括入睡范围，参见图11，调控处理模块12包括入睡处理单元1221。其中，入睡处理单元1221，用于当特征值落入入睡范围内时，调低音频音量至预设音量值且调低屏幕亮度至预设亮度值，或者停止输出当前内容，且播放用于辅助睡眠的音频文件。

上述实施例的基础上，其他实施例中，头戴式设备用于观看输出显示内容时，多个阈值范围包括睡眠范围；参见图12，调控处理模块12包括睡眠处理单元1231。其中，睡眠处理单元1231用于当特征值落入睡眠范围内时，停止输出当前内容，且保存当前的输出进度节点信息。

上述实施例的基础上，其他实施例中，头戴式设备用于观看输出显示的3d图像时，多个阈值范围包括用眼疲劳范围；参见图13，调控处理模块12包括用眼疲劳处理单元1241。其中，用眼疲劳处理单元1241，用于进入用眼疲劳状态时，逐渐降低当前显示内容的景深至第一预设景深值。

上述实施例的基础上，其他实施例中，头戴式设备用于观看输出显示的3d图像时，多个阈值范围包括兴奋范围；参见图14，调控处理模块12包括兴奋处理单元1251，其中，兴奋处理单元1251用于进入兴奋状态时，逐渐提升当前显示内容的景深至第二预设景深值，其中，第二预设景深值高于第一预设景深值。

关于上述七个实施例头戴式设备中各模块实现技术方案的其他细节，可参见上述实施例中的用户状态的监测及调控方法中的描述，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。