一种头部穿戴设备、用眼疲劳监测方法、装置及存储介质与流程

文档序号:30447324发布日期:2022-06-18 01:01阅读:130来源:国知局
一种头部穿戴设备、用眼疲劳监测方法、装置及存储介质与流程

1.本说明书涉及可穿戴技术领域,尤其涉及一种头部穿戴设备、用眼疲劳监测方法、装置及存储介质。


背景技术:

2.日常生活中,在从事近距离注视工作或学习时,如果长时间盯着电脑屏幕或书本,眼睛会感到干涩、疲倦,出现重度视疲劳甚至会严重影响日常工作和学习,如何有效进行用眼疲劳监控开始受到关注。
3.现有的用眼疲劳监控方法,通过信号采集器采集用户眼球运动产生的肌电信号,从肌电信号中确定出用户的眼部特征数据,从而确定眼部疲劳状态,然而,现有方法,一方面,无法区分左右眼的疲劳程度,另一方面,通过单一特征进行眼部疲劳状态判断,准确率较低,因此,需要提供一种更加准确的技术方案。


技术实现要素:

4.针对现有技术的上述问题,本技术的目的在于提供一种头部穿戴设备、用眼疲劳监测方法、装置及存储介质,能够在区分左右眼的疲劳程度的同时,提升用眼疲劳监测的准确性。
5.为实现上述目的,本技术提供了如下方案:
6.一种头部穿戴设备,所述设备包括:穿戴本体和鼻托结构,所述鼻托结构与所述穿戴本体连接,所述鼻托结构的左右两侧分别包括第一倾角传感器和第二倾角传感器,所述穿戴本体包括:控制器、前额脑电传感器、第三倾角传感器和通信模块,所述控制器分别与所述第一倾角传感器、所述第二倾角传感器、所述前额脑电传感器、所述第三倾角传感器和所述通信模块电连接。
7.本技术还公开了一种用眼疲劳监测方法,所述方法基于如上述的头部穿戴设备实现,所述方法包括:
8.通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,所述目标眨眼数据包括左眼眨眼数据和右眼眨眼数据;
9.通过第三倾角传感器,采集所述目标对象的头部姿态数据;
10.基于所述左眼眨眼数据、所述用眼时长和所述头部姿态数据进行左眼疲劳检测,得到所述目标对象的左眼疲劳信息;
11.基于所述右眼眨眼数据、所述用眼时长和所述头部姿态数据进行右眼疲劳检测,得到所述目标对象的右眼疲劳信息;
12.基于所述左眼疲劳信息和所述右眼疲劳信息进行用眼疲劳分析,得到所述目标对象的用眼疲劳信息和用眼差异信息。
13.本技术还公开了一种用眼疲劳监测装置,所述装置基于如上述的头部穿戴设备实现,所述装置包括:
14.第一采集模块,用于通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,所述目标眨眼数据包括左眼眨眼数据和右眼眨眼数据;
15.第二采集模块,用于通过第三倾角传感器,采集所述目标对象的头部姿态数据;
16.左眼疲劳检测模块,用于基于所述左眼眨眼数据、所述用眼时长和所述头部姿态数据进行左眼疲劳检测,得到所述目标对象的左眼疲劳信息;
17.右眼疲劳检测模块,用于基于所述右眼眨眼数据、所述用眼时长和所述头部姿态数据进行右眼疲劳检测,得到所述目标对象的右眼疲劳信息;
18.用眼疲劳分析模块,用于基于所述左眼疲劳信息和所述右眼疲劳信息进行用眼疲劳分析,得到所述目标对象的用眼疲劳信息和用眼差异信息。
19.本技术还公开了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的用眼疲劳监测方法。
20.本技术提供的头部穿戴设备、用眼疲劳监测方法、装置及存储介质,具有如下技术效果:
21.本技术提供的技术方案通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,目标眨眼数据包括左眼眨眼数据和右眼眨眼数据,以及通过第三倾角传感器,采集目标对象的头部姿态数据;一方面,基于左眼眨眼数据、用眼时长和头部姿态数据进行左眼疲劳检测,得到目标对象的左眼疲劳信息;基于右眼眨眼数据、用眼时长和头部姿态数据进行右眼疲劳检测,得到目标对象的右眼疲劳信息,能够区分左右眼的疲劳程度;另一方面,基于左眼疲劳信息和右眼疲劳信息进行用眼疲劳分析,得到目标对象的用眼疲劳信息和用眼差异信息,提升用眼疲劳监测的准确性。
附图说明
22.为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
23.图1是本技术实施例提供的一种应用环境的示意图;
24.图2是本技术实施例提供的一种头部穿戴设备的结构框图;
25.图3是本技术实施例提供的另一种头部穿戴设备的结构框图;
26.图4是本技术实施例提供的另一种头部穿戴设备的结构框图;
27.图5是本技术实施例提供的一种用眼疲劳监测方法的流程示意图;
28.图6是本技术实施例提供的一种通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长的流程示意图;
29.图7是本技术实施例提供的一种基于脑电信号数据、第一倾角数据和第二倾角数据进行用眼状态分析,得到预设时间段内的目标眨眼数据的流程示意图;
30.图8是本技术实施例提供的一种左眼疲劳检测、右眼疲劳检测和用眼疲劳分析的流程示意图;
31.图9是本技术实施例提供的一种左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络的训练方法的流程示意图;
32.图10是本技术实施例提供的一种用眼疲劳监测网络的示意图;
33.图11是本技术实施例提供的另一种用眼疲劳监测方法的流程示意图;
34.图12是本技术实施例提供的一种用眼疲劳监测装置。
具体实施方式
35.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
36.在本技术所提供的几个实施例中,所描述的系统实施例仅仅是示意性的,例如上述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块或单元的间接耦合或通信连接,可以是电性或其它的形式。
37.请参阅图1,图1是本技术实施例提供的一种应用环境的示意图,如图1所示,上述应用环境包括头部穿戴设备01和目标对象的移动终端02。
38.具体的,头部穿戴设备01可以包括有:控制器、第一倾角传感器、第二倾角传感器、前额脑电传感器、第三倾角传感器、通信模块、存储模块等。具体的,头部穿戴设备01可以用于通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,目标眨眼数据包括左眼眨眼数据和右眼眨眼数据;通过第三倾角传感器,采集目标对象的头部姿态数据;基于左眼眨眼数据、用眼时长和头部姿态数据进行左眼疲劳检测,得到目标对象的左眼疲劳信息;基于右眼眨眼数据、用眼时长和头部姿态数据进行右眼疲劳检测,得到目标对象的右眼疲劳信息;基于左眼疲劳信息和右眼疲劳信息进行用眼疲劳分析,得到目标对象的用眼疲劳信息和用眼差异信息;向移动终端02推送用眼疲劳信息和用眼差异信息。
39.具体的,移动终端02可以包括:智能手机、车载终端、电脑(如台式电脑、平板电脑、笔记本电脑)、数字助理、智能语音交互设备(如智能音箱)、智能可穿戴设备等类型的实体设备,也可以是运行于实体设备中的软体,比如计算机程序。具体的,移动终端02用于接收头部穿戴设备01推送的用眼疲劳信息和用眼差异信息。
40.在实际应用中,头部穿戴设备01与移动终端02可以进行信息交互,头部穿戴设备01向移动终端02实时推送用眼疲劳信息和用眼差异信息,实现用眼疲劳监测。
41.以下介绍本技术实施例提供的一种头部穿戴设备,如图2所示,具体的,上述设备可以包括:穿戴本体1和鼻托结构2,鼻托结构2与穿戴本体1连接,鼻托结构2的左右两侧分别包括第一倾角传感器3和第二倾角传感器4,穿戴本体1包括:控制器5、前额脑电传感器6、第三倾角传感器7和通信模块8,控制器5分别与第一倾角传感器3、第二倾角传感器4、前额脑电传感器6、第三倾角传感器7和通信模块8电连接。
42.在一个具体的实施例中,鼻托结构可以为柔性鼻托结构,在目标对象佩戴上述头
部穿戴设备的情况下,柔性鼻托结构可以贴覆在目标对象的眼角鼻梁上方两侧。
43.在一个具体的实施例中,第一倾角传感器和第二倾角传感器可以为三轴倾角传感器,具体的,第一倾角传感器和第二倾角传感器可以分别用于采集目标对象的眼角鼻梁上方两侧的倾角数据。
44.在一个具体的实施例中,第三倾角传感器可以包括:倾角传感器和陀螺仪,具体的,第三倾角传感器可以用于采集目标对象的头部姿态数据。
45.在一个具体的实施例中,前额脑电传感器可以包括:前额单通道脑电传感器,具体的,前额脑电传感器可以用于采集目标对象的脑电信号数据。
46.在一个具体的实施例中,通信模块可以包括但不限于:蓝牙通信、wifi通信。
47.由以上实施例可见,通过鼻托结构中的第一倾角传感器和第二倾角传感器,能够采集目标对象的眼角鼻梁上方两侧的倾角数据,区分左右眼的眨眼数据,从而进行左右眼疲劳监测。
48.在一个可选的实施例中,如图3所示,上述穿戴本体1还可以包括:振动模块9,控制器5与振动模块9电连接。
49.在一个具体的实施例中,振动模块用于对目标对象进行振动提醒。
50.在一个可选的实施例中,如图4所示,上述穿戴本体1还可以包括:光照传感器10和测距传感器11,控制器5分别与光照传感器10和测距传感器11电连接。
51.在一个具体的实施例中,光照传感器可以用于采集目标对象所在环境的光照数据。
52.在一个具体的实施例中,测距传感器可以包括:红外激光测距传感,具体的,测距传感器可以用于采集目标对象的用眼距离。
53.在本说明书实施例中,上述穿戴本体还可以包括:存储模块,存储模块与控制器电连接。
54.由以上实施例可见,通过光照传感器和测距传感器可以采集目标对象所在环境的光照数据和用眼距离,进一步进行用眼监控。
55.以下介绍本技术实施例提供的一种用眼疲劳监测方法,该方法基于上述的头部穿戴设备实现,图5为本技术实施例提供的一种用眼疲劳监测方法的流程示意图。需要说明的是,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图5所示,上述方法可以包括:
56.s501,通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,目标眨眼数据包括左眼眨眼数据和右眼眨眼数据。
57.在本说明书实施例中,目标眨眼数据可以为与目标对象的眨眼动作关联的统计数据,用眼时长可以为目标对象在预设统计时间段内的眨眼总时长。具体的,目标眨眼数据可以包括左眼眨眼数据和右眼眨眼数据,左眼眨眼数据可以为与目标对象的左眼眨眼动作关联的统计数据,右眼眨眼数据可以为与目标对象的右眼眨眼动作关联的统计数据。
58.在本说明书实施例中,如图6所示,上述通过第一倾角传感器、第二倾角传感器和
前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长可以包括:
59.s601,通过第一倾角传感器和第二倾角传感器分别采集目标对象在预设时间段内的第一倾角数据和第二倾角数据。
60.在本说明书实施例中,预设时间段内可以结合用眼疲劳的监测精度进行设置。可选的,预设时间段可以为60秒。
61.在实际应用中,目标对象眨眼时会联动鼻托结构的轻微振动,鼻托结构中的第一倾角传感器和第二倾角传感器可以采集到轻微振动所造成的三维(xyz轴)方向的角度变化。具体的,对第一倾角传感器采集到的第一初始信号进行滤波和放大处理,得到第一放大信号,对第一放大信号进行a/d(模拟数字转换器)转换,得到第一倾角数据;对第二倾角传感器采集到的第二初始信号进行滤波和放大处理,得到第二放大信号,对第二放大信号进行a/d转换,得到第二倾角数据。
62.具体的,第一倾角数据可以为鼻托结构左侧的三维倾角数据,第二倾角数据可以为鼻托结构右侧的三维倾角数据,其中,三维倾角数据可以包括x轴倾角数据、y轴倾角数据和z轴倾角数据,相应的,第一倾角数据可以包括:第一x轴倾角数据、第一y轴倾角数据和第一z轴倾角数据,第二倾角数据可以包括:第二x轴倾角数据、第二y轴倾角数据和第二z轴倾角数据。
63.s602,通过前额脑电传感器采集目标对象在预设时间段内的脑电信号数据。
64.具体的,脑电信号数据可以为前额脑电信号的幅度统计数据,幅度统计数据可以包括幅度标准差。在实际应用中,前额脑电信号的采样频率可以根据采样精度进行设定,可选的实施例中,采样频率可以为1khz。
65.s603,将预设时间段内脑电信号数据大于眨眼信号阈值的时间长度作为用眼时长。
66.具体的,以预设判断频率判断当前脑电信号数据是否大于眨眼信号阈值,在当前脑电信号数据大于眨眼信号阈值的情况下,判定当前脑电信号数据对应的状态为眨眼状态,将预设时间段内眨眼状态的时间长度作为用眼时长。
67.在一个具体的实施例中,眨眼信号阈值的确定方法可以包括:
68.1)获取目标对象闭眼过程中的第一脑电信号数据和眨眼过程中的第二脑电信号数据;
69.具体的,第一脑电信号数据可以为目标对象闭眼过程中前额脑电信号的幅度标准差,第二脑电信号数据可以为目标对象眨眼过程中前额脑电信号的幅度标准差。可选的实施例中,在目标对象闭眼10秒的过程中获取第一脑电信号数据,在目标对象眨眼10秒的过程中获取第二脑电信号数据。
70.2)基于第一脑电信号数据和第二脑电信号数据,确定眨眼信号阈值。
71.具体的,可以计算第一脑电信号数据和第二脑电信号数据的均值,将均值作为眨眼信号阈值。
72.s604,基于脑电信号数据、第一倾角数据和第二倾角数据进行用眼状态分析,得到预设时间段内的目标眨眼数据。
73.在一个具体的实施例中,基于脑电信号数据、第一倾角数据和第二倾角数据进行用眼状态分析,得到左眼眨眼数据和右眼眨眼数据,具体的,左眼眨眼数据可以包括:左眼
的眨眼频率和多种左眼眨眼强度下每种眨眼强度的持续时间;右眼眨眼数据可以包括:右眼的眨眼频率和多种右眼眨眼强度下每种眨眼强度的持续时间。
74.在一个具体的实施例中,如图7所示,上述基于脑电信号数据、第一倾角数据和第二倾角数据进行用眼状态分析,得到预设时间段内的目标眨眼数据可以包括:
75.s701,遍历预设时间段内多个时刻的脑电信号数据。
76.具体的,多个时刻可以结合用眼疲劳的监测精度进行设置。可选的实施例中,多个时刻可以包括60秒内的每一秒钟。
77.s702,在当前遍历到的脑电信号数据大于眨眼信号阈值的情况下,对当前遍历到的脑电信号数据对应时刻的第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果。
78.s703,根据倾角变化分析结果,确定当前遍历到的脑电信号数据对应的目标眨眼状态。
79.在一个具体的实施例中,在第一倾角数据包括:第一x轴倾角数据、第一y轴倾角数据和第一z轴倾角数据,第二倾角数据包括:第二x轴倾角数据、第二y轴倾角数据和第二z轴倾角数据的情况下,上述对当前遍历到的脑电信号数据对应时刻的第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果可以包括:对当前遍历到的脑电信号数据对应时刻的第一x轴倾角数据和第二x轴倾角数据进行角度比较,得到第一比较结果;对当前遍历到的脑电信号数据对应时刻的第一y轴倾角数据和第二y轴倾角数据进行角度比较,得到第二比较结果;对当前遍历到的脑电信号数据对应时刻的第一z轴倾角数据和第二z轴倾角数据进行角度比较,得到第三比较结果;基于第一比较结果、第二比较结果和第三比较结果,得到倾角变化分析结果;
80.相应的,目标眨眼状态可以包括:左眼眨眼和右眼眨眼,上述根据分析结果,确定当前遍历到的脑电信号数据对应的目标眨眼状态可以包括:在倾角变化分析结果满足第一角度变化条件的情况下,当前遍历到的脑电信号数据对应的目标眨眼状态为左眼眨眼;在倾角变化分析结果满足第二角度变化条件的情况下,当前遍历到的脑电信号数据对应的目标眨眼状态为右眼眨眼。在实际应用中,第一角度变化条件和第二角度变化条件可以结合大量实验数据进行设置。
81.s704,在目标眨眼状态为左眼眨眼的情况下,将当前遍历到的脑电信号数据加入第一数据组。
82.s705,在目标眨眼状态为右眼眨眼的情况下,将当前遍历到的脑电信号数据加入第二数据组。
83.s706,在遍历预设时间段内多个时刻的脑电信号数据结束后,对第一数据组中的脑电信号数据进行统计分析,得到左眼的眨眼频率和左眼的多种眨眼强度对应的第一持续时间。
84.s707,对第二数据组中的脑电信号数据进行统计分析,得到右眼的眨眼频率和右眼的多种眨眼强度对应的第二持续时间。
85.s708,将左眼的眨眼频率和第一持续时间作为左眼眨眼数据。
86.s709,将右眼的眨眼频率和第二持续时间作为右眼眨眼数据。
87.具体的,分别统计预设时间段内的多个时刻的脑电信号数据对应的目标眨眼状态
中左眼眨眼的次数以及右眼眨眼的次数,进而得到左眼的眨眼频率和右眼的眨眼频率。
88.具体的,可以在眨眼信号阈值和上述第二脑电信号数据之间设置多种强度阈值,在实际应用中,多种强度阈值的数值可以结合眨眼强度的区分精度进行设置。可选的实施例中,多种强度阈值可以包括第一强度阈值和第二强度阈值,其中,第一强度阈值小于第二强度阈值,在脑电信号数据大于眨眼信号阈值且小于等于第一强度阈值的情况下,认为脑电信号数据对应的目标眨眼状态为低强度眨眼,在脑电信号数据大于第一强度阈值且小于等于第二强度阈值的情况下,认为脑电信号数据对应的目标眨眼状态为中强度眨眼,在脑电信号数据大于第二强度阈值且小于等于第二脑电信号数据的情况下,认为脑电信号数据对应的目标眨眼状态为高强度眨眼;
89.相应的,统计预设时间段内的脑电信号数据对应的目标眨眼状态为左眼眨眼的第一时间长度,进而确定第一时间长度中左眼低强度眨眼的持续时间、左眼中强度眨眼的持续时间以及左眼高强度眨眼的持续时间;统计预设时间段内的脑电信号数据对应的目标眨眼状态为右眼眨眼的第二时间长度,进而确定第二时间长度中右眼低强度眨眼的持续时间、右眼中强度眨眼的持续时间以及右眼高强度眨眼的持续时间。
90.由以上实施例可见,通过第一倾角传感器和第二倾角传感器分别采集目标对象的第一倾角数据和第二倾角数据,对第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果;并基于倾角变化分析结果和脑电信号数据,区分左右眼眨眼数据,以便于后续进行左右眼疲劳检测。
91.s502,通过第三倾角传感器,采集目标对象的头部姿态数据。
92.在一个具体的实施例中,上述通过第三倾角传感器,采集目标对象的头部姿态数据可以包括:通过第三倾角传感器采集目标对象的头部倾角数据;对头部倾角数据进行头部姿态分析,得到头部姿态数据。
93.具体的,头部倾角数据可以为当前头部位置相对于头部端正位置的角度,头部姿态数据可以包括抬头状态、低头状态、平视状态。
94.在一个具体的实施例中,以头部端正位置对应的头部倾角数据为0
°
,此时的头部姿态数据为平视状态;当头部倾角数据大于0
°
时,此时的头部姿态数据为低头状态;当头部倾角数据小于0
°
时,此时的头部姿态数据为抬头状态。
95.s503,基于左眼眨眼数据、用眼时长和头部姿态数据进行左眼疲劳检测,得到目标对象的左眼疲劳信息。
96.s504,基于右眼眨眼数据、用眼时长和头部姿态数据进行右眼疲劳检测,得到目标对象的右眼疲劳信息。
97.s505,基于左眼疲劳信息和右眼疲劳信息进行用眼疲劳分析,得到目标对象的用眼疲劳信息和用眼差异信息。
98.在本说明书实施例中,左眼疲劳信息可以为表征左眼疲劳状态的左眼疲劳度,右眼疲劳信息可以为表征右眼疲劳状态的右眼疲劳度,用眼疲劳信息可以为表征双眼疲劳状态的用眼疲劳度,用眼差异信息可以为表征左右眼疲劳差异的左右眼疲劳差异度。
99.在一个具体的实施例中,左眼疲劳信息可以包括按照一定规则将左眼疲劳程度量化后的左眼疲劳数值,右眼疲劳信息可以包括按照一定规则将右眼疲劳程度量化后的右眼疲劳数值,用眼疲劳信息可以包括按照一定规则将双眼疲劳程度量化后的用眼疲劳数值,
用眼差异信息可以包括左眼疲劳数值与右眼疲劳数值的差值。
100.在一个具体的实施例中,可以基于用眼疲劳数值与用眼疲劳阈值的比较结果,确定用眼疲劳数值对应的疲劳等级。可选的,用眼疲劳阈值可以包括第一疲劳阈值和第二疲劳阈值,其中,第一疲劳阈值小于第二疲劳阈值。具体的,在用眼疲劳数值小于第一疲劳阈值的情况下,眼疲劳数值对应的疲劳等级为轻度用眼疲劳;在用眼疲劳数值大于等于第一疲劳阈值且小于第二疲劳阈值的情况下,眼疲劳数值对应的疲劳等级为中度用眼疲劳;在用眼疲劳数值大于等于第二疲劳阈值的情况下,眼疲劳数值对应的疲劳等级为高度用眼疲劳。
101.在实际应用中,第一疲劳阈值和第二疲劳阈值可以结合用眼疲劳监测的精度和用眼疲劳数值的范围进行预先设置。
102.在一个具体的实施例中,如图8所示,上述基于左眼眨眼数据、用眼时长和头部姿态数据进行左眼疲劳检测,得到目标对象的左眼疲劳信息可以包括:
103.s801,将左眼眨眼数据、用眼时长和头部姿态数据输入左眼疲劳检测网络进行左眼疲劳检测,得到左眼疲劳信息。
104.上述基于右眼眨眼数据、用眼时长和头部姿态数据进行右眼疲劳检测,得到目标对象的右眼疲劳信息可以包括:
105.s802,将右眼眨眼数据、用眼时长和头部姿态数据输入右眼疲劳检测网络进行右眼疲劳检测,得到右眼疲劳信息。
106.上述基于左眼疲劳信息和右眼疲劳信息进行疲劳分析,得到目标对象的用眼疲劳信息和用眼差异信息可以包括:
107.s803,将左眼疲劳信息和右眼疲劳信息输入用眼疲劳分析网络进行用眼疲劳分析,得到用眼疲劳信息和用眼差异信息。
108.具体的,上述左眼疲劳检测网络可以包括但不限于gru(门控制循环单元网络)、rnn(循环神经网络)或lstm(长短期记忆网络)。
109.具体的,上述右眼疲劳检测网络可以包括但不限于:gru、rnn或lstm。
110.具体的,上述用眼疲劳分析网络可以包括但不限于:gru、svm(支持向量机)、bp(前馈神经网络)、k-means(k均值聚类算法)。
111.由以上实施例可见,一方面,将左眼眨眼数据、用眼时长和头部姿态数据输入左眼疲劳检测网络进行左眼疲劳检测以及将右眼眨眼数据、用眼时长和头部姿态数据输入右眼疲劳检测网络进行右眼疲劳检测,能够区分左右眼的疲劳信息,另一方面,将左眼疲劳信息和右眼疲劳信息输入用眼疲劳分析网络进行用眼疲劳分析,能够提升用眼疲劳分析的精确度。
112.在本说明书实施例中,可以通过样本对象的样本用眼数据对预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络进行联合训练,得到上述左眼疲劳检测网络、上述右眼疲劳检测网络和上述用眼疲劳分析网络。
113.在一个具体的实施例中,可以上述头部穿戴设备或其他类似设备采集样本对象的原始用眼数据,对原始用眼数据进行预处理和特征提取后,得到样本用眼处理,具体的,预处理方法可以包括:重采样、滤波处理、归一化处理等,特征提取方法可以包括但不限于:基于卷积神经网络的特征提取方法和类似于步骤s601~s604以及步骤s701~s709的特征提
取方法。
114.在一个具体的实施例中,如图9所示,上述左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络的训练方法可以包括:
115.s901,获取样本对象的样本眨眼数据、样本用眼时长和样本头部姿态数据,样本眨眼数据包括样本左眼眨眼数据和样本右眼眨眼数据。
116.s902,获取样本对象对应的标注用眼疲劳信息和标注用眼差异信息。
117.在实际应用中,在进行网络训练之前,可以先确定训练数据,具体的,本技术实施例中,可以获取包含有标注用眼疲劳信息和标注用眼差异信息的样本对象的样本用眼数据作为训练数据,其中,样本用眼数据可以包括样本眨眼数据、样本用眼时长和样本头部姿态数据。
118.具体的,标注用眼疲劳信息可以为对样本用眼数据预先标注的预设用眼疲劳信息,标注用眼差异信息可以为对样本用眼数据预先标注的预设用眼差异信息。
119.s903,将样本左眼眨眼数据、样本用眼时长和样本头部姿态数据输入预设左眼疲劳检测网络进行左眼疲劳检测,得到样本对象的样本左眼疲劳信息。
120.s904,将样本右眼眨眼数据、样本用眼时长和样本头部姿态数据输入预设右眼疲劳检测网络进行右眼疲劳检测,得到样本对象的样本右眼疲劳信息。
121.s905,将样本左眼疲劳信息和样本右眼疲劳信息输入预设用眼疲劳分析网络进行用眼疲劳分析,得到样本对象的样本用眼疲劳信息和样本用眼差异信息。
122.s906,基于样本用眼疲劳信息和样本用眼差异信息以及标注用眼疲劳信息和标注用眼差异信息,确定目标损失信息。
123.s907,基于目标损失信息,训练预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络,得到左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络。
124.在一个可选的实施例中,上述目标损失信息可以包括用眼疲劳信息损失和用眼差异信息损失;
125.相应的,上述基于样本用眼疲劳信息和样本用眼差异信息以及标注用眼疲劳信息和标注用眼差异信息,确定目标损失信息可以包括:
126.根据标注用眼疲劳信息和样本用眼疲劳信息,确定用眼疲劳信息损失;根据标注用眼差异信息和样本用眼差异信息,确定用眼差异信息损失。
127.在一个具体的实施例中,上述根据标注用眼疲劳信息和样本用眼疲劳信息,确定用眼疲劳信息损失可以包括基于第一预设损失函数,确定标注用眼疲劳信息和样本用眼疲劳信息间的用眼疲劳信息损失;上述根据标注用眼差异信息和样本用眼差异信息,确定用眼差异信息损失可以包括:基于第二预设损失函数,确定标注用眼差异信息和样本用眼差异信息间的用眼差异信息损失。可选的,第一预设损失函数和第二预设损失函数可以为同一损失函数,也可以为不同的损失函数。
128.在一个具体的实施例中,用眼疲劳信息损失可以表征标注用眼疲劳信息和样本用眼疲劳信息间的差异,用眼差异信息损失可以表征标注用眼差异信息和样本用眼差异信息间的差异。
129.在一个具体的实施例中,第一预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等,第二预设损失函数可以包括但不限于交叉熵损失函数、逻
辑损失函数、指数损失函数等。
130.在一个可选的实施例中,基于目标损失信息,训练预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络,得到左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络可以包括:基于目标损失信息,更新预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络的网络参数;基于更新后的预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络,重复步骤s903基于目标损失信息,更新预设特征融合网络的网络参数的媒体内容标签识别训练迭代操作,至基于目标损失信息,更新预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络的网络参数的用眼疲劳监测训练迭代操作,至达到用眼疲劳监测收敛条件;将达到用眼疲劳监测收敛条件的情况下得到的预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络,作为左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络。
131.在一个可选的实施例中,上述达到用眼疲劳监测收敛条件可以为训练迭代操作的次数达到预设训练次数。可选的,达到用眼疲劳监测收敛条件也可以为目标损失信息小于指定阈值。本说明书实施例中,预设训练次数和指定阈值可以结合实际应用中对网络的训练速度和精准度预先设置。
132.在一个具体的实施例中,如图10所示,建立包含上述左眼疲劳检测网络、上述右眼疲劳检测网络和上述用眼疲劳分析网络的用眼疲劳监测网络,将目标对象的目标眨眼数据、用眼时长和头部姿态数据输入用眼疲劳监测网络进行用眼疲劳监测,得到目标对象的用眼疲劳信息和用眼差异信息。
133.由以上实施例可见,一方面,基于样本对象的样本眨眼数据与相应的标注用眼疲劳信息和标注用眼差异信息的机器学习训练,得到具有高泛化能力的用眼疲劳监测网络;另一方面,通过对预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络进行联合训练,提升训练效率的同时,可以更好的提升网络对用眼疲劳监测的准确性。
134.在一个可选的实施例中,上述方法还可以包括:根据与用眼疲劳信息对应的振动模式,控制振动模块进行振动提醒。
135.具体的,振动模式包括目标振动频率和目标振动时长。
136.在一个可选的实施例中,在用眼疲劳信息为轻度用眼疲劳的情况下,目标振动频率可以为2hz,目标振动时长可以为1秒;在用眼疲劳信息为中度用眼疲劳的情况下,目标振动频率可以为5hz,目标振动时长可以为2秒;在用眼疲劳信息为高度用眼疲劳的情况下,目标振动频率可以为10hz,目标振动时长可以包括单次振动时长和间隔振动时长,可选的,单次振动时长可以为2秒,间隔振动时长可以为5秒。
137.由以上实施例可见,通过控制振动模块进行与用眼疲劳信息对应的振动提醒,提醒目标对象注意用眼健康,避免过度疲劳,提升用户的使用体验。
138.在一个可选的实施例中,如图11所示,上述方法还可以包括:
139.s506,通过光照传感器,采集目标对象所在环境的光照数据。
140.具体的,光照数据可以包括但不限于:照度、频闪、显色、色温。
141.s507,通过测距传感器,采集目标对象的用眼距离。
142.具体的,用眼距离可以为目标对象的眼睛注视方向距面前遮挡物体的距离。
143.s508,基于头部倾角数据和预设校准倾角数据进行角度校准,得到目标对象的用
眼角度。
144.具体的,这里的用眼角度为眼睛注视方向与空间竖直平面之间的角度。
145.具体的,将头部倾角数据与预设校准倾角数据间的角度差值作为目标对象的用眼角度。
146.在实际应用中,在目标对象初次佩戴上述头部穿戴设备时,可以对头部穿戴设备的采集数据进行初始化,当目标对象进入标准正坐状态时,通过第三倾角采集此时的头部倾角数据,将此时的头部倾角数据作为预设校准倾角数据。
147.s509,获取目标对象的历史用眼疲劳信息。
148.具体的,历史用眼疲劳信息可以为目标对象在历史时刻的用眼疲劳信息。
149.在一个可选的实施例中,可以从上述头部穿戴设备的存储模块获取目标对象的历史用眼疲劳信息。
150.在另一个可选的实施例中,可以从云端获取目标对象的历史用眼疲劳信息。
151.s510,基于历史用眼疲劳信息和用眼疲劳信息,生成目标对象的疲劳变化信息。
152.具体的,疲劳变化信息可以表征目标对象的用眼疲劳的变化情况。
153.在一个具体的实施例中,在历史用眼疲劳信息包括历史用眼疲劳数值a,用眼疲劳信息包括用眼疲劳数值b的情况下,疲劳变化信息=(a-b)/a
×
100%。
154.s511,基于光照数据、用眼距离、用眼角度、用眼时长、疲劳变化信息,生成用眼疲劳监测信息。
155.s512,通过通信模块向与目标对象对应的移动终端推送用眼疲劳监测信息。
156.在本说明书实施例中,目标对象对应的移动终端可以包括但不限于:智能手机、车载终端、电脑(如台式电脑、平板电脑、笔记本电脑)、数字助理、智能语音交互设备(如智能音箱)、智能可穿戴设备等类型的实体设备,也可以是运行于实体设备中的软体,比如计算机程序、app(应用程序)。
157.由以上本技术书实施例可见,利用本技术实施例提供的技术方案,一方面,通过第三倾角传感器,采集目标对象的头部姿态数据,以及通过第一倾角传感器和第二倾角传感器分别采集目标对象的第一倾角数据和第二倾角数据,对第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果;并基于倾角变化分析结果和脑电信号数据,区分左右眼眨眼数据,以便于后续进行左右眼疲劳检测;另一方面,将左眼眨眼数据、用眼时长和头部姿态数据输入左眼疲劳检测网络进行左眼疲劳检测以及将右眼眨眼数据、用眼时长和头部姿态数据输入右眼疲劳检测网络进行右眼疲劳检测,能够区分左右眼的疲劳信息,另一方面,将左眼疲劳信息和右眼疲劳信息输入用眼疲劳分析网络进行用眼疲劳分析,能够提升用眼疲劳分析的精确度;另一方面,通过对预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络进行联合训练,提升训练效率的同时,可以更好的提升网络对用眼疲劳监测的准确性;另一方面,通过控制振动模块进行与用眼疲劳信息对应的振动提醒,提醒目标对象注意用眼健康,避免过度疲劳,提升用户的使用体验。
158.本技术实施例提供了一种用眼疲劳监测装置,上述装置基于如上述的头部穿戴设备实现,如图12所示,上述装置包括:
159.第一采集模块1210,用于通过第一倾角传感器、第二倾角传感器和前额脑电传感器,采集目标对象的目标眨眼数据和用眼时长,目标眨眼数据包括左眼眨眼数据和右眼眨
眼数据;
160.第二采集模块1220,用于通过第三倾角传感器,采集目标对象的头部姿态数据;
161.左眼疲劳检测模块1230,用于基于左眼眨眼数据、用眼时长和头部姿态数据进行左眼疲劳检测,得到目标对象的左眼疲劳信息;
162.右眼疲劳检测模块1240,用于基于右眼眨眼数据、用眼时长和头部姿态数据进行右眼疲劳检测,得到目标对象的右眼疲劳信息;
163.用眼疲劳分析模块1250,用于基于左眼疲劳信息和右眼疲劳信息进行用眼疲劳分析,得到目标对象的用眼疲劳信息和用眼差异信息。
164.在本说明书实施例中,上述第一采集模块1210可以包括:
165.倾角采集单元,用于通过第一倾角传感器和第二倾角传感器分别采集目标对象在预设时间段内的第一倾角数据和第二倾角数据;
166.脑电信号数据采集单元,用于通过前额脑电传感器采集目标对象在预设时间段内的脑电信号数据;
167.用眼时长单元,用于将预设时间段内脑电信号数据大于眨眼信号阈值的时间长度作为用眼时长;
168.用眼状态分析单元,用于基于脑电信号数据、第一倾角数据和第二倾角数据进行用眼状态分析,得到预设时间段内的目标眨眼数据。
169.在一个具体的实施例中,上述用眼状态分析单元可以包括:
170.遍历单元,用于遍历预设时间段内多个时刻的脑电信号数据;
171.倾角变化分析单元,用于在当前遍历到的脑电信号数据大于眨眼信号阈值的情况下,对当前遍历到的脑电信号数据对应时刻的第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果;
172.目标眨眼状态确定单元,用于根据倾角变化分析结果,确定当前遍历到的脑电信号数据对应的目标眨眼状态;
173.第一数据组单元,用于在目标眨眼状态为左眼眨眼的情况下,将当前遍历到的脑电信号数据加入第一数据组;
174.第二数据组单元,用于在目标眨眼状态为右眼眨眼的情况下,将当前遍历到的脑电信号数据加入第二数据组;
175.第一统计分析单元,用于在遍历预设时间段内多个时刻的脑电信号数据结束后,对第一数据组中的脑电信号数据进行统计分析,得到左眼的眨眼频率和左眼的多种眨眼强度对应的第一持续时间;
176.第二统计分析单元,用于对第二数据组中的脑电信号数据进行统计分析,得到右眼的眨眼频率和右眼的多种眨眼强度对应的第二持续时间;
177.左眼眨眼数据单元,用于将左眼的眨眼频率和第一持续时间作为左眼眨眼数据;
178.右眼眨眼数据单元,用于将右眼的眨眼频率和第二持续时间作为右眼眨眼数据。
179.在一个具体的实施例中,上述第二采集模块1220可以包括:
180.头部倾角数据采集单元,用于通过第三倾角传感器采集目标对象的头部倾角数据;
181.头部姿态分析单元,用于对头部倾角数据进行头部姿态分析,得到头部姿态数据。
182.在一个具体的实施例中,上述左眼疲劳检测模块1230可以包括:
183.左眼疲劳检测网络单元,用于将左眼眨眼数据、用眼时长和头部姿态数据输入左眼疲劳检测网络进行左眼疲劳检测,得到左眼疲劳信息;
184.上述右眼疲劳检测模块1240可以包括:
185.右眼疲劳检测网络单元,用于将右眼眨眼数据、用眼时长和头部姿态数据输入右眼疲劳检测网络进行右眼疲劳检测,得到右眼疲劳信息;
186.上述用眼疲劳分析模块1250可以包括:
187.用眼疲劳分析网络单元,用于将左眼疲劳信息和右眼疲劳信息输入用眼疲劳分析网络进行用眼疲劳分析,得到用眼疲劳信息和用眼差异信息。
188.在一个具体的实施例中,上述装置还可以包括:
189.样本数据获取模块,用于获取样本对象的样本眨眼数据、样本用眼时长和样本头部姿态数据,样本眨眼数据包括样本左眼眨眼数据和样本右眼眨眼数据;
190.标注数据获取模块,用于获取样本对象对应的标注用眼疲劳信息和标注用眼差异信息;
191.预设左眼疲劳检测网络模块,用于将样本左眼眨眼数据、样本用眼时长和样本头部姿态数据输入预设左眼疲劳检测网络进行左眼疲劳检测,得到样本对象的样本左眼疲劳信息;
192.预设右眼疲劳检测网络模块,用于将样本右眼眨眼数据、样本用眼时长和样本头部姿态数据输入预设右眼疲劳检测网络进行右眼疲劳检测,得到样本对象的样本右眼疲劳信息;
193.预设用眼疲劳分析网络模块,用于将样本左眼疲劳信息和样本右眼疲劳信息输入预设用眼疲劳分析网络进行用眼疲劳分析,得到样本对象的样本用眼疲劳信息和样本用眼差异信息;
194.目标损失信息确定模块,用于基于样本用眼疲劳信息和样本用眼差异信息以及标注用眼疲劳信息和标注用眼差异信息,确定目标损失信息;
195.训练模块,用于基于目标损失信息,训练预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络,得到左眼疲劳检测网络、右眼疲劳检测网络和用眼疲劳分析网络。
196.在一个可选的实施例中,上述装置还可以包括:
197.振动模块,用于根据与用眼疲劳信息对应的振动模式,控制振动模块进行振动提醒。
198.在一个可选的实施例中,上述装置还可以包括:
199.光照数据采集模块,用于通过光照传感器,采集目标对象所在环境的光照数据;
200.用眼距离采集模块,用于通过测距传感器,采集目标对象的用眼距离;
201.用眼角度校准模块,用于基于头部倾角数据和预设校准倾角数据进行角度校准,得到目标对象的用眼角度;
202.历史用眼疲劳信息获取模块,用于获取目标对象的历史用眼疲劳信息;
203.疲劳变化信息生成模块,用于基于历史用眼疲劳信息和用眼疲劳信息,生成目标对象的疲劳变化信息;
204.用眼疲劳监测信息生成模块,用于基于光照数据、用眼距离、用眼角度、用眼时长、疲劳变化信息,生成用眼疲劳监测信息;
205.信息推送模块,用于通过通信模块向与目标对象对应的移动终端推送用眼疲劳监测信息。
206.上述的装置实施例中的装置与方法实施例基于同样地发明构思。在此不再一一赘述。
207.本技术实施例还提供了一种存储介质,上述存储介质可设置于头部穿戴设备之中以保存用于实现方法实施例中一种的用眼疲劳监测方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的用眼疲劳监测方法。
208.可选地,在本实施例中,上述存储介质可以包括但不限于:只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)等各种可以存储程序代码的介质。
209.由上述本技术提供的头部穿戴设备、用眼疲劳监测方法、装置及存储介质的实施例可见,利用本技术实施例提供的技术方案,一方面,通过第三倾角传感器,采集目标对象的头部姿态数据,以及通过第一倾角传感器和第二倾角传感器分别采集目标对象的第一倾角数据和第二倾角数据,对第一倾角数据和第二倾角数据进行倾角变化分析,得到倾角变化分析结果;并基于倾角变化分析结果和脑电信号数据,区分左右眼眨眼数据,以便于后续进行左右眼疲劳检测;另一方面,将左眼眨眼数据、用眼时长和头部姿态数据输入左眼疲劳检测网络进行左眼疲劳检测以及将右眼眨眼数据、用眼时长和头部姿态数据输入右眼疲劳检测网络进行右眼疲劳检测,能够区分左右眼的疲劳信息,另一方面,将左眼疲劳信息和右眼疲劳信息输入用眼疲劳分析网络进行用眼疲劳分析,能够提升用眼疲劳分析的精确度;另一方面,通过对预设左眼疲劳检测网络、预设右眼疲劳检测网络和预设用眼疲劳分析网络进行联合训练,提升训练效率的同时,可以更好的提升网络对用眼疲劳监测的准确性;另一方面,通过控制振动模块进行与用眼疲劳信息对应的振动提醒,提醒目标对象注意用眼健康,避免过度疲劳,提升用户的使用体验。
210.要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。此外,还可对上述实施例进行任意组合,得到其他的实施例。
211.在上述实施例中,对各实施例的描述都各有侧重,某各实施例中没有详述的部分,可以参见其它实施例的相关描述。本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现上述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
212.上述说明已经充分揭露了本发明的具体实施方式。需要指出的是,熟悉该领域的
技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地,本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1