一种对象监控方法、装置、电子设备及存储介质与流程

1.本发明涉及到疲劳监测技术领域，尤其涉及一种对象监控方法、装置、电子设备及存储介质。


背景技术：

2.人在工作或学习中经常会出现疲劳状态，这会导致人的学习或工作效率减弱，而目前现有技术中没有对其疲劳状态进行监测的相关技术。


技术实现要素：

3.本发明的目的是提供一种对象监控方法、装置、电子设备及存储介质，通过多个对象各自的眼部行为信息确定多个对象各自的对象疲劳信息，基于多个对象各自的对象疲劳信息确定多个群体的群体疲劳信息，根据群体疲劳信息确定疲劳群体，并向所述疲劳群体的关联设备发送控制信息，能够监测并改善疲劳群体的疲劳程度，提高疲劳群体的工作或学习效率。
4.为实现上述目的，本发明提供了如下方案：
5.一种对象监控方法，所述方法包括：
6.获取多个对象各自的眼部行为信息，所述眼部行为信息表征对象的眨眼程度；
7.根据所述眼部行为信息，确定所述多个对象各自的对象疲劳信息；
8.基于所述对象疲劳信息，确定多个群体各自的群体疲劳信息，每个群体包括至少两个对象；
9.根据所述群体疲劳信息，确定所述多个群体中的疲劳群体，并向所述疲劳群体的关联设备发送控制信息。
10.可选的，所述眼部行为信息包括眨眼频率、眨眼强度信息和眨眼持续时间中的至少两个；所述根据所述眼部行为信息，确定所述多个对象各自的对象疲劳信息，包括：
11.获取眼疲劳模型；
12.将所述眼部行为信息输入所述眼疲劳模型，获得所述每个对象的对象疲劳信息。
13.可选的，所述眼部行为信息包括眨眼频率、眨眼强度信息和眨眼持续时间，所述获取多个对象各自的眼部行为信息，包括：
14.获取多个对象各自的脑电信息；
15.根据所述脑电信息，确定当前时刻之前的预设时间段内的眨眼次数、所述预设时间段内每次眨眼对应的眨眼强度以及所述眨眼持续时间；
16.基于所述眨眼次数，获得所述眨眼频率；
17.基于所述预设时间段内每次眨眼对应的眨眼强度，进行均值处理，获得所述眨眼强度信息。
18.可选的，所述基于所述对象疲劳信息，确定多个群体各自的群体疲劳信息，包括：
19.获取对象分布信息；
20.基于所述对象分布信息，确定所述多个群体各自对应的对象；
21.基于每个群体各自对象的对象疲劳信息，确定每个群体的群体疲劳信息。
22.可选的，所述获取多个对象各自的眼部行为信息之前，还包括：
23.获取当前场景模式；
24.在所述当前场景模式属于学习模式的情况下，执行所述获取多个对象各自的眼部行为信息的步骤。
25.可选的，所述向所述疲劳群体的关联设备发送控制信息，包括：
26.向所述疲劳群体对应的区域光照控制设备发送控制信息；
27.向所述疲劳群体对应的推送对象的电子设备发送推送信息；
28.向所述疲劳群体对应的对象的头戴设备发送振动指令，以使所述头戴设备振动。
29.可选的，所述向所述疲劳群体对应的区域光照控制设备发送控制信息，包括：
30.获取所述当前场景模式对应的光照调节范围和当前光照信息；
31.基于所述光照调节范围和当前光照信息，确定目标光照信息，其中，所述目标光照信息大于所述的当前光照信息，所述光照调节范围对应的最大阈值信息大于所述目标光照信息；
32.向所述疲劳群体对应的区域光照控制设备发送所述目标光照信息。
33.另一方面，本发明还提供了一种对象监控装置，所述装置包括：
34.信息获取模块，用于获取多个对象各自的眼部行为信息，所述眼部行为信息表征对象的眨眼程度；
35.第一信息确定模块，用于根据所述眼部行为信息，确定所述多个对象各自的对象疲劳信息；
36.第二信息确定模块，用于基于所述对象疲劳信息，确定多个群体各自的群体疲劳信息，每个群体包括至少两个对象；
37.控制模块，用于将多个群体中群体疲劳信息高于预设疲劳信息的群体作为疲劳群体，并向所述疲劳群体的关联设备发送控制信息。
38.另一方面，本发明还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述对象监控方法。
39.另一方面，本发明还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述对象监控方法。
40.本发明提供的一种对象监控方法、装置、电子设备及存储介质，通过多个对象各自的眼部行为信息确定多个对象各自的对象疲劳信息，基于多个对象各自的对象疲劳信息确定多个群体的群体疲劳信息，根据群体疲劳信息确定疲劳群体，并向所述疲劳群体的关联设备发送控制信息，能够监测并改善疲劳群体的疲劳程度，提高疲劳群体的工作或学习效率。
附图说明
41.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其
它附图。
42.图1为本发明实施例提供的一种对象监控方法的方法流程图；
43.图2为本发明实施例提供的一种根据眼部行为信息，确定多个对象各自的对象疲劳信息的方法流程图；
44.图3为本发明实施例提供的一种获取多个对象各自的眼部行为信息的方法流程图；
45.图4为本发明实施例提供的一种基于对象疲劳信息，确定多个群体各自的群体疲劳信息的方法流程图；
46.图5为本发明实施例提供的一种获取多个对象各自的眼部行为信息之前的方法流程图；
47.图6为本发明实施例提供的一种向疲劳群体的关联设备发送控制信息的方法流程图；
48.图7为本发明实施例提供的一种向疲劳群体对应的区域光照控制设备发送控制信息的方法流程图；
49.图8是本发明实施例提供的一种对象监控装置的结构框图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
52.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.以下介绍本发明的对象监控方法的实施例，图1是本发明实施例提供的一种对象监控方法的方法流程图。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。如图1所示，本实施例提供了一种对象监控方法，该方法包括：
54.s101.获取多个对象各自的眼部行为信息，眼部行为信息表征对象的眨眼程度。
55.其中，多个对象可以是指需要进行疲劳检测和调节的对象；具体地，可以是人。眼部行为信息可以是指采集到的关于对象眨眼过程的相关信息。眼部行为信息可以表征对象
的眨眼程度。眼部行为信息可以包括眨眼频率、眨眼强度信息和眨眼持续时间中的至少两种。
56.在实际应用中，通过脑电采集设备分别采集每个对象的脑电信号。脑电采集设备可以是头戴式采集设备。具体地，脑电采集设备可以通过前额脑电传感采集得到对象的脑电信号。通过对象的脑电信号进行分析处理可以得到每个对象的眼部行为信息。
57.s102.根据眼部行为信息，确定多个对象各自的对象疲劳信息。
58.其中，对象疲劳信息可以表征该对象的疲劳程度。对象疲劳信息可以是数值或者等级的形式。例如，对象疲劳信息可以包括轻度疲劳、中度疲劳和高度疲劳等。
59.在实际应用中，可以针对眼部行为信息对应对象疲劳信息(如疲劳等级)设置不同的区间阈值；根据对象的眼部行为信息所在的区间阈值对应得到对象疲劳信息。
60.s103.基于对象疲劳信息，确定多个群体各自的群体疲劳信息，每个群体包括至少两个对象。
61.其中，群体疲劳信息可以表征该群体的疲劳程度。可以理解的是，群体疲劳信息所表征的群体的疲劳程度越高，则群体内大部分对象均处于疲劳状态的可能性越高。
62.在实际应用中，可以是根据多个对象的分布情况，按照位置均匀地分成多组。例如，在教室内上课的学生，可以按照学生座位分布，划分成多组；每组包括至少两个对象；每组为一个群体。可以将群体内所有对象的对象疲劳信息的均值作为该群体的群体疲劳信息。
63.s104.根据群体疲劳信息，确定多个群体中的疲劳群体，并向疲劳群体的关联设备发送控制信息。
64.其中，疲劳群体可以是指由多个对象组成的且整体疲劳程度较高的群体。预设疲劳信息可以用于界定多个群体中的疲劳群体。疲劳群体的关联设备可以包括疲劳群体所包括对象的头戴式设备、疲劳群体对应的区域光照控制设备和/或疲劳对象对应的推送对象的电子设备。
65.在实际应用中，将每个群体的群体疲劳信息与预设疲劳信息进行比较；可以将多个群体中群体疲劳信息高于预设疲劳信息的群体作为疲劳群体。可以通过对疲劳群体对应的区域光照进行调节，降低疲劳群体的疲劳程度。具体地，可以是将疲劳群体对应的区域光照的色温和照度提高。或者还可以是通过对象的头戴式设备进行振动反馈，降低疲劳群体的疲劳程度。
66.可以理解的是，影响群体产生疲劳的因素可能是环境光分布不均匀的因素，或者该群体所在位置的因素。例如，对于学生在教室上课的场景，白天可能会有日光的影响导致光分布不均匀；对于坐在后排的学生，由于座位到黑板的距离相对于前排较远，更容易产生视觉疲劳。通过得到疲劳群体，可以结合可能造成疲劳的因素，进行对象的疲劳监控。
67.通过多个对象各自的眼部行为信息确定多个对象各自的对象疲劳信息，基于多个对象各自的对象疲劳信息确定多个群体的群体疲劳信息，根据群体疲劳信息确定疲劳群体，并向所述疲劳群体的关联设备发送控制信息，能够监测并改善疲劳群体的疲劳程度，提高疲劳群体的工作或学习效率。
68.图2为本发明实施例提供的一种根据眼部行为信息，确定多个对象各自的对象疲劳信息的方法流程图。在一个可能的实施方式中，如图2所示，上述步骤s102可以包括：
69.s201.获取眼疲劳模型。
70.其中，眼疲劳模型可以用于确定对象疲劳信息。
71.在实际应用中，眼疲劳模型可以通过机器学习获得。具体地，可以通过多次采集多个样本对象的样本眼部行为信息和每个对象的对象疲劳信息标签。将上述多个样本眼部行为信息输入预设机器学习模型，进行疲劳信息预测处理，得到预测对象疲劳信息。根据预测对象疲劳信息和对象疲劳信息标签，得到对象疲劳损失信息。根据对象疲劳损失信息训练预设机器学习模型，得到眼疲劳模型。
72.预设机器学习模型可以包括但不限于神经网络模型、回归模型、最小二乘法模型、支持向量机、马尔可夫算法等中的一个，其中神经网络模型包括深度神经网络、循环神经网络、卷积神经网络等中的一个或多个。深度学习是对大量数据进行表征学习的一种算法。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习的特征提取不依靠人工，而是自动提取的，具有非常强的学习能力和适应能力，且由数据驱动，上限高。
73.s202.将眼部行为信息输入眼疲劳模型，获得每个对象的对象疲劳信息。
74.在实际应用中，眼部行为信息可以包括眨眼频率、眨眼强度信息和眨眼持续时间中的至少两个。通过将每个对象的眼部行为信息中的数据输入至眼疲劳模型，可以得到每个对象的对象疲劳信息。
75.图3为本发明实施例提供的一种获取多个对象各自的眼部行为信息的方法流程图。在一个可能的实施方式中，如图3所示，上述步骤s101可以包括：
76.s301.获取多个对象各自的脑电信息。
77.其中，脑电信息可以表征对象的脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映。脑电信息可以包括脑电信号。
78.在实际应用中，可以通过头戴式脑电信号采集设备采集单个对象的脑电信息。具体地，可以通过单导联差分电极采集前额脑电，偏置电极通过夹子固定在每个对象的耳垂上，脑电采样频率为1khz。
79.s302.根据脑电信息，确定当前时刻之前的预设时间段内的眨眼次数、预设时间段内每次眨眼对应的眨眼强度以及眨眼持续时间。
80.其中，预设时间段可以是一分钟或者其他的一段时间，本公开不作限定；在本实施例中预设时间段为一分钟。眨眼强度可以表征本次眨眼的相对力度。眨眼持续时间可以是指以较高频率眨眼的持续时间。
81.在实际应用中，以1秒为步长，判断当前脑电信号是否超过预设阈值，如超过，判定当前为眨眼状态。其中，可以在使用前通过语音适配指导，“请闭眼10秒”，获取到用户闭眼过程中的脑电信号标准差a1；“请眨眼10秒”，获取到用户眨眼过程中的脑电信号标准差a2，由此可以自动设定预设阈值为(a1+a2)/2。通过加和可以获得每分钟的眨眼次数。可以将每次眨眼对应的脑电信号标准差作为眨眼强度；或者还可以从(a1+a2)/2到a2之间可以均等划分3级，每次眨眼可以分别对应低、中、高强度。通过对超过预设阈值的连续统计可以获得眨眼持续时间。
82.s303.基于眨眼次数，获得眨眼频率。
83.在实际应用中，基于每分钟内的眨眼次数，可以得到该对象的眨眼频率。
84.s304.基于预设时间段内每次眨眼对应的眨眼强度，进行均值处理，获得眨眼强度信息。
85.在实际应用中，将每次眨眼对应的脑电信号标准差作为眨眼强度，可以将预设时间段内所有眨眼对应的眨眼强度进行均值处理，得到的均值信息作为眨眼强度信息。
86.图4为本发明实施例提供的一种基于对象疲劳信息，确定多个群体各自的群体疲劳信息的方法流程图。在一个可能的实施方式中，如图4所示，上述步骤s103可以包括：
87.s401.获取对象分布信息。
88.其中，对象分布信息可以表征多个对象的位置分布情况。对象分布信息可以包括在一定范围内多个对象各自所在的位置。
89.在实际应用中，可以向每个对象的头戴设备发送位置获取请求；每个对象的头戴设备在接收到位置获取请求后，通过定位模块获取位置信息，并将携带头戴设备标识的位置信息发送至对象监控装置。对象监控装置在接收到每个对象的头戴设备发送的位置信息后，根据多个对象的位置信息，可以得到对象分布信息。
90.s402.基于对象分布信息，确定多个群体各自对应的对象。
91.在实际应用中，可以根据多个对象的分布情况进行分组，每组的对象作为一个群体。具体地，可以按区域或者按人数等分，分为m个区域，每个区域的全部对象可以作为一个群体对应的对象。
92.s403.基于每个群体各自对象的对象疲劳信息，确定每个群体的群体疲劳信息。
93.在实际应用中，每个区域的对象疲劳度为xi，则随机某个区域(包含k个对象)的疲劳度分布词袋矩阵为[x1,x2,x3,
……
,xk]。其中若按照区域划分时，单个区域内对象数＜k(即存在空缺)，则可以区域内对象疲劳度的取平均值、最大值或最小值中的一种方法对空缺部分进行补全。根据多个群体各自对象的对象疲劳信息，基于knn算法(k-nearestneighbor，临近算法)进行分类，可以得到每个群体的群体疲劳类型。群体疲劳类型可以包括正常、轻度疲劳、中度疲劳和重度疲劳等类型。可以将每个群体的群体疲劳类型作为每个群体的群体疲劳信息。
[0094]
图5为本发明实施例提供的一种获取多个对象各自的眼部行为信息之前的方法流程图。在一个可能的实施方式中，如图5所示，获取多个对象各自的眼部行为信息之前，可以包括：
[0095]
s501.获取当前场景模式。
[0096]
其中，当前场景模式可以是指当前时刻该场景的具体模式。例如，对于课堂学习场景，当前场景模式可以是唤醒模式(可以是指在早、午后第一节课的时间内)、一般教学模式、考试模式、放松模式和夜间模式等多种模式中的一种。
[0097]
在实际应用中，对于课堂学习场景，可以通过预先设定时间与场景模式的映射关系；通过获取当前时间，并根据时间与场景模式的映射关系，得到当前场景模式。
[0098]
s502.在当前场景模式属于学习模式的情况下，执行获取多个对象各自的眼部行为信息的步骤。
[0099]
其中，对于课堂学习场景，学习模式可以包括唤醒模式、一般教学模式、考试模式和夜间模式。
[0100]
可以理解的是，在当前场景模式属于学习模式的情况下，执行获取多个对象各自的眼部行为信息的步骤；在当前场景模式不属于学习模式的情况下，说明当前场景模式属于放松模式，可以返回获取当前场景模式的步骤，直到在当前场景模式属于学习模式，执行获取多个对象各自的眼部行为信息的步骤。可以在当前场景模式不属于学习模式的情况下减少运算成本。
[0101]
图6为本发明实施例提供的一种向疲劳群体的关联设备发送控制信息的方法流程图。在一个可能的实施方式中，如图6所示，向疲劳群体的关联设备发送控制信息，可以包括：
[0102]
s601.向疲劳群体对应的区域光照控制设备发送控制信息。
[0103]
在实际应用中，可以根据多个群体的位置分布确定多个对象所在场景的区域光照分布情况。例如，可以获取当前场景下的照明用具分布情况。可以根据多个群体的位置分布、各个照明用具的位置以及光照区域，确定每个群体对应的区域光照。在确定疲劳群体后，可以根据疲劳群体所在的位置确定其对应的区域光照，从而对该区域光照进行调节。具体地，可以是将该区域光照的色温和亮度调高，以降低疲劳群体的疲劳程度。
[0104]
s602.向疲劳群体对应的推送对象的电子设备发送推送信息。
[0105]
其中，推送对象可以是疲劳群体对应的对象的家长，也可以是教师。推送信息可以包括疲劳群体中各对象的位置和群体中每个对象的疲劳状态变化趋势。
[0106]
在实际应用中，可以预先建立每个对象与推送对象的电子设备的映射关系。在确定疲劳群体后，可以向群体中每个对象的家长的电子设备发送包含该对象的当天的疲劳信息，以便于学生家长了解学生的课堂疲劳状态变化；还可以向当前任课老师的电子设备发送推送信息，推送疲劳群体位置以及群体中每个对象的疲劳状态变化趋势。
[0107]
s603.向疲劳群体对应的对象的头戴设备发送振动指令，以使头戴设备振动。
[0108]
通过疲劳群体对应的对象的头戴设备振动，给予疲劳群体的对象振动反馈，以降低疲劳群体的疲劳程度。
[0109]
图7为本发明实施例提供的一种向疲劳群体对应的区域光照控制设备发送控制信息的方法流程图。在一个可能的实施方式中，如图7所示，向疲劳群体对应的区域光照控制设备发送控制信息，可以包括：
[0110]
s701.获取当前场景模式对应的光照调节范围和当前光照信息。
[0111]
在实际应用中，可以预先建立场景模式与光照调节范围的映射关系。通过当前场景模式确定对应的光照调节范围。可以通过疲劳群体对应的区域内的环境光传感器采集得到疲劳群体对应区域的光照情况作为当前光照信息。可以理解的是，由于场景内对象分布位置在一段时间内是相对固定的，因此，群体的划分也是相对固定的，可以预先根据对象分布情况得到群体划分情况，进而可以根据群体划分情况确定具体的光照区域，从而可以根据光照区域设置环境光传感器进行光照情况的采集。
[0112]
s702.基于光照调节范围和当前光照信息，确定目标光照信息，其中，目标光照信息大于的当前光照信息，光照调节范围对应的最大阈值信息大于目标光照信息。
[0113]
其中，目标光照信息可以用于指示疲劳群体对应区域需要调节到的亮度和色温。目标光照信息可以包括灯具色温模式和亮度。
[0114]
可以理解的是，通过调高疲劳对象对应区域的亮度和色温来降低疲劳群体的疲劳
程度。因此，目标光照信息大于的当前光照信息，光照调节范围对应的最大阈值信息大于目标光照信息。
[0115]
s703.向所述疲劳群体对应的区域光照控制设备发送目标光照信息。
[0116]
在实际应用中，区域光照控制设备在接收到目标光照信息后，可以根据目标光照信息对疲劳群体对应的区域光照的灯具的亮度和色温进行调节。
[0117]
图8是本发明实施例提供的一种对象监控装置的结构框图。另一方面，本实施例还提供了一种对象监控装置，如图8所示，该装置包括：
[0118]
信息获取模块10，用于获取多个对象各自的眼部行为信息，眼部行为信息表征对象的眨眼程度；
[0119]
第一信息确定模块20，用于根据眼部行为信息，确定多个对象各自的对象疲劳信息；
[0120]
第二信息确定模块30，用于基于对象疲劳信息，确定多个群体各自的群体疲劳信息，每个群体包括至少两个对象；
[0121]
控制模块40，用于根据群体疲劳信息，确定多个群体中的疲劳群体，并向疲劳群体的关联设备发送控制信息。
[0122]
另一方面，本发明实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述对象监控方法。
[0123]
另一方面，本发明实施例还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，计算机程序指令被处理器执行时实现上述对象监控方法。
[0124]
要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为二系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。同样地，上述对象监控装置的各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能，此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。此外，还可对上述实施例进行任意组合，得到其他的实施例。
[0125]
在上述实施例中，对各实施例的描述都各有侧重，某各实施例中没有详述的部分，可以参见其它实施例的相关描述。本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
[0126]
上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。